Asyncio on heppoko blog

[Python] asyncio.Queue の動きを確認してみた

Wed, 01 Feb 2023 00:00:00 +0900

put や get がコルーチンになっていたので、どういう動きになるのか確認してみました。

環境

Python 3.8.1

サンプルコード

import asyncio

async def put(q:asyncio.Queue):
 count = 0
 while count <= 100:
 print(f'({count}) before put')
 await q.put(count)
 print(f'({count}) after put')
 count += 1
 if count % 5 == 0:
 # 5回送ったらスリープ
 await asyncio.sleep(0.01)

async def get(q:asyncio.Queue):
 count = 0
 while count < 100:
 count = await q.get()
 print(f'({count}) get')

async def main():
 q = asyncio.Queue()
 await asyncio.gather(*[ put(q), get(q) ])

asyncio.run(main())

出力は以下のようになりました。

(0) before put
(0) after put
(1) before put
(1) after put
(2) before put
(2) after put
(3) before put
(3) after put
(4) before put
(4) after put
(0) get
(1) get
(2) get
(3) get
(4) get
(5) before put
(5) after put
(6) before put
(6) after put
(7) before put
(7) after put
(8) before put
(8) after put
(9) before put
(9) after put
(5) get
(6) get
(7) get
(8) get
(9) get

put したあと、sleep したところで制御が他に移っています。
get のほうは、キューの中身を全部取り終わって次のデータ待ちになったところで制御が他に移っています。

[Python] 同期処理を非同期化して扱う

Thu, 26 Jan 2023 00:00:00 +0900

async のついていない関数を非同期化して、async のついた非同期関数と同じように扱いたいというときの方法です。

環境

python 3.8.1

概要

同期関数を非同期化するには run_in_executor を使用します。

ただし、CPU バウンドな処理を非同期化しても並列では実行されないので、マルチプロセス化などを行う必要があります。これについては以下の記事が参考になりました。

https://pod.hatenablog.com/entry/2019/03/21/162511

また、run_in_executor で実行する関数に名前付き引数を渡す場合、functools.partial を使う必要があります。

引数で渡せる値は、Python の仕様上 Picklable な値のみだそうです。
ラムダ式やモジュールトップレベル以外で定義された関数やクラスは渡せません

https://docs.python.org/ja/3/library/pickle.html#what-can-be-pickled-and-unpickled

サンプルコード

上記を踏まえたサンプルコードです。
同期処理として CPU バウンドを想定した処理を２つ、非同期処理として I/O バウンドを想定した処理を２つ、計４つの処理を並列で動かしています。

import asyncio
import time
from functools import partial
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor

def cpu_bound(index):
 # CPU バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'cpu_bound[{index}] count={count}')
 count += 1
 time.sleep(0.01)

async def io_bound(index):
 # I/O バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'io_bound[{index}] count={count}')
 count += 1
 await asyncio.sleep(0.01)

async def main():
 loop = asyncio.get_running_loop()
 executor = ProcessPoolExecutor(max_workers=2)
 tasks = [
 loop.run_in_executor(executor, partial(cpu_bound, 0)),
 loop.run_in_executor(executor, partial(cpu_bound, 1)),
 io_bound(0),
 io_bound(1),
 ]
 await asyncio.gather(*tasks)

asyncio.run(main(), debug=True)

ProcessPoolExecutor により、CPU バウンドな処理はそれぞれ個別のプロセスとして動作させています。
I/O バウンドな処理はどちらもメインプロセスで動作します。
従って、I/O バウンドな処理のほうが少し終わるのが遅くなります。

参考 URL

[Python] InfluxDB 1.8 で influxdb_client を使う

Wed, 21 Dec 2022 00:00:00 +0900

python で InfluxDB v1 に対してデータの読み書きを行う際に、ayncio を使って非同期化したいなと思ったのですが、今使っているライブラリの InfluxDBClient は asyncio に対応していないようでした。

代わりに influxdata 社の influx-client を使うと asyncio を使えそうだったのですが、こちらは基本的に InfluxDB v2 以降にのみ対応しているようで、Flux という言語にしか対応していません。
InfluxDB v1 以前は InfluxQL という SQL に近い言語が使われていました。

こちら、以下のページが参考になりました。

https://rabbit-note.com/2022/09/12/influxdb-2-flux/

ただ、InfluxDB 1.7以降でも設定を変更することで Flux が使えるようになるそうです。

https://github.com/influxdata/influxdb-client-python#influxdb-1-8-api-compatibility

従って、InfluxDB v1 でも Flux を有効にしたうえで、Flux でクエリを記述してデータを取得するようにすれば、asyncio を使って非同期化することができそうです。
ちなみに、データの書き込みに関しては Flux は関係ありませんでした。

以下、InfluxDB v1 の前提で書いていますが、v2 でも基本的には同じです。
bucket token の指定方法が異なるだけです。

環境

InfluxDB 1.8.10

Flux 言語を有効化する

InfluxDB を Docker で動かしていたのですが、環境変数に以下を追加するだけで OK でした。

INFLUXDB_HTTP_FLUX_ENABLED=true

サンプルコード

データの書き込み (write_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync
from influxdb_client.client.write.point import Point
from influxdb_client.domain.write_precision import WritePrecision

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん
 
 data = []
 data.append({
 'fields': {
 'hoge': 1
 },
 'measurement': 'measurement',
 'tags': {
 'hostname': 'hostname',
 }
 })
 points = [ Point.from_dict(i, WritePrecision.MS) for i in data ]
 
 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 write_api = client.write_api()
 successfully = await write_api.write(bucket=bucket, record=points)
 print(successfully)

データの読み込み (query_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん

 query = f"""
 from(bucket: "{bucket}")
 |> range(start: -10m)
 |> filter(fn:(r) => r._measurement == "measurement")
 |> filter(fn: (r) => r["_field"] == "field")
 |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)
 """

 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 tables = await client.query_api().query(query=query)
 for table in tables:
 print(table)
 for record in table.records:
 print (record.values)

 asyncio.run(main())

Flux については以下のページが参考になりました。

https://qiita.com/riverplus/items/20456e4188a4c0f5f62d