Python on heppoko blog

[PySide] Windows で実行するとオーバーフローエラーが発生

Fri, 30 Aug 2024 00:00:00 +0900

PySide6 で作成したアプリを Pyinstaller で exe 化して実行すると、オーバーフローのエラーが発生しました。

エラーの内容は以下です。

OverflowError: Python int too large to convert to C long

該当箇所のコードは、以下のように QLineChart を使ってグラフを作成している箇所でした。

series = QLineSeries()

# 省略...

qdt = QDateTime()
qdt.setSecsSinceEpoch(int(dt.timestamp()))

series.append(qdt.toMSecsSinceEpoch(), count)

toMSecsSinceEpoch() はエポックタイムをミリ秒で返す関数です。
これを append 関数に渡すと、32bit の範囲を超えているとしてエラーが発生していました。

ビルド環境も実行環境も 64bit なのに、何故 32bit の long int として扱われているのか？
調べてみたところ、以下の記事に辿り着きました。

https://stackoverflow.com/questions/72568201/why-overflowerror-occured-only-on-pyside6

どうやら float でキャストすれば良さそうということで、以下のように修正したところ、正常に動作するようになりました。

series.append(float(qdt.toMSecsSinceEpoch()), count)

参考 URL

https://stackoverflow.com/questions/72568201/why-overflowerror-occured-only-on-pyside6

[python] pipenv で無関係のパッケージが勝手にアップデートされる

Wed, 17 Jul 2024 00:00:00 +0900

pipenv でパッケージをインストールしたときに、全く関係ないパッケージが勝手にアップデートされて困ったことがありました。

--keep-outdated を付与すればいいという情報もありますが、現在の pipenv ではこのオプションは削除されています。

とりあえず以下のようにして回避しました。

1. Pipfile 内の全てのパッケージのバージョンを指定

Pipfile をエディタで開き、でバージョンを指定していなかったパッケージに全てバージョンを記入しました。
バージョンは、Pipfile.lock を参照して、現在インストールされているバージョンを記入しました。

2. すべてのパッケージをアンインストール

$ pipenv uninstall --all

3. Pipfile.lock を削除

$ rm Pipfile.lock

4. 新しい依存関係をインストール

$ pipenv install

参考 URL

[PySide] qasync を使って非同期処理をバックグランドで行う

Mon, 22 Apr 2024 00:00:00 +0900

PySide6 で GUI アプリを作成している中で、I/O バウンドな処理の完了を待っていると GUI が固まりました。

通常、バックグラウンドで何か処理を行う際に GUI の処理を止めないようにするために、QThread などを使って別スレッドで処理を行いつつ GUI スレッドを回したりします。
今回もそうやって作っていたのですが、完了までに時間のかかる I/O バウンドな処理を行わせたい場合、上手くいかない場合がありました。 I/O バウンドな処理なので、ayncio を使って非同期処理にしてやればいいと思ったのですが、Qt のイベントループと asyncio を適切に統合する必要があるようで、どのように記述すればいいのかいまいち分かりませんでした。

そんな中、qasync というライブラリを使えば、とても簡単に処理を組み込むことができました。

https://github.com/CabbageDevelopment/qasync

コードの記述も、QThread を使う場合に比べシンプルでスッキリします。

ちなみに、asyncqt というライブラリもありますが、こちらは既にメンテナンスされていないようです。 qasync は asyncqt のフォークで、現在でもメンテナンスされているようなので、使うなら qasync のほうが良いと思います。

環境

python 3.11
pyside6 6.6.3.1
qasync 0.27.1

サンプルコード

import sys
import asyncio
from PySide6.QtWidgets import QApplication, QMainWindow, QPushButton, QVBoxLayout, QWidget, QLabel
from qasync import QEventLoop, asyncSlot

class MainWindow(QMainWindow):
 def __init__(self):
 super().__init__()
 self.setWindowTitle("qasync sample")

 self.label = QLabel("Press the button.", self)
 self.button = QPushButton("Start", self)
 self.button.clicked.connect(self.on_button_clicked)

 layout = QVBoxLayout()
 layout.addWidget(self.label)
 layout.addWidget(self.button)

 container = QWidget()
 container.setLayout(layout)
 self.setCentralWidget(container)

 @asyncSlot()
 async def on_button_clicked(self):
 self.label.setText("waiting...")
 self.button.setEnabled(False)

 # I/O バウンドな処理を想定
 await asyncio.sleep(5)

 self.label.setText("Press the button.")
 self.button.setEnabled(True)

if __name__ == "__main__":
 app = QApplication(sys.argv)
 loop = QEventLoop(app)
 asyncio.set_event_loop(loop)
 window = MainWindow()
 window.show()
 with loop:
 loop.run_forever()

参考 URL

- https://github.com/CabbageDevelopment/qasync

[Python] Iris データセットを Pandas で読み込む

Wed, 21 Feb 2024 00:00:00 +0900

機械学習のサンプルデータとしてよく使われるものの一つに Iris（アヤメ）のデータセットがあります。その読み込み方法です。

Iris のデータセットを取得する方法自体はいくつかあるようです。

https://py-memo.com/python/load-iris/

今回は Iris のデータは機械学習用の定番のライブラリである scikit-learn を使いました。

サンプルコード

import pandas as pd
from sklearn.datasets import load_iris

iris = load_iris()
df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)

# 目的変数である花の種類（target）のカラムを作成（花の種類を数値から文字列に変換して追加）
df_iris['target'] = iris.target_names[iris.target]

print(df_iris)

 sepal length (cm) sepal width (cm) petal length (cm) petal width (cm) target
0 5.1 3.5 1.4 0.2 setosa
1 4.9 3.0 1.4 0.2 setosa
2 4.7 3.2 1.3 0.2 setosa
3 4.6 3.1 1.5 0.2 setosa
4 5.0 3.6 1.4 0.2 setosa
.. ... ... ... ... ...
145 6.7 3.0 5.2 2.3 virginica
146 6.3 2.5 5.0 1.9 virginica
147 6.5 3.0 5.2 2.0 virginica
148 6.2 3.4 5.4 2.3 virginica
149 5.9 3.0 5.1 1.8 virginica

[150 rows x 5 columns]

load_iris 関数で呼び出されたデータセットは numpy 形式です。
これを扱いやすいように Pandas でデータフレームに変換しています。
また、load_iris 関数では、説明変数は iris.data、目的変数は iris.target に実装されています。
カラム名は iris.feature_names に入っています。

iris.target は花の種類を数値として保持しており、その数値に対応した花の名前は iris.target_names に定義されています。
花の種類をカラムに追加する際には文字列に変換して追加しています。

参考 URL

[python] ONVIF 対応カメラの RTSP 接続文字列を取得する

Thu, 15 Feb 2024 00:00:00 +0900

ネットワークカメラの映像を取得するためにまず RTSP の接続文字列を取得する必要があったので、ONVIF の Profile S から取得してみました。

ONVIF Profile S の仕様は以下にあります。

https://www.onvif.org/profiles/specifications/

尚、単純に RTSP の接続文字列を取得したいだけなら ONVIF Device Manager というツールがあるので、それを使ったほうが楽です。

環境

python 3.11
onvif-zeep 0.2.12
onvif2-zeep 0.3.4

ONVIF クライアントの python 実装である onvif-zeep onvif2-zeep を使ってみました。
この２つの違いですが、以下のページによれば、onvif2-zeep のほうは WSDL と H.265 に対応しているようです。

https://pypi.org/project/onvif2-zeep/

以下、onvif-zeep onvif2-zeep それぞれのサンプルコードです。

onvif-zeep でのサンプル

準備

pip install onvif-zeep

サンプルコード

from onvif import ONVIFCamera

def get_all_rtsp_urls(camera_ip, username, password):
 # ONVIFデバイスに接続
 camera = ONVIFCamera(camera_ip, 80, username, password)

 # プロファイルを取得
 media = camera.create_media_service()
 profiles = media.GetProfiles()
 #print(profiles)

 # すべてのプロファイルに対して RTSP URL を取得
 for profile in profiles:
 name = profile['Name']
 try:
 token = profile['token']
 stream_uri = media.GetStreamUri({
 'StreamSetup': {
 'Stream': 'RTP-Unicast',
 'Transport': {
 'Protocol': 'RTSP'
 }
 },
 'ProfileToken': token
 })
 uri = stream_uri.Uri
 print(f'{name}: {uri}')
 except Exception as e:
 print(f'{name}: {e}')

if __name__ == "__main__":
 camera_ip = "192.168.0.1"
 username = "username"
 password = "password"

 get_all_rtsp_urls(camera_ip, username, password)

onvif2-zeep のサンプル

準備

pip install onvif2-zeep

WSDL のダウンロード

onvif2-zeep を使用する場合、WSDL のファイル一式が必要なようです。
以下のリポジトリからダウンロードできます。

https://github.com/onvif/specs

サンプルコード

上記のコードから以下の２箇所を変更するだけです。

from onvif2 import ONVIFCamera

...

camera = ONVIFCamera(camera_ip, 80, username, password, './wsdl')

ONVIFCamera の引数の最後で、WSDL ファイルのあるパスを指定します。

実行結果

Panasonic のカメラで試した結果が以下となります。

H264_1280x960: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile8
H264_800x600: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile7
H264_640x480: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile6
H264_320x240: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile5
JPEG_1280x960: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile4
JPEG_800x600: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile3
JPEG_640x480: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile2
JPEG_320x240: rtsp://192.168.0.1/ONVIF/MediaInput?profile=1_def_profile1

ただ、H.265 のストリームがあるカメラ場合、onvif-zeep onvif2-zeep のどちらで試しても以下のように Unknown error: Configuration not complete のエラーが出て取得することができませんでした。

H26x_1: Unknown error: Configuration not complete
H26x_2: Unknown error: Configuration not complete
JPEG_1: rtsp://192.168.0.1/ONVIF/MediaInput?profile=def_profile5
JPEG_2: rtsp://192.168.0.1/ONVIF/MediaInput?profile=def_profile6

カメラ側のプロファイル設定の問題のような気がしますが、よくわかりませんでした。

ちなみに、他に TOA のカメラも試しましたが、こちらは H.265 の場合でも問題なく取得することができました。

参考 URL

https://www.onvif.org/profiles/specifications/

Gymnasium の環境を動かしてみる

Mon, 12 Feb 2024 00:00:00 +0900

強化学習について勉強しようと思い、まずはサンプルとしてよく取り上げられる OpenAI の gym の CartPole などを動かそうとしてみたところ、上手く動きませんでした。
調べてみたところ、gym は現在ではもう更新されておらず、代わりに gym を fork した gymnasium というのがあるようなので、こちらを使って動かしてみました。

実行環境は docker を使って構築します。
とりあえず学習・推論はせず、単純に動かすだけです。

環境

WSL2(Ubuntu 22.04)
docker 24.0.7
python 3.11
swig 4.2.0
gymnasium 0.29.1

Dockerfile

FROM python:3.11

# 先に swig をインストールしておかないと gymnasium のインストールに失敗しました
RUN pip install swig
RUN pip install gymnasium[box2d]

CMD [ "/bin/bash" ]

コンテナの起動

GUI を動かすので、コンテナは以下のように起動します。

docker run -it --rm \
 -v $(pwd)/workspace:/workspace \
 -v /etc/group:/etc/group:ro \
 -v /etc/passwd:/etc/passwd:ro \
 -u $(id -u $USER):$(id -g $USER) \
 -e DISPLAY \
 -v /tmp/.X11-unix:/tmp/.X11-unix:rw \
 --workdir /workspace \
 imagename

これについては以下が参考になりました。

https://qiita.com/Spritaro/items/f907a9b52cb78e4fbec0

CartPole のサンプル

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("CartPole-v1", render_mode="human")

for episode in range(10):
 # 環境をリセット
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1
env.close()

LunarLander のサンプル

同様に以下のようにして LunarLander も動きました。

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("LunarLander-v2", render_mode="human")

for episode in range(10):
 # 環境をリセット
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1

env.close()

FrozenLake のサンプル

同様に以下のようにして FrozenLake も動きました。

import gymnasium as gym

# 環境を作成
# render_mode は描画モードの指定。human は人間が見てわかるように動画として表示するという意味
env = gym.make("FrozenLake-v1", render_mode="human")

for episode in range(10):
 # 環境をリセット、現在の観測値（observation）と情報（info）を取得
 observation, info = env.reset()
 step = 0
 while True:
 # 行動をランダムに選択
 action = env.action_space.sample() # これがエージェントの行動になるので、本来はAIが行動を決定するべきところ
 # 選択した行動を実行
 observation, reward, terminated, truncated, info = env.step(action)
 #print(env.render()) # 状態の可視化(human の場合は不要)
 # 終了した場合、次のエピソードへ
 if terminated or truncated:
 print(f"Episode{episode+1} finished after {step+1} timesteps")
 break
 step += 1
env.close()

参考 URL

[Python] ModuleNotFoundError: No module named 'websockets.legacy' のエラーが出た

Fri, 01 Dec 2023 00:00:00 +0900

Python のアプリを Nuitka で実行ファイルにして動かすと、Websockets に関するエラーが出ました。

尚、python で実行したときには正常に動作しています。

環境

Python 3.11
Nuitka 1.9.2
Websockets 11.0.3

エラーの内容

具体的には以下のようなエラーが出ました。

Traceback (most recent call last):
 File "/foo/main.py", line 36, in subprocess
 File "/foo/asyncio/runners.py", line 190, in run
 File "/foo/asyncio/runners.py", line 118, in run
 File "/foo/asyncio/base_events.py", line 653, in run_until_complete
 File "/foo/websocket_manager.py", line 47, in run
 File "/foo/websocket_client.py", line 38, in run
 File "/foo/websockets/imports.py", line 77, in __getattr__
 File "/foo/websockets/imports.py", line 27, in import_name
ModuleNotFoundError: No module named 'websockets.legacy'

とりあえずの対処法

以下に同じエラーの報告がありました。

https://github.com/python-websockets/websockets/issues/974

上記を参考に以下のように変更すればとりあえず解決しました。

変更前

import websockets

async for websocket in websockets.connect(uri):

変更後

import websockets.client

async for websocket in websockets.client.connect(uri):

本来の解決方法

上記のコードですが、どうやらこれは古い記述方法みたいです。
最近の websockets (11.x 以降) では、接続の作成と処理は以下のように行うことを推奨しているようです。

import websockets

while True:
 try:
 async with websockets.connect(uri) as websocket:
 # メッセージ処理 
 except Exception:
 # ここに再接続ロジックなど 
 await asyncio.sleep(retry_delay)

ただし、これで今回のエラーが解決するかどうかは試していません。

参考 URL

https://github.com/python-websockets/websockets/issues/974

[Python] Pyinstaller, Nuitka で作成した実行ファイルで GLIBC のエラーが発生する

Fri, 17 Nov 2023 00:00:00 +0900

pyinstaller, nuitka で作成した実行ファイルを別のマシンで実行するとエラーが出て動きませんでした。

具体的には以下のような GLIBC に関するエラーが表示されました。

Pyinstaller の場合

[10562] Error loading Python lib '/home/username/dist/main/libpython3.11.so.1.0': dlopen: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.35' not found (required by /home/username/dist/main/libpython3.11.so.1.0)

Nuitka の場合

./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.33' not found (required by ./sample.bin)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by ./sample.bin)
./sample.bin: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.35' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.33' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.32' not found (required by /home/username/main.dist/libpython3.11.so.1.0)
./sample.bin: /lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by /home/username/main.dist/libpython3.11.so.1.0)

これの回避策は、サポートしたいシステムより古いシステムでビルドを行うことだそうです。

私の場合、python:3.11 の Docker イメージを使ってビルドを行っていましたが、このイメージのディストリビューションは Debian 12 でした。そこでビルドした成果物を Ubuntu 20.04 のマシンで動かすと上記のエラーが発生しました。

なので、ビルドに使用する Docker イメージを python:3.11-buster に変更したところ、エラーなく動作するようになりました。

尚、buster というのは Debian のコードネームのことで、Debian 10 のことだそうです。
詳細は以下を参照してください。

https://www.debian.org/releases/index.ja.html

参考 URL

[Python] pytest で motor のテストを行う

Mon, 13 Nov 2023 00:00:00 +0900

MongoDB 用の非同期ライブラリに motor を使用しており、pytest でテストコードを記述する際にモックをどうすればいいか悩みました。

当初は pymongo を使って同期的に使用していたため、MongoDB のモックには mongomock を使用していましたが、motor を使用する場合には mongomock-motor が使うとテストできました。

https://pypi.org/project/mongomock-motor/

インストール

pip install mongomock-motor

サンプルコード

上記のページにあるサンプルコードを pytest で実行する例です。

import pytest
from mongomock_motor import AsyncMongoMockClient

@pytest.mark.asyncio
async def test_mock_client():
 collection = AsyncMongoMockClient()['tests']['test-1']

 assert await collection.find({}).to_list(None) == []

 result = await collection.insert_one({'a': 1})
 assert result.inserted_id

 assert len(await collection.find({}).to_list(None)) == 1

参考 URL

https://pypi.org/project/mongomock-motor/

[Python] OS の時刻（システムクロック）に影響を受けないように時間の計測を行う

Fri, 08 Sep 2023 00:00:00 +0900

time.monotonic() を使えば OK です。

元々、以下の様に time.time() を使って処理時間の計測を行っていたのですが、この場合、計測途中でシステムクロックが変更されてしまうと、計測時間も影響を受けてしまいます。

import time

start = time.time()

# この間にシステムクロックが変更されると計測時間にも影響を与える

elapsed_time = time.time() - start

# 過去に戻ると負の値に、未来に行くと大きな値になってしまう
print(elapsed_time)

time.monotonic() を使えばシステムクロックの影響を受けないので、純粋に処理にかかった実時間を計測できます。

参考 URL

https://docs.python.org/ja/3.10/library/time.html#time.monotonic

[Python] SyslogHandler でログを送信したときに `Bad file descriptor` のエラーになる

Wed, 05 Apr 2023 00:00:00 +0900

SyslogHandler を使ってログを記録していたのですが、Bad file descriptor のエラーが表示されてはまってしまいました。

表示されたエラーは以下です。

Traceback (most recent call last):
 File "/usr/lib/python3.8/logging/handlers.py", line 940, in emit
 self.socket.sendto(msg, self.address)
OSError: [Errno 9] Bad file descriptor

アプリをマルチプロセスで動かしており、FastAPI ( +uvicorn) を使うとこのエラーが出るようになりました。

環境

Python 3.8.10

対処方法

調べても原因がさっぱりわからなかったのですが、最終的に以下のページにたどり着きました。

https://github.com/python/cpython/issues/87362

どうやら Python の logging モジュールの不具合のようで、Python のバージョンを 3.11 まで上げると直りました。

参考 URL

https://github.com/python/cpython/issues/87362

[Python] マルチプロセスにおけるロギング (QueueHandler, QueueListener)

Tue, 04 Apr 2023 00:00:00 +0900

SyslogHandler で UDP でログを記録していたのですが、マルチプロセスでは Socket 通信のところでエラーが発生しました。
マルチプロセスでのロギングでは、QueueHandler と QueueListner を使ってログを一箇所に集約して書き込むようにする必要があります。

環境

Python 3.8.10

基本的な書き方

とりあえずマルチプロセスは置いておいて、QueueHandler と QueueListener の基本的な使い方です。

import os
from multiprocessing import Queue
from logging import StreamHandler, handlers, basicConfig, getLogger, Formatter, DEBUG

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
# キューハンドラの設定
que = Queue()
queue_handler = handlers.QueueHandler(que)
basicConfig(level=DEBUG, handlers=[queue_handler])

# リスナーの作成と開始
queue_listener = handlers.QueueListener(que, *[stream_handler, syslog_handler, file_handler])
queue_listener.start()

logger = getLogger(__name__)

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

queue_listener.stop()

logger を使って書いたログは QueueHandler によりキューに入れられます。
QueueListner はキューに溜まったログを取り出して、StreamHandler SyslogHandler TimedRotatingFileHandler で記録されます。

尚、上記は basicConfig を使って設定していますので、ライブラリなどのロギングにも影響します（対処方法は後述）。

マルチプロセスで試してみた

上記を踏まえ、プロセスを３つ立ち上げ、各プロセス100回ログを記録させてみたサンプルが以下です。

import os
from multiprocessing import Process, Queue
from logging import StreamHandler, handlers, basicConfig, getLogger, Formatter, DEBUG

def hoge(index):
 logger = getLogger(__name__)

 for count in range(100):
 logger.info(f'({index}) this is info')
 logger.debug(f'({index}) this is debug')
 logger.critical(f'({index}) this is critical')

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
# キューハンドラの設定
que = Queue()
queue_handler = handlers.QueueHandler(que)
basicConfig(level=DEBUG, handlers=[queue_handler])

# リスナーの作成と開始
queue_listener = handlers.QueueListener(que, *[stream_handler, syslog_handler, file_handler])
queue_listener.start()

# プロセスの立ち上げ
processes = []
for i in range(3):
 p = Process(target=hoge, args=(i,))
 p.start()
 processes.append(p)

# プロセスの終了を待つ
for process in processes:
 try:
 process.join()
 except KeyboardInterrupt:
 process.join(1)

queue_listener.stop()

問題なくログが記録できていることが確認できました。

basicConfig を使わずに設定する

上述したように、basicConfig を使うとライブラリなどの全てのモジュールに影響するので、logger に対して設定を行うようにします。
ただ、そうなると都度設定を行う必要が出てくるので、以下のページを参考に共通の関数を作成しました。

http://joemphilips.com/post/python_logging/

ただし、QueueHandler を使う場合、キューを渡してやる必要があるので、それはグローバル変数として用意することにしました。
ここらへん、もっと良い実装方法はないかなぁとは思いますが・・・。

以下、サンプルです。

# mylogger.py
import multiprocessing
import logging
import logging.handlers

log_queue = multiprocessing.Queue()

def getLogger(modname) -> logging.Logger:
 """ 共通のロガーを作成するための関数
 logging.getLogger と簡単に差し替えられるように同じ関数名としておく
 """

 # キューハンドラの設定
 queue_handler = logging.handlers.QueueHandler(log_queue)
 logger = logging.getLogger(modname)
 logger.addHandler(queue_handler)
 logger.setLevel(logging.DEBUG)
 return logger

# main.py
import os
from logging import handlers, StreamHandler, Formatter, DEBUG, INFO
from mylogger import getLogger, log_queue

# 標準出力の設定
stream_handler = StreamHandler()
stream_handler.setFormatter(Formatter('%(asctime)s [%(levelname)s] [%(name)s] %(message)s'))
stream_handler.setLevel(DEBUG)
# Syslog 出力の設定
syslog_handler = handlers.SysLogHandler(address=('localhost', 514))
syslog_handler.setFormatter(Formatter(f'{os.environ.get("HOSTNAME")} ris-main: %(message)s'))
syslog_handler.setLevel(INFO)
# ファイル出力の設定
file_handler = handlers.TimedRotatingFileHandler('log/sample.log')
file_handler.setFormatter(Formatter(fmt='%(asctime)s.%(msecs)03d [%(levelname)s] [%(name)s] %(message)s', datefmt='%Y-%m-%d %H:%M:%S'))
file_handler.setLevel(INFO)

# リスナーの作成と開始
queue_listener = handlers.QueueListener(
 log_queue,
 *[stream_handler, syslog_handler, file_handler],
 respect_handler_level=True)
queue_listener.start()

logger = getLogger(__name__)

logger.info('this is info')
logger.debug('this is debug')
logger.critical('this is critical')

queue_listener.stop()

また、ここでは標準出力とそれ以外で、出力するログレベルを変えています。
この場合、QueueHandler の respect_handler_level を True にして、各ハンドラー側のレベルを優先するように設定してやる必要があります。

参考 URL

[PySide] QTimer の使い方

Tue, 28 Mar 2023 00:00:00 +0900

スレッドを使わずに定期的に GUI を更新するために、QTimer の使い方と挙動について簡単に調べてみました。

環境

Python 3.8.10
PySide 6.2.2.1

サンプルコード

import sys
import time
from datetime import datetime
from PySide6.QtCore import (QTimer, Signal)
from PySide6.QtWidgets import (QApplication, QWidget, QVBoxLayout, QLabel)


class MainWindow(QWidget):
 """メインウィンドウ
 """

 countup = Signal(int)

 def __init__(self, parent=None):
 super().__init__(parent)

 self.__count = 0

 layout = QVBoxLayout()
 self.__label = QLabel(self.__current_count())
 layout.addWidget(self.__label)
 self.setLayout(layout)

 self.__timer = QTimer(self)
 self.__timer.timeout.connect(self.__timeout)
 self.__timer.start(1000)
 self.__timer.singleShot(10000, self.__single_shot1)
 self.__timer.singleShot(15000, self.__single_shot2)

 def __timeout(self):

 self.__count += 1
 print(f'{datetime.now()}, {self.__count}')
 self.__label.setText(self.__current_count())
 #time.sleep(3)

 def __current_count(self) -> str:
 return f'現在のカウント: {self.__count}'

 def __single_shot1(self):
 print(f'{datetime.now()}, 10秒経過')

 def __single_shot2(self):
 print(f'{datetime.now()}, 15秒経過')

if __name__ == "__main__":
 app = QApplication(sys.argv)
 main_window = MainWindow()
 main_window.show()
 ret = app.exec()
 sys.exit(ret)

2023-03-27 14:04:40.166652, 1
2023-03-27 14:04:41.115886, 2
2023-03-27 14:04:42.066937, 3
2023-03-27 14:04:43.026873, 4
2023-03-27 14:04:44.026648, 5
2023-03-27 14:04:45.026877, 6
2023-03-27 14:04:46.026574, 7
2023-03-27 14:04:47.026898, 8
2023-03-27 14:04:48.026477, 9
2023-03-27 14:04:49.027008, 10秒経過
2023-03-27 14:04:49.027169, 10
2023-03-27 14:04:50.027045, 11
2023-03-27 14:04:51.026868, 12
2023-03-27 14:04:52.027034, 13
2023-03-27 14:04:53.026916, 14
2023-03-27 14:04:54.026824, 15秒経過
2023-03-27 14:04:54.027010, 15

処理に時間がかかった場合はどうなる？

上記のコードでは、1秒ごとに __timeout 関数が実行されますが、もしその中で処理に時間がかかったとしたらどうなるか？
試しに3秒のスリープを入れてみました（上記のコメントアウトを解除）。

2023-03-27 14:07:10.458991, 1
2023-03-27 14:07:13.462465, 2
2023-03-27 14:07:16.464238, 3
2023-03-27 14:07:19.467192, 4
2023-03-27 14:07:22.470589, 10秒経過
2023-03-27 14:07:22.471410, 5
2023-03-27 14:07:25.475184, 6
2023-03-27 14:07:28.478740, 15秒経過
2023-03-27 14:07:28.480526, 7
2023-03-27 14:07:31.484492, 8

3秒経過後、すぐに __timeout がコールされています。
前の処理が完了しないと次の処理は行われないようです。

参考 URL

[Python] asyncio.Queue の動きを確認してみた

Wed, 01 Feb 2023 00:00:00 +0900

put や get がコルーチンになっていたので、どういう動きになるのか確認してみました。

環境

Python 3.8.1

サンプルコード

import asyncio

async def put(q:asyncio.Queue):
 count = 0
 while count <= 100:
 print(f'({count}) before put')
 await q.put(count)
 print(f'({count}) after put')
 count += 1
 if count % 5 == 0:
 # 5回送ったらスリープ
 await asyncio.sleep(0.01)

async def get(q:asyncio.Queue):
 count = 0
 while count < 100:
 count = await q.get()
 print(f'({count}) get')

async def main():
 q = asyncio.Queue()
 await asyncio.gather(*[ put(q), get(q) ])

asyncio.run(main())

出力は以下のようになりました。

(0) before put
(0) after put
(1) before put
(1) after put
(2) before put
(2) after put
(3) before put
(3) after put
(4) before put
(4) after put
(0) get
(1) get
(2) get
(3) get
(4) get
(5) before put
(5) after put
(6) before put
(6) after put
(7) before put
(7) after put
(8) before put
(8) after put
(9) before put
(9) after put
(5) get
(6) get
(7) get
(8) get
(9) get

put したあと、sleep したところで制御が他に移っています。
get のほうは、キューの中身を全部取り終わって次のデータ待ちになったところで制御が他に移っています。

[Python] 同期処理を非同期化して扱う

Thu, 26 Jan 2023 00:00:00 +0900

async のついていない関数を非同期化して、async のついた非同期関数と同じように扱いたいというときの方法です。

環境

python 3.8.1

概要

同期関数を非同期化するには run_in_executor を使用します。

ただし、CPU バウンドな処理を非同期化しても並列では実行されないので、マルチプロセス化などを行う必要があります。これについては以下の記事が参考になりました。

https://pod.hatenablog.com/entry/2019/03/21/162511

また、run_in_executor で実行する関数に名前付き引数を渡す場合、functools.partial を使う必要があります。

引数で渡せる値は、Python の仕様上 Picklable な値のみだそうです。
ラムダ式やモジュールトップレベル以外で定義された関数やクラスは渡せません

https://docs.python.org/ja/3/library/pickle.html#what-can-be-pickled-and-unpickled

サンプルコード

上記を踏まえたサンプルコードです。
同期処理として CPU バウンドを想定した処理を２つ、非同期処理として I/O バウンドを想定した処理を２つ、計４つの処理を並列で動かしています。

import asyncio
import time
from functools import partial
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor

def cpu_bound(index):
 # CPU バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'cpu_bound[{index}] count={count}')
 count += 1
 time.sleep(0.01)

async def io_bound(index):
 # I/O バウンドな処理を想定
 count = 0
 while count < 1000:
 print(f'io_bound[{index}] count={count}')
 count += 1
 await asyncio.sleep(0.01)

async def main():
 loop = asyncio.get_running_loop()
 executor = ProcessPoolExecutor(max_workers=2)
 tasks = [
 loop.run_in_executor(executor, partial(cpu_bound, 0)),
 loop.run_in_executor(executor, partial(cpu_bound, 1)),
 io_bound(0),
 io_bound(1),
 ]
 await asyncio.gather(*tasks)

asyncio.run(main(), debug=True)

ProcessPoolExecutor により、CPU バウンドな処理はそれぞれ個別のプロセスとして動作させています。
I/O バウンドな処理はどちらもメインプロセスで動作します。
従って、I/O バウンドな処理のほうが少し終わるのが遅くなります。

参考 URL

[Python] InfluxDB 1.8 で influxdb_client を使う

Wed, 21 Dec 2022 00:00:00 +0900

python で InfluxDB v1 に対してデータの読み書きを行う際に、ayncio を使って非同期化したいなと思ったのですが、今使っているライブラリの InfluxDBClient は asyncio に対応していないようでした。

代わりに influxdata 社の influx-client を使うと asyncio を使えそうだったのですが、こちらは基本的に InfluxDB v2 以降にのみ対応しているようで、Flux という言語にしか対応していません。
InfluxDB v1 以前は InfluxQL という SQL に近い言語が使われていました。

こちら、以下のページが参考になりました。

https://rabbit-note.com/2022/09/12/influxdb-2-flux/

ただ、InfluxDB 1.7以降でも設定を変更することで Flux が使えるようになるそうです。

https://github.com/influxdata/influxdb-client-python#influxdb-1-8-api-compatibility

従って、InfluxDB v1 でも Flux を有効にしたうえで、Flux でクエリを記述してデータを取得するようにすれば、asyncio を使って非同期化することができそうです。
ちなみに、データの書き込みに関しては Flux は関係ありませんでした。

以下、InfluxDB v1 の前提で書いていますが、v2 でも基本的には同じです。
bucket token の指定方法が異なるだけです。

環境

InfluxDB 1.8.10

Flux 言語を有効化する

InfluxDB を Docker で動かしていたのですが、環境変数に以下を追加するだけで OK でした。

INFLUXDB_HTTP_FLUX_ENABLED=true

サンプルコード

データの書き込み (write_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync
from influxdb_client.client.write.point import Point
from influxdb_client.domain.write_precision import WritePrecision

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん
 
 data = []
 data.append({
 'fields': {
 'hoge': 1
 },
 'measurement': 'measurement',
 'tags': {
 'hostname': 'hostname',
 }
 })
 points = [ Point.from_dict(i, WritePrecision.MS) for i in data ]
 
 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 write_api = client.write_api()
 successfully = await write_api.write(bucket=bucket, record=points)
 print(successfully)

データの読み込み (query_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん

 query = f"""
 from(bucket: "{bucket}")
 |> range(start: -10m)
 |> filter(fn:(r) => r._measurement == "measurement")
 |> filter(fn: (r) => r["_field"] == "field")
 |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)
 """

 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 tables = await client.query_api().query(query=query)
 for table in tables:
 print(table)
 for record in table.records:
 print (record.values)

 asyncio.run(main())

Flux については以下のページが参考になりました。

https://qiita.com/riverplus/items/20456e4188a4c0f5f62d