Aiohttp on ポンコツ地方エンジニアの技術ブログ

[Python] aiohttp で multipart/form-data を使う

Wed, 29 Jun 2022 00:00:00 +0900

複数のデータを送るときに使う multipart/form-data を aiohttp で送る方法です。

公式ドキュメントは以下です。

https://docs.aiohttp.org/en/stable/multipart.html

基本サンプル

import asyncio
import aiohttp

async def main():
 with aiohttp.MultipartWriter("form-data") as mpwriter:
 mpwriter.append('hello1')
 mpwriter.append('hello2')
 async with aiohttp.ClientSession() as session:
 res = await session.post(f'url', data=mpwriter)
 print(res)

if __name__ == '__main__':
 asyncio.run(main())

以下のような内容で送信されました。

Content-Type: multipart/form-data; boundary=69ae25abec5c4a038dc2deb4a0952eb3

--69ae25abec5c4a038dc2deb4a0952eb3
Content-Type: text/plain; charset=utf-8
Content-Length: 6

hello1
--69ae25abec5c4a038dc2deb4a0952eb3
Content-Type: text/plain; charset=utf-8
Content-Length: 6

hello2
--69ae25abec5c4a038dc2deb4a0952eb3--

テキストデータ

mpwriter.append にテキストを渡した場合、デフォルトでは Content-Type は text/plain になるそうです。

バイナリデータ

mpwriter.append にバイナリデータを渡した場合、デフォルトでは Content-Type は application/octet-stream になるそうです。
変更したい場合は以下のように第２引数で指定します。

mpwriter.append(image, {'Content-Type': 'image/jpeg'})

また、name や filename などを指定したい場合は、set_content_disposition を使用するようです。

part = mpwriter.append(image, {'Content-Type': 'image/jpeg'})
part.set_content_disposition('form-data', name="name", filename="filename")

JSON を送りたい場合

append_json に dict 型のデータを渡せばOKです。

mpwriter.append_json({'test': 'passed'})

JSON と画像を一緒に送る例

以前、requests モジュールを使って multipart/form-data のデータを送る記事を書きました。

https://kuttsun.blogspot.com/2022/06/webapi-multipartform-data.html

これを aiohttp で書いてみたのが以下です。

import asyncio
import aiohttp
from datetime import datetime

async def main():
 with aiohttp.MultipartWriter("form-data") as mpwriter:
 for camera_id in ['hoge', 'piyo']: # 各カメラのID
 # 適当なテキストデータ
 json_data = {
 'camera_id': camera_id,
 'datetime': datetime.now().isoformat()
 }
 # 適当な画像ファイルを読み込む
 image = None
 filename = 'send_image.jpg'
 with open(filename, 'rb') as f:
 image = f.read()

 # JSON の追加
 part = mpwriter.append_json(json_data)
 part.set_content_disposition('form-data', name=camera_id)

 # 画像の追加
 part = mpwriter.append(image, {'Content-Type': 'image/jpeg'})
 part.set_content_disposition('form-data', name=camera_id, filename=camera_id)

 # 送信
 async with aiohttp.ClientSession() as session:
 res = await session.post(f'http://localhost:8000', data=mpwriter)
 print(res)

if __name__ == '__main__':
 asyncio.run(main())

参考 URL

https://docs.aiohttp.org/en/stable/multipart.html

Portainer API を使って Docker Engine API を叩いてみる

Mon, 27 Jun 2022 00:00:00 +0900

Docker を WebUI で操作できる Portainer には API が用意されており、これを使えば Portainer の UI でできることを全て自動化できます。また、Portainer API を介して Docker Engine API も叩くことができるので試してみました。

Portainer の API のドキュメントは以下です。

https://docs.portainer.io/api/docs

Docker Engine API のドキュメントは以下です。

https://docs.docker.com/engine/api/v1.41/

Python + aiohttp で実装してみました。

環境

Docker 20.10.12
Portainer 2.13.1
Python 3.8.10
aiohttp 3.8.1

サンプルコード

細かい解説は後にして、先にコード全体を載せます。

import asyncio
import aiohttp

PORTAINER_URL="http://portainer_url"

async def main():
 async with aiohttp.ClientSession() as session:

 # トークンを取得
 r = await session.post(f'{PORTAINER_URL}/api/auth', json={ 'Username': 'Admin', 'Password': 'AdminPassword' })
 data = await r.json()
 jwt = data['jwt']
 
 # ヘッダー
 headers={ 'Authorization': f'Bearer {jwt}' }
 #headers={ 'X-API-Key': 'token' }

 # EnvironmentID を取得
 r = await session.get(f'{PORTAINER_URL}/api/endpoint_groups', headers=headers)
 environments = await r.json()
 id = environments[0]['Id']

 # コンテナ一覧の取得
 r = await session.get(f'{PORTAINER_URL}/api/endpoints/{id}/docker/containers/json', json={ 'all': 'true' }, headers=headers)
 containers = await r.json()
 print(containers)

if __name__ == '__main__':
 asyncio.run(main())

トークンの取得

Portainer のアカウントを使って JWT トークンを取得します。

r = await session.post(f'{PORTAINER_URL}/api/auth', json={ 'Username': 'Admin', 'Password': 'AdminPassword' })
data = await r.json()
jwt = data['jwt']

このトークンは8時間の間だけ有効だそうです。
または、Portainer の myaccount 画面からでも API トークンを発行できます。
それぞれヘッダーの書き方が少し異なります。

前者の場合は

headers={ 'Authorization': f'Bearer {jwt}' }

後者の場合は

headers={ 'X-API-Key': 'token' }

のように記述します。

Environment(endpoint) ID の取得

Portainer は複数の Docker ホストを管理できるので、Docker Engine API を叩く際にはどのホストの Docker に対する操作かを指定する必要があります。　　　　なので、Docker Engine API を叩く前に Environment の一覧を取得します。

https://app.swaggerhub.com/apis/portainer/portainer-ce/2.13.1#/endpoint_groups/EndpointGroupList

r = await session.get(f'{PORTAINER_URL}/api/endpoint_groups', headers=headers)
environments = await r.json()
id = environments[0]['Id']

コンテナの一覧を取得

コンテナの一覧を取得してみます。
API の仕様は以下を参照してください。

https://docs.docker.com/engine/api/v1.41/#tag/Container

Portainer のエンドポイント /api/endpoints/{id}/docker より後ろが docker のエンドポイントと同じになるみたいですね。

r = await session.get(f'{PORTAINER_URL}/api/endpoints/{id}/docker/containers/json', json={ 'all': 'true' }, headers=headers)
containers = await r.json()

ここまでやれば、後は大体のことができるんじゃないかと思います。