OpenCV + Gstreamer を使う

Wed, 17 Nov 2021 00:00:00 +0900

OpenCV で GStreamer を使うための Docker コンテナを作成したので、GStreamer を使ってカメラの画像を取得するところまで試してみました。

Docker コンテナの作成については以下の記事に書いています。

OpenCV + GStreamer の Docker コンテナを作成

GStreamer の基本

私は Gstreamer を今回初めて使いました。
最初、GStreamer のことが全然分からず困っていたのですが、以下の記事がとても参考になりました。

https://qiita.com/saxxos/items/e5b452502ad9aca3c997

GStreamer の動作確認

OpenCV を使う前に、まずは GStreamer が使えるかどうか単体で試します。

ネットワークカメラから RTSP で画像を取得して表示します。
今回は Panasonic のカメラを使いました。

Docker コンテナ内で以下のコマンドを実行するとウィンドウが立ち上がり、カメラの画像が表示されれば OK です。

gst-launch-1.0 rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! autovideosink

decodebin でデコードし、autovideosink 自動表示（画面上にウィンドウで表示）する感じみたいです。

OpenCV を使う

上記を踏まえ、OpenCV で GStreamer のクエリを指定する場合は、以下のように記述します。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

autovideosink を videoconvert ! appsink に変更しています。
GStreamer の出力を OpenCV に入力するためには appsink が必要みたいです。
んで、appsink に送るためには videoconvert が必要みたいです。
これで cap.read() をコールすれば、フレームデータを取得できます。

ただし、このままだと遅延が酷かったので、latency=0 を追加しました。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 latency=0 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

とりあえずはこれで動作確認できました。

ちなみに、OpenCV を使わずにコンソールで gst-launch-1.0 で直接実行する際に latency=0 を指定すると、画像が乱れてまともに表示されませんでした。

Gstreamer on ポンコツ地方エンジニアの技術ブログ

OpenCV + Gstreamer を使う

GStreamer の基本

GStreamer の動作確認

OpenCV を使う

参考 URL