Opencv on ポンコツ地方エンジニアの技術ブログ

[Docker] OpenCV + python のマルチステージビルドを行う

Mon, 20 Jun 2022 00:00:00 +0900

Python の OpenCV で GStreamer を使う場合、自前でビルドする必要があり、そのための Dockerfile を以前作成しました。

その時の記事が以下です。

https://kuttsun.blogspot.com/2021/11/opencv-gstreamer.html

ただ、これで作成した Docker イメージのサイズが 2.5GB くらいあり、もっとサイズを小さくできないかなと考えていました。

その過程でマルチステージビルドというものを知ったのですが、OpenCV のビルドの成果物をどうやって最後のステージに持ってきたらよいか分からず悩んでいたら、以下のページを見つけました。

ビルドステージでは、make install の後、ldconfig で共有リンクを作成しています。
リリースステージでは /usr/local/lib 以下を全てコピーし、ldconfig で共有リンクを作成しています。

というわけで、これを参考にマルチステージビルドを行ってみました。ただ、私の場合、/usr/local/lib のコピーだけでは依存パッケージが不足していて動かなかったので、/usr/lib と /usr/share の中身も全部コピーしたら動くようになりました。

COPY --from=build /usr/lib /usr/lib
COPY --from=build /usr/share /usr/share
COPY --from=build /usr/local/lib /usr/local/lib
RUN ldconfig

以上で、イメージサイズを 1.9GB まで減らせました。
ここらへん、本当に依存しているパッケージだけをコピーするようにできれば、まだまだサイズを小さくできそうではあります。

以下、Dockerfile のサンプルです。

# Stage1: build
FROM ubuntu:20.04 as build

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 apt install -y --no-install-recommends \
 software-properties-common && \
 update-ca-certificates && \
 # 必要なパッケージをインストール
 apt install -y \
 python3-pip \
 libgl1-mesa-dev \
 libsm6 \
 git \
 wget \
 unzip \
 # OpenCV: Required build dependencies
 # https://docs.opencv.org/4.x/d2/de6/tutorial_py_setup_in_ubuntu.html
 cmake \
 python3-dev \
 python3-numpy \
 libavcodec-dev \
 libavformat-dev \
 libswscale-dev \
 libgtk2.0-dev \
 libgtk-3-dev \
 # OpenCV: Optional Dependencies
 libpng-dev \
 libjpeg-dev \
 libopenexr-dev \
 libtiff-dev \
 libwebp-dev \
 # OpenCV のビルド時に -D WITH_QT=ON を設定するために以下が必要だった
 qtbase5-dev \
 qtdeclarative5-dev \
 # gstreamer のインストール
 # https://gstreamer.freedesktop.org/documentation/installing/on-linux.html
 libgstreamer1.0-dev \
 libgstreamer-plugins-base1.0-dev \
 libgstreamer-plugins-bad1.0-dev \
 gstreamer1.0-plugins-base \
 gstreamer1.0-plugins-good \
 gstreamer1.0-plugins-bad \
 gstreamer1.0-plugins-ugly \
 gstreamer1.0-libav \
 gstreamer1.0-doc \
 gstreamer1.0-tools \
 gstreamer1.0-x \
 gstreamer1.0-alsa \
 gstreamer1.0-gl \
 gstreamer1.0-gtk3 \
 gstreamer1.0-qt5 \
 gstreamer1.0-pulseaudio && \
 # aptのクリア
 apt autoremove && apt clean && rm -rf /var/lib/apt/lists/*

# OpenCV のビルドとインストール
# https://docs.opencv.org/master/d2/de6/tutorial_py_setup_in_ubuntu.html
# https://toriten1024.hatenablog.com/entry/2018/09/29/012205
# https://dlrecord.hatenablog.com/entry/2017/12/15/145356
# https://atmarkit.itmedia.co.jp/ait/articles/1704/10/news134.html
RUN mkdir opencv && \
 cd /opencv && \
 # OpenCV のダウンロード
 wget https://github.com/opencv/opencv/archive/4.5.3.zip --no-check-certificate && \
 unzip 4.5.3.zip && \
 # OpenCV の cmake
 cd /opencv/opencv-4.5.3 && \
 mkdir build && \
 cd /opencv/opencv-4.5.3/build && \
 cmake -D CMAKE_BUILD_TYPE=RELEASE \
 -D BUILD_DOCS=OFF \
 -D BUILD_EXAMPLES=OFF \
 -D BUILD_TESTS=OFF \
 -D WITH_1394=OFF \
 -D WITH_GSTREAMER=ON \
 -D WITH_FFMPEG=ON \
 # cv2.waitKey() を使うためには WITH_QT=ON にする必要があった
 -D WITH_QT=ON \
 .. && \
 # OpenCV のビルド ※ $(nproc) はコア数を返す、make を並列処理させて高速化したい場合は指定する
 #make -j${nproc} && \
 #make -j2 && \
 make && \
 make install && \
 ldconfig && \
 # 後始末
 rm -rf /opencv


# Stage2: release
FROM ubuntu:20.04

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 # 必要なパッケージをインストール
 apt install -y --no-install-recommends \
 python3-pip \
 python3-numpy \
 # aptのクリア
 && \
 apt autoremove && apt clean && rm -rf /var/lib/apt/lists/*

# Copy binary and dependencies
COPY --from=build /usr/lib /usr/lib
COPY --from=build /usr/share /usr/share
COPY --from=build /usr/local/lib /usr/local/lib
RUN ldconfig

# 必要なプラグインをインストール
RUN pip3 install \
 aiohttp \
 rich \
 ruamel.yaml \
 pymongo==3.12.0 \
 influxdb \
 flask \
 flask-cors \
 pytest \
 pytest-mock \
 mongomock \
 websockets \
 --trusted-host pypi.org \
 --trusted-host files.pythonhosted.org

# bash起動
CMD [ "/bin/bash" ]

参考 URL

OpenCV + Gstreamer を使う

Wed, 17 Nov 2021 00:00:00 +0900

OpenCV で GStreamer を使うための Docker コンテナを作成したので、GStreamer を使ってカメラの画像を取得するところまで試してみました。

Docker コンテナの作成については以下の記事に書いています。

OpenCV + GStreamer の Docker コンテナを作成

GStreamer の基本

私は Gstreamer を今回初めて使いました。
最初、GStreamer のことが全然分からず困っていたのですが、以下の記事がとても参考になりました。

https://qiita.com/saxxos/items/e5b452502ad9aca3c997

GStreamer の動作確認

OpenCV を使う前に、まずは GStreamer が使えるかどうか単体で試します。

ネットワークカメラから RTSP で画像を取得して表示します。
今回は Panasonic のカメラを使いました。

Docker コンテナ内で以下のコマンドを実行するとウィンドウが立ち上がり、カメラの画像が表示されれば OK です。

gst-launch-1.0 rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! autovideosink

decodebin でデコードし、autovideosink 自動表示（画面上にウィンドウで表示）する感じみたいです。

OpenCV を使う

上記を踏まえ、OpenCV で GStreamer のクエリを指定する場合は、以下のように記述します。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

autovideosink を videoconvert ! appsink に変更しています。
GStreamer の出力を OpenCV に入力するためには appsink が必要みたいです。
んで、appsink に送るためには videoconvert が必要みたいです。
これで cap.read() をコールすれば、フレームデータを取得できます。

ただし、このままだと遅延が酷かったので、latency=0 を追加しました。

query = 'rtspsrc location=rtsp://username:password@host/MediaInput/h265 latency=0 ! decodebin ! videoconvert ! appsink'
cap = cv2.VideoCapture(query, cv2.CAP_GSTREAMER)

とりあえずはこれで動作確認できました。

ちなみに、OpenCV を使わずにコンソールで gst-launch-1.0 で直接実行する際に latency=0 を指定すると、画像が乱れてまともに表示されませんでした。

参考 URL

OpenCV + GStreamer の Docker コンテナを作成

Tue, 16 Nov 2021 00:00:00 +0900

OpenCV では既定で ffmpeg が使われます。これを gstreamer を使うように設定変更したかったのですが、gstreamer を使うためには OpenCV を自分でビルドしてインストールする必要があるようです。
なので、OpenCV で gstreamer を使うための Dockerfile を作成しました。

環境

Ubuntu 20.04
Python 3.8.10
OpenCV 4.5.3

前置き

python で OpenCV を扱う場合、opencv-python をインストールすれば、OpenCV もインストールされるようです。
試しに以下のコードで OpenCV の情報を確認してみます。

import cv2
print(cv2.__version__)
print(cv2.getBuildInformation())

Video I/O の FFMPEG が YES になっており、GStreamer が NO になっています。

これを、ffmpeg を無効にして、gstreamer を有効にするため、自分で OpenCV のビルドを行います。

注意事項

せっかく自分で OpenCV をビルドしても、opencv-python をインストールすると、デフォルトの OpenCV が使われるようでした。
OpenCV のビルド時に python のパスを適切に設定していれば、opencv-python をインストールしなくても import cv2 が使えるはずなので、opencv-python はインストールしないようにします。

適当な Dockerfile を用意

今回は Ubuntu:20.04 のイメージを使いました。

インストール手順

GStreamer と OpenCV の公式のドキュメントが以下になります。

これを参考にインストールしていきます。

最終的に作成した Dockerfile

大体以下のような感じになりました。
途中参考になったページの URL などをソース内にメモしています。

FROM ubuntu:20.04

# tzdataのタイムゾーン入力を求められないようにする
# https://tmyoda.hatenablog.com/entry/20210124/1611416396
ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt update && \
 apt -y install \
 software-properties-common \
 # 必要なパッケージをインストール（必要に応じて取捨選択）
 python3-pip \
 libgl1-mesa-dev \
 libsm6 \
 git \
 wget \
 unzip \
 # OpenCV: Required build dependencies
 cmake \
 python3-dev \
 python3-numpy \
 libavcodec-dev \
 libavformat-dev \
 libswscale-dev \
 libgtk2.0-dev \
 libgtk-3-dev \
 # OpenCV: Optional Dependencies
 libpng-dev \
 libjpeg-dev \
 libopenexr-dev \
 libtiff-dev \
 libwebp-dev \
 # OpenCV のビルド時に -D WITH_QT=ON を設定するために以下が必要だった
 qtbase5-dev \
 qtdeclarative5-dev \
 # gstreamer のインストール
 # https://gstreamer.freedesktop.org/documentation/installing/on-linux.html
 libgstreamer1.0-dev \
 libgstreamer-plugins-base1.0-dev \
 libgstreamer-plugins-bad1.0-dev \
 gstreamer1.0-plugins-base \
 gstreamer1.0-plugins-good \
 gstreamer1.0-plugins-bad \
 gstreamer1.0-plugins-ugly \
 gstreamer1.0-libav \
 gstreamer1.0-doc \
 gstreamer1.0-tools \
 gstreamer1.0-x \
 gstreamer1.0-alsa \
 gstreamer1.0-gl \
 gstreamer1.0-gtk3 \
 gstreamer1.0-qt5 \
 gstreamer1.0-pulseaudio && \
 # aptのクリア
 apt clean && rm -rf /var/lib/apt/lists/*

# OpenCV のビルドとインストール
# https://docs.opencv.org/master/d2/de6/tutorial_py_setup_in_ubuntu.html
# https://toriten1024.hatenablog.com/entry/2018/09/29/012205
# https://dlrecord.hatenablog.com/entry/2017/12/15/145356
# https://atmarkit.itmedia.co.jp/ait/articles/1704/10/news134.html
RUN mkdir opencv && \
 cd /opencv && \
 # OpenCV のダウンロード
 wget https://github.com/opencv/opencv/archive/4.5.3.zip && \
 unzip 4.5.3.zip && \
 # OpenCV の cmake
 cd /opencv/opencv-4.5.3 && \
 mkdir build && \
 cd /opencv/opencv-4.5.3/build && \
 cmake -D CMAKE_BUILD_TYPE=RELEASE \
 -D BUILD_DOCS=OFF \
 -D BUILD_EXAMPLES=OFF \
 -D BUILD_TESTS=OFF \
 -D WITH_1394=OFF \
 -D WITH_GSTREAMER=ON \
 -D WITH_FFMPEG=OFF \
 # cv2.waitKey() を使うためには WITH_QT=ON にする必要があった
 -D WITH_QT=ON \
 .. && \
 # OpenCV のビルド ※ $(nproc) はコア数を返す、make を並列処理させて高速化したい場合は指定する
 #make -j${nproc} && \
 #make -j3 && \
 make && \
 make install && \
 # 後始末
 rm -rf /opencv

# 必要なプラグインをインストール（必要に応じて取捨選択）
RUN pip3 install \
 pyyaml \
 pymongo \
 flask \
 pytest \
 mongomock

# bash起動
CMD [ "/bin/bash" ]

Docker コンテナの起動

上記で作成した Dockerfile をビルドしたらコンテナを起動します。
カメラにアクセスできるよういろいろ指定していますが、ここらへんは環境に応じて変更してください。

xhost +local:docker

docker run -it --rm \
 --name containername \
 -e DISPLAY=${DISPLAY} \
 -v /tmp/.X11-unix/:/tmp/.X11-unix/ \
 -v /dev/bus/usb:/dev/bus/usb \
 --privileged --device /dev/dri:/dev/dri \
 --device-cgroup-rule='c 189:* rmw' \
 -v $(pwd)/workspace:/workspace \
 --workdir="/workspace" \
 imagename:latest

実際に OpenCV と GStreamer が使えるかどうかの動作確認に別の記事で書きました。

OpenCV + Gstreamer を使う

参考 URL

[python] ネットワークカメラの画像を RTSP で取得して表示・保存

Tue, 03 Aug 2021 00:00:00 +0900

やり方はいろいろあると思いますが、OpenCV を使えば簡単にできました。

画像を取得して表示

VideoCapture の引数に RTSP の URL を記述するだけで簡単に画像を取得できます。
URL はネットワークカメラの仕様を確認してください。
今回は Panasonic のカメラを使いました。

import cv2

user_id = "admin" 
user_pw = "password" 
host = "192.168.0.1" 
cap = cv2.VideoCapture(f"rtsp://{user_id}:{user_pw}@{host}/MediaInput/h264")

while(True):
 try:
 ret, frame = cap.read()
 if ret == True:
 cv2.imshow('VIDEO', frame)
 cv2.waitKey(1)
 except KeyboardInterrupt:
 print("KeyboardInterrupt")
 break

cap.release()
cv2.destroyAllWindows()

VideoCapture の引数を変更すれば、USB カメラや動画ファイルの読み込み、連番のJPGファイルも一括で読み込めたりするので便利です。

保存

今回 RTSP では H.264 で取得しましたが、フレームの処理は OpenCV 側で上手く処理してくれているので、キーフレームとか GOP とか何も考えずに保存できます。

JPG の保存

cv2.imwrite("sample.jpg", frame)

動画の保存

VideoWriter_fourcc でコーデックを指定します。
以下が参考になりました。

https://qiita.com/Gyutan/items/e279e8680b90ca891250

画像サイズはキャプチャから取得できる値をそのまま保存時にも使っていますが、フレームレートは取得できないので、直接指定しています。
これが合っていないと当然おかしなことになります（早送り再生やスロー再生したような状態になります）。

import cv2

user_id = "admin" 
user_pw = "password" 
host = "192.168.0.1" 
cap = cv2.VideoCapture(f"rtsp://{user_id}:{user_pw}@{host}/MediaInput/h264")

width = cap.get(cv2.CAP_PROP_FRAME_WIDTH)
height = cap.get(cv2.CAP_PROP_FRAME_HEIGHT)

fmt = cv2.VideoWriter_fourcc(*'MP4V')
frame_rate = 30.0
writer = cv2.VideoWriter("sample.mp4", fmt, frame_rate, (int(width), int(height)))

while(True):
 try:
 ret, frame = cap.read()
 if ret == True:
 writer.write(frame)
 cv2.imshow('VIDEO', frame)
 cv2.waitKey(1)
 except KeyboardInterrupt:
 print("KeyboardInterrupt")
 break

writer.release()
cap.release()
cv2.destroyAllWindows()