Overlayroot on ポンコツ地方エンジニアの技術ブログ

overlayroot 環境内で docker を使う方法

Fri, 19 Aug 2022 00:00:00 +0900

overlayroot でルートファイルシステムを読み取り専用にしたところ、docker が使えなくなりました。

OS は Ubuntu 20.04 です。
overlayroot を有効にする方法などについては以前の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/04/overlayroot-ubuntu.html

問題点

Docker がインストールされている環境で、overlayroot でルートファイルシステムを読み取り専用にした場合、docker コマンドを実行すると以下のようなエラーが発生します。

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

いろいろ調べてみた結果、基本的に overlayroot が有効な状態では docker は使えないようです。
一応以下にあるやり方で docker コンテナを立ち上げるところまではできました。

しかし、そもそも Docker ボリュームには DB のデータなどを逐次格納していっているので、tmpfs 上（＝メモリ上）だとメモリがすぐ枯渇してしまいそうです。
また、Docker コンテナ・イメージをアップデートしたい場合にも困ります。

というわけで、少なくとも /var/lib/docker の領域はパーティションを分けるしかないじゃないかというところに行き着きました。
以下のページでも書き込み可能としたい場合はパーティションを分ける方法が紹介されています。

https://armadillo.atmark-techno.com/index.php/blog/10899/8648

また、Docker に関するベストプラクティスでも、コンテナ用にパーティションを分けるとあります。

https://www.creationline.com/lab/aquasecurity/43087

その上で、Docker コンテナも read-only で起動すれば、ルートファイルシステムだけでなく Docker コンテナも保護できそうです。

対処方法

とりあえず以下のようにパーティションを分けることで overlayroot と docker の共存ができました。

パス	マウントポイント
/dev/sda1	EFI システムパーティション
/dev/sda2	/
/dev/sda3	/var

この状態で overlayroot をインストールし、/etc/overlayroot.local.conf に overlayroot="tmpfs:recurse=0" を記載します。コマンド一発でやる場合は以下です。

$ echo 'overlayroot="tmpfs:recurse=0"' | sudo tee -a /etc/overlayroot.local.conf

overlayroot のインストールや設定については以前の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/04/overlayroot-ubuntu.html

今回はルートファイルシステムのみを読み取り専用にするので、tmpfs:recurse=0 を指定するらしいです。
以下が参考になりました。

https://gihyo.jp/admin/serial/01/ubuntu-recipe/0568

これで再起動すれば、ルートファイルシステムのみが読み取り専用となり、/var は読み書き可能な状態となります。
docker も普通に使えました。

参考 URL

Jetson Xavier NX でルートファイルシステムを overlayroot で読み込み専用に設定する

Tue, 26 Apr 2022 00:00:00 +0900

以前、Ubuntu で overlayroot を使ってルートファイルシステムを読み込み専用にしてみたのですが、Jetson Xavier NX で同じように試してみたところ、それだけではだめでした。

恐らくですが、ブートローダーが EXTLINUX であることが原因のような気がしています。

https://docs.nvidia.com/jetson/l4t/index.html#page/Tegra%20Linux%20Driver%20Package%20Development%20Guide/uboot_guide.html#wwpID0E0YD0HA

Jetson Xavier NX ではどうやってやればいいのかググってみると、NVIDIA のフォーラムで議論されているのが見つかりました。

その中で、解決策として提示されていたのが以下です。

https://github.com/negachov/overlayroot-jetpack

環境

Jetson Xavior NX
Ubuntu 18.04
JetPack 4.5.1

overlayroot のインストールと有効化

以下の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/04/overlayroot-ubuntu.html

Jetson Xavier NX ではこれに加え、次のことが必要でした。

/boot/initrd の置き換え

GitHub にスクリプトが公開されているので、まずこれをクローンします。

$ git clone https://github.com/negachov/overlayroot-jetpack

あとは以下を実行するだけです。

$ cd overlayroot-jetpack
$ sudo ./update-initramfs-jetpack
$ reboot

これで、再起動後に overlayroot が有効になっていました。

参考 URL

Ubuntu のファイルシステムを overlayroot で読み込み専用にする

Mon, 25 Apr 2022 00:00:00 +0900

電源ブチ切り対策の一環として、overlayroot で Ubuntu の rootfs を read only にしてみました。

やり方はいろいろググってみましたが、以下のサイトがとても参考になりました。

環境

Ubuntu 20.04 (デスクトップ版)

現在の状態を確認

mount コマンドで確認してみます。

$ mount

抜粋ですが、以下の状態が確認できます。

/dev/sda2 on / type ext4 (rw,relatime,errors=remount-ro)

overlayroot のインストール

サーバー版には最初からインストールされているそうですが、デスクトップ版にはインストールされていないので、apt でインストールします。

$ sudo apt install overlayroot

overlayroot の有効化

overlayroot を有効化するには、以下のいずれかの対応が必要だそうです。

カーネルパラメーターに overlayroot=XXX を指定する
/etc/overlayroot.local.conf に overlayroot="XXX" を指定する
/etc/overlayroot.conf に overlayroot="XXX" を指定する

設定内容は上位のほうが優先されるそうです。
今回は /etc/overlayroot.local.conf に設定を追加します。
まずはエディタで開きます。

$ sudo gedit /etc/overlayroot.local.conf

以下を追記します。

overlayroot="tmpfs"

コマンド一発でやるなら以下です。

$ echo 'overlayroot="tmpfs"' | sudo tee -a /etc/overlayroot.local.conf

tmpfs はメモリ上に作成ファイルシステムで、一時的にデータを格納するために使われます。

https://linuc.org/study/knowledge/441/

Linux ではマウントするファイルシステムの情報が /etc/fstab に書かれていますが、ここが overlayroot における下位レイヤーとなり、読み込み専用レイヤーとなります。
そして、先ほど追記した tempfs が上位レイヤーとなり、書き込み可能レイヤーとなります。
ここらへんは後述するように mount コマンドで確認可能です。

ただし、tmpfs はメモリ上に作成されたファイルシステムなので、再起動時にはデータは消えます。

ルートファイルシステムのみを読み取り専用にする

パーティションを分けている場合などで、ルートファイルシステムのみを読み取り専用にするためには、/etc/overlayroot.local.conf に tmpfs:recurse=0 を指定するらしいです。
コマンド一発でやる場合は以下。

https://gihyo.jp/admin/serial/01/ubuntu-recipe/0568

echo 'overlayroot="tmpfs:recurse=0"' | sudo tee -a /etc/overlayroot.local.conf

これで再起動すれば、ルートファイルシステムのみが読み取り専用となり、他のパーティションは読み書き可能な状態となります。

確認

先ほどと同じように mount コマンドで確認してみます。

$ mount

抜粋ですが、以下の状態が確認できました。

/dev/sda2 on /media/root-ro type ext4 (ro,relatime)
tmpfs-root on /media/root-rw type tmpfs (rw,relatime,inode64)
overlayroot on / type overlay (rw,relatime,lowerdir=/media/root-ro,upperdir=/media/root-rw/overlay,workdir=/media/root-rw/overlay-workdir/_)

ルートファイルシステムが /media/root-ro に読み込み専用(ro)の下位レイヤー(lowerdir) として設定され、tmpfs が /media/root-rw/overlay に書き込み可能(rw)な上位レイヤー(upperdir) して設定されているのが確認できます。

ファイルが消えることを確認

ついでに、ホームディレクトリに適当にファイルを作成し、再起動時にファイルが消えていることを確認します。

overlayroot の無効化

/etc/overlayroot.local.conf を削除するか、/etc/overlayroot.local.conf を編集して中身を overlayroot="" に変更すれば、overlayroot の無効化されます。

しかし、現在は overlayroot が有効化になっている状況なので、このまま変更しても再起動後にはまた元に戻ってしまいます。
そのため、この変更は一時的に書き込みを許可した状態で行う必要があります。
一時的に書き込み可能な状態にするには以下のコマンドを実行します。

$ sudo overlayroot-chroot

そして、/etc/overlayroot.local.conf を削除するか、/etc/overlayroot.local.conf を編集して中身を overlayroot="" に変更します。

# rm /etc/overlayroot.local.conf

exit でシェルから抜ければ書き込み可能状態は終了します。

# exit

再起動後、overlayroot が無効状態になっています。

GRUB メニューで時間がかかることの対策

overlayroot を有効にした状態で再起動すると、GRUB メニューが表示され、30秒ほど待たされるようになります。
詳細は以下をご参照ください。

https://gihyo.jp/admin/serial/01/ubuntu-recipe/0568

起動が30秒も遅くなるのは困るので、以下を参考にして GRUB の設定を変更しました。

※以下は overlayroot を無効にした状態で行う必要があります！

/etc/default/grub をエディタで開きます。

$ sudo nano /etc/default/grub

以下を追記します。

GRUB_RECORDFAIL_TIMEOUT=$GRUB_TIMEOUT

設定を反映するために以下のコマンドを実行します。

$ sudo grub-mkconfig -o /boot/grub/grub.cfg

これで overlayroot を有効にしても起動時間は変わらなくなりました。