InfluxDB on heppoko blog

Grafana Cloud で InfluxDB v2 のデータを可視化する

Fri, 06 Jan 2023 00:00:00 +0900

InfluxDB v2 ではそれ自体でダッシュボードの作成もできますが、まだまだ使いにくかったり細かい設定ができなかったりしたので、使い慣れている Grafana を使うことにしました。
また、この機会に Grafana もオンプレミス版からクラウドサービスの Grafana Cloud に変更しました。

Grafana Cloud へのサインアップ方法などは割愛します。

データソースの設定

サイドメニューから Data Sources を選択します。
Add data source をクリックし、InfluxDB をクリックします。
InfluxDB の情報を入力します。

InfluxDB Cloud の場合、Query Language は Flux を選択します。
また、URL, トークン、バケット名が必要になるので、以下を参考に取得しておきます。

https://kuttsun.blogspot.com/2022/12/influxdb-cloud.html

ダッシュボード（パネル）の作成

InfluxDB v1 では GUI でポチポチと設定していくだけでグラフが表示できましたが、InfluxDB v2 では Flux で処理を書いていく必要があります。
最初は難しかったですが、慣れればこちらのほうが簡単に思えてきました。
いくつか例を挙げます。

基本

以下にサンプルがあります。

https://grafana.com/docs/grafana/latest/datasources/influxdb/query-editor/#use-macros

from(bucket:"バケット名")
 |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: v.windowPeriod, fn: mean)

基本的にはこれでグラフが作成できます。

一日ごとのデータを表示

例えば株価の終値を表示したい場合などは以下のようにすることでできました。

import "timezone"

option location = timezone.location(name: "Asia/Tokyo")

from(bucket:"バケット名")
 |> range(start: -30d, stop: now())
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: 1d, fn: last)

ポイントは aggregateWindow(every: 1d, fn: last) で、一日ごとの最後の値を取得しています。

また、タイムゾーンを指定しないと UTC での終値（つまり、日本時間の9時の時点の値）が取得されてしまったので、JST を指定しました。

https://www.influxdata.com/blog/time-zones-in-flux/

尚、私の場合はグラフではなくテーブル表示にしたかったため、グラフの表示期間に関わらず range(start: -30d, stop: now()) で直近30日固定表示にしています。

累積グラフの作成

cumulativeSum を使います。

https://docs.influxdata.com/influxdb/cloud/query-data/flux/cumulativesum/

例えば、日次損益の集計を行う場合などは以下のようにするとできました。

import "timezone"

option location = timezone.location(name: "Asia/Tokyo")

from(bucket:"バケット名")
 |> range(start: -30d, stop: now())
 |> filter(fn:(r) => r._measurement == "メジャーメント名")
 |> filter(fn:(r) => r["_field"] == "表示したいフィールドの名前")
 |> aggregateWindow(every: 1d, fn: last)
 |> cumulativeSum()

一日ごとの値は取り出す方法は前述の例と同じです。
あとはそれを cumulativeSum() で加算していくだけです。
これにより、一日ごとの値を加算してグラフに表示できます。

参考 URL

Influxdb Cloud を使ってみた

Mon, 26 Dec 2022 00:00:00 +0900

今までは AWS や GCP 上に InfluxDB の環境を用意して使っていたのですが、InfluxDB Cloud というクラウドサービスがあることを知ったので、使ってみました。
バージョンも今までは v1 を使っていましたが、クラウドなので v2 に変わります。

準備

バケットの作成

InfluxDB v1 系でいう、データベースとリテンションポリシーを合わせたようなものかなと思います。

サイドメニューより Load Data > Buckets を選択します。
画面右側の GENERATE BUCKET > クリックします。
バケット名を入力し、必要に応じてデータの保存期間を指定します（デフォルトでは 30 日経ったら古いデータが削除されます）。

トークンの取得

サイドメニューより Load Data > API Tokens を選択します。
画面右側の GENERATE API TOKEN > All Access API Token を選択します。
トークンが表示されるのでコピーします。

コピーしたトークンは環境変数などに設定して使います。

$ export INFLUX_TOKEN=コピーしたトークン

URL の取得

API エンドポイントとなる URL は以下で取得できます。

画面上部のメールアドレスを選択 > Settings をクリック

Python からデータを書き込む

以下の記事を参考にしてください。

https://kuttsun.blogspot.com/2022/12/python-influxdb-18-influxdbclient.html

必要な情報はバケット名、トークン、URL です。

ダッシュボードの作成

別途記事にします。

参考 URL

https://dev.classmethod.jp/articles/send-and-visualize-data-with-influxdb-cloud/

[Python] InfluxDB 1.8 で influxdb_client を使う

Wed, 21 Dec 2022 00:00:00 +0900

python で InfluxDB v1 に対してデータの読み書きを行う際に、ayncio を使って非同期化したいなと思ったのですが、今使っているライブラリの InfluxDBClient は asyncio に対応していないようでした。

代わりに influxdata 社の influx-client を使うと asyncio を使えそうだったのですが、こちらは基本的に InfluxDB v2 以降にのみ対応しているようで、Flux という言語にしか対応していません。
InfluxDB v1 以前は InfluxQL という SQL に近い言語が使われていました。

こちら、以下のページが参考になりました。

https://rabbit-note.com/2022/09/12/influxdb-2-flux/

ただ、InfluxDB 1.7以降でも設定を変更することで Flux が使えるようになるそうです。

https://github.com/influxdata/influxdb-client-python#influxdb-1-8-api-compatibility

従って、InfluxDB v1 でも Flux を有効にしたうえで、Flux でクエリを記述してデータを取得するようにすれば、asyncio を使って非同期化することができそうです。
ちなみに、データの書き込みに関しては Flux は関係ありませんでした。

以下、InfluxDB v1 の前提で書いていますが、v2 でも基本的には同じです。
bucket token の指定方法が異なるだけです。

環境

InfluxDB 1.8.10

Flux 言語を有効化する

InfluxDB を Docker で動かしていたのですが、環境変数に以下を追加するだけで OK でした。

INFLUXDB_HTTP_FLUX_ENABLED=true

サンプルコード

データの書き込み (write_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync
from influxdb_client.client.write.point import Point
from influxdb_client.domain.write_precision import WritePrecision

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん
 
 data = []
 data.append({
 'fields': {
 'hoge': 1
 },
 'measurement': 'measurement',
 'tags': {
 'hostname': 'hostname',
 }
 })
 points = [ Point.from_dict(i, WritePrecision.MS) for i in data ]
 
 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 write_api = client.write_api()
 successfully = await write_api.write(bucket=bucket, record=points)
 print(successfully)

データの読み込み (query_api)

import asyncio
from influxdb_client.client.influxdb_client_async import InfluxDBClientAsync

if __name__ == '__main__':
 
 async def main():
 url = 'http://<url>:8086'
 username = 'username'
 password = 'password'
 dbname = 'dbname'
 rpname = 'rpname'
 # https://zeppelin.apache.org/docs/0.10.1/interpreter/influxdb.html
 bucket = f'{dbname}/{rpname}' # InfluxDB 1.8 では dbname/rpname がバケット名として使われる
 token = f'{username}:{password}' # InfluxDB 1.8 では username:password がトークンとして使われる
 org = "-" # InfluxDB 1.8 ではよくわからん

 query = f"""
 from(bucket: "{bucket}")
 |> range(start: -10m)
 |> filter(fn:(r) => r._measurement == "measurement")
 |> filter(fn: (r) => r["_field"] == "field")
 |> aggregateWindow(every: 1m, fn: mean, createEmpty: false)
 """

 async with InfluxDBClientAsync(url=url, token=token, org=org) as client:
 tables = await client.query_api().query(query=query)
 for table in tables:
 print(table)
 for record in table.records:
 print (record.values)

 asyncio.run(main())

Flux については以下のページが参考になりました。

https://qiita.com/riverplus/items/20456e4188a4c0f5f62d