Grafana で任意の値が閾値を超えたら（または下回ったら）アラートを発報するように設定します。
設定方法は Grafana のバージョンによって大きく異なるようですが、今回使用した Grafana 9.1.0 では、以下の３段階で設定を行うようです。
Alert rules: アラート条件の設定Contact points：通知先の登録Notification policy：アラート条件と通知先の関連付け
環境
- Grafana 9.1.0
アラート条件の設定
- 左のサイドメニューより、
Alerting>Alert rulesをクリックします。 New alert ruleをクリックします。1. Set a query and alert condisionで監視したい値や閾値を設定します。（具体的な設定例は後述します。）2.Alert evaluation behaviorでアラート保留状態となる時間を設定します。
デフォルトでは１分毎に評価し、アラートを検出した後５分が経過したら通知が行われるようになっています。3. Add details for your alertでこのアラートの名前や説明を記載します。4. Notificationsで通知先のラベルを指定します（後述）。
指定しなかった場合はデフォルトの通知先が使用されます（後述）。- 設定が完了したら画面右上の Save で保存します。
通知先の登録
- 左のサイドメニューより、
Alerting>Contact pointsをクリックします。 New contact pointsをクリックします。Nameで適当な名前を付け、Contact point typeで通知方法を選択します（後述）。- 設定が完了したら Save contact point で保存します。
具体的な設定例
通知先によって異なるため、別記事にまとめます。
アラート条件と通知先の関連付け
- 左のサイドメニューより、
Alerting>Notification policiesをクリックします。 - デフォルトの通知先の変更や、特定のラベルのアラートに対する通知先を設定します（後述）。
Save policyをクリックして保存します。
デフォルトの通知先を指定
Root policyの右側にある Edit をクリックします。Default contact pointでデフォルトの通知先を指定します。
特定のラベルに対する通知先を指定
New specific policyをクリックします。Add matcherでラベルの条件を指定し、Contact pointで通知先を指定します。