5.3. Service Telemetry Framework でのアラート

手順

1. Red Hat OpenShift Container Platform にログインします。

2. service-telemetry namespace に切り替えます。

   $ oc project service-telemetry

3. アラートルールを含む PrometheusRule オブジェクトを作成します。Prometheus Operator は、ルールを Prometheus に読み込みます。

   $ oc apply -f - <<EOF
   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     creationTimestamp: null
     labels:
       prometheus: default
       role: alert-rules
     name: prometheus-alarm-rules
     namespace: service-telemetry
   spec:
     groups:
       - name: ./openstack.rules
         rules:
           - alert: Collectd metrics receive rate is zero
             expr: rate(sg_total_collectd_msg_received_count[1m]) == 0 1
   EOF

   1

   ルールを変更するには、expr パラメーターの値を編集します。

4. Operator がルールを Prometheus に読み込んだことを確認するには、curl にアクセスできる Pod を作成します。

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

5. curl コマンドを実行して prometheus-operated サービスにアクセスし、メモリーに読み込まれるルールを返します。

   [ root@curl:/ ]$ curl prometheus-operated:9090/api/v1/rules
   {"status":"success","data":{"groups":[{"name":"./openstack.rules","file":"/etc/prometheus/rules/prometheus-default-rulefiles-0/service-telemetry-prometheus-alarm-rules.yaml","rules":[{"state":"inactive","name":"Collectd metrics receive rate is zero","query":"rate(sg_total_collectd_msg_received_count[1m]) == 0","duration":0,"labels":{},"annotations":{},"alerts":[],"health":"ok","evaluationTime":0.000525886,"lastEvaluation":"2022-02-01T17:42:52.161007803Z","type":"alerting"}],"interval":30,"limit":0,"evaluationTime":0.000541524,"lastEvaluation":"2022-02-01T17:42:52.161000138Z"}]}}

6. 出力に Pod から定義された ./openstack.rules が含まれるかなど、出力に PrometheusRule オブジェクトに読み込まれるルールが表示されることを確認するには、Pod を終了します。

   [ root@curl:/ ]$ exit

7. curl Pod を削除して環境を消去します。

   $ oc delete pod curl
   
   pod "curl" deleted

手順

1. oc edit コマンドを使用します。

   $ oc edit prometheusrules prometheus-alarm-rules

2. PrometheusRules マニフェストを編集します。
3. マニフェストを保存し、終了します。

手順

1. Red Hat OpenShift Container Platform にログインします。

2. service-telemetry namespace に切り替えます。

   $ oc project service-telemetry

3. STF デプロイメントの ServiceTelemetry オブジェクトを編集します。

   $ oc edit stf default

4. 新規パラメーター alertmanagerConfigManifest および Secret オブジェクトの内容を追加し、Alertmanager の alertmanager.yaml 設定を定義します。

   注記

   この手順では、Service Telemetry Operator が管理するデフォルトのテンプレートを読み込みます。変更が正しく入力されていることを確認するには、値を変更して alertmanager-default シークレットを返し、新しい値がメモリーに読み込まれていることを確認します。たとえば、パラメーター global.resolve_timeout の値を 5m から 10m に変更します。

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     backends:
       metrics:
         prometheus:
           enabled: true
     alertmanagerConfigManifest: |
       apiVersion: v1
       kind: Secret
       metadata:
         name: 'alertmanager-default'
         namespace: 'service-telemetry'
       type: Opaque
       stringData:
         alertmanager.yaml: |-
           global:
             resolve_timeout: 10m
           route:
             group_by: ['job']
             group_wait: 30s
             group_interval: 5m
             repeat_interval: 12h
             receiver: 'null'
           receivers:
           - name: 'null'

5. 設定がシークレットに適用されたことを確認します。

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'null'
   receivers:
   - name: 'null'

6. 設定が Alertmanager にロードされたことを確認するには、curl にアクセスできる Pod を作成します。

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

7. alertmanager-operated サービスに対して curl コマンドを実行し、ステータスと configYAML の内容を取得し、提供された設定が Alertmanager の設定と一致することを確認します。

   [ root@curl:/ ]$ curl alertmanager-operated:9093/api/v1/status
   
   {"status":"success","data":{"configYAML":"...",...}}

8. configYAML フィールドに予想される変更が含まれることを確認します。

9. Pod を終了します。

   [ root@curl:/ ]$ exit

10. 環境を消去するには、curl Pod を削除します。

    $ oc delete pod curl
    
    pod "curl" deleted

手順

1. Red Hat OpenShift Container Platform にログインします。

2. service-telemetry namespace に切り替えます。

   $ oc project service-telemetry

3. STF デプロイメントの ServiceTelemetry オブジェクトを編集します。

   $ oc edit stf default

4. STF を使用してカスタム Alertmanager ルートをデプロイするには、alertmanagerConfigManifest パラメーターを Service Telemetry Operator に渡す必要があります。これにより、更新されたシークレットが作成され、Prometheus Operator の管理対象となります。

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     backends:
       metrics:
         prometheus:
           enabled: true
     alertmanagerConfigManifest: |
       apiVersion: v1
       kind: Secret
       metadata:
         name: 'alertmanager-default'
         namespace: 'service-telemetry'
       type: Opaque
       data:
         alertmanager.yaml: Z2xvYmFsOgogIHJlc29sdmVfdGltZW91dDogMTBtCiAgc2xhY2tfYXBpX3VybDogPHNsYWNrX2FwaV91cmw+CnJlY2VpdmVyczoKICAtIG5hbWU6IHNsYWNrCiAgICBzbGFja19jb25maWdzOgogICAgLSBjaGFubmVsOiAjc3RmLWFsZXJ0cwogICAgICB0aXRsZTogfC0KICAgICAgICAuLi4KICAgICAgdGV4dDogPi0KICAgICAgICAuLi4Kcm91dGU6CiAgZ3JvdXBfYnk6IFsnam9iJ10KICBncm91cF93YWl0OiAzMHMKICBncm91cF9pbnRlcnZhbDogNW0KICByZXBlYXRfaW50ZXJ2YWw6IDEyaAogIHJlY2VpdmVyOiAnc2xhY2snCg==

5. 設定がシークレットに適用されたことを確認します。

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
     slack_api_url: <slack_api_url>
   receivers:
     - name: slack
       slack_configs:
       - channel: #stf-alerts
         title: |-
           ...
         text: >-
           ...
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'slack'

6. 設定が Alertmanager に読み込まれたことを確認するために、curl コマンドにアクセスできる Pod を作成します。

   $ oc run curl --image=radial/busyboxplus:curl -i --tty

7. alertmanager-operated サービスに対して curl コマンドを実行し、ステータスと configYAML の内容を取得し、提供された設定が Alertmanager の設定と一致することを確認します。

   [ root@curl:/ ]$ curl alertmanager-operated:9093/api/v1/status
   
   {"status":"success","data":{"configYAML":"...",...}}

8. configYAML フィールドに予想される変更が含まれることを確認します。

9. Pod を終了します。

   [ root@curl:/ ]$ exit

10. 環境を消去するには、curl Pod を削除します。

    $ oc delete pod curl
    
    pod "curl" deleted