25.3. OVN-Kubernetes のトラブルシューティング

手順

1. 次のコマンドを実行して、ovnkube-master readiness プローブの詳細を確認します。

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-master Pod 内のノースバウンドおよびサウスバウンドデータベースコンテナーの readiness プローブは、データベースをホストする Raft クラスターの正常性をチェックします。

2. 次のコマンドを実行して、ovnkube-node readiness プローブの詳細を確認します。

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-node Pod 内の ovnkube-node コンテナーには、ovn-kubernetes CNI 設定ファイルの存在を確認する readiness プローブがあります。この設定ファイルがない場合、Pod が実行されていないか、Pod を設定するリクエストを受け入れる準備ができていないません。

3. 次のコマンドを使用して、プローブの失敗を含む namespace のすべてのイベントを表示します。

   $ oc get events -n openshift-ovn-kubernetes

4. この Pod だけのイベントを表示します。

   $ oc describe pod ovnkube-master-tp2z8 -n openshift-ovn-kubernetes

5. クラスターネットワーク Operator からのメッセージとステータスを表示します。

   $ oc get co/network -o json | jq '.status.conditions[]'

6. 次のスクリプトを実行して、ovnkube-master Pod 内の各コンテナーの ready ステータスを表示します。

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   注記

   すべてのコンテナーのステータスが true として報告されることが期待されます。readiness プローブが失敗すると、ステータスが false に設定されます。

手順 (UI)

1. Administrator パースペクティブで、Observe → Alerting を選択します。このパースペクティブのアラート UI の主なページには、Alerts、Silences、および Alerting Rules という 3 つのページがあります。
2. Observe → Alerting → Alerting Rules を選択して、OVN-Kubernetes アラートのルールを表示します。

手順

1. 次のコマンドを実行して、アクティブまたは発生中のアラートを表示します。

   1. 次のコマンドを実行して、アラートマネージャーのルート環境変数を設定します。

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

   2. 次のコマンドを実行して、特定のフィールドを要求する正しい承認の詳細を指定して、アラートマネージャールート API に curl リクエストを発行します。

      $ curl -s -k -H "Authorization: Bearer \
      $(oc create token prometheus-k8s -n openshift-monitoring)" \
      https://$ALERT_MANAGER/api/v1/alerts \
      | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

2. 次のコマンドを実行して、アラートルールを表示します。

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

手順

1. 特定の Pod のログを表示します。

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   ここでは、以下のようになります。

   -f

   オプション: ログに書き込まれている内容に沿って出力することを指定します。

   <pod_name>

   Pod の名前を指定します。

   <container_name>

   オプション: コンテナーの名前を指定します。Pod に複数のコンテナーがある場合、コンテナー名を指定する必要があります。

   <namespace>

   Pod が実行されている namespace を指定します。

   以下に例を示します。

   $ oc logs ovnkube-master-7h4q7 -n openshift-ovn-kubernetes

   $ oc logs -f ovnkube-master-7h4q7 -n openshift-ovn-kubernetes -c ovn-dbchecker

   ログファイルの内容が出力されます。

2. ovnkube-master Pod 内のすべてのコンテナーの最新のエントリーを調べます。

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

3. 次のコマンドを使用して、ovnkube-master Pod 内のすべてのコンテナーのすべてのログの最後の 5 行を表示します。

   $ oc logs -l app=ovnkube-master -n openshift-ovn-kubernetes --all-containers --tail 5

手順

1. OpenShift Container Platform コンソールで Workloads → Pods に移動するか、調査するリソースから Pod に移動します。
2. ドロップダウンメニューから openshift-ovn-kubernetes プロジェクトを選択します。
3. 調査する Pod の名前をクリックします。
4. Logs をクリックします。ovnkube-master のデフォルトでは、northd コンテナーに関連付けられたログが表示されます。
5. ドロップダウンメニューを使用して、各コンテナーのログを順番に選択します。

手順

1. 現在の PodNetworkConnectivityCheck オブジェクトを一覧表示するには、以下のコマンドを入力します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

2. 次のコマンドを使用して、各接続オブジェクトの最新の成功を表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

3. 次のコマンドを使用して、各接続オブジェクトの最新のエラーを表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

4. 次のコマンドを使用して、各接続オブジェクトの最新の停止を表示します。

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   接続チェックコントローラーは、これらのチェックからのメトリクスも Prometheus に記録します。

5. 次のコマンドを実行して、すべてのメトリクスを表示します。

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

6. 過去 5 分間のソース Pod と openshift api サービス間のレイテンシーを表示します。

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'