25.3. OVN-Kubernetes 故障排除

流程

1. 运行以下命令，查看 ovnkube-master 就绪度探测的详情：

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-master pod 中北向和南向数据库容器的就绪度探测会检查托管数据库的 Raft 集群的健康状态。

2. 运行以下命令，查看 ovnkube-node 就绪度探测的详情：

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-node pod 中的 ovnkube-node 容器有一个就绪度探测来验证 ovn-kubernetes CNI 配置文件是否存在，而这代表 pod 没有运行，或者没有准备好接受配置 Pod 的请求。

3. 使用以下命令，显示命名空间的所有事件，包括探测失败：

   $ oc get events -n openshift-ovn-kubernetes

4. 仅显示此 pod 的事件：

   $ oc describe pod ovnkube-master-tp2z8 -n openshift-ovn-kubernetes

5. 显示集群网络 Operator 的消息和状态：

   $ oc get co/network -o json | jq '.status.conditions[]'

6. 运行以下命令，显示 ovnkube-master pod 中每个容器的 就绪 状态 ：

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   注意

   预期的是所有容器状态都报告为 true。就绪度探测失败，将状态设置为 false。

流程 (UI)

1. 在 Administrator 视角中，选择 Observe → Alerting。在此视角中，Alerting UI 中的三个主要页面是 Alerts、Silences 和 Alerting Rules 页面。
2. 选择 Observe → Alerting → Alerting Rules 来查看 OVN-Kubernetes 警报的规则。

流程

1. 运行以下命令，查看活动或触发警报：

   1. 运行以下命令设置警报管理器路由环境变量：

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

   2. 运行以下命令，使用请求特定字段的正确授权详情向警报管理器路由 API 发出 curl 请求：

      $ curl -s -k -H "Authorization: Bearer \
      $(oc create token prometheus-k8s -n openshift-monitoring)" \
      https://$ALERT_MANAGER/api/v1/alerts \
      | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

2. 运行以下命令来查看警报规则：

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

流程

1. 查看特定 pod 的日志：

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   其中：

   -f

   可选：指定输出是否遵循要写到日志中的内容。

   <pod_name>

   指定 pod 的名称。

   <container_name>

   可选：指定容器的名称。当 pod 具有多个容器时，您必须指定容器名称。

   <namespace>

   指定 pod 运行的命名空间。

   例如：

   $ oc logs ovnkube-master-7h4q7 -n openshift-ovn-kubernetes

   $ oc logs -f ovnkube-master-7h4q7 -n openshift-ovn-kubernetes -c ovn-dbchecker

   输出的日志文件内容。

2. 检查 ovnkube-master pod 中所有容器的最新条目：

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

3. 使用以下命令，查看 ovnkube-master pod 中每个容器的最后 5 行：

   $ oc logs -l app=ovnkube-master -n openshift-ovn-kubernetes --all-containers --tail 5

流程

1. 在 OpenShift Container Platform 控制台中，进入到 Workloads → Pods，或通过您要调查的资源进入到 pod。
2. 从下拉菜单中选择 openshift-ovn-kubernetes 项目。
3. 点您要调查的 pod 的名称。
4. 点 Logs。默认情况下，ovnkube-master 显示与 northd 容器关联的日志。
5. 使用向下下拉菜单选择每个容器的日志。

流程

1. 要列出当前的 PodNetworkConnectivityCheck 对象，请输入以下命令：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

2. 使用以下命令查看每个连接对象的最新成功：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

3. 使用以下命令查看每个连接对象的最新故障：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

4. 使用以下命令查看每个连接对象的最新中断：

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   连接检查控制器也会将来自这些检查的指标记录到 Prometheus 中。

5. 运行以下命令来查看所有指标：

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

6. 查看源 pod 和 openshift api 服务之间的延迟，持续 5 分钟：

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'