24.3. OVN-Kubernetes 문제 해결

프로세스

1. 다음 명령을 실행하여 ovnkube-master readiness 프로브의 세부 사항을 검토합니다.

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-master Pod의 northbound 및 southbound 데이터베이스 컨테이너의 준비 상태 프로브는 데이터베이스를 호스팅하는 Raft 클러스터의 상태를 확인합니다.

2. 다음 명령을 실행하여 ovnkube-node readiness 프로브의 세부 사항을 검토합니다.

   $ oc get pods -n openshift-ovn-kubernetes -l app=ovnkube-master \
   -o json | jq '.items[0].spec.containers[] | .name,.readinessProbe'

   ovnkube-node Pod의 ovnkube-node 컨테이너에는 ovn-kubernetes CNI 구성 파일의 존재를 확인할 준비 프로브가 있으며, Pod가 실행되고 있지 않거나 Pod를 구성하기 위한 요청을 수락할 준비가 되지 않았음을 나타냅니다.

3. 다음 명령을 사용하여 네임스페이스에 대한 프로브 오류를 포함한 모든 이벤트를 표시합니다.

   $ oc get events -n openshift-ovn-kubernetes

4. 이 Pod의 이벤트만 표시합니다.

   $ oc describe pod ovnkube-master-tp2z8 -n openshift-ovn-kubernetes

5. 클러스터 네트워크 Operator의 메시지와 상태를 표시합니다.

   $ oc get co/network -o json | jq '.status.conditions[]'

6. 다음 스크립트를 실행하여 ovnkube-master Pod의 각 컨테이너의 준비 상태를 표시합니다.

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); do echo === $p ===;  \
   oc get pods -n openshift-ovn-kubernetes $p -o json | jq '.status.containerStatuses[] | .name, .ready'; \
   done

   참고

   예상되는 모든 컨테이너 상태는 true 로 보고하고 있습니다. 준비 상태 프로브의 실패로 상태를 false 로 설정합니다.

프로세스(UI)

1. 관리자 관점에서 Observe → Alerting 을 선택합니다. 이 관점에서 경고 UI의 세 가지 주요 페이지는 경고, 음소거 및 경고 규칙 페이지입니다.
2. Observe → Alerting → Alerting rules를 선택하여 OVN-Kubernetes 경고에 대한 규칙을 확인합니다.

프로세스

1. 다음 명령을 실행하여 활성 또는 실행 경고를 확인합니다.

   1. 다음 명령을 실행하여 경고 관리자 경로 환경 변수를 설정합니다.

      $ ALERT_MANAGER=$(oc get route alertmanager-main -n openshift-monitoring \
      -o jsonpath='{@.spec.host}')

   2. 다음 명령을 실행하여 특정 필드를 요청하는 올바른 권한 부여 세부 정보를 사용하여 경고 관리자 경로 API에 curl 요청을 실행합니다.

      $ curl -s -k -H "Authorization: Bearer \
      $(oc create token prometheus-k8s -n openshift-monitoring)" \
      https://$ALERT_MANAGER/api/v1/alerts \
      | jq '.data[] | "\(.labels.severity) \(.labels.alertname) \(.labels.pod) \(.labels.container) \(.labels.endpoint) \(.labels.instance)"'

2. 다음 명령을 실행하여 경고 규칙을 확인합니다.

   $ oc -n openshift-monitoring exec -c prometheus prometheus-k8s-0 -- curl -s 'http://localhost:9090/api/v1/rules' | jq '.data.groups[].rules[] | select(((.name|contains("ovn")) or (.name|contains("OVN")) or (.name|contains("Ovn")) or (.name|contains("North")) or (.name|contains("South"))) and .type=="alerting")'

프로세스

1. 특정 Pod의 로그를 확인합니다.

   $ oc logs -f <pod_name> -c <container_name> -n <namespace>

   다음과 같습니다.

   -f

   선택 사항: 출력에서 로그에 기록되는 내용을 따르도록 지정합니다.

   <pod_name>

   pod 이름을 지정합니다.

   <container_name>

   선택 사항: 컨테이너의 이름을 지정합니다. Pod에 여러 컨테이너가 있는 경우 컨테이너 이름을 지정해야 합니다.

   <namespace>

   Pod가 실행 중인 네임스페이스를 지정합니다.

   예를 들면 다음과 같습니다.

   $ oc logs ovnkube-master-7h4q7 -n openshift-ovn-kubernetes

   $ oc logs -f ovnkube-master-7h4q7 -n openshift-ovn-kubernetes -c ovn-dbchecker

   로그 파일의 내용이 출력됩니다.

2. ovnkube-master Pod의 모든 컨테이너에서 최신 항목을 검사합니다.

   $ for p in $(oc get pods --selector app=ovnkube-master -n openshift-ovn-kubernetes \
   -o jsonpath='{range.items[*]}{" "}{.metadata.name}'); \
   do echo === $p ===; for container in $(oc get pods -n openshift-ovn-kubernetes $p \
   -o json | jq -r '.status.containerStatuses[] | .name');do echo ---$container---; \
   oc logs -c $container $p -n openshift-ovn-kubernetes --tail=5; done; done

3. 다음 명령을 사용하여 ovnkube-master Pod의 모든 컨테이너에서 마지막 5행을 확인합니다.

   $ oc logs -l app=ovnkube-master -n openshift-ovn-kubernetes --all-containers --tail 5

프로세스

1. OpenShift Container Platform 콘솔에서 워크로드 → Pod 로 이동하거나 조사하려는 리소스를 통해 Pod로 이동합니다.
2. 드롭다운 메뉴에서 openshift-ovn-kubernetes 프로젝트를 선택합니다.
3. 조사할 Pod 이름을 클릭합니다.
4. 로그를 클릭합니다. 기본적으로 ovnkube-master 의 경우 northd 컨테이너와 연결된 로그가 표시됩니다.
5. 아래로 메뉴를 사용하여 각 컨테이너의 로그를 차례로 선택합니다.

프로세스

1. 현재 PodNetworkConnectivityCheck 오브젝트를 나열하려면 다음 명령을 입력합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics

2. 다음 명령을 사용하여 각 연결 오브젝트의 최근 성공 상태를 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.successes[0]'

3. 다음 명령을 사용하여 각 연결 오브젝트의 최근 오류를 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.failures[0]'

4. 다음 명령을 사용하여 각 연결 오브젝트의 최근 중단을 확인합니다.

   $ oc get podnetworkconnectivitychecks -n openshift-network-diagnostics \
   -o json | jq '.items[]| .spec.targetEndpoint,.status.outages[0]'

   또한 연결 확인 컨트롤러는 이러한 검사의 지표를 Prometheus에 기록합니다.

5. 다음 명령을 실행하여 모든 메트릭을 확인합니다.

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'

6. 지난 5분 동안 소스 Pod와 openshift api 서비스 간의 대기 시간을 확인합니다.

   $ oc exec prometheus-k8s-0 -n openshift-monitoring -- \
   promtool query instant  http://localhost:9090 \
   '{component="openshift-network-diagnostics"}'