14.14. OpenShift Virtualization runbook

클러스터에 기본 스토리지 클래스가 있는지 확인합니다.

$ oc get sc

출력에는 기본 스토리지 클래스의 이름 옆에 (기본값) 스토리지 클래스가 표시됩니다. DataImportCron 이 golden 이미지를 폴링하고 가져오려면 클러스터 또는 DataImportCron 사양에서 기본 스토리지 클래스를 설정해야 합니다. 스토리지 클래스가 정의되지 않은 경우 DataVolume 컨트롤러에서 PVC를 생성하지 못하고 다음 이벤트가 표시됩니다 . DataVolume.storage 사양은 accessMode이고 storageClass가 프로필을 선택하지 않습니다.

DataImportCron 네임스페이스 및 이름을 가져옵니다.

$ oc get dataimportcron -A -o json | jq -r '.items[] | \
  select(.status.conditions[] | select(.type == "UpToDate" and \
  .status == "False")) | .metadata.namespace + "/" + .metadata.name'

기본 스토리지 클래스가 클러스터에 정의되지 않은 경우 기본 스토리지 클래스에 대해 DataImportCron 사양을 확인합니다.

$ oc get dataimportcron <dataimportcron> -o yaml | \
  grep -B 5 storageClassName

      url: docker://.../cdi-func-test-tinycore
    storage:
      resources:
        requests:
          storage: 5Gi
    storageClassName: rook-ceph-block

DataImportCron 오브젝트와 연결된 DataVolume 의 이름을 가져옵니다.

$ oc -n <namespace> get dataimportcron <dataimportcron> -o json | \
  jq .status.lastImportedPVC.name

DataVolume 로그에 오류 메시지가 있는지 확인합니다.

$ oc -n <namespace> get dv <datavolume> -o yaml

CDI_NAMESPACE 환경 변수를 설정합니다.

$ export CDI_NAMESPACE="$(oc get deployment -A | \
  grep cdi-operator | awk '{print $1}')"

cdi-deployment 로그에서 오류 메시지가 있는지 확인합니다.

$ oc logs -n $CDI_NAMESPACE deployment/cdi-deployment

클러스터가 제한된 네트워크 환경에 설치된 경우 자동 업데이트를 사용하지 않도록 하려면 enableCommonBootImageImport 기능 게이트를 비활성화합니다.

$ oc patch hco kubevirt-hyperconverged -n $CDI_NAMESPACE --type json \
  -p '[{"op": "replace", "path": \
  "/spec/featureGates/enableCommonBootImageImport", "value": false}]'

데이터 볼륨의 이름과 네임스페이스를 가져옵니다.

$ oc get dv -A -o json | jq -r '.items[] | \
  select(.status.restartCount>3)' | jq '.metadata.name, .metadata.namespace'

데이터 볼륨과 연결된 Pod의 상태를 확인합니다.

$ oc get pods -n <namespace> -o json | jq -r '.items[] | \
  select(.metadata.ownerReferences[] | \
  select(.name=="<dv_name>")).metadata.name'

Pod의 세부 정보를 가져옵니다.

$ oc -n <namespace> describe pods <pod>

Pod 로그에 오류 메시지가 있는지 확인합니다.

$ oc -n <namespace> describe logs <pod>

CDI_NAMESPACE 환경 변수를 설정합니다.

$ export CDI_NAMESPACE="$(oc get deployment -A | \
  grep cdi-operator | awk '{print $1}')"

준비되지 않은 구성 요소가 있는지 CDI 배포를 확인합니다.

$ oc -n $CDI_NAMESPACE get deploy -l cdi.kubevirt.io

실패한 Pod의 세부 정보를 확인합니다.

$ oc -n $CDI_NAMESPACE describe pods <pod>

실패한 Pod의 로그를 확인합니다.

$ oc -n $CDI_NAMESPACE logs <pod>

CDI_NAMESPACE 환경 변수를 설정합니다.

$ export CDI_NAMESPACE="$(oc get deployment -A | grep cdi-operator | \
  awk '{print $1}')"

cdi-operator Pod가 현재 실행 중인지 확인합니다.

$ oc -n $CDI_NAMESPACE get pods -l name=cdi-operator

cdi-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $CDI_NAMESPACE describe pods -l name=cdi-operator

cdi-operator Pod의 로그에 오류가 있는지 확인합니다.

$ oc -n $CDI_NAMESPACE logs -l name=cdi-operator

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get deployment -A | \
  grep cluster-network-addons-operator | awk '{print $1}')"

cluster-network-addons-operator Pod의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l name=cluster-network-addons-operator

cluster-network-addons-operator 로그에 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs -l name=cluster-network-addons-operator

cluster-network-addons-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pods -l name=cluster-network-addons-operator

HPP_NAMESPACE 환경 변수를 설정합니다.

$ export HPP_NAMESPACE="$(oc get deployment -A | \
  grep hostpath-provisioner-operator | awk '{print $1}')"

현재 준비되지 않은 HPP 구성 요소가 있는지 확인합니다.

$ oc -n $HPP_NAMESPACE get all -l k8s-app=hostpath-provisioner

실패한 Pod의 세부 정보를 가져옵니다.

$ oc -n $HPP_NAMESPACE describe pods <pod>

실패한 Pod의 로그를 확인합니다.

$ oc -n $HPP_NAMESPACE logs <pod>

HPP_NAMESPACE 환경 변수를 구성합니다.

$ HPP_NAMESPACE="$(oc get deployment -A | grep \
  hostpath-provisioner-operator | awk '{print $1}')"

hostpath-provisioner-operator Pod가 현재 실행 중인지 확인합니다.

$ oc -n $HPP_NAMESPACE get pods -l name=hostpath-provisioner-operator

hostpath-provisioner-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $HPP_NAMESPACE describe pods -l name=hostpath-provisioner-operator

hostpath-provisioner-operator Pod의 로그에 오류가 있는지 확인합니다.

$ oc -n $HPP_NAMESPACE logs -l name=hostpath-provisioner-operator

HPP_NAMESPACE 환경 변수를 구성합니다.

$ export HPP_NAMESPACE="$(oc get deployment -A | \
  grep hostpath-provisioner-operator | awk '{print $1}')"

hostpath-provisioner-csi 데몬 세트 Pod의 상태를 가져옵니다.

$ oc -n $HPP_NAMESPACE get pods | grep hostpath-provisioner-csi

hostpath-provisioner-csi 로그를 확인하여 공유 풀 및 경로를 확인합니다.

$ oc -n $HPP_NAMESPACE logs <csi_daemonset> -c hostpath-provisioner

I0208 15:21:03.769731       1 utils.go:221] pool (<legacy, csi-data-dir>/csi),
shares path with OS which can lead to node disk pressure

KMP_NAMESPACE 환경 변수를 설정합니다.

$ export KMP_NAMESPACE="$(oc get pod -A --no-headers -l \
  control-plane=mac-controller-manager | awk '{print $1}')"

KMP_NAME 환경 변수를 설정합니다.

$ export KMP_NAME="$(oc get pod -A --no-headers -l \
  control-plane=mac-controller-manager | awk '{print $2}')"

KubeMacPool-manager Pod 세부 정보를 가져옵니다.

$ oc describe pod -n $KMP_NAMESPACE $KMP_NAME

KubeMacPool-manager 로그에서 오류 메시지가 있는지 확인합니다.

$ oc logs -n $KMP_NAMESPACE $KMP_NAME

kubemacpool-mac-controller Pod의 네임스페이스와 이름을 가져옵니다.

$ oc get pod -A -l control-plane=mac-controller-manager --no-headers \
  -o custom-columns=":metadata.namespace,:metadata.name"

kubemacpool-mac-controller 로그에서 중복된 MAC 주소를 확보합니다.

$ oc logs -n <namespace> <kubemacpool_mac_controller> | \
  grep "already allocated"

mac address 02:00:ff:ff:ff:ff already allocated to
vm/kubemacpool-test/testvm, br1,
conflict with: vm/kubemacpool-test/testvm2, br1

kubemacpool-mac-controller Pod를 다시 시작합니다.

$ oc delete pod -n <namespace> <kubemacpool_mac_controller>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

구성 요소의 CPU 요청 제한을 확인합니다.

$ oc -n $NAMESPACE get deployment <component> -o yaml | grep requests: -A 2

PromQL 쿼리를 사용하여 실제 CPU 사용량을 확인합니다.

node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
{namespace="$NAMESPACE",container="<component>"}

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

구성 요소의 메모리 요청 제한을 확인합니다.

$ oc -n $NAMESPACE get deployment <component> -o yaml | \
  grep requests: -A 2

PromQL 쿼리를 사용하여 실제 메모리 사용량을 확인합니다.

container_memory_usage_bytes{namespace="$NAMESPACE",container="<component>"}

virt-launcher Pod 세부 정보를 가져옵니다.

$ oc get pod <virt-launcher> -o yaml

virt-launcher Pod에서 메모리 사용량이 많은 컴퓨팅 컨테이너 프로세스를 식별합니다.

$ oc exec -it <virt-launcher> -c compute -- top

작업자 노드에 충분한 리소스가 있는지 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | \
  jq .items[].status.allocatable

{
  "cpu": "3500m",
  "devices.kubevirt.io/kvm": "1k",
  "devices.kubevirt.io/sev": "0",
  "devices.kubevirt.io/tun": "1k",
  "devices.kubevirt.io/vhost-net": "1k",
  "ephemeral-storage": "38161122446",
  "hugepages-1Gi": "0",
  "hugepages-2Mi": "0",
  "memory": "7000128Ki",
  "pods": "250"
}

작업자 노드의 상태를 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | \
  jq .items[].status.conditions

{
  "lastHeartbeatTime": "2022-05-26T07:36:01Z",
  "lastTransitionTime": "2022-05-23T08:12:02Z",
  "message": "kubelet has sufficient memory available",
  "reason": "KubeletHasSufficientMemory",
  "status": "False",
  "type": "MemoryPressure"
},
{
  "lastHeartbeatTime": "2022-05-26T07:36:01Z",
  "lastTransitionTime": "2022-05-23T08:12:02Z",
  "message": "kubelet has no disk pressure",
  "reason": "KubeletHasNoDiskPressure",
  "status": "False",
  "type": "DiskPressure"
},
{
  "lastHeartbeatTime": "2022-05-26T07:36:01Z",
  "lastTransitionTime": "2022-05-23T08:12:02Z",
  "message": "kubelet has sufficient PID available",
  "reason": "KubeletHasSufficientPID",
  "status": "False",
  "type": "PIDPressure"
},
{
  "lastHeartbeatTime": "2022-05-26T07:36:01Z",
  "lastTransitionTime": "2022-05-23T08:24:15Z",
  "message": "kubelet is posting ready status",
  "reason": "KubeletReady",
  "status": "True",
  "type": "Ready"
}

작업자 노드에 로그인하고 kubelet 서비스가 실행 중인지 확인합니다.

$ systemctl status kubelet

kubelet 저널 로그에 오류 메시지가 있는지 확인합니다.

$ journalctl -r -u kubelet

VMI(가상 머신 인스턴스) 세부 정보를 확인합니다.

$ oc describe vmi <vmi> -n <namespace>

Name:          testvmi-hxghp
Namespace:     kubevirt-test-default1
Labels:        name=testvmi-hxghp
Annotations:   kubevirt.io/latest-observed-api-version: v1
               kubevirt.io/storage-observed-api-version: v1alpha3
API Version:   kubevirt.io/v1
Kind:          VirtualMachineInstance
...
Spec:
  Domain:
...
    Resources:
      Requests:
        Cpu:     5000000Gi
        Memory:  5130000240Mi
...
Status:
...
  Conditions:
    Last Probe Time:       2022-10-03T11:11:07Z
    Last Transition Time:  2022-10-03T11:11:07Z
    Message:               Guest VM is not reported as running
    Reason:                GuestNotRunning
    Status:                False
    Type:                  Ready
    Last Probe Time:       <nil>
    Last Transition Time:  2022-10-03T11:11:07Z
    Message:               0/2 nodes are available: 2 Insufficient cpu, 2
      Insufficient memory.
    Reason:                Unschedulable
    Status:                False
    Type:                  PodScheduled
  Guest OS Info:
  Phase:  Scheduling
  Phase Transition Timestamps:
    Phase:                        Pending
    Phase Transition Timestamp:   2022-10-03T11:11:07Z
    Phase:                        Scheduling
    Phase Transition Timestamp:   2022-10-03T11:11:07Z
  Qos Class:                       Burstable
  Runtime User:                    0
  Virtual Machine Revision Name:   revision-start-vm-3503e2dc-27c0-46ef-9167-7ae2e7d93e6e-1
Events:
  Type    Reason            Age   From                       Message
  ----    ------            ----  ----                       -------
  Normal  SuccessfulCreate  27s   virtualmachine-controller  Created virtual
    machine pod virt-launcher-testvmi-hxghp-xh9qn

노드 리소스를 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | jq '.items | \
  .[].status.allocatable'

{
  "cpu": "5",
  "devices.kubevirt.io/kvm": "1k",
  "devices.kubevirt.io/sev": "0",
  "devices.kubevirt.io/tun": "1k",
  "devices.kubevirt.io/vhost-net": "1k",
  "ephemeral-storage": "33812468066",
  "hugepages-1Gi": "0",
  "hugepages-2Mi": "128Mi",
  "memory": "3783496Ki",
  "pods": "110"
}

노드에서 오류 상태를 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | jq '.items | \
  .[].status.conditions'

[
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has sufficient memory available",
    "reason": "KubeletHasSufficientMemory",
    "status": "False",
    "type": "MemoryPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has no disk pressure",
    "reason": "KubeletHasNoDiskPressure",
    "status": "False",
    "type": "DiskPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has sufficient PID available",
    "reason": "KubeletHasSufficientPID",
    "status": "False",
    "type": "PIDPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:30Z",
    "message": "kubelet is posting ready status",
    "reason": "KubeletReady",
    "status": "True",
    "type": "Ready"
  }
]

노드 리소스를 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | jq '.items | \
  .[].status.allocatable'

{
   "cpu": "5",
   "devices.kubevirt.io/kvm": "1k",
   "devices.kubevirt.io/sev": "0",
   "devices.kubevirt.io/tun": "1k",
   "devices.kubevirt.io/vhost-net": "1k",
   "ephemeral-storage": "33812468066",
   "hugepages-1Gi": "0",
   "hugepages-2Mi": "128Mi",
   "memory": "3783496Ki",
   "pods": "110"
}

노드 상태 조건을 확인합니다.

$ oc get nodes -l node-role.kubernetes.io/worker= -o json | jq '.items | \
  .[].status.conditions'

[
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has sufficient memory available",
    "reason": "KubeletHasSufficientMemory",
    "status": "False",
    "type": "MemoryPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has no disk pressure",
    "reason": "KubeletHasNoDiskPressure",
    "status": "False",
    "type": "DiskPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:20Z",
    "message": "kubelet has sufficient PID available",
    "reason": "KubeletHasSufficientPID",
    "status": "False",
    "type": "PIDPressure"
  },
  {
    "lastHeartbeatTime": "2022-10-03T11:13:34Z",
    "lastTransitionTime": "2022-10-03T10:14:30Z",
    "message": "kubelet is posting ready status",
    "reason": "KubeletReady",
    "status": "True",
    "type": "Ready"
  }
]

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-controller 장치를 사용할 수 있는지 확인합니다.

$ oc get deployment -n $NAMESPACE virt-controller \
  -o jsonpath='{.status.readyReplicas}'

virt-controller 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-controller -o yaml

virt-controller 배포의 세부 정보를 가져와서 Pod 충돌 또는 이미지 가져오기 실패와 같은 상태 조건을 확인합니다.

$ oc -n $NAMESPACE describe deploy virt-controller

노드에서 문제가 발생했는지 확인합니다. 예를 들어 NotReady 상태에 있을 수 있습니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator 배포의 이름을 가져옵니다.

$ oc -n $NAMESPACE get deploy virt-operator -o yaml

virt-operator 배포의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe deploy virt-operator

NotReady 상태와 같은 노드 문제를 확인합니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

사용 가능한 virt-api Pod 수를 확인합니다.

$ oc get deployment -n $NAMESPACE virt-api \
  -o jsonpath='{.status.readyReplicas}'

virt-api 배포의 상태에 오류 조건이 있는지 확인합니다.

$ oc -n $NAMESPACE get deploy virt-api -o yaml

노드에서 NotReady 상태의 노드와 같은 문제가 있는지 확인합니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

실행 중인 virt-controller Pod를 사용할 수 있는지 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-controller

virt-launcher 로그에서 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs <virt-launcher>

virt-launcher Pod의 세부 정보를 가져와서 예기치 않은 종료 또는 NotReady 상태와 같은 상태 조건을 확인합니다.

$ oc -n $NAMESPACE describe pod/<virt-launcher>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator Pod의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-operator

영향을 받는 virt-operator Pod의 로그를 검토합니다.

$ oc -n $NAMESPACE logs <virt-operator>

영향을 받는 virt-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pod <virt-operator>

NetworkAddonsConfig CR의 상태 조건을 확인하여 준비되지 않은 배포 또는 데몬 세트를 확인합니다.

$ oc get networkaddonsconfig \
  -o custom-columns="":.status.conditions[*].message

DaemonSet "cluster-network-addons/macvtap-cni" update is being processed...

구성 요소의 Pod에 오류가 있는지 확인합니다.

$ oc -n cluster-network-addons get daemonset <pod> -o yaml

구성 요소의 로그를 확인합니다.

$ oc -n cluster-network-addons logs <pod>

구성 요소의 오류 상태에 대한 세부 정보를 확인합니다.

$ oc -n cluster-network-addons describe <pod>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A -o \
  custom-columns="":.metadata.namespace)"

virt-operator Pod의 상태를 가져옵니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-operator

virt-operator Pod 로그를 확인하여 리더 상태를 확인합니다.

$ oc -n $NAMESPACE logs | grep lead

리더 Pod의 예:

{"component":"virt-operator","level":"info","msg":"Attempting to acquire
leader status","pos":"application.go:400","timestamp":"2021-11-30T12:15:18.635387Z"}
I1130 12:15:18.635452       1 leaderelection.go:243] attempting to acquire
leader lease <namespace>/virt-operator...
I1130 12:15:19.216582       1 leaderelection.go:253] successfully acquired
lease <namespace>/virt-operator
{"component":"virt-operator","level":"info","msg":"Started leading",
"pos":"application.go:385","timestamp":"2021-11-30T12:15:19.216836Z"}

비 레더 Pod의 예:

{"component":"virt-operator","level":"info","msg":"Attempting to acquire
leader status","pos":"application.go:400","timestamp":"2021-11-30T12:15:20.533696Z"}
I1130 12:15:20.533792       1 leaderelection.go:243] attempting to acquire
leader lease <namespace>/virt-operator...

영향을 받는 virt-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pod <virt-operator>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-controller 장치 수를 확인합니다.

$ oc get deployment -n $NAMESPACE virt-controller \
  -o jsonpath='{.status.readyReplicas}'

virt-controller 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-controller -o yaml

virt-controller 배포의 세부 정보를 가져와서 Pod 충돌 또는 이미지 가져오기 실패와 같은 상태 조건을 확인합니다.

$ oc -n $NAMESPACE describe deploy virt-controller

virt-controller Pod의 세부 정보를 가져옵니다.

$ get pods -n $NAMESPACE | grep virt-controller

virt-controller Pod의 로그에 오류 메시지가 있는지 확인합니다.

$ oc logs -n $NAMESPACE <virt-controller>

NotReady 상태와 같은 문제가 노드에 있는지 확인합니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator 배포의 이름을 가져옵니다.

$ oc -n $NAMESPACE get deploy virt-operator -o yaml

virt-operator 배포에 대한 설명을 생성합니다.

$ oc -n $NAMESPACE describe deploy virt-operator

NotReady 상태와 같은 노드 문제를 확인합니다.

$ oc get nodes

virt-handler Pod의 상태를 확인하여 실행 중인 노드를 확인합니다.

$ oc get pods --all-namespaces -o wide -l kubevirt.io=virt-handler

VMI의 상태를 확인하여 실행 중인 virt-handler Pod가 없는 노드에서 실행되는 VMI를 확인합니다.

$ oc get vmis --all-namespaces

virt-handler 데몬의 상태를 확인합니다.

$ oc get daemonset virt-handler --all-namespaces

NAME          DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE ...
virt-handler  2        2        2      2           2         ...

Desired,Ready 및 Available 열에 동일한 값이 포함된 경우 데몬 세트는 정상으로 간주됩니다.

virt-handler 데몬 세트가 정상이 아닌 경우 virt-handler 데몬 세트에 Pod 배포 문제가 있는지 확인합니다.

$ oc get daemonset virt-handler --all-namespaces -o yaml | jq .status

NotReady 상태와 같은 문제가 노드에 있는지 확인합니다.

$ oc get nodes

워크로드 배치 정책의 KubeVirt CR(사용자 정의 리소스)의 spec.workloads 스탠자를 확인합니다.

$ oc get kubevirt kubevirt --all-namespaces -o yaml

오래된 VMI를 확인합니다.

$ oc get vmi -l kubevirt.io/outdatedLauncherImage --all-namespaces

KubeVirt 사용자 정의 리소스(CR)를 확인하여 workloadUpdateMethods 가 workloadUpdateStrategy 스탠자에 구성되어 있는지 확인합니다.

$ oc get kubevirt kubevirt --all-namespaces -o yaml

오래된 각 VMI를 확인하여 라이브로 마이그레이션할 수 있는지 확인합니다.

$ oc get vmi <vmi> -o yaml

apiVersion: kubevirt.io/v1
kind: VirtualMachineInstance
...
  status:
    conditions:
    - lastProbeTime: null
      lastTransitionTime: null
      message: cannot migrate VMI which does not use masquerade
      to connect to the pod network
      reason: InterfaceNotLiveMigratable
      status: "False"
      type: LiveMigratable

VirtualMachineInstanceMigration 매니페스트를 생성하여 migration.yaml 로 저장합니다.

apiVersion: kubevirt.io/v1
kind: VirtualMachineInstanceMigration
metadata:
  name: <migration_name>
  namespace: <namespace>
spec:
  vmiName: <vmi_name>

마이그레이션을 트리거할 VirtualMachineInstanceMigration 오브젝트를 생성합니다.

$ oc create -f migration.yaml

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get deployment -A | grep ssp-operator | \
  awk '{print $1}')"

변경된 사항이 있는 ssp-operator 로그를 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l control-plane=ssp-operator | \
  grep 'common template' -C 3

NAMESPACE 환경 변수를 내보냅니다.

$ export NAMESPACE="$(oc get deployment -A | grep ssp-operator | \
  awk '{print $1}')"

ssp-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pods -l control-plane=ssp-operator

ssp-operator 로그에 오류가 있는지 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l control-plane=ssp-operator

virt-template-validator Pod의 상태를 가져옵니다.

$ oc -n $NAMESPACE get pods -l name=virt-template-validator

virt-template-validator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pods -l name=virt-template-validator

virt-template-validator 로그에서 오류가 있는지 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l name=virt-template-validator

NAMESPACE 환경 변수를 내보냅니다.

$ export NAMESPACE="$(oc get deployment -A | grep ssp-operator | \
  awk '{print $1}')"

virt-template-validator 로그에서 원인을 나타낼 수 있는 오류가 있는지 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l name=virt-template-validator

{"component":"kubevirt-template-validator","level":"info","msg":"evalution
summary for ubuntu-3166wmdbbfkroku0:\nminimal-required-memory applied: FAIL,
value 1073741824 is lower than minimum [2147483648]\n\nsucceeded=false",
"pos":"admission.go:25","timestamp":"2021-09-28T17:59:10.934470Z"}

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get deployment -A | grep ssp-operator | \
  awk '{print $1}')"

ssp-operator Pod의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l control-plane=ssp-operator

ssp-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pods -l control-plane=ssp-operator

ssp-operator 로그에 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l control-plane=ssp-operator

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get deployment -A | grep ssp-operator | \
  awk '{print $1}')"

virt-template-validator Pod의 상태를 가져옵니다.

$ oc -n $NAMESPACE get pods -l name=virt-template-validator

virt-template-validator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pods -l name=virt-template-validator

virt-template-validator 로그에서 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs --tail=-1 -l name=virt-template-validator

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-api 포드의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-api

virt-api 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-api -o yaml

Pod 충돌 또는 이미지 가져오기 실패와 같은 문제가 있는지 virt-api 배포 세부 정보를 확인합니다.

$ oc -n $NAMESPACE describe deploy virt-api

NotReady 상태의 노드와 같은 문제를 확인합니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

배포에서 virt-api Pod 목록을 가져옵니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-api

virt-api 로그에서 오류 메시지가 있는지 확인합니다.

$ oc logs -n $NAMESPACE <virt-api>

virt-api Pod의 세부 정보를 가져옵니다.

$ oc describe -n $NAMESPACE <virt-api>

노드에서 문제가 발생했는지 확인합니다. 예를 들어 NotReady 상태에 있을 수 있습니다.

$ oc get nodes

virt-api 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-api -o yaml

virt-api 배포의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe deploy virt-api

NAMESPACE 환경 변수를 다음과 같이 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-api 포드의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-api

virt-api 로그를 확인합니다.

$ oc logs -n  $NAMESPACE <virt-api>

virt-api Pod의 세부 정보를 가져옵니다.

$ oc describe -n $NAMESPACE <virt-api>

노드에서 문제가 발생했는지 확인합니다. 예를 들어 NotReady 상태에 있을 수 있습니다.

$ oc get nodes

virt-api 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-api -o yaml

virt-api 배포의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe deploy virt-api

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-controller 배포 상태를 확인합니다.

$ oc get deployment -n $NAMESPACE virt-controller -o yaml

virt-controller Pod의 로그를 확인합니다.

$ oc get logs <virt-controller>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

사용 가능한 virt-controller Pod를 나열합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-controller

API 서버에 연결할 때 virt-controller 로그에서 오류 메시지를 확인합니다.

$ oc logs -n  $NAMESPACE <virt-controller>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

사용 가능한 virt-controller Pod를 나열합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-controller

API 서버에 연결할 때 virt-controller 로그에서 오류 메시지를 확인합니다.

$ oc logs -n  $NAMESPACE <virt-controller>

NAMESPACE 환경 변수를 내보냅니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-handler Pod의 상태를 확인하여 배포되지 않은 Pod를 식별합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-handler

virt-handler Pod의 작업자 노드 이름을 가져옵니다.

$ oc -n $NAMESPACE get pod <virt-handler> -o jsonpath='{.spec.nodeName}'

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-handler Pod의 상태를 확인합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-handler

API 서버에 연결할 때 virt-handler 로그에서 오류 메시지를 확인합니다.

$ oc logs -n  $NAMESPACE <virt-handler>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-handler Pod의 상태를 확인합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-handler

API 서버에 연결할 때 virt-handler 로그에서 오류 메시지를 확인합니다.

$ oc logs -n $NAMESPACE <virt-handler>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator 배포 상태를 확인합니다.

$ oc -n $NAMESPACE get deploy virt-operator -o yaml

virt-operator 배포의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe deploy virt-operator

virt-operator Pod의 상태를 확인합니다.

$ oc get pods -n $NAMESPACE -l=kubevirt.io=virt-operator

NotReady 상태와 같은 노드 문제를 확인합니다.

$ oc get nodes

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator Pod의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-operator

API 서버에 연결할 때 virt-operator 로그에서 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs <virt-operator>

virt-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pod <virt-operator>

NAMESPACE 환경 변수를 설정합니다.

$ export NAMESPACE="$(oc get kubevirt -A \
  -o custom-columns="":.metadata.namespace)"

virt-operator Pod의 상태를 확인합니다.

$ oc -n $NAMESPACE get pods -l kubevirt.io=virt-operator

API 서버에 연결할 때 virt-operator 로그에서 오류 메시지가 있는지 확인합니다.

$ oc -n $NAMESPACE logs <virt-operator>

virt-operator Pod의 세부 정보를 가져옵니다.

$ oc -n $NAMESPACE describe pod <virt-operator>

VMI 구성을 확인하여 evictionStrategy 값이 LiveMigrate 인지 확인합니다.

$ oc get vmis -o yaml

LIVE-MIGRA ECDHE 열에서 False 상태를 확인하여 음소거할 수 없는 VMI를 확인합니다.

$ oc get vmis -o wide

VMI의 세부 정보를 가져오고 spec.conditions 를 확인하여 문제를 확인합니다.

$ oc get vmi <vmi> -o yaml

status:
  conditions:
  - lastProbeTime: null
    lastTransitionTime: null
    message: cannot migrate VMI which does not use masquerade to connect
    to the pod network
    reason: InterfaceNotLiveMigratable
    status: "False"
    type: LiveMigratable