1. 프로젝트로 변경합니다.

   $ oc project <project-name>

2. 다음 명령을 실행합니다.

   $ oc get pods

   예를 들면 다음과 같습니다.

   $ oc get pods -n openshift-console

   출력 예

   NAME                       READY   STATUS    RESTARTS   AGE
   console-698d866b78-bnshf   1/1     Running   2          165m
   console-698d866b78-m87pm   1/1     Running   2          165m

   Pod IP 주소와 Pod가 있는 노드를 보려면 -o wide 플래그를 추가합니다.

   $ oc get pods -o wide

   출력 예

   NAME                       READY   STATUS    RESTARTS   AGE    IP            NODE                           NOMINATED NODE
   console-698d866b78-bnshf   1/1     Running   2          166m   10.128.0.24   ip-10-0-152-71.ec2.internal    <none>
   console-698d866b78-m87pm   1/1     Running   2          166m   10.129.0.23   ip-10-0-173-237.ec2.internal   <none>

1. 다음 명령을 실행합니다.

   $ oc adm top pods

   예를 들면 다음과 같습니다.

   $ oc adm top pods -n openshift-console

   출력 예

   NAME                         CPU(cores)   MEMORY(bytes)
   console-7f58c69899-q8c8k     0m           22Mi
   console-7f58c69899-xhbgg     0m           25Mi
   downloads-594fcccf94-bcxk8   3m           18Mi
   downloads-594fcccf94-kv4p6   2m           15Mi

2. 다음 명령을 실행하여 라벨이 있는 Pod의 사용량 통계를 확인합니다.

   $ oc adm top pod --selector=''

   필터링할 선택기(라벨 쿼리)를 선택해야 합니다. =, ==, !=가 지원됩니다.

프로세스(UI)

1. OpenShift Container Platform 콘솔에서 워크로드 → Pod로 이동하거나 조사하려는 리소스를 통해 Pod로 이동합니다.

   참고

   빌드와 같은 일부 리소스에는 직접 쿼리할 Pod가 없습니다. 이러한 인스턴스에서 리소스의 세부 정보 페이지에서 로그 링크를 찾을 수 있습니다.

2. 드롭다운 메뉴에서 프로젝트를 선택합니다.
3. 조사할 Pod 이름을 클릭합니다.
4. 로그를 클릭합니다.

1. 오브젝트 정의 JSON 파일을 작성하고 kubernetes.io/ingress-bandwidth 및 kubernetes.io/egress-bandwidth 주석을 사용하여 데이터 트래픽 속도를 지정합니다. 예를 들어 Pod 송신 및 수신 대역폭을 둘 다 10M/s로 제한하려면 다음을 수행합니다.

   제한된 Pod 오브젝트 정의

   {
       "kind": "Pod",
       "spec": {
           "containers": [
               {
                   "image": "openshift/hello-openshift",
                   "name": "hello-openshift"
               }
           ]
       },
       "apiVersion": "v1",
       "metadata": {
           "name": "iperf-slow",
           "annotations": {
               "kubernetes.io/ingress-bandwidth": "10M",
               "kubernetes.io/egress-bandwidth": "10M"
           }
       }
   }

2. 오브젝트 정의를 사용하여 Pod를 생성합니다.

   $ oc create -f <file_or_dir_path>

1. Pod 사양을 생성하거나 system-cluster-critical 우선순위 클래스를 포함하도록 기존 Pod를 편집합니다.

   spec:
     template:
       metadata:
         name: critical-pod
       priorityClassName: system-cluster-critical 1

   1

   노드에서 제거해서는 안 되는 Pod의 기본 우선순위 클래스입니다.

   또는 클러스터에 중요한 Pod에 대해 system-node-critical을 지정할 수 있지만 필요한 경우 제거할 수도 있습니다.

2. Pod를 생성합니다.

   $ oc create -f <file-name>.yaml

1. 토폴로지 보기에서 노드를 클릭하여 측면 창을 표시합니다.

2. 작업 드롭다운 목록에서 HorizontalPodAutoscaler 추가 를 선택하여 HorizontalPodAutoscaler 추가 양식을 엽니다.

   그림 2.2. Add HorizontalPodAutoscaler

   

3. HorizontalPodAutoscaler 추가 양식에서 이름, 최소 및 최대 Pod 제한, CPU 및 메모리 사용량을 정의하고 저장을 클릭합니다.

   참고

   CPU 및 메모리 사용량에 대한 값이 없는 경우 경고가 표시됩니다.

1. 토폴로지 보기에서 노드를 클릭하여 측면 창을 표시합니다.
2. 작업 드롭다운 목록에서 HorizontalPodAutoscaler 편집을 선택하여 Horizontal Pod Autoscaler 편집 양식을 엽니다.
3. Horizontal Pod Autoscaler 편집 양식에서 최소 및 최대 Pod 제한과 CPU 및 메모리 사용량을 편집한 다음 저장을 클릭합니다.

1. 토폴로지 보기에서 노드를 클릭하여 측면 창을 표시합니다.
2. 작업 드롭다운 목록에서 HorizontalPodAutoscaler 제거를 선택합니다.
3. 확인 팝업 창에서 제거를 클릭하여 HPA를 제거합니다.

1. 다음 중 하나를 수행합니다.

   • CPU 사용률의 백분율에 따라 스케일링하려면 기존 오브젝트에 대한 HorizontalPodAutoscaler 오브젝트를 생성합니다.

     $ oc autoscale <object_type>/<name> \1
       --min <number> \2
       --max <number> \3
       --cpu-percent=<percent> 4

     1

     자동 스케일링할 오브젝트의 유형 및 이름을 지정합니다. 오브젝트가 존재하고 Deployment DeploymentConfig/dc,ReplicaSet/rs,ReplicationController/rc 또는 StatefulSet 여야 합니다.

     2

     필요한 경우 축소 시 최소 복제본 수를 지정합니다.

     3

     확장 시 최대 복제본 수를 지정합니다.

     4

     요청된 CPU의 백분율로 표시되는 모든 Pod의 목표 평균 CPU 사용량을 지정합니다. 지정하지 않거나 음수가 아닌 경우 기본 자동 스케일링 정책이 사용됩니다.

     예를 들어 다음 명령은 image-registry Deployment 오브젝트에 대한 자동 스케일링을 보여줍니다. 초기 배포에는 Pod 3개가 필요합니다. HPA 오브젝트는 최소 값을 5로 늘립니다. Pod의 CPU 사용량이 75%에 도달하면 Pod가 7으로 증가합니다.

     $ oc autoscale deployment/image-registry --min=5 --max=7 --cpu-percent=75

   • 특정 CPU 값을 스케일링하려면 기존 오브젝트에 대해 다음과 유사한 YAML 파일을 생성합니다.

     1. 다음과 유사한 YAML 파일을 생성합니다.

        apiVersion: autoscaling/v2 1
        kind: HorizontalPodAutoscaler
        metadata:
          name: cpu-autoscale 2
          namespace: default
        spec:
          scaleTargetRef:
            apiVersion: apps/v1 3
            kind: Deployment 4
            name: example 5
          minReplicas: 1 6
          maxReplicas: 10 7
          metrics: 8
          - type: Resource
            resource:
              name: cpu 9
              target:
                type: AverageValue 10
                averageValue: 500m 11

        1

        autoscaling/v2 API를 사용합니다.

        2

        이 수평 Pod 자동 스케일러 오브젝트의 이름을 지정합니다.

        3

        스케일링할 오브젝트의 API 버전을 지정합니다.

        • Deployment,ReplicaSet,Statefulset 오브젝트의 경우 apps/v1 을 사용합니다.
        • ReplicationController 의 경우 v1 을 사용합니다.
        • DeploymentConfig 의 경우 apps.openshift.io/v1 를 사용합니다.

        4

        오브젝트 유형을 지정합니다. 오브젝트는 Deployment,DeploymentConfig/dc,ReplicaSet/rs,ReplicationController/rc 또는 StatefulSet 여야 합니다.

        5

        스케일링할 오브젝트의 이름을 지정합니다. 오브젝트가 있어야 합니다.

        6

        축소 시 최소 복제본 수를 지정합니다.

        7

        확장 시 최대 복제본 수를 지정합니다.

        8

        메모리 사용률에 metrics 매개변수를 사용합니다.

        9

        CPU 사용률에 cpu를 지정합니다.

        10

        AverageValue로 설정합니다.

        11

        대상 CPU 값을 사용하여 averageValue로 설정합니다.

     2. 수평 Pod 자동 스케일러를 생성합니다.

        $ oc create -f <file-name>.yaml

2. 수평 Pod 자동 스케일러가 생성되었는지 확인합니다.

   $ oc get hpa cpu-autoscale

   출력 예

   NAME            REFERENCE            TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
   cpu-autoscale   Deployment/example   173m/500m       1         10        1          20m

1. 다음 중 하나에 대한 YAML 파일을 생성합니다.

   • 특정 메모리 값을 스케일링하려면 기존 오브젝트에 대해 다음과 유사한 HorizontalPodAutoscaler 오브젝트를 생성합니다.

     apiVersion: autoscaling/v2 1
     kind: HorizontalPodAutoscaler
     metadata:
       name: hpa-resource-metrics-memory 2
       namespace: default
     spec:
       scaleTargetRef:
         apiVersion: apps/v1 3
         kind: Deployment 4
         name: example 5
       minReplicas: 1 6
       maxReplicas: 10 7
       metrics: 8
       - type: Resource
         resource:
           name: memory 9
           target:
             type: AverageValue 10
             averageValue: 500Mi 11
       behavior: 12
         scaleDown:
           stabilizationWindowSeconds: 300
           policies:
           - type: Pods
             value: 4
             periodSeconds: 60
           - type: Percent
             value: 10
             periodSeconds: 60
           selectPolicy: Max

     1

     autoscaling/v2 API를 사용합니다.

     2

     이 수평 Pod 자동 스케일러 오브젝트의 이름을 지정합니다.

     3

     스케일링할 오브젝트의 API 버전을 지정합니다.

     • Deployment,ReplicaSet, Statefulset 오브젝트의 경우 apps/v1 을 사용합니다.
     • ReplicationController 의 경우 v1 을 사용합니다.
     • DeploymentConfig 의 경우 apps.openshift.io/v1 를 사용합니다.

     4

     오브젝트 유형을 지정합니다. 오브젝트는 Deployment,DeploymentConfig,ReplicaSet,ReplicationController 또는 StatefulSet 여야 합니다.

     5

     스케일링할 오브젝트의 이름을 지정합니다. 오브젝트가 있어야 합니다.

     6

     축소 시 최소 복제본 수를 지정합니다.

     7

     확장 시 최대 복제본 수를 지정합니다.

     8

     메모리 사용률에 metrics 매개변수를 사용합니다.

     9

     메모리 사용률에 대한 메모리를 지정합니다.

     10

     유형을 AverageValue로 설정합니다.

     11

     averageValue 및 특정 메모리 값을 지정합니다.

     12

     선택 사항: 스케일링 정책을 지정하여 확장 또는 축소비율을 제어합니다.

   • 백분율로 스케일링하려면 기존 오브젝트에 대해 다음과 유사한 HorizontalPodAutoscaler 오브젝트를 생성합니다.

     apiVersion: autoscaling/v2 1
     kind: HorizontalPodAutoscaler
     metadata:
       name: memory-autoscale 2
       namespace: default
     spec:
       scaleTargetRef:
         apiVersion: apps/v1 3
         kind: Deployment 4
         name: example 5
       minReplicas: 1 6
       maxReplicas: 10 7
       metrics: 8
       - type: Resource
         resource:
           name: memory 9
           target:
             type: Utilization 10
             averageUtilization: 50 11
       behavior: 12
         scaleUp:
           stabilizationWindowSeconds: 180
           policies:
           - type: Pods
             value: 6
             periodSeconds: 120
           - type: Percent
             value: 10
             periodSeconds: 120
           selectPolicy: Max

     1

     autoscaling/v2 API를 사용합니다.

     2

     이 수평 Pod 자동 스케일러 오브젝트의 이름을 지정합니다.

     3

     스케일링할 오브젝트의 API 버전을 지정합니다.

     • ReplicationController의 경우 v1 을 사용합니다.
     • DeploymentConfig의 경우 apps.openshift.io/v1 를 사용합니다.
     • Deployment, ReplicaSet, Statefulset 오브젝트의 경우 apps/v1 을 사용합니다.

     4

     오브젝트 유형을 지정합니다. 오브젝트는 Deployment,DeploymentConfig,ReplicaSet,ReplicationController 또는 StatefulSet 여야 합니다.

     5

     스케일링할 오브젝트의 이름을 지정합니다. 오브젝트가 있어야 합니다.

     6

     축소 시 최소 복제본 수를 지정합니다.

     7

     확장 시 최대 복제본 수를 지정합니다.

     8

     메모리 사용률에 metrics 매개변수를 사용합니다.

     9

     메모리 사용률에 대한 메모리를 지정합니다.

     10

     Utilization으로 설정합니다.

     11

     averageUtilization 및 전체 Pod에 대한 대상 평균 메모리 사용률(요청 메모리의 백분율로 표시)을 지정합니다. 대상 Pod에 메모리 요청이 구성되어 있어야 합니다.

     12

     선택 사항: 스케일링 정책을 지정하여 확장 또는 축소비율을 제어합니다.

2. 수평 Pod 자동 스케일러를 생성합니다.

   $ oc create -f <file-name>.yaml

   예를 들면 다음과 같습니다.

   $ oc create -f hpa.yaml

   출력 예

   horizontalpodautoscaler.autoscaling/hpa-resource-metrics-memory created

3. 수평 Pod 자동 스케일러가 생성되었는지 확인합니다.

   $ oc get hpa hpa-resource-metrics-memory

   출력 예

   NAME                          REFERENCE            TARGETS         MINPODS   MAXPODS   REPLICAS   AGE
   hpa-resource-metrics-memory   Deployment/example   2441216/500Mi   1         10        1          20m

   $ oc describe hpa hpa-resource-metrics-memory

   출력 예

   Name:                        hpa-resource-metrics-memory
   Namespace:                   default
   Labels:                      <none>
   Annotations:                 <none>
   CreationTimestamp:           Wed, 04 Mar 2020 16:31:37 +0530
   Reference:                   Deployment/example
   Metrics:                     ( current / target )
     resource memory on pods:   2441216 / 500Mi
   Min replicas:                1
   Max replicas:                10
   ReplicationController pods:  1 current / 1 desired
   Conditions:
     Type            Status  Reason              Message
     ----            ------  ------              -------
     AbleToScale     True    ReadyForNewScale    recommended size matches current size
     ScalingActive   True    ValidMetricFound    the HPA was able to successfully calculate a replica count from memory resource
     ScalingLimited  False   DesiredWithinRange  the desired count is within the acceptable range
   Events:
     Type     Reason                   Age                 From                       Message
     ----     ------                   ----                ----                       -------
     Normal   SuccessfulRescale        6m34s               horizontal-pod-autoscaler  New size: 1; reason: All metrics below target

절차

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 사용 가능한 Operator 목록에서 Custom Metrics Autoscaler 를 선택한 다음 설치를 클릭합니다.
3. Operator 설치 페이지에서 설치 모드에 대해 All namespaces on the cluster (default) 옵션이 선택되어 있는지 확인합니다. 그러면 모든 네임스페이스에 Operator가 설치됩니다.
4. 설치된 네임스페이스에 대해 openshift-keda 네임스페이스가 선택되어 있는지 확인합니다. OpenShift Container Platform은 클러스터에 없는 경우 네임스페이스를 생성합니다.
5. 설치를 클릭합니다.

6. Custom Metrics Autoscaler Operator 구성 요소를 나열하여 설치를 확인합니다.

   1. 워크로드 → Pod로 이동합니다.
   2. 드롭다운 메뉴에서 openshift-keda 프로젝트를 선택하고 custom-metrics-autoscaler-operator-* Pod가 실행 중인지 확인합니다.
   3. Workloads → Deployments 로 이동하여 custom-metrics-autoscaler-operator 배포가 실행 중인지 확인합니다.

7. 선택 사항: 다음 명령을 사용하여 OpenShift CLI에서 설치를 확인합니다.

   $ oc get all -n openshift-keda

   출력은 다음과 유사합니다.

   출력 예

   NAME                                                      READY   STATUS    RESTARTS   AGE
   pod/custom-metrics-autoscaler-operator-5fd8d9ffd8-xt4xp   1/1     Running   0          18m
   
   NAME                                                 READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/custom-metrics-autoscaler-operator   1/1     1            1           18m
   
   NAME                                                            DESIRED   CURRENT   READY   AGE
   replicaset.apps/custom-metrics-autoscaler-operator-5fd8d9ffd8   1         1         1       18m

8. 필요한 CRD를 생성하는 KedaController 사용자 정의 리소스를 설치합니다.

   1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator를 클릭합니다.
   2. Custom Metrics Autoscaler 를 클릭합니다.
   3. Operator 세부 정보 페이지에서 KedaController 탭을 클릭합니다.

   4. KedaController 탭에서 KedaController 생성을 클릭하고 파일을 편집합니다.

      kind: KedaController
      apiVersion: keda.sh/v1alpha1
      metadata:
        name: keda
        namespace: openshift-keda
      spec:
        watchNamespace: '' 1
        operator:
          logLevel: info 2
          logEncoder: console 3
        metricsServer:
          logLevel: '0' 4
          auditConfig: 5
            logFormat: "json"
            logOutputVolumeClaim: "persistentVolumeClaimName"
            policy:
              rules:
              - level: Metadata
              omitStages: "RequestReceived"
              omitManagedFields: false
            lifetime:
              maxAge: "2"
              maxBackup: "1"
              maxSize: "50"
        serviceAccount: {}

      1 1

      사용자 정의 자동 스케일러가 조사해야 하는 네임스페이스를 지정합니다. 쉼표로 구분된 목록에 이름을 입력합니다. 모든 네임스페이스를 조사하려면 비어 있거나 비어 있습니다. 기본값은 비어 있습니다.

      2

      Custom Metrics Autoscaler Operator 로그 메시지의 상세 수준을 지정합니다. 허용되는 값은 debug,info,error 입니다. 기본값은 info 입니다.

      3

      Custom Metrics Autoscaler Operator 로그 메시지의 로깅 형식을 지정합니다. 허용되는 값은 console 또는 json 입니다. 기본값은 console 입니다.

      4

      Custom Metrics Autoscaler Metrics Server의 로깅 수준을 지정합니다. 허용되는 값은 info 및 4 또는 debug 에 대해 0 입니다. 기본값은 0입니다.

      5

      Custom Metrics Autoscaler Operator에 대한 감사 로깅을 활성화하고 "감사 로깅 구성" 섹션에 설명된 대로 사용할 감사 정책을 지정합니다.

   5. 만들기를 클릭하여 KEDAController를 만듭니다.

절차

1. 스케일링할 오브젝트를 사용하여 프로젝트로 변경합니다.

   $ oc project my-project

2. 클러스터에 없는 경우 다음 명령을 사용하여 서비스 계정을 생성합니다.

   $ oc create serviceaccount <service_account>

   다음과 같습니다.

   <service_account>

   서비스 계정의 이름을 지정합니다.

3. 다음 명령을 사용하여 서비스 계정에 할당된 토큰을 찾습니다.

   $ oc describe serviceaccount <service_account>

   다음과 같습니다.

   <service_account>

   서비스 계정의 이름을 지정합니다.

   출력 예

   Name:                thanos
   Namespace:           my-project
   Labels:              <none>
   Annotations:         <none>
   Image pull secrets:  thanos-dockercfg-nnwgj
   Mountable secrets:   thanos-dockercfg-nnwgj
   Tokens:              thanos-token-9g4n5 1
   Events:              <none>

   1

   트리거 인증에 이 토큰을 사용합니다.

4. 서비스 계정 토큰을 사용하여 트리거 인증을 생성합니다.

   1. 다음과 유사한 YAML 파일을 생성합니다.

      apiVersion: keda.sh/v1alpha1
      kind: TriggerAuthentication
      metadata:
        name: keda-trigger-auth-prometheus
      spec:
        secretTargetRef: 1
        - parameter: bearerToken 2
          name: thanos-token-9g4n5 3
          key: token 4
        - parameter: ca
          name: thanos-token-9g4n5
          key: ca.crt

      1

      이 오브젝트가 권한 부여에 보안을 사용하도록 지정합니다.

      2

      토큰을 사용하여 제공할 인증 매개 변수를 지정합니다.

      3

      사용할 토큰의 이름을 지정합니다.

      4

      지정된 매개변수와 함께 사용할 토큰의 키를 지정합니다.

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml

5. Thanos 메트릭을 읽는 역할을 생성합니다.

   1. 다음 매개변수를 사용하여 YAML 파일을 생성합니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: Role
      metadata:
        name: thanos-metrics-reader
      rules:
      - apiGroups:
        - ""
        resources:
        - pods
        verbs:
        - get
      - apiGroups:
        - metrics.k8s.io
        resources:
        - pods
        - nodes
        verbs:
        - get
        - list
        - watch

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml

6. Thanos 메트릭을 읽기 위한 역할 바인딩을 생성합니다.

   1. 다음과 유사한 YAML 파일을 생성합니다.

      apiVersion: rbac.authorization.k8s.io/v1
      kind: RoleBinding
      metadata:
        name: thanos-metrics-reader 1
        namespace: my-project 2
      roleRef:
        apiGroup: rbac.authorization.k8s.io
        kind: Role
        name: thanos-metrics-reader
      subjects:
      - kind: ServiceAccount
        name: thanos 3
        namespace: my-project 4

      1

      생성한 역할의 이름을 지정합니다.

      2

      스케일링할 오브젝트의 네임스페이스를 지정합니다.

      3

      역할에 바인딩할 서비스 계정의 이름을 지정합니다.

      4

      스케일링할 오브젝트의 네임스페이스를 지정합니다.

   2. CR 오브젝트를 생성합니다.

      $ oc create -f <file-name>.yaml

절차

1. 다음 명령을 사용하여 워크로드에 대한 scaledObject CR을 편집합니다.

   $ oc edit ScaledObject scaledobject

2. 다음 값을 사용하여 autoscaling.keda.sh/paused-replicas 주석을 추가합니다.

   apiVersion: keda.sh/v1alpha1
   kind: ScaledObject
   metadata:
     annotations:
       autoscaling.keda.sh/paused-replicas: "4" 1
     creationTimestamp: "2023-02-08T14:41:01Z"
     generation: 1
     name: scaledobject
     namespace: my-project
     resourceVersion: "65729"
     uid: f5aec682-acdf-4232-a783-58b5b82f5dd0

   1

   Custom Metrics Autoscaler Operator가 복제본을 지정된 값으로 스케일링하고 자동 스케일링을 중지하도록 지정합니다.

프로세스

1. CloudEventda Controller 사용자 지정 리소스를 편집하여 auditConfig 스탠자를 추가합니다.

   kind: KedaController
   apiVersion: keda.sh/v1alpha1
   metadata:
     name: keda
     namespace: openshift-keda
   spec:
    ...
     metricsServer:
    ...
       auditConfig:
         logFormat: "json" 1
         logOutputVolumeClaim: "pvc-audit-log" 2
         policy:
           rules: 3
           - level: Metadata
           omitStages: "RequestReceived" 4
           omitManagedFields: false 5
         lifetime: 6
           maxAge: "2"
           maxBackup: "1"
           maxSize: "50"

   1

   audit 로그의 출력 형식( legacy 또는 json )을 지정합니다.

   2

   로그 데이터를 저장하기 위한 기존 영구 볼륨 클레임을 지정합니다. API 서버에 들어오는 모든 요청은 이 영구 볼륨 클레임에 기록됩니다. 이 필드를 비워 두면 로그 데이터가 stdout으로 전송됩니다.

   3

   기록해야 하는 이벤트와 어떤 데이터를 포함해야 하는지 지정합니다.

   • none: 이벤트를 기록하지 않습니다.
   • metadata: 사용자, 타임스탬프 등과 같은 요청에 대한 메타데이터만 기록합니다. 요청 텍스트와 응답 텍스트를 기록하지 마십시오. 이는 기본값입니다.
   • request: 메타데이터와 요청 텍스트만 기록하지만 응답 텍스트는 기록하지 않습니다. 이 옵션은 리소스가 아닌 요청에는 적용되지 않습니다.
   • RequestResponse: 이벤트 메타데이터, 요청 텍스트 및 응답 텍스트를 기록합니다. 이 옵션은 리소스가 아닌 요청에는 적용되지 않습니다.

   4

   이벤트가 생성되지 않는 단계를 지정합니다.

   5

   요청 및 응답 본문의 관리 필드를 API 감사 로그에 작성하지 못하도록 하려면 true 로 필드를 생략할지 아니면 필드를 생략할 false 를 생략할지 여부를 지정합니다.

   6

   감사 로그의 크기 및 수명을 지정합니다.

   • maxAge: 파일 이름에 인코딩된 타임스탬프에 따라 감사 로그 파일을 유지하는 최대 일 수입니다.
   • maxBackup: 유지할 감사 로그 파일의 최대 수입니다. 모든 감사 로그 파일을 유지하려면 0 으로 설정합니다.
   • maxSize: 감사 로그 파일의 최대 크기(MB)가 순환되기 전에 이루어집니다.

검증

1. 감사 로그 파일을 직접 확인합니다.

   1. keda-metrics-apiserver-* Pod 이름을 가져옵니다.

      oc get pod -n openshift-keda

      출력 예

      NAME                                                  READY   STATUS    RESTARTS   AGE
      custom-metrics-autoscaler-operator-5cb44cd75d-9v4lv   1/1     Running   0          8m20s
      keda-metrics-apiserver-65c7cc44fd-rrl4r               1/1     Running   0          2m55s
      keda-operator-776cbb6768-zpj5b                        1/1     Running   0          2m55s

   2. 다음과 유사한 명령을 사용하여 로그 데이터를 확인합니다.

      $ oc logs keda-metrics-apiserver-<hash>|grep -i metadata 1

      1

      선택 사항: grep 명령을 사용하여 표시할 로그 수준을 지정할 수 있습니다. 메타데이터, 요청 ,Request Response.

      예를 들면 다음과 같습니다.

      $ oc logs keda-metrics-apiserver-65c7cc44fd-rrl4r|grep -i metadata

      출력 예

       ...
      {"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Metadata","auditID":"4c81d41b-3dab-4675-90ce-20b87ce24013","stage":"ResponseComplete","requestURI":"/healthz","verb":"get","user":{"username":"system:anonymous","groups":["system:unauthenticated"]},"sourceIPs":["10.131.0.1"],"userAgent":"kube-probe/1.26","responseStatus":{"metadata":{},"code":200},"requestReceivedTimestamp":"2023-02-16T13:00:03.554567Z","stageTimestamp":"2023-02-16T13:00:03.555032Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":""}}
       ...

2. 또는 특정 로그를 볼 수 있습니다.

   1. keda-metrics-apiserver-* Pod에 로그인하려면 다음과 유사한 명령을 사용합니다.

      $ oc rsh pod/keda-metrics-apiserver-<hash> -n openshift-keda

      예를 들면 다음과 같습니다.

      $ oc rsh pod/keda-metrics-apiserver-65c7cc44fd-rrl4r -n openshift-keda

   2. /var/audit-policy/ 디렉터리로 변경합니다.

      sh-4.4$ cd /var/audit-policy/

   3. 사용 가능한 로그를 나열합니다.

      sh-4.4$ ls

      출력 예

      log-2023.02.17-14:50  policy.yaml

   4. 필요한 경우 로그를 확인합니다.

      sh-4.4$ cat <log_name>/<pvc_name>|grep -i <log_level> 1

      1

      선택 사항: grep 명령을 사용하여 표시할 로그 수준을 지정할 수 있습니다. 메타데이터, 요청 ,Request Response.

      예를 들면 다음과 같습니다.

      sh-4.4$ cat log-2023.02.17-14:50/pvc-audit-log|grep -i Request

      출력 예

       ...
      {"kind":"Event","apiVersion":"audit.k8s.io/v1","level":"Request","auditID":"63e7f68c-04ec-4f4d-8749-bf1656572a41","stage":"ResponseComplete","requestURI":"/openapi/v2","verb":"get","user":{"username":"system:aggregator","groups":["system:authenticated"]},"sourceIPs":["10.128.0.1"],"responseStatus":{"metadata":{},"code":304},"requestReceivedTimestamp":"2023-02-17T13:12:55.035478Z","stageTimestamp":"2023-02-17T13:12:55.038346Z","annotations":{"authorization.k8s.io/decision":"allow","authorization.k8s.io/reason":"RBAC: allowed by ClusterRoleBinding \"system:discovery\" of ClusterRole \"system:discovery\" to Group \"system:authenticated\""}}
       ...

절차

1. must-gather 데이터를 저장하려는 디렉터리로 이동합니다.

   참고

   클러스터에서 제한된 네트워크를 사용하는 경우 추가 단계를 수행해야 합니다. 미러 레지스트리에 신뢰할 수 있는 CA가 있는 경우 먼저 신뢰할 수 있는 CA를 클러스터에 추가해야 합니다. 제한된 네트워크의 모든 클러스터에 대해 다음 명령을 실행하여 기본 must-gather 이미지를 이미지 스트림으로 가져와야 합니다.

   $ oc import-image is/must-gather -n openshift

2. 다음 중 하나를 수행합니다.

   • Custom Metrics Autoscaler Operator must-gather 데이터만 가져오려면 다음 명령을 사용합니다.

     $ oc adm must-gather --image="$(oc get packagemanifests openshift-custom-metrics-autoscaler-operator \
     -n openshift-marketplace \
     -o jsonpath='{.status.channels[?(@.name=="stable")].currentCSVDesc.annotations.containerImage}')"

     must-gather 명령의 사용자 정의 이미지는 Operator 패키지 매니페스트에서 직접 가져와서 Custom Metric Autoscaler Operator를 사용할 수 있는 모든 클러스터에서 작동합니다.

   • Custom Metric Autoscaler Operator 정보 외에 기본 must-gather 데이터를 수집하려면 다음을 수행합니다.

     1. 다음 명령을 사용하여 Custom Metrics Autoscaler Operator 이미지를 가져와서 환경 변수로 설정합니다.

        $ IMAGE="$(oc get packagemanifests openshift-custom-metrics-autoscaler-operator \
          -n openshift-marketplace \
          -o jsonpath='{.status.channels[?(@.name=="stable")].currentCSVDesc.annotations.containerImage}')"

     2. 사용자 정의 Metrics Autoscaler Operator 이미지와 함께 oc adm must-gather 를 사용합니다.

        $ oc adm must-gather --image-stream=openshift/must-gather --image=${IMAGE}

   예 2.1. Custom Metric Autoscaler의 must-gather 출력 예:

   └── openshift-keda
       ├── apps
       │   ├── daemonsets.yaml
       │   ├── deployments.yaml
       │   ├── replicasets.yaml
       │   └── statefulsets.yaml
       ├── apps.openshift.io
       │   └── deploymentconfigs.yaml
       ├── autoscaling
       │   └── horizontalpodautoscalers.yaml
       ├── batch
       │   ├── cronjobs.yaml
       │   └── jobs.yaml
       ├── build.openshift.io
       │   ├── buildconfigs.yaml
       │   └── builds.yaml
       ├── core
       │   ├── configmaps.yaml
       │   ├── endpoints.yaml
       │   ├── events.yaml
       │   ├── persistentvolumeclaims.yaml
       │   ├── pods.yaml
       │   ├── replicationcontrollers.yaml
       │   ├── secrets.yaml
       │   └── services.yaml
       ├── discovery.k8s.io
       │   └── endpointslices.yaml
       ├── image.openshift.io
       │   └── imagestreams.yaml
       ├── k8s.ovn.org
       │   ├── egressfirewalls.yaml
       │   └── egressqoses.yaml
       ├── keda.sh
       │   ├── kedacontrollers
       │   │   └── keda.yaml
       │   ├── scaledobjects
       │   │   └── example-scaledobject.yaml
       │   └── triggerauthentications
       │       └── example-triggerauthentication.yaml
       ├── monitoring.coreos.com
       │   └── servicemonitors.yaml
       ├── networking.k8s.io
       │   └── networkpolicies.yaml
       ├── openshift-keda.yaml
       ├── pods
       │   ├── custom-metrics-autoscaler-operator-58bd9f458-ptgwx
       │   │   ├── custom-metrics-autoscaler-operator
       │   │   │   └── custom-metrics-autoscaler-operator
       │   │   │       └── logs
       │   │   │           ├── current.log
       │   │   │           ├── previous.insecure.log
       │   │   │           └── previous.log
       │   │   └── custom-metrics-autoscaler-operator-58bd9f458-ptgwx.yaml
       │   ├── custom-metrics-autoscaler-operator-58bd9f458-thbsh
       │   │   └── custom-metrics-autoscaler-operator
       │   │       └── custom-metrics-autoscaler-operator
       │   │           └── logs
       │   ├── keda-metrics-apiserver-65c7cc44fd-6wq4g
       │   │   ├── keda-metrics-apiserver
       │   │   │   └── keda-metrics-apiserver
       │   │   │       └── logs
       │   │   │           ├── current.log
       │   │   │           ├── previous.insecure.log
       │   │   │           └── previous.log
       │   │   └── keda-metrics-apiserver-65c7cc44fd-6wq4g.yaml
       │   └── keda-operator-776cbb6768-fb6m5
       │       ├── keda-operator
       │       │   └── keda-operator
       │       │       └── logs
       │       │           ├── current.log
       │       │           ├── previous.insecure.log
       │       │           └── previous.log
       │       └── keda-operator-776cbb6768-fb6m5.yaml
       ├── policy
       │   └── poddisruptionbudgets.yaml
       └── route.openshift.io
           └── routes.yaml

3. 작업 디렉터리에 생성된 must-gather 디렉터리의 압축 파일을 생성합니다. 예를 들어 Linux 운영 체제를 사용하는 컴퓨터에서 다음 명령을 실행합니다.

   $ tar cvaf must-gather.tar.gz must-gather.local.5421342344627712289/ 1

   1

   must-gather-local.5421342344627712289/를 실제 디렉터리 이름으로 바꿉니다.

4. Red Hat Customer Portal에서 해당 지원 사례에 압축 파일을 첨부합니다.

절차

1. OpenShift Container Platform 웹 콘솔에서 관리자 화면을 선택합니다.
2. Observe → Metrics 를 선택합니다.
3. 사용자 지정 쿼리를 만들려면 Expression 필드에 PromQL 쿼리를 추가합니다.
4. 여러 쿼리를 추가하려면 쿼리 추가를 선택합니다.

절차

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator를 클릭합니다.
2. openshift-keda 프로젝트로 전환합니다.

3. KedaController 사용자 정의 리소스를 제거합니다.

   1. CustomMetricsAutoscaler Operator를 찾아 KedaController 탭을 클릭합니다.
   2. 사용자 정의 리소스를 찾은 다음 KedaController 삭제를 클릭합니다.
   3. 제거를 클릭합니다.

4. Custom Metrics Autoscaler Operator를 제거합니다.

   1. Operators → 설치된 Operators를 클릭합니다.
   2. CustomMetricsAutoscaler Operator를 찾아 옵션 메뉴 를 클릭하고 Operator 설치 제거를 선택합니다.
   3. 제거를 클릭합니다.

5. 선택 사항: OpenShift CLI를 사용하여 사용자 정의 지표 자동 스케일러 구성 요소를 제거합니다.

   1. 사용자 정의 지표 자동 스케일러 CRD를 삭제합니다.

      • clustertriggerauthentications.keda.sh
      • kedacontrollers.keda.sh
      • scaledjobs.keda.sh
      • scaledobjects.keda.sh
      • triggerauthentications.keda.sh

      $ oc delete crd clustertriggerauthentications.keda.sh kedacontrollers.keda.sh scaledjobs.keda.sh scaledobjects.keda.sh triggerauthentications.keda.sh

      CRD를 삭제하면 연결된 역할, 클러스터 역할 및 역할 바인딩이 제거됩니다. 그러나 수동으로 삭제해야 하는 몇 가지 클러스터 역할이 있을 수 있습니다.

   2. 사용자 정의 지표 자동 스케일러 클러스터 역할을 나열합니다.

      $ oc get clusterrole | grep keda.sh

   3. 나열된 사용자 정의 지표 자동 스케일러 클러스터 역할을 삭제합니다. 예를 들면 다음과 같습니다.

      $ oc delete clusterrole.keda.sh-v1alpha1-admin

   4. 사용자 정의 메트릭 자동 스케일러 클러스터 역할 바인딩을 나열합니다.

      $ oc get clusterrolebinding | grep keda.sh

   5. 나열된 사용자 정의 지표 자동 스케일러 클러스터 역할 바인딩을 삭제합니다. 예를 들면 다음과 같습니다.

      $ oc delete clusterrolebinding.keda.sh-v1alpha1-admin

6. 사용자 정의 지표 자동 스케일러 프로젝트를 삭제합니다.

   $ oc delete project openshift-keda

7. Cluster Metric Autoscaler Operator를 삭제합니다.

   $ oc delete operator/openshift-custom-metrics-autoscaler-operator.openshift-keda

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → OperatorHub를 클릭합니다.
2. 사용 가능한 Operator 목록에서 VerticalPodAutoscaler를 선택한 다음 설치를 클릭합니다.
3. Operator 설치 페이지에서 Operator 권장 네임스페이스 옵션이 선택되어 있는지 확인합니다. 그러면 필수 openshift-vertical-pod-autoscaler 네임스페이스에 Operator가 설치됩니다. 해당 네임스페이스가 존재하지 않는 경우 자동으로 생성됩니다.
4. 설치를 클릭합니다.

5. VPA Operator 구성 요소를 나열하여 설치를 확인합니다.

   1. 워크로드 → Pod로 이동합니다.
   2. 드롭다운 메뉴에서 openshift-vertical-pod-autoscaler 프로젝트를 선택하고 Pod 4개가 실행되고 있는지 확인합니다.
   3. 워크로드 → 배포로 이동하여 배포 4개가 실행되고 있는지 확인합니다.

6. 선택 사항: 다음 명령을 사용하여 OpenShift Container Platform CLI에서 설치를 확인합니다.

   $ oc get all -n openshift-vertical-pod-autoscaler

   출력에는 Pod 4개와 및 배포 4개가 표시됩니다.

   출력 예

   NAME                                                    READY   STATUS    RESTARTS   AGE
   pod/vertical-pod-autoscaler-operator-85b4569c47-2gmhc   1/1     Running   0          3m13s
   pod/vpa-admission-plugin-default-67644fc87f-xq7k9       1/1     Running   0          2m56s
   pod/vpa-recommender-default-7c54764b59-8gckt            1/1     Running   0          2m56s
   pod/vpa-updater-default-7f6cc87858-47vw9                1/1     Running   0          2m56s
   
   NAME                  TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
   service/vpa-webhook   ClusterIP   172.30.53.206   <none>        443/TCP   2m56s
   
   NAME                                               READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/vertical-pod-autoscaler-operator   1/1     1            1           3m13s
   deployment.apps/vpa-admission-plugin-default       1/1     1            1           2m56s
   deployment.apps/vpa-recommender-default            1/1     1            1           2m56s
   deployment.apps/vpa-updater-default                1/1     1            1           2m56s
   
   NAME                                                          DESIRED   CURRENT   READY   AGE
   replicaset.apps/vertical-pod-autoscaler-operator-85b4569c47   1         1         1       3m13s
   replicaset.apps/vpa-admission-plugin-default-67644fc87f       1         1         1       2m56s
   replicaset.apps/vpa-recommender-default-7c54764b59            1         1         1       2m56s
   replicaset.apps/vpa-updater-default-7f6cc87858                1         1         1       2m56s

1. 스케일링할 워크로드 오브젝트가 있는 프로젝트로 변경합니다.

   1. VPA CR YAML 파일을 생성합니다.

      apiVersion: autoscaling.k8s.io/v1
      kind: VerticalPodAutoscaler
      metadata:
        name: vpa-recommender
      spec:
        targetRef:
          apiVersion: "apps/v1"
          kind:       Deployment 1
          name:       frontend 2
        updatePolicy:
          updateMode: "Auto" 3
        resourcePolicy: 4
          containerPolicies:
          - containerName: my-opt-sidecar
            mode: "Off"
        recommenders: 5
          - name: my-recommender

      1

      이 VPA에서 관리할 워크로드 오브젝트 유형(Deployment, StatefulSet, Job, DaemonSet, ReplicaSet 또는 ReplicationController)을 지정합니다.

      2

      이 VPA에서 관리할 기존 워크로드 오브젝트의 이름을 지정합니다.

      3

      다음과 같이 VPA 모드를 지정합니다.

      • auto: 컨트롤러와 연결된 Pod에 권장 리소스를 자동으로 적용합니다. VPA는 기존 Pod를 종료하고 권장 리소스 제한 및 요청을 사용하여 새 Pod를 생성합니다.
      • recreate: 워크로드 오브젝트와 연결된 Pod에 권장 리소스를 자동으로 적용합니다. VPA는 기존 Pod를 종료하고 권장 리소스 제한 및 요청을 사용하여 새 Pod를 생성합니다. recreate 모드는 리소스 요청이 변경될 때마다 Pod를 재시작해야 하는 경우에만 사용해야 합니다.
      • initial: 워크로드 오브젝트와 연결된 Pod가 생성될 때 권장 리소스를 자동으로 적용합니다. VPA는 새 리소스 권장 사항을 확인할 때 Pod를 업데이트하지 않습니다.
      • off: 워크로드 오브젝트와 연결된 Pod의 리소스 권장 사항만 생성합니다. VPA는 새 리소스 권장 사항을 확인할 때 Pod를 업데이트하지 않고 해당 권장 사항을 새 Pod에 적용하지도 않습니다.

      4

      선택 사항: 옵트아웃할 컨테이너를 지정하고 모드를 Off로 설정합니다.

      5

      선택 사항: 대체 권장 사항을 지정합니다.

   2. VPA CR을 생성합니다.

      $ oc create -f <file-name>.yaml

      잠시 후 VPA는 워크로드 오브젝트와 연결된 Pod에서 컨테이너의 리소스 사용량을 확인합니다.

      다음 명령을 사용하여 VPA 권장 사항을 볼 수 있습니다.

      $ oc get vpa <vpa-name> --output yaml

      출력에는 CPU 및 메모리 요청에 대한 권장 사항이 표시되며 다음과 유사합니다.

      출력 예

      ...
      status:
      
      ...
      
        recommendation:
          containerRecommendations:
          - containerName: frontend
            lowerBound: 1
              cpu: 25m
              memory: 262144k
            target: 2
              cpu: 25m
              memory: 262144k
            uncappedTarget: 3
              cpu: 25m
              memory: 262144k
            upperBound: 4
              cpu: 262m
              memory: "274357142"
          - containerName: backend
            lowerBound:
              cpu: 12m
              memory: 131072k
            target:
              cpu: 12m
              memory: 131072k
            uncappedTarget:
              cpu: 12m
              memory: 131072k
            upperBound:
              cpu: 476m
              memory: "498558823"
      
      ...

      1

      lowerBound는 최소 권장 리소스 수준은 입니다.

      2

      target은 권장 리소스 수준입니다.

      3

      upperBound는 권장되는 최고 리소스 수준입니다.

      4

      uncappedTarget은 최신 리소스 권장 사항입니다.

프로세스

1. OpenShift Container Platform 웹 콘솔에서 Operator → 설치된 Operator를 클릭합니다.
2. openshift-vertical-pod-autoscaler 프로젝트로 전환합니다.
3. VerticalPodAutoscaler Operator의 경우 옵션 메뉴 를 클릭하고 Operator 설치 제거를 선택합니다.
4. 선택 사항: Operator와 연결된 모든 피연산자를 제거하려면 대화 상자에서 이 연산자의 모든 피연산자 인스턴스 삭제를 선택합니다.
5. 제거를 클릭합니다.

6. 선택 사항: OpenShift CLI를 사용하여 VPA 구성 요소를 제거합니다.

   1. VPA 네임스페이스를 삭제합니다.

      $ oc delete namespace openshift-vertical-pod-autoscaler

   2. VPA CRD(사용자 정의 리소스 정의) 오브젝트를 삭제합니다.

      $ oc delete crd verticalpodautoscalercheckpoints.autoscaling.k8s.io

      $ oc delete crd verticalpodautoscalercontrollers.autoscaling.openshift.io

      $ oc delete crd verticalpodautoscalers.autoscaling.k8s.io

      CRD를 삭제하면 연결된 역할, 클러스터 역할 및 역할 바인딩이 제거됩니다.

      참고

      이 작업은 클러스터에서 모든 사용자가 생성한 VPA CR에서 제거됩니다. VPA를 다시 설치하는 경우 이러한 오브젝트를 다시 생성해야 합니다.

   3. VPA Operator를 삭제합니다.

      $ oc delete operator/vertical-pod-autoscaler.openshift-vertical-pod-autoscaler

1. 시크릿을 유지하려는 데이터가 포함된 보안 오브젝트를 생성합니다. 각 시크릿 유형에 필요한 특정 데이터는 다음 섹션에서 확인할 수 있습니다.

   불투명 보안을 생성하는 YAML 오브젝트의 예

   apiVersion: v1
   kind: Secret
   metadata:
     name: test-secret
   type: Opaque 1
   data: 2
     username: dmFsdWUtMQ0K
     password: dmFsdWUtMQ0KDQo=
   stringData: 3
     hostname: myapp.mydomain.com
     secret.properties: |
       property1=valueA
       property2=valueB

   1

   보안 유형을 지정합니다.

   2

   인코딩된 문자열 및 데이터를 지정합니다.

   3

   디코딩된 문자열 및 데이터를 지정합니다.

   둘 다 아닌 data 또는 stringdata 필드를 사용합니다.

2. Pod의 서비스 계정을 업데이트하여 보안을 참조합니다.

   보안을 사용하는 서비스 계정의 YAML

   apiVersion: v1
   kind: ServiceAccount
    ...
   secrets:
   - name: test-secret

3. 보안을 환경 변수로 사용하거나 secret 볼륨을 사용하여 파일로 사용하는 Pod를 생성합니다.

   보안 데이터로 볼륨의 파일을 채우는 Pod의 YAML

   apiVersion: v1
   kind: Pod
   metadata:
     name: secret-example-pod
   spec:
     containers:
       - name: secret-test-container
         image: busybox
         command: [ "/bin/sh", "-c", "cat /etc/secret-volume/*" ]
         volumeMounts: 1
             - name: secret-volume
               mountPath: /etc/secret-volume 2
               readOnly: true 3
     volumes:
       - name: secret-volume
         secret:
           secretName: test-secret 4
     restartPolicy: Never

   1

   보안이 필요한 각 컨테이너에 volumeMounts 필드를 추가합니다.

   2

   보안을 표시할 미사용 디렉터리 이름을 지정합니다. 시크릿 데이터 맵의 각 키는 mountPath 아래의 파일 이름이 됩니다.

   3

   true 로 설정합니다. true인 경우 드라이버에 읽기 전용 볼륨을 제공하도록 지시합니다.

   4

   시크릿 이름을 지정합니다.

   보안 데이터로 환경 변수를 채우는 Pod의 YAML

   apiVersion: v1
   kind: Pod
   metadata:
     name: secret-example-pod
   spec:
     containers:
       - name: secret-test-container
         image: busybox
         command: [ "/bin/sh", "-c", "export" ]
         env:
           - name: TEST_SECRET_USERNAME_ENV_VAR
             valueFrom:
               secretKeyRef: 1
                 name: test-secret
                 key: username
     restartPolicy: Never

   1

   secret 키를 사용하는 환경 변수를 지정합니다.

   보안 데이터로 환경 변수를 채우는 빌드 구성의 YAML

   apiVersion: build.openshift.io/v1
   kind: BuildConfig
   metadata:
     name: secret-example-bc
   spec:
     strategy:
       sourceStrategy:
         env:
         - name: TEST_SECRET_USERNAME_ENV_VAR
           valueFrom:
             secretKeyRef: 1
               name: test-secret
               key: username

   1

   secret 키를 사용하는 환경 변수를 지정합니다.

절차

1. 다음 명령을 실행하여 네임스페이스에 서비스 계정을 생성합니다.

   $ oc create sa <service_account_name> -n <your_namespace>

2. 다음 YAML 예제를 service-account-token-secret.yaml 이라는 파일에 저장합니다. 예제에는 서비스 계정 토큰을 생성하는 데 사용할 수 있는 Secret 오브젝트 구성이 포함되어 있습니다.

   apiVersion: v1
   kind: Secret
   metadata:
     name: <secret_name> 1
     annotations:
       kubernetes.io/service-account.name: "sa-name" 2
   type: kubernetes.io/service-account-token 3

   1

   & lt;secret_name& gt;을 서비스 토큰 시크릿의 이름으로 교체합니다.

   2

   기존 서비스 계정 이름을 지정합니다. ServiceAccount 및 Secret 오브젝트를 모두 생성하는 경우 ServiceAccount 오브젝트를 먼저 생성합니다.

   3

   서비스 계정 토큰 시크릿 유형을 지정합니다.

3. 파일을 적용하여 서비스 계정 토큰을 생성합니다.

   $ oc apply -f service-account-token-secret.yaml

4. 다음 명령을 실행하여 시크릿에서 서비스 계정 토큰을 가져옵니다.

   $ oc get secret <sa_token_secret> -o jsonpath='{.data.token}' | base64 --decode) 1

   출력 예

   ayJhbGciOiJSUzI1NiIsImtpZCI6IklOb2dtck1qZ3hCSWpoNnh5YnZhSE9QMkk3YnRZMVZoclFfQTZfRFp1YlUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJkZWZhdWx0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImJ1aWxkZXItdG9rZW4tdHZrbnIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiYnVpbGRlciIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjNmZGU2MGZmLTA1NGYtNDkyZi04YzhjLTNlZjE0NDk3MmFmNyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDpkZWZhdWx0OmJ1aWxkZXIifQ.OmqFTDuMHC_lYvvEUrjr1x453hlEEHYcxS9VKSzmRkP1SiVZWPNPkTWlfNRp6bIUZD3U6aN3N7dMSN0eI5hu36xPgpKTdvuckKLTCnelMx6cxOdAbrcw1mCmOClNscwjS1KO1kzMtYnnq8rXHiMJELsNlhnRyyIXRTtNBsy4t64T3283s3SLsancyx0gy0ujx-Ch3uKAKdZi5iT-I8jnnQ-ds5THDs2h65RJhgglQEmSxpHrLGZFmyHAQI-_SjvmHZPXEc482x3SkaQHNLqpmrpJorNqh1M8ZHKzlujhZgVooMvJmWPXTb2vnvi3DGn2XI-hZxl1yD2yGH1RBpYUHA

   1

   <sa_token_secret>을 서비스 토큰 시크릿의 이름으로 바꿉니다.

5. 서비스 계정 토큰을 사용하여 클러스터의 API로 인증합니다.

   $ curl -X GET <openshift_cluster_api> --header "Authorization: Bearer <token>" 1 2

   1

   &lt ;openshift_cluster_api&gt;를 OpenShift 클러스터 API로 바꿉니다.

   2

   & lt;token >을 이전 명령의 출력되는 서비스 계정 토큰으로 바꿉니다.

1. 보안을 삭제합니다.

   $ oc delete secret <secret_name>

2. 주석을 지웁니다.

   $ oc annotate service <service_name> service.beta.openshift.io/serving-cert-generation-error-

   $ oc annotate service <service_name> service.beta.openshift.io/serving-cert-generation-error-num-

1. 다음 명령을 입력하여 구성할 노드 유형의 정적 MachineConfigPool CRD와 연관된 라벨을 가져옵니다. 다음 중 하나를 실행합니다.

   1. Machine config를 표시합니다:

      # oc describe machineconfig <name>

      예를 들면 다음과 같습니다.

      # oc describe machineconfig 00-worker

      출력 예

      Name:         00-worker
      Namespace:
      Labels:       machineconfiguration.openshift.io/role=worker 1

      1

      장치 관리자에 필요한 라벨입니다.

프로세스

1. 구성 변경을 위한 사용자 정의 리소스 (CR)를 만듭니다.

   장치 관리자 CR의 설정 예

   apiVersion: machineconfiguration.openshift.io/v1
   kind: KubeletConfig
   metadata:
     name: devicemgr 1
   spec:
     machineConfigPoolSelector:
       matchLabels:
          machineconfiguration.openshift.io: devicemgr 2
     kubeletConfig:
       feature-gates:
         - DevicePlugins=true 3

   1

   CR에 이름을 지정합니다.

   2

   Machine Config Pool에서 라벨을 입력합니다.

   3

   DevicePlugins를 'true'로 설정합니다.

2. 장치 관리자를 만듭니다.

   $ oc create -f devicemgr.yaml

   출력 예

   kubeletconfig.machineconfiguration.openshift.io/devicemgr created

3. 노드에서 /var/lib/kubelet/device-plugins/kubelet.sock이 작성되었는지 확인하여 장치 관리자가 실제로 사용 가능한지 확인합니다. 이는 장치 관리자의 gRPC 서버가 새 플러그인 등록을 수신하는 UNIX 도메인 소켓입니다. 이 소켓 파일은 장치 관리자가 활성화된 경우에만 Kubelet을 시작할 때 생성됩니다.

1. 우선순위 클래스를 한 개 이상 생성합니다.

   1. 우선순위의 이름과 값을 지정합니다.
   2. 필요한 경우 우선순위 클래스 및 설명에 globalDefault 필드를 지정합니다.

2. Pod 사양을 생성하거나 다음과 같이 우선순위 클래스의 이름을 포함하도록 기존 Pod를 편집합니다.

   우선순위 클래스 이름이 있는 샘플 Pod 사양

   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
     labels:
       env: test
   spec:
     containers:
     - name: nginx
       image: nginx
       imagePullPolicy: IfNotPresent
     priorityClassName: high-priority 1

   1

   이 Pod에 사용할 우선순위 클래스를 지정합니다.

3. Pod를 생성합니다.

   $ oc create -f <file-name>.yaml

   Pod 구성 또는 Pod 템플릿에 우선순위 이름을 직접 추가할 수 있습니다.

절차

1. 컴퓨팅 머신 세트를 사용하거나 노드를 직접 편집하여 노드에 라벨을 추가합니다.

   • 노드를 생성할 때 컴퓨팅 머신 세트에서 관리하는 노드에 라벨을 추가하려면 MachineSet 오브젝트를 사용합니다.

     1. 다음 명령을 실행하여 MachineSet 오브젝트에 라벨을 추가합니다.

        $ oc patch MachineSet <name> --type='json' -p='[{"op":"add","path":"/spec/template/spec/metadata/labels", "value":{"<key>"="<value>","<key>"="<value>"}}]'  -n openshift-machine-api

        예를 들면 다음과 같습니다.

        $ oc patch MachineSet abc612-msrtw-worker-us-east-1c  --type='json' -p='[{"op":"add","path":"/spec/template/spec/metadata/labels", "value":{"type":"user-node","region":"east"}}]'  -n openshift-machine-api

        작은 정보

        또는 다음 YAML을 적용하여 컴퓨팅 머신 세트에 라벨을 추가할 수 있습니다.

        apiVersion: machine.openshift.io/v1beta1
        kind: MachineSet
        metadata:
          name: <machineset>
          namespace: openshift-machine-api
        spec:
          template:
            spec:
              metadata:
                labels:
                  region: "east"
                  type: "user-node"

     2. oc edit 명령을 사용하여 라벨이 MachineSet 오브젝트에 추가되었는지 확인합니다.

        예를 들면 다음과 같습니다.

        $ oc edit MachineSet abc612-msrtw-worker-us-east-1c -n openshift-machine-api

        MachineSet 오브젝트의 예

        apiVersion: machine.openshift.io/v1beta1
        kind: MachineSet
        
        ....
        
        spec:
        ...
          template:
            metadata:
        ...
            spec:
              metadata:
                labels:
                  region: east
                  type: user-node
        ....

   • 라벨을 노드에 직접 추가합니다.

     1. 노드의 Node 오브젝트를 편집합니다.

        $ oc label nodes <name> <key>=<value>

        예를 들어 노드에 라벨을 지정하려면 다음을 수행합니다.

        $ oc label nodes ip-10-0-142-25.ec2.internal type=user-node region=east

        작은 정보

        다음 YAML을 적용하여 노드에 라벨을 추가할 수 있습니다.

        kind: Node
        apiVersion: v1
        metadata:
          name: <node_name>
          labels:
            type: "user-node"
            region: "east"

     2. 라벨이 노드에 추가되었는지 확인합니다.

        $ oc get nodes -l type=user-node,region=east

        출력 예

        NAME                          STATUS   ROLES    AGE   VERSION
        ip-10-0-142-25.ec2.internal   Ready    worker   17m   v1.25.0

2. Pod에 일치하는 노드 선택기를 추가합니다.

   • 기존 및 향후 Pod에 노드 선택기를 추가하려면 Pod의 제어 오브젝트에 노드 선택기를 추가합니다.

     라벨이 있는 ReplicaSet 오브젝트의 예

     kind: ReplicaSet
     
     ....
     
     spec:
     
     ....
     
       template:
         metadata:
           creationTimestamp: null
           labels:
             ingresscontroller.operator.openshift.io/deployment-ingresscontroller: default
             pod-template-hash: 66d5cf9464
         spec:
           nodeSelector:
             kubernetes.io/os: linux
             node-role.kubernetes.io/worker: ''
             type: user-node 1

     1

     노드 선택기를 추가합니다.

   • 특정 새 Pod에 노드 선택기를 추가하려면 선택기를 Pod 오브젝트에 직접 추가합니다.

     노드 선택기가 있는 Pod 오브젝트의 예

     apiVersion: v1
     kind: Pod
     
     ....
     
     spec:
       nodeSelector:
         region: east
         type: user-node

     참고

     예약된 기존 Pod에 노드 선택기를 직접 추가할 수 없습니다.

프로세스

1. Scheduler 오브젝트를 편집합니다.

   $ oc edit scheduler cluster

2. spec.profile 필드에 사용할 프로필을 지정합니다.

   apiVersion: config.openshift.io/v1
   kind: Scheduler
   metadata:
     ...
     name: cluster
     resourceVersion: "601"
     selfLink: /apis/config.openshift.io/v1/schedulers/cluster
     uid: b351d6d0-d06f-4a99-a26b-87af62e79f59
   spec:
     mastersSchedulable: false
     profile: HighNodeUtilization 1

   1

   LowNodeUtilization, HighNodeUtilization 또는 NoScoring으로 설정합니다.

3. 파일을 저장하여 변경 사항을 적용합니다.

프로세스

1. Pod 사양의 특정 라벨을 사용하여 Pod를 생성합니다.

   $ cat team4.yaml
   apiVersion: v1
   kind: Pod
   metadata:
     name: security-s1
     labels:
       security: S1
   spec:
     containers:
     - name: security-s1
       image: docker.io/ocpqe/hello-pod

2. 다른 Pod를 생성할 때 Pod 사양을 다음과 같이 편집합니다.

   1. podAffinity 스탠자를 사용하여 requiredDuringSchedulingIgnoredDuringExecution 매개변수 또는 preferredDuringSchedulingIgnoredDuringExecution 매개변수를 구성합니다.

   2. 충족해야 하는 키와 값을 지정합니다. 새 Pod를 다른 Pod와 함께 예약하려면 첫 번째 Pod의 라벨과 동일한 key 및 value 매개변수를 사용합니다.

          podAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                - key: security
                  operator: In
                  values:
                  - S1
              topologyKey: failure-domain.beta.kubernetes.io/zone

   3. operator를 지정합니다. 연산자는 In, NotIn, Exists 또는 DoesNotExist일 수 있습니다. 예를 들어 노드에 라벨이 있어야 하는 경우 연산자 In을 사용합니다.
   4. 이러한 토폴로지 도메인을 나타내기 위해 사용하며 미리 채워져 있는 Kubernetes 라벨인 topologyKey를 지정합니다.

3. Pod를 생성합니다.

   $ oc create -f <pod-spec>.yaml

프로세스

1. Pod 사양의 특정 라벨을 사용하여 Pod를 생성합니다.

   $ cat team4.yaml
   apiVersion: v1
   kind: Pod
   metadata:
     name: security-s2
     labels:
       security: S2
   spec:
     containers:
     - name: security-s2
       image: docker.io/ocpqe/hello-pod

2. 다른 Pod를 생성할 때 Pod 사양을 편집하여 다음 매개변수를 설정합니다.

3. podAntiAffinity 스탠자를 사용하여 requiredDuringSchedulingIgnoredDuringExecution 매개변수 또는 preferredDuringSchedulingIgnoredDuringExecution 매개변수를 구성합니다.

   1. 노드의 가중치를 1~100으로 지정합니다. 가중치가 높은 노드가 우선합니다.

   2. 충족해야 하는 키와 값을 지정합니다. 새 Pod를 다른 Pod와 함께 예약하지 않으려면 첫 번째 Pod의 라벨과 동일한 key 및 value 매개변수를 사용합니다.

          podAntiAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              podAffinityTerm:
                labelSelector:
                  matchExpressions:
                  - key: security
                    operator: In
                    values:
                    - S2
                topologyKey: kubernetes.io/hostname

   3. 기본 규칙의 경우 1~100의 가중치를 지정합니다.
   4. operator를 지정합니다. 연산자는 In, NotIn, Exists 또는 DoesNotExist일 수 있습니다. 예를 들어 노드에 라벨이 있어야 하는 경우 연산자 In을 사용합니다.
4. 이러한 토폴로지 도메인을 나타내기 위해 사용하며 미리 채워져 있는 Kubernetes 라벨인 topologyKey를 지정합니다.

5. Pod를 생성합니다.

   $ oc create -f <pod-spec>.yaml

1. Operator를 정상적으로 설치합니다.
2. 필요한 경우 노드에 유사성에 올바르게 응답하도록 레이블이 지정되어 있는지 확인합니다.

3. Operator Subscription 오브젝트를 편집하여 유사성을 추가합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: openshift-custom-metrics-autoscaler-operator
     namespace: openshift-keda
   spec:
     name: my-package
     source: my-operators
     sourceNamespace: operator-registries
     config:
       affinity:
         podAntiAffinity: 1
           requiredDuringSchedulingIgnoredDuringExecution:
             podAffinityTerm:
               labelSelector:
                 matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   - ip-10-0-185-229.ec2.internal
               topologyKey: topology.kubernetes.io/zone
    ...

   1

   podAffinity 또는 podAntiAffinity 를 추가합니다.

1. oc label node 명령을 사용하여 노드에 라벨을 추가합니다.

   $ oc label node node1 e2e-az-name=e2e-az1

   작은 정보

   다음 YAML을 적용하여 레이블을 추가할 수 있습니다.

   kind: Node
   apiVersion: v1
   metadata:
     name: <node_name>
     labels:
       e2e-az-name: e2e-az1

2. Pod 사양에서 nodeAffinity 스탠자를 사용하여 requiredDuringSchedulingIgnoredDuringExecution 매개변수를 구성합니다.

   1. 충족해야 하는 키와 값을 지정합니다. 편집한 노드에 새 Pod를 예약하려면 노드의 라벨과 동일한 key 및 value 매개변수를 사용합니다.

   2. operator를 지정합니다. 연산자는 In, NotIn, Exists, DoesNotExist, Lt 또는 Gt일 수 있습니다. 예를 들어 노드에 라벨이 있어야 하는 경우 연산자 In을 사용합니다.

      출력 예

      spec:
        affinity:
          nodeAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
              nodeSelectorTerms:
              - matchExpressions:
                - key: e2e-az-name
                  operator: In
                  values:
                  - e2e-az1
                  - e2e-az2

3. Pod를 생성합니다.

   $ oc create -f e2e-az2.yaml

1. oc label node 명령을 사용하여 노드에 라벨을 추가합니다.

   $ oc label node node1 e2e-az-name=e2e-az3

2. Pod 사양에서 nodeAffinity 스탠자를 사용하여 preferredDuringSchedulingIgnoredDuringExecution 매개변수를 구성합니다.

   1. 노드의 가중치를 숫자 1~100으로 지정합니다. 가중치가 높은 노드가 우선합니다.

   2. 충족해야 하는 키와 값을 지정합니다. 편집한 노드에 새 Pod를 예약하려면 노드의 라벨과 동일한 key 및 value 매개변수를 사용합니다.

      spec:
        affinity:
          nodeAffinity:
            preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 1
              preference:
                matchExpressions:
                - key: e2e-az-name
                  operator: In
                  values:
                  - e2e-az3

   3. operator를 지정합니다. 연산자는 In, NotIn, Exists, DoesNotExist, Lt 또는 Gt일 수 있습니다. 예를 들어 노드에 라벨이 있어야 하는 경우 연산자 In을 사용합니다.

3. Pod를 생성합니다.

   $ oc create -f e2e-az3.yaml

1. Operator를 정상적으로 설치합니다.
2. 필요한 경우 노드에 유사성에 올바르게 응답하도록 레이블이 지정되어 있는지 확인합니다.

3. Operator Subscription 오브젝트를 편집하여 유사성을 추가합니다.

   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: openshift-custom-metrics-autoscaler-operator
     namespace: openshift-keda
   spec:
     name: my-package
     source: my-operators
     sourceNamespace: operator-registries
     config:
       affinity: 1
         nodeAffinity:
           requiredDuringSchedulingIgnoredDuringExecution:
             nodeSelectorTerms:
             - matchExpressions:
               - key: kubernetes.io/hostname
                 operator: In
                 values:
                 - ip-10-0-185-229.ec2.internal
    ...

   1

   nodeAffinity 를 추가합니다.

1. 컨트롤 플레인 노드에 NoSchedule 테인트를 추가하는 경우 노드에 기본적으로 추가되는 node-role.kubernetes.io/master=:NoSchedule 테인트가 있어야 합니다.

   예를 들면 다음과 같습니다.

   apiVersion: v1
   kind: Node
   metadata:
     annotations:
       machine.openshift.io/machine: openshift-machine-api/ci-ln-62s7gtb-f76d1-v8jxv-master-0
       machineconfiguration.openshift.io/currentConfig: rendered-master-cdc1ab7da414629332cc4c3926e6e59c
   ...
   spec:
     taints:
     - effect: NoSchedule
       key: node-role.kubernetes.io/master
   ...