16.5. 제한된 네트워크에서 RHV에 클러스터 설치

프로세스

1. RHV 버전이 OpenShift Container Platform 버전 4.9의 설치를 지원하는지 확인합니다.

   1. RHV 관리 포털에서 오른쪽 상단에 있는 ? 도움말 아이콘을 클릭하고 정보를 선택합니다.
   2. 창이 열리면 RHV 소프트웨어 버전을 기록합니다.
   3. RHV 버전이 4.4인지 확인합니다. 지원되는 버전 조합에 대한 자세한 내용은 RHV의 OpenShift Container Platform에 대한 지원 매트릭스를 참조하십시오.

2. 데이터 센터, 클러스터 및 스토리지를 검사합니다.

   1. RHV 관리 포털에서 Compute → Data Centers를 클릭합니다.
   2. OpenShift Container Platform을 설치하려는 데이터 센터에 액세스할 수 있는지 확인합니다.
   3. 해당 데이터 센터의 이름을 클릭합니다.
   4. 데이터 센터 세부 사항의 스토리지 탭에서 OpenShift Container Platform을 설치하려는 스토리지 도메인이 활성인지 확인합니다.
   5. 나중에 사용할 수 있도록 도메인 이름을 기록합니다.
   6. 여유 공간이 230GiB 이상인지 확인합니다.
   7. 스토리지 도메인이 fio 성능 벤치마킹 툴을 사용하여 측정할 수 있는 이러한 etcd 백엔드 성능 요구사항을 충족하는지 확인합니다.
   8. 데이터 센터 세부 사항에서 클러스터 탭을 클릭합니다.
   9. OpenShift Container Platform을 설치할 RHV 클러스터를 찾습니다. 나중에 사용할 수 있도록 클러스터 이름을 기록합니다.

3. RHV 호스트 리소스를 검사합니다.

   1. RHV 관리 포털에서 컴퓨팅 > 클러스터를 클릭합니다.
   2. OpenShift Container Platform을 설치할 클러스터를 클릭합니다.
   3. 클러스터 세부 사항에서 호스트 탭을 클릭합니다.
   4. 호스트를 검사하고 OpenShift Container Platform 클러스터 전용으로 사용할 수 있는 총 28개 이상의 논리 CPU 코어가 있는지 확인합니다.
   5. 나중에 사용할 수 있도록 사용 가능한 논리 CPU 코어 수를 기록합니다.
   6. 설치 중에 생성된 7개의 가상 시스템 각각에 4개의 코어가 있을 수 있도록 이러한 CPU 코어가 분산되어 있는지 확인합니다.

   7. 다음 OpenShift Container Platform 시스템 각각에 대한 요구사항을 충족하기 위해 배포된 새 가상 시스템 예약에 필요한 112GiB의 최대 여유 메모리가 모두 호스트에 있는지 확인합니다.

      • 부트스트랩 시스템에 필요한 16GiB
      • 세 개의 컨트롤 플레인 시스템 각각에 필요한 16GiB
      • 세 개의 컴퓨팅 시스템 각각에 대해 16GiB
   8. 나중에 사용할 수 있도록 새 가상 시스템 예약에 필요한 최대 여유 메모리의 양을 기록합니다.

4. OpenShift Container Platform을 설치할 가상 네트워크가 RHV Manager의 REST API에 액세스할 수 있는지 확인합니다. 이 네트워크의 가상 시스템에서 RHV 관리자의 REST API에 도달하기 위해 curl을 사용합니다.

   $ curl -k -u <username>@<profile>:<password> \ 1
   https://<engine-fqdn>/ovirt-engine/api 2

   1

   <username> 의 경우 RHV에서 OpenShift Container Platform 클러스터를 만들고 관리할 수 있는 권한이 있는 RHV 계정의 사용자 이름을 지정합니다. <profile>은 로그인 프로파일을 지정합니다(RHV 관리 포털 로그인 페이지로 이동하여 프로파일 드롭다운 목록 검토). <password>의 경우 해당 사용자 이름에 대한 암호를 지정합니다.

   2

   <engine-fqdn>은 RHV 환경의 정규화된 도메인 이름을 지정합니다.

   예를 들면 다음과 같습니다.

   $ curl -k -u ocpadmin@internal:pw123 \
   https://rhv-env.virtlab.example.com/ovirt-engine/api

절차

1. Python3 및 Ansible을 업데이트하거나 설치합니다. 예를 들면 다음과 같습니다.

   # dnf update python3 ansible

2. python3-ovirt-engine-sdk4 패키지를 설치하여 Python 소프트웨어 개발 키트를 가져옵니다.

3. ovirt.image-template Ansible 역할을 설치합니다. RHV Manager 및 기타 RHEL(Red Hat Enterprise Linux) 시스템에서 이 역할은 ovirt-ansible-image-template 패키지로 배포됩니다. 예를 들면 다음과 같습니다.

   # dnf install ovirt-ansible-image-template

4. ovirt.vm-infra Ansible 역할을 설치합니다. RHV Manager 및 기타 RHEL 시스템에서 이 역할은 ovirt-ansible-vm-infra 패키지로 배포됩니다.

   # dnf install ovirt-ansible-vm-infra

5. 환경 변수를 만들고 절대 또는 상대 경로를 할당합니다. 예를 들면 다음과 같습니다.

   $ export ASSETS_DIR=./wrk

   참고

   설치 프로그램은 이 변수를 사용하여 중요한 설치 관련 파일을 저장하는 디렉터리를 만듭니다. 나중에 설치 프로세스는 이 변수를 사용하여 해당 자산 파일을 찾습니다. 이 assets 디렉터리를 삭제하지 마십시오. 이는 클러스터를 제거하는 데 필요합니다.

절차

1. 다음 두 가지 방법 중 하나를 사용하여 CA 인증서를 다운로드합니다.

   • Manager 웹 페이지(https://<engine-fqdn>/ovirt-engine/)로 이동합니다. 그런 다음 다운로드 아래에서 CA 인증서 링크를 클릭합니다.

   • 다음 명령을 실행합니다.

     $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1

     1

     <engine-fqdn>은 rhv-env.virtlab.example.com과 같이 RHV Manager의 정규화된 도메인 이름을 지정합니다.

2. Manager에 대한 루트리스(rootless) 사용자 액세스 권한을 부여하도록 CA 파일을 구성합니다. 8진수 값 0644(기호 값: -rw-r— r--)를 갖도록 CA 파일 권한을 설정합니다.

   $ sudo chmod 0644 /tmp/ca.pem

3. Linux의 경우 서버 인증서를 CA 인증서 디렉터리에 복사합니다. 권한을 유지하려면 -p를 사용합니다.

   $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem

4. 운영 체제의 인증서 관리자에 인증서를 추가합니다.

   • macOS의 경우 인증서 파일을 두 번 클릭하고 키체인 액세스 유틸리티를 사용하여 파일을 시스템 키 체인에 추가합니다.

   • Linux의 경우 다음과 같이 CA 트러스트를 업데이트합니다.

     $ sudo update-ca-trust

     참고

     자체 인증 기관을 사용하는 경우 시스템이 해당 인증 기관을 신뢰하는지 확인합니다.

절차

1. 로컬 시스템에 클러스터 노드의 인증에 사용할 기존 SSH 키 쌍이 없는 경우 새로 생성합니다. 예를 들어 Linux 운영 체제를 사용하는 컴퓨터에서 다음 명령을 실행합니다.

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   새 SSH 키의 경로 및 파일 이름(예: ~/.ssh/id_ed25519 )을 지정합니다. 기존 키 쌍이 있는 경우 공개 키가 '~/.ssh 디렉터리에 있는지 확인하십시오.

   참고

   x86_64 아키텍처에 FIPS 검증 / 진행중인 모듈 (Modules in Process) 암호화 라이브러리를 사용하는 OpenShift Container Platform 클러스터를 설치하려면 ed25519 알고리즘을 사용하는 키를 생성하지 마십시오. 대신 rsa 또는 ecdsa 알고리즘을 사용하는 키를 생성합니다.

2. 공개 SSH 키를 확인합니다.

   $ cat <path>/<file_name>.pub

   예를 들어 다음을 실행하여 ~/.ssh/id_ed25519.pub 공개 키를 확인합니다.

   $ cat ~/.ssh/id_ed25519.pub

3. 아직 추가되지 않은 경우 로컬 사용자의 SSH 에이전트에 SSH 개인 키 ID를 추가합니다. 키의 SSH 에이전트 관리는 클러스터 노드에 암호 없는 SSH 인증을 수행하거나 ./openshift-install gather 명령을 사용하려는 경우 필요합니다.

   참고

   일부 배포에서는 ~/.ssh/id_rsa 및 ~/.ssh/id_dsa와 같은 기본 SSH 개인 키 ID가 자동으로 관리됩니다.

   1. ssh-agent 프로세스가 로컬 사용자에 대해 실행되지 않은 경우 백그라운드 작업으로 시작합니다.

      $ eval "$(ssh-agent -s)"

      출력 예

      Agent pid 31874

      참고

      클러스터가 FIPS 모드인 경우 FIPS 호환 알고리즘만 사용하여 SSH 키를 생성합니다. 키는 RSA 또는 ECDSA여야 합니다.

4. ssh-agent에 SSH 개인 키를 추가합니다.

   $ ssh-add <path>/<file_name> 1

   1

   SSH 개인 키의 경로 및 파일 이름을 지정합니다(예: ~/.ssh/id_ed25519).

   출력 예

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

절차

1. 설치 중인 OpenShift Container Platform 버전에 대한 RHCOS 이미지 다운로드 페이지(예: Index of /pub/openshift-v4/dependencies/rhcos/latest/latest)를 찾습니다.
2. 해당 다운로드 페이지에서 https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.9/latest/rhcos-openstack.x86_64.qcow2.gz와 같은 OpenStack qcow2 이미지의 URL을 복사합니다.

3. 이전에 다운로드 한 inventory.yml Playbook을 편집합니다. 여기에 URL을 image_url 값으로 붙여 넣습니다. 예를 들면 다음과 같습니다.

   rhcos:
     "https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.9/latest/rhcos-openstack.x86_64.qcow2.gz"

절차

1. 설치 프로그램을 실행합니다.

   $ openshift-install create install-config --dir $ASSETS_DIR

2. 시스템에 대한 정보를 사용하여 설치 프로그램의 프롬프트 메시지에 응답합니다.

   출력 예

   ? SSH Public Key /home/user/.ssh/id_dsa.pub
   ? Platform <ovirt>
   ? Engine FQDN[:PORT] [? for help] <engine.fqdn>
   ? Enter ovirt-engine username <ocpadmin@internal>
   ? Enter password <******>
   ? oVirt cluster <cluster>
   ? oVirt storage <storage>
   ? oVirt network <net>
   ? Internal API virtual IP <172.16.0.252>
   ? Ingress virtual IP <172.16.0.251>
   ? Base Domain <example.org>
   ? Cluster Name <ocp4>
   ? Pull Secret [? for help] <********>

프로세스

1. 컴퓨팅 노드 수를 복제본 0으로 설정합니다.

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["compute"][0]["replicas"] = 0
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

2. 머신 네트워크의 IP 범위를 설정합니다. 예를 들어 범위를 172.16.0.0/16으로 설정하려면 다음을 입력합니다.

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   conf["networking"]["machineNetwork"][0]["cidr"] = "172.16.0.0/16"
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

3. ovirt 섹션을 제거하고 플랫폼을 none으로 변경합니다.

   $ python3 -c 'import os, yaml
   path = "%s/install-config.yaml" % os.environ["ASSETS_DIR"]
   conf = yaml.safe_load(open(path))
   platform = conf["platform"]
   del platform["ovirt"]
   platform["none"] = {}
   open(path, "w").write(yaml.dump(conf, default_flow_style=False))'

   주의

   Red Hat Virtualization은 현재 oVirt 플랫폼에서 사용자 프로비저닝 인프라를 사용하여 설치를 지원하지 않습니다. 따라서 플랫폼을 none 으로 설정해야 OpenShift Container Platform에서 각 노드를 베어 메탈 노드로 식별하고 클러스터를 베어 메탈 클러스터로 식별할 수 있습니다. 이는 모든 플랫폼에 클러스터를 설치하는 것과 동일하며 다음과 같은 제한 사항이 있습니다.

   1. 클러스터 공급자가 없으므로 각 머신을 수동으로 추가해야 하며 노드 확장 기능이 없습니다.
   2. oVirt CSI 드라이버가 설치되지 않으며 CSI 기능이 없습니다.

절차

1. 선택 사항: install-config.yaml 파일의 작업 사본을 만듭니다.

   $ cp install-config.yaml install-config.yaml.backup

2. assets 디렉터리에 매니페스트 세트를 생성합니다.

   $ openshift-install create manifests --dir $ASSETS_DIR

   이 명령은 다음 메시지를 표시합니다.

   출력 예

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   이 명령은 다음 매니페스트 파일을 생성합니다.

   출력 예

   $ tree
   .
   └── wrk
       ├── manifests
       │   ├── 04-openshift-machine-config-operator.yaml
       │   ├── cluster-config.yaml
       │   ├── cluster-dns-02-config.yml
       │   ├── cluster-infrastructure-02-config.yml
       │   ├── cluster-ingress-02-config.yml
       │   ├── cluster-network-01-crd.yml
       │   ├── cluster-network-02-config.yml
       │   ├── cluster-proxy-01-config.yaml
       │   ├── cluster-scheduler-02-config.yml
       │   ├── cvo-overrides.yaml
       │   ├── etcd-ca-bundle-configmap.yaml
       │   ├── etcd-client-secret.yaml
       │   ├── etcd-host-service-endpoints.yaml
       │   ├── etcd-host-service.yaml
       │   ├── etcd-metric-client-secret.yaml
       │   ├── etcd-metric-serving-ca-configmap.yaml
       │   ├── etcd-metric-signer-secret.yaml
       │   ├── etcd-namespace.yaml
       │   ├── etcd-service.yaml
       │   ├── etcd-serving-ca-configmap.yaml
       │   ├── etcd-signer-secret.yaml
       │   ├── kube-cloud-config.yaml
       │   ├── kube-system-configmap-root-ca.yaml
       │   ├── machine-config-server-tls-secret.yaml
       │   └── openshift-config-secret-pull-secret.yaml
       └── openshift
           ├── 99_kubeadmin-password-secret.yaml
           ├── 99_openshift-cluster-api_master-user-data-secret.yaml
           ├── 99_openshift-cluster-api_worker-user-data-secret.yaml
           ├── 99_openshift-machineconfig_99-master-ssh.yaml
           ├── 99_openshift-machineconfig_99-worker-ssh.yaml
           └── openshift-install-manifests.yaml

절차

1. 컨트롤 플레인 노드를 스케줄 불가능하게하려면 다음을 입력합니다.

   $ python3 -c 'import os, yaml
   path = "%s/manifests/cluster-scheduler-02-config.yml" % os.environ["ASSETS_DIR"]
   data = yaml.safe_load(open(path))
   data["spec"]["mastersSchedulable"] = False
   open(path, "w").write(yaml.dump(data, default_flow_style=False))'

절차

1. Ignition 파일을 빌드하려면 다음을 입력합니다.

   $ openshift-install create ignition-configs --dir $ASSETS_DIR

   출력 예

   $ tree
   .
   └── wrk
       ├── auth
       │   ├── kubeadmin-password
       │   └── kubeconfig
       ├── bootstrap.ign
       ├── master.ign
       ├── metadata.json
       └── worker.ign

절차

1. inventory.yml 의 control_plane 및 compute 변수에서 type: high_performance의 두 인스턴스를 type: server로 변경합니다.

2. 선택 사항: 동일한 클러스터에 여러번 설치를 수행하려는 경우 각 OpenShift Container Platform 설치에 대해 서로 다른 템플릿을 생성합니다. inventory.yml 파일에서 template 값 앞에 infraID를 추가합니다. 예를 들면 다음과 같습니다.

     control_plane:
       cluster: "{{ ovirt_cluster }}"
       memory: 16GiB
       sockets: 4
       cores: 1
       template: "{{ metadata.infraID }}-rhcos_tpl"
       operating_system: "rhcos_x64"
       ...

3. 템플릿 및 가상 머신을 만듭니다.

   $ ansible-playbook -i inventory.yml create-templates-and-vms.yml

프로세스

1. 부트스트랩 시스템을 생성합니다.

   $ ansible-playbook -i inventory.yml bootstrap.yml

2. 관리 포털 또는 SSH에서 콘솔을 사용하여 부트스트랩 머신에 연결합니다. <bootstrap_ip>를 부트스트랩 노드 IP 주소로 바꿉니다. SSH를 사용하려면 다음을 입력합니다.

   $ ssh core@<boostrap.ip>

3. 부트스트랩 노드에서 릴리스 이미지 서비스에 대한bootkube.service journald 장치 로그를 수집합니다.

   [core@ocp4-lk6b4-bootstrap ~]$ journalctl -b -f -u release-image.service -u bootkube.service

   참고

   부트스트랩 노드의 bootkube.service 로그는 etcd connection rejectd 오류를 출력하고 부트스트랩 서버가 컨트롤 플레인 노드의 etcd에 연결할 수 없음을 나타냅니다. 각 컨트롤 플레인 노드에서 etcd를 시작하고 노드가 클러스터에 가입되면 오류가 중지됩니다.

프로세스

1. 컨트롤 플레인 노드를 생성합니다.

   $ ansible-playbook -i inventory.yml masters.yml

2. Playbook이 컨트롤 플레인을 생성하는 동안 부트스트랩 프로세스를 모니터링합니다.

   $ openshift-install wait-for bootstrap-complete --dir $ASSETS_DIR

   출력 예

   INFO API v1.22.1 up
   INFO Waiting up to 40m0s for bootstrapping to complete...

3. 컨트롤 플레인 노드 및 etcd의 모든 pod가 실행 중이면 설치 프로그램에 다음과 같은 출력이 표시됩니다.

   출력 예

   INFO It is now safe to remove the bootstrap resources

프로세스

1. 클러스터 환경에서 관리자의 kubeconfig 파일을 내보냅니다.

   $ export KUBECONFIG=$ASSETS_DIR/auth/kubeconfig

   kubeconfig 파일에는 CLI에서 올바른 클러스터 및 API 서버에 클라이언트를 연결하는 데 사용하는 클러스터에 대한 정보가 포함되어 있습니다.

2. 배포 후 생성된 컨트롤 플레인 및 컴퓨팅 시스템을 확인합니다.

   $ oc get nodes

3. 클러스터 버전을 확인합니다.

   $ oc get clusterversion

4. Operator 상태를 확인합니다.

   $ oc get clusteroperator

5. 클러스터에서 실행 중인 모든 Pod를 확인합니다.

   $ oc get pods -A

프로세스

1. 클러스터에서 부트스트랩 시스템을 제거하려면 다음을 입력하십시오.

   $ ansible-playbook -i inventory.yml retire-bootstrap.yml

2. 로드 밸런서 지시문에서 부트스트랩 머신의 설정을 제거합니다.

프로세스

1. 작업자 노드를 생성합니다.

   $ ansible-playbook -i inventory.yml workers.yml

2. 모든 CSR을 나열하려면 다음을 입력하십시오.

   $ oc get csr -A

   결국이 명령은 노드 당 하나의 CSR을 표시합니다. 예를 들면 다음과 같습니다.

   출력 예

   NAME        AGE    SIGNERNAME                                    REQUESTOR                                                                   CONDITION
   csr-2lnxd   63m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master0.ocp4.example.org                             Approved,Issued
   csr-hff4q   64m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-hsn96   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master2.ocp4.example.org                             Approved,Issued
   csr-m724n   6m2s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-p4dz2   60m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-t9vfj   60m    kubernetes.io/kubelet-serving                 system:node:ocp4-lk6b4-master1.ocp4.example.org                             Approved,Issued
   csr-tggtr   61m    kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Approved,Issued
   csr-wcbrf   7m6s   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

3. 목록을 필터링하고 보류중인 CSR 만 보려면 다음을 입력하십시오.

   $ watch "oc get csr -A | grep pending -i"

   이 명령은 2 초마다 출력을 새로 고침하고 보류중인 CSR 만 표시합니다. 예를 들면 다음과 같습니다.

   출력 예

   Every 2.0s: oc get csr -A | grep pending -i
   
   csr-m724n   10m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-wcbrf   11m   kubernetes.io/kube-apiserver-client-kubelet   system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending

4. 보류 중인 각 요청을 검사합니다. 예를 들면 다음과 같습니다.

   출력 예

   $ oc describe csr csr-m724n

   출력 예

   Name:               csr-m724n
   Labels:             <none>
   Annotations:        <none>
   CreationTimestamp:  Sun, 19 Jul 2020 15:59:37 +0200
   Requesting User:    system:serviceaccount:openshift-machine-config-operator:node-bootstrapper
   Signer:             kubernetes.io/kube-apiserver-client-kubelet
   Status:             Pending
   Subject:
            Common Name:    system:node:ocp4-lk6b4-worker1.ocp4.example.org
            Serial Number:
            Organization:   system:nodes
   Events:  <none>

5. CSR 정보가 정확하면 다음 요청을 승인합니다.

   $ oc adm certificate approve csr-m724n

6. 설치 프로세스가 완료될 때까지 기다립니다.

   $ openshift-install wait-for install-complete --dir $ASSETS_DIR --log-level debug

   설치가 완료되면 명령행에 OpenShift Container Platform 웹 콘솔의 URL과 관리자 이름 및 암호가 표시됩니다.