1. install-config.yaml을 설정합니다. pullSecret 및 sshKey 등 환경에 맞게 적절한 변수를 변경합니다.

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster-name>
   networking:
     machineCIDR: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2 1
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api-ip>
       ingressVIP: <wildcard-ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 2
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-1>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 3
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-master-2>
           role: master
           bmc:
             address: ipmi://<out-of-band-ip> 4
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: default
         - name: <openshift-worker-0>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip> 5
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
         - name: <openshift-worker-1>
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>
             username: <user>
             password: <password>
           bootMACAddress: <NIC1-mac-address>
           hardwareProfile: unknown
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1

   OpenShift Container Platform 클러스터의 일부인 작업자 노드 수를 기준으로 작업자 머신을 스케일링합니다.

   2 3 4 5

   자세한 옵션은 BMC 주소 지정 섹션을 참조하십시오.

2. 클러스터 설정을 저장할 디렉터리를 만듭니다.

   $ mkdir ~/clusterconfigs
   $ cp install-config.yaml ~/clusterconfigs

3. OpenShift Container Platform 클러스터를 설치하기 전에 모든 베어 메탈 노드의 전원이 꺼져 있는지 확인합니다.

   $ ipmitool -I lanplus -U <user> -P <password> -H <management-server-ip> power off

4. 이전 배포 시도에서 이전 부트스트랩 리소스가 남아 있는 경우 이전 부트스트랩 리소스를 삭제합니다.

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. OpenShift Container Platform 매니페스트를 만듭니다.

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated

프로세스

1. 레지스트리 노드에서 방화벽 포트를 엽니다.

   $ sudo firewall-cmd --add-port=5000/tcp --zone=libvirt  --permanent
   $ sudo firewall-cmd --add-port=5000/tcp --zone=public   --permanent
   $ sudo firewall-cmd --reload

2. 레지스트리 노드에 필요한 패키지를 설치합니다.

   $ sudo yum -y install python3 podman httpd httpd-tools jq

3. 저장소 정보가 보관될 디렉터리 구조를 만듭니다.

   $ sudo mkdir -p /opt/registry/{auth,certs,data}

프로세스

1. 인증서 정보를 적절하게 조정합니다.

   $ host_fqdn=$( hostname --long )
   $ cert_c="<Country Name>"   # Country Name (C, 2 letter code)
   $ cert_s="<State>"          # Certificate State (S)
   $ cert_l="<Locality>"       # Certificate Locality (L)
   $ cert_o="<Organization>"   # Certificate Organization (O)
   $ cert_ou="<Org Unit>"      # Certificate Organizational Unit (OU)
   $ cert_cn="${host_fqdn}"    # Certificate Common Name (CN)
   
   $ openssl req \
       -newkey rsa:4096 \
       -nodes \
       -sha256 \
       -keyout /opt/registry/certs/domain.key \
       -x509 \
       -days 365 \
       -out /opt/registry/certs/domain.crt \
       -addext "subjectAltName = DNS:${host_fqdn}" \
       -subj "/C=${cert_c}/ST=${cert_s}/L=${cert_l}/O=${cert_o}/OU=${cert_ou}/CN=${cert_cn}"

   참고

   <Country Name>을 바꾸는 경우에는 두 문자 만 사용합니다. 예: US

2. 새 인증서로 레지스트리 노드의 ca-trust를 업데이트합니다.

   $ sudo cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
   $ sudo update-ca-trust extract

프로세스

1. 컨테이너에서 사용할 htpasswd 파일을 /opt/registry/auth에 만듭니다.

   $ htpasswd -bBc /opt/registry/auth/htpasswd <user> <passwd>

   <user>를 사용자 이름으로, <passwd>를 암호로 바꿉니다.

2. 레지스트리 컨테이너를 만들고 시작합니다.

   $ podman create \
     --name ocpdiscon-registry \
     -p 5000:5000 \
     -e "REGISTRY_AUTH=htpasswd" \
     -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry" \
     -e "REGISTRY_HTTP_SECRET=ALongRandomSecretForRegistry" \
     -e "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd" \
     -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
     -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
     -e "REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true" \
     -v /opt/registry/data:/var/lib/registry:z \
     -v /opt/registry/auth:/auth:z \
     -v /opt/registry/certs:/certs:z \
     docker.io/library/registry:2

   $ podman start ocpdiscon-registry

프로세스

1. pull-secret.txt 파일을 복사합니다.

   $ scp kni@provisioner:/home/kni/pull-secret.txt pull-secret.txt

2. host_fqdn 환경 변수를 레지스트리 노드의 완전한 도메인 이름으로 업데이트합니다.

   $ host_fqdn=$( hostname --long )

3. htpasswd 파일을 만드는 데 사용되는 http 인증 정보의 base64 인코딩으로 b64auth 환경 변수를 업데이트합니다.

   $ b64auth=$( echo -n '<username>:<passwd>' | openssl base64 )

   <username>을 사용자 이름으로, <passwd>를 암호로 바꿉니다.

4. base64 승인 문자열을 사용하도록 AUTHSTRING 환경 변수를 설정합니다. $USER 변수는 현재 사용자의 이름을 포함하는 환경 변수입니다.

   $ AUTHSTRING="{\"$host_fqdn:5000\": {\"auth\": \"$b64auth\",\"email\": \"$USER@redhat.com\"}}"

5. pull-secret.txt 파일을 업데이트합니다.

   $ jq ".auths += $AUTHSTRING" < pull-secret.txt > pull-secret-update.txt

프로세스

1. 프로비저너 노드에서 레지스트리 노드에 oc 바이너리를 복사합니다.

   $ sudo scp kni@provisioner:/usr/local/bin/oc /usr/local/bin

2. 필요한 환경 변수를 설정합니다.

   1. 릴리스 버전을 설정합니다.

      $ VERSION=<release_version>

      <release_version> 은 설치할 OpenShift Container Platform 버전에 해당하는 태그를 지정합니다 (예: 4.6 ).

   2. 로컬 레지스트리 이름 및 호스트 포트를 설정합니다.

      $ LOCAL_REG='<local_registry_host_name>:<local_registry_host_port>'

      <local_registry_host_name>의 경우 미러 저장소의 레지스트리 도메인 이름을 지정하고 <local_registry_host_port>의 경우 콘텐츠를 제공하는데 사용되는 포트를 지정합니다.

   3. 로컬 리포지토리 이름을 설정합니다.

      $ LOCAL_REPO='<local_repository_name>'

      <local_repository_name>의 경우 레지스트리에 작성할 저장소 이름 (예: ocp4/openshift4)을 지정합니다.

3. 원격 설치 이미지를 로컬 저장소에 미러링합니다.

   $ /usr/local/bin/oc adm release mirror \
     -a pull-secret-update.txt \
     --from=$UPSTREAM_REPO \
     --to-release-image=$LOCAL_REG/$LOCAL_REPO:${VERSION} \
     --to=$LOCAL_REG/$LOCAL_REPO

프로세스

1. 비 연결 레지스트리 노드의 인증서를 install-config.yaml 파일에 추가합니다. 인증서는 "additionalTrustBundle:|" 뒤에 있어야 하며 보통 두 개의 공백으로 적절하게 들여 쓰기합니다.

   $ echo "additionalTrustBundle: |" >> install-config.yaml
   $ sed -e 's/^/  /' /opt/registry/certs/domain.crt >> install-config.yaml

2. 레지스트리의 미러 정보를 install-config.yaml 파일에 추가합니다.

   $ echo "imageContentSources:" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-release" >> install-config.yaml
   $ echo "- mirrors:" >> install-config.yaml
   $ echo "  - registry.example.com:5000/ocp4/openshift4" >> install-config.yaml
   $ echo "  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev" >> install-config.yaml

   참고

   registry.example.com을 레지스트리의 정규화된 도메인 이름으로 바꿉니다.

프로세스

1. 부트스트랩 VM에 로그인합니다.

   $ ssh core@172.22.0.2

2. 컨테이너 로그를 확인하려면 다음을 실행합니다.

   [core@localhost ~]$ sudo podman logs -f <container-name>

   <container-name>을 ironic-api, ironic-conductor 또는 ironic-inspector 중 하나로 바꿉니다. 컨트롤 플레인 노드가 PXE를 통해 부팅되지 않는 문제가 발생하면 ironic-conductor Pod를 확인하십시오. ironic-conductor Pod는 IPMI를 통해 노드에 로그인을 시도하기 때문에 클러스터 노드 부팅 시도에 대한 가장 자세한 정보가 포함되어 있습니다.

프로세스

1. 부트스트랩 VM에 로그인합니다.

   $ ssh core@172.22.0.2

2. 부트스트랩 VM 내에서 ipa-downloader 및 coreos-downloader 컨테이너의 상태를 확인합니다.

   [core@localhost ~]$ sudo podman logs -f ipa-downloader

   [core@localhost ~]$ sudo podman logs -f coreos-downloader

   부트스트랩 VM이 이미지의 URL에 액세스할 수 없는 경우 curl 명령을 사용하여 VM이 이미지에 액세스할 수 있는지 확인합니다.

3. 배포 단계에서 모든 컨테이너가 시작되었는지 여부를 나타내는 bootkube 로그를 검사하려면 다음을 실행합니다.

   [core@localhost ~]$ journalctl -xe

   [core@localhost ~]$ journalctl -b -f -u bootkube.service

4. dnsmasq, mariadb, httpd 및 ironic를 포함한 모든 Pod가 실행 중인지 확인합니다.

   [core@localhost ~]$ sudo podman ps

5. Pod에 문제가 있는 경우 문제가있는 컨테이너의 로그를 확인합니다. ironic-api의 로그를 확인하려면 다음을 실행합니다.

   [core@localhost ~]$ sudo podman logs <ironic-api>

프로세스

1. openshift-network-operator 네임 스페이스에서 Pod를 검사합니다.

   $ oc get all -n openshift-network-operator

   NAME                                    READY STATUS            RESTARTS   AGE
   pod/network-operator-69dfd7b577-bg89v   0/1   ContainerCreating 0          149m

2. provisioner 노드에서 네트워크 구성이 존재하는지 확인합니다.

   $ kubectl get network.config.openshift.io cluster -oyaml

   apiVersion: config.openshift.io/v1
   kind: Network
   metadata:
     name: cluster
   spec:
     serviceNetwork:
     - 172.30.0.0/16
     clusterNetwork:
     - cidr: 10.128.0.0/14
       hostPrefix: 23
     networkType: OpenShiftSDN

   존재하지 않는 경우 설치 프로그램이 이를 생성하지 않은 것입니다. 설치 프로그램이 생성하지 않은 이유를 확인하려면 다음을 실행합니다.

   $ openshift-install create manifests

3. network-operator가 실행되고 있는지 확인합니다.

   $ kubectl -n openshift-network-operator get pods

4. 로그를 검색합니다.

   $ kubectl -n openshift-network-operator logs -l "name=network-operator"

   3 개 이상의 컨트롤 플레인 (마스터) 노드가 있는 고가용성 클러스터에서 Operator는 리더의 선택을 실행하고 다른 Operator는 절전 모드로 전환합니다. 자세한 내용은 Troubleshooting을 참조하십시오.

1. 예약 된 IPv6 주소가 DHCP 범위 밖에 있는지 확인합니다.

2. DHCP 서버의 IP 주소 예약에서 예약에 올바른 DHCP 고유 식별자 (DUID)가 지정되어 있는지 확인합니다. 예를 들면 다음과 같습니다.

   # This is a dnsmasq dhcp reservation, 'id:00:03:00:01' is the client id and '18:db:f2:8c:d5:9f' is the MAC Address for the NIC
   id:00:03:00:01:18:db:f2:8c:d5:9f,openshift-master-1,[2620:52:0:1302::6]

3. 경로 알림 (Route Announcement)이 제대로 작동하는지 확인합니다.
4. DHCP 서버가 IP 주소 범위를 제공하는 데 필요한 인터페이스에서 수신하고 있는지 확인합니다.

프로세스

1. hostname을 검색합니다.

   [core@master-X ~]$ hostname

   호스트 이름이 localhost인 경우 다음 단계를 진행합니다.

   참고

   여기서 X는 컨트롤 플레인 노드(마스터 노드라고도 함) 번호입니다.

2. 클러스터 노드가 DHCP 임대를 갱신하도록 합니다.

   [core@master-X ~]$ sudo nmcli con up "<bare-metal-nic>"

   <bare-metal-nic>을 baremetal 네트워크에 해당하는 유선 연결로 바꿉니다.

3. hostname 다시 확인하십시오.

   [core@master-X ~]$ hostname

4. 호스트 이름이 여전히 localhost.localdomain인 경우 NetworkManager를 다시 시작합니다.

   [core@master-X ~]$ sudo systemctl restart NetworkManager

5. 호스트 이름이 여전히 localhost.localdomain 인 경우 몇 분 기다린 후 다시 확인하십시오. 호스트 이름이 localhost.localdomain으로 남아 있으면 이전 단계를 반복합니다.

6. nodeip-configuration 서비스를 다시 시작합니다.

   [core@master-X ~]$ sudo systemctl restart nodeip-configuration.service

   이 서비스는 올바른 호스트 이름 참조를 사용하여 kubelet 서비스를 재구성합니다.

7. 이전 단계에서 kubelet이 변경되었으므로 단위 파일 정의를 다시 로드하십시오.

   [core@master-X ~]$ sudo systemctl daemon-reload

8. kubelet 서비스를 다시 시작합니다.

   [core@master-X ~]$ sudo systemctl restart kubelet.service

9. kubelet 이 올바른 호스트 이름으로 부팅되었는지 확인합니다.

   [core@master-X ~]$ sudo journalctl -fu kubelet.service

CSR 처리

1. 클러스터에서 CSR을 가져옵니다.

   $ oc get csr

2. 보류중인 CSR 에 Subject Name: localhost.localdomain이 포함되어 있는지 확인합니다.

   $ oc get csr <pending_csr> -o jsonpath='{.spec.request}' | base64 --decode | openssl req -noout -text

3. Subject Name: localhost.localdomain이 포함된 모든 csr을 제거합니다.

   $ oc delete csr <wrong_csr>

1. 루트를 가져옵니다.

   $ oc get route oauth-openshift

2. 서비스 엔드 포인트를 확인합니다.

   $ oc get svc oauth-openshift

   NAME              TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
   oauth-openshift   ClusterIP   172.30.19.162   <none>        443/TCP   59m

3. 컨트롤 플레인 (마스터) 노드에서 서비스에 연결을 시도합니다.

   [core@master0 ~]$ curl -k https://172.30.19.162

   {
     "kind": "Status",
     "apiVersion": "v1",
     "metadata": {
     },
     "status": "Failure",
     "message": "forbidden: User \"system:anonymous\" cannot get path \"/\"",
     "reason": "Forbidden",
     "details": {
     },
     "code": 403

4. provisioner 노드에서 authentication-operator 오류를 식별합니다.

   $ oc logs deployment/authentication-operator -n openshift-authentication-operator

   Event(v1.ObjectReference{Kind:"Deployment", Namespace:"openshift-authentication-operator", Name:"authentication-operator", UID:"225c5bd5-b368-439b-9155-5fd3c0459d98", APIVersion:"apps/v1", ResourceVersion:"", FieldPath:""}): type: 'Normal' reason: 'OperatorStatusChanged' Status for clusteroperator/authentication changed: Degraded message changed from "IngressStateEndpointsDegraded: All 2 endpoints for oauth-server are reporting"

해결책

1. 모든 배포의 클러스터 이름이 고유한지 확인하여 충돌이 발생하지 않도록합니다.
2. 동일한 클러스터 이름을 사용하는 클러스터 배포의 일부가 아닌 잘못된 노드 모두를 종료합니다. 그렇지 않으면 OpenShift Container Platform 클러스터의 인증 pod가 정상적으로 시작되지 않을 수 있습니다.

프로세스

1. Ignition 설정이 실패한 노드에 연결합니다.

   Failed Units: 1
     machine-config-daemon-firstboot.service

2. machine-config-daemon-firstboot 서비스를 다시 시작합니다.

   [core@worker-X ~]$ sudo systemctl restart machine-config-daemon-firstboot.service

프로세스

1. 클러스터 노드의 AGE 차이를 확인하십시오. 예를 들면 다음과 같습니다.

   $ oc get nodes

   NAME                         STATUS   ROLES    AGE   VERSION
   master-0.cloud.example.com   Ready    master   145m   v1.16.2
   master-1.cloud.example.com   Ready    master   135m   v1.16.2
   master-2.cloud.example.com   Ready    master   145m   v1.16.2
   worker-2.cloud.example.com   Ready    worker   100m   v1.16.2

2. 클럭 드리프트로 인한 일관성없는 시간 지연을 확인하십시오. 예를 들면 다음과 같습니다.

   $ oc get bmh -n openshift-machine-api

   master-1   error registering master-1  ipmi://<out-of-band-ip>

   $ sudo timedatectl

                  Local time: Tue 2020-03-10 18:20:02 UTC
              Universal time: Tue 2020-03-10 18:20:02 UTC
                    RTC time: Tue 2020-03-10 18:36:53
                   Time zone: UTC (UTC, +0000)
   System clock synchronized: no
                 NTP service: active
             RTC in local TZ: no

기존 클러스터에서 클럭 드리프트 처리

1. chrony.conf 파일의 내용을 작성하고 base64 문자열로 인코딩하십시오. 예를 들면 다음과 같습니다.

   $ cat << EOF | base 64
   server <NTP-server> iburst1
   stratumweight 0
   driftfile /var/lib/chrony/drift
   rtcsync
   makestep 10 3
   bindcmdaddress 127.0.0.1
   bindcmdaddress ::1
   keyfile /etc/chrony.keys
   commandkey 1
   generatecommandkey
   noclientlog
   logchange 0.5
   logdir /var/log/chrony
   EOF

   1

   <NTP-server>를 NTP 서버의 IP 주소로 바꿉니다. 출력을 복사합니다.

   [text-in-base-64]

2. MachineConfig 개체를 만들고 base64 문자열을 이전 단계의 출력에서 생성된 [text-in-base-64] 문자열로 바꿉니다. 다음 예제는 컨트롤 플레인 (마스터) 노드에 파일을 추가합니다. 작업자 노드의 파일을 변경하거나 작업자 역할에 대한 추가 시스템 설정을 만들 수 있습니다.

   $ cat << EOF > ./99_masters-chrony-configuration.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     creationTimestamp: null
     labels:
       machineconfiguration.openshift.io/role: master
     name: 99-master-etc-chrony-conf
   spec:
     config:
       ignition:
         config: {}
         security:
           tls: {}
         timeouts: {}
         version: 3.1.0
       networkd: {}
       passwd: {}
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,[text-in-base-64]1
           group:
             name: root
           mode: 420
           overwrite: true
           path: /etc/chrony.conf
           user:
             name: root
     osImageURL: ""

   1

   [text-in-base-64]를 base64 문자열로 바꿉니다.

3. 설정 파일의 백업 사본을 만듭니다. 예를 들면 다음과 같습니다.

   $ cp 99_masters-chrony-configuration.yaml 99_masters-chrony-configuration.yaml.backup

4. 설정 파일을 적용합니다.

   $ oc apply -f ./masters-chrony-configuration.yaml

5. System clock synchronized 값이 yes 인지 확인하십시오.

   $ sudo timedatectl

                  Local time: Tue 2020-03-10 19:10:02 UTC
              Universal time: Tue 2020-03-10 19:10:02 UTC
                    RTC time: Tue 2020-03-10 19:36:53
                   Time zone: UTC (UTC, +0000)
   System clock synchronized: yes
                 NTP service: active
             RTC in local TZ: no

   배포 전에 클럭 동기화를 설정하려면 매니페스트 파일을 생성하고이 파일을 openshift 디렉터리에 추가합니다. 예를 들면 다음과 같습니다.

   $ cp chrony-masters.yaml ~/clusterconfigs/openshift/99_masters-chrony-configuration.yaml

   그런 다음 계속해서 클러스터를 만듭니다.