절차

1. 컨테이너 배포의 경우 Red Hat Ceph Storage 노드가 배포 중에 인터넷에 액세스할 수 없는 경우입니다. 인터넷 액세스가 가능한 노드에서 먼저 다음 단계를 수행해야 합니다.

   1. 로컬 컨테이너 레지스트리를 시작합니다.

      Red Hat Enterprise Linux 7

      # docker run -d -p 5000:5000 --restart=always --name registry registry:2

      Red Hat Enterprise Linux 8

      # podman run -d -p 5000:5000 --restart=always --name registry registry:2

   2. registry.redhat.io가 컨테이너 레지스트리 검색 경로에 있는지 확인합니다.

      /etc/containers/registries.conf 파일을 편집하려면 엽니다.

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      registry.redhat.io가 파일에 포함되어 있지 않은 경우 추가합니다.

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

   3. Red Hat Customer Portal에서 Red Hat Ceph Storage 4 이미지, Prometheus 이미지 및 대시보드 이미지를 가져옵니다.

      Red Hat Enterprise Linux 7

      # docker pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # docker pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # docker pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      Red Hat Enterprise Linux 8

      # podman pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # podman pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # podman pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      참고

      Red Hat Enterprise Linux 7 및 8은 모두 Red Hat Enterprise Linux 8을 기반으로 동일한 컨테이너 이미지를 사용합니다.

   4. 이미지에 태그를 지정하십시오.

      Prometheus 이미지 태그 버전은 Red Hat Ceph Storage 4.2의 v4.6입니다.

      Red Hat Enterprise Linux 7

       # docker tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      대체 버전

      • 로컬 호스트 FQDN을 사용한 LOCAL_NODE_FQDN.

      Red Hat Enterprise Linux 8

       # podman tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      대체 버전

      • 로컬 호스트 FQDN을 사용한 LOCAL_NODE_FQDN.

   5. /etc/containers/registries.conf 파일을 편집하고 파일의 포트로 노드의 FQDN을 추가하고 저장합니다.

      [registries.insecure]
      registries = ['LOCAL_NODE_FQDN:5000']

      참고

      이 단계는 로컬 Docker 레지스트리에 액세스하는 모든 스토리지 클러스터 노드에서 수행해야 합니다.

   6. 시작한 로컬 Docker 레지스트리로 이미지를 푸시합니다.

      Red Hat Enterprise Linux 7

       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      대체 버전

      • 로컬 호스트 FQDN을 사용한 LOCAL_NODE_FQDN.

      Red Hat Enterprise Linux 8

       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      대체 버전

      • 로컬 호스트 FQDN을 사용한 LOCAL_NODE_FQDN.

   7. Red Hat Enterprise Linux 7의 경우 docker 서비스를 다시 시작하십시오.

      # systemctl restart docker

      참고

      Red Hat Ceph Storage 노드가 배포 중에 인터넷에 액세스할 수 없는 경우 all.yml 파일의 예는 Red Hat Ceph Storage 클러스터 설치를 참조하십시오.

2. 모든 배포의 경우 베어 메탈 또는 컨테이너에 다음을 수행합니다.

   1. 노드를 등록하고 메시지가 표시되면 적절한 Red Hat Customer Portal 자격 증명을 입력합니다.

      # subscription-manager register

   2. CDN에서 최신 서브스크립션 데이터를 가져옵니다.

      # subscription-manager refresh

   3. Red Hat Ceph Storage에 사용 가능한 모든 서브스크립션을 나열합니다.

      # subscription-manager list --available --all --matches="*Ceph*"

      Red Hat Ceph Storage에 사용 가능한 서브스크립션 목록에서 Pool ID를 복사합니다.

   4. 서브스크립션을 연결합니다.

      # subscription-manager attach --pool=POOL_ID

      대체 버전

      • 이전 단계에서 식별한 풀 ID인 POOL_ID.

   5. 기본 소프트웨어 리포지토리를 비활성화하고 해당 Red Hat Enterprise Linux 버전에서 서버 및 추가 리포지토리를 활성화합니다.

      Red Hat Enterprise Linux 7

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-7-server-rpms
      # subscription-manager repos --enable=rhel-7-server-extras-rpms

      Red Hat Enterprise Linux 8

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
      # subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms

3. 최신 패키지를 수신하도록 시스템을 업데이트합니다.

   1. Red Hat Enterprise Linux 7의 경우:

      # yum update

   2. Red Hat Enterprise Linux 8의 경우:

      # dnf update

1. /etc/sysconfig/network-scripts/ifcfg-* 파일에 공용 네트워크 인터페이스 카드에 해당하는 다음 설정이 있는지 확인합니다.

   1. BOOTPROTO 매개변수는 고정 IP 주소에 대해 none 으로 설정됩니다.

   2. ONBOOT 매개변수를 yes 로 설정해야 합니다.

      이 값이 no 로 설정되면 재부팅 시 Ceph 스토리지 클러스터가 피어링되지 않을 수 있습니다.

   3. IPv6 주소를 사용하려는 경우 IPV6INIT 와 같은 IPv6 매개변수를 IPV6_FAILURE_FATAL 매개변수를 제외하고 yes 로 설정해야 합니다.

      또한 Ceph 구성 파일 /etc/ceph/ceph.conf 를 편집하여 Ceph에 IPv6를 사용하도록 지시하고, Ceph는 IPv4를 사용합니다.

절차

1. 스토리지 클러스터의 모든 노드에서 firewalld 서비스를 시작합니다. 부팅 시 실행되도록 활성화하고 실행 중인지 확인합니다.

   # systemctl enable firewalld
   # systemctl start firewalld
   # systemctl status firewalld

2. 모든 모니터 노드에서 공용 네트워크에서 포트 3300 및 6789 를 엽니다.

   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp --permanent
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
   [root@monitor ~]# firewall-cmd --permanent --add-service=ceph-mon
   [root@monitor ~]# firewall-cmd --add-service=ceph-mon

   소스 주소를 기반으로 액세스를 제한하려면 다음을 수행합니다.

   firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
   source address=IP_ADDRESS/NETMASK_PREFIX port protocol=tcp \
   port=6789 accept' --permanent

   대체 버전

   • 모니터 노드의 네트워크 주소가 있는 IP_ADDRESS.

   • CIDR 표기법의 넷마스크가 포함된 NETMASK_PREFIX

     예제

     [root@monitor ~]# firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
     source address=192.168.0.11/24 port protocol=tcp \
     port=6789 accept' --permanent

3. 모든 OSD 노드에서 공용 네트워크에서 포트 6800-7300 을 엽니다.

   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent
   [root@osd ~]# firewall-cmd --permanent --add-service=ceph
   [root@osd ~]# firewall-cmd --add-service=ceph

   별도의 클러스터 네트워크가 있는 경우 적절한 영역을 사용하여 명령을 반복합니다.

4. 모든 Ceph Manager(ceph-mgr) 노드에서 공용 네트워크에서 포트 6800-7300 을 엽니다.

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   별도의 클러스터 네트워크가 있는 경우 적절한 영역을 사용하여 명령을 반복합니다.

5. 모든 Ceph Metadata Server(ceph-mds) 노드에서 공용 네트워크에서 포트 6800-7300 을 엽니다.

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   별도의 클러스터 네트워크가 있는 경우 적절한 영역을 사용하여 명령을 반복합니다.

6. 모든 Ceph Object Gateway 노드에서 공용 네트워크에서 관련 포트 또는 포트를 엽니다.

   1. 기본 Ansible 구성 포트 8080 을 시작하려면 다음을 수행합니다.

      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp --permanent

      소스 주소를 기반으로 액세스를 제한하려면 다음을 수행합니다.

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept" --permanent

      대체 버전

      • 모니터 노드의 네트워크 주소가 있는 IP_ADDRESS.

      • CIDR 표기법의 넷마스크가 포함된 NETMASK_PREFIX

        예제

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept"

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept" --permanent

   2. 선택적으로 Ansible을 사용하여 Ceph Object Gateway를 설치하고 Ansible이 8080 에서 포트 80 으로 사용할 Ceph Object Gateway를 구성하는 기본 포트를 변경한 경우, 이 포트를 엽니다.

      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent

      소스 주소에 따라 액세스를 제한하려면 다음 명령을 실행합니다.

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept" --permanent

      대체 버전

      • 모니터 노드의 네트워크 주소가 있는 IP_ADDRESS.
      • CIDR 표기법의 넷마스크가 포함된 NETMASK_PREFIX

      예제

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept"

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept" --permanent

   3. 선택 사항: SSL/TLS를 사용하려면 포트 443 을 엽니다.

      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp --permanent

      소스 주소에 따라 액세스를 제한하려면 다음 명령을 실행합니다.

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept" --permanent

      대체 버전

      • 모니터 노드의 네트워크 주소가 있는 IP_ADDRESS.
      • CIDR 표기법의 넷마스크가 포함된 NETMASK_PREFIX

      예제

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept"
      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept" --permanent

절차

1. root 사용자로 노드에 로그인합니다.

   ssh root@HOST_NAME

   대체 버전

   • HOST_NAME 및 Ceph 노드의 호스트 이름입니다.

     예제

     # ssh root@mon01

     메시지가 표시되면 root 암호를 입력합니다.

2. 새 Ansible 사용자를 생성합니다.

   adduser USER_NAME

   대체 버전

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

     예제

     # adduser admin

     중요

     ceph 를 사용자 이름으로 사용하지 마십시오. ceph 사용자 이름은 Ceph 데몬용으로 예약되어 있습니다. 클러스터 전체의 균일한 사용자 이름은 쉽게 사용할 수 있지만 일반적으로 무차별 공격에 사용되므로 명확한 사용자 이름을 사용하지 않도록 합니다.

3. 이 사용자의 새 암호를 설정합니다.

   # passwd USER_NAME

   대체 버전

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

     예제

     # passwd admin

     메시지가 표시되면 새 암호를 두 번 입력합니다.

4. 새로 생성된 사용자에 대해 sudo 액세스를 설정합니다.

   cat << EOF >/etc/sudoers.d/USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   대체 버전

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

     예제

     # cat << EOF >/etc/sudoers.d/admin
     admin ALL = (root) NOPASSWD:ALL
     EOF

5. 새 파일에 올바른 파일 권한을 할당합니다.

   chmod 0440 /etc/sudoers.d/USER_NAME

   대체 버전

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

     예제

     # chmod 0440 /etc/sudoers.d/admin

절차

1. SSH 키 쌍을 생성하고 기본 파일 이름을 수락하고 암호를 비워 둡니다.

   [ansible@admin ~]$ ssh-keygen

2. 공개 키를 스토리지 클러스터의 모든 노드에 복사합니다.

   ssh-copy-id USER_NAME@HOST_NAME

   대체 버전

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

   • HOST_NAME 및 Ceph 노드의 호스트 이름입니다.

     예제

     [ansible@admin ~]$ ssh-copy-id ceph-admin@ceph-mon01

3. 사용자의 SSH config 파일을 생성합니다.

   [ansible@admin ~]$ touch ~/.ssh/config

4. config 파일을 편집하려면 을 엽니다. 스토리지 클러스터의 각 노드에 대한 Hostname 및 User 옵션의 값을 설정합니다.

   Host node1
      Hostname HOST_NAME
      User USER_NAME
   Host node2
      Hostname HOST_NAME
      User USER_NAME
   ...

   대체 버전

   • HOST_NAME 및 Ceph 노드의 호스트 이름입니다.

   • USER_NAME - Ansible 사용자의 새 사용자 이름입니다.

     예제

     Host node1
        Hostname monitor
        User admin
     Host node2
        Hostname osd
        User admin
     Host node3
        Hostname gateway
        User admin

     중요

     ~/.ssh/config 파일을 구성하면 ansible-playbook 명령을 실행할 때마다 -u USER_NAME 옵션을 지정할 필요가 없습니다.

5. ~/.ssh/config 파일에 대한 올바른 파일 권한을 설정합니다.

   [admin@admin ~]$ chmod 600 ~/.ssh/config

절차

1. Cockpit이 설치되었는지 확인합니다.

   $ rpm -q cockpit

   예제:

   [admin@jb-ceph4-admin ~]$ rpm -q cockpit
   cockpit-196.3-1.el8.x86_64

   위의 예제와 유사한 출력이 표시되면 Cockpit 확인 단계로 건너뜁니다. 출력이 package cockpit이 설치되지 않은 경우 Cockpit 설치 단계를 계속합니다.

2. 선택 사항: Cockpit을 설치합니다.

   1. Red Hat Enterprise Linux 8의 경우:

      # dnf install cockpit

   2. Red Hat Enterprise Linux 7의 경우:

      # yum install cockpit

3. Cockpit이 실행 중인지 확인합니다.

   # systemctl status cockpit.socket

   출력에 Active: active(가져오기) 가 표시되면 Red Hat Ceph Storage용 Cockpit 플러그인 설치 단계로 건너뜁니다. Active: inactive(dead) 가 표시되는 경우 Cockpit 활성화 단계를 계속 진행합니다.

4. 선택 사항: Cockpit을 활성화합니다.

   1. systemctl 명령을 사용하여 Cockpit을 활성화합니다.

      # systemctl enable --now cockpit.socket

      다음과 같은 행이 표시됩니다.

      Created symlink /etc/systemd/system/sockets.target.wants/cockpit.socket → /usr/lib/systemd/system/cockpit.socket.

   2. Cockpit이 실행 중인지 확인합니다.

      # systemctl status cockpit.socket

      다음과 같은 행이 표시됩니다.

      Active: active (listening) since Tue 2020-01-07 18:49:07 EST; 7min ago

5. Red Hat Ceph Storage용 Cockpit Ceph Installer를 설치합니다.

   1. Red Hat Enterprise Linux 8의 경우:

      # dnf install cockpit-ceph-installer

   2. Red Hat Enterprise Linux 7의 경우:

      # yum install cockpit-ceph-installer

6. Ansible 사용자로 sudo를 사용하여 컨테이너 카탈로그에 로그인합니다.

   참고

   기본적으로 Cockpit Ceph 설치 프로그램은 root 사용자를 사용하여 Ceph를 설치합니다. 사전 요구 사항의 일부로 생성된 Ansible 사용자를 사용하여 Ceph를 설치하려면 Ansible 사용자로 sudo 를 사용하여 이 절차의 나머지 명령을 실행합니다.

   Red Hat Enterprise Linux 7

   $ sudo docker login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   예제

   [admin@jb-ceph4-admin ~]$ sudo docker login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

   Red Hat Enterprise Linux 8

   $ sudo podman login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   예제

   [admin@jb-ceph4-admin ~]$ sudo podman login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

7. registry.redhat.io가 컨테이너 레지스트리 검색 경로에 있는지 확인합니다.

   1. /etc/containers/registries.conf 파일을 편집하려면 엽니다.

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      registry.redhat.io가 파일에 포함되어 있지 않은 경우 추가합니다.

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

8. Ansible 사용자로 sudo를 사용하여 ansible-runner-service 를 시작합니다.

   $ sudo ansible-runner-service.sh -s

   예제

   [admin@jb-ceph4-admin ~]$ sudo ansible-runner-service.sh -s
   Checking environment is ready
   Checking/creating directories
   Checking SSL certificate configuration
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ..................................................................................................................................................................................................................................++++
   ......................................................++++
   e is 65537 (0x010001)
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ........................................++++
   ..............................................................................................................................................................................++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerServer, CN = jb-ceph4-admin
   Getting CA Private Key
   Generating RSA private key, 4096 bit long modulus (2 primes)
   .....................................................................................................++++
   ..++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerClient, CN = jb-ceph4-admin
   Getting CA Private Key
   Setting ownership of the certs to your user account(admin)
   Setting target user for ansible connections to admin
   Applying SELINUX container_file_t context to '/etc/ansible-runner-service'
   Applying SELINUX container_file_t context to '/usr/share/ceph-ansible'
   Ansible API (runner-service) container set to rhceph/ansible-runner-rhel8:latest
   Fetching Ansible API container (runner-service). Please wait...
   Trying to pull registry.redhat.io/rhceph/ansible-runner-rhel8:latest...Getting image source signatures
   Copying blob c585fd5093c6 done
   Copying blob 217d30c36265 done
   Copying blob e61d8721e62e done
   Copying config b96067ea93 done
   Writing manifest to image destination
   Storing signatures
   b96067ea93c8d6769eaea86854617c63c61ea10c4ff01ecf71d488d5727cb577
   Starting Ansible API container (runner-service)
   Started runner-service container
   Waiting for Ansible API container (runner-service) to respond
   The Ansible API container (runner-service) is available and responding to requests
   
   Login to the cockpit UI at https://jb-ceph4-admin:9090/cockpit-ceph-installer to start the install

   출력의 마지막 행에는 Cockpit Ceph 설치 프로그램에 대한 URL이 포함됩니다. 위의 예에서 URL은 https://jb-ceph4-admin:9090/cockpit-ceph-installer 입니다. 사용자 환경에 인쇄된 URL을 기록해 두십시오.

절차

1. Ansible 관리 노드에 Ansible 사용자로 로그인합니다.

   ssh ANSIBLE_USER@HOST_NAME

   예제:

   $ ssh admin@jb-ceph4-admin

2. SSH 공개 키를 첫 번째 노드에 복사합니다.

   sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub _ANSIBLE_USER_@_HOST_NAME_

   예제:

   $ sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub admin@jb-ceph4-mon
   /bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/usr/share/ansible-runner-service/env/ssh_key.pub"
   admin@192.168.122.182's password:
   
   Number of key(s) added: 1
   
   Now try logging into the machine, with:   "ssh 'admin@jb-ceph4-mon'"
   and check to make sure that only the key(s) you wanted were added.

   클러스터의 모든 노드에 대해 이 단계를 반복합니다.

절차

1. 웹 브라우저에서 URL을 엽니다.

   

2. Ansible 사용자 이름과 암호를 입력합니다.

   

3. 권한 있는 작업에 내 암호를 다시 사용하기 위한 라디오 버튼을 클릭합니다.

   

4. Log In 을 클릭합니다.

   

5. 시작 페이지를 검토하여 설치 관리자의 작동 방식 및 설치 프로세스의 전반적인 흐름을 확인합니다.

   

   시작 페이지의 정보를 검토한 후 웹 페이지의 오른쪽 아래에 있는 환경 버튼을 클릭합니다.

절차

1. 설치 소스를 선택합니다. Red Hat Subscription Manager 또는 ISO에서 리포지토리를 사용하여 Red Hat 고객 포털에서 다운로드한 CD 이미지를 사용합니다.

   

   Red Hat 을 선택하면 다른 옵션 없이Target Version 이 RHCS 4 로 설정됩니다. ISO 를 선택하면대상 버전이 ISO 이미지 파일로 설정됩니다.

   중요

   ISO를 선택하는 경우 이미지 파일이 /usr/share/ansible-runner-service/iso 디렉터리에 있어야 하며 SELinux 컨텍스트를 container_file_t 로 설정해야 합니다.

   중요

   설치 소스에 대한 커뮤니티 및 배포 옵션은 지원되지 않습니다.

2. 클러스터 유형을 선택합니다. CPU 번호 및 메모리 크기와 같은 특정 리소스 요구 사항이 충족되지 않는 경우 프로덕션 선택을 통해 설치가 진행되지 않습니다. 리소스 요구 사항이 충족되지 않는 경우에도 클러스터 설치를 허용하려면 Development/POC 를 선택합니다.

   
   중요

   프로덕션에서 사용할 Ceph 클러스터를 설치하는 데 Development/POC 모드를 사용하지 마십시오.

3. 서비스 계정 로그인 및 서비스 계정 토큰 설정. Red Hat Registry Service 계정이 없는 경우 레지스트리 서비스 계정 웹 페이지를 사용하여 생성합니다.

   

4. Configure Firewall 을 ON 으로 설정하여 firewalld 에 규칙을 적용하여 Ceph 서비스의 포트를 엽니다. firewalld 를 사용하지 않는 경우 OFF 설정을 사용합니다.

   

5. 현재 Cockpit Ceph 설치 프로그램은 IPv4만 지원합니다. IPv6 지원이 필요한 경우 Cockpit Ceph Installer를 그대로 사용하고 Ansible 스크립트를 사용하여 Ceph 설치를 진행합니다.

   

6. OSD 유형을 BlueStore 또는 FileStore 로 설정합니다.

   
   중요

   bluestore가 기본 OSD 유형입니다. 이전에는 Ceph에서 FileStore를 오브젝트 저장소로 사용했습니다. BlueStore는 더 많은 기능과 향상된 성능을 제공하기 때문에 이 형식은 새로운 Red Hat Ceph Storage 4.0 설치에서 더 이상 사용되지 않습니다. FileStore를 계속 사용할 수는 있지만 이를 사용하려면 지원 예외가 필요합니다. BlueStore에 대한 자세한 내용은 아키텍처 가이드의 Ceph BlueStore 를 참조하십시오.

7. Flash Configuration 을 journal /Logs 또는 OSD 데이터로 설정합니다. NVMe 또는 기존 SATA/SAS 인터페이스를 사용하는지 여부에 관계없이 Solid State Drives(SSD)가 있는 경우 실제 데이터가 하드 디스크 드라이브(HDD)로 전환되거나 저널, 로그, 데이터에 대해 SSD를 사용할 수 있고 모든 Ceph OSD 기능에 대해 SSD를 사용할 수 있지만 NVMe/SAS 인터페이스를 사용할 수 있습니다.

   

8. Encryption 을 None 또는 Encrypted 로 설정합니다. LUKS1 형식을 사용하여 스토리지 장치의 미사용 암호화를 나타냅니다.

   

9. 설치 유형을 Container 또는 RPM 으로 설정합니다. 일반적으로 Red Hat Package Manager(RPM)는 Red Hat Enterprise Linux에 소프트웨어를 설치하는 데 사용되었습니다. 이제 RPM 또는 컨테이너를 사용하여 Ceph를 설치할 수 있습니다. 컨테이너를 사용하여 Ceph를 설치하면 서비스를 분리하고 공동 배치할 수 있으므로 개선된 하드웨어 사용률을 제공할 수 있습니다.

   

10. 모든 환경 설정을 검토하고 웹 페이지의 오른쪽 하단에 있는 Hosts (호스트) 버튼을 클릭합니다.

    

절차

1. Add Host(s) (호스트 추가) 버튼을 클릭합니다.

   

2. Ceph OSD 노드의 호스트 이름을 입력하고 OSD의 확인란을 선택한 다음 Add (추가) 버튼을 클릭합니다.

   

   첫 번째 Ceph OSD 노드가 추가되었습니다.

   

   프로덕션 클러스터의 경우 3개 이상의 Ceph OSD 노드를 추가할 때까지 이 단계를 반복합니다.

3. 선택 사항: 호스트 이름 패턴을 사용하여 노드 범위를 정의합니다. 예를 들어 jb-ceph4-osd2 및 jb-ceph4-osd3 을 동시에 추가하려면 jb-ceph4-osd[2-3] 을 입력합니다.

   

   jb-ceph4-osd2 및 jb-ceph4-ods3 이 추가되었습니다.

   

4. 클러스터의 다른 노드에 대해 위의 단계를 반복합니다.

   1. 프로덕션 클러스터의 경우 3개 이상의 Ceph Monitor 노드를 추가합니다. 대화 상자에서는 MON 으로 역할이 나열됩니다.
   2. Metrics 역할이 있는 노드를 추가합니다. Metrics 역할은 Grafana 및 Prometheus를 설치하여 Ceph 클러스터의 성능에 대한 실시간 정보를 제공합니다. 이러한 지표는 Ceph 대시보드에 제공되어 클러스터를 모니터링하고 관리할 수 있습니다. 대시보드, Grafana 및 Prometheus를 설치해야 합니다. Ansible 관리 노드에서 지표 기능을 배치할 수 있습니다. 이 경우 노드의 시스템 리소스가 독립형 메트릭 노드에 필요한 것보다 큰지 확인하십시오.
   3. 선택 사항: MDS 역할이 있는 노드를 추가합니다. MDS 역할은 Ceph 메타데이터 서버(MDS)를 설치합니다. 메타데이터 서버 데몬은 Ceph 파일 시스템을 배포하는 데 필요합니다.
   4. 선택 사항: RGW 역할이 있는 노드를 추가합니다. RGW 역할은 Ceph 개체 게이트웨이를 설치하고 RADOS 게이트웨이라고도 하며, RADOS 게이트웨이는 Ceph 스토리지 클러스터에 RESTful 게이트웨이를 제공하기 위해 librados API 상단에 구축된 오브젝트 스토리지 인터페이스입니다. Amazon S3 및 OpenStack Swift API를 지원합니다.
   5. 선택 사항: iSCSI 역할로 노드를 추가합니다. iSCSI 역할은 iSCSI 게이트웨이를 설치하므로 iSCSI를 통해 Ceph 블록 장치를 공유할 수 있습니다. Ceph에서 iSCSI를 사용하려면 다중 경로 I/O의 두 개 이상의 노드에 iSCSI 게이트웨이를 설치해야 합니다.

5. 선택 사항: 노드를 추가할 때 여러 역할을 선택하여 동일한 노드에서 두 개 이상의 서비스를 연결합니다.

   

   데몬 배치에 대한 자세한 내용은 설치 가이드의 컨테이너화된 Ceph 데몬 배치를 참조하십시오.

6. 선택 사항: 표에서 역할을 확인하거나 선택 해제하여 노드에 할당된 역할을 수정합니다.

   

7. 선택 사항: 노드를 삭제하려면 삭제할 노드 행의 맨 오른쪽에 있는 kebab 아이콘을 클릭한 다음 삭제 를 클릭합니다.

   

8. 클러스터의 모든 노드를 추가하고 필요한 모든 역할을 설정한 후 페이지의 오른쪽 아래에 있는 Validate 버튼을 클릭합니다.

   

절차

1. 프로브 호스트 버튼을 클릭합니다.

   

   계속하려면 OK Status 가 있는 호스트를 3개 이상 선택해야 합니다.

2. 선택 사항: 호스트에 대한 경고 또는 오류가 생성된 경우 호스트에 대한 확인 표시 왼쪽에 있는 화살표를 클릭하여 문제를 확인합니다.

   
   
   중요

   Cluster Type 을 Production 으로 설정하면 생성된 모든 오류로 인해 상태가 NOTOK 로 되어 설치 시 해당 상태를 선택할 수 없습니다. 오류 해결 방법에 대한 자세한 내용은 다음 단계를 참조하십시오.

   중요

   Cluster Type 을 Development/POC 로 설정하면 생성된 모든 오류가 경고로 나열되므로 상태가 항상 OK 입니다. 이를 통해 호스트가 요구 사항 또는 제안 사항을 충족하는지 여부와 관계없이 호스트를 선택하고 Ceph를 설치할 수 있습니다. 원하는 경우 경고를 계속 해결할 수 있습니다. 경고를 해결하는 방법에 대한 자세한 내용은 다음 단계를 참조하십시오.

3. 선택 사항: 오류 및 경고를 해결하려면 다음 방법 중 하나 이상을 사용합니다.

   1. 오류 또는 경고를 해결하는 가장 쉬운 방법은 특정 역할을 완전히 비활성화하거나 한 호스트에서 역할을 비활성화하고 필요한 리소스가 있는 다른 호스트에서 활성화하는 것입니다.

      개발/POC 클러스터를 설치하는 경우 또는 프로덕션 클러스터를 설치하는 경우, 3개 이상의 호스트에 할당된 역할에 필요한 모든 리소스가 있으므로 나머지 경고를 찾을 때까지 역할을 활성화 또는 비활성화하기 전에 역할을 활성화하거나 비활성화할 수 있습니다.

   2. 필요한 역할에 대한 요구 사항을 충족하는 새 호스트를 사용할 수도 있습니다. 먼저 Hosts (호스트) 페이지로 돌아가 문제가 있는 호스트를 삭제합니다.

      

      그런 다음 새 호스트를 추가합니다.

   3. 호스트에서 하드웨어를 업그레이드하거나 다른 방식으로 수정하려면 요구 사항 또는 제안을 충족하고 먼저 호스트를 원하는 대로 변경한 다음 프로브 호스트를 다시 클릭합니다. 운영 체제를 다시 설치해야 하는 경우 SSH 키를 다시 복사 해야 합니다.

4. 호스트 옆에 있는 상자를 선택하여 Red Hat Ceph Storage를 설치할 호스트를 선택합니다.

   
   중요

   프로덕션 클러스터를 설치하는 경우 설치용으로 선택하기 전에 오류를 해결해야 합니다.

5. 페이지의 오른쪽 아래에 있는 네트워크 버튼을 클릭하여 클러스터의 네트워킹을 검토 및 구성합니다.

   

절차

1. 네트워크 페이지에서 구성할 수 있는 네트워크 유형을 기록해 두십시오. 각 유형에는 자체 열이 있습니다. 클러스터 네트워크 및 공용 네트워크 의 열이 항상 표시됩니다. RADOS Gateway 역할을 사용하여 호스트를 설치하는 경우 S3 네트워크 열이 표시됩니다. iSCSI 역할로 호스트를 설치하는 경우 iSCSI 네트워크 열이 표시됩니다. 아래 예에서는 Cluster Network,Public Network, S3 Network 에 대한 열이 표시됩니다.

   

2. 각 네트워크 유형에 대해 선택할 수 있는 네트워크를 기록해 두십시오. 특정 네트워크 유형을 구성하는 모든 호스트에서 사용 가능한 네트워크만 표시됩니다. 아래 예제에는 클러스터의 모든 호스트에서 사용할 수 있는 세 개의 네트워크가 있습니다. 네트워크 유형을 구성하는 모든 호스트에서 세 개의 네트워크를 모두 사용할 수 있으므로 각 네트워크 유형은 동일한 세 개의 네트워크를 나열합니다.

   

   사용 가능한 세 개의 네트워크는 192.168.122.0/24,192.168.123.0/24, 192.168.124.0/24 입니다.

3. 각 네트워크가 작동하는 속도를 기록해 두십시오. 이는 특정 네트워크에 사용되는 NIC의 속도입니다. 아래 예에서 192.168.123.0/24 및 192.168.124.0/24 는 1,000mbps입니다. Cockpit Ceph 설치 프로그램에서 192.168.122.0/24 네트워크의 속도를 확인할 수 없습니다.

   

4. 각 네트워크 유형에 사용할 네트워크를 선택합니다. 프로덕션 클러스터의 경우 클러스터 네트워크 및 공용 네트워크에 대해 별도 의 네트워크를 선택해야 합니다. 개발/POC 클러스터의 경우 두 유형 모두에 대해 동일한 네트워크를 선택하거나 모든 호스트에 하나의 네트워크만 구성되어 있는 경우 해당 네트워크만 표시되고 다른 네트워크를 선택할 수 없습니다.

   

   192.168.122.0/24 네트워크는 공용 네트워크에 사용되며 192.168.123.0/24 네트워크는 클러스터 네트워크 용으로 사용되며 192.168.124.0/24 네트워크는 S3 네트워크에 사용됩니다.

5. 페이지 오른쪽 하단의 검토 버튼을 클릭하여 설치 전에 전체 클러스터 구성을 검토합니다.

   

절차

1. 검토 페이지를 봅니다.

   

2. 검토 페이지에 표시된 대로 이전 페이지의 정보가 예상과 같은지 확인합니다. 환경 페이지의 정보 요약은 1 에 있는 호스트 페이지 2 에서 호스트 페이지, 3 에서 네트워크 페이지, 4 에서 네트워크 페이지 및 이전 페이지에 포함되지 않은 몇 가지 추가 세부 정보를 포함하여 호스트에 대한 세부 정보는 5 입니다.

   

3. 페이지의 오른쪽 하단 모서리에 있는 Deploy (배포) 버튼을 클릭하여 Deploy (배포) 페이지로 이동하여 실제 설치 프로세스를 종료하고 시작할 수 있습니다.

   

절차

1. 페이지의 오른쪽 아래에 있는 Save 버튼을 클릭하여 Ansible에서 실제 설치를 수행하는 데 사용할 Ansible 플레이북에 설치 설정을 저장합니다.

   
2. 선택 사항: Ansible 관리 노드에 있는 Ansible 플레이북의 설정을 확인하거나 추가로 사용자 지정합니다. 플레이북은 /usr/share/ceph-ansible 에 있습니다. Ansible 플레이북과 설치를 사용자 지정하는 방법에 대한 자세한 내용은 Red Hat Ceph Storage 클러스터 설치를 참조하십시오.
3. Grafana 및 대시보드의 기본 사용자 이름 및 암호를 보호합니다. Red Hat Ceph Storage 4.1부터 /usr/share/ceph-ansible/group_vars/all.yml 에서 dashboard_admin_password 및 grafana_admin_password 의 주석 처리를 해제하거나 설정해야 합니다. 각각에 대해 보안 암호를 설정합니다. dashboard_admin_user 및 grafana_admin_user 의 사용자 지정 사용자 이름도 설정합니다.

4. 페이지의 오른쪽 하단 모서리에 있는 Deploy (배포) 버튼을 클릭하여 설치를 시작합니다.

   

5. 실행 중인 동안 설치 진행 상황을 관찰합니다.

   1 의 정보는 설치가 실행 중인지, 시작 시간, 경과된 시간입니다. 2 의 정보는 시도된 Ansible 작업의 요약을 보여줍니다. 3 의 정보는 설치 또는 설치 중인 역할을 보여줍니다. 녹색은 해당 역할에 할당된 모든 호스트가 해당 역할에 설치된 역할을 나타냅니다. Blue는 해당 역할이 할당된 호스트가 여전히 설치되어 있는 역할을 나타냅니다. 4 에서 현재 작업에 대한 세부 정보를 보거나 실패한 작업을 볼 수 있습니다. 필터 기준 메뉴를 사용하여 현재 작업과 실패한 작업 간에 전환합니다.

   

   역할 이름은 Ansible 인벤토리 파일에서 가져옵니다. 동등성: mons 는 Monitors이고, mgrs 는 Managers이고, Manager 역할은 Monitor 역할과 함께 설치되고, osds 는 Object Storage Devices이고, mdss 는 Metadata Servers이고, rgws 는 RADOS Gateways이고, 지표 는 Grafana 및 Prometheus 서비스 대시보드입니다. 예제 스크린샷에는 표시되지 않습니다. iscsigws 는 iSCSI 게이트웨이입니다.

6. 설치가 완료되면 페이지의 오른쪽 아래에 있는 완료 버튼을 클릭합니다. 그러면 명령 ceph 상태 및 대시보드 액세스 정보의 출력이 표시되는 창이 열립니다.

   

7. 아래 예에서 클러스터 상태 정보를 클러스터의 클러스터 상태 정보와 비교합니다. 이 예에서는 모든 OSD up 및 in 및 모든 서비스가 활성 상태인 정상 클러스터를 보여줍니다. PGS는 active+clean 상태입니다. 클러스터의 일부 측면이 동일하지 않은 경우 문제 해결 방법에 대한 자세한 내용은 Troubleshoting Guide 를 참조하십시오.

   

8. Ceph Cluster Status(Ceph 클러스터 상태) 창의 맨 아래에 URL, 사용자 이름, 암호 등 대시보드 액세스 정보가 표시됩니다. 이 정보를 기록해 두십시오.

   

9. 대시보드 가이드와 함께 이전 단계의 정보를 사용하여 대시보드에 액세스 합니다.

   

   대시보드는 웹 인터페이스를 제공하므로 Red Hat Ceph Storage 클러스터를 관리하고 모니터링할 수 있습니다. 자세한 내용은 대시보드 가이드 를 참조하십시오.

10. 선택 사항: cockpit-ceph-installer.log 파일을 봅니다. 이 파일은 선택한 로그와 프로브 프로세스가 생성된 경고를 기록합니다. 설치 프로그램 스크립트 ansible-runner-service.sh 를 실행한 사용자의 홈 디렉터리에 있습니다.

절차

1. Ansible 관리 노드에 root 사용자 계정으로 로그인합니다.

2. 모든 배포가 베어 메탈 또는 컨테이너 의 경우 ceph-ansible 패키지를 설치합니다.

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum install ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf install ceph-ansible

3. /usr/share/ceph-ansible/ 디렉토리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible

4. 새 yml 파일을 생성합니다.

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml

   1. 베어 메탈 배포:

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. 컨테이너 배포:

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

5. 새 파일을 편집합니다.

   1. group_vars/all.yml 파일을 편집하려면 을 엽니다.

      중요

      사용자 정의 스토리지 클러스터 이름 사용은 지원되지 않습니다. 클러스터 매개변수를 ceph 이외의 값으로 설정하지 마십시오. 사용자 지정 스토리지 클러스터 이름 사용은 librados, Ceph Object Gateway 및 RADOS 블록 장치 미러링과 같은 Ceph 클라이언트에서만 지원됩니다.

      주의

      기본적으로 Ansible은 설치된 firewalld 서비스를 다시 시작하려고 하지만 마스킹되어 Red Hat Ceph Storage 배포가 실패할 수 있습니다. 이 문제를 해결하려면 all.yml 파일에서 configure_firewall 옵션을 false 로 설정합니다. firewalld 서비스를 실행하는 경우 all.yml 파일에서 configure_firewall 옵션을 사용할 필요가 없습니다.

      참고

      ceph_rhcs_version 옵션을 4 로 설정하면 최신 버전의 Red Hat Ceph Storage 4가 가져옵니다.

      참고

      Red Hat은 group_vars/all.yml 파일에서 dashboard_enabled 옵션을 True 로 설정하고 False 로 변경하지 않는 것이 좋습니다. 대시보드를 비활성화하려면 Ceph 대시보드 비활성화를 참조하십시오.

      참고

      대시보드 관련 구성 요소는 컨테이너화되어 있습니다. 따라서 베어 메탈 또는 컨테이너 배포의 경우 ceph_docker_registry_username 및 ceph_docker_registry_password 매개변수를 포함해야 ceph-ansible이 대시보드에 필요한 컨테이너 이미지를 가져올 수 있습니다.

      참고

      Red Hat Registry Service 계정이 없는 경우 레지스트리 서비스 계정 웹 페이지를 사용하여 생성합니다. 토큰을 만들고 관리하는 방법에 대한 자세한 내용은 Red Hat Container Registry Authentication Knowledgebase 문서를 참조하십시오.

      참고

      ceph_docker_registry_username 및 ceph_docker_registry_password 매개변수에 서비스 계정을 사용하는 것 외에도 고객 포털 자격 증명을 사용하지만 보안을 보장하기 위해 ceph_docker_registry_password 매개변수를 암호화할 수 있습니다. 자세한 내용은 ansible-vault를 사용하여 Ansible 암호 변수 암호화 를 참조하십시오.

      1. CDN 설치를 위한 all.yml 파일의 베어 메탈 예:

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         공용 네트워크의 인터페이스입니다.

         중요

         Red Hat Ceph Storage 4.1부터 /usr/share/ceph-ansible/group_vars/all.yml 에서 dashboard_admin_password 및 grafana_admin_password 의 주석 처리를 해제하거나 설정해야 합니다. 각각에 대해 보안 암호를 설정합니다. dashboard_admin_user 및 grafana_admin_user 의 사용자 지정 사용자 이름도 설정합니다.

         참고

         Red Hat Ceph Storage 4.2의 경우 설치를 위해 로컬 레지스트리를 사용한 경우 Prometheus 이미지 태그에 4.6을 사용합니다.

      2. ISO 설치를 위한 all.yml 파일의 베어 메탈 예:

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: iso
         ceph_rhcs_iso_path: /home/rhceph-4-rhel-8-x86_64.iso
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         공용 네트워크의 인터페이스입니다.

      3. all.yml 파일의 컨테이너 예:

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         공용 네트워크의 인터페이스입니다.

         중요

         Red Hat Ecosystem Catalog 에서 최신 컨테이너 이미지 태그를 조회하여 모든 최신 패치가 적용된 최신 컨테이너 이미지를 설치합니다.

      4. all.yml 파일의 컨테이너 예: Red Hat Ceph Storage 노드가 배포 중에 인터넷에 액세스할 수 없는 경우:

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: LOCAL_NODE_FQDN:5000
         ceph_docker_registry_auth: false
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:4.6
         alertmanager_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:4.6

         1

         공용 네트워크의 인터페이스입니다.

         대체 버전

         • 로컬 호스트 FQDN을 사용한 LOCAL_NODE_FQDN.

      5. Red Hat Ceph Storage 4.2에서 dashboard_protocol 은 https 로 설정되고 Ansible은 대시보드 및 grafana 키 및 인증서를 생성합니다. 사용자 정의 인증서의 경우 all.yml 파일에서 dashboard_crt,dashboard_key, grafana_crt ,grafana_crt 에 대한 Ansible 설치 프로그램 호스트의 경로를 업데이트합니다. 베어 메탈 또는 컨테이너 배포의 경우 grafana_key 입니다.

         구문

         dashboard_protocol: https
         dashboard_port: 8443
         dashboard_crt: 'DASHBOARD_CERTIFICATE_PATH'
         dashboard_key: 'DASHBOARD_KEY_PATH'
         dashboard_tls_external: false
         dashboard_grafana_api_no_ssl_verify: "{{ True if dashboard_protocol == 'https' and not grafana_crt and not grafana_key else False }}"
         grafana_crt: 'GRAFANA_CERTIFICATE_PATH'
         grafana_key: 'GRAFANA_KEY_PATH'

   2. http 또는 https 프록시와 함께 연결할 수 있는 컨테이너 레지스트리를 사용하여 Red Hat Ceph Storage를 설치하려면 group_vars/all.yml 파일에서 ceph_docker_http_proxy 또는 ceph_docker_https_proxy 변수를 설정합니다.

      예제

      ceph_docker_http_proxy: http://192.168.42.100:8080
      ceph_docker_https_proxy: https://192.168.42.100:8080

      프록시 구성에 대해 일부 호스트를 제외해야 하는 경우 group_vars/all.yml 파일의 ceph_docker_no_proxy 변수를 사용합니다.

      예제

      ceph_docker_no_proxy: "localhost,127.0.0.1"

   3. Red Hat Ceph Storage 프록시 설치를 위해 all.yml 파일을 편집하는 것 외에도 /etc/environment 파일을 편집합니다.

      예제

      HTTP_PROXY: http://192.168.42.100:8080
      HTTPS_PROXY: https://192.168.42.100:8080
      NO_PROXY: "localhost,127.0.0.1"

      그러면 podman을 트리거하여 prometheus, grafana-server, alertmanager, node-exporter와 같은 컨테이너화된 서비스를 시작하고 필요한 이미지를 다운로드합니다.

   4. 모든 배포의 경우 베어 메탈 또는 컨테이너에 대해 group_vars/osds.yml 파일을 편집합니다.

      중요

      운영 체제가 설치된 장치에 OSD를 설치하지 마십시오. 운영 체제와 OSD 간에 동일한 장치를 공유하면 성능 문제가 발생합니다.

      Ceph-ansible은 ceph-volume 툴을 사용하여 Ceph 사용을 위해 스토리지 장치를 준비합니다. 다양한 방법으로 스토리지 장치를 사용하여 특정 워크로드에 대한 성능을 최적화하도록 osds.yml 을 구성할 수 있습니다.

      중요

      아래 모든 예제에서는 Ceph 형식에서 장치의 데이터를 저장하는 데 사용하는 BlueStore 오브젝트 저장소를 사용합니다. 이전에는 Ceph에서 FileStore를 오브젝트 저장소로 사용했습니다. BlueStore는 더 많은 기능과 향상된 성능을 제공하기 때문에 이 형식은 새로운 Red Hat Ceph Storage 4.0 설치에서 더 이상 사용되지 않습니다. FileStore를 계속 사용할 수는 있지만 이를 사용하려면 Red Hat 지원 예외가 필요합니다. BlueStore에 대한 자세한 내용은 Red Hat Ceph Storage 아키텍처 가이드의 Ceph BlueStore 를 참조하십시오.

      1. 자동 검색

         osd_auto_discovery: true

         위 예제에서는 시스템의 빈 스토리지 장치를 모두 사용하여 OSD를 생성하므로 명시적으로 지정할 필요가 없습니다. ceph-volume 툴에서는 빈 장치를 확인하므로 비어 있지 않은 장치는 사용되지 않습니다.

         참고

         나중에 purge-docker-cluster.yml 또는 purge-cluster.yml 을 사용하여 클러스터를 제거하도록 결정하는 경우 osd_auto_discovery 를 주석 처리하고 osds.yml 파일에 OSD 장치를 선언해야 합니다. 자세한 내용은 Ansible에서 배포한 스토리지 클러스터 삭제를 참조하십시오.

      2. 간단한 설정

         첫 번째 시나리오

         devices:
           - /dev/sda
           - /dev/sdb

         또는

         두 번째 시나리오

         devices:
           - /dev/sda
           - /dev/sdb
           - /dev/nvme0n1
           - /dev/sdc
           - /dev/sdd
           - /dev/nvme1n1

         또는

         세 번째 시나리오

         lvm_volumes:
            - data: /dev/sdb
            - data: /dev/sdc

         또는

         네 번째 시나리오

         lvm_volumes:
             - data: /dev/sdb
             - data:/dev/nvme0n1

         devices 옵션을 단독으로 사용하는 경우 ceph-volume lvm 배치 모드에서 OSD 구성을 자동으로 최적화합니다.

         첫 번째 시나리오에서는 장치가 기존 하드 드라이브 또는 SSD인 경우 장치당 하나의 OSD가 생성됩니다.

         두 번째 시나리오에서는 기존 하드 드라이브와 SSD가 혼합된 경우 데이터는 기존 하드 드라이브(sda,sdb)에 배치되고 BlueStore 데이터베이스는 SSD(nvme0n1)에서 최대한 크게 생성됩니다. 마찬가지로 데이터는 기존의 하드 드라이브(sdc,sdd)에 배치되고, BlueStore 데이터베이스는 언급된 장치 순서에 관계없이 SSD nvme1n1 에 생성됩니다.

         참고

         기본적으로 ceph-ansible 은 bluestore_block_db_size 및 bluestore_block_wal_size 의 기본값을 재정의하지 않습니다. group_vars/all.yml 파일에서 ceph_conf_overrides 를 사용하여 bluestore_block_db_size 를 설정할 수 있습니다. bluestore_block_db_size 값은 2GB보다 커야 합니다.

         세 번째 시나리오에서는 데이터가 기존 하드 드라이브(sdb,sdc)에 배치되고 BlueStore 데이터베이스는 동일한 장치에 배치됩니다.

         네 번째 시나리오에서는 데이터가 기존 하드 드라이브(sdb) 및 SSD(nvme1n1)에 배치되고 BlueStore 데이터베이스가 동일한 장치에 배치됩니다. 이는 BlueStore 데이터베이스가 SSD에 배치된 devices 지시문을 사용하는 것과 다릅니다.

         중요

         ceph-volume lvm 배치 모드 명령은 기존 하드 드라이브와 BlueStore 데이터베이스에 데이터를 SSD에 배치하여 최적화된 OSD 구성을 생성합니다. 사용할 논리 볼륨 및 볼륨 그룹을 지정하려면 아래 고급 구성 시나리오를 따라 직접 생성할 수 있습니다.

      3. 고급 설정

         첫 번째 시나리오

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy

         또는

         두 번째 시나리오

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy
         bluestore_wal_devices:
           - /dev/nvme0n1
           - /dev/nvme0n2

         첫 번째 시나리오에는 두 개의 OSD가 있습니다. sda 및 sdb 장치에는 각각 자체 데이터 세그먼트와 write-ahead 로그가 있습니다. 추가 사전 dedicated_devices 는 각각 sdx 및 sdy 에서 block.db 라고도 하는 데이터베이스를 격리하는 데 사용됩니다.

         두 번째 시나리오에서 다른 추가 사전 bluestore_wal_devices 는 NVMe 장치 nvme0n1 및 nvme0n2 에서 write-ahead 로그를 격리하는 데 사용됩니다. 장치,dedicated_devices 및 bluestore_wal_devices 를 함께 사용하면 OSD의 모든 구성 요소를 별도의 장치에 분리할 수 있습니다. 이와 같이 OSD를 배치하면 전반적인 성능이 향상될 수 있습니다.

      4. 미리 생성된 논리 볼륨

         첫 번째 시나리오

         lvm_volumes:
           - data: data-lv1
             data_vg: data-vg1
             db: db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1
           - data: data-lv2
             data_vg: data-vg2
             db: db-lv2
             db_vg: db-vg2
             wal: wal-lv2
             wal_vg: wal-vg2

         또는

         두 번째 시나리오

         lvm_volumes:
           - data: /dev/sdb
             db:    db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1

         기본적으로 Ceph는 논리 볼륨 관리자를 사용하여 OSD 장치에 논리 볼륨을 생성합니다. 위의 간단한 구성 및 고급 구성 예제에서 Ceph는 장치에 논리 볼륨을 자동으로 생성합니다. lvm_volumes 사전을 지정하여 Ceph에서 이전에 생성한 논리 볼륨을 사용할 수 있습니다.

         첫 번째 시나리오에서는 데이터가 전용 논리 볼륨, 데이터베이스 및 WAL에 배치됩니다. 데이터, 데이터 및 WAL 또는 데이터 및 데이터베이스만 지정할 수도 있습니다. data: 행은 데이터를 저장할 논리 볼륨 이름을 지정해야 하며 data_vg: 는 데이터 논리 볼륨이 포함된 볼륨 그룹의 이름을 지정해야 합니다. 마찬가지로 db: 는 데이터베이스가 저장된 논리 볼륨을 지정하는 데 사용되며, db_vg: 는 논리 볼륨이 있는 볼륨 그룹을 지정하는 데 사용됩니다. wal: 행은 WAL이 저장된 논리 볼륨을 지정하고 wal_vg: 행은 해당 볼륨이 포함된 볼륨 그룹을 지정합니다.

         두 번째 시나리오에서는 data: option에 대해 실제 장치 이름이 설정되며, 이렇게 하면 data_vg: 옵션을 지정할 필요가 없습니다. BlueStore 데이터베이스 및 WAL 장치의 논리 볼륨 이름과 볼륨 그룹 세부 정보를 지정해야 합니다.

         중요

         lvm_volumes: 를 사용하면 볼륨 그룹과 논리 볼륨을 미리 만들어야 합니다. 볼륨 그룹과 논리 볼륨은 ceph-anible에서 생성되지 않습니다.

         참고

         모든 NVMe SSD를 사용하는 경우 osds_per_device를 설정합니다. 2. 자세한 내용은 Red Hat Ceph Storage 설치 가이드의 모든 NVMe 스토리지에 대한 OSD Ansible 설정 구성을 참조하십시오.

         참고

         Ceph OSD 노드를 재부팅한 후에는 블록 장치 할당이 변경될 수 있습니다. 예를 들어 sdc 는 sdd 가 될 수 있습니다. 기존 블록 장치 이름 대신 /dev/disk/by-path/ 장치 경로와 같은 영구적인 이름 지정 장치를 사용할 수 있습니다.

6. 베어 메탈 또는 컨테이너에 있는 모든 배포의 경우 Ansible 인벤토리 파일을 생성한 다음 편집을 위해 엽니다.

   [root@admin ~]# cd /usr/share/ceph-ansible/
   [root@admin ceph-ansible]# touch hosts

   그에 따라 hosts 파일을 편집합니다.

   참고

   Ansible 인벤토리 위치 편집에 대한 자세한 내용은 Ansible 인벤토리 위치 구성을 참조하십시오.

   1. [grafana-server] 아래에 노드를 추가합니다. 이 역할은 Grafana 및 Prometheus를 설치하여 Ceph 클러스터의 성능에 대한 실시간 정보를 제공합니다. 이러한 지표는 Ceph 대시보드에 제공되어 클러스터를 모니터링하고 관리할 수 있습니다. 대시보드, Grafana 및 Prometheus를 설치해야 합니다. Ansible 관리 노드에서 지표 기능을 배치할 수 있습니다. 이 경우 노드의 시스템 리소스가 독립형 메트릭 노드에 필요한 것보다 큰지 확인하십시오.

      [grafana-server]
      GRAFANA-SERVER_NODE_NAME

   2. [mons] 섹션 아래에 모니터 노드를 추가합니다.

      [mons]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

   3. [osds] 섹션에 OSD 노드를 추가합니다.

      [osds]
      OSD_NODE_NAME_1
      OSD_NODE_NAME_2
      OSD_NODE_NAME_3

      참고

      노드 이름이 숫자 순차적이면 범위 지정자([1:10])를 노드 이름 끝에 추가할 수 있습니다. 예를 들어 다음과 같습니다.

      [osds]
      example-node[1:10]

      참고

      새 설치의 OSD의 경우 기본 오브젝트 저장소 형식은 BlueStore입니다.

   4. 선택적으로, 컨테이너 배포에서 [mon] 및 [osd] 섹션에서 동일한 노드를 추가하여 Ceph OSD 데몬을 하나의 노드의 Ceph OSD 데몬과 함께 연결합니다. 아래 추가 리소스 섹션에서 자세한 내용은 Ceph 데몬 일치 링크를 참조하십시오.

   5. [mgrs] 섹션에 Ceph Manager(ceph-mgr) 노드를 추가합니다. Ceph Monitor 데몬을 사용하여 Ceph Manager 데몬을 배치합니다.

      [mgrs]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

7. 선택적으로 모든 배포, 베어 메탈 또는 컨테이너에 대해 호스트 특정 매개 변수를 사용하려면 호스트 파일과 함께 host_vars 디렉터리를 생성하여 호스트와 관련된 모든 매개변수를 포함합니다.

   1. host_vars 디렉터리를 생성합니다.

      [ansible@admin ~]$ mkdir /usr/share/ceph-ansible/host_vars

   2. host_vars 디렉터리로 변경합니다.

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/host_vars

   3. 호스트 파일을 생성합니다. 파일 이름에 host-name-short-name 형식을 사용합니다. 예를 들면 다음과 같습니다.

      [ansible@admin host_vars]$ touch tower-osd6

   4. 호스트별 매개변수를 사용하여 파일을 업데이트합니다. 예를 들면 다음과 같습니다.

      1. 베어 메탈 배포에서는 devices 매개 변수를 사용하여 OSD 노드에서 사용할 장치를 지정합니다. OSD에서 장치를 사용하면 OSD에서 이름이 다른 장치를 사용하거나 장치 중 하나가 OSD에서 실패한 경우 유용합니다.

         devices:
             DEVICE_1
             DEVICE_2

         예제

         devices:
             /dev/sdb
             /dev/sdc

         참고

         장치를 지정하지 않는 경우 group_vars/osds.yml 파일에서 osd_auto_discovery 매개변수를 true 로 설정합니다.

8. 필요한 경우 모든 배포, 베어 메탈 또는 컨테이너 의 경우 Ceph Ansible을 사용하여 사용자 지정 NetNamespace 계층 구조를 만들 수 있습니다.

   1. Ansible 인벤토리 파일을 설정합니다. osd_crush_location 매개변수를 사용하여 OSD 호스트의 계층 구조에 OSD 호스트가 될 위치를 지정합니다. OSD의 위치를 지정하려면 두 개 이상의 ArgoCD 버킷 유형을 지정해야 하며 하나의 버킷 유형이 호스트여야 합니다. 기본적으로 root,datacenter,room,row,pod,pdu,rack,섀시 및 호스트가 포함됩니다.

      구문

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET_', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      예제

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. group_vars/osds.yml 파일을 편집하고 crush_rule_config 및 create_crush_tree 매개 변수를 True 로 설정합니다. 기본 NetNamespace 규칙을 사용하지 않는 경우 하나 이상의 NetNamespace 규칙을 만듭니다. 예를 들면 다음과 같습니다.

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      더 빠른 SSD 장치를 사용하는 경우 다음과 같이 매개변수를 편집합니다.

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      참고

      기본 규칙에는 정의해야 하는 class 매개 변수가 포함되어 있으므로 ssd 및 hdd OSD가 모두 배포되지 않으면 기본 nmap 규칙이 실패합니다.

   3. group_vars/clients.yml 파일에 crush_rules 를 생성한 상태에서 풀 을 생성합니다.

      예제

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. 트리 보기:

      [root@mon ~]# ceph osd tree

   5. 풀을 검증합니다.

      [root@mon ~]# for i in $(rados lspools); do echo "pool: $i"; ceph osd pool get $i crush_rule; done
      
      pool: pool1
      crush_rule: HDD

9. 모든 배포의 경우 베어 메탈 또는 컨테이너에 대해 로그인하거나 ansible 사용자로 전환합니다.

   1. Ansible이 ceph-ansible 플레이북에서 생성한 임시 값을 저장하는 ceph-ansible-keys 디렉터리를 생성합니다.

      [ansible@admin ~]$ mkdir ~/ceph-ansible-keys

   2. /usr/share/ceph-ansible/ 디렉토리로 변경합니다.

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/

   3. Ansible이 Ceph 노드에 연결할 수 있는지 확인합니다.

      [ansible@admin ceph-ansible]$ ansible all -m ping -i hosts

10. ceph-ansible 플레이북을 실행합니다.

    1. 베어 메탈 배포:

       [ansible@admin ceph-ansible]$ ansible-playbook site.yml -i hosts

    2. 컨테이너 배포:

       [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts

       참고

       Red Hat Ceph Storage를 Red Hat Enterprise Linux Atomic Host 호스트에 배포하는 경우 --skip-tags=with_pkg 옵션을 사용합니다.

       [user@admin ceph-ansible]$ ansible-playbook site-container.yml --skip-tags=with_pkg -i hosts

       참고

       배포 속도를 높이려면 ansible-playbook 에 --forks 옵션을 사용합니다. 기본적으로 ceph-ansible 세트는 포크를 20 으로 설정합니다. 이 설정을 사용하면 최대 20개의 노드가 동시에 설치됩니다. 한 번에 최대 30개의 노드를 설치하려면 ansible-playbook --forks 30 PLAYBOOK Files - i 호스트를 실행합니다. 과다하게 사용되지 않도록 관리 노드의 리소스를 모니터링해야 합니다. 이러한 값이 있는 경우 --forks 에 전달되는 수를 줄입니다.

11. Ceph 배포가 완료될 때까지 기다립니다.

    출력 예

    INSTALLER STATUS *******************************
    Install Ceph Monitor           : Complete (0:00:30)
    Install Ceph Manager           : Complete (0:00:47)
    Install Ceph OSD               : Complete (0:00:58)
    Install Ceph RGW               : Complete (0:00:34)
    Install Ceph Dashboard         : Complete (0:00:58)
    Install Ceph Grafana           : Complete (0:00:50)
    Install Ceph Node Exporter     : Complete (0:01:14)

12. Ceph 스토리지 클러스터의 상태를 확인합니다.

    1. 베어 메탈 배포:

       [root@mon ~]# ceph health
       HEALTH_OK

    2. 컨테이너 배포:

       Red Hat Enterprise Linux 7

       [root@mon ~]# docker exec ceph-mon-ID ceph health

       Red Hat Enterprise Linux 8

       [root@mon ~]# podman exec ceph-mon-ID ceph health

       대체 버전

       • Ceph Monitor 노드의 호스트 이름이 있는 ID:

         예제

         [root@mon ~]# podman exec ceph-mon-mon0 ceph health
         HEALTH_OK

13. 모든 배포에서는 베어 메탈 또는 컨테이너에 대해 rados 를 사용하여 스토리지 클러스터가 작동하는지 확인합니다.

    1. Ceph Monitor 노드에서 8개의 배치 그룹(PG)이 있는 테스트 풀을 생성합니다.

       구문

       [root@mon ~]# ceph osd pool create POOL_NAME PG_NUMBER

       예제

       [root@mon ~]# ceph osd pool create test 8

    2. hello-world.txt 라는 파일을 생성합니다.

       구문

       [root@mon ~]# vim FILE_NAME

       예제

       [root@mon ~]# vim hello-world.txt

    3. hello-world 라는 오브젝트를 사용하여 test 풀에 hello-world.txt 를 업로드합니다.

       구문

       [root@mon ~]# rados --pool POOL_NAME put OBJECT_NAME OBJECT_FILE_NAME

       예제

       [root@mon ~]# rados --pool test put hello-world hello-world.txt

    4. 테스트 풀에서 hello-world 를 파일 이름 fetch.txt 로 다운로드합니다.

       구문

       [root@mon ~]# rados --pool POOL_NAME get OBJECT_NAME OBJECT_FILE_NAME

       예제

       [root@mon ~]# rados --pool test get hello-world fetch.txt

    5. fetch.txt 내용을 확인합니다.

       [root@mon ~]# cat fetch.txt
       "Hello World!"

       참고

       스토리지 클러스터 상태를 확인하는 것 외에도 ceph-medic 유틸리티를 사용하여 Ceph Storage 클러스터를 전반적으로 진단할 수 있습니다. Red Hat Ceph Storage 4 문제 해결 가이드의 Ceph Storage 클러스터 진단을 위한 ceph-medic 설치 및 사용 장을 참조하십시오.

절차

1. osds_per_device를 설정합니다. 2 in group_vars/osds.yml:

   osds_per_device: 2

2. 장치 아래에 NVMe 장치를 나열합니다.

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml 의 설정은 다음 예와 유사합니다.

   osds_per_device: 2
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 새 섹션 [mds] 을 /etc/ansible/hosts 파일에 추가합니다.

   [mdss]
   MDS_NODE_NAME1
   MDS_NODE_NAME2
   MDS_NODE_NAME3

   MDS_NODE_NAME 을 Ceph 메타데이터 서버를 설치하려는 노드의 호스트 이름으로 바꿉니다.

   또는 [osds] 및 [mds] 섹션에 동일한 노드를 추가하여 메타데이터 서버를 한 노드의 OSD 데몬과 함께 배치할 수 있습니다.

2. /usr/share/ceph-ansible 디렉토리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 선택적으로 기본 변수를 변경할 수 있습니다.

   1. mdss.yml 이라는 group_vars/mds.yml.sample 파일의 사본을 만듭니다.

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. 선택적으로 mdss.yml 의 매개변수를 편집합니다. 자세한 내용은 mdss.yml 을 참조하십시오.

4. ansible 사용자로 Ansible 플레이북을 실행합니다.

   • 베어 메탈 배포:

     [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss -i hosts

   • 컨테이너 배포:

     [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit mdss -i hosts

5. 이제 메타데이터 서버를 설치한 후 구성할 수 있습니다. 자세한 내용은 Red Hat Ceph Storage 파일 시스템 가이드의 Ceph 파일 시스템 메타데이터 서버 장을 참조하십시오.

1. 새 섹션 [clients] 를 /etc/ansible/hosts 파일에 추가합니다.

   [clients]
   CLIENT_NODE_NAME

   CLIENT_NODE_NAME 을 ceph-client 역할을 설치할 노드의 호스트 이름으로 교체합니다.

2. /usr/share/ceph-ansible 디렉토리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible

3. clients.yml.sample 파일 이름을 clients.yml 이라는 새 복사본을 생성합니다.

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/clients.yml 파일을 열고 다음 행의 주석을 제거합니다.

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test 를 실제 클라이언트 이름으로 바꾸고 클라이언트 정의 줄에 클라이언트 키를 추가합니다. 예를 들면 다음과 같습니다.

      key: "ADD-KEYRING-HERE=="

      이제 전체 줄 예는 다음과 유사합니다.

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      참고

      ceph-authtool --gen-print-key 명령은 새 클라이언트 키를 생성할 수 있습니다.

5. 필요한 경우 ceph-client 에 풀 및 클라이언트를 생성하도록 지시합니다.

   1. clients.yml 을 업데이트합니다.

      • user_config 설정의 주석을 제거하고 true 로 설정합니다.
      • 풀 및 키 섹션의 주석을 제거하고 필요에 따라 업데이트합니다. VDDK 기능을 사용하여 사용자 지정 풀 및 클라이언트 이름을 모두 정의할 수 있습니다.

   2. osd_pool_default_pg_num 설정을 all.yml 파일의 ceph_conf_overrides 섹션에 추가합니다.

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: NUMBER

      NUMBER 를 기본 배치 그룹 수로 바꿉니다.

6. ansible 사용자로 Ansible 플레이북을 실행합니다.

   1. 베어 메탈 배포:

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit clients -i hosts

   2. 컨테이너 배포:

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit clients -i hosts

1. [rgws] 섹션의 /etc/ansible/hosts 파일에 게이트웨이 호스트를 추가하여 Ansible에 대한 역할을 확인합니다. 호스트에 순차적인 이름 지정이 있는 경우 다음과 같이 범위를 사용합니다.

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. Ansible 구성 디렉터리로 이동합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. 샘플 파일에서 rgws.yml 파일을 생성합니다.

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. group_vars/rgws.yml 파일을 열고 편집합니다. 관리자 키를 Ceph Object Gateway 노드에 복사하려면 copy_admin_key 옵션의 주석을 제거하십시오.

   copy_admin_key: true

5. all.yml 파일에서 radosgw_interface 를 지정해야 합니다.

   radosgw_interface: <interface>

   교체:

   • Ceph Object Gateway 노드가 수신 대기하는 인터페이스를 사용하여 <interface>

   예를 들어 다음과 같습니다.

   radosgw_interface: eth0

   인터페이스를 지정하면 동일한 호스트에서 여러 인스턴스를 실행할 때 Civetweb이 다른 Civetweb 인스턴스와 동일한 IP 주소에 바인딩되지 않습니다.

   자세한 내용은 all.yml 파일을 참조하십시오.

6. 일반적으로 기본 설정을 변경하려면 rgws.yml 파일의 설정 주석 처리를 제거하고 적절하게 변경합니다. rgws.yml 파일에 없는 설정을 추가로 변경하려면 all.yml 파일에서 ceph_conf_overrides: 를 사용합니다.

   ceph_conf_overrides:
       client.rgw.rgw1:
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   고급 구성 세부 정보는 Red Hat Ceph Storage 4 Ceph Object Gateway for Production 가이드를 참조하십시오. 고급 주제는 다음과 같습니다.

   • Ansible 그룹 구성

   • 스토리지 전략 개발. 풀 생성 및 구성 방법에 대한 자세한 내용은 루트 풀 생성, 시스템 풀 생성 및 데이터 배치 전략 생성 섹션을 참조하십시오.

     버킷 분할에 대한 구성 세부 정보는 Bucket Sharding 을 참조하십시오.

7. Ansible Playbook을 실행합니다.

   주의

   다중 사이트를 설정하려는 경우 Ansible 플레이북을 실행하지 마십시오. 다중 사이트 Ceph 개체 게이트웨이 구성 섹션으로 이동하여 다중 사이트를 설정합니다.

   1. 베어 메탈 배포:

      [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws -i hosts

   2. 컨테이너 배포:

      [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rgws -i hosts

절차

1. group_vars/mons.yml 파일에 crush_rules 를 만듭니다.

   예제

   crush_rule_config: true
   crush_rule_hdd:
       name: HDD
       root: default
       type: host
       class: hdd
       default: true
   crush_rule_ssd:
       name: SSD
       root: default
       type: host
       class: ssd
       default: true
   crush_rules:
         - "{{ crush_rule_hdd }}"
         - "{{ crush_rule_ssd }}"
   create_crush_tree: true

   참고

   클러스터에서 SSD 또는HD 장치를 사용하지 않는 경우 해당 장치에 대한 crush_rules 를 정의하지 마십시오.

2. group_vars/clients.yml 파일에 crush_rules 를 생성한 상태에서 풀 을 생성합니다.

   예제

   copy_admin_key: True
   user_config: True
   pool1:
     name: "pool1"
     pg_num: 128
     pgp_num: 128
     rule_name: "HDD"
     type: "replicated"
     device_class: "hdd"
   pools:
     - "{{ pool1 }}"

3. 인벤토리 파일을 샘플링하여 OSD에 루트를 할당합니다.

   예제

   [mons]
   mon1
   
   [osds]
   osd1 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd1' }"
   osd2 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd2' }"
   osd3 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd3' }"
   osd4 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd4' }"
   osd5 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd5' }"
   osd6 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd6' }"
   
   [mgrs]
   mgr1
   
   [clients]
   client1

4. 트리를 봅니다.

   구문

   [root@mon ~]# ceph osd tree

   예제

   TYPE NAME
   
   root default
        rack rack1
           host osd1
                osd.0
                osd.10
           host osd2
                osd.3
                osd.7
                osd.12
        rack rack2
           host osd3
                osd.1
                osd.6
                osd.11
           host osd4
                osd.4
                osd.9
                osd.13
        rack rack3
            host osd5
                osd.2
                osd.8
            host osd6
                osd.14
                osd.15

5. 풀을 검증합니다.

   예제

   # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
   
   pool: pool1
   crush_rule: HDD

1. 샘플 파일에서 nfss.yml 파일을 생성합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. [nfss] 그룹의 /etc/ansible/hosts 파일에 게이트웨이 호스트를 추가하여 Ansible에 대한 그룹 멤버십을 식별합니다.

   [nfss]
   NFS_HOST_NAME_1
   NFS_HOST_NAME_2
   NFS_HOST_NAME[3..10]

   호스트에 순차적인 이름 지정자가 있는 경우 범위 지정자(예: [3..10] )를 사용할 수 있습니다.

3. Ansible 구성 디렉터리로 이동합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 관리자 키를 Ceph Object Gateway 노드에 복사하려면 /usr/share/ceph-ansible/group_vars/nfss.yml 파일에서 copy_admin_key 설정의 주석을 제거하십시오.

   copy_admin_key: true

5. /usr/share/ceph-ansible/group_vars/nfss.yml 파일의 FSAL(File System Abstraction Layer) 섹션을 구성합니다. 내보내기 ID(NUMERIC_EXPORT_ID), S3 사용자 ID(S3_USER), S3 액세스 키(ACCESS_KEY) 및 시크릿 키(SECRET_KEY)를 제공합니다.

   # FSAL RGW Config #
   
   ceph_nfs_rgw_export_id: NUMERIC_EXPORT_ID
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   ceph_nfs_rgw_user: "S3_USER"
   ceph_nfs_rgw_access_key: "ACCESS_KEY"
   ceph_nfs_rgw_secret_key: "SECRET_KEY"

   주의

   액세스 및 시크릿 키는 선택 사항이며 생성할 수 있습니다.

6. Ansible Playbook을 실행합니다.

   1. 베어 메탈 배포:

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit nfss -i hosts

   2. 컨테이너 배포:

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit nfss -i hosts

절차

1. 데몬의 기본 CPU 제한을 변경하려면 데몬을 배포할 때 적절한 .yml 구성 파일에서 ceph_daemon-type_docker_cpu_limit 매개변수를 설정합니다. 자세한 내용은 다음 표를 참조하십시오.

   데몬	매개변수	구성 파일
   OSD	ceph_osd_docker_cpu_limit	osds.yml
   MDS	ceph_mds_docker_cpu_limit	mdss.yml
   RGW	ceph_rgw_docker_cpu_limit	rgws.yml

   예를 들어 Ceph 개체 게이트웨이의 기본 CPU 제한을 2로 변경하려면 다음과 같이 /usr/share/ceph-ansible/group_vars/rgws.yml 파일을 편집합니다.

   ceph_rgw_docker_cpu_limit: 2

2. OSD 데몬의 기본 RAM을 변경하려면 데몬을 배포할 때 /usr/share/ceph-ansible/group_vars/all.yml 파일에서 osd_memory_target 을 설정합니다. 예를 들어 OSD RAM을 6GB로 제한하려면 다음을 수행합니다.

   ceph_conf_overrides:
     osd:
       osd_memory_target=6000000000

   중요

   하이퍼컨버지드 인프라(HCI) 구성에서 osds.yml 구성 파일에서 ceph_osd_docker_memory_limit 매개변수를 사용하여 Docker 메모리 CGroup 제한을 변경할 수도 있습니다. 이 경우 ceph_osd_docker_memory_limit 를 osd_memory_target 보다 50% 더 높으므로 CGroup 제한이 HCI 구성에 대해 기본적으로 설정된 것보다 더 많은 constraining이 되도록 합니다. 예를 들어 osd_memory_target 이 6GB로 설정된 경우 ceph_osd_docker_memory_limit 를 9GB로 설정합니다.

   ceph_osd_docker_memory_limit: 9g

절차

1. 스토리지 클러스터의 모든 노드에 root 사용자로 로그인합니다.
2. Ceph 노드가 Red Hat CDN(Content Delivery Network)에 연결되어 있지 않은 경우 ISO 이미지를 사용하여 Red Hat Ceph Storage의 최신 버전으로 로컬 리포지토리를 업데이트하여 Red Hat Ceph Storage를 업그레이드할 수 있습니다.

3. Red Hat Ceph Storage를 버전 3에서 버전 4로 업그레이드하는 경우 기존 Ceph 대시보드 설치를 제거합니다.

   1. Ansible 관리 노드에서 cephmetrics-ansible 디렉터리로 변경합니다.

      [root@admin ~]# cd /usr/share/cephmetrics-ansible

   2. purge.yml 플레이북을 실행하여 기존 Ceph 대시보드 설치를 제거합니다.

      [root@admin cephmetrics-ansible]# ansible-playbook -v purge.yml

4. Red Hat Ceph Storage를 버전 3에서 버전 4로 업그레이드하는 경우 Ansible 관리 노드에서 Ceph 및 Ansible 리포지토리를 활성화합니다.

   Red Hat Enterprise Linux 7

   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms --enable=rhel-7-server-ansible-2.9-rpms

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

5. Ansible 관리 노드에서 최신 버전의 ansible 및 ceph-ansible 패키지가 설치되어 있는지 확인합니다.

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum update ansible ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf update ansible ceph-ansible

6. infrastructure-playbooks/rolling_update.yml 플레이북을 편집하고 health_osd_check_retries 및 health_osd_check_delay 값을 각각 50 및 30 으로 변경합니다.

   health_osd_check_retries: 50
   health_osd_check_delay: 30

   각 OSD 노드에서 이러한 값은 Ansible이 최대 25분 동안 기다린 후 30초마다 스토리지 클러스터 상태를 확인하고 업그레이드 프로세스를 계속하기 전에 대기합니다.

   참고

   스토리지 클러스터의 사용된 스토리지 용량에 따라 health_osd_check_retries 옵션 값을 up 또는 down으로 조정합니다. 예를 들어, 436TB 중 218TB를 사용하는 경우 기본적으로 스토리지 용량의 50%를 사용하는 경우 health_osd_check_retries 옵션을 50 으로 설정합니다.

7. 업그레이드하려는 스토리지 클러스터에 배타적 잠금 기능을 사용하는 Ceph Block Device 이미지가 포함된 경우 모든 Ceph 블록 장치 사용자에게 블랙리스트를 지정할 수 있는 권한이 있는지 확인하십시오.

   ceph auth caps client.ID mon 'allow r, allow command "osd blacklist"' osd 'EXISTING_OSD_USER_CAPS'

8. Cockpit을 사용하여 스토리지 클러스터를 원래 설치한 경우, Cockpit이 생성한 인벤토리 파일에 /usr/share/ceph-ansible 디렉터리에 심볼릭 링크를 만듭니다. /usr/share/ansible-runner-service/inventory/hosts:

   1. /usr/share/ceph-ansible 디렉토리로 변경합니다.

      # cd /usr/share/ceph-ansible

   2. 심볼릭 링크를 만듭니다.

      # ln -s /usr/share/ansible-runner-service/inventory/hosts hosts

9. ceph-ansible 을 사용하여 클러스터를 업그레이드하려면 etc/ansible/hosts 디렉터리에 hosts 인벤토리 파일로 심볼릭 링크를 생성합니다.

   # ln -s /etc/ansible/hosts hosts

10. Cockpit을 사용하여 스토리지 클러스터를 원래 설치한 경우 Cockpit 생성된 SSH 키를 Ansible 사용자의 ~/.ssh 디렉터리에 복사합니다.

    1. 키를 복사합니다.

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/ANSIBLE_USERNAME/.ssh/id_rsa

       ANSIBLE_USERNAME 을 일반적으로 admin 의 사용자 이름으로 바꿉니다.

       예제

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/admin/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/admin/.ssh/id_rsa

    2. 키 파일에 적절한 소유자, 그룹 및 권한을 설정합니다.

       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa
       # chmod 644 /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chmod 600 /home/ANSIBLE_USERNAME/.ssh/id_rsa

       ANSIBLE_USERNAME 을 일반적으로 admin 의 사용자 이름으로 바꿉니다.

       예제

       # chown admin:admin /home/admin/.ssh/id_rsa.pub
       # chown admin:admin /home/admin/.ssh/id_rsa
       # chmod 644 /home/admin/.ssh/id_rsa.pub
       # chmod 600 /home/admin/.ssh/id_rsa

절차

1. /usr/share/ceph-ansible/ 디렉토리로 이동합니다.

   예제

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드하는 경우 group_vars/all.yml,group_vars/osds.yml 파일의 백업 사본, group_vars/clients.yml 파일의 백업 사본을 만듭니다.

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드하는 경우 group_vars/all.yml.sample,group_vars/osds.yml.sample 및 group_vars/clients.yml.sample 파일의 새 복사본을 생성하고 group_vars/all.yml 파일 이름을 group_vars/all.yml , group_vars/osds.yml ,group_vars/osds.yml, group_vars/osds.yml.yml 로 변경합니다. 그에 따라 열고 편집하여 이전에 백업한 사본에 변경 사항을 적용합니다.

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/osds.yml 파일을 편집합니다. 다음 옵션을 추가하고 설정합니다.

   nb_retry_wait_osd_up: 60
   delay_wait_osd_up: 10

   참고

   이는 기본값입니다. 사용 사례에 따라 값을 수정할 수 있습니다.

5. Red Hat Ceph Storage 4의 새 마이너 버전으로 업그레이드하는 경우 group_vars/all.yml 의 grafana_container_image 값이 group_vars/all.yml.sample 과 동일한지 확인합니다. 동일하지 않은 경우 다음과 같이 편집합니다.

   예제

   grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:4

   참고

   표시된 이미지 경로는 ceph-ansible 버전 4.0.23-1에 포함되어 있습니다.

6. 샘플 파일에서 최신 site.yml 또는 site-container.yml 파일을 복사합니다.

   1. 베어 메탈 배포의 경우:

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. 컨테이너 배포의 경우:

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

7. group_vars/all.yml 파일을 열고 다음 옵션을 편집합니다.

   1. fetch_directory 옵션을 추가합니다.

      fetch_directory: FULL_DIRECTORY_PATH

      대체 버전

      • Ansible 사용자의 홈 디렉터리와 같이 쓰기 가능한 위치가 있는 FULL_DIRECTORY_PATH.

   2. 업그레이드하려는 클러스터에 Ceph Object Gateway 노드가 포함된 경우 radosgw_interface 옵션을 추가합니다.

      radosgw_interface: INTERFACE

      대체 버전

      • Ceph Object Gateway 노드가 수신 대기하는 인터페이스를 사용하여 인터넷 연결을 수행합니다.

   3. 현재 설정에 SSL 인증서가 구성된 경우 다음을 편집해야 합니다.

      radosgw_frontend_ssl_certificate: /etc/pki/ca-trust/extracted/CERTIFICATE_NAME
      radosgw_frontend_port: 443

   4. 기본 OSD 오브젝트 저장소는 BlueStore입니다. 기존 OSD 오브젝트 저장소를 유지하려면 osd_objectstore 옵션을 filestore 로 명시적으로 설정해야 합니다.

      osd_objectstore: filestore

      참고

      osd_objectstore 옵션을 filestore 로 설정하면 OSD는 BlueStore 대신 FileStore를 사용합니다.

      중요

      Red Hat Ceph Storage 4부터 FileStore는 더 이상 사용되지 않는 기능입니다. Red Hat은 FileStore OSD를 BlueStore OSD로 마이그레이션하는 것이 좋습니다.

   5. Red Hat Ceph Storage 4.1부터 /usr/share/ceph-ansible/group_vars/all.yml 에서 dashboard_admin_password 및 grafana_admin_password 의 주석 처리를 해제하거나 설정해야 합니다. 각각에 대해 보안 암호를 설정합니다. dashboard_admin_user 및 grafana_admin_user 의 사용자 지정 사용자 이름도 설정합니다.

   6. 베어 메탈 및 컨테이너 배포 모두에 대해 다음을 수행합니다.

      1. upgrade_ceph_packages 옵션의 주석을 제거하고 True 로 설정합니다.

         upgrade_ceph_packages: True

      2. ceph_rhcs_version 옵션을 4 로 설정합니다.

         ceph_rhcs_version: 4

         참고

         ceph_rhcs_version 옵션을 4 로 설정하면 최신 버전의 Red Hat Ceph Storage 4가 표시됩니다.

      3. ceph_docker_registry 정보를 all.yml 에 추가합니다.

         구문

         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN

         참고

         Red Hat Registry Service 계정이 없는 경우 레지스트리 서비스 계정 웹 페이지를 사용하여 생성합니다. 자세한 내용은 Red Hat Container Registry Authentication Knowledgebase 문서를 참조하십시오.

         참고

         ceph_docker_registry_username 및 ceph_docker_registry_password 매개변수에 서비스 계정을 사용하는 것 외에도 고객 포털 자격 증명을 사용하지만 보안을 보장하기 위해 ceph_docker_registry_password 매개변수를 암호화할 수 있습니다. 자세한 내용은 ansible-vault를 사용하여 Ansible 암호 변수 암호화 를 참조하십시오.

   7. 컨테이너 배포의 경우 다음을 수행합니다.

      1. ceph_docker_image 옵션을 변경하여 Ceph 4 컨테이너 버전을 가리킵니다.

         ceph_docker_image: rhceph/rhceph-4-rhel8

      2. rhceph/rhceph-4-rhel8 의 최신 버전을 가리키도록 ceph_docker_image_tag 옵션을 변경합니다.

         ceph_docker_image_tag: latest

8. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드하는 경우 Ansible 인벤토리 파일을 기본적으로 열고 [grafana-server] 섹션에 Ceph 대시보드 노드 이름 또는 IP 주소를 추가합니다. 이 섹션이 없는 경우 노드 이름 또는 IP 주소와 함께 이 섹션을 추가합니다.

9. Ansible 사용자로 전환하거나 Ansible 사용자로 로그인한 다음 rolling_update.yml 플레이북을 실행합니다.

   [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/rolling_update.yml -i hosts

   중요

   rolling_update.yml 플레이북에 --limit Ansible 옵션을 사용하는 것은 지원되지 않습니다.

10. RBD 미러링 데몬 노드의 root 사용자로 rbd-mirror 패키지를 수동으로 업그레이드합니다.

    [root@rbd ~]# yum upgrade rbd-mirror

11. rbd-mirror 데몬을 다시 시작합니다.

    systemctl restart ceph-rbd-mirror@CLIENT_ID

12. 스토리지 클러스터의 상태를 확인합니다.

    1. 베어 메탈 배포의 경우 root 사용자로 모니터 노드에 로그인하고 Ceph status 명령을 실행합니다.

       [root@mon ~]# ceph -s

    2. 컨테이너 배포의 경우 root 사용자로 Ceph Monitor 노드에 로그인합니다.

       1. 실행 중인 컨테이너를 모두 나열합니다.

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker ps

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman ps

       2. 상태 점검:

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker exec ceph-mon-MONITOR_NAME ceph -s

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman exec ceph-mon-MONITOR_NAME ceph -s

          대체 버전

          • 이전 단계에서 찾은 Ceph Monitor 컨테이너의 이름이 MONITOR_NAME 입니다.

            예제

            [root@mon ~]# podman exec ceph-mon-mon01 ceph -s

13. 선택 사항: Red Hat Ceph Storage 3.x에서 Red Hat Ceph Storage 4.x로 업그레이드하는 경우 다음 상태 경고가 표시될 수 있습니다. 336 OSD에서 탐지된 레거시 BlueStore 통계 보고 이는 최신 코드가 풀 통계를 다르게 계산하기 때문에 발생합니다. bluestore_fsck_quick_fix_on_mount 매개변수를 설정하여 이 문제를 해결할 수 있습니다.

    1. bluestore_fsck_quick_fix_on_mount 를 true 로 설정합니다.

       예제

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount true

    2. OSD가 중단된 동안 데이터 이동을 방지하려면 noout 및 norebalance 플래그를 설정합니다.

       예제

       [root@mon ~]# ceph osd set noout
       [root@mon ~]# ceph osd set norebalance

    3. 베어 메탈 배포의 경우 스토리지 클러스터의 모든 OSD 노드에서 ceph-osd.target 을 다시 시작합니다.

       예제

       [root@osd ~]# systemctl restart ceph-osd.target

    4. 컨테이너화된 배포의 경우 개별 OSD를 하나씩 다시 시작하고 모든 배치 그룹이 active+clean 상태가 될 때까지 기다립니다.

       구문

       systemctl restart ceph-osd@OSD_ID.service

       예제

       [root@osd ~]# systemctl restart ceph-osd@0.service

    5. 모든 OSD가 복구되면 nout 및 norebalance 플래그를 설정 해제합니다.

       예제

       [root@mon ~]# ceph osd unset noout
       [root@mon ~]# ceph osd unset norebalance

    6. 모든 OSD 가 복구되면 Bluestore_fsck_quick_fix_on_mount 를 false 로 설정합니다.

       예제

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount false

    7. 선택 사항: 베어 메탈 배포를 위한 대체 방법은 OSD 서비스를 중지하고, ceph- bluestore-tool 명령을 사용하여 OSD에서 복구 기능을 실행한 다음, OSD 서비스를 시작하는 것입니다.

       1. OSD 서비스를 중지합니다.

          [root@osd ~]# systemctl stop ceph-osd.target

       2. OSD에서 복구 기능을 실행하여 실제 OSD ID를 지정합니다.

          구문

          ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-OSDID repair

          예제

          [root@osd ~]# ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-2 repair

       3. OSD 서비스를 시작합니다.

          [root@osd ~]# systemctl start ceph-osd.target

14. 업그레이드가 완료되면 Ansible 플레이북을 실행하여 FileStore OSD를 BlueStore OSD로 마이그레이션할 수 있습니다.

    구문

    ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit OSD_NODE_TO_MIGRATE

    예제

    [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit osd01

    마이그레이션이 완료되면 다음 하위 단계를 수행합니다.

    1. group_vars/osds.yml 파일을 편집하려면 을 열고 osd_objectstore 옵션을 bluestore 로 설정합니다. 예를 들면 다음과 같습니다.

       osd_objectstore: bluestore

    2. lvm_volumes 변수를 사용하는 경우 journal 및 journal_vg 옵션을 각각 db 및 db_vg 로 변경합니다. 예를 들면 다음과 같습니다.

       이전

       lvm_volumes:
         - data: /dev/sdb
           journal: /dev/sdc1
         - data: /dev/sdd
           journal: journal1
           journal_vg: journals

       Bluestore로 변환 한 후

       lvm_volumes:
         - data: /dev/sdb
           db: /dev/sdc1
         - data: /dev/sdd
           db: journal1
           db_vg: journals

15. OpenStack 환경에서 작업하는 경우 풀에 RBD 프로필 을 사용하도록 모든 VDDK 사용자를 업데이트합니다. 다음 명령은 root 사용자로 실행해야 합니다.

    1. Glance 사용자:

       구문

       ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=GLANCE_POOL_NAME'

       예제

       [root@mon ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

    2. Cinder 사용자:

       구문

       ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       예제

       [root@mon ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

    3. OpenStack 일반 사용자:

       구문

       ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       예제

       [root@mon ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

       중요

       라이브 클라이언트 마이그레이션을 수행하기 전에 이러한 CAPS 업데이트를 수행합니다. 이를 통해 클라이언트는 메모리에서 실행되는 새 라이브러리를 사용하여 이전 CAPS 설정이 캐시에서 삭제하고 새 RBD 프로필 설정을 적용할 수 있습니다.

16. 선택 사항: 클라이언트 노드에서 Ceph 클라이언트 측 라이브러리에 따라 애플리케이션을 다시 시작합니다.

    참고

    QEMU 또는 KVM 인스턴스를 실행하거나 전용 QEMU 또는 KVM 클라이언트를 사용하는 OpenStack Nova 컴퓨팅 노드를 업그레이드하는 경우 이 경우 인스턴스를 다시 시작하지 않기 때문에 QEMU 또는 KVM 인스턴스를 중지하고 시작합니다.

절차

1. Red Hat Ceph Storage 3을 실행하는 동안 클러스터가 모든 PG에 대해 하나 이상의 전체 스크럽을 완료했는지 확인합니다. 이렇게 하지 않으면 모니터 데몬이 시작 시 쿼럼에 대한 참여를 거부하고 작동하지 않게 유지할 수 있습니다. 클러스터가 모든 PG 중 하나 이상의 전체 스크럽을 완료했는지 확인하려면 다음을 실행합니다.

   # ceph osd dump | grep ^flags

   Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드를 진행하려면 OSD 맵에 recovery_deletes 및 purged_snapdirs 플래그가 포함되어야 합니다.

2. 클러스터가 정상이고 깨끗한 상태인지 확인합니다.

   ceph health
   HEALTH_OK

3. ceph-mon 및 ceph-manager 를 실행하는 노드의 경우 다음을 실행합니다.

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-mon-rpms

   Red Hat Ceph Storage 4 패키지가 활성화되면 각 ceph-mon 및 ceph-manager 노드에서 다음을 실행합니다.

   # firewall-cmd --add-port=3300/tcp
   # firewall-cmd --add-port=3300/tcp --permanent
   # yum update -y
   # systemctl restart ceph-mon@<mon-hostname>
   # systemctl restart ceph-mgr@<mgr-hostname>

   &lt ;mon-hostname > 및 < mgr-hostname >을 대상 호스트의 호스트 이름으로 바꿉니다.

4. OSD를 업그레이드하기 전에 Ceph Monitor 노드에서 noout 및 nodeep-scrub 플래그를 설정하여 업그레이드 중에 OSD가 재조정되지 않도록 합니다.

   # ceph osd set noout
   # ceph osd det nodeep-scrub

5. 각 OSD 노드에서 다음을 실행합니다.

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-osd-rpms

   Red Hat Ceph Storage 4 패키지가 활성화되면 OSD 노드를 업데이트합니다.

   # yum update -y

   노드에서 실행되는 각 OSD 데몬에 대해 다음을 실행합니다.

   # systemctl restart ceph-osd@<osd-num>

   & lt;osd-num& gt;을 재시작할 osd 번호로 바꿉니다. 다음 OSD 노드로 진행하기 전에 노드의 모든 OSD가 다시 시작되었는지 확인합니다.

6. ceph-disk 로 배포된 스토리지 클러스터에 OSD가 있는 경우 ceph-volume 에 데몬을 시작하도록 지시합니다.

   # ceph-volume simple scan
   # ceph-volume simple activate --all

7. Failure의 기능만 활성화합니다.

   # ceph osd require-osd-release nautilus

   중요

   이 단계를 실행하지 않으면 msgr2 가 활성화된 후 OSD가 통신할 수 없습니다.

8. 모든 OSD 노드를 업그레이드한 후 Ceph Monitor 노드에서 noout 및 nodeep-scrub 플래그를 설정 해제합니다.

   # ceph osd unset noout
   # ceph osd unset nodeep-scrub

9. 기존 NetNamespace 버킷을 최신 버킷 유형 straw2 로 전환합니다.

   # ceph osd getcrushmap -o backup-crushmap
   # ceph osd crush set-all-straw-buckets-to-straw2

10. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드한 후 모든 데몬이 업데이트되면 다음 단계를 실행하십시오.

    1. messenger v2 프로토콜, msgr2 를 활성화합니다.

       ceph mon enable-msgr2

       그러면 이전 기본 포트 6789에 바인딩하는 모든 Ceph 모니터가 3300의 새 포트에 바인딩됩니다.

    2. 모니터 상태를 확인합니다.

       ceph mon dump

       참고

       nautilus OSD를 실행하면 v2 주소에 자동으로 바인딩되지 않습니다. 다시 시작해야 합니다.

11. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드된 각 호스트에 대해 모니터링 포트를 지정하지 않도록 ceph.conf 파일을 업데이트하거나 v2 및 v1 주소와 포트를 모두 참조합니다.

12. ceph.conf 파일의 구성 옵션을 스토리지 클러스터의 구성 데이터베이스로 가져옵니다.

    예제

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. 스토리지 클러스터의 구성 데이터베이스를 확인합니다.

       예제

       [root@mon ~]# ceph config dump

    2. 선택 사항: Red Hat Ceph Storage 4로 업그레이드한 후 각 호스트에 대해 최소 ceph.conf 파일을 생성합니다.

       예제

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

13. Ceph Object Gateway 노드에서 다음을 실행합니다.

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

    Red Hat Ceph Storage 4 패키지가 활성화되면 노드를 업데이트하고 ceph-rgw 데몬을 다시 시작하십시오.

    # yum update -y
    # systemctl restart ceph-rgw@<rgw-target>

    & lt;rgw-target& gt;을 재시작할 rgw 대상으로 바꿉니다.

14. 관리 노드의 경우 다음을 실행합니다.

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    # yum update -y

15. 클러스터가 정상이고 깨끗한 상태인지 확인합니다.

    # ceph health
    HEALTH_OK

16. 선택 사항: 클라이언트 노드에서 Ceph 클라이언트 측 라이브러리에 따라 애플리케이션을 다시 시작합니다.

    참고

    QEMU 또는 KVM 인스턴스를 실행하거나 전용 QEMU 또는 KVM 클라이언트를 사용하는 OpenStack Nova 컴퓨팅 노드를 업그레이드하는 경우 이 경우 인스턴스를 다시 시작하지 않기 때문에 QEMU 또는 KVM 인스턴스를 중지하고 시작합니다.

절차

1. 활성 MDS 순위 수를 1로 줄입니다.

   구문

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   예제

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. 클러스터가 모든 MDS 순위를 중지할 때까지 기다립니다. 모든 MDS가 중지되면 순위 0만 활성화되어야 합니다. 나머지는 Wait 모드여야 합니다. 파일 시스템의 상태를 확인합니다.

   [root@mds ~]# ceph status

3. systemctl 을 사용하여 모든 MDS를 오프라인으로 전환합니다.

   [root@mds ~]# systemctl stop ceph-mds.target

4. 하나의 MDS만 온라인 상태인지 확인하고 파일 시스템의 순위 0이 있는지 확인합니다.

   [root@mds ~]# ceph status

5. RHEL 7의 Red Hat Ceph Storage 3에서 업그레이드하는 경우 Red Hat Ceph Storage 3 툴 리포지토리를 비활성화하고 Red Hat Ceph Storage 4 툴 리포지토리를 활성화합니다.

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

6. 노드를 업데이트하고 ceph-mds 데몬을 다시 시작합니다.

   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

7. 대기 데몬에 대해 동일한 프로세스를 따릅니다. 툴 리포지토리를 비활성화 및 활성화한 다음 각 Wait MDS를 업그레이드 및 다시 시작합니다.

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

8. Wait에서 MDS를 모두 다시 시작할 때 스토리지 클러스터에 대해 max_mds 의 이전 값을 복원하십시오.

   구문

   ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

   예제

   [root@mds ~]# ceph fs set fs1 max_mds 5

절차

1. 모니터 서비스를 중지합니다.

   구문

   systemctl stop ceph-mon@MONITOR_ID

   MONITOR_ID 를 모니터의 ID 번호로 바꿉니다.

2. Red Hat Ceph Storage 3을 사용하는 경우 Red Hat Ceph Storage 3 리포지토리를 비활성화합니다.

   1. tools 리포지토리를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. mon 저장소를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-mon-rpms

3. Red Hat Ceph Storage 4를 사용하는 경우 Red Hat Ceph Storage 4 리포지토리를 비활성화합니다.

   1. tools 리포지토리를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. mon 저장소를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-mon-rpms

4. st app 유틸리티를 설치합니다. Red Hat Enterprise Linux 7에서 Red Hat Enterprise Linux 8로 업그레이드를 참조하십시오.
5. stapp preupgrade 검사를 통해 실행합니다. 명령줄의 Assessing upgradability를 참조하십시오.
6. /etc/ssh/sshd_config 에서 PermitRootLogin yes 를 설정합니다.

7. OpenSSH SSH 데몬을 다시 시작합니다.

   [root@mon ~]# systemctl restart sshd.service

8. Linux 커널에서 iSCSI 모듈을 제거합니다.

   [root@mon ~]# modprobe -r iscsi

9. RHEL 7에서 RHEL 8로의 업그레이드 수행에 따라 업그레이드를 수행합니다.
10. 노드를 재부팅합니다.

11. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 리포지토리를 활성화합니다.

    1. 툴 리포지토리를 활성화합니다.

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. mon 저장소를 활성화합니다.

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-mon-for-rhel-8-x86_64-rpms

12. ceph-mon 패키지를 설치합니다.

    [root@mon ~]# dnf install ceph-mon

13. 관리자 서비스가 모니터 서비스와 함께 배치되면 ceph-mgr 패키지를 설치합니다.

    [root@mon ~]# dnf install ceph-mgr

14. 아직 업그레이드되지 않았거나 이미 이러한 파일이 복원된 노드에서 ceph-client-admin.keyring 및 ceph.conf 파일을 복원하십시오.

15. 기존 NetNamespace 버킷을 최신 버킷 유형 straw2 로 전환합니다.

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

16. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드한 후 모든 데몬이 업데이트되면 다음 단계를 실행하십시오.

    1. messenger v2 프로토콜, msgr2 를 활성화합니다.

       ceph mon enable-msgr2

       그러면 이전 기본 포트 6789에 바인딩하는 모든 Ceph 모니터가 3300의 새 포트에 바인딩됩니다.

       중요

       추가 Ceph Monitor 구성을 수행하기 전에 모든 Ceph 모니터가 Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드되었는지 확인합니다.

    2. 모니터 상태를 확인합니다.

       ceph mon dump

       참고

       nautilus OSD를 실행하면 v2 주소에 자동으로 바인딩되지 않습니다. 다시 시작해야 합니다.

17. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드된 각 호스트에 대해 모니터링 포트를 지정하지 않도록 ceph.conf 파일을 업데이트하거나 v2 및 v1 주소와 포트를 모두 참조합니다. ceph.conf 파일의 구성 옵션을 스토리지 클러스터의 구성 데이터베이스로 가져옵니다.

    예제

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. 스토리지 클러스터의 구성 데이터베이스를 확인합니다.

       예제

       [root@mon ~]# ceph config dump

    2. 선택 사항: Red Hat Ceph Storage 4로 업그레이드한 후 각 호스트에 대해 최소 ceph.conf 파일을 생성합니다.

       예제

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

18. leveldb 패키지를 설치합니다.

    [root@mon ~]# dnf install leveldb

19. 모니터 서비스를 시작합니다.

    [root@mon ~]# systemctl start ceph-mon.target

20. 관리자 서비스가 모니터 서비스와 함께 배치되면 관리자 서비스도 시작합니다.

    [root@mon ~]# systemctl start ceph-mgr.target

21. 모니터 서비스가 백업되었으며 쿼럼에 있는지 확인합니다.

    [root@mon ~]# ceph -s

    서비스 아래의 mon: 행에서 node가 쿼럼이 아닌 쿼럼 에 나열되는 지 확인합니다.

    예제

    mon: 3 daemons, quorum ceph4-mon,ceph4-mon2,ceph4-mon3 (age 2h)

22. 관리자 서비스가 모니터 서비스와 함께 배치되어 있는 경우 해당 서비스가 실행 중인지 확인합니다.

    [root@mon ~]# ceph -s

    서비스 아래의 mgr: 행에서 관리자의 노드 이름을 찾습니다.

    예제

    mgr: ceph4-mon(active, since 2h), standbys: ceph4-mon3, ceph4-mon2

23. 모두 업그레이드될 때까지 모든 모니터 노드에서 위의 단계를 반복합니다.

절차

1. 마이그레이션 중에 OSD noout 플래그가 표시되지 않도록 설정합니다.

   ceph osd set noout

2. 클러스터에서 불필요한 로드를 방지하고 노드가 마이그레이션의 경우 데이터 재시프를 방지하려면 OSD nobackfill,norecover,noscrub, nodeep-scrub 플래그를 설정하여 OSD nobackfill , norebalance, noscrub 플래그를 설정합니다.

   ceph osd set nobackfill
   ceph osd set norecover
   ceph osd set norebalance
   ceph osd set noscrub
   ceph osd set nodeep-scrub

3. 노드의 모든 OSD 프로세스를 정상적으로 종료합니다.

   [root@mon ~]# systemctl stop ceph-osd.target

4. Red Hat Ceph Storage 3을 사용하는 경우 Red Hat Ceph Storage 3 리포지토리를 비활성화합니다.

   1. tools 리포지토리를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. osd 저장소를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-osd-rpms

5. Red Hat Ceph Storage 4를 사용하는 경우 Red Hat Ceph Storage 4 리포지토리를 비활성화합니다.

   1. tools 리포지토리를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. osd 저장소를 비활성화합니다.

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-osd-rpms

6. st app 유틸리티를 설치합니다. Red Hat Enterprise Linux 7에서 Red Hat Enterprise Linux 8로 업그레이드를 참조하십시오.
7. stapp preupgrade 검사를 통해 실행합니다. 명령줄의 Assessing upgradability를 참조하십시오.
8. /etc/ssh/sshd_config 에서 PermitRootLogin yes 를 설정합니다.

9. OpenSSH SSH 데몬을 다시 시작합니다.

   [root@mon ~]# systemctl restart sshd.service

10. Linux 커널에서 iSCSI 모듈을 제거합니다.

    [root@mon ~]# modprobe -r iscsi

11. RHEL 7에서 RHEL 8로의 업그레이드 수행에 따라 업그레이드를 수행합니다.
12. 노드를 재부팅합니다.

13. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 리포지토리를 활성화합니다.

    1. 툴 리포지토리를 활성화합니다.

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. osd 리포지터리를 활성화합니다.

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms

14. ceph-osd 패키지를 설치합니다.

    [root@mon ~]# dnf install ceph-osd

15. leveldb 패키지를 설치합니다.

    [root@mon ~]# dnf install leveldb

16. 아직 업그레이드되지 않은 노드 또는 이미 해당 파일이 복원된 노드에서 ceph.conf 파일을 복원합니다.

17. noout,nobackfill,norecover,norrebalance,noscrub 및 nodeep-scrub 플래그를 설정 해제합니다.

    # ceph osd unset noout
    # ceph osd unset nobackfill
    # ceph osd unset norecover
    # ceph osd unset norebalance
    # ceph osd unset noscrub
    # ceph osd unset nodeep-scrub

18. 기존 NetNamespace 버킷을 최신 버킷 유형 straw2 로 전환합니다.

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

19. 선택 사항: OSD가 ceph-disk 를 사용하여 생성되었으며 여전히 ceph-disk 로 관리되는 경우 ceph-volume 을 사용하여 관리해야 합니다.

    1. 각 오브젝트 스토리지 장치를 마운트합니다.

       구문

       /dev/DRIVE /var/lib/ceph/osd/ceph-OSD_ID

       DRIVE 를 스토리지 장치 이름 및 파티션 번호로 바꿉니다.

       OSD_ID 를 OSD ID로 교체합니다.

       예제

       [root@mon ~]# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

       ID_NUMBER 가 올바른지 확인합니다.

       구문

       cat /var/lib/ceph/osd/ceph-OSD_ID/whoami

       OSD_ID 를 OSD ID로 교체합니다.

       예제

       [root@mon ~]# cat /var/lib/ceph/osd/ceph-0/whoami
       0

       추가 오브젝트 저장소 장치에 대해 위의 단계를 반복합니다.

    2. 새로 마운트된 장치를 스캔합니다.

       구문

       ceph-volume simple scan /var/lib/ceph/osd/ceph-OSD_ID

       OSD_ID 를 OSD ID로 교체합니다.

       예제

       [root@mon ~]# ceph-volume simple scan /var/lib/ceph/osd/ceph-0
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: Unknown device, --name=, --path=, or absolute path in /dev/ or /sys expected.
       Running command: /usr/sbin/cryptsetup status /dev/sdb1
       --> OSD 0 got scanned and metadata persisted to file: /etc/ceph/osd/0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.json
       --> To take over management of this scanned OSD, and disable ceph-disk and udev, run:
       -->     ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       추가 오브젝트 저장소 장치에 대해 위의 단계를 반복합니다.

    3. 장치를 활성화합니다.

       구문

       ceph-volume simple activate OSD_ID UUID

       OSD_ID 를 OSD ID 및 UUID 로 바꾸고 이전 스캔 출력에 표시된 UUID로 바꿉니다.

       예제

       [root@mon ~]# ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
       Running command: /usr/bin/ln -snf /dev/sdb2 /var/lib/ceph/osd/ceph-0/journal
       Running command: /usr/bin/chown -R ceph:ceph /dev/sdb2
       Running command: /usr/bin/systemctl enable ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
        stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.service → /usr/lib/systemd/system/ceph-volume@.service.
       Running command: /usr/bin/ln -sf /dev/null /etc/systemd/system/ceph-disk@.service
       --> All ceph-disk systemd units have been disabled to prevent OSDs getting triggered by UDEV events
       Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
        stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
       Running command: /usr/bin/systemctl start ceph-osd@0
       --> Successfully activated OSD 0 with FSID 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       추가 오브젝트 저장소 장치에 대해 위의 단계를 반복합니다.

20. 선택 사항: OSD가 ceph-volume 으로 생성되었으며 이전 단계를 완료하지 않은 경우 OSD 서비스를 지금 시작합니다.

    [root@mon ~]# systemctl start ceph-osd.target

21. OSD를 활성화합니다.

    BlueStore

    [root@mon ~]# ceph-volume lvm activate --all

22. OSD가 up 및 인지, active+clean 상태인지 확인합니다.

    [root@mon ~]# ceph -s

    osd: 아래의 행에서 :, 모든 OSD가 실행 중인지 확인합니다.

    예제

    osd: 3 osds: 3 up (since 8s), 3 in (since 3M)

23. 모두 업그레이드될 때까지 모든 OSD 노드에서 위의 단계를 반복합니다.

24. Red Hat Ceph Storage 3에서 업그레이드하는 경우 사전Nautilus OSD를 허용하지 않고 broken-only 기능을 활성화합니다.

    [root@mon ~]# ceph osd require-osd-release nautilus

    참고

    이 단계를 실행하지 않으면 msgrv2 가 활성화된 후 OSD가 통신할 수 없습니다.

25. Red Hat Ceph Storage 3에서 Red Hat Ceph Storage 4로 업그레이드한 후 모든 데몬이 업데이트되면 다음 단계를 실행하십시오.

    1. messenger v2 프로토콜, msgr2 를 활성화합니다.

       [root@mon ~]# ceph mon enable-msgr2

       그러면 이전 기본 포트 6789에 바인딩하는 모든 Ceph 모니터가 3300의 새 포트에 바인딩됩니다.

    2. 모든 노드에서 ceph.conf 파일의 구성 옵션을 스토리지 클러스터의 구성 데이터베이스로 가져옵니다.

       예제

       [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

       참고

       예를 들어 동일한 옵션 세트에 대해 다른 구성 값이 있는 경우 최종 결과는 파일이 동화되는 순서에 따라 달라집니다.

    3. 스토리지 클러스터의 구성 데이터베이스를 확인합니다.

       예제

       [root@mon ~]# ceph config dump

절차

1. Ceph Object Gateway 서비스를 중지합니다.

   # systemctl stop ceph-radosgw.target

2. Red Hat Ceph Storage 3을 사용하는 경우 Red Hat Ceph Storage 3 툴 리포지토리를 비활성화합니다.

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. Red Hat Ceph Storage 4를 사용하는 경우 Red Hat Ceph Storage 4 툴 리포지토리를 비활성화합니다.

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. st app 유틸리티를 설치합니다. Red Hat Enterprise Linux 7에서 Red Hat Enterprise Linux 8로 업그레이드를 참조하십시오.
5. stapp preupgrade 검사를 통해 실행합니다. 명령줄의 Assessing upgradability를 참조하십시오.
6. /etc/ssh/sshd_config 에서 PermitRootLogin yes 를 설정합니다.

7. OpenSSH SSH 데몬을 다시 시작합니다.

   # systemctl restart sshd.service

8. Linux 커널에서 iSCSI 모듈을 제거합니다.

   # modprobe -r iscsi

9. RHEL 7에서 RHEL 8로의 업그레이드 수행에 따라 업그레이드를 수행합니다.
10. 노드를 재부팅합니다.

11. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 툴 리포지토리를 활성화합니다.

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. ceph-radosgw 패키지를 설치합니다.

    # dnf install ceph-radosgw

13. 선택 사항: 이 노드에 공동 배치된 모든 Ceph 서비스에 대한 패키지를 설치합니다. 필요한 경우 추가 Ceph 리포지토리를 활성화합니다.

14. 선택 사항: 다른 Ceph 서비스에 필요한 leveldb 패키지를 설치합니다.

    # dnf install leveldb

15. 아직 업그레이드되지 않았거나 이미 이러한 파일이 복원된 노드에서 ceph-client-admin.keyring 및 ceph.conf 파일을 복원하십시오.

16. RGW 서비스를 시작합니다.

    # systemctl start ceph-radosgw.target

17. 기존 NetNamespace 버킷을 최신 버킷 유형 straw2 로 전환합니다.

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

18. 데몬이 활성 상태인지 확인합니다.

    # ceph -s

    서비스 아래에는 rgw: 행이 있습니다. .

    예제

    rgw: 1 daemon active (jb-ceph4-rgw.rgw0)

19. 모두 업그레이드될 때까지 모든 Ceph Object Gateway 노드에서 위의 단계를 반복합니다.

절차

1. 클러스터에서 기존 대시보드를 설치 제거합니다.

   1. /usr/share/cephmetrics-ansible 디렉토리로 변경합니다.

      # cd /usr/share/cephmetrics-ansible

   2. purge.yml Ansible 플레이북을 실행합니다.

      # ansible-playbook -v purge.yml

2. Red Hat Ceph Storage 3을 사용하는 경우 Red Hat Ceph Storage 3 툴 리포지토리를 비활성화합니다.

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. Red Hat Ceph Storage 4를 사용하는 경우 Red Hat Ceph Storage 4 툴 리포지토리를 비활성화합니다.

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. st app 유틸리티를 설치합니다. Red Hat Enterprise Linux 7에서 Red Hat Enterprise Linux 8로 업그레이드를 참조하십시오.
5. stapp preupgrade 검사를 통해 실행합니다. 명령줄의 Assessing upgradability를 참조하십시오.
6. /etc/ssh/sshd_config 에서 PermitRootLogin yes 를 설정합니다.

7. OpenSSH SSH 데몬을 다시 시작합니다.

   # systemctl restart sshd.service

8. Linux 커널에서 iSCSI 모듈을 제거합니다.

   # modprobe -r iscsi

9. RHEL 7에서 RHEL 8로의 업그레이드 수행에 따라 업그레이드를 수행합니다.
10. 노드를 재부팅합니다.

11. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 툴 리포지토리를 활성화합니다.

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. Ansible 리포지토리를 활성화합니다.

    # subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

13. 클러스터를 관리하도록 ceph- anible을 구성합니다. 대시보드를 설치합니다. 사전 요구 사항을 포함하여 Ansible을 사용하여 Red Hat Ceph Storage 설치의 지침을 따르십시오.
14. 위의 절차의 일부로 ansible-playbook site.yml 을 실행하면 대시보드의 URL이 출력됩니다. URL 검색 및 대시보드에 액세스하는 방법에 대한 자세한 내용은 대시보드 가이드 의 Ansible을 사용하여 대시보드 설치를 참조하십시오.

절차

1. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 툴 리포지토리를 활성화합니다.

   [root@dashboard ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

2. Ansible 리포지토리를 활성화합니다.

   [root@dashboard ~]# subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

3. 스토리지 클러스터를 관리하도록 ceph-ansible 을 구성합니다. 대시보드를 설치합니다. 사전 요구 사항을 포함하여 Ansible을 사용하여 Red Hat Ceph Storage 설치의 지침을 따르십시오.
4. 위의 절차의 일부로 ansible-playbook site.yml 을 실행하면 대시보드의 URL이 출력됩니다. URL 검색 및 대시보드에 액세스하는 방법에 대한 자세한 내용은 대시보드 가이드 의 Ansible을 사용하여 대시보드 설치를 참조하십시오.

절차

1. 활성 MDS 순위 수를 1로 줄입니다.

   구문

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   예제

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. 클러스터가 모든 MDS 순위를 중지할 때까지 기다립니다. 모든 MDS가 중지되면 순위 0만 활성화되어야 합니다. 나머지는 Wait 모드여야 합니다. 파일 시스템의 상태를 확인합니다.

   [root@mds ~]# ceph status

3. systemctl 을 사용하여 모든 MDS를 오프라인으로 전환합니다.

   [root@mds ~]# systemctl stop ceph-mds.target

4. 하나의 MDS만 온라인 상태인지 확인하고 파일 시스템의 순위 0이 있는지 확인합니다.

   [root@mds ~]# ceph status

5. 운영 체제 버전의 툴 리포지토리를 비활성화합니다.

   1. RHEL 7의 Red Hat Ceph Storage 3에서 업그레이드하는 경우 Red Hat Ceph Storage 3 툴 리포지토리를 비활성화합니다.

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. Red Hat Ceph Storage 4를 사용하는 경우 Red Hat Ceph Storage 4 툴 리포지토리를 비활성화합니다.

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

6. st app 유틸리티를 설치합니다. become p에 대한 자세한 내용은 Red Hat Enterprise Linux 7에서 Red Hat Enterprise Linux 8로 업그레이드를 참조하십시오.
7. stapp preupgrade 검사를 통해 실행합니다. 자세한 내용은 명령줄에서 Upgradability를 참조하십시오.
8. /etc/ssh/sshd_config 를 편집하고 PermitRootLogin 을 yes 로 설정합니다.

9. OpenSSH SSH 데몬을 다시 시작합니다.

   [root@mds ~]# systemctl restart sshd.service

10. Linux 커널에서 iSCSI 모듈을 제거합니다.

    [root@mds ~]# modprobe -r iscsi

11. 업그레이드를 수행합니다. RHEL 7에서 RHEL 8로의 업그레이드 수행을 참조하십시오.
12. MDS 노드를 재부팅합니다.

13. Red Hat Enterprise Linux 8용 Red Hat Ceph Storage 4용 툴 리포지토리를 활성화합니다.

    [root@mds ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

14. ceph-mds 패키지를 설치합니다.

    [root@mds ~]# dnf install ceph-mds -y

15. 선택 사항: 이 노드에 공동 배치된 모든 Ceph 서비스에 대한 패키지를 설치합니다. 필요한 경우 추가 Ceph 리포지토리를 활성화합니다.

16. 선택 사항: 다른 Ceph 서비스에 필요한 leveldb 패키지를 설치합니다.

    [root@mds ~]# dnf install leveldb

17. 아직 업그레이드되지 않은 노드에서 ceph-client-admin.keyring 및 ceph.conf 파일을 복원하거나 이미 해당 파일이 복원된 노드에서 복원하십시오.

18. 기존 NetNamespace 버킷을 최신 버킷 유형 straw2 로 전환합니다.

    # ceph osd getcrushmap -o backup-crushmap
    # ceph osd crush set-all-straw-buckets-to-straw2

19. MDS 서비스를 시작합니다.

    [root@mds ~]# systemctl restart ceph-mds.target

20. 데몬이 활성 상태인지 확인합니다.

    [root@mds ~]# ceph -s

21. 대기 데몬에 대해 동일한 프로세스를 따릅니다.

22. Wait에서 모든 MDS를 다시 시작한 후 클러스터의 max_mds 값을 복원하십시오.

    구문

    ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

    예제

    [root@mds ~]# ceph fs set fs1 max_mds 5