1. Red Hat 고객 포털에 로그인합니다.
2. 소프트웨어 및 다운로드 센터를 방문하려면 다운로드를 클릭합니다.
3. Red Hat Ceph Storage 영역에서 Download Software 를 클릭하여 최신 버전의 소프트웨어를 다운로드합니다.

1. 모든 모니터 노드에서 공용 네트워크에서 포트 6789 를 엽니다.

   iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 6789 -j ACCEPT

   replace

   • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
   • Monitor 노드의 네트워크 주소가 있는 ip _address 입니다.
   • CIDR(Classless Inter-domain Routing) 표기법에서 넷마스크가 있는 넷마스크 _prefix.

   예제

   $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.11/24 --dport 6789 -j ACCEPT

2. 모든 OSD 노드에서 공용 네트워크에서 포트 6800-7300 을 엽니다.

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   replace

   • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
   • OSD 노드의 네트워크 주소가 있는 ip _address.
   • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

   예제

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

3. 모든 Ceph Manager(ceph-mgr) 노드(일반적으로 Monitor와 동일한 노드)에서 공용 네트워크에서 포트 6800-7300 을 엽니다.

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800:7300 -j ACCEPT

   replace

   • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
   • OSD 노드의 네트워크 주소가 있는 ip _address.
   • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

   예제

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800:7300 -j ACCEPT

4. 모든 Ceph 메타데이터 서버(ceph-mds) 노드에서 공용 네트워크에서 포트 6800 을 엽니다.

   iptables -I INPUT 1 -i iface -m multiport -p tcp -s IP_address/netmask_prefix --dports 6800 -j ACCEPT

   replace

   • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
   • OSD 노드의 네트워크 주소가 있는 ip _address.
   • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

   예제

   $ sudo iptables -I INPUT 1 -i enp6s0 -m multiport -p tcp -s 192.168.0.21/24 --dports 6800 -j ACCEPT

5. 모든 Ceph Object Gateway 노드에서 공용 네트워크에서 관련 포트 또는 포트를 엽니다.

   1. 기본 Ansible 구성된 8080 포트를 엽니다.

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 8080 -j ACCEPT

      replace

      • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
      • 오브젝트 게이트웨이 노드의 네트워크 주소가 있는 ip _address.
      • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

      예제

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 8080 -j ACCEPT

   2. 선택 사항: Ansible을 사용하여 Ceph Object Gateway를 설치하고 Ansible에서 8080 에서 사용하도록 Ceph Object Gateway를 구성하는 기본 포트를 변경된 경우 포트 80 으로 이 포트를 엽니다.

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 80 -j ACCEPT

      replace

      • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
      • 오브젝트 게이트웨이 노드의 네트워크 주소가 있는 ip _address.
      • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

      예제

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 80 -j ACCEPT

   3. 선택 사항: SSL/TLS를 사용하려면 포트 443 을 엽니다.

      iptables -I INPUT 1 -i iface -p tcp -s IP_address/netmask_prefix --dport 443 -j ACCEPT

      replace

      • public 네트워크의 네트워크 인터페이스 카드 이름과 함께 iface 합니다.
      • 오브젝트 게이트웨이 노드의 네트워크 주소가 있는 ip _address.
      • CIDR 표기법으로 넷마스크가 있는 넷마스크 _prefix.

      예제

      $ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.31/24 --dport 443 -j ACCEPT

6. 스토리지 클러스터의 모든 RHCS 노드에서 영구적으로 변경합니다.

   1. iptables-persistent 패키지를 설치합니다.

      $ sudo apt-get install iptables-persistent

   2. 표시되는 터미널 UI에서 yes 를 선택하여 현재 IPv4 iptables 규칙을 /etc/iptables/rules.v4 파일에 저장하고 현재 IPv6 iptables 규칙을 /etc/iptables/rules.v6 파일에 저장합니다.

      참고

      iptables-persistent 를 설치한 후 새 iptables 규칙을 추가하는 경우 새 규칙을 규칙 파일에 추가합니다.

      $ sudo iptables-save >> /etc/iptables/rules.v4

절차

1. Ceph 노드에 root 사용자로 로그인합니다.

   ssh root@$HOST_NAME

   replace

   • $HOST_NAME - Ceph 노드의 호스트 이름이 사용됩니다.

   예제

   # ssh root@mon01

   메시지가 표시되면 루트 암호를 입력합니다.

2. 새 Ansible 사용자를 생성합니다.

   adduser $USER_NAME

   replace

   • $USER_NAME - Ansible 사용자의 새 사용자 이름을 지정합니다.

   예제

   $ sudo adduser admin

   메시지가 표시되면 이 사용자의 암호를 두 번 입력합니다.

   중요

   ceph 를 사용자 이름으로 사용하지 마십시오. ceph 사용자 이름은 Ceph 데몬용으로 예약되어 있습니다. 클러스터 전체의 균일한 사용자 이름은 사용 편의성을 향상시킬 수 있지만 침입자가 일반적으로 무차별 공격에 사용하기 때문에 명확한 사용자 이름을 사용하지 마십시오.

3. 새로 생성된 사용자에 대해 sudo 액세스를 설정합니다.

   cat << EOF >/etc/sudoers.d/$USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   replace

   • $USER_NAME - Ansible 사용자의 새 사용자 이름을 지정합니다.

   예제

   $ sudo cat << EOF >/etc/sudoers.d/admin
   admin ALL = (root) NOPASSWD:ALL
   EOF

4. 올바른 파일 권한을 새 파일에 할당합니다.

   chmod 0440 /etc/sudoers.d/$USER_NAME

   replace

   • $USER_NAME - Ansible 사용자의 새 사용자 이름을 지정합니다.

   예제

   $ sudo chmod 0440 /etc/sudoers.d/admin

1. SSH 키 쌍을 생성하고 기본 파일 이름을 수락하고 암호를 비워 둡니다.

   [user@admin ~]$ ssh-keygen

2. 스토리지 클러스터의 모든 노드에 공개 키를 복사합니다.

   ssh-copy-id $USER_NAME@$HOST_NAME

   replace

   • $USER_NAME - Ansible 사용자의 새 사용자 이름을 지정합니다.
   • $HOST_NAME - Ceph 노드의 호스트 이름이 사용됩니다.

   예제

   [user@admin ~]$ ssh-copy-id admin@ceph-mon01

3. ~/.ssh/config 파일을 만들고 편집합니다.

   중요

   ~/.ssh/config 파일을 생성하고 편집하여 ansible-playbook 명령을 실행할 때마다 -u $USER_NAME 옵션을 지정할 필요가 없습니다.

   1. SSH 구성 파일을 생성합니다.

      [user@admin ~]$ touch ~/.ssh/config

   2. 편집할 구성 파일을 엽니다. 스토리지 클러스터의 각 노드에 대한 Hostname 및 User 옵션을 설정합니다.

      Host node1
         Hostname $HOST_NAME
         User $USER_NAME
      Host node2
         Hostname $HOST_NAME
         User $USER_NAME
      ...

      replace

      • $HOST_NAME - Ceph 노드의 호스트 이름이 사용됩니다.
      • $USER_NAME - Ansible 사용자의 새 사용자 이름을 지정합니다.

      예제

      Host node1
         Hostname monitor
         User admin
      Host node2
         Hostname osd
         User admin
      Host node3
         Hostname gateway
         User admin

4. ~/.ssh/config 파일에 대해 올바른 파일 권한을 설정합니다.

   [admin@admin ~]$ chmod 600 ~/.ssh/config

1. Ansible 사용자로 Ansible에서 ceph-ansible 플레이북에서 생성한 임시 값을 저장하는 ceph-ansible-keys 디렉터리를 생성합니다.

   [user@admin ~]$ mkdir ~/ceph-ansible-keys

2. root로 /etc/ansible/ 디렉터리의 /usr/share/ceph-ansible/group_vars 디렉터리에 대한 심볼릭 링크를 생성합니다.

   [root@admin ~]# ln -s /usr/share/ceph-ansible/group_vars /etc/ansible/group_vars

3. /usr/share/ceph-ansible/ 디렉터리로 이동합니다.

   [root@admin ~]$ cd /usr/share/ceph-ansible

4. yml.sample 파일의 새 복사본을 생성합니다.

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp site.yml.sample site.yml

5. 복사된 파일을 편집합니다.

   1. group_vars/all.yml 파일을 편집합니다. 주석 처리를 위해 가장 일반적인 필수 매개 변수와 선택적 매개변수는 아래 표를 참조하십시오. 테이블에는 모든 매개 변수가 포함되어 있지 않습니다.

      중요

      사용자 지정 클러스터 이름 사용은 지원되지 않으므로 cluster: ceph 매개변수를 ceph 이외의 값으로 설정하지 마십시오.

      표 3.1. 일반 Ansible 설정

      옵션	값	필수 항목	참고
      ceph_origin	리포지토리 또는 디트로 또는 로컬	있음	리포지토리 값은 새 리포지토리를 통해 Ceph가 설치됨을 의미합니다. distro 값은 별도의 리포지토리 파일이 추가되지 않으며 Linux 배포에 포함된 모든 Ceph 버전을 가져옵니다. local 값은 Ceph 바이너리가 로컬 시스템에서 복사됨을 의미합니다.
      ceph_repository_type	CDN 또는 iso	있음
      ceph_rhcs_iso_path	ISO 이미지 경로	예: ISO 이미지를 사용하는 경우
      ceph_rhcs_cdn_debian_repo	온라인 Ubuntu Ceph 리포지토리에 액세스할 수 있는 자격 증명. 예: https://username:.	있음
      ceph_rhcs_cdn_debian_repo_version	새로 설치하는 경우 /3-release/ 를 사용합니다. 업데이트는 /3-updates/ 를 사용합니다.	있음
      monitor_interface	모니터 노드가 수신하는 인터페이스	monitor_interface,monitor_address 또는 monitor_address_block 이 필요합니다.
      monitor_address	모니터 노드가 수신하는 주소입니다.
      monitor_address_block	Ceph 공용 네트워크의 서브넷		노드의 IP 주소를 알 수 없지만 서브넷을 알 수 없는 경우 사용합니다.
      ip_version	ipv6	예: IPv6 주소를 사용하는 경우
      public_network	Ceph 공용 네트워크의 IP 주소 및 넷마스크 또는 IPv6를 사용하는 경우 해당 IPv6 주소	있음	2.7절. “Red Hat Ceph Storage 네트워크 구성 확인”
      cluster_network	Ceph 클러스터 네트워크의 IP 주소 및 넷마스크	아니요, 기본값은 public_network입니다.

      all.yml 파일의 예는 다음과 같습니다.

      ceph_origin: distro
      ceph_repository: rhcs
      ceph_repository_type: cdn
      ceph_rhcs_version: 3
      monitor_interface: eth0
      public_network: 192.168.0.0/24

      참고

      ceph_origin 을 all.yml 파일에 배포하도록 설정해야 합니다. 이렇게 하면 설치 프로세스에서 올바른 다운로드 리포지토리를 사용합니다.

      참고

      ceph_rhcs_version 옵션을 3 으로 설정하면 최신 버전의 Red Hat Ceph Storage 3이 가져옵니다.

      자세한 내용은 all.yml 파일을 참조하십시오.

   2. group_vars/osds.yml 파일을 편집합니다. 주석 처리를 위해 가장 일반적인 필수 매개 변수와 선택적 매개변수는 아래 표를 참조하십시오. 테이블에는 모든 매개 변수가 포함되어 있지 않습니다.

      중요

      다른 물리적 장치를 사용하여 운영 체제가 설치된 장치와 OSD를 설치합니다. 운영 체제와 OSD 간에 동일한 장치를 공유하면 성능에 문제가 발생합니다.

      표 3.2. OSD Ansible 설정

      옵션	값	필수 항목	참고
      osd_scenario	쓰기 로깅 및 키/값 데이터(BlueStore) 또는 저널(FileStore) 및 OSD 데이터에 동일한 장치를 사용하도록 배치 됨 SSD 또는 NVMe 미디어와 같은 전용 장치를 사용하여 쓰기 로그 및 키/값 데이터(BlueStore) 또는 저널 데이터(FileStore)를 저장합니다. LVM 에서 논리 볼륨 관리자를 사용하여 OSD 데이터를 저장합니다.	있음	osd_scenario 를 사용하는 경우,ceph-ansible 은 장치 및 dedicated_devices 의 변수 수가 일치할 것으로 예상합니다. 예를 들어 장치에서 10 디스크를 지정하는 경우 dedicated_devices 에 10 개의 항목을 지정해야 합니다.
      osd_auto_discovery	OSD를 자동으로 검색하려면 true	예: osd_scenario: collocated	장치 설정을 사용할 때는 사용할 수 없습니다.
      devices	ceph 데이터가 저장된 장치 목록	예: 장치 목록을 지정합니다.	osd_auto_discovery 설정이 사용되는 경우 사용할 수 없습니다. lvm 을 osd_scenario 로 사용하고 devices 옵션을 설정하면 ceph-volume lvm 배치 모드를 사용하면 최적화된 OSD 구성이 생성됩니다.
      dedicated_devices	ceph 저널이 저장된 non-collocated OSD의 전용 장치 목록	osd_scenario: non-collocated	파티션되지 않은 장치여야 합니다.
      dmcrypt	OSD 암호화	없음	기본값은 false
      lvm_volumes	FileStore 또는 BlueStore 사전 목록	예: osd_scenario를 사용하는 경우: lvm 및 스토리지 장치는 장치를사용하여 정의되지 않습니다.	각 사전에는 데이터,journal 및 data_vg 키가 포함되어야 합니다. 논리 볼륨 또는 볼륨 그룹은 전체 경로가 아닌 이름이어야 합니다. 데이터, 및 저널 키는 논리 볼륨(LV) 또는 파티션이 될 수 있지만 여러 데이터 LV에는 저널을 사용하지 않습니다. data_vg 키는 data LV를 포함하는 볼륨 그룹이어야 합니다. 필요한 경우 journal_vg 키를 사용하여 저널 LV가 포함된 볼륨 그룹을 지정할 수 있습니다. 지원되는 다양한 구성은 아래 예제를 참조하십시오.
      osds_per_device	장치당 생성할 OSD 수입니다.	없음	기본값은 1입니다.
      osd_objectstore	OSD의 Ceph 오브젝트 저장소 유형입니다.	없음	기본값은 bluestore 입니다. 다른 옵션은 filestore 입니다. 업그레이드에 필요합니다.

      다음은 세 개의 OSD 시나리오(, 결합되지 않은, , lvm )를 사용할 때 osds.yml 파일의 예입니다. 기본 OSD 개체 저장소 형식은 지정되지 않은 경우 BlueStore입니다.

      collocated

      osd_objectstore: filestore
      osd_scenario: collocated
      devices:
        - /dev/sda
        - /dev/sdb

      지원되지 않는 - BlueStore

      osd_objectstore: bluestore
      osd_scenario: non-collocated
      devices:
       - /dev/sda
       - /dev/sdb
       - /dev/sdc
       - /dev/sdd
      dedicated_devices:
       - /dev/nvme0n1
       - /dev/nvme0n1
       - /dev/nvme1n1
       - /dev/nvme1n1

      이 지원되지 않는 예에서는 장치당 하나씩 4개의 BlueStore OSD를 생성합니다. 이 예에서 기존의 하드 드라이브(sda,sdb,sdc,sdd)는 오브젝트 데이터에 사용되며 솔리드 상태 드라이브(SSD) (/dev/nvme0n1,/dev/nvme1n1)는 BlueStore 데이터베이스 및 write-ahead 로그에 사용됩니다. 이 구성은 /dev/sda 및 /dev/sdb 장치를 /dev/nvme0n1 장치를 사용하여 연결하고 /dev/sdc 및 /dev/sdd 장치를 /dev/nvme1n1 장치와 쌍으로 연결합니다.

      지원되지 않음 - 파일 저장소

      osd_objectstore: filestore
      osd_scenario: non-collocated
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/sdc
        - /dev/sdd
      dedicated_devices:
         - /dev/nvme0n1
         - /dev/nvme0n1
         - /dev/nvme1n1
         - /dev/nvme1n1

      LVM simple

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb

      또는

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/nvme0n1

      이러한 간단한 구성으로 ceph-ansible 은 배치 모드(ceph-volume lvm batch)를 사용하여 OSD를 생성합니다.

      첫 번째 시나리오에서는 장치가 기존 하드 드라이브 또는 SSD인 경우 장치당 하나의 OSD가 생성됩니다.

      두 번째 시나리오에서는 기존 하드 드라이브와 SSD가 혼합되어 있는 경우 데이터는 기존 하드 드라이브(sda,sdb)에 배치되고 BlueStore 데이터베이스(block.db)는 SSD(nvme0n1)에서 최대한 크게 생성됩니다.

      LVM advance

      osd_objectstore: filestore
      osd_scenario: lvm
      lvm_volumes:
         - data: data-lv1
           data_vg: vg1
           journal: journal-lv1
           journal_vg: vg2
         - data: data-lv2
           journal: /dev/sda
           data_vg: vg1

      또는

      osd_objectstore: bluestore
      osd_scenario: lvm
      lvm_volumes:
        - data: data-lv1
          data_vg: data-vg1
          db: db-lv1
          db_vg: db-vg1
          wal: wal-lv1
          wal_vg: wal-vg1
        - data: data-lv2
          data_vg: data-vg2
          db: db-lv2
          db_vg: db-vg2
          wal: wal-lv2
          wal_vg: wal-vg2

      이러한 고급 시나리오 예제를 사용하면 볼륨 그룹과 논리 볼륨을 사전에 생성해야 합니다. ceph-ansible 에서 생성되지 않습니다.

      참고

      모든 NVMe SSD를 사용하는 경우 osd_scenario: lvm 및 osds_per_device를 설정합니다. 4 옵션. 자세한 내용은 모든 NVMe 스토리지 for Red Hat Enterprise Linux에 대한 OSD Ansible 설정 구성 또는 Red Hat Ceph Storage 설치 가이드 의 모든 NVMe 스토리지 for Ubuntu에 대한 OSD Ansible 설정 구성을 참조하십시오.

      자세한 내용은 osds.yml 파일의 주석을 참조하십시오.

6. /etc/ansible/hosts 에 기본적으로 있는 Ansible 인벤토리 파일을 편집합니다. 예제 호스트를 주석 처리하십시오.

   1. [mons] 섹션 아래에 모니터 노드를 추가합니다.

      [mons]
      MONITOR_NODE_NAME1
      MONITOR_NODE_NAME2
      MONITOR_NODE_NAME3

   2. [osds] 섹션 아래에 OSD 노드를 추가합니다. 노드의 이름이 순차적인 경우 범위를 사용하는 것이 좋습니다.

      [osds]
      OSD_NODE_NAME1[1:10]

      참고

      새 설치의 OSD의 경우 기본 오브젝트 저장소 형식은 BlueStore입니다.

      1. 선택적으로 devices 및 dedicated_devices 옵션을 사용하여 OSD 노드에서 사용할 장치를 지정합니다. 쉼표로 구분된 목록을 사용하여 여러 장치를 나열합니다.

         구문

         [osds]
         CEPH_NODE_NAME devices="['DEVICE_1', 'DEVICE_2']" dedicated_devices="['DEVICE_3', 'DEVICE_4']"

         예제

         [osds]
         ceph-osd-01 devices="['/dev/sdc', '/dev/sdd']" dedicated_devices="['/dev/sda', '/dev/sdb']"
         ceph-osd-02 devices="['/dev/sdc', '/dev/sdd', '/dev/sde']" dedicated_devices="['/dev/sdf', '/dev/sdg']"

         장치를 지정하지 않으면 osds.yml 파일에서 osd_auto_discovery 옵션을 true 로 설정합니다.

         참고

         devices 및 dedicated_devices 매개 변수를 사용하면 OSD에서 이름이 다른 장치를 사용하거나 장치 중 하나가 OSD에서 실패한 경우 유용합니다.

7. 선택적으로 모든 배포, 베어 메탈 또는 컨테이너에 대해 호스트 특정 매개 변수를 사용하려면 host_vars 디렉터리에 호스트 파일을 생성하여 호스트와 관련된 모든 매개변수를 포함합니다.

   1. 스토리지 클러스터에 추가된 새 Ceph OSD 노드의 새 파일을 /etc/ansible/host_vars/ 디렉터리에 생성합니다.

      구문

      touch /etc/ansible/host_vars/OSD_NODE_NAME

      예제

      [root@admin ~]# touch /etc/ansible/host_vars/osd07

   2. 호스트별 매개 변수를 사용하여 파일을 업데이트합니다. 베어 메탈 배포에서는 devices: 및 dedicated_devices: 섹션을 파일에 추가할 수 있습니다.

      예제

      devices:
        - /dev/sdc
        - /dev/sdd
        - /dev/sde
        - /dev/sdf
      
      dedicated_devices:
        - /dev/sda
        - /dev/sdb

8. 필요한 경우 모든 배포, 베어 메탈 또는 컨테이너 의 경우 ansible- playbook 을 사용하여 사용자 지정 CRUSH 계층을 생성할 수 있습니다.

   1. Ansible 인벤토리 파일을 설정합니다. osd_crush_location 매개변수를 사용하여 OSD 호스트가 CRUSH 맵 계층 구조에 있을 위치를 지정합니다. OSD 위치를 지정하려면 최소 2개의 CRUSH 버킷 유형을 지정해야 하며 하나의 버킷 유형이 호스트여야 합니다. 기본적으로 루트,데이터 센터,방,행,pod, du ,랙,섀시 및 호스트가 포함됩니다.

      구문

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      예제

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. crush_rule_config 및 create_crush_tree 매개변수를 True 로 설정하고 기본 CRUSH 규칙을 사용하지 않으려면 최소 하나의 CRUSH 규칙을 만듭니다. 예를 들어 HDD 장치를 사용하는 경우 다음과 같이 매개 변수를 편집합니다.

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      SSD 장치를 사용하는 경우 다음과 같이 매개변수를 편집합니다.

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      참고

      기본 규칙에는 정의해야 하는 class 매개 변수가 포함되어 있으므로 ssd 및 hdd OSD가 모두 배포되지 않으면 기본 CRUSH 규칙이 실패합니다.

      참고

      또한 사용자 지정 CRUSH 계층 구조를 위의 단계에 설명된 대로 host_vars 디렉터리의 OSD 파일에 추가하여 이 구성 작업을 수행합니다.

   3. group_vars/clients.yml 파일에서 생성된 crush_rules 를 사용하여 풀 생성.

      예제

      >>>>>>> 3993c70c7f25ab628cbfd9c8e27623403ca18c99

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. 트리를 봅니다.

      [root@mon ~]# ceph osd tree

   5. 풀을 검증합니다.

      # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
      
      pool: pool1
      crush_rule: HDD

9. 모든 배포, 베어 메탈 또는 컨테이너 의 경우 기본적으로 /etc/ansible/hosts 파일을 통해 Ansible 인벤토리 파일을 편집하기 위해 를 엽니다. 예제 호스트를 주석 처리합니다.

   1. [mgrs] 섹션에 Ceph Manager(ceph-mgr) 노드를 추가합니다. Ceph Manager 데몬을 모니터 노드와 분리합니다.

      [mgrs]
      <monitor-host-name>
      <monitor-host-name>
      <monitor-host-name>

10. Ansible 사용자로 Ansible이 Ceph 호스트에 연결할 수 있는지 확인합니다.

    [user@admin ~]$ ansible all -m ping

11. /etc/ansible/ansible.cfg 파일에 다음 행을 추가합니다.

    retry_files_save_path = ~/

12. root 로서 /var/log/ansible/ 디렉터리를 생성하고 ansible 사용자에게 적절한 권한을 할당합니다.

    [root@admin ~]# mkdir /var/log/ansible
    [root@admin ~]# chown ansible:ansible  /var/log/ansible
    [root@admin ~]# chmod 755 /var/log/ansible

    1. /usr/share/ceph-ansible/ansible.cfg 파일을 편집하여 다음과 같이 log_path 값을 업데이트합니다.

       log_path = /var/log/ansible/ansible.log

13. Ansible 사용자로 /usr/share/ceph-ansible/ 디렉터리로 변경합니다.

    [user@admin ~]$ cd /usr/share/ceph-ansible/

14. ceph-ansible 플레이북을 실행합니다.

    [user@admin ceph-ansible]$ ansible-playbook site.yml

    참고

    배포 속도를 높이려면 --forks 옵션을 ansible-playbook 에 사용합니다. 기본적으로 ceph-ansible 은 포크를 20 으로 설정합니다. 이 설정을 사용하면 최대 20개의 노드가 동시에 설치됩니다. 한 번에 최대 30개의 노드를 설치하려면 ansible-playbook --forks 30 PLAYBOOK FILE을 실행합니다. 사용하지 않도록 관리 노드의 리소스를 모니터링해야 합니다. 이 값이 있는 경우 --forks 에 전달된 수를 줄입니다.

15. Monitor 노드에서 root 계정을 사용하여 Ceph 클러스터의 상태를 확인합니다.

    [root@monitor ~]# ceph health
    HEALTH_OK

16. rados 를 사용하여 클러스터가 작동하는지 확인합니다.

    1. 모니터 노드에서 8개의 배치 그룹이 있는 테스트 풀을 생성합니다.

       구문

       [root@monitor ~]# ceph osd pool create <pool-name> <pg-number>

       예제

       [root@monitor ~]# ceph osd pool create test 8

    2. hello-world.txt 라는 파일을 생성합니다.

       구문

       [root@monitor ~]# vim <file-name>

       예제

       [root@monitor ~]# vim hello-world.txt

    3. hello-world.txt 오브젝트 이름 hello-world 를 사용하여 test 풀에 업로드합니다.

       구문

       [root@monitor ~]# rados --pool <pool-name> put <object-name> <object-file>

       예제

       [root@monitor ~]# rados --pool test put hello-world hello-world.txt

    4. test 풀에서 fetch.txt 로 hello-world 를 다운로드합니다.

       구문

       [root@monitor ~]# rados --pool <pool-name> get <object-name> <object-file>

       예제

       [root@monitor ~]# rados --pool test get hello-world fetch.txt

    5. fetch.txt 의 내용을 확인합니다.

       [root@monitor ~]# cat fetch.txt

       출력은 다음과 같아야 합니다.

       "Hello World!"

       참고

       클러스터 상태를 확인하는 것 외에도 ceph-medic 유틸리티를 사용하여 Ceph Storage 클러스터를 전반적으로 진단할 수 있습니다. Red Hat Ceph Storage 3 관리 가이드의 Ceph Storage 클러스터 진단 장을 사용하여 ceph-medic 사용 장을 참조하십시오.

절차

1. osd_scenario: lvm 및 osds_per_device를 설정합니다. 4 group_vars/osds.yml:

   osd_scenario: lvm
   osds_per_device: 4

2. 장치에서 NVMe 장치 나열:

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml 의 설정은 다음 예와 유사합니다.

   osd_scenario: lvm
   osds_per_device: 4
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. /etc/ansible/hosts 파일에 새 섹션 [mdss] 를 추가합니다.

   [mdss]
   hostname
   hostname
   hostname

   hostname 을 Ceph 메타데이터 서버를 설치하려는 노드의 호스트 이름으로 바꿉니다.

2. /usr/share/ceph-ansible 디렉토리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 선택 사항: 기본 변수를 변경합니다.

   1. mdss.yml 이라는 group_vars/mdss.yml.sample 파일의 사본을 생성합니다.

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. 선택적으로 mdss.yml 의 매개변수를 편집합니다. 자세한 내용은 mdss.yml 을 참조하십시오.

4. Ansible 사용자로 Ansible 플레이북을 실행합니다.

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss

5. 메타데이터 서버를 설치한 후 구성합니다. 자세한 내용은 Red Hat Ceph Storage 3용 Ceph 파일 시스템 가이드의 메타데이터 서버 데몬 구성 장을 참조하십시오.

1. /etc/ansible/hosts 파일에 새 섹션 [clients] 를 추가합니다.

   [clients]
   <client-hostname>

   <client-hostname> 을 ceph-client 역할을 설치하려는 노드의 호스트 이름으로 바꿉니다.

2. /usr/share/ceph-ansible 디렉토리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible

3. clients.yml.yml :라는 clients.yml.sample 파일의 새 사본을 만듭니다.

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/clients.yml 파일을 열고 다음 행의 주석을 제거합니다.

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test 를 실제 클라이언트 이름으로 바꾸고 클라이언트 정의 행에 클라이언트 키를 추가합니다. 예를 들면 다음과 같습니다.

      key: "ADD-KEYRING-HERE=="

      이제 전체 예제는 다음과 유사합니다.

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      참고

      ceph-authtool --gen-print-key 명령은 새 클라이언트 키를 생성할 수 있습니다.

5. 선택적으로 ceph-client 에 풀 및 클라이언트를 생성하도록 지시합니다.

   1. clients.yml 을 업데이트합니다.

      • user_config 설정의 주석을 제거하고 true 로 설정합니다.
      • 풀 및 키 섹션의 주석을 제거하고 필요에 따라 업데이트합니다. KnativeServing 기능을 사용하여 사용자 정의 풀 및 클라이언트 이름을 모두 정의할 수 있습니다.

   2. osd_pool_default_pg_num 설정을 all.yml 파일의 ceph_conf_overrides 섹션에 추가합니다.

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: <number>

      <number> 를 기본 배치 그룹 수로 바꿉니다.

6. Ansible Playbook을 실행합니다.

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit clients

1. 게이트웨이 호스트를 [rgws] 섹션 아래의 /etc/ansible/hosts 파일에 추가하여 Ansible에 대한 역할을 확인합니다. 호스트에 순차적 이름 지정이 있는 경우 범위를 사용합니다. 예를 들면 다음과 같습니다.

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. Ansible 구성 디렉터리로 이동합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. 샘플 파일에서 rgws.yml 파일을 생성합니다.

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. group_vars/rgws.yml 파일을 열고 편집합니다. 관리자 키를 Ceph Object Gateway 노드에 복사하려면 copy_admin_key 옵션의 주석을 제거합니다.

   copy_admin_key: true

5. rgws.yml 파일은 기본 포트 7480 과 다른 기본 포트를 지정할 수 있습니다. 예를 들면 다음과 같습니다.

   ceph_rgw_civetweb_port: 80

6. all.yml 파일은 radosgw_interface 를 지정해야 합니다. 예를 들면 다음과 같습니다.

   radosgw_interface: eth0

   인터페이스를 지정하면 Civetweb이 동일한 호스트에서 여러 인스턴스를 실행할 때 다른 Civetweb 인스턴스와 동일한 IP 주소에 바인딩되지 않습니다.

7. 일반적으로 기본 설정을 변경하려면 rgw.yml 파일의 설정 주석 처리를 해제하고 적절하게 변경합니다. rgw.yml 파일에 없는 설정을 추가로 변경하려면 all.yml 파일에서 ceph_conf_overrides: 를 사용합니다. 예를 들어 DNS 서버의 호스트를 사용하여 rgw_dns_name: 을 설정하고 와일드카드가 S3 하위 도메인을 사용하도록 클러스터의 DNS 서버를 구성해야 합니다.

   ceph_conf_overrides:
      client.rgw.rgw1:
         rgw_dns_name: <host_name>
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   고급 구성 정보는 Red Hat Ceph Storage 3 Ceph Object Gateway for Production 가이드를 참조하십시오. 고급 주제는 다음과 같습니다.

   • Ansible 그룹 구성

   • 스토리지 전략 개발. 풀을 생성하고 구성하는 방법에 대한 자세한 내용은 루트풀 생성, 시스템 풀 생성, 데이터 배치 전략 생성 섹션을 참조하십시오.

     버킷 샤딩에 대한 구성 정보는 Bucket Sharding 을 참조하십시오.

8. group_vars/all.yml 파일의 radosgw_interface 매개변수의 주석을 제거합니다.

   radosgw_interface: <interface>

   교체:

   • Ceph Object Gateway 노드가 수신하는 인터페이스를 사용하여 <interface>

   자세한 내용은 all.yml 파일을 참조하십시오.

9. Ansible Playbook을 실행합니다.

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws

1. 샘플 파일에서 nfss 파일을 생성합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. [nfss] 그룹 아래의 /etc/ansible/hosts 파일에 게이트웨이 호스트를 추가하여 Ansible에 대한 그룹 멤버십을 식별합니다. 호스트에 순차적 이름 지정이 있는 경우 범위를 사용합니다. 예를 들면 다음과 같습니다.

   [nfss]
   <nfs_host_name_1>
   <nfs_host_name_2>
   <nfs_host_name[3..10]>

3. Ansible 구성 디렉터리 /etc/ansible/:로 이동합니다.

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 관리자 키를 Ceph Object Gateway 노드에 복사하려면 /usr/share/ceph-ansible/group_vars/nfss.yml 파일의 copy_admin_key 설정의 주석 처리를 해제합니다.

   copy_admin_key: true

5. /usr/share/ceph-ansible/group_vars/nfss.yml 파일의 FSAL (File System Abstraction Layer) 섹션을 구성합니다. ID, S3 사용자 ID, S3 액세스 키 및 시크릿을 제공합니다. NFSv4의 경우 다음과 같이 표시됩니다.

   ###################
   # FSAL RGW Config #
   ###################
   #ceph_nfs_rgw_export_id: <replace-w-numeric-export-id>
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   #ceph_nfs_rgw_user: "cephnfs"
   # Note: keys are optional and can be generated, but not on containerized, where
   # they must be configered.
   #ceph_nfs_rgw_access_key: "<replace-w-access-key>"
   #ceph_nfs_rgw_secret_key: "<replace-w-secret-key>"

   주의

   액세스 및 시크릿 키는 선택 사항이며 생성할 수 있습니다.

6. Ansible Playbook을 실행합니다.

   [user@admin ceph-ansible]$ ansible-playbook site-docker.yml --limit nfss

1. root 사용자로 /usr/share/ceph-ansible/ 디렉터리로 이동합니다.

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. Red Hat Ceph Storage 버전 3.x에서 최신 버전으로 업그레이드할 때 이 단계를 건너뜁니다. group_vars/all.yml 및 group_vars/osds.yml 파일을 백업합니다.

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. Red Hat Ceph Storage 버전 3.x에서 최신 버전으로 업그레이드할 때 이 단계를 건너뜁니다. Red Hat Ceph Storage 2.x에서 3.x로 업그레이드할 때 각각 group_vars/all.yml.sample,group_vars/osds.yml.sample 및 group_vars/clients.yml.sample 파일의 새 사본을 생성하고 group_vars/all.yml, group_vars/osds.yml.yml,group_vars/osds.yml.yml.ymls .yml 파일의 새 사본을 각각 생성합니다. 를 열고 그에 따라 편집합니다. 자세한 내용은 부록 H. 버전 2와 3의 Ansible 변수 변경 및 3.2절. “Red Hat Ceph Storage 클러스터 설치” 를 참조하십시오.

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. Red Hat Ceph Storage 버전 3.x에서 최신 버전으로 업그레이드할 때 이 단계를 건너뜁니다. Red Hat Ceph Storage 2.x에서 3.x로 업그레이드하는 경우 group_vars/clients.yml 파일을 열고 다음 줄의 주석을 제거합니다.

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test 를 실제 클라이언트 이름으로 바꾸고 클라이언트 정의 행에 클라이언트 키를 추가합니다. 예를 들면 다음과 같습니다.

      key: "ADD-KEYRING-HERE=="

      이제 전체 예제는 다음과 유사합니다.

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      참고

      클라이언트 키를 가져오려면 ceph auth get-or-create 명령을 실행하여 named 클라이언트의 키를 확인합니다.

5. group_vars/all.yml 파일에서 upgrade_ceph_packages 옵션의 주석을 제거하고 True 로 설정합니다.

   upgrade_ceph_packages: True

6. fetch_directory 매개변수를 group_vars/all.yml 파일에 추가합니다.

   fetch_directory: <full_directory_path>

   교체:

   • Ansible 사용자의 홈 디렉터리와 같은 쓰기 가능한 위치가 있는 <full_directory_path> 초기 스토리지 클러스터 설치에 사용된 기존 경로를 제공합니다.

   기존 경로가 손실되거나 누락된 경우 다음을 먼저 수행합니다.

   1. 기존 group_vars/all.yml 파일에 다음 옵션을 추가합니다.

      fsid: <add_the_fsid>
      generate_fsid: false

   2. take-over-existing-cluster.yml Ansible 플레이북을 실행합니다.

      [user@admin ceph-ansible]$ cp infrastructure-playbooks/take-over-existing-cluster.yml .
      [user@admin ceph-ansible]$ ansible-playbook take-over-existing-cluster.yml

7. 업그레이드하려는 클러스터에 Ceph Object Gateway 노드가 포함된 경우 radosgw_interface 매개변수를 group_vars/all.yml 파일에 추가합니다.

   radosgw_interface: <interface>

   교체:

   • Ceph Object Gateway 노드가 수신 대기하는 인터페이스가 <interface> 입니다.

8. Red Hat Ceph Storage 3.2부터 기본 OSD 오브젝트 저장소는 BlueStore입니다. 기존의 OSD 오브젝트 저장소를 유지하려면 osd_objectstore 옵션을 group_vars/all.yml 파일의 filestore 로 명시적으로 설정해야 합니다.

   osd_objectstore: filestore

   참고

   osd_objectstore 옵션이 filestore 로 설정된 경우 OSD를 교체하면 BlueStore 대신 FileStore를 사용합니다.

9. /etc/ansible/hosts 에 있는 Ansible 인벤토리 파일에서 [mgrs] 섹션에 Ceph Manager(ceph-mgr) 노드를 추가합니다. Ceph Manager 데몬을 모니터 노드와 분리합니다. 버전 3.x에서 최신 버전으로 업그레이드할 때 이 단계를 건너뜁니다.

   [mgrs]
   <monitor-host-name>
   <monitor-host-name>
   <monitor-host-name>

10. infrastructure-playbooks 디렉터리의 rolling_update.yml 을 현재 디렉터리로 복사합니다.

    [root@admin ceph-ansible]# cp infrastructure-playbooks/rolling_update.yml .

    중요

    rolling_update.yml 플레이북과 함께 limit ansible 옵션을 사용하지 마십시오.

11. /var/log/ansible/ 디렉터리를 생성하고 ansible 사용자에게 적절한 권한을 할당합니다.

    [root@admin ceph-ansible]# mkdir /var/log/ansible
    [root@admin ceph-ansible]# chown ansible:ansible  /var/log/ansible
    [root@admin ceph-ansible]# chmod 755 /var/log/ansible

    1. /usr/share/ceph-ansible/ansible.cfg 파일을 편집하여 다음과 같이 log_path 값을 업데이트합니다.

       log_path = /var/log/ansible/ansible.log

12. Ansible 사용자로 Playbook을 실행합니다.

    [user@admin ceph-ansible]$ ansible-playbook rolling_update.yml

13. RBD 미러링 데몬 노드에 root 사용자로 로그인한 동안 rbd-mirror 를 수동으로 업그레이드합니다.

    $ sudo apt-get upgrade rbd-mirror

    데몬을 다시 시작하십시오.

    # systemctl restart  ceph-rbd-mirror@<client-id>

14. 클러스터 상태가 OK인지 확인합니다. ..log를 통해 root 사용자로 모니터 노드에 로그인하고 ceph status 명령을 실행합니다.

1. OpenStack 환경에서 작업하는 경우 풀에 RBD 프로필을 사용하도록 모든 KnativeServing 사용자를 업데이트합니다. 다음 명령을 root 사용자로 실행해야 합니다.

   • Glance 사용자

     ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=<glance-pool-name>'

     예제

     [root@monitor ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

   • Cinder 사용자

     ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     예제

     [root@monitor ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

   • OpenStack 일반 사용자

     ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     예제

     [root@monitor ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

     중요

     라이브 클라이언트 마이그레이션을 수행하기 전에 이러한 CAPS 업데이트를 수행합니다. 이를 통해 클라이언트는 메모리에서 실행되는 새 라이브러리를 사용하므로 이전 CAPS 설정이 캐시에서 삭제되고 새 RBD 프로필 설정을 적용할 수 있습니다.