프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 다음 방법 중 하나를 사용하여 호스트에 데몬을 배포합니다.

   • 방법 1: 데몬 수와 호스트 이름을 지정합니다.

     구문

     ceph orch apply SERVICE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

     예제

     [ceph: root@host01 /]# ceph orch apply mon --placement="3 host01 host02 host03"

   • 방법 2: 호스트에 레이블을 추가한 다음 라벨을 사용하여 데몬을 배포합니다.

     1. 호스트에 레이블을 추가합니다.

        구문

        ceph orch host label add HOSTNAME_1 LABEL

        예제

        [ceph: root@host01 /]# ceph orch host label add host01 mon

     2. 라벨을 사용하여 데몬을 배포합니다.

        구문

        ceph orch apply DAEMON_NAME label:LABEL

        예제

        ceph orch apply mon label:mon

   • 방법 3: 호스트에 레이블을 추가하고 --placement 인수를 사용하여 배포합니다.

     1. 호스트에 레이블을 추가합니다.

        구문

        ceph orch host label add HOSTNAME_1 LABEL

        예제

        [ceph: root@host01 /]# ceph orch host label add host01 mon

     2. 라벨 배치 사양을 사용하여 데몬을 배포합니다.

        구문

        ceph orch apply DAEMON_NAME --placement="label:LABEL"

        예제

        ceph orch apply mon --placement="label:mon"

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. Ceph 데몬을 배포할 호스트를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph orch host ls

3. 데몬을 배포합니다.

   구문

   ceph orch apply SERVICE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 _HOST_NAME_2 HOST_NAME_3"

   예제

   ceph orch apply mgr --placement="2 host01 host02 host03"

   이 예에서는 mgr 데몬은 두 호스트에만 배포됩니다.

프로세스

1. yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch mon.yaml

2. 이 파일은 다음 두 가지 방법으로 구성할 수 있습니다.

   • 배치 사양에 호스트 세부 정보를 포함하도록 파일을 편집합니다.

     구문

     service_type: SERVICE_NAME
     placement:
       hosts:
         - HOST_NAME_1
         - HOST_NAME_2

     예제

     service_type: mon
     placement:
       hosts:
         - host01
         - host02
         - host03

   • 배치 사양에 레이블 세부 정보를 포함하도록 파일을 편집합니다.

     구문

     service_type: SERVICE_NAME
     placement:
       label: "LABEL_1"

     예제

     service_type: mon
     placement:
       label: "mon"

3. 선택 사항: 서비스를 배포하는 동안 CPU, CA 인증서 및 기타 파일과 같은 서비스 사양 파일에서 추가 컨테이너 인수를 사용할 수도 있습니다.

   예제

   extra_container_args:
     - "-v"
     - "/etc/pki/ca-trust/extracted:/etc/pki/ca-trust/extracted:ro"
     - "--security-opt"
     - "label=disable"
     - "cpus=2"
     - "--collector.textfile.directory=/var/lib/node_exporter/textfile_collector2"

   참고

   Red Hat Ceph Storage는 추가 인수를 사용하여 Cephadm에서 배포한 node-exporter에서 추가 지표를 활성화할 수 있습니다.

4. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount mon.yaml:/var/lib/ceph/mon/mon.yaml

5. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/mon/

6. 서비스 사양을 사용하여 Ceph 데몬을 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 mon]# ceph orch apply -i mon.yaml

프로세스

1. yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch mirror.yaml

2. 다음을 포함하도록 파일을 편집합니다.

   구문

   service_type: cephfs-mirror
   service_name: SERVICE_NAME
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2
       - HOST_NAME_3

   예제

   service_type: cephfs-mirror
   service_name: cephfs-mirror
   placement:
     hosts:
       - host01
       - host02
       - host03

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount mirror.yaml:/var/lib/ceph/mirror.yaml

4. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/

5. 서비스 사양을 사용하여 cephfs-mirror 데몬을 배포합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply -i mirror.yaml

프로세스

1. Ceph 관리 노드에서 Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 클러스터의 공개 SSH 키를 폴더에 추출합니다.

   구문

   ceph cephadm get-pub-key > ~/PATH

   예제

   [ceph: root@host01 /]# ceph cephadm get-pub-key > ~/ceph.pub

3. Ceph 클러스터의 공개 SSH 키를 새 호스트의 root 사용자의 authorized_keys 파일에 복사합니다.

   구문

   ssh-copy-id -f -i ~/PATH root@HOST_NAME_2

   예제

   [ceph: root@host01 /]# ssh-copy-id -f -i ~/ceph.pub root@host02

4. Ansible 관리 노드에서 새 호스트를 Ansible 인벤토리 파일에 추가합니다. 파일의 기본 위치는 /usr/share/cephadm-ansible/hosts 입니다. 다음 예제는 일반적인 인벤토리 파일의 구조를 보여줍니다.

   예제

   host01
   host02
   host03
   
   [admin]
   host00

   참고

   이전에 새 호스트를 Ansible 인벤토리 파일에 추가하고 호스트에서 preflight 플레이북을 실행한 경우 6 단계로 건너뜁니다.

5. --limit 옵션을 사용하여 preflight 플레이북을 실행합니다.

   구문

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit NEWHOST

   예제

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit host02

   preflight Playbook은 새 호스트에 podman,lvm2,chronyd, cephadm 을 설치합니다. 설치가 완료되면 cephadm은 /usr/sbin/ 디렉터리에 있습니다.

6. Ceph 관리 노드에서 Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

7. cephadm 오케스트레이터를 사용하여 스토리지 클러스터에 호스트를 추가합니다.

   구문

   ceph orch host add HOST_NAME IP_ADDRESS_OF_HOST [--label=LABEL_NAME_1,LABEL_NAME_2]

   --label 옵션은 선택 사항이며, 이는 호스트를 추가할 때 레이블을 추가합니다. 호스트에 여러 레이블을 추가할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph orch host add host02 10.10.128.70 --labels=mon,mgr

프로세스

1. hosts.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch hosts.yaml

2. 다음 세부 정보를 포함하도록 hosts.yaml 파일을 편집합니다.

   예제

   service_type: host
   addr: host01
   hostname: host01
   labels:
   - mon
   - osd
   - mgr
   ---
   service_type: host
   addr: host02
   hostname: host02
   labels:
   - mon
   - osd
   - mgr
   ---
   service_type: host
   addr: host03
   hostname: host03
   labels:
   - mon
   - osd

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount hosts.yaml:/var/lib/ceph/hosts.yaml

4. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/

5. 서비스 사양을 사용하여 호스트를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 hosts]# ceph orch apply -i hosts.yaml

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 클러스터 호스트를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph orch host ls

   예상되는 호스트의 STATUS 가 비어 있음을 확인할 수 있습니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 호스트에 레이블을 추가합니다.

   구문

   ceph orch host label add HOSTNAME LABEL

   예제

   [ceph: root@host01 /]# ceph orch host label add host02 mon

프로세스

1. cephadm 쉘을 시작합니다.

   [root@host01 ~]# cephadm shell
   [ceph: root@host01 /]#

2. 레이블을 제거합니다.

   구문

   ceph orch host label rm HOSTNAME LABEL

   예제

   [ceph: root@host01 /]# ceph orch host label rm host02 mon

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 호스트 세부 정보를 가져옵니다.

   예제

   [ceph: root@host01 /]# ceph orch host ls

3. 호스트의 모든 데몬을 드레이닝합니다.

   구문

   ceph orch host drain HOSTNAME

   예제

   [ceph: root@host01 /]# ceph orch host drain host02

   _no_schedule 레이블은 배포를 차단하는 호스트에 자동으로 적용됩니다.

4. OSD 제거 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm status

   OSD에 배치 그룹(PG)이 없는 경우 스토리지 클러스터에서 OSD가 해제되어 제거됩니다.

5. 스토리지 클러스터에서 모든 데몬이 제거되었는지 확인합니다.

   구문

   ceph orch ps HOSTNAME

   예제

   [ceph: root@host01 /]# ceph orch ps host02

6. 호스트를 제거합니다.

   구문

   ceph orch host rm HOSTNAME

   예제

   [ceph: root@host01 /]# ceph orch host rm host02

1. 호스트를 제거해도 orch host ok-to-stop 명령을 실행하여 데이터 가용성에 영향을 미치지 않는지 확인합니다.
2. 호스트에 Ceph OSD 데몬이 있는 경우 noout 을 host 하위 트리에 적용하여 계획된 유지 관리 슬롯 중에 데이터 마이그레이션이 트리거되지 않도록 합니다.
3. Ceph 대상을 중지하여 모든 데몬을 중지합니다.
4. 재부팅이 Ceph 서비스를 자동으로 시작하지 않도록 호스트에서 ceph 대상 을 비활성화합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 호스트를 유지 관리 모드로 배치하거나 유지 관리 모드에서 호스트를 배치할 수 있습니다.

   • 호스트를 유지 관리 모드로 설정합니다.

     구문

     ceph orch host maintenance enter HOST_NAME [--force]

     예제

     [ceph: root@host01 /]# ceph orch host maintenance enter host02 --force

     --force 플래그를 사용하면 경고를 바이패스할 수 있지만 경고를 바이패스할 수 없습니다.

   • 호스트를 유지 관리 모드에서 해제합니다.

     구문

     ceph orch host maintenance exit HOST_NAME

     예제

     [ceph: root@host01 /]# ceph orch host maintenance exit host02

1. 클래식 - 가장 낮은 순위의 모니터가 두 사이트 간의 선택 모듈을 기반으로 하는 기본 모드입니다.
2. 허용하지 않음 - 이 모드를 사용하면 모니터를 허용하지 않음으로 표시할 수 있으며, 이 모드에서는 쿼럼에 참여하고 클라이언트를 서비스하지만 선택한 리더가 될 수 없습니다. 이를 통해 허용하지 않는 리더 목록에 모니터를 추가할 수 있습니다. 모니터가 허용되지 않는 목록에 있는 경우 항상 다른 모니터로 지연됩니다.
3. 연결 - 이 모드는 주로 네트워크 불일치를 확인하는 데 사용됩니다. 각 모니터에서 피어에 대해 제공하는 활성 상태를 확인하고 가장 연결되고 신뢰할 수 있는 모니터를 리더가 되도록 선택하는 ping을 기반으로 연결 점수를 평가합니다. 이 모드는 네트워크 분할을 처리하도록 설계되었으며, 클러스터가 여러 데이터 센터 간에 확장되거나 영향을 받을 수 있는 경우 발생할 수 있습니다. 이 모드는 연결 점수 등급을 통합하고 모니터를 최상의 점수로 선택합니다. 특정 모니터가 리더가 되도록 하려면 특정 모니터가 목록의 첫 번째 모니터가 0 인 첫 번째 모니터가 되도록 선택 전략을 구성합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. Ceph 모니터 데몬을 배포하는 방법은 다음 네 가지가 있습니다.

프로세스

1. mon.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch mon.yaml

2. 다음 세부 정보를 포함하도록 mon.yaml 파일을 편집합니다.

   구문

   service_type: mon
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2

   예제

   service_type: mon
   placement:
     hosts:
       - host01
       - host02

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount mon.yaml:/var/lib/ceph/mon/mon.yaml

4. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/mon/

5. 모니터 데몬을 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 mon]# ceph orch apply -i mon.yaml

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 자동화된 모니터 배포를 비활성화합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply mon --unmanaged

3. 특정 네트워크의 호스트에 모니터를 배포합니다.

   구문

   ceph orch daemon add mon HOST_NAME_1:IP_OR_NETWORK

   예제

   [ceph: root@host01 /]# ceph orch daemon add mon host03:10.1.2.123

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. ceph orch apply 명령을 실행하여 필요한 모니터 데몬을 배포합니다.

   구문

   ceph orch apply mon “NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_3”

   host02 에서 모니터 데몬을 제거하려면 다른 호스트에 모니터를 재배포할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph orch apply mon “2 host01 host03”

프로세스

1. 남아 있는 모니터를 식별하고 호스트에 로그인합니다.

   구문

   ssh root@MONITOR_ID

   예제

   [root@admin ~]# ssh root@host00

2. 각 Ceph Monitor 호스트에 로그인하고 모든 Ceph 모니터를 중지합니다.

   구문

   cephadm unit --name DAEMON_NAME.HOSTNAME stop

   예제

   [root@host00 ~]# cephadm unit --name mon.host00 stop

3. 확장된 데몬 유지 관리에 적합한 환경을 설정하고 데몬을 대화형으로 실행하려면 다음을 수행합니다.

   구문

   cephadm shell --name DAEMON_NAME.HOSTNAME

   예제

   [root@host00 ~]# cephadm shell --name mon.host00

4. monmap 파일의 사본을 추출합니다.

   구문

   ceph-mon -i HOSTNAME --extract-monmap TEMP_PATH

   예제

   [ceph: root@host00 /]# ceph-mon -i host01 --extract-monmap /tmp/monmap
   
   2022-01-05T11:13:24.440+0000 7f7603bd1700 -1 wrote monmap to /tmp/monmap

5. 비활성화되지 않은 Ceph 모니터를 제거합니다.

   구문

   monmaptool TEMPORARY_PATH --rm HOSTNAME

   예제

   [ceph: root@host00 /]# monmaptool /tmp/monmap --rm host01

6. 제거된 모니터가 있는 남아 있는 모니터 맵을 Ceph 모니터에 삽입합니다.

   구문

   ceph-mon -i HOSTNAME --inject-monmap TEMP_PATH

   예제

   [ceph: root@host00 /]# ceph-mon -i host00 --inject-monmap /tmp/monmap

7. 남아 있는 모니터만 시작합니다.

   구문

   cephadm unit --name DAEMON_NAME.HOSTNAME start

   예제

   [root@host00 ~]# cephadm unit --name mon.host00 start

8. 모니터가 쿼럼을 형성하는지 확인합니다.

   예제

   [ceph: root@host00 /]# ceph -s

9. 선택 사항: 제거된 Ceph Monitor의 데이터 디렉토리를 /var/lib/ceph/CLUSTER_FSID/mon.HOSTNAME 디렉터리에 보관합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 관리자 데몬은 다음 두 가지 방법으로 배포할 수 있습니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. ceph orch apply 명령을 실행하여 필요한 관리자 데몬을 재배포합니다.

   구문

   ceph orch apply mgr "NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_3"

   host02 에서 관리자 데몬을 제거하려면 다른 호스트에 manager 데몬을 재배포할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph orch apply mgr "2 host01 host03"

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. alerts 모듈을 활성화합니다.

   예제

   [ceph: root@host01 /]# ceph mgr module enable alerts

3. alerts 모듈이 활성화되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph mgr module ls | more
   {
       "always_on_modules": [
           "balancer",
           "crash",
           "devicehealth",
           "orchestrator",
           "pg_autoscaler",
           "progress",
           "rbd_support",
           "status",
           "telemetry",
           "volumes"
       ],
       "enabled_modules": [
           "alerts",
           "cephadm",
           "dashboard",
           "iostat",
           "nfs",
           "prometheus",
           "restful"
       ]

4. SMTP(Simple Mail Transfer Protocol)를 구성합니다.

   구문

   ceph config set mgr mgr/alerts/smtp_host SMTP_SERVER
   ceph config set mgr mgr/alerts/smtp_destination RECEIVER_EMAIL_ADDRESS
   ceph config set mgr mgr/alerts/smtp_sender SENDER_EMAIL_ADDRESS

   예제

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_host smtp.example.com
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_destination example@example.com
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_sender example2@example.com

5. 선택 사항: 기본적으로 alerts 모듈은 SSL 및 포트 465를 사용합니다.

   구문

   ceph config set mgr mgr/alerts/smtp_port PORT_NUMBER

   예제

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_port 587

   경고를 구성하는 동안 smtp_ssl 매개변수를 설정하지 마십시오.

6. SMTP 서버에 인증합니다.

   구문

   ceph config set mgr mgr/alerts/smtp_user USERNAME
   ceph config set mgr mgr/alerts/smtp_password PASSWORD

   예제

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_user admin1234
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_password admin1234

7. 선택 사항: 기본적으로 이름에 따라 SMTP는 Ceph 입니다. 이를 변경하려면 smtp_from_name 매개변수를 설정합니다.

   구문

   ceph config set mgr mgr/alerts/smtp_from_name CLUSTER_NAME

   예제

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_from_name 'Ceph Cluster Test'

8. 선택 사항: 기본적으로 alerts 모듈은 1분마다 스토리지 클러스터의 상태를 확인하고 클러스터 상태가 변경될 때 메시지를 보냅니다. 빈도를 변경하려면 interval 매개변수를 설정합니다.

   구문

   ceph config set mgr mgr/alerts/interval INTERVAL

   예제

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/interval "5m"

   이 예에서 간격은 5분으로 설정됩니다.

9. 선택 사항: 즉시 경고를 보냅니다.

   예제

   [ceph: root@host01 /]# ceph alerts send

프로세스

1. crash 모듈이 활성화되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph mgr module ls | more
   {
       "always_on_modules": [
           "balancer",
           "crash",
           "devicehealth",
           "orchestrator_cli",
           "progress",
           "rbd_support",
           "status",
           "volumes"
       ],
       "enabled_modules": [
           "dashboard",
           "pg_autoscaler",
           "prometheus"
       ]

2. 크래시 덤프 저장: 메타데이터 파일은 크래시 디렉터리에 메타 로 저장된 JSON Blob입니다. stdin에서 읽는 ceph command -i - 옵션을 호출할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph crash post -i meta

3. 모든 신규 및 아카이브된 크래시 정보의 타임스탬프 또는 UUID 충돌 ID를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph crash ls

4. 모든 새로운 충돌 정보의 타임스탬프 또는 UUID 충돌 ID를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph crash ls-new

5. 모든 새로운 충돌 정보의 타임스탬프 또는 UUID 충돌 ID를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph crash ls-new

6. 저장된 충돌 정보의 요약을 기간별로 그룹화합니다.

   예제

   [ceph: root@host01 /]# ceph crash stat
   8 crashes recorded
   8 older than 1 days old:
   2022-05-20T08:30:14.533316Z_4ea88673-8db6-4959-a8c6-0eea22d305c2
   2022-05-20T08:30:14.590789Z_30a8bb92-2147-4e0f-a58b-a12c2c73d4f5
   2022-05-20T08:34:42.278648Z_6a91a778-bce6-4ef3-a3fb-84c4276c8297
   2022-05-20T08:34:42.801268Z_e5f25c74-c381-46b1-bee3-63d891f9fc2d
   2022-05-20T08:34:42.803141Z_96adfc59-be3a-4a38-9981-e71ad3d55e47
   2022-05-20T08:34:42.830416Z_e45ed474-550c-44b3-b9bb-283e3f4cc1fe
   2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d
   2022-05-24T19:58:44.315282Z_1847afbc-f8a9-45da-94e8-5aef0738954e

7. 저장된 충돌의 세부 정보를 확인합니다.

   구문

   ceph crash info CRASH_ID

   예제

   [ceph: root@host01 /]# ceph crash info 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d
   {
       "assert_condition": "session_map.sessions.empty()",
       "assert_file": "/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc",
       "assert_func": "virtual Monitor::~Monitor()",
       "assert_line": 287,
       "assert_msg": "/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc: In function 'virtual Monitor::~Monitor()' thread 7f67a1aeb700 time 2022-05-24T19:58:42.545485+0000\n/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc: 287: FAILED ceph_assert(session_map.sessions.empty())\n",
       "assert_thread_name": "ceph-mon",
       "backtrace": [
           "/lib64/libpthread.so.0(+0x12b30) [0x7f679678bb30]",
           "gsignal()",
           "abort()",
           "(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x1a9) [0x7f6798c8d37b]",
           "/usr/lib64/ceph/libceph-common.so.2(+0x276544) [0x7f6798c8d544]",
           "(Monitor::~Monitor()+0xe30) [0x561152ed3c80]",
           "(Monitor::~Monitor()+0xd) [0x561152ed3cdd]",
           "main()",
           "__libc_start_main()",
           "_start()"
       ],
       "ceph_version": "16.2.8-65.el8cp",
       "crash_id": "2022-07-06T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d",
       "entity_name": "mon.ceph-adm4",
       "os_id": "rhel",
       "os_name": "Red Hat Enterprise Linux",
       "os_version": "8.5 (Ootpa)",
       "os_version_id": "8.5",
       "process_name": "ceph-mon",
       "stack_sig": "957c21d558d0cba4cee9e8aaf9227b3b1b09738b8a4d2c9f4dc26d9233b0d511",
       "timestamp": "2022-07-06T19:58:42.549073Z",
       "utsname_hostname": "host02",
       "utsname_machine": "x86_64",
       "utsname_release": "4.18.0-240.15.1.el8_3.x86_64",
       "utsname_sysname": "Linux",
       "utsname_version": "#1 SMP Wed Jul 06 03:12:15 EDT 2022"
   }

8. KEEP 일보다 저장된 충돌 제거: 여기에서 KEEP 는 정수여야 합니다.

   구문

   ceph crash prune KEEP

   예제

   [ceph: root@host01 /]# ceph crash prune 60

9. 더 이상 RECENT_CRASH 상태 점검으로 간주되지 않고 크래시 ls-new 출력에 표시되지 않도록 크래시 보고서를 보관합니다. 충돌 ls 에 나타납니다.

   구문

   ceph crash archive CRASH_ID

   예제

   [ceph: root@host01 /]# ceph crash archive 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d

10. 모든 충돌 보고서를 보관합니다.

    예제

    [ceph: root@host01 /]# ceph crash archive-all

11. 크래시 덤프 제거:

    구문

    ceph crash rm CRASH_ID

    예제

    [ceph: root@host01 /]# ceph crash rm 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 배포할 사용 가능한 장치를 나열합니다.

   구문

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   예제

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

   --wide 옵션을 사용하면 장치가 OSD로 사용할 수 없는 이유를 포함하여 장치와 관련된 모든 세부 정보를 제공합니다. 이 옵션은 NVMe 장치를 지원하지 않습니다.

3. 선택 사항: ceph orch 장치 ls 의 출력에서 Health,Ident 및 Fault 필드를 활성화하려면 다음 명령을 실행합니다.

   참고

   이러한 필드는 libstoragemgmt 라이브러리에서 지원하며 현재 SCSI, SAS 및 SATA 장치를 지원합니다.

   1. Cephadm 쉘 외부의 root 사용자로 libstoragemgmt 라이브러리와의 하드웨어 호환성을 확인하여 서비스에 대한 계획되지 않은 중단을 방지합니다.

      예제

      [root@host01 ~]# cephadm shell lsmcli ldl

      출력에 각 SCSI VPD 0x83 ID를 사용하여 Health Status 가 good로 표시됩니다.

      참고

      이 정보를 얻지 못하면 필드를 활성화하면 장치의 비정상적인 동작이 발생할 수 있습니다.

   2. Cephadm 쉘로 다시 로그인하고 libstoragemgmt 지원을 활성화합니다.

      예제

      [root@host01 ~]# cephadm shell
      [ceph: root@host01 /]# ceph config set mgr mgr/cephadm/device_enhanced_scan true

      이 기능이 활성화되면 ceph orch device ls 는 Health 필드의 출력을 good로 제공합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 배포할 사용 가능한 장치를 나열합니다.

   구문

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   예제

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. 장치의 데이터를 지웁니다.

   구문

   ceph orch device zap HOSTNAME FILE_PATH --force

   예제

   [ceph: root@host01 /]# ceph orch device zap host02 /dev/sdb --force

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 배포할 사용 가능한 장치를 나열합니다.

   구문

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   예제

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. 사용 가능한 모든 장치에 OSD를 배포합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

   ceph orch apply 의 영향은 영속적입니다. 즉 Orchestrator가 장치를 자동으로 찾아 클러스터에 추가하고 새 OSD를 생성합니다. 이는 다음 조건에서 수행됩니다.

   • 새 디스크 또는 드라이브가 시스템에 추가됩니다.
   • 기존 디스크 또는 드라이브가 zapped입니다.

   • OSD가 제거되고 장치가 zapped됩니다.

     --unmanaged 매개변수를 사용하여 사용 가능한 모든 장치에서 OSD 자동 생성을 비활성화할 수 있습니다.

     예제

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

     --unmanaged 매개변수를 true 로 설정하면 OSD 생성이 비활성화되고 새 OSD 서비스를 적용하는 경우 변경 사항도 발생하지 않습니다.

     참고

     ceph orch 데몬 add 명령은 새 OSD를 생성하지만 OSD 서비스를 추가하지 않습니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 배포할 사용 가능한 장치를 나열합니다.

   구문

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   예제

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. 특정 장치 및 호스트에 OSD를 배포합니다.

   구문

   ceph orch daemon add osd HOSTNAME:DEVICE_PATH

   예제

   [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

   LVM 계층 없이 원시 물리적 장치에 ODS를 배포하려면 --method raw 옵션을 사용합니다.

   구문

   ceph orch daemon add osd --method raw HOSTNAME:DEVICE_PATH

   예제

   [ceph: root@host01 /]# ceph orch daemon add osd --method raw host02:/dev/sdb

   참고

   DB 또는 WAL 장치가 별도의 경우 블록 대 DB 또는 WAL 장치의 비율은 1:1 이어야합니다.

프로세스

1. 모니터 노드에서 osd_spec.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch osd_spec.yaml

2. 다음 세부 정보를 포함하도록 osd_spec.yaml 파일을 편집합니다.

   구문

   service_type: osd
   service_id: SERVICE_ID
   placement:
     host_pattern: '*' # optional
   data_devices: # optional
     model: DISK_MODEL_NAME # optional
     paths:
     - /DEVICE_PATH
   osds_per_device: NUMBER_OF_DEVICES # optional
   db_devices: # optional
     size: # optional
     all: true # optional
     paths:
      - /DEVICE_PATH
   encrypted: true

   1. 간단한 시나리오: 이러한 경우 모든 노드에 동일한 설정이 있습니다.

      예제

      service_type: osd
      service_id: osd_spec_default
      placement:
        host_pattern: '*'
      data_devices:
        all: true
        paths:
        - /dev/sdb
      encrypted: true

      예제

      service_type: osd
      service_id: osd_spec_default
      placement:
        host_pattern: '*'
      data_devices:
        size: '80G'
      db_devices:
        size: '40G:'
        paths:
         - /dev/sdc

   2. 간단한 시나리오: 이 경우 모든 노드는 LVM 계층 없이 원시 모드에서 생성된 OSD 장치와 동일한 설정을 갖습니다.

      예제

      service_type: osd
      service_id: all-available-devices
      encrypted: "true"
      method: raw
      placement:
        host_pattern: "*"
      data_devices:
        all: "true"

   3. 고급 시나리오: 이 경우 전용 DB 또는 WAL 장치로 할당된 두 개의 SSD가 있는 data_devices 를 모든 HDD를 사용하여 원하는 레이아웃을 생성합니다. 나머지 SSD는 NVMEs 공급업체가 전용 DB 또는 WAL 장치로 할당된 data_devices 입니다.

      예제

      service_type: osd
      service_id: osd_spec_hdd
      placement:
        host_pattern: '*'
      data_devices:
        rotational: 0
      db_devices:
        model: Model-name
        limit: 2
      ---
      service_type: osd
      service_id: osd_spec_ssd
      placement:
        host_pattern: '*'
      data_devices:
        model: Model-name
      db_devices:
        vendor: Vendor-name

   4. 비균일 노드가 있는 고급 시나리오: host_pattern 키에 따라 다른 OSD 사양을 다른 호스트에 적용합니다.

      예제

      service_type: osd
      service_id: osd_spec_node_one_to_five
      placement:
        host_pattern: 'node[1-5]'
      data_devices:
        rotational: 1
      db_devices:
        rotational: 0
      ---
      service_type: osd
      service_id: osd_spec_six_to_ten
      placement:
        host_pattern: 'node[6-10]'
      data_devices:
        model: Model-name
      db_devices:
        model: Model-name

   5. 전용 WAL 및 DB 장치가 있는 고급 시나리오:

      예제

      service_type: osd
      service_id: osd_using_paths
      placement:
        hosts:
          - host01
          - host02
      data_devices:
        paths:
          - /dev/sdb
      db_devices:
        paths:
          - /dev/sdc
      wal_devices:
        paths:
          - /dev/sdd

   6. 장치당 여러 OSD가 있는 고급 시나리오:

      예제

      service_type: osd
      service_id: multiple_osds
      placement:
        hosts:
          - host01
          - host02
      osds_per_device: 4
      data_devices:
        paths:
          - /dev/sdb

   7. 미리 생성된 볼륨의 경우 다음 세부 정보를 포함하도록 osd_spec.yaml 파일을 편집합니다.

      구문

      service_type: osd
      service_id: SERVICE_ID
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      예제

      service_type: osd
      service_id: osd_spec
      placement:
        hosts:
          - machine1
      data_devices:
        paths:
          - /dev/vg_hdd/lv_hdd
      db_devices:
        paths:
          - /dev/vg_nvme/lv_nvme

   8. ID로 OSD의 경우 다음 세부 정보를 포함하도록 osd_spec.yaml 파일을 편집합니다.

      참고

      이 구성은 Red Hat Ceph Storage 5.3z1 이상 릴리스에 적용할 수 있습니다. 이전 릴리스에서는 사전 생성된 lvm을 사용합니다.

      구문

      service_type: osd
      service_id: OSD_BY_ID_HOSTNAME
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      예제

      service_type: osd
      service_id: osd_by_id_host01
      placement:
        hosts:
          - host01
      data_devices:
        paths:
          - /dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-0-0-5
      db_devices:
        paths:
          - /dev/disk/by-id/nvme-nvme.1b36-31323334-51454d55204e564d65204374726c-00000001

   9. 경로별로 OSD의 경우 다음 세부 정보를 포함하도록 osd_spec.yaml 파일을 편집합니다.

      참고

      이 구성은 Red Hat Ceph Storage 5.3z1 이상 릴리스에 적용할 수 있습니다. 이전 릴리스에서는 사전 생성된 lvm을 사용합니다.

      구문

      service_type: osd
      service_id: OSD_BY_PATH_HOSTNAME
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      예제

      service_type: osd
      service_id: osd_by_path_host01
      placement:
        hosts:
          - host01
      data_devices:
        paths:
          - /dev/disk/by-path/pci-0000:0d:00.0-scsi-0:0:0:4
      db_devices:
        paths:
          - /dev/disk/by-path/pci-0000:00:02.0-nvme-1

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount osd_spec.yaml:/var/lib/ceph/osd/osd_spec.yaml

4. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/osd/

5. OSD를 배포하기 전에 예행 실행을 수행합니다.

   참고

   이 단계에서는 데몬을 배포하지 않고 배포 프리뷰를 제공합니다.

   예제

   [ceph: root@host01 osd]# ceph orch apply -i osd_spec.yaml --dry-run

6. 서비스 사양을 사용하여 OSD를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yml

   예제

   [ceph: root@host01 osd]# ceph orch apply -i osd_spec.yaml

1. 클러스터에서 모든 배치 그룹(PG)을 비웁니다.
2. 클러스터에서 PG가 없는 OSD를 제거합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 제거해야 하는 장치 및 노드를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd tree

3. OSD를 제거합니다.

   구문

   ceph orch osd rm OSD_ID [--replace] [--force] --zap

   예제

   [ceph: root@host01 /]# ceph orch osd rm 0 --zap

   참고

   --replace 와 같은 옵션 없이 스토리지 클러스터에서 OSD를 제거하면 스토리지 클러스터에서 장치가 완전히 제거됩니다. OSD 배포에 동일한 장치를 사용하려면 먼저 장치 zap을 스토리지 클러스터에 추가해야 합니다.

4. 선택 사항: 특정 노드에서 여러 OSD를 제거하려면 다음 명령을 실행합니다.

   구문

   ceph orch osd rm OSD_ID OSD_ID --zap

   예제

   [ceph: root@host01 /]# ceph orch osd rm 2 5 --zap

5. OSD 제거 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm status
   OSD  HOST   STATE                    PGS  REPLACE  FORCE  ZAP   DRAIN STARTED AT
   9    host01 done, waiting for purge    0  False    False  True  2023-06-06 17:50:50.525690
   10   host03 done, waiting for purge    0  False    False  True  2023-06-06 17:49:38.731533
   11   host02 done, waiting for purge    0  False    False  True  2023-06-06 17:48:36.641105

   OSD에 PG가 남아 있지 않으면 클러스터에서 해제되고 제거됩니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 향후 참조를 위해 OSD 구성 매핑을 덤프하고 저장해야 합니다.

   예제

   [ceph: root@node /]# ceph osd metadata -f plain | grep device_paths
   "device_paths": "sde=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:1,sdi=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:1",
   "device_paths": "sde=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:1,sdf=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:1",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdg=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdh=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdk=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdl=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdj=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdm=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   [.. output omitted ..]

3. OSD를 교체해야 하는 장치 및 노드를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd tree

4. OSD를 교체합니다.

   중요

   스토리지 클러스터에 health_warn 또는 기타 오류가 연결된 경우 OSD를 교체하기 전에 오류를 확인하고 수정하여 데이터 손실을 방지합니다.

   구문

   ceph orch osd rm OSD_ID --replace [--force]

   스토리지 클러스터에 지속적인 작업이 있는 경우 --force 옵션을 사용할 수 있습니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

5. OSD 교체 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm status

6. 오케스트레이터를 중지하여 기존 OSD 사양을 적용합니다.

   예제

   [ceph: root@node /]# ceph orch pause
   [ceph: root@node /]# ceph orch status
   Backend: cephadm
   Available: Yes
   Paused: Yes

7. 제거된 OSD 장치를 zap합니다.

   예제

   [ceph: root@node /]# ceph orch device zap node.example.com /dev/sdi --force
   zap successful for /dev/sdi on node.example.com
   
   [ceph: root@node /]# ceph orch device zap node.example.com /dev/sdf --force
   zap successful for /dev/sdf on node.example.com

8. 일시 중지 모드에서 Orcestrator를 다시 시작

   예제

   [ceph: root@node /]# ceph orch resume

9. OSD 교체 상태를 확인합니다.

   예제

   [ceph: root@node /]# ceph osd tree
   ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
   -1         0.77112  root default
   -3         0.77112      host node
    0    hdd  0.09639          osd.0      up   1.00000  1.00000
    1    hdd  0.09639          osd.1      up   1.00000  1.00000
    2    hdd  0.09639          osd.2      up   1.00000  1.00000
    3    hdd  0.09639          osd.3      up   1.00000  1.00000
    4    hdd  0.09639          osd.4      up   1.00000  1.00000
    5    hdd  0.09639          osd.5      up   1.00000  1.00000
    6    hdd  0.09639          osd.6      up   1.00000  1.00000
    7    hdd  0.09639          osd.7      up   1.00000  1.00000
    [.. output omitted ..]

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD를 제거합니다.

   구문

   ceph orch osd rm OSD_ID [--replace]

   예제

   [ceph: root@host01 /]# ceph orch osd rm 8 --replace
   Scheduled OSD(s) for removal

3. OSD가 삭제되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd tree
   
   ID   CLASS  WEIGHT   TYPE NAME        STATUS     REWEIGHT  PRI-AFF
    -1         0.32297  root default
    -9         0.05177      host host10
     3    hdd  0.01520          osd.3           up   1.00000  1.00000
    13    hdd  0.02489          osd.13          up   1.00000  1.00000
    17    hdd  0.01169          osd.17          up   1.00000  1.00000
   -13         0.05177      host host11
     2    hdd  0.01520          osd.2           up   1.00000  1.00000
    15    hdd  0.02489          osd.15          up   1.00000  1.00000
    19    hdd  0.01169          osd.19          up   1.00000  1.00000
    -7         0.05835      host host12
    20    hdd  0.01459          osd.20          up   1.00000  1.00000
    21    hdd  0.01459          osd.21          up   1.00000  1.00000
    22    hdd  0.01459          osd.22          up   1.00000  1.00000
    23    hdd  0.01459          osd.23          up   1.00000  1.00000
    -5         0.03827      host host04
     1    hdd  0.01169          osd.1           up   1.00000  1.00000
     6    hdd  0.01129          osd.6           up   1.00000  1.00000
     7    hdd  0.00749          osd.7           up   1.00000  1.00000
     9    hdd  0.00780          osd.9           up   1.00000  1.00000
    -3         0.03816      host host05
     0    hdd  0.01169          osd.0           up   1.00000  1.00000
     8    hdd  0.01129          osd.8    destroyed         0  1.00000
    12    hdd  0.00749          osd.12          up   1.00000  1.00000
    16    hdd  0.00769          osd.16          up   1.00000  1.00000
   -15         0.04237      host host06
     5    hdd  0.01239          osd.5           up   1.00000  1.00000
    10    hdd  0.01540          osd.10          up   1.00000  1.00000
    11    hdd  0.01459          osd.11          up   1.00000  1.00000
   -11         0.04227      host host07
     4    hdd  0.01239          osd.4           up   1.00000  1.00000
    14    hdd  0.01529          osd.14          up   1.00000  1.00000
    18    hdd  0.01459          osd.18          up   1.00000  1.00000

4. zap 및 ceph-volume 명령을 사용하여 OSD를 제거합니다.

   구문

   ceph-volume lvm zap --osd-id OSD_ID

   예제

   [ceph: root@host01 /]# ceph-volume lvm zap --osd-id 8
   
   Zapping: /dev/vg1/data-lv2
   Closing encrypted path /dev/mapper/l4D6ql-Prji-IzH4-dfhF-xzuf-5ETl-jNRcXC
   Running command: /usr/sbin/cryptsetup remove /dev/mapper/l4D6ql-Prji-IzH4-dfhF-xzuf-5ETl-jNRcXC
   Running command: /usr/bin/dd if=/dev/zero of=/dev/vg1/data-lv2 bs=1M count=10 conv=fsync
    stderr: 10+0 records in
   10+0 records out
    stderr: 10485760 bytes (10 MB, 10 MiB) copied, 0.034742 s, 302 MB/s
   Zapping successful for OSD: 8

5. OSD 토폴로지를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph-volume lvm list

6. 특정 OSD 토폴로지에 해당하는 사양 파일을 사용하여 OSD를 다시 생성합니다.

   예제

   [ceph: root@host01 /]# cat osd.yml
   service_type: osd
   service_id: osd_service
   placement:
     hosts:
     - host03
   data_devices:
     paths:
     - /dev/vg1/data-lv2
   db_devices:
     paths:
      - /dev/vg1/db-lv1

7. 업데이트된 사양 파일을 적용합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply -i osd.yml
   Scheduled osd.osd_service update...

8. OSD가 다시 있는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph -s
   [ceph: root@host01 /]# ceph osd tree

프로세스

1. 클러스터의 장치를 확인합니다.

   예제

   [root@host01 ~]# lsblk
   
   NAME                                                                                                  MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
   sda                                                                                                     8:0    0   20G  0 disk
   ├─sda1                                                                                                  8:1    0    1G  0 part /boot
   └─sda2                                                                                                  8:2    0   19G  0 part
     ├─rhel-root                                                                                         253:0    0   17G  0 lvm  /
     └─rhel-swap                                                                                         253:1    0    2G  0 lvm  [SWAP]
   sdb                                                                                                     8:16   0   10G  0 disk
   └─ceph--5726d3e9--4fdb--4eda--b56a--3e0df88d663f-osd--block--3ceb89ec--87ef--46b4--99c6--2a56bac09ff0 253:2    0   10G  0 lvm
   sdc                                                                                                     8:32   0   10G  0 disk
   └─ceph--d7c9ab50--f5c0--4be0--a8fd--e0313115f65c-osd--block--37c370df--1263--487f--a476--08e28bdbcd3c 253:4    0   10G  0 lvm
   sdd                                                                                                     8:48   0   10G  0 disk
   ├─ceph--1774f992--44f9--4e78--be7b--b403057cf5c3-osd--db--31b20150--4cbc--4c2c--9c8f--6f624f3bfd89    253:7    0  2.5G  0 lvm
   └─ceph--1774f992--44f9--4e78--be7b--b403057cf5c3-osd--db--1bee5101--dbab--4155--a02c--e5a747d38a56    253:9    0  2.5G  0 lvm
   sde                                                                                                     8:64   0   10G  0 disk
   sdf                                                                                                     8:80   0   10G  0 disk
   └─ceph--412ee99b--4303--4199--930a--0d976e1599a2-osd--block--3a99af02--7c73--4236--9879--1fad1fe6203d 253:6    0   10G  0 lvm
   sdg                                                                                                     8:96   0   10G  0 disk
   └─ceph--316ca066--aeb6--46e1--8c57--f12f279467b4-osd--block--58475365--51e7--42f2--9681--e0c921947ae6 253:8    0   10G  0 lvm
   sdh                                                                                                     8:112  0   10G  0 disk
   ├─ceph--d7064874--66cb--4a77--a7c2--8aa0b0125c3c-osd--db--0dfe6eca--ba58--438a--9510--d96e6814d853    253:3    0    5G  0 lvm
   └─ceph--d7064874--66cb--4a77--a7c2--8aa0b0125c3c-osd--db--26b70c30--8817--45de--8843--4c0932ad2429    253:5    0    5G  0 lvm
   sr0

2. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

3. OSD 및 해당 DB 장치를 식별합니다.

   예제

   [ceph: root@host01 /]# ceph-volume lvm list /dev/sdh
   
   
   ====== osd.2 =======
   
     [db]          /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-0dfe6eca-ba58-438a-9510-d96e6814d853
   
         block device              /dev/ceph-5726d3e9-4fdb-4eda-b56a-3e0df88d663f/osd-block-3ceb89ec-87ef-46b4-99c6-2a56bac09ff0
         block uuid                GkWLoo-f0jd-Apj2-Zmwj-ce0h-OY6J-UuW8aD
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-0dfe6eca-ba58-438a-9510-d96e6814d853
         db uuid                   6gSPoc-L39h-afN3-rDl6-kozT-AX9S-XR20xM
         encrypted                 0
         osd fsid                  3ceb89ec-87ef-46b4-99c6-2a56bac09ff0
         osd id                    2
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sdh
   
   ====== osd.5 =======
   
     [db]          /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-26b70c30-8817-45de-8843-4c0932ad2429
   
         block device              /dev/ceph-d7c9ab50-f5c0-4be0-a8fd-e0313115f65c/osd-block-37c370df-1263-487f-a476-08e28bdbcd3c
         block uuid                Eay3I7-fcz5-AWvp-kRcI-mJaH-n03V-Zr0wmJ
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-26b70c30-8817-45de-8843-4c0932ad2429
         db uuid                   mwSohP-u72r-DHcT-BPka-piwA-lSwx-w24N0M
         encrypted                 0
         osd fsid                  37c370df-1263-487f-a476-08e28bdbcd3c
         osd id                    5
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sdh

4. osds.yaml 파일에서 관리되지 않는 매개변수를 true 로 설정하고, 기타 cephadm 은 OSD를 재배포합니다.

   예제

   [ceph: root@host01 /]# cat osds.yml
   service_type: osd
   service_id: non-colocated
   unmanaged: true
   placement:
     host_pattern: 'ceph*'
   data_devices:
     paths:
      - /dev/sdb
      - /dev/sdc
      - /dev/sdf
      - /dev/sdg
   db_devices:
     paths:
      - /dev/sdd
      - /dev/sdh

5. 업데이트된 사양 파일을 적용합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply -i osds.yml
   
   Scheduled osd.non-colocated update...

6. 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch ls
   
   NAME           PORTS        RUNNING  REFRESHED  AGE  PLACEMENT
   alertmanager   ?:9093,9094      1/1  9m ago     4d   count:1
   crash                           3/4  4d ago     4d   *
   grafana        ?:3000           1/1  9m ago     4d   count:1
   mgr                             1/2  4d ago     4d   count:2
   mon                             3/5  4d ago     4d   count:5
   node-exporter  ?:9100           3/4  4d ago     4d   *
   osd.non-colocated                 8  4d ago     5s   <unmanaged>
   prometheus     ?:9095           1/1  9m ago     4d   count:1

7. OSD를 제거합니다. OSD ID를 유지하려면 --zap 옵션을 사용하여 백엔드 서비스와 --replace 옵션을 제거해야 합니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm 2 5 --zap --replace
   Scheduled OSD(s) for removal

8. 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd df tree | egrep -i "ID|host02|osd.2|osd.5"
   
   ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP  META     AVAIL   %USE   VAR   PGS  STATUS     TYPE NAME
   -5         0.04877         -   55 GiB   15 GiB  4.1 MiB   0 B   60 MiB  40 GiB  27.27  1.17    -                 host02
    2    hdd  0.01219   1.00000   15 GiB  5.0 GiB  996 KiB   0 B   15 MiB  10 GiB  33.33  1.43    0  destroyed          osd.2
    5    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.0 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0  destroyed          osd.5

9. osds.yaml 사양 파일을 편집하여 관리되지 않는 매개변수를 false 로 변경하고 장치가 물리적으로 교체된 후 변경된 경우 DB 장치의 경로를 바꿉니다.

   예제

   [ceph: root@host01 /]# cat osds.yml
   service_type: osd
   service_id: non-colocated
   unmanaged: false
   placement:
     host_pattern: 'ceph01*'
   data_devices:
     paths:
      - /dev/sdb
      - /dev/sdc
      - /dev/sdf
      - /dev/sdg
   db_devices:
     paths:
      - /dev/sdd
      - /dev/sde

   위의 예에서 /dev/sdh 는 /dev/sde 로 교체됩니다.

   중요

   동일한 호스트 사양 파일을 사용하여 단일 OSD 노드에서 결함이 있는 DB 장치를 교체하는 경우, OSD 노드만 지정하도록 host_pattern 옵션을 수정하면 배포가 실패하고 다른 호스트에서 새 DB 장치를 찾을 수 없습니다.

10. 사양 파일을 --dry-run 옵션으로 다시 적용하여 새 DB 장치를 사용하여 OSD를 배포해야 합니다.

    예제

    [ceph: root@host01 /]# ceph orch apply -i osds.yml --dry-run
    WARNING! Dry-Runs are snapshots of a certain point in time and are bound
    to the current inventory setup. If any of these conditions change, the
    preview will be invalid. Please make sure to have a minimal
    timeframe between planning and applying the specs.
    ####################
    SERVICESPEC PREVIEWS
    ####################
    +---------+------+--------+-------------+
    |SERVICE  |NAME  |ADD_TO  |REMOVE_FROM  |
    +---------+------+--------+-------------+
    +---------+------+--------+-------------+
    ################
    OSDSPEC PREVIEWS
    ################
    +---------+-------+-------+----------+----------+-----+
    |SERVICE  |NAME   |HOST   |DATA      |DB        |WAL  |
    +---------+-------+-------+----------+----------+-----+
    |osd      |non-colocated  |host02  |/dev/sdb  |/dev/sde  |-    |
    |osd      |non-colocated  |host02  |/dev/sdc  |/dev/sde  |-    |
    +---------+-------+-------+----------+----------+-----+

11. 사양 파일을 적용합니다.

    예제

    [ceph: root@host01 /]# ceph orch apply -i osds.yml
    Scheduled osd.non-colocated update...

12. OSD가 재배포되었는지 확인합니다.

    예제

    [ceph: root@host01 /]# ceph osd df tree | egrep -i "ID|host02|osd.2|osd.5"
    
    ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP  META     AVAIL   %USE   VAR   PGS  STATUS  TYPE NAME
    -5         0.04877         -   55 GiB   15 GiB  4.5 MiB   0 B   60 MiB  40 GiB  27.27  1.17    -              host host02
     2    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.1 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0      up          osd.2
     5    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.1 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0      up          osd.5

검증

1. OSDS가 재배포되는 OSD 호스트에서 새 DB 장치에 있는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph-volume lvm list /dev/sde
   
   ====== osd.2 =======
   
     [db]          /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-1998a02e-5e67-42a9-b057-e02c22bbf461
   
         block device              /dev/ceph-a4afcb78-c804-4daf-b78f-3c7ad1ed0379/osd-block-564b3d2f-0f85-4289-899a-9f98a2641979
         block uuid                ITPVPa-CCQ5-BbFa-FZCn-FeYt-c5N4-ssdU41
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-1998a02e-5e67-42a9-b057-e02c22bbf461
         db uuid                   HF1bYb-fTK7-0dcB-CHzW-xvNn-dCym-KKdU5e
         encrypted                 0
         osd fsid                  564b3d2f-0f85-4289-899a-9f98a2641979
         osd id                    2
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sde
   
   ====== osd.5 =======
   
     [db]          /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-6c154191-846d-4e63-8c57-fc4b99e182bd
   
         block device              /dev/ceph-b37c8310-77f9-4163-964b-f17b4c29c537/osd-block-b42a4f1f-8e19-4416-a874-6ff5d305d97f
         block uuid                0LuPoz-ao7S-UL2t-BDIs-C9pl-ct8J-xh5ep4
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-6c154191-846d-4e63-8c57-fc4b99e182bd
         db uuid                   SvmXms-iWkj-MTG7-VnJj-r5Mo-Moiw-MsbqVD
         encrypted                 0
         osd fsid                  b42a4f1f-8e19-4416-a874-6ff5d305d97f
         osd id                    5
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sde

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. OSD가 제거되도록 시작된 장치 및 노드를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph osd tree

3. 대기 중인 OSD의 제거를 중지합니다.

   구문

   ceph orch osd rm stop OSD_ID

   예제

   [ceph: root@host01 /]# ceph orch osd rm stop 0

4. OSD 제거 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch osd rm status

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 호스트의 운영 체제가 다시 설치되면 OSD를 활성화합니다.

   구문

   ceph cephadm osd activate HOSTNAME

   예제

   [ceph: root@host01 /]# ceph cephadm osd activate host03

프로세스

1. 데이터 마이그레이션을 관찰하려면 다음을 수행합니다.

   예제

   [ceph: root@host01 /]# ceph -w

2. 배치 그룹 상태가 active+clean 에서 active, 일부 성능이 저하된 오브젝트, 마이그레이션이 완료되면 마지막으로 active+clean 으로 변경되는지 확인합니다.
3. 유틸리티를 종료하려면 Ctrl + C 를 누릅니다.

프로세스

1. Ceph Manager 데몬에서 prometheus 모듈을 활성화합니다. 이렇게 하면 Prometheus가 읽을 수 있도록 내부 Ceph 지표가 노출됩니다.

   예제

   [ceph: root@host01 /]# ceph mgr module enable prometheus

   중요

   Prometheus가 배포되기 전에 이 명령이 실행되었는지 확인합니다. 배포 전에 명령이 실행되지 않은 경우 구성을 업데이트하려면 Prometheus를 재배포해야 합니다.

   ceph orch redeploy prometheus

2. 다음 디렉터리로 이동합니다.

   구문

   cd /var/lib/ceph/DAEMON_PATH/

   예제

   [ceph: root@host01 mds/]# cd /var/lib/ceph/monitoring/

   참고

   디렉터리 모니터링이 없으면 생성합니다.

3. monitoring.yml 파일을 생성합니다.

   예제

   [ceph: root@host01 monitoring]# touch monitoring.yml

4. 다음 예와 유사한 콘텐츠로 사양 파일을 편집합니다.

   예제

   service_type: prometheus
   service_name: prometheus
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24
   ---
   service_type: node-exporter
   ---
   service_type: alertmanager
   service_name: alertmanager
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24
   ---
   service_type: grafana
   service_name: grafana
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24
   ---
   service_type: ceph-exporter

   참고

   모니터링 스택 구성 요소 alertmanager,prometheus, grafana 가 동일한 호스트에 배포되었는지 확인합니다. node-exporter 및 ceph-exporter 구성 요소를 모든 호스트에 배포해야 합니다.

5. 모니터링 서비스를 적용합니다.

   예제

   [ceph: root@host01 monitoring]# ceph orch apply -i monitoring.yml

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. ceph orch rm 명령을 사용하여 모니터링 스택을 제거합니다.

   구문

   ceph orch rm SERVICE_NAME --force

   예제

   [ceph: root@host01 /]# ceph orch rm grafana
   [ceph: root@host01 /]# ceph orch rm prometheus
   [ceph: root@host01 /]# ceph orch rm node-exporter
   [ceph: root@host01 /]# ceph orch rm ceph-exporter
   [ceph: root@host01 /]# ceph orch rm alertmanager
   [ceph: root@host01 /]# ceph mgr module disable prometheus

3. 프로세스 상태를 확인합니다.

   예제

   [ceph: root@host01 /]# ceph orch status

프로세스

1. 파일을 설정하려는 노드에서 /etc 폴더에 디렉터리 ceph 를 생성합니다.

   예제

   [root@host01 ~]# mkdir /etc/ceph/

2. /etc/ceph 디렉터리로 이동합니다.

   예제

   [root@host01 ~]# cd /etc/ceph/

3. ceph 디렉터리에 구성 파일을 생성합니다.

   예제

   [root@host01 ceph]# ceph config generate-minimal-conf
   
   # minimal ceph.conf for 417b1d7a-a0e6-11eb-b940-001a4a000740
   [global]
   	fsid = 417b1d7a-a0e6-11eb-b940-001a4a000740
   	mon_host = [v2:10.74.249.41:3300/0,v1:10.74.249.41:6789/0]

   이 파일의 내용은 /etc/ceph/ceph.conf 경로에 설치해야 합니다. 이 구성 파일을 사용하여 Ceph 모니터에 연결할 수 있습니다.

프로세스

1. 인증 키를 설정할 노드에서 /etc 폴더에 ceph 디렉터리를 생성합니다.

   예제

   [root@host01 ~]# mkdir /etc/ceph/

2. ceph 디렉터리의 /etc/ ceph 디렉터리로 이동합니다.

   예제

   [root@host01 ~]# cd /etc/ceph/

3. 클라이언트의 인증 키를 생성합니다.

   구문

   ceph auth get-or-create client.CLIENT_NAME -o /etc/ceph/NAME_OF_THE_FILE

   예제

   [root@host01 ceph]# ceph auth get-or-create client.fs -o /etc/ceph/ceph.keyring

4. ceph.keyring 파일의 출력을 확인합니다.

   예제

   [root@host01 ceph]# cat ceph.keyring
   
   [client.fs]
   	key = AQAvoH5gkUCsExAATz3xCBLd4n6B6jRv+Z7CVQ==

   결과 출력은 인증 키 파일(예: /etc/ceph/ceph.keyring )에 배치해야 합니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 배치 사양을 사용하여 MDS 데몬을 배포하는 방법은 다음 두 가지가 있습니다.

프로세스

1. mds.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch mds.yaml

2. 다음 세부 정보를 포함하도록 mds.yaml 파일을 편집합니다.

   구문

   service_type: mds
   service_id: FILESYSTEM_NAME
   placement:
     hosts:
     - HOST_NAME_1
     - HOST_NAME_2
     - HOST_NAME_3

   예제

   service_type: mds
   service_id: fs_name
   placement:
     hosts:
     - host01
     - host02

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount mds.yaml:/var/lib/ceph/mds/mds.yaml

4. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/mds/

5. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

6. 다음 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/mds/

7. 서비스 사양을 사용하여 MDS 서비스를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 mds]# ceph orch apply -i mds.yaml

8. MDS 서비스가 배포 및 작동되면 CephFS를 생성합니다.

   구문

   ceph fs new CEPHFS_NAME METADATA_POOL DATA_POOL

   예제

   [ceph: root@host01 /]# ceph fs new test metadata_pool data_pool

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. Ceph 개체 게이트웨이 데몬은 다음과 같은 세 가지 방법으로 배포할 수 있습니다.

프로세스

1. root 사용자로 사양 파일을 생성합니다.

   예제

   [root@host01 ~]# touch radosgw.yml

2. 기본 영역, 영역, 영역 그룹에 대한 다음 세부 정보를 포함하도록 radosgw.yml 파일을 편집합니다.

   구문

   service_type: rgw
   service_id: REALM_NAME.ZONE_NAME
   placement:
     hosts:
     - HOST_NAME_1
     - HOST_NAME_2
     count_per_host: NUMBER_OF_DAEMONS
   spec:
     rgw_realm: REALM_NAME
     rgw_zone: ZONE_NAME
     rgw_frontend_port: FRONT_END_PORT
   networks:
     -  NETWORK_CIDR # Ceph Object Gateway service binds to a specific network

   참고

   NUMBER_OF_DAEMONS 는 각 호스트에 배포된 Ceph Object Gateway 수를 제어합니다. 추가 비용이 발생하지 않고 최고 성능을 달성하려면 이 값을 2로 설정합니다.

   예제

   service_type: rgw
   service_id: default
   placement:
     hosts:
     - host01
     - host02
     - host03
     count_per_host: 2
   spec:
     rgw_realm: default
     rgw_zone: default
     rgw_frontend_port: 1234
   networks:
     - 192.169.142.0/24

3. 선택 사항: 사용자 지정 영역, 영역 및 영역 그룹의 경우 리소스를 생성한 다음 radosgw.yml 파일을 생성합니다.

   1. 사용자 지정 영역, 영역 및 영역 그룹을 생성합니다.

      예제

      [root@host01 ~]# radosgw-admin realm create --rgw-realm=test_realm
      [root@host01 ~]# radosgw-admin zonegroup create --rgw-zonegroup=test_zonegroup
      [root@host01 ~]# radosgw-admin zone create --rgw-zonegroup=test_zonegroup --rgw-zone=test_zone
      [root@host01 ~]# radosgw-admin period update --rgw-realm=test_realm --commit

   2. 다음 세부 정보를 사용하여 radosgw.yml 파일을 생성합니다.

      예제

      service_type: rgw
      service_id: test_realm.test_zone
      placement:
        hosts:
        - host01
        - host02
        - host03
        count_per_host: 2
      spec:
        rgw_realm: test_realm
        rgw_zone: test_zone
        rgw_frontend_port: 1234
      networks:
        - 192.169.142.0/24

4. radosgw.yml 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount radosgw.yml:/var/lib/ceph/radosgw/radosgw.yml

   참고

   쉘을 종료할 때마다 데몬을 배포하기 전에 컨테이너에 파일을 마운트해야 합니다.

5. 서비스 사양을 사용하여 Ceph Object Gateway를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yml

   예제

   [ceph: root@host01 /]# ceph orch apply -i radosgw.yml

프로세스

1. cephadm 쉘에서 기본 영역을 구성합니다.

   1. 영역을 생성합니다.

      구문

      radosgw-admin realm create --rgw-realm=REALM_NAME --default

      예제

      [ceph: root@host01 /]# radosgw-admin realm create --rgw-realm=test_realm --default

      스토리지 클러스터에 단일 영역이 있는 경우 --default 플래그를 지정합니다.

   2. 기본 영역 그룹을 생성합니다.

      구문

      radosgw-admin zonegroup create --rgw-zonegroup=ZONE_GROUP_NAME --endpoints=http://RGW_PRIMARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 --master --default

      예제

      [ceph: root@host01 /]# radosgw-admin zonegroup create --rgw-zonegroup=us --endpoints=http://rgw1:80 --master --default

   3. 기본 영역을 생성합니다.

      구문

      radosgw-admin zone create --rgw-zonegroup=PRIMARY_ZONE_GROUP_NAME --rgw-zone=PRIMARY_ZONE_NAME --endpoints=http://RGW_PRIMARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY

      예제

      [ceph: root@host01 /]# radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-east-1 --endpoints=http://rgw1:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   4. 선택 사항: 기본 영역, 영역 그룹 및 관련 풀을 삭제합니다.

      중요

      데이터를 저장하기 위해 기본 영역 및 영역 그룹을 사용하는 경우 기본 영역 및 해당 풀을 삭제하지 마십시오. 또한 기본 영역 그룹을 제거하면 시스템 사용자가 삭제됩니다.

      기본 영역 및 zonegroup에서 이전 데이터에 액세스하려면 radosgw-admin 명령에서 --rgw-zone default 및 --rgw-zonegroup 기본값 을 사용합니다.

      예제

      [ceph: root@host01 /]# radosgw-admin zonegroup delete --rgw-zonegroup=default
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.log default.rgw.log --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.meta default.rgw.meta --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.control default.rgw.control --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.data.root default.rgw.data.root --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.gc default.rgw.gc --yes-i-really-really-mean-it

   5. 시스템 사용자를 생성합니다.

      구문

      radosgw-admin user create --uid=USER_NAME --display-name="USER_NAME" --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY --system

      예제

      [ceph: root@host01 /]# radosgw-admin user create --uid=zone.user --display-name="Zone user" --system

      access_key 및 secret_key 를 기록합니다.

   6. 기본 영역에 액세스 키와 시스템 키를 추가합니다.

      구문

      radosgw-admin zone modify --rgw-zone=PRIMARY_ZONE_NAME --access-key=ACCESS_KEY --secret=SECRET_KEY

      예제

      [ceph: root@host01 /]# radosgw-admin zone modify --rgw-zone=us-east-1 --access-key=NE48APYCAODEPLKBCZVQ--secret=u24GHQWRE3yxxNBnFBzjM4jn14mFIckQ4EKL6LoW

   7. 변경 사항을 커밋합니다.

      구문

      radosgw-admin period update --commit

      예제

      [ceph: root@host01 /]# radosgw-admin period update --commit

   8. cephadm 쉘 외부에서 스토리지 클러스터 및 프로세스의 FSID 를 가져옵니다.

      예제

      [root@host01 ~]#  systemctl list-units | grep ceph

   9. Ceph Object Gateway 데몬을 시작합니다.

      구문

      systemctl start ceph-FSID@DAEMON_NAME
      systemctl enable ceph-FSID@DAEMON_NAME

      예제

      [root@host01 ~]# systemctl start ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-1.host01.ahdtsw.service
      [root@host01 ~]# systemctl enable ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-1.host01.ahdtsw.service

2. Cephadm 쉘에서 보조 영역을 구성합니다.

   1. 호스트에서 기본 영역 구성을 가져옵니다.

      구문

      radosgw-admin realm pull --url=URL_TO_PRIMARY_ZONE_GATEWAY --access-key=ACCESS_KEY --secret-key=SECRET_KEY

      예제

      [ceph: root@host04 /]# radosgw-admin realm pull --url=http://10.74.249.26:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   2. 호스트에서 기본 기간 구성을 가져옵니다.

      구문

      radosgw-admin period pull --url=URL_TO_PRIMARY_ZONE_GATEWAY --access-key=ACCESS_KEY --secret-key=SECRET_KEY

      예제

      [ceph: root@host04 /]# radosgw-admin period pull --url=http://10.74.249.26:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   3. 보조 영역을 구성합니다.

      구문

      radosgw-admin zone create --rgw-zonegroup=ZONE_GROUP_NAME \
                   --rgw-zone=SECONDARY_ZONE_NAME --endpoints=http://RGW_SECONDARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 \
                   --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY \
                   --endpoints=http://FQDN:80 \
                   [--read-only]

      예제

      [ceph: root@host04 /]# radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-east-2 --endpoints=http://rgw2:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ --endpoints=http://rgw.example.com:80

   4. 선택 사항: 기본 영역을 삭제합니다.

      중요

      데이터를 저장하기 위해 기본 영역 및 영역 그룹을 사용하는 경우 기본 영역 및 해당 풀을 삭제하지 마십시오.

      기본 영역 및 zonegroup에서 이전 데이터에 액세스하려면 radosgw-admin 명령에서 --rgw-zone default 및 --rgw-zonegroup 기본값 을 사용합니다.

      예제

      [ceph: root@host04 /]# radosgw-admin zone rm --rgw-zone=default
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.log default.rgw.log --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.meta default.rgw.meta --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.control default.rgw.control --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.data.root default.rgw.data.root --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.gc default.rgw.gc --yes-i-really-really-mean-it

   5. Ceph 구성 데이터베이스를 업데이트합니다.

      구문

      ceph config set SERVICE_NAME rgw_zone SECONDARY_ZONE_NAME

      예제

      [ceph: root@host04 /]# ceph config set rgw rgw_zone us-east-2

   6. 변경 사항을 커밋합니다.

      구문

      radosgw-admin period update --commit

      예제

      [ceph: root@host04 /]# radosgw-admin period update --commit

   7. Cephadm 쉘 외부에서 스토리지 클러스터 및 프로세스의 FSID를 가져옵니다.

      예제

      [root@host04 ~]#  systemctl list-units | grep ceph

   8. Ceph Object Gateway 데몬을 시작합니다.

      구문

      systemctl start ceph-FSID@DAEMON_NAME
      systemctl enable ceph-FSID@DAEMON_NAME

      예제

      [root@host04 ~]# systemctl start ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-2.host04.ahdtsw.service
      [root@host04 ~]# systemctl enable ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-2.host04.ahdtsw.service

3. 선택 사항: 배치 사양을 사용하여 다중 사이트 Ceph Object Gateway를 배포합니다.

   구문

   ceph orch apply rgw NAME --realm=REALM_NAME --zone=PRIMARY_ZONE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2"

   예제

   [ceph: root@host04 /]# ceph orch apply rgw east --realm=test_realm --zone=us-east-1 --placement="2 host01 host02"

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 서비스를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph orch ls

3. 서비스를 제거합니다.

   구문

   ceph orch rm SERVICE_NAME

   예제

   [ceph: root@host01 /]# ceph orch rm rgw.test_realm.test_zone_bb

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. mgr/nfs 모듈을 활성화합니다.

   예제

   [ceph: root@host01 /]# ceph mgr module enable nfs

3. 클러스터를 생성합니다.

   구문

   ceph nfs cluster create CLUSTER_NAME ["HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"]

   CLUSTER_NAME 은 임의의 문자열이며 HOST_NAME_1 은 NFS-Ganesha 데몬을 배포할 호스트를 나타내는 선택적 문자열입니다.

   예제

   [ceph: root@host01 /]# ceph nfs cluster create nfsganesha "host01 host02"
   NFS Cluster Created Successful

   그러면 host01 및 host02 에 하나의 데몬이 포함된 NFS_Ganesha 클러스터 nfsganesha 가 생성됩니다.

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. RADOS 풀 네임스페이스를 생성하고 애플리케이션을 활성화합니다. RBD 풀의 경우 RBD를 활성화합니다.

   구문

   ceph osd pool create POOL_NAME
   ceph osd pool application enable POOL_NAME freeform/rgw/rbd/cephfs/nfs
   rbd pool init -p POOL_NAME

   예제

   [ceph: root@host01 /]# ceph osd pool create nfs-ganesha
   [ceph: root@host01 /]# ceph osd pool application enable nfs-ganesha nfs
   [ceph: root@host01 /]# rbd pool init -p nfs-ganesha

3. 명령줄 인터페이스에서 배치 사양을 사용하여 NFS-Ganesha 게이트웨이를 배포합니다.

   구문

   ceph orch apply nfs SERVICE_ID --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

   예제

   [ceph: root@host01 /]# ceph orch apply nfs foo --placement="2 host01 host02"

   이렇게 하면 host01 및 host02 에 하나의 데몬이 포함된 NFS-Ganesha 클러스터 nfsganesha 가 배포됩니다.

프로세스

1. nfs.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch nfs.yaml

2. nfs.yaml 사양 파일을 편집합니다.

   구문

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2

   예제

   # cat nfs.yaml
   service_type: nfs
   service_id: foo
   placement:
     hosts:
       - host01
       - host02

   • 선택 사항: ganesha.yaml 사양 파일에 enable_nlm: true 를 추가하여 NLM에서 NFS 프로토콜 v3 지원에 대한 잠금을 지원할 수 있습니다.

     구문

     service_type: nfs
     service_id: SERVICE_ID
     placement:
       hosts:
         - HOST_NAME_1
         - HOST_NAME_2
     spec:
         enable_nlm: true

     예제

     # cat ganesha.yaml
     service_type: nfs
     service_id: foo
     placement:
       hosts:
         - host01
         - host02
     spec:
         enable_nlm: true

3. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount nfs.yaml:/var/lib/ceph/nfs.yaml

4. RADOS 풀, 네임스페이스를 생성하고 RBD를 활성화합니다.

   구문

   ceph osd pool create POOL_NAME
   ceph osd pool application enable POOL_NAME rbd
   rbd pool init -p POOL_NAME

   예제

   [ceph: root@host01 /]# ceph osd pool create nfs-ganesha
   [ceph: root@host01 /]# ceph osd pool application enable nfs-ganesha rbd
   [ceph: root@host01 /]# rbd pool init -p nfs-ganesha

5. 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/

6. 서비스 사양을 사용하여 NFS-Ganesha 게이트웨이를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. --ingress 플래그를 사용하여 NFS 클러스터를 생성합니다.

   구문

   ceph nfs cluster create CLUSTER_ID [PLACEMENT] [--port PORT_NUMBER] [--ingress --virtual-ip IP_ADDRESS/CIDR_PREFIX]

   • CLUSTER_ID 를 NFS Ganesha 클러스터의 이름을 지정할 고유한 문자열로 바꿉니다.
   • PLACEMENT 를 배포할 NFS 서버 수와 NFS Ganesha 데몬 컨테이너를 배포하려는 호스트 또는 호스트로 교체합니다.

   • --port PORT_NUMBER 플래그를 사용하여 기본 포트인 12049 이외의 포트에 NFS를 배포합니다.

     참고

     수신 모드에서는 고가용성 프록시가 포트 2049를 사용하고 NFS 서비스는 12049에 배포됩니다.

   • --virtual-ip 플래그와 결합된 --ingress 플래그는 고가용성 프런트 엔드(가상 IP 및 로드 밸런서)를 사용하여 NFS를 배포합니다.

   • --virtual-ip IP_ADDRESS 를 IP 주소로 교체하여 모든 클라이언트가 NFS 내보내기를 마운트하는 데 사용할 수 있는 알려진 안정적인 NFS 끝점을 제공합니다. --virtual-ip 에는 CIDR 접두사 길이를 포함해야 합니다. 가상 IP는 일반적으로 동일한 서브넷에 기존 IP가 있는 첫 번째 식별된 네트워크 인터페이스에서 구성됩니다.

     참고

     NFS 서비스에 할당하는 호스트 수는 배포하도록 요청하는 활성 NFS 서버 수보다 커야 합니다. placement: count 매개 변수로 지정됩니다. 아래 예제에서는 하나의 활성 NFS 서버가 요청되고 두 개의 호스트가 할당됩니다.

     예제

     [ceph: root@host01 /]# ceph nfs cluster create mycephnfs "1 host02 host03" --ingress --virtual-ip 10.10.128.75/22

     참고

     NFS 데몬 및 수신 서비스의 배포는 비동기적이며 서비스가 완전히 시작되기 전에 명령이 반환될 수 있습니다.

3. 서비스가 성공적으로 시작되었는지 확인합니다.

   구문

   ceph orch ls --service_name=nfs.CLUSTER_ID
   ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

   예제

   [ceph: root@host01 /]# ceph orch ls --service_name=nfs.mycephnfs
   
   NAME           PORTS    RUNNING  REFRESHED  AGE  PLACEMENT
   nfs.mycephnfs  ?:12049      2/2  0s ago     20s  host02;host03
   
   [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.mycephnfs
   
   NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
   ingress.nfs.mycephnfs  10.10.128.75:2049,9049      4/4   46s ago    73s  count:2

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. 기존 NFS 클러스터를 나열합니다.

   예제

   [ceph: root@host01 /]# ceph nfs cluster ls
   
   mynfs

   참고

   하나의 노드에서 독립 실행형 NFS 클러스터가 생성된 경우 HA의 두 개 이상의 노드로 늘려야 합니다. NFS 서비스를 늘리려면 nfs.yaml 파일을 편집하고 동일한 포트 번호로 배치를 늘립니다.

   NFS 서비스에 할당하는 호스트 수는 배포하도록 요청하는 활성 NFS 서버 수보다 커야 합니다. placement: count 매개 변수로 지정됩니다.

   구문

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2
     count: COUNT
   spec:
     port: PORT_NUMBER

   예제

   service_type: nfs
   service_id: mynfs
   placement:
     hosts:
       - host02
       - host03
     count: 1
   spec:
     port: 12345

   이 예에서 기존 NFS 서비스는 포트 12345 에서 실행 중이며 동일한 포트가 있는 NFS 클러스터에 추가 노드가 추가됩니다.

   nfs.yaml 서비스 사양 변경 사항을 적용하여 두 개의 노드 NFS 서비스로 업그레이드합니다.

   예제

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

3. 기존 NFS 클러스터 ID로 ingress.yaml 사양 파일을 편집합니다.

   구문

   service_type: SERVICE_TYPE
   service_id: SERVICE_ID
   placement:
     count: PLACEMENT
   spec:
     backend_service: SERVICE_ID_BACKEND 1
     frontend_port: FRONTEND_PORT
     monitor_port: MONITOR_PORT 2
     virtual_ip: VIRTUAL_IP_WITH_CIDR

   1

   SERVICE_ID_BACKEND 에는 동일한 호스트에 배치할 수 있는 수신 서비스와 충돌하지 않도록 PORT 속성이 2049 가 아니어야 합니다.

   2

   MONITOR_PORT 는 haproxy 로드 상태 페이지에 액세스하는 데 사용됩니다.

   예제

   service_type: ingress
   service_id: nfs.mynfs
   placement:
     count: 2
   spec:
     backend_service: nfs.mynfs
     frontend_port: 2049
     monitor_port: 9000
     virtual_ip: 10.10.128.75/22

4. 수신 서비스를 배포합니다.

   예제

   [ceph: root@host01 /]# ceph orch apply -i ingress.yaml

   참고

   NFS 데몬 및 수신 서비스의 배포는 비동기적이며 서비스가 완전히 시작되기 전에 명령이 반환될 수 있습니다.

5. 수신 서비스가 성공적으로 시작되었는지 확인합니다.

   구문

   ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

   예제

   [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.mynfs
   
   NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
   ingress.nfs.mynfs  10.10.128.75:2049,9000      4/4   4m ago     22m  count:2

프로세스

1. Cephadm 쉘에 로그인합니다.

   예제

   [root@host01 ~]# cephadm shell

2. NFS 모듈이 활성화되었는지 확인합니다.

   예제

   [ceph: root@host01 /]# ceph mgr module ls | more

3. Cephadm 쉘을 종료하고 nfs.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch nfs.yaml

4. 다음 세부 정보를 포함하도록 nfs.yaml 파일을 편집합니다.

   구문

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2
     count: COUNT
   spec:
     port: PORT_NUMBER

   참고

   NFS 서비스에 할당하는 호스트 수는 배포하도록 요청하는 활성 NFS 서버 수보다 커야 합니다. placement: count 매개 변수로 지정됩니다.

   예제

   service_type: nfs
   service_id: cephfsnfs
   placement:
     hosts:
       - host02
       - host03
     count: 1
   spec:
     port: 12345

   이 예에서 서버는 host02 및 host03에서 기본 포트 2049 대신 12345 의 기본 포트에서 실행됩니다.

5. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

   예제

   [root@host01 ~]# cephadm shell --mount nfs.yaml:/var/lib/ceph/nfs.yaml

6. Cephadm 쉘에 로그인하고 디렉터리로 이동합니다.

   예제

   [ceph: root@host01 /]# cd /var/lib/ceph/

7. 서비스 사양을 사용하여 NFS 서비스를 배포합니다.

   구문

   ceph orch apply -i FILE_NAME.yaml

   예제

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

   참고

   NFS 서비스의 배포는 비동기적이며 서비스가 완전히 시작되기 전에 명령이 반환될 수 있습니다.

8. NFS 서비스가 성공적으로 시작되었는지 확인합니다.

   구문

   ceph orch ls --service_name=nfs.CLUSTER_ID

   예제

   [ceph: root@host01 /]# ceph orch ls --service_name=nfs.cephfsnfs
   
   NAME           PORTS    RUNNING  REFRESHED  AGE  PLACEMENT
   nfs.cephfsnfs  ?:12345      2/2  3m ago     13m  host02;host03

9. Cephadm 쉘에서 종료하고 ingress.yaml 파일을 생성합니다.

   예제

   [root@host01 ~]# touch ingress.yaml

10. 다음 세부 정보를 포함하도록 ingress.yaml 파일을 편집합니다.

    구문

    service_type: SERVICE_TYPE
    service_id: SERVICE_ID
    placement:
      count: PLACEMENT
    spec:
      backend_service: SERVICE_ID_BACKEND
      frontend_port: FRONTEND_PORT
      monitor_port: MONITOR_PORT
      virtual_ip: VIRTUAL_IP_WITH_CIDR

    예제

    service_type: ingress
    service_id: nfs.cephfsnfs
    placement:
      count: 2
    spec:
      backend_service: nfs.cephfsnfs
      frontend_port: 2049
      monitor_port: 9000
      virtual_ip: 10.10.128.75/22

    참고

    이 예제에서 placement: count: 2 는 keepalived 및 haproxy 서비스를 임의의 노드에 배포합니다. keepalived 및 haproxy 를 배포할 노드를 지정하려면 placement: hosts 옵션을 사용합니다.

    예제

    service_type: ingress
    service_id: nfs.cephfsnfs
    placement:
      hosts:
        - host02
        - host03

11. YAML 파일을 컨테이너의 디렉터리에 마운트합니다.

    예제

    [root@host01 ~]# cephadm shell --mount ingress.yaml:/var/lib/ceph/ingress.yaml

12. Cephadm 쉘에 로그인하고 디렉터리로 이동합니다.

    예제

    [ceph: root@host01 /]# cd /var/lib/ceph/

13. 서비스 사양을 사용하여 수신 서비스를 배포합니다.

    구문

    ceph orch apply -i FILE_NAME.yaml

    예제

    [ceph: root@host01 ceph]# ceph orch apply -i ingress.yaml

14. 수신 서비스가 성공적으로 시작되었는지 확인합니다.

    구문

    ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

    예제

    [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.cephfsnfs
    
    NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
    ingress.nfs.cephfsnfs  10.10.128.75:2049,9000      4/4   4m ago     22m  count:2