手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. 以下のいずれかの方法を使用して、ホストにデーモンをデプロイします。

   • 方法 1: デーモンの数とホスト名を指定します。

     構文

     ceph orch apply SERVICE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

     例:

     [ceph: root@host01 /]# ceph orch apply mon --placement="3 host01 host02 host03"

   • 方法 2: ラベルをホストに追加してから、ラベルを使用してデーモンをデプロイします。

     1. ホストにラベルを追加します。

        構文

        ceph orch host label add HOSTNAME_1 LABEL

        例

        [ceph: root@host01 /]# ceph orch host label add host01 mon

     2. ラベルでデーモンをデプロイします。

        構文

        ceph orch apply DAEMON_NAME label:LABEL

        例:

        ceph orch apply mon label:mon

   • 方法 3: ラベルをホストに追加し、--placement 引数を使用してデプロイします。

     1. ホストにラベルを追加します。

        構文

        ceph orch host label add HOSTNAME_1 LABEL

        例

        [ceph: root@host01 /]# ceph orch host label add host01 mon

     2. ラベルの配置仕様を使用してデーモンをデプロイします。

        構文

        ceph orch apply DAEMON_NAME --placement="label:LABEL"

        例

        ceph orch apply mon --placement="label:mon"

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. Ceph デーモンをデプロイするホストをリスト表示します。

   例

   [ceph: root@host01 /]# ceph orch host ls

3. デーモンをデプロイします。

   構文

   ceph orch apply SERVICE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 _HOST_NAME_2 HOST_NAME_3"

   例

   ceph orch apply mgr --placement="2 host01 host02 host03"

   この例では、mgr デーモンは、2 つのホストにのみデプロイされます。

手順

1. yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch mon.yaml

2. このファイルは 2 つの方法で設定できます。

   • ファイルを編集して、配置仕様にホストの詳細を含めます。

     構文

     service_type: SERVICE_NAME
     placement:
       hosts:
         - HOST_NAME_1
         - HOST_NAME_2

     例

     service_type: mon
     placement:
       hosts:
         - host01
         - host02
         - host03

   • ファイルを編集し、ラベルの詳細を配置仕様に含めます。

     構文

     service_type: SERVICE_NAME
     placement:
       label: "LABEL_1"

     例:

     service_type: mon
     placement:
       label: "mon"

3. オプション: サービスのデプロイ中に、CPU、CA 証明書、その他のファイルなどのサービス仕様ファイルで追加のコンテナー引数を使用することもできます。

   例:

   extra_container_args:
     - "-v"
     - "/etc/pki/ca-trust/extracted:/etc/pki/ca-trust/extracted:ro"
     - "--security-opt"
     - "label=disable"
     - "cpus=2"

4. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount mon.yaml:/var/lib/ceph/mon/mon.yaml

5. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/mon/

6. サービス仕様を使用して Ceph デーモンをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 mon]# ceph orch apply -i mon.yaml

手順

1. Ceph 管理ノードから、Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. クラスターの SSH 公開鍵をフォルダーにデプロイメントします。

   構文

   ceph cephadm get-pub-key > ~/PATH

   例

   [ceph: root@host01 /]# ceph cephadm get-pub-key > ~/ceph.pub

3. Ceph クラスターの SSH 公開鍵を、新たなホストの root ユーザーの authorized_keys ファイルにコピーします。

   構文

   ssh-copy-id -f -i ~/PATH root@HOST_NAME_2

   例:

   [ceph: root@host01 /]# ssh-copy-id -f -i ~/ceph.pub root@host02

4. Ansible 管理ノードから、新しいホストを Ansible インベントリーファイルに追加します。ファイルのデフォルトの場所は /usr/share/cephadm-ansible/hosts/ です。以下の例は、一般的なインベントリーファイルの構造を示しています。

   例:

   host01
   host02
   host03
   
   [admin]
   host00

   注記

   以前に新しいホストを Ansible インベントリーファイルに追加し、ホストでプリフライト Playbook を実行している場合は、ステップ 6 に進みます。

5. --limit オプションを指定して、プリフライト Playbook を実行します。

   構文

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit NEWHOST

   例:

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=rhcs" --limit host02

   プリフライト Playbook は、新しいホストに podman、lvm2、chronyd、および cephadm をインストールします。インストールが完了すると、cephadm は /usr/sbin/ ディレクトリーに配置されます。

6. Ceph 管理ノードから、Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

7. cephadm オーケストレーターを使用して、ストレージクラスターにホストを追加します。

   構文

   ceph orch host add HOST_NAME IP_ADDRESS_OF_HOST [--label=LABEL_NAME_1,LABEL_NAME_2]

   --label オプションは任意です。これを使用すると、ホストの追加時にラベルが追加されます。ホストには複数のラベルを追加できます。

   例:

   [ceph: root@host01 /]# ceph orch host add host02 10.10.128.70 --labels=mon,mgr

手順

1. hosts.yaml ファイルを編集し、以下の詳細を含めます。

   例:

   service_type: host
   hostname: host01
   addr: 192.168.0.11
   location:
     rack: rack1

2. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount hosts.yaml:/var/lib/ceph/hosts.yaml

3. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/

4. サービス仕様を使用してホストをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 ceph]# ceph orch apply -i hosts.yaml

手順

1. hosts.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch hosts.yaml

2. hosts.yaml ファイルを編集し、以下の詳細を含めます。

   例:

   service_type: host
   addr: host01
   hostname: host01
   labels:
   - mon
   - osd
   - mgr
   ---
   service_type: host
   addr: host02
   hostname: host02
   labels:
   - mon
   - osd
   - mgr
   ---
   service_type: host
   addr: host03
   hostname: host03
   labels:
   - mon
   - osd

3. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount hosts.yaml:/var/lib/ceph/hosts.yaml

4. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/

5. サービス仕様を使用してホストをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 hosts]# ceph orch apply -i hosts.yaml

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. クラスターのホストをリスト表示します。

   例

   [ceph: root@host01 /]# ceph orch host ls

   ホストの STATUS が空白であることを確認できます。これは想定内です。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ホストにラベルを追加します。

   構文

   ceph orch host label add HOST_NAME LABEL_NAME

   例

   [ceph: root@host01 /]# ceph orch host label add host02 mon

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. ホストの詳細を取得します。

   例:

   [ceph: root@host01 /]# ceph orch host ls

3. ホストからすべてのデーモンをドレインします。

   構文

   ceph orch host drain HOSTNAME

   例:

   [ceph: root@host01 /]# ceph orch host drain host02

   _no_schedule ラベルは、デプロイメントをブロックするホストに自動的に適用されます。

4. OSD の削除のステータスを確認します。

   例:

   [ceph: root@host01 /]# ceph orch osd rm status

   OSD に配置グループ (PG) が残っていない場合、OSD は廃止され、ストレージクラスターから削除されます。

5. ストレージクラスターからすべてのデーモンが削除されているかどうかを確認します。

   構文

   ceph orch ps HOSTNAME

   例:

   [ceph: root@host01 /]# ceph orch ps host02

6. ホストを削除。

   構文

   ceph orch host rm HOSTNAME

   例

   [ceph: root@host01 /]# ceph orch host rm host02

1. orch host ok-to stop コマンドを実行して、ホストの削除がデータの可用性に影響しないことを確認します。
2. ホストに Ceph OSD デーモンがある場合、ホストサブツリーに noout を適用して、計画されたメンテナンススロット中にデータ移行がトリガーされないようにします。
3. Ceph ターゲットを停止して、すべてのデーモンを停止します。
4. ホストで ceph target を無効にして、再起動によって Ceph サービスが自動的に開始されないようにします。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ホストをメンテナンスモードにしたり、メンテナンスモードから解除したりできます。

   • ホストをメンテナンスモードにします。

     構文

     ceph orch host maintenance enter HOST_NAME [--force]

     例

     [ceph: root@host01 /]# ceph orch host maintenance enter host02 --force

     --force フラグを使用すると、ユーザーは警告を回避できますが、アラートは回避できません。

   • ホストをメンテナンスモードから解除します。

     構文

     ceph orch host maintenance exit HOST_NAME

     例

     [ceph: root@host01 /]# ceph orch host maintenance exit host02

1. classic - これは、2 つのサイト間のエレクターモジュールに基づいて、最も低いランクのモニターが投票されるデフォルトのモードです。
2. disallow - このモードでは、モニターを不許可とマークできます。この場合、モニターはクォーラムに参加してクライアントにサービスを提供しますが、選出されたリーダーになることはできません。これにより、許可されていないリーダーのリストにモニターを追加できます。モニターが許可されていないリストにある場合、そのモニターは常に別のモニターに先送りされます。
3. connectivity - このモードは、主にネットワークの不一致を解決するために使用されます。各モニターがピアに対して提供する、liveness をチェックする ping に基づいて接続スコアを評価し、最も接続性が高く信頼性の高いモニターをリーダーに選択します。このモードは、クラスターが複数のデータセンターにまたがっている場合や影響を受けやすい場合に発生する可能性のあるネット分割を処理するように設計されています。このモードでは接続スコア評価が組み込まれ、最良スコアのモニターが選択されます。特定のモニターをリーダーにする必要がある場合は、特定のモニターがリスト内でランクが 0 の最初のモニターになるように選択ストラテジーを設定します。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. Ceph モニターデーモンをデプロイするには、以下の 4 つの方法があります。

手順

1. mon.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch mon.yaml

2. mon.yml ファイルを編集し、以下の詳細を含めます。

   構文

   service_type: mon
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2

   例:

   service_type: mon
   placement:
     hosts:
       - host01
       - host02

3. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount mon.yaml:/var/lib/ceph/mon/mon.yaml

4. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/mon/

5. モニターデーモンをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 mon]# ceph orch apply -i mon.yaml

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. 自動化されたモニターのデプロイメントを無効にします。

   例

   [ceph: root@host01 /]# ceph orch apply mon --unmanaged

3. 特定ネットワーク上のホストにモニターをデプロイします。

   構文

   ceph orch daemon add mon HOST_NAME_1:IP_OR_NETWORK

   例

   [ceph: root@host01 /]# ceph orch daemon add mon host03:10.1.2.123

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ceph orch apply コマンドを実行して、必要なモニターデーモンをデプロイします。

   構文

   ceph orch apply mon “NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_3”

   host02 から monitor デーモンを削除する場合は、他のホストにモニターを再デプロイします。

   例

   [ceph: root@host01 /]# ceph orch apply mon “2 host01 host03”

手順

1. 存続しているモニターを特定し、ホストにログインします。

   構文

   ssh root@MONITOR_ID

   例:

   [root@admin ~]# ssh root@host00

2. 各 Ceph Monitor ホストにログインし、すべての Ceph Monitor を停止します。

   構文

   cephadm unit --name DAEMON_NAME.HOSTNAME stop

   例:

   [root@host00 ~]# cephadm unit --name mon.host00 stop

3. 拡張デーモンのメンテナンスに適した環境と、デーモンを対話的に実行するための環境を設定します。

   構文

   cephadm shell --name DAEMON_NAME.HOSTNAME

   例:

   [root@host00 ~]# cephadm shell --name mon.host00

4. monmap ファイルのコピーを抽出します。

   構文

   ceph-mon -i HOSTNAME --extract-monmap TEMP_PATH

   例

   [ceph: root@host00 /]# ceph-mon -i host01 --extract-monmap /tmp/monmap
   
   2022-01-05T11:13:24.440+0000 7f7603bd1700 -1 wrote monmap to /tmp/monmap

5. Ceph Monitor 以外を削除します。

   構文

   monmaptool TEMPORARY_PATH --rm HOSTNAME

   例

   [ceph: root@host00 /]# monmaptool /tmp/monmap --rm host01

6. 削除されたモニターを含む存続しているモニターマップを、存続している Ceph モニターに挿入します。

   構文

   ceph-mon -i HOSTNAME --inject-monmap TEMP_PATH

   例:

   [ceph: root@host00 /]# ceph-mon -i host00 --inject-monmap /tmp/monmap

7. 存続しているモニターのみを起動します。

   構文

   cephadm unit --name DAEMON_NAME.HOSTNAME start

   例:

   [root@host00 ~]# cephadm unit --name mon.host00 start

8. モニターがクォーラムを形成していることを確認します。

   例:

   [ceph: root@host00 /]# ceph -s

9. オプション: 削除された Ceph Monitor のデータディレクトリーを /var/lib/ceph/CLUSTER_FSID/mon.HOSTNAME ディレクトリーにアーカイブします。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. マネージャーデーモンをデプロイする方法は 2 つあります。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ceph orch apply コマンドを実行して、必要なマネージャーデーモンを再デプロイします。

   構文

   ceph orch apply mgr "NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_3"

   host02 からマネージャーデーモンを削除する場合は、他のホストにマネージャーデーモンを再デプロイします。

   例

   [ceph: root@host01 /]# ceph orch apply mgr "2 host01 host03"

手順

1. balancer モジュールが有効になっていることを確認します。

   例

   [ceph: root@host01 /]# ceph mgr module enable balancer

2. balancer モジュールをオンにします。

   例:

   [ceph: root@host01 /]# ceph balancer on

3. デフォルトのモードは upmap です。モードは以下のように変更できます。

   例

   [ceph: root@host01 /]# ceph balancer mode crush-compact

   または、以下を実行します。

   例

   [ceph: root@host01 /]# ceph balancer mode upmap

1. プラン の構築。
2. 現在の PG ディストリビューションまたは プラン 実行後に得られる PG ディストリビューションに対するデータ分散の品質の評価。

3. プラン の実行。

   • 現在のディストリビューションを評価し、スコアを付けます。

     例

     [ceph: root@host01 /]# ceph balancer eval

   • 単一プールのディストリビューションを評価するには、以下を実行します。

     構文

     ceph balancer eval POOL_NAME

     例

     [ceph: root@host01 /]# ceph balancer eval rbd

   • 評価の詳細を表示するには、以下を実行します。

     例

     [ceph: root@host01 /]# ceph balancer eval-verbose ...

   • 現在設定されているモードを使用してプランを生成するには、以下を実行します。

     構文

     ceph balancer optimize PLAN_NAME

     PLAN_NAME は、カスタムプラン名に置き換えます。

     例

     [ceph: root@host01 /]# ceph balancer optimize rbd_123

   • プランの内容を表示するには、以下を実行します。

     構文

     ceph balancer show PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer show rbd_123

   • 古いプランを破棄するには、以下を実行します。

     構文

     ceph balancer rm PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer rm rbd_123

   • 現在記録されているプランを表示するには、status コマンドを使用します。

     [ceph: root@host01 /]# ceph balancer status

   • プラン実行後に生じるディストリビューションの品質を計算するには、以下を実行します。

     構文

     ceph balancer eval PLAN_NAME

     例

     [ceph: root@host01 /]# ceph balancer eval rbd_123

   • プランを実行するには、以下を実行します。

     構文

     ceph balancer execute PLAN_NAME

     例:

     [ceph: root@host01 /]# ceph balancer execute rbd_123

     注記

     ディストリビューションの改善が想定される場合にのみ、プランを実行します。実行後、プランは破棄されます。

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. アラートモジュールを有効にします。

   例:

   [ceph: root@host01 /]# ceph mgr module enable alerts

3. アラートモジュールが有効になっていることを確認します。

   例:

   [ceph: root@host01 /]# ceph mgr module ls | more
   {
       "always_on_modules": [
           "balancer",
           "crash",
           "devicehealth",
           "orchestrator",
           "pg_autoscaler",
           "progress",
           "rbd_support",
           "status",
           "telemetry",
           "volumes"
       ],
       "enabled_modules": [
           "alerts",
           "cephadm",
           "dashboard",
           "iostat",
           "nfs",
           "prometheus",
           "restful"
       ]

4. Simple Mail Transfer Protocol (SMTP) を設定します。

   構文

   ceph config set mgr mgr/alerts/smtp_host SMTP_SERVER
   ceph config set mgr mgr/alerts/smtp_destination RECEIVER_EMAIL_ADDRESS
   ceph config set mgr mgr/alerts/smtp_sender SENDER_EMAIL_ADDRESS

   例:

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_host smtp.example.com
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_destination example@example.com
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_sender example2@example.com

5. オプション: ポートを 465 に変更します。

   構文

   ceph config set mgr mgr/alerts/smtp_port PORT_NUMBER

   例:

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_port 587

   重要

   SSL は、Red Hat Ceph Storage 5 クラスターではサポートされていません。アラートの設定中に smtp_ssl パラメーターを設定しないでください。

6. SMTP サーバーへの認証:

   構文

   ceph config set mgr mgr/alerts/smtp_user USERNAME
   ceph config set mgr mgr/alerts/smtp_password PASSWORD

   例:

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_user admin1234
   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_password admin1234

7. オプション: デフォルトでは、SMTP From 名は Ceph です。これを変更するには、smtp_from_name パラメーターを設定します。

   構文

   ceph config set mgr mgr/alerts/smtp_from_name CLUSTER_NAME

   例:

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/smtp_from_name 'Ceph Cluster Test'

8. オプション: デフォルトでは、アラートモジュールはストレージクラスターの健全性を毎分チェックし、クラスターの健全ステータスに変更があった場合にメッセージを送信します。頻度を変更するには、interval パラメーターを設定します。

   構文

   ceph config set mgr mgr/alerts/interval INTERVAL

   例:

   [ceph: root@host01 /]# ceph config set mgr mgr/alerts/interval "5m"

   この例では、間隔は 5 分に設定されています。

9. オプション: アラートをすぐに送信します。

   例:

   [ceph: root@host01 /]# ceph alerts send

手順

1. crash モジュールが有効になっていることを確認します。

   例

   [ceph: root@host01 /]# ceph mgr module ls | more
   {
       "always_on_modules": [
           "balancer",
           "crash",
           "devicehealth",
           "orchestrator_cli",
           "progress",
           "rbd_support",
           "status",
           "volumes"
       ],
       "enabled_modules": [
           "dashboard",
           "pg_autoscaler",
           "prometheus"
       ]

2. クラッシュダンプの保存: meta ファイルは、メタとして crash ディレクトリーに保存されている JSON blob です。ceph コマンド -i - オプションを呼び出すことができます。これは、stdin から読み取ります。

   例

   [ceph: root@host01 /]# ceph crash post -i meta

3. 新しいクラッシュ情報およびアーカイブされたすべてのクラッシュ情報のタイムスタンプまたは UUID クラッシュ ID を表示します。

   例

   [ceph: root@host01 /]# ceph crash ls

4. すべての新規クラッシュ情報のタイムスタンプまたは UUID クラッシュ ID をリスト表示します。

   例

   [ceph: root@host01 /]# ceph crash ls-new

5. すべての新規クラッシュ情報のタイムスタンプまたは UUID クラッシュ ID をリスト表示します。

   例

   [ceph: root@host01 /]# ceph crash ls-new

6. 保存されたクラッシュ情報の概要を経過時間別にグループ化してリスト表示します。

   例

   [ceph: root@host01 /]# ceph crash stat
   8 crashes recorded
   8 older than 1 days old:
   2022-05-20T08:30:14.533316Z_4ea88673-8db6-4959-a8c6-0eea22d305c2
   2022-05-20T08:30:14.590789Z_30a8bb92-2147-4e0f-a58b-a12c2c73d4f5
   2022-05-20T08:34:42.278648Z_6a91a778-bce6-4ef3-a3fb-84c4276c8297
   2022-05-20T08:34:42.801268Z_e5f25c74-c381-46b1-bee3-63d891f9fc2d
   2022-05-20T08:34:42.803141Z_96adfc59-be3a-4a38-9981-e71ad3d55e47
   2022-05-20T08:34:42.830416Z_e45ed474-550c-44b3-b9bb-283e3f4cc1fe
   2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d
   2022-05-24T19:58:44.315282Z_1847afbc-f8a9-45da-94e8-5aef0738954e

7. 保存したクラッシュの詳細を表示します。

   構文

   ceph crash info CRASH_ID

   例

   [ceph: root@host01 /]# ceph crash info 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d
   {
       "assert_condition": "session_map.sessions.empty()",
       "assert_file": "/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc",
       "assert_func": "virtual Monitor::~Monitor()",
       "assert_line": 287,
       "assert_msg": "/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc: In function 'virtual Monitor::~Monitor()' thread 7f67a1aeb700 time 2022-05-24T19:58:42.545485+0000\n/builddir/build/BUILD/ceph-16.1.0-486-g324d7073/src/mon/Monitor.cc: 287: FAILED ceph_assert(session_map.sessions.empty())\n",
       "assert_thread_name": "ceph-mon",
       "backtrace": [
           "/lib64/libpthread.so.0(+0x12b30) [0x7f679678bb30]",
           "gsignal()",
           "abort()",
           "(ceph::__ceph_assert_fail(char const*, char const*, int, char const*)+0x1a9) [0x7f6798c8d37b]",
           "/usr/lib64/ceph/libceph-common.so.2(+0x276544) [0x7f6798c8d544]",
           "(Monitor::~Monitor()+0xe30) [0x561152ed3c80]",
           "(Monitor::~Monitor()+0xd) [0x561152ed3cdd]",
           "main()",
           "__libc_start_main()",
           "_start()"
       ],
       "ceph_version": "16.2.8-65.el8cp",
       "crash_id": "2022-07-06T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d",
       "entity_name": "mon.ceph-adm4",
       "os_id": "rhel",
       "os_name": "Red Hat Enterprise Linux",
       "os_version": "8.5 (Ootpa)",
       "os_version_id": "8.5",
       "process_name": "ceph-mon",
       "stack_sig": "957c21d558d0cba4cee9e8aaf9227b3b1b09738b8a4d2c9f4dc26d9233b0d511",
       "timestamp": "2022-07-06T19:58:42.549073Z",
       "utsname_hostname": "host02",
       "utsname_machine": "x86_64",
       "utsname_release": "4.18.0-240.15.1.el8_3.x86_64",
       "utsname_sysname": "Linux",
       "utsname_version": "#1 SMP Wed Jul 06 03:12:15 EDT 2022"
   }

8. KEEP の日数より古い保存済みクラッシュを削除します。ここで、KEEP は整数である必要があります。

   構文

   ceph crash prune KEEP

   例

   [ceph: root@host01 /]# ceph crash prune 60

9. RECENT_CRASH ヘルスチェックで考慮されなくなり、crash ls-new の出力に表示されないようにクラッシュレポートをアーカイブします。crash ls に表示されます。

   構文

   ceph crash archive CRASH_ID

   例

   [ceph: root@host01 /]# ceph crash archive 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d

10. すべてのクラッシュレポートをアーカイブします。

    例

    [ceph: root@host01 /]# ceph crash archive-all

11. クラッシュダンプを削除します。

    構文

    ceph crash rm CRASH_ID

    例

    [ceph: root@host01 /]# ceph crash rm 2022-05-24T19:58:42.549073Z_b2382865-ea89-4be2-b46f-9a59af7b7a2d

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. OSD をデプロイするために利用可能なデバイスをリスト表示します。

   構文

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   例

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

   --wide オプションを使用すると、デバイスが OSD として使用できない可能性がある理由など、デバイスに関連するすべての詳細が提供されます。このオプションは、NVMe デバイスをサポートしません。

3. 任意手順: ceph orch device ls の出力で Health、Ident および Fault フィールドを有効にするには、以下のコマンドを実行します。

   注記

   これらのフィールドは libstoragemgmt ライブラリーによってサポートされ、現時点では SCSI、SAS、SATA デバイスをサポートします。

   1. Cephadm シェルの外部で root ユーザーとして、ハードウェアと libstoragemgmt ライブラリーとの互換性を確認して、サービスの予期しない中断を回避します。

      例:

      [root@host01 ~]# cephadm shell lsmcli ldl

      この出力で、それぞれの SCSI VPD 0x83 ID で Health Status が Good と表示されます。

      注記

      この情報を取得しないと、フィールドを有効にした場合にデバイスで異常な挙動が発生する可能性があります。

   2. Cephadm シェルに再度ログインし、libstoragemgmt サポートを有効にします。

      例:

      [root@host01 ~]# cephadm shell
      [ceph: root@host01 /]# ceph config set mgr mgr/cephadm/device_enhanced_scan true

      これが有効化されると、ceph orch device ls を実行した場合、Health フィールドの出力は Good になります。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. OSD をデプロイするために利用可能なデバイスをリスト表示します。

   構文

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   例

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. デバイスのデータをクリアします。

   構文

   ceph orch device zap HOSTNAME FILE_PATH --force

   例

   [ceph: root@host01 /]# ceph orch device zap host02 /dev/sdb --force

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. OSD をデプロイするために利用可能なデバイスをリスト表示します。

   構文

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   例

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. すべての利用可能なデバイスに OSD をデプロイします。

   例

   [ceph: root@host01 /]# ceph orch apply osd --all-available-devices

   ceph orch apply の影響は永続的であり、Orchestrator は自動的にデバイスを見つけ、それをクラスターに追加し、新しい OSD を作成します。これは、以下の条件下で実行されます。

   • 新しいディスクまたはドライブがシステムに追加される。
   • 既存のディスクまたはドライブは消去される。

   • OSD は削除され、デバイスは消去される。

     --unmanaged パラメーターを使用して、利用可能なすべてのデバイスで OSD の自動作成を無効にできます。

     例

     [ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true

     パラメーター --unmanaged を true に設定すると、OSD の作成が無効になり、新しい OSD サービスを適用しても変更はありません。

     注記

     コマンド ceph orch daemon add は、新しい OSD を作成しますが、OSD サービスを追加しません。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. OSD をデプロイするために利用可能なデバイスをリスト表示します。

   構文

   ceph orch device ls [--hostname=HOSTNAME_1 HOSTNAME_2] [--wide] [--refresh]

   例

   [ceph: root@host01 /]# ceph orch device ls --wide --refresh

3. 特定のデバイスおよびホストに OSD をデプロイします。

   構文

   ceph orch daemon add osd HOSTNAME:DEVICE_PATH

   例:

   [ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb

   LVM レイヤーを使用せずに raw 物理デバイスに ODS をデプロイするには、--method raw オプションを使用します。

   構文

   ceph orch daemon add osd --method raw HOSTNAME:DEVICE_PATH

   例:

   [ceph: root@host01 /]# ceph orch daemon add osd --method raw host02:/dev/sdb

   注記

   別の DB または WAL デバイスがある場合、ブロックと DB デバイスまたは WAL デバイスの比率は 1:1 でなければなりません。

手順

1. モニターノードで、osd_spec.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch osd_spec.yaml

2. osd_spec.yml ファイルを編集し、以下の詳細を含めます。

   構文

   service_type: osd
   service_id: SERVICE_ID
   placement:
     host_pattern: '*' # optional
   data_devices: # optional
     model: DISK_MODEL_NAME # optional
     paths:
     - /DEVICE_PATH
   osds_per_device: NUMBER_OF_DEVICES # optional
   db_devices: # optional
     size: # optional
     all: true # optional
     paths:
      - /DEVICE_PATH
   encrypted: true

   1. 単純なシナリオ: これらのケースでは、すべてのノードが同じ設定になっています。

      例:

      service_type: osd
      service_id: osd_spec_default
      placement:
        host_pattern: '*'
      data_devices:
        all: true
        paths:
        - /dev/sdb
      encrypted: true

      例:

      service_type: osd
      service_id: osd_spec_default
      placement:
        host_pattern: '*'
      data_devices:
        size: '80G'
      db_devices:
        size: '40G:'
        paths:
         - /dev/sdc

   2. 単純なシナリオ: この場合、すべてのノードが、LVM レイヤーを使用せず、raw モードで作成された OSD デバイスと同じ設定になっています。

      例:

      service_type: osd
      service_id: all-available-devices
      encrypted: "true"
      method: raw
      placement:
        host_pattern: "*"
      data_devices:
        all: "true"

   3. 高度なシナリオ: これにより、すべての HDD を専用の DB または WAL デバイスとして割り当てられた 2 つの SSD のある data_devices として使用し、目的のレイアウトを作成します。残りの SSD は、NVME ベンダーが専用の DB または WAL デバイスとして割り当てられている data_devices です。

      例

      service_type: osd
      service_id: osd_spec_hdd
      placement:
        host_pattern: '*'
      data_devices:
        rotational: 0
      db_devices:
        model: Model-name
        limit: 2
      ---
      service_type: osd
      service_id: osd_spec_ssd
      placement:
        host_pattern: '*'
      data_devices:
        model: Model-name
      db_devices:
        vendor: Vendor-name

   4. 不均一のノードを使用する高度なシナリオ: これは、host_pattern キーに応じて、異なる OSD 仕様を異なるホストに適用します。

      例

      service_type: osd
      service_id: osd_spec_node_one_to_five
      placement:
        host_pattern: 'node[1-5]'
      data_devices:
        rotational: 1
      db_devices:
        rotational: 0
      ---
      service_type: osd
      service_id: osd_spec_six_to_ten
      placement:
        host_pattern: 'node[6-10]'
      data_devices:
        model: Model-name
      db_devices:
        model: Model-name

   5. 専用の WAL および DB デバイスを使用した高度なシナリオ:

      例:

      service_type: osd
      service_id: osd_using_paths
      placement:
        hosts:
          - host01
          - host02
      data_devices:
        paths:
          - /dev/sdb
      db_devices:
        paths:
          - /dev/sdc
      wal_devices:
        paths:
          - /dev/sdd

   6. デバイスごとに複数の OSD がある高度なシナリオ:

      例:

      service_type: osd
      service_id: multiple_osds
      placement:
        hosts:
          - host01
          - host02
      osds_per_device: 4
      data_devices:
        paths:
          - /dev/sdb

   7. 事前に作成されたボリュームの場合、osd_spec.yaml ファイルを編集して、次の詳細を含めます。

      構文

      service_type: osd
      service_id: SERVICE_ID
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      例:

      service_type: osd
      service_id: osd_spec
      placement:
        hosts:
          - machine1
      data_devices:
        paths:
          - /dev/vg_hdd/lv_hdd
      db_devices:
        paths:
          - /dev/vg_nvme/lv_nvme

   8. ID による OSD の場合は、osd_spec.yaml ファイルを編集して次の詳細を含めます。

      注記

      この設定は、Red Hat Ceph Storage 5.3z1 以降のリリースに適用されます。以前のリリースの場合は、事前に作成された LVM を使用してください。

      構文

      service_type: osd
      service_id: OSD_BY_ID_HOSTNAME
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      例:

      service_type: osd
      service_id: osd_by_id_host01
      placement:
        hosts:
          - host01
      data_devices:
        paths:
          - /dev/disk/by-id/scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-0-0-5
      db_devices:
        paths:
          - /dev/disk/by-id/nvme-nvme.1b36-31323334-51454d55204e564d65204374726c-00000001

   9. パス別の OSD の場合は、osd_spec.yaml ファイルを編集して次の詳細を含めます。

      注記

      この設定は、Red Hat Ceph Storage 5.3z1 以降のリリースに適用されます。以前のリリースの場合は、事前に作成された LVM を使用してください。

      構文

      service_type: osd
      service_id: OSD_BY_PATH_HOSTNAME
      placement:
        hosts:
          - HOSTNAME
      data_devices: # optional
        model: DISK_MODEL_NAME # optional
        paths:
        - /DEVICE_PATH
      db_devices: # optional
        size: # optional
        all: true # optional
        paths:
         - /DEVICE_PATH

      例:

      service_type: osd
      service_id: osd_by_path_host01
      placement:
        hosts:
          - host01
      data_devices:
        paths:
          - /dev/disk/by-path/pci-0000:0d:00.0-scsi-0:0:0:4
      db_devices:
        paths:
          - /dev/disk/by-path/pci-0000:00:02.0-nvme-1

3. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount osd_spec.yaml:/var/lib/ceph/osd/osd_spec.yaml

4. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/osd/

5. OSD をデプロイする前にドライランを実行します。

   注記

   この手順は、デーモンをデプロイしなくても、デプロイメントのプレビューを提供します。

   例

   [ceph: root@host01 osd]# ceph orch apply -i osd_spec.yaml --dry-run

6. サービス仕様を使用して OSD をデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yml

   例

   [ceph: root@host01 osd]# ceph orch apply -i osd_spec.yaml

1. クラスターからすべての配置グループ (PG) を退避します。
2. PG のない OSD をクラスターから削除します。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. OSD を削除する必要があるデバイスとノードを確認します。

   例

   [ceph: root@host01 /]# ceph osd tree

3. OSD を削除します。

   構文

   ceph orch osd rm OSD_ID [--replace] [--force] --zap

   例:

   [ceph: root@host01 /]# ceph orch osd rm 0 --zap

   注記

   --replace などのオプションを指定せずにストレージクラスターから OSD を削除すると、デバイスはストレージクラスターから完全に削除されます。OSD のデプロイに同じデバイスを使用する必要がある場合は、ストレージクラスターにデバイスを追加する前に、最初にデバイスをザッピングする必要があります。

4. オプション: 特定のノードから複数の OSD を削除するには、次のコマンドを実行します。

   構文

   ceph orch osd rm OSD_ID OSD_ID --zap

   例

   [ceph: root@host01 /]# ceph orch osd rm 2 5 --zap

5. OSD の削除のステータスを確認します。

   例

   [ceph: root@host01 /]# ceph orch osd rm status
   
   OSD  HOST   STATE                    PGS  REPLACE  FORCE  ZAP   DRAIN STARTED AT
   9    host01 done, waiting for purge    0  False    False  True  2023-06-06 17:50:50.525690
   10   host03 done, waiting for purge    0  False    False  True  2023-06-06 17:49:38.731533
   11   host02 done, waiting for purge    0  False    False  True  2023-06-06 17:48:36.641105

   OSD に PG が残っていない場合は廃止され、クラスターから削除されます。

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. 今後の参照のために、OSD 設定のマッピングを必ずダンプして保存してください。

   例:

   [ceph: root@node /]# ceph osd metadata -f plain | grep device_paths
   "device_paths": "sde=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:1,sdi=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:1",
   "device_paths": "sde=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:1,sdf=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:1",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdg=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdh=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdd=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:2,sdk=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:2",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdl=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdj=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   "device_paths": "sdc=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:0:0:3,sdm=/dev/disk/by-path/pci-0000:03:00.0-scsi-0:1:0:3",
   [.. output omitted ..]

3. OSD を置き換える必要のあるデバイスとノードを確認します。

   例:

   [ceph: root@host01 /]# ceph osd tree

4. cephadm マネージドクラスターから OSD を削除します。

   重要

   ストレージクラスターに health_warn またはそれに関連するその他のエラーがある場合は、データの損失を回避するために、OSD を交換する前にエラーを確認して修正してください。

   構文

   ceph orch osd rm OSD_ID --replace [--force]

   --force オプションは、ストレージクラスターで進行中の操作がある場合に使用できます。

   例:

   [ceph: root@host01 /]# ceph orch osd rm 0 --replace

5. 次の OSD 仕様を適用して、新しい OSD を再作成します。

   例:

   service_type: osd
   service_id: osd
   placement:
     hosts:
     - myhost
   data_devices:
     paths:
     - /path/to/the/device

6. OSD 置き換えのステータスを確認します。

   例:

   [ceph: root@host01 /]# ceph orch osd rm status

7. オーケストレーターを停止して、既存の OSD 仕様を適用します。

   例:

   [ceph: root@node /]# ceph orch pause
   [ceph: root@node /]# ceph orch status
   Backend: cephadm
   Available: Yes
   Paused: Yes

8. 削除された OSD デバイスをザップします。

   例:

   [ceph: root@node /]# ceph orch device zap node.example.com /dev/sdi --force
   zap successful for /dev/sdi on node.example.com
   
   [ceph: root@node /]# ceph orch device zap node.example.com /dev/sdf --force
   zap successful for /dev/sdf on node.example.com

9. Orcestrator を一時停止モードから再開する

   例:

   [ceph: root@node /]# ceph orch resume

10. OSD 置き換えのステータスを確認します。

    例

    [ceph: root@node /]# ceph osd tree
    ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
    -1         0.77112  root default
    -3         0.77112      host node
     0    hdd  0.09639          osd.0      up   1.00000  1.00000
     1    hdd  0.09639          osd.1      up   1.00000  1.00000
     2    hdd  0.09639          osd.2      up   1.00000  1.00000
     3    hdd  0.09639          osd.3      up   1.00000  1.00000
     4    hdd  0.09639          osd.4      up   1.00000  1.00000
     5    hdd  0.09639          osd.5      up   1.00000  1.00000
     6    hdd  0.09639          osd.6      up   1.00000  1.00000
     7    hdd  0.09639          osd.7      up   1.00000  1.00000
     [.. output omitted ..]

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. OSD を削除します。

   構文

   ceph orch osd rm OSD_ID [--replace]

   例:

   [ceph: root@host01 /]# ceph orch osd rm 8 --replace
   Scheduled OSD(s) for removal

3. OSD が破壊されていることを確認します。

   例:

   [ceph: root@host01 /]# ceph osd tree
   
   ID   CLASS  WEIGHT   TYPE NAME        STATUS     REWEIGHT  PRI-AFF
    -1         0.32297  root default
    -9         0.05177      host host10
     3    hdd  0.01520          osd.3           up   1.00000  1.00000
    13    hdd  0.02489          osd.13          up   1.00000  1.00000
    17    hdd  0.01169          osd.17          up   1.00000  1.00000
   -13         0.05177      host host11
     2    hdd  0.01520          osd.2           up   1.00000  1.00000
    15    hdd  0.02489          osd.15          up   1.00000  1.00000
    19    hdd  0.01169          osd.19          up   1.00000  1.00000
    -7         0.05835      host host12
    20    hdd  0.01459          osd.20          up   1.00000  1.00000
    21    hdd  0.01459          osd.21          up   1.00000  1.00000
    22    hdd  0.01459          osd.22          up   1.00000  1.00000
    23    hdd  0.01459          osd.23          up   1.00000  1.00000
    -5         0.03827      host host04
     1    hdd  0.01169          osd.1           up   1.00000  1.00000
     6    hdd  0.01129          osd.6           up   1.00000  1.00000
     7    hdd  0.00749          osd.7           up   1.00000  1.00000
     9    hdd  0.00780          osd.9           up   1.00000  1.00000
    -3         0.03816      host host05
     0    hdd  0.01169          osd.0           up   1.00000  1.00000
     8    hdd  0.01129          osd.8    destroyed         0  1.00000
    12    hdd  0.00749          osd.12          up   1.00000  1.00000
    16    hdd  0.00769          osd.16          up   1.00000  1.00000
   -15         0.04237      host host06
     5    hdd  0.01239          osd.5           up   1.00000  1.00000
    10    hdd  0.01540          osd.10          up   1.00000  1.00000
    11    hdd  0.01459          osd.11          up   1.00000  1.00000
   -11         0.04227      host host07
     4    hdd  0.01239          osd.4           up   1.00000  1.00000
    14    hdd  0.01529          osd.14          up   1.00000  1.00000
    18    hdd  0.01459          osd.18          up   1.00000  1.00000

4. ceph-volume コマンドを使用して、OSD をザップして削除します。

   構文

   ceph-volume lvm zap --osd-id OSD_ID

   例:

   [ceph: root@host01 /]# ceph-volume lvm zap --osd-id 8
   
   Zapping: /dev/vg1/data-lv2
   Closing encrypted path /dev/mapper/l4D6ql-Prji-IzH4-dfhF-xzuf-5ETl-jNRcXC
   Running command: /usr/sbin/cryptsetup remove /dev/mapper/l4D6ql-Prji-IzH4-dfhF-xzuf-5ETl-jNRcXC
   Running command: /usr/bin/dd if=/dev/zero of=/dev/vg1/data-lv2 bs=1M count=10 conv=fsync
    stderr: 10+0 records in
   10+0 records out
    stderr: 10485760 bytes (10 MB, 10 MiB) copied, 0.034742 s, 302 MB/s
   Zapping successful for OSD: 8

5. OSD トポロジーを確認します。

   例:

   [ceph: root@host01 /]# ceph-volume lvm list

6. 特定の OSD トポロジーに対応する仕様ファイルを使用して OSD を再作成します。

   例:

   [ceph: root@host01 /]# cat osd.yml
   service_type: osd
   service_id: osd_service
   placement:
     hosts:
     - host03
   data_devices:
     paths:
     - /dev/vg1/data-lv2
   db_devices:
     paths:
      - /dev/vg1/db-lv1

7. 更新された仕様ファイルを適用します。

   例:

   [ceph: root@host01 /]# ceph orch apply -i osd.yml
   Scheduled osd.osd_service update...

8. OSD が戻っていることを確認します。

   例:

   [ceph: root@host01 /]# ceph -s
   [ceph: root@host01 /]# ceph osd tree

手順

1. クラスター内のデバイスを特定します。

   例:

   [root@host01 ~]# lsblk
   
   NAME                                                                                                  MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
   sda                                                                                                     8:0    0   20G  0 disk
   ├─sda1                                                                                                  8:1    0    1G  0 part /boot
   └─sda2                                                                                                  8:2    0   19G  0 part
     ├─rhel-root                                                                                         253:0    0   17G  0 lvm  /
     └─rhel-swap                                                                                         253:1    0    2G  0 lvm  [SWAP]
   sdb                                                                                                     8:16   0   10G  0 disk
   └─ceph--5726d3e9--4fdb--4eda--b56a--3e0df88d663f-osd--block--3ceb89ec--87ef--46b4--99c6--2a56bac09ff0 253:2    0   10G  0 lvm
   sdc                                                                                                     8:32   0   10G  0 disk
   └─ceph--d7c9ab50--f5c0--4be0--a8fd--e0313115f65c-osd--block--37c370df--1263--487f--a476--08e28bdbcd3c 253:4    0   10G  0 lvm
   sdd                                                                                                     8:48   0   10G  0 disk
   ├─ceph--1774f992--44f9--4e78--be7b--b403057cf5c3-osd--db--31b20150--4cbc--4c2c--9c8f--6f624f3bfd89    253:7    0  2.5G  0 lvm
   └─ceph--1774f992--44f9--4e78--be7b--b403057cf5c3-osd--db--1bee5101--dbab--4155--a02c--e5a747d38a56    253:9    0  2.5G  0 lvm
   sde                                                                                                     8:64   0   10G  0 disk
   sdf                                                                                                     8:80   0   10G  0 disk
   └─ceph--412ee99b--4303--4199--930a--0d976e1599a2-osd--block--3a99af02--7c73--4236--9879--1fad1fe6203d 253:6    0   10G  0 lvm
   sdg                                                                                                     8:96   0   10G  0 disk
   └─ceph--316ca066--aeb6--46e1--8c57--f12f279467b4-osd--block--58475365--51e7--42f2--9681--e0c921947ae6 253:8    0   10G  0 lvm
   sdh                                                                                                     8:112  0   10G  0 disk
   ├─ceph--d7064874--66cb--4a77--a7c2--8aa0b0125c3c-osd--db--0dfe6eca--ba58--438a--9510--d96e6814d853    253:3    0    5G  0 lvm
   └─ceph--d7064874--66cb--4a77--a7c2--8aa0b0125c3c-osd--db--26b70c30--8817--45de--8843--4c0932ad2429    253:5    0    5G  0 lvm
   sr0

2. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

3. OSD とその DB デバイスを特定します。

   例:

   [ceph: root@host01 /]# ceph-volume lvm list /dev/sdh
   
   
   ====== osd.2 =======
   
     [db]          /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-0dfe6eca-ba58-438a-9510-d96e6814d853
   
         block device              /dev/ceph-5726d3e9-4fdb-4eda-b56a-3e0df88d663f/osd-block-3ceb89ec-87ef-46b4-99c6-2a56bac09ff0
         block uuid                GkWLoo-f0jd-Apj2-Zmwj-ce0h-OY6J-UuW8aD
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-0dfe6eca-ba58-438a-9510-d96e6814d853
         db uuid                   6gSPoc-L39h-afN3-rDl6-kozT-AX9S-XR20xM
         encrypted                 0
         osd fsid                  3ceb89ec-87ef-46b4-99c6-2a56bac09ff0
         osd id                    2
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sdh
   
   ====== osd.5 =======
   
     [db]          /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-26b70c30-8817-45de-8843-4c0932ad2429
   
         block device              /dev/ceph-d7c9ab50-f5c0-4be0-a8fd-e0313115f65c/osd-block-37c370df-1263-487f-a476-08e28bdbcd3c
         block uuid                Eay3I7-fcz5-AWvp-kRcI-mJaH-n03V-Zr0wmJ
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-d7064874-66cb-4a77-a7c2-8aa0b0125c3c/osd-db-26b70c30-8817-45de-8843-4c0932ad2429
         db uuid                   mwSohP-u72r-DHcT-BPka-piwA-lSwx-w24N0M
         encrypted                 0
         osd fsid                  37c370df-1263-487f-a476-08e28bdbcd3c
         osd id                    5
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sdh

4. osds.yaml ファイルで、unmaged パラメーターを true に設定します。それ以外の場合、cephadm は OSD を再デプロイします。

   例:

   [ceph: root@host01 /]# cat osds.yml
   service_type: osd
   service_id: non-colocated
   unmanaged: true
   placement:
     host_pattern: 'ceph*'
   data_devices:
     paths:
      - /dev/sdb
      - /dev/sdc
      - /dev/sdf
      - /dev/sdg
   db_devices:
     paths:
      - /dev/sdd
      - /dev/sdh

5. 更新された仕様ファイルを適用します。

   例:

   [ceph: root@host01 /]# ceph orch apply -i osds.yml
   
   Scheduled osd.non-colocated update...

6. ステータスを確認します。

   例:

   [ceph: root@host01 /]# ceph orch ls
   
   NAME           PORTS        RUNNING  REFRESHED  AGE  PLACEMENT
   alertmanager   ?:9093,9094      1/1  9m ago     4d   count:1
   crash                           3/4  4d ago     4d   *
   grafana        ?:3000           1/1  9m ago     4d   count:1
   mgr                             1/2  4d ago     4d   count:2
   mon                             3/5  4d ago     4d   count:5
   node-exporter  ?:9100           3/4  4d ago     4d   *
   osd.non-colocated                 8  4d ago     5s   <unmanaged>
   prometheus     ?:9095           1/1  9m ago     4d   count:1

7. OSD を削除します。バックエンドサービスを削除するには --zap オプションを使用し、OSD ID を保持するには --replace オプションを使用してください。

   例:

   [ceph: root@host01 /]# ceph orch osd rm 2 5 --zap --replace
   Scheduled OSD(s) for removal

8. ステータスを確認します。

   例:

   [ceph: root@host01 /]# ceph osd df tree | egrep -i "ID|host02|osd.2|osd.5"
   
   ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP  META     AVAIL   %USE   VAR   PGS  STATUS     TYPE NAME
   -5         0.04877         -   55 GiB   15 GiB  4.1 MiB   0 B   60 MiB  40 GiB  27.27  1.17    -                 host02
    2    hdd  0.01219   1.00000   15 GiB  5.0 GiB  996 KiB   0 B   15 MiB  10 GiB  33.33  1.43    0  destroyed          osd.2
    5    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.0 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0  destroyed          osd.5

9. osds.yaml 仕様ファイルを編集して アンマネージド パラメーターを false に変更し、デバイスが物理的に交換された後にパスが変更された場合は DB デバイスへのパスを置き換えます。

   例:

   [ceph: root@host01 /]# cat osds.yml
   service_type: osd
   service_id: non-colocated
   unmanaged: false
   placement:
     host_pattern: 'ceph01*'
   data_devices:
     paths:
      - /dev/sdb
      - /dev/sdc
      - /dev/sdf
      - /dev/sdg
   db_devices:
     paths:
      - /dev/sdd
      - /dev/sde

   上記の例では、/dev/sdh は /dev/sde に置き換えられます。

   重要

   同じホスト仕様ファイルを使用して単一の OSD ノード上の障害のある DB デバイスを交換する場合は、OSD ノードのみを指定するように host_pattern オプションを変更します。そうしなければ、デプロイメントが失敗し、他のホストで新しい DB デバイスが見つかりません。

10. --dry-run オプションを指定して仕様ファイルを再適用し、OSD が新しい DB デバイスでデプロイされることを確認します。

    例:

    [ceph: root@host01 /]# ceph orch apply -i osds.yml --dry-run
    WARNING! Dry-Runs are snapshots of a certain point in time and are bound
    to the current inventory setup. If any of these conditions change, the
    preview will be invalid. Please make sure to have a minimal
    timeframe between planning and applying the specs.
    ####################
    SERVICESPEC PREVIEWS
    ####################
    +---------+------+--------+-------------+
    |SERVICE  |NAME  |ADD_TO  |REMOVE_FROM  |
    +---------+------+--------+-------------+
    +---------+------+--------+-------------+
    ################
    OSDSPEC PREVIEWS
    ################
    +---------+-------+-------+----------+----------+-----+
    |SERVICE  |NAME   |HOST   |DATA      |DB        |WAL  |
    +---------+-------+-------+----------+----------+-----+
    |osd      |non-colocated  |host02  |/dev/sdb  |/dev/sde  |-    |
    |osd      |non-colocated  |host02  |/dev/sdc  |/dev/sde  |-    |
    +---------+-------+-------+----------+----------+-----+

11. 仕様ファイルを適用します。

    例:

    [ceph: root@host01 /]# ceph orch apply -i osds.yml
    Scheduled osd.non-colocated update...

12. OSD が再デプロイメントされていることを確認します。

    例:

    [ceph: root@host01 /]# ceph osd df tree | egrep -i "ID|host02|osd.2|osd.5"
    
    ID  CLASS  WEIGHT   REWEIGHT  SIZE     RAW USE  DATA     OMAP  META     AVAIL   %USE   VAR   PGS  STATUS  TYPE NAME
    -5         0.04877         -   55 GiB   15 GiB  4.5 MiB   0 B   60 MiB  40 GiB  27.27  1.17    -              host host02
     2    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.1 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0      up          osd.2
     5    hdd  0.01219   1.00000   15 GiB  5.0 GiB  1.1 MiB   0 B   15 MiB  10 GiB  33.33  1.43    0      up          osd.5

検証

1. OSDS が再デプロイされている OSD ホストから、OSDS が新しい DB デバイス上にあるかどうかを確認します。

   例:

   [ceph: root@host01 /]# ceph-volume lvm list /dev/sde
   
   ====== osd.2 =======
   
     [db]          /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-1998a02e-5e67-42a9-b057-e02c22bbf461
   
         block device              /dev/ceph-a4afcb78-c804-4daf-b78f-3c7ad1ed0379/osd-block-564b3d2f-0f85-4289-899a-9f98a2641979
         block uuid                ITPVPa-CCQ5-BbFa-FZCn-FeYt-c5N4-ssdU41
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-1998a02e-5e67-42a9-b057-e02c22bbf461
         db uuid                   HF1bYb-fTK7-0dcB-CHzW-xvNn-dCym-KKdU5e
         encrypted                 0
         osd fsid                  564b3d2f-0f85-4289-899a-9f98a2641979
         osd id                    2
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sde
   
   ====== osd.5 =======
   
     [db]          /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-6c154191-846d-4e63-8c57-fc4b99e182bd
   
         block device              /dev/ceph-b37c8310-77f9-4163-964b-f17b4c29c537/osd-block-b42a4f1f-8e19-4416-a874-6ff5d305d97f
         block uuid                0LuPoz-ao7S-UL2t-BDIs-C9pl-ct8J-xh5ep4
         cephx lockbox secret
         cluster fsid              fa0bd9dc-e4c4-11ed-8db4-001a4a00046e
         cluster name              ceph
         crush device class
         db device                 /dev/ceph-15ce813a-8a4c-46d9-ad99-7e0845baf15e/osd-db-6c154191-846d-4e63-8c57-fc4b99e182bd
         db uuid                   SvmXms-iWkj-MTG7-VnJj-r5Mo-Moiw-MsbqVD
         encrypted                 0
         osd fsid                  b42a4f1f-8e19-4416-a874-6ff5d305d97f
         osd id                    5
         osdspec affinity          non-colocated
         type                      db
         vdo                       0
         devices                   /dev/sde

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. 削除するために開始された OSD のデバイスとノードを確認します。

   例

   [ceph: root@host01 /]# ceph osd tree

3. キューに置かれた OSD の削除を停止します。

   構文

   ceph orch osd rm stop OSD_ID

   例

   [ceph: root@host01 /]# ceph orch osd rm stop 0

4. OSD の削除のステータスを確認します。

   例

   [ceph: root@host01 /]# ceph orch osd rm status

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ホストのオペレーティングシステムを再インストールしたら、OSD をアクティベートします。

   構文

   ceph cephadm osd activate HOSTNAME

   例

   [ceph: root@host01 /]# ceph cephadm osd activate host03

手順

1. Ceph Manager デーモンで prometheus モジュールを有効にします。これにより、内部 Ceph メトリックが公開され、Prometheus がそれらを読み取りできます。

   例

   [ceph: root@host01 /]# ceph mgr module enable prometheus

   重要

   このコマンドは、Prometheus のデプロイ前に実行されるようにします。デプロイメントの前にコマンドが実行されなかった場合は、Prometheus を再デプロイして設定を更新する必要があります。

   ceph orch redeploy prometheus

2. 以下のディレクトリーに移動します。

   構文

   cd /var/lib/ceph/DAEMON_PATH/

   例

   [ceph: root@host01 mds/]# cd /var/lib/ceph/monitoring/

   注記

   ディレクトリー monitoring が存在しない場合は、作成します。

3. monitoring.yml ファイルを作成します。

   例

   [ceph: root@host01 monitoring]# touch monitoring.yml

4. 以下の例のような内容で仕様ファイルを編集します。

   例:

   service_type: prometheus
   service_name: prometheus
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24
   ---
   service_type: node-exporter
   ---
   service_type: alertmanager
   service_name: alertmanager
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24
   ---
   service_type: grafana
   service_name: grafana
   placement:
     hosts:
     - host01
   networks:
   - 192.169.142.0/24

   注記

   監視スタックコンポーネントの alertmanager、prometheus、および grafana が同じホストにデプロイされていることを確認します。node-exporter コンポーネントはすべてのホストにデプロイする必要があります。

5. モニタリングサービスを適用します。

   例

   [ceph: root@host01 monitoring]# ceph orch apply -i monitoring.yml

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. ceph orch rm コマンドを使用してモニタリングスタックを削除します。

   構文

   ceph orch rm SERVICE_NAME --force

   例

   [ceph: root@host01 /]# ceph orch rm grafana
   [ceph: root@host01 /]# ceph orch rm prometheus
   [ceph: root@host01 /]# ceph orch rm node-exporter
   [ceph: root@host01 /]# ceph orch rm alertmanager
   [ceph: root@host01 /]# ceph mgr module disable prometheus

3. プロセスのステータスを確認します。

   例

   [ceph: root@host01 /]# ceph orch status

手順

1. ファイルを設定するノードで、/etc フォルダーにディレクトリー ceph を作成します。

   例

   [root@host01 ~]# mkdir /etc/ceph/

2. /etc/ceph ディレクトリーに移動します。

   例

   [root@host01 ~]# cd /etc/ceph/

3. ceph ディレクトリーで設定ファイルを生成します。

   例

   [root@host01 ceph]# ceph config generate-minimal-conf
   
   # minimal ceph.conf for 417b1d7a-a0e6-11eb-b940-001a4a000740
   [global]
   	fsid = 417b1d7a-a0e6-11eb-b940-001a4a000740
   	mon_host = [v2:10.74.249.41:3300/0,v1:10.74.249.41:6789/0]

   このファイルのコンテンツは、/etc/ceph/ceph.conf パスにインストールする必要があります。この設定ファイルを使用して、Ceph モニターに到達できます。

手順

1. キーリングを設定するノードで、/etc フォルダーにディレクトリー ceph を作成します。

   例

   [root@host01 ~]# mkdir /etc/ceph/

2. ceph ディレクトリーの /etc/ceph ディレクトリーに移動します。

   例

   [root@host01 ~]# cd /etc/ceph/

3. クライアントのキーリングを生成します。

   構文

   ceph auth get-or-create client.CLIENT_NAME -o /etc/ceph/NAME_OF_THE_FILE

   例

   [root@host01 ceph]# ceph auth get-or-create client.fs -o /etc/ceph/ceph.keyring

4. ceph.keyring ファイルの出力を確認します。

   例

   [root@host01 ceph]# cat ceph.keyring
   
   [client.fs]
   	key = AQAvoH5gkUCsExAATz3xCBLd4n6B6jRv+Z7CVQ==

   出力は /etc/ceph/ceph.keyring などのキーリングファイルに配置する必要があります。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. 配置仕様を使用して MDS デーモンをデプロイする方法は 2 つあります。

手順

1. mds.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch mds.yaml

2. mds.yaml ファイルを編集し、以下の詳細を含めます。

   構文

   service_type: mds
   service_id: FILESYSTEM_NAME
   placement:
     hosts:
     - HOST_NAME_1
     - HOST_NAME_2
     - HOST_NAME_3

   例:

   service_type: mds
   service_id: fs_name
   placement:
     hosts:
     - host01
     - host02

3. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount mds.yaml:/var/lib/ceph/mds/mds.yaml

4. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/mds/

5. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

6. 以下のディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/mds/

7. サービス仕様を使用して MDS サービスをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 mds]# ceph orch apply -i mds.yaml

8. MDS サービスがデプロイされ、機能したら、CephFS を作成します。

   構文

   ceph fs new CEPHFS_NAME METADATA_POOL DATA_POOL

   例

   [ceph: root@host01 /]# ceph fs new test metadata_pool data_pool

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. Ceph オブジェクトゲートウェイデーモンは、以下の 3 つの方法でデプロイできます。

手順

1. root ユーザーとして、仕様ファイルを作成します。

   例:

   [root@host01 ~]# touch radosgw.yml

2. radosgw.yml ファイルを編集し、デフォルトレルム、ゾーン、およびゾーングループの以下の詳細を追加します。

   構文

   service_type: rgw
   service_id: REALM_NAME.ZONE_NAME
   placement:
     hosts:
     - HOST_NAME_1
     - HOST_NAME_2
     count_per_host: NUMBER_OF_DAEMONS
   spec:
     rgw_realm: REALM_NAME
     rgw_zone: ZONE_NAME
     rgw_frontend_port: FRONT_END_PORT
   networks:
     -  NETWORK_CIDR # Ceph Object Gateway service binds to a specific network

   注記

   NUMBER_OF_DAEMONS は、各ホストにデプロイされる Ceph Object Gateway の数を制御します。追加のコストを発生させずに最高のパフォーマンスを実現するには、この値を 2 に設定します。

   例:

   service_type: rgw
   service_id: default
   placement:
     hosts:
     - host01
     - host02
     - host03
     count_per_host: 2
   spec:
     rgw_realm: default
     rgw_zone: default
     rgw_frontend_port: 1234
   networks:
     - 192.169.142.0/24

3. オプション: カスタムレルム、ゾーン、およびゾーングループの場合は、リソースを作成し、radosgw.yml ファイルを作成します。

   1. カスタムレルム、ゾーン、およびゾーングループを作成します。

      例:

      [root@host01 ~]# radosgw-admin realm create --rgw-realm=test_realm --default
      [root@host01 ~]# radosgw-admin zonegroup create --rgw-zonegroup=test_zonegroup --default
      [root@host01 ~]# radosgw-admin zone create --rgw-zonegroup=test_zonegroup --rgw-zone=test_zone --default
      [root@host01 ~]# radosgw-admin period update --rgw-realm=test_realm --commit

   2. 以下の内容で radosgw.yml ファイルを作成します。

      例:

      service_type: rgw
      service_id: test_realm.test_zone
      placement:
        hosts:
        - host01
        - host02
        - host03
        count_per_host: 2
      spec:
        rgw_realm: test_realm
        rgw_zone: test_zone
        rgw_frontend_port: 1234
      networks:
        - 192.169.142.0/24

4. radosgw.yml ファイルをコンテナーのディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount radosgw.yml:/var/lib/ceph/radosgw/radosgw.yml

   注記

   シェルを終了するたびに、デーモンをデプロイする前にファイルをコンテナーにマウントする必要があります。

5. サービス仕様を使用して Ceph Object Gateway をデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yml

   例

   [ceph: root@host01 /]# ceph orch apply -i radosgw.yml

手順

1. cephadm シェルで、プライマリーゾーンを設定します。

   1. レルムを作成します。

      構文

      radosgw-admin realm create --rgw-realm=REALM_NAME --default

      例

      [ceph: root@host01 /]# radosgw-admin realm create --rgw-realm=test_realm --default

      ストレージクラスターに単一のレルムがある場合は、--default フラグを指定します。

   2. プライマリーゾーングループを作成します。

      構文

      radosgw-admin zonegroup create --rgw-zonegroup=ZONE_GROUP_NAME --endpoints=http://RGW_PRIMARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 --master --default

      例

      [ceph: root@host01 /]# radosgw-admin zonegroup create --rgw-zonegroup=us --endpoints=http://rgw1:80 --master --default

   3. プライマリーゾーンを作成します。

      構文

      radosgw-admin zone create --rgw-zonegroup=PRIMARY_ZONE_GROUP_NAME --rgw-zone=PRIMARY_ZONE_NAME --endpoints=http://RGW_PRIMARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY

      例:

      [ceph: root@host01 /]# radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-east-1 --endpoints=http://rgw1:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   4. 必要に応じて、デフォルトゾーン、ゾーングループ、および関連するプールを削除します。

      重要

      デフォルトゾーンおよびゾーングループを使用してデータを保存する場合は、デフォルトゾーンとそのプールは削除しないでください。また、デフォルトのゾーングループを削除して、システムユーザーを削除します。

      default ゾーンおよびゾーングループの古いデータにアクセスするには、radosgw-admin コマンドで --rgw-zone default および --rgw-zonegroup default を使用します。

      例:

      [ceph: root@host01 /]# radosgw-admin zonegroup delete --rgw-zonegroup=default
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.log default.rgw.log --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.meta default.rgw.meta --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.control default.rgw.control --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.data.root default.rgw.data.root --yes-i-really-really-mean-it
      [ceph: root@host01 /]# ceph osd pool rm default.rgw.gc default.rgw.gc --yes-i-really-really-mean-it

   5. システムユーザーを作成します。

      構文

      radosgw-admin user create --uid=USER_NAME --display-name="USER_NAME" --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY --system

      例

      [ceph: root@host01 /]# radosgw-admin user create --uid=zone.user --display-name="Zone user" --system

      access_key および secret_key を書き留めておきます。

   6. アクセスキーとシステムキーをプライマリーゾーンに追加します。

      構文

      radosgw-admin zone modify --rgw-zone=PRIMARY_ZONE_NAME --access-key=ACCESS_KEY --secret=SECRET_KEY

      例

      [ceph: root@host01 /]# radosgw-admin zone modify --rgw-zone=us-east-1 --access-key=NE48APYCAODEPLKBCZVQ --secret=u24GHQWRE3yxxNBnFBzjM4jn14mFIckQ4EKL6LoW

   7. 変更をコミットします。

      構文

      radosgw-admin period update --commit

      例

      [ceph: root@host01 /]# radosgw-admin period update --commit

   8. cephadm シェルの外部で、ストレージクラスターおよびプロセスの FSID を取得します。

      例

      [root@host01 ~]#  systemctl list-units | grep ceph

   9. Ceph Object Gateway デーモンを起動します。

      構文

      systemctl start ceph-FSID@DAEMON_NAME
      systemctl enable ceph-FSID@DAEMON_NAME

      例

      [root@host01 ~]# systemctl start ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-1.host01.ahdtsw.service
      [root@host01 ~]# systemctl enable ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-1.host01.ahdtsw.service

2. Cephadm シェルで、セカンダリーゾーンを設定します。

   1. ホストからプライマリーレルム設定をプルします。

      構文

      radosgw-admin realm pull --rgw-realm=PRIMARY_REALM --url=URL_TO_PRIMARY_ZONE_GATEWAY --access-key=ACCESS_KEY --secret-key=SECRET_KEY --default

      例:

      [ceph: root@host04 /]# radosgw-admin realm pull --rgw-realm=test_realm --url=http://10.74.249.26:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ --default

   2. ホストからプライマリー期間設定をプルします。

      構文

      radosgw-admin period pull --url=URL_TO_PRIMARY_ZONE_GATEWAY --access-key=ACCESS_KEY --secret-key=SECRET_KEY

      例

      [ceph: root@host04 /]# radosgw-admin period pull --url=http://10.74.249.26:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   3. セカンダリーゾーンを設定します。

      構文

      radosgw-admin zone create --rgw-zonegroup=ZONE_GROUP_NAME \
                   --rgw-zone=SECONDARY_ZONE_NAME --endpoints=http://RGW_SECONDARY_HOSTNAME:RGW_PRIMARY_PORT_NUMBER_1 \
                   --access-key=SYSTEM_ACCESS_KEY --secret=SYSTEM_SECRET_KEY \
                   --endpoints=http://FQDN:80 \
                   [--read-only]

      例:

      [ceph: root@host04 /]# radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-east-2 --endpoints=http://rgw2:80 --access-key=LIPEYZJLTWXRKXS9LPJC --secret-key=IsAje0AVDNXNw48LjMAimpCpI7VaxJYSnfD0FFKQ

   4. 必要に応じて、デフォルトゾーンを削除します。

      重要

      デフォルトゾーンおよびゾーングループを使用してデータを保存する場合は、デフォルトゾーンとそのプールは削除しないでください。

      default ゾーンおよびゾーングループの古いデータにアクセスするには、radosgw-admin コマンドで --rgw-zone default および --rgw-zonegroup default を使用します。

      例:

      [ceph: root@host04 /]# radosgw-admin zone rm --rgw-zone=default
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.log default.rgw.log --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.meta default.rgw.meta --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.control default.rgw.control --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.data.root default.rgw.data.root --yes-i-really-really-mean-it
      [ceph: root@host04 /]# ceph osd pool rm default.rgw.gc default.rgw.gc --yes-i-really-really-mean-it

   5. Ceph 設定データベースを更新します。

      構文

      ceph config set SERVICE_NAME rgw_zone SECONDARY_ZONE_NAME

      例

      [ceph: root@host04 /]# ceph config set rgw rgw_zone us-east-2

   6. 変更をコミットします。

      構文

      radosgw-admin period update --commit

      例

      [ceph: root@host04 /]# radosgw-admin period update --commit

   7. Cephadm シェルの外部で、ストレージクラスターおよびプロセスの FSID を取得します。

      例

      [root@host04 ~]#  systemctl list-units | grep ceph

   8. Ceph Object Gateway デーモンを起動します。

      構文

      systemctl start ceph-FSID@DAEMON_NAME
      systemctl enable ceph-FSID@DAEMON_NAME

      例

      [root@host04 ~]# systemctl start ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-2.host04.ahdtsw.service
      [root@host04 ~]# systemctl enable ceph-62a081a6-88aa-11eb-a367-001a4a000672@rgw.test_realm.us-east-2.host04.ahdtsw.service

3. 必要に応じて、配置仕様を使用して、マルチサイトの Ceph Object Gateway をデプロイします。

   構文

   ceph orch apply rgw NAME --realm=REALM_NAME --zone=PRIMARY_ZONE_NAME --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2"

   例

   [ceph: root@host04 /]# ceph orch apply rgw east --realm=test_realm --zone=us-east-1 --placement="2 host01 host02"

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. サービスをリスト表示します。

   例:

   [ceph: root@host01 /]# ceph orch ls

3. サービスを削除します。

   構文

   ceph orch rm SERVICE_NAME

   例

   [ceph: root@host01 /]# ceph orch rm rgw.test_realm.test_zone_bb

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. mgr/nfs モジュールを有効にします。

   例

   [ceph: root@host01 /]# ceph mgr module enable nfs

3. クラスターを作成します。

   構文

   ceph nfs cluster create CLUSTER_NAME ["HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"]

   CLUSTER_NAME は任意の文字列です。HOST _NAME_1 は、NFS-Ganesha デーモンをデプロイするためにホストを表す任意の文字列です。

   例

   [ceph: root@host01 /]# ceph nfs cluster create nfsganesha "host01 host02"
   NFS Cluster Created Successful

   これにより、host01 および host02 の 1 つのデーモンと、NFS_Ganesha クラスター nfsganesha が作成されます。

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. RADOS プール namespace を作成し、アプリケーションを有効化します。RBD プールの場合、RBD を有効化します。

   構文

   ceph osd pool create POOL_NAME
   ceph osd pool application enable POOL_NAME freeform/rgw/rbd/cephfs/nfs
   rbd pool init -p POOL_NAME

   例

   [ceph: root@host01 /]# ceph osd pool create nfs-ganesha
   [ceph: root@host01 /]# ceph osd pool application enable nfs-ganesha nfs
   [ceph: root@host01 /]# rbd pool init -p nfs-ganesha

3. コマンドラインインターフェイスで配置仕様を使用して NFS-Ganesha ゲートウェイをデプロイします。

   構文

   ceph orch apply nfs SERVICE_ID --placement="NUMBER_OF_DAEMONS HOST_NAME_1 HOST_NAME_2 HOST_NAME_3"

   例

   [ceph: root@host01 /]# ceph orch apply nfs foo --placement="2 host01 host02"

   これにより、host01 および host02 の 1 つのデーモンと、NFS-Ganesha クラスター nfsganesha がデプロイされます。

手順

1. nfs.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch nfs.yaml

2. nfs.yaml ファイルを編集し、以下の詳細を含めます。

   構文

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2

   例:

   service_type: nfs
   service_id: foo
   placement:
     hosts:
       - host01
       - host02

3. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount nfs.yaml:/var/lib/ceph/nfs.yaml

4. RADOS プールと namespace を作成し、RBD を有効にします。

   構文

   ceph osd pool create POOL_NAME
   ceph osd pool application enable POOL_NAME rbd
   rbd pool init -p POOL_NAME

   例:

   [ceph: root@host01 /]# ceph osd pool create nfs-ganesha
   [ceph: root@host01 /]# ceph osd pool application enable nfs-ganesha rbd
   [ceph: root@host01 /]# rbd pool init -p nfs-ganesha

5. そのディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/

6. サービス仕様を使用して NFS-Ganesha ゲートウェイをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. --ingress フラグを使用して NFS クラスターを作成します。

   構文

   ceph nfs cluster create CLUSTER_ID [PLACEMENT] [--port PORT_NUMBER] [--ingress --virtual-ip IP_ADDRESS/CIDR_PREFIX]

   • CLUSTER_ID を一意の文字列に置き換えて、NFS Ganesha クラスターに名前を付けます。
   • PLACEMENT を、デプロイする NFS サーバーの数と、NFS Ganesha デーモンコンテナーをデプロイするホスト (1 つまたは複数) に置き換えます。
   • --port PORT_NUMBER フラグを使用して、デフォルトのポート 2049 以外のポートに NFS をデプロイします。
   • --ingress フラグを --virtual-ip フラグと組み合わせると、高可用性フロントエンド (仮想 IP およびロードバランサー) を使用して NFS がデプロイされます。

   • --virtual-ip IP_ADDRESS を IP アドレスに置き換えて、すべてのクライアントが NFS エクスポートをマウントするために使用できる既知の安定した NFS エンドポイントを提供します。--virtual-ip には、CIDR 接頭辞長を含める必要があります。仮想 IP は通常、同じサブネット内に既存の IP を持つ最初に識別されたネットワークインターフェイスで設定されます。

     注記

     NFS サービスに割り当てるホストの数は、デプロイを要求するアクティブな NFS サーバーの数 (placement: count パラメーターで指定) よりも大きくする必要があります。以下の例では、1 つのアクティブな NFS サーバーが要求され、2 つのホストが割り当てられます。

     例:

     [ceph: root@host01 /]# ceph nfs cluster create mycephnfs "1 host02 host03" --ingress --virtual-ip 10.10.128.75/22

     注記

     NFS デーモンと Ingress サービスのデプロイメントは非同期であり、サービスが完全に開始される前にコマンドが返される場合があります。

3. サービスが正常に開始されたことを確認します。

   構文

   ceph orch ls --service_name=nfs.CLUSTER_ID
   ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

   例

   [ceph: root@host01 /]# ceph orch ls --service_name=nfs.mycephnfs
   
   NAME           PORTS    RUNNING  REFRESHED  AGE  PLACEMENT
   nfs.mycephnfs  ?:12049      1/2  0s ago     20s  host02;host03
   
   [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.mycephnfs
   
   NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
   ingress.nfs.mycephnfs  10.10.128.75:2049,9049      4/4   46s ago    73s  count:2

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. 既存の NFS クラスターをリスト表示します。

   例:

   [ceph: root@host01 /]# ceph nfs cluster ls
   
   mynfs

   注記

   スタンドアロン NFS クラスターが 1 つのノードに作成されている場合、HA 用に 2 つ以上のノードに増やす必要があります。NFS サービスを増やすには、nfs.yaml ファイルを編集し、同じポート番号で配置を増やします。

   NFS サービスに割り当てるホストの数は、デプロイを要求するアクティブな NFS サーバーの数 (placement: count パラメーターで指定) よりも大きくする必要があります。

   構文

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2
     count: COUNT
   spec:
     port: PORT_NUMBER

   例:

   service_type: nfs
   service_id: mynfs
   placement:
     hosts:
       - host02
       - host03
     count: 1
   spec:
     port: 12345

   この例では、既存の NFS サービスがポート 12345 で実行されており、同じポートを使用して追加のノードが NFS クラスターに追加されます。

   nfs.yaml サービス仕様の変更を適用して、2 ノード NFS サービスにアップグレードします。

   例:

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

3. 既存の NFS クラスター ID を使用して ingress.yaml 仕様ファイルを編集します。

   構文

   service_type: SERVICE_TYPE
   service_id: SERVICE_ID
   placement:
     count: PLACEMENT
   spec:
     backend_service: SERVICE_ID_BACKEND 1
     frontend_port: FRONTEND_PORT
     monitor_port: MONITOR_PORT 2
     virtual_ip: VIRTUAL_IP_WITH_CIDR

   1

   SERVICE_ID_BACKEND には、同じホストに配置される可能性がある Ingress サービスとの競合を避けるために、2049 以外の PORT プロパティーを含める必要があります。

   2

   MONITOR_PORT は、haproxy ロードステータスページにアクセスするために使用されます。

   例:

   service_type: ingress
   service_id: nfs.mynfs
   placement:
     count: 2
   spec:
     backend_service: nfs.mynfs
     frontend_port: 2049
     monitor_port: 9000
     virtual_ip: 10.10.128.75/22

4. Ingress サービスをデプロイします。

   例:

   [ceph: root@host01 /]# ceph orch apply -i ingress.yaml

   注記

   NFS デーモンと Ingress サービスのデプロイメントは非同期であり、サービスが完全に開始される前にコマンドが返される場合があります。

5. Ingress サービスが正常に開始されたことを確認します。

   構文

   ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

   例

   [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.mynfs
   
   NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
   ingress.nfs.mynfs  10.10.128.75:2049,9000      4/4   4m ago     22m  count:2

手順

1. Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. NFS モジュールが有効になっていることを確認します。

   例:

   [ceph: root@host01 /]# ceph mgr module ls | more

3. Cephadm シェルを終了し、nfs.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch nfs.yaml

4. nfs.yaml ファイルを編集し、以下の詳細を含めます。

   構文

   service_type: nfs
   service_id: SERVICE_ID
   placement:
     hosts:
       - HOST_NAME_1
       - HOST_NAME_2
     count: COUNT
   spec:
     port: PORT_NUMBER

   注記

   NFS サービスに割り当てるホストの数は、デプロイを要求するアクティブな NFS サーバーの数 (placement: count パラメーターで指定) よりも大きくする必要があります。

   例:

   service_type: nfs
   service_id: cephfsnfs
   placement:
     hosts:
       - host02
       - host03
     count: 1
   spec:
     port: 12345

   この例では、サーバーは、host02 と host03 のデフォルトポート 2049 ではなく、デフォルト以外のポート 12345 で実行されます。

5. YAML ファイルをコンテナー内のディレクトリーにマウントします。

   例:

   [root@host01 ~]# cephadm shell --mount nfs.yaml:/var/lib/ceph/nfs.yaml

6. Cephadm シェルにログインし、ディレクトリーに移動します。

   例:

   [ceph: root@host01 /]# cd /var/lib/ceph/

7. サービス仕様を使用して NFS サービスをデプロイします。

   構文

   ceph orch apply -i FILE_NAME.yaml

   例:

   [ceph: root@host01 ceph]# ceph orch apply -i nfs.yaml

   注記

   NFS サービスのデプロイメントは非同期で行われるため、サービスが完全に開始される前にコマンドが返ってくる可能性があります。

8. NFS サービスが正常に開始されたことを確認します。

   構文

   ceph orch ls --service_name=nfs.CLUSTER_ID

   例:

   [ceph: root@host01 /]# ceph orch ls --service_name=nfs.cephfsnfs
   
   NAME           PORTS    RUNNING  REFRESHED  AGE  PLACEMENT
   nfs.cephfsnfs  ?:12345      2/2  3m ago     13m  host02;host03

9. Cephadm シェルを終了し、ingress.yaml ファイルを作成します。

   例:

   [root@host01 ~]# touch ingress.yaml

10. ingress.yaml ファイルを編集して、以下の詳細を含めます。

    構文

    service_type: SERVICE_TYPE
    service_id: SERVICE_ID
    placement:
      count: PLACEMENT
    spec:
      backend_service: SERVICE_ID_BACKEND
      frontend_port: FRONTEND_PORT
      monitor_port: MONITOR_PORT
      virtual_ip: VIRTUAL_IP_WITH_CIDR

    例:

    service_type: ingress
    service_id: nfs.cephfsnfs
    placement:
      count: 2
    spec:
      backend_service: nfs.cephfsnfs
      frontend_port: 2049
      monitor_port: 9000
      virtual_ip: 10.10.128.75/22

    注記

    この例では、placement: count: 2 は keepalived および haproxy サービスをランダムなノードにデプロイします。keepalived と haproxy をデプロイするノードを指定するには、placement: hosts オプションを使用します。

    例:

    service_type: ingress
    service_id: nfs.cephfsnfs
    placement:
      hosts:
        - host02
        - host03

11. YAML ファイルをコンテナー内のディレクトリーにマウントします。

    例:

    [root@host01 ~]# cephadm shell --mount ingress.yaml:/var/lib/ceph/ingress.yaml

12. Cephadm シェルにログインし、ディレクトリーに移動します。

    例:

    [ceph: root@host01 /]# cd /var/lib/ceph/

13. サービス仕様を使用して ingress サービスをデプロイします。

    構文

    ceph orch apply -i FILE_NAME.yaml

    例:

    [ceph: root@host01 ceph]# ceph orch apply -i ingress.yaml

14. Ingress サービスが正常に開始されたことを確認します。

    構文

    ceph orch ls --service_name=ingress.nfs.CLUSTER_ID

    例

    [ceph: root@host01 /]# ceph orch ls --service_name=ingress.nfs.cephfsnfs
    
    NAME                   PORTS                  RUNNING  REFRESHED  AGE  PLACEMENT
    ingress.nfs.cephfsnfs  10.10.128.75:2049,9000      4/4   4m ago     22m  count:2

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. クラスターを更新します。

   構文

   ceph orch apply nfs CLUSTER_NAME ["HOST_NAME_1,HOST_NAME_2,HOST_NAME_3"]

   CLUSTER_NAME は任意の文字列です。HOST _NAME_1 は、デプロイされた NFS-Ganesha デーモンをするためにホストを表す任意の文字列です。

   例

   [ceph: root@host01 /]# ceph orch apply nfs nfsganesha "host02"

   これにより、host02 上の nfsganesha クラスターが更新されます。

手順

1. Cephadm シェルにログインします。

   例

   [root@host01 ~]# cephadm shell

2. NFS-Ganesha クラスター情報を表示します。

   構文

   ceph nfs cluster info CLUSTER_NAME

   例

   [ceph: root@host01 /]# ceph nfs cluster info nfsganesha
   
   {
       "nfsganesha": [
           {
               "hostname": "host02",
               "ip": [
                   "10.10.128.70"
               ],
               "port": 2049
           }
       ]
   }