手順

1. 新規ノードをサーバーラックに追加します。
2. 新しいノードをネットワークに接続します。
3. 新規ノードに Red Hat Enterprise Linux 7 または Ubuntu 16.04 のいずれかをインストールします。

4. NTP をインストールし、信頼できるタイムソースを設定します。

   [root@monitor ~]# yum install ntp

5. ファイアウォールを使用している場合は、TCP ポート 6789 を開きます。

   Red Hat Enterprise Linux

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent

   Ubuntu

   iptables -I INPUT 1 -i $NIC_NAME -p tcp -s $IP_ADDR/$NETMASK_PREFIX --dport 6789 -j ACCEPT

   Ubuntu の例

   [user@monitor ~]$ sudo iptables -I INPUT 1 -i enp6s0 -p tcp -s 192.168.0.11/24 --dport 6789 -j ACCEPT

手順

1. [mons] セクションの下に、新しい Ceph Monitor ノードを /etc/ansible/hosts Ansible インベントリーファイルに追加します。

   例

   [mons]
   monitor01
   monitor02
   monitor03
   $NEW_MONITOR_NODE_NAME
   $NEW_MONITOR_NODE_NAME

2. Ansible が Ceph ノードと通信できることを確認します。

   # ansible all -m ping

3. ディレクトリーを Ansible 設定ディレクトリーに移動します。

   # cd /usr/share/ceph-ansible

4. Ansible Playbook の実行:

   $ ansible-playbook site.yml

   新規モニターを Ceph のコンテナー化されたデプロイメントに追加する場合は、site-docker.yml Playbook を実行します。

   $ ansible-playbook site-docker.yml

5. Ansible Playbook が完了すると、新しいモニターノードがストレージクラスターに置かれます。

手順

1. Red Hat Ceph Storage 3 モニターリポジトリーを追加します。

   Red Hat Enterprise Linux

   [root@monitor ~]# subscription-manager repos --enable=rhel-7-server-rhceph-3-mon-els-rpms

   Ubuntu

   [user@monitor ~]$ sudo bash -c 'umask 0077; echo deb https://$CUSTOMER_NAME:$CUSTOMER_PASSWORD@rhcs.download.redhat.com/3-updates/Tools $(lsb_release -sc) main | tee /etc/apt/sources.list.d/Tools.list'
   [user@monitor ~]$ sudo bash -c 'wget -O - https://www.redhat.com/security/fd431d51.txt | apt-key add -'

2. ceph-mon パッケージを新しい Ceph Monitor ノードにインストールします。

   Red Hat Enterprise Linux

   [root@monitor ~]# yum install ceph-mon

   Ubuntu

   [user@monitor ~]$ sudo apt-get install ceph-mon

3. ストレージクラスターが起動時または再起動時にモニターを特定するようにするには、モニターの IP アドレスを Ceph 設定ファイルに追加します。

   ストレージクラスターの既存のモニターノードの Ceph 設定ファイルの [mon] セクションまたは [global] セクションに新規モニターを追加するには、以下を実行します。mon_host 設定: DNS で解決できるホスト名または IP アドレスの一覧で、,、;、または で区切ります。オプションとして、新規モニターノード用に Ceph 設定ファイルに特定のセクションを作成することもできます。

   構文

   [mon]
   mon host = $MONITOR_IP:$PORT $MONITOR_IP:$PORT ... $NEW_MONITOR_IP:$PORT

   または

   [mon.$MONITOR_ID]
   host = $MONITOR_ID
   mon addr = $MONITOR_IP

   最初のクォーラムグループのモニター部分を作成するには、Ceph 設定ファイルの [global] セクションの mon_initial_members パラメーターにホスト名を追加する必要もあります。

   例

   [global]
   mon initial members = node1 node2 node3 node4 node5
   ...
   [mon]
   mon host = 192.168.0.1:6789 192.168.0.2:6789 192.168.0.3:6789 192.168.0.4:6789 192.168.0.5:6789
   ...
   [mon.node4]
   host = node4
   mon addr = 192.168.0.4
   
   [mon.node5]
   host = node5
   mon addr = 192.168.0.5

   重要

   本番ストレージクラスターには、高可用性を確保するために、 mon_initial_membersとmon_hostに少なくとも 3 台のモニターを設定する必要があります。初期モニターが 1 つだけのストレージクラスターにモニターを 2 つ追加しても、それらをmon_initial_members および mon_host に追加しないと、初期モニターが失敗するとストレージクラスターがロックされます。追加するモニターが mon_initial_members および mon_host の一部であるモニターを置き換える場合は、新しいモニターを mon_initial_members および mon_host にも追加する必要があります。

4. 更新された Ceph 設定ファイルをすべての Ceph ノードおよび Ceph クライアントにコピーします。

   構文

   scp /etc/ceph/$CLUSTER_NAME.conf $TARGET_NODE_NAME:/etc/ceph

   例

   [root@monitor ~]# scp /etc/ceph/ceph.conf node4:/etc/ceph

5. モニターのデータのディレクトリーを新規モニターノードに作成します。

   構文

   mkdir /var/lib/ceph/mon/$CLUSTER_NAME-$MONITOR_ID

   例

   [root@monitor ~]# mkdir /var/lib/ceph/mon/ceph-node4

6. 実行中のモニターノードおよび新規モニターノードに一時ディレクトリーを作成し、この手順に必要なファイルを保持します。このディレクトリーは、直前の手順で作成したモニターのデフォルトディレクトリーとは異なる必要があり、すべての手順の完了後に削除できます。

   構文

   mkdir $TEMP_DIRECTORY

   例

   [root@monitor ~]# mkdir /tmp/ceph

7. 実行中のモニターノードから新しいモニターノードに admin キーをコピーし、ceph コマンドを実行できるようにします。

   構文

   scp /etc/ceph/$CLUSTER_NAME.client.admin.keyring $TARGET_NODE_NAME:/etc/ceph

   例

   [root@monitor ~]# scp /etc/ceph/ceph.client.admin.keyring node4:/etc/ceph

8. 実行中のモニターノードから、モニターキーリングを取得します。

   構文

   ceph auth get mon. -o /$TEMP_DIRECTORY/$KEY_FILE_NAME

   例

   [root@monitor ~]# ceph auth get mon. -o /tmp/ceph/ceph_keyring.out

9. 実行中のモニターノードから、モニターマップを取得します。

   構文

   ceph mon getmap -o /$TEMP_DIRECTORY/$MONITOR_MAP_FILE

   例

   [root@monitor ~]# ceph mon getmap -o /tmp/ceph/ceph_mon_map.out

10. 収集したモニターデータを新しいモニターノードにコピーします。

    構文

    scp /tmp/ceph $TARGET_NODE_NAME:/tmp/ceph

    例

    [root@monitor ~]# scp /tmp/ceph node4:/tmp/ceph

11. 先に収集したデータから、新しいモニターのデータディレクトリーを準備します。モニターからクォーラム情報を取得するため、モニターマップへのパスをfsidと共に指定する必要があります。モニターキーリングへのパスも指定する必要があります。

    構文

    ceph-mon -i $MONITOR_ID --mkfs --monmap /$TEMP_DIRECTORY/$MONITOR_MAP_FILE --keyring /$TEMP_DIRECTORY/$KEY_FILE_NAME

    例

    [root@monitor ~]# ceph-mon -i node4 --mkfs --monmap /tmp/ceph/ceph_mon_map.out --keyring /tmp/ceph/ceph_keyring.out

12. カスタム名を持つストレージクラスターの場合は、以下の行を /etc/sysconfig/ceph ファイルに追加します。

    Red Hat Enterprise Linux

    [root@monitor ~]# echo "CLUSTER=<custom_cluster_name>" >> /etc/sysconfig/ceph

    Ubuntu

    [user@monitor ~]$ sudo echo "CLUSTER=<custom_cluster_name>" >> /etc/default/ceph

13. 新規モニターノードで所有者およびグループのパーミッションを更新します。

    構文

    chown -R $OWNER:$GROUP $DIRECTORY_PATH

    例

    [root@monitor ~]# chown -R ceph:ceph /var/lib/ceph/mon
    [root@monitor ~]# chown -R ceph:ceph /var/log/ceph
    [root@monitor ~]# chown -R ceph:ceph /var/run/ceph
    [root@monitor ~]# chown -R ceph:ceph /etc/ceph

14. 新しい monitor ノードで ceph-mon プロセスを有効にして起動します。

    構文

    systemctl enable ceph-mon.target
    systemctl enable ceph-mon@$MONITOR_ID
    systemctl start ceph-mon@$MONITOR_ID

    例

    [root@monitor ~]# systemctl enable ceph-mon.target
    [root@monitor ~]# systemctl enable ceph-mon@node4
    [root@monitor ~]# systemctl start ceph-mon@node4

手順

1. /usr/share/ceph-ansible/ ディレクトリーに移動します。

   [user@admin ~]$ cd /usr/share/ceph-ansible

2. infrastructure-playbooks ディレクトリーから現在のディレクトリーに、shrink-mon.yml Playbook をコピーします。

   [root@admin ceph-ansible]# cp infrastructure-playbooks/shrink-mon.yml .

3. Red Hat Ceph Storage の通常デプロイメントまたはコンテナー化されたデプロイメント用に、shrink-mon.yml Playbook を実行します。

   [user@admin ceph-ansible]$ ansible-playbook shrink-mon.yml -e mon_to_kill=<hostname> -u <ansible-user>

   以下を置き換えます。

   • <hostname> は、Monitor ノードの短縮ホスト名に置き換えます。複数の Monitor を削除するには、ホスト名をコンマで区切ります。
   • <ansible-user> は、Ansible ユーザーの名前に置き換えてください。

   たとえば、ホスト名 monitor1 のノードにある Monitor を削除するには、以下を実行します。

   [user@admin ceph-ansible]$ ansible-playbook shrink-mon.yml -e mon_to_kill=monitor1 -u user

4. クラスター内のすべての Ceph 設定ファイルから Monitor エントリーを削除します。

5. Monitor が正常に削除されていることを確認します。

   [root@monitor ~]# ceph -s

手順

1. monitor サービスを停止します。

   構文

   systemctl stop ceph-mon@$MONITOR_ID

   例

   [root@monitor ~]# systemctl stop ceph-mon@node3

2. ストレージクラスターからモニターを削除します。

   構文

   ceph mon remove $MONITOR_ID

   例

   [root@monitor ~]# ceph mon remove node3

3. Ceph 設定ファイル (デフォルトでは /etc/ceph/ceph.conf) からモニターエントリーを削除します。

4. Ceph 設定ファイルを、ストレージクラスターの残りの全 Ceph ノードに再配布します。

   構文

   scp /etc/ceph/$CLUSTER_NAME.conf $USER_NAME@$TARGET_NODE_NAME:/etc/ceph/

   例

   [root@monitor ~]# scp /etc/ceph/ceph.conf root@$node1:/etc/ceph/

5. コンテナーのみ。モニターサービスを無効にします。

   注記

   コンテナーを使用している場合にのみ、ステップ 5 - 9 を実行します。

   構文

   systemctl disable ceph-mon@$MONITOR_ID

   例

   [root@monitor ~]# systemctl disable ceph-mon@node3

6. コンテナーのみ。systemd からサービスを削除します。

   [root@monitor ~]# rm /etc/systemd/system/ceph-mon@.service

7. コンテナーのみ。systemd マネージャー設定を再読み込みします。

   [root@monitor ~]# systemctl daemon-reload

8. コンテナーのみ。障害が発生したモニターユニットの状態をリセットします。

   [root@monitor ~]# systemctl reset-failed

9. コンテナーのみ。ceph-mon RPM を削除します。

   [root@monitor ~]# docker exec node3 yum remove ceph-mon

10. モニターデータをアーカイブします。

    構文

    mv /var/lib/ceph/mon/$CLUSTER_NAME-$MONITOR_ID /var/lib/ceph/mon/removed-$CLUSTER_NAME-$MONITOR_ID

    例

    [root@monitor ~]# mv /var/lib/ceph/mon/ceph-node3 /var/lib/ceph/mon/removed-ceph-node3

11. モニターデータを削除します。

    構文

    rm -r /var/lib/ceph/mon/$CLUSTER_NAME-$MONITOR_ID

    例

    [root@monitor ~]# rm -r /var/lib/ceph/mon/ceph-node3

手順

1. 存続しているモニターを特定し、そのノードにログインします。

   [root@monitor ~]# ceph mon dump
   [root@monitor ~]# ssh $MONITOR_HOST_NAME

2. ceph-mon デーモンを停止し、monmap ファイルのコピーを抽出します。

   構文

   systemctl stop ceph-mon@$MONITOR_ID
   ceph-mon -i $MONITOR_ID --extract-monmap $TEMPORARY_PATH

   例

   [root@monitor ~]# systemctl stop ceph-mon@node1
   [root@monitor ~]# ceph-mon -i node1 --extract-monmap /tmp/monmap

3. 存続していないモニターを削除します。

   構文

   monmaptool $TEMPORARY_PATH --rm $MONITOR_ID

   例

   [root@monitor ~]# monmaptool /tmp/monmap --rm node2

4. 削除されたモニターを含む存続しているモニターマップを、存続しているモニターに挿入します。

   構文

   ceph-mon -i $MONITOR_ID --inject-monmap $TEMPORARY_PATH

   例

   [root@monitor ~]# ceph-mon -i node1 --inject-monmap /tmp/monmap

手順

1. コンテナー名を見つけます。たとえば、osd.5 に関連付けられたドライブを特定するには、osd.5 が実行中のコンテナーノードでターミナルを開き、docker ps を実行してすべてのコンテナーを一覧表示します。

   例

   [root@ceph3 ~]# docker ps
   CONTAINER ID        IMAGE                                                     COMMAND             CREATED             STATUS              PORTS               NAMES
   3a866f927b74        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    About an hour ago   Up About an hour                        ceph-osd-ceph3-sdd
   91f3d4829079        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    22 hours ago        Up 22 hours                             ceph-osd-ceph3-sdb
   73dfe4021a49        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    7 days ago          Up 7 days                               ceph-osd-ceph3-sdf
   90f6d756af39        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    7 days ago          Up 7 days                               ceph-osd-ceph3-sde
   e66d6e33b306        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    7 days ago          Up 7 days                               ceph-mgr-ceph3
   733f37aafd23        registry.access.redhat.com/rhceph/rhceph-3-rhel7:latest   "/entrypoint.sh"    7 days ago          Up 7 days                               ceph-mon-ceph3

2. docker exec を使用して、直前の出力から OSD コンテナー名上で ceph-volume lvm list を実行します。

   例

   [root@ceph3 ~]# docker exec ceph-osd-ceph3-sdb ceph-volume lvm list
   ====== osd.5 =======
   
     [journal]    /dev/journals/journal1
   
         journal uuid              C65n7d-B1gy-cqX3-vZKY-ZoE0-IEYM-HnIJzs
         osd id                    1
         cluster fsid              ce454d91-d748-4751-a318-ff7f7aa18ffd
         type                      journal
         osd fsid                  661b24f8-e062-482b-8110-826ffe7f13fa
         data uuid                 SlEgHe-jX1H-QBQk-Sce0-RUls-8KlY-g8HgcZ
         journal device            /dev/journals/journal1
         data device               /dev/test_group/data-lv2
         devices                   /dev/sda
   
     [data]    /dev/test_group/data-lv2
   
         journal uuid              C65n7d-B1gy-cqX3-vZKY-ZoE0-IEYM-HnIJzs
         osd id                    1
         cluster fsid              ce454d91-d748-4751-a318-ff7f7aa18ffd
         type                      data
         osd fsid                  661b24f8-e062-482b-8110-826ffe7f13fa
         data uuid                 SlEgHe-jX1H-QBQk-Sce0-RUls-8KlY-g8HgcZ
         journal device            /dev/journals/journal1
         data device               /dev/test_group/data-lv2
         devices                   /dev/sdb

   この出力から、osd.5 が /dev/sdb に関連付けられていることがわかります。

手順

1. [osds] セクションの下に Ceph OSD ノードを /etc/ansible/hosts ファイルに追加します。

   例

   [osds]
   ...
   osd06
   $NEW_OSD_NODE_NAME

2. Ansible が Ceph ノードに到達できることを確認します。

   [user@admin ~]$ ansible all -m ping

3. Ansible 設定ディレクトリーに移動します。

   [user@admin ~]$ cd /usr/share/ceph-ansible

4. add-osd.yml ファイルを /usr/share/ceph-ansible/ ディレクトリーにコピーします。

   [user@admin ceph-ansible]$ sudo cp infrastructure-playbooks/add-osd.yml .

5. Ceph の通常のデプロイメントまたはコンテナー化されたデプロイメント向けに Ansible Playbook を実行します。

   [user@admin ceph-ansible]$ ansible-playbook add-osd.yml

   注記

   OSD を追加する際に、PGs were not reported as active+clean で Playbook が失敗する場合は、all.yml ファイルに以下の変数を設定し、再試行と遅延を調整します。

   # OSD handler checks
   handler_health_osd_check_retries: 50
   handler_health_osd_check_delay: 30

手順

1. 最初の操作

   1. [osds] セクションの下に、新しい Ceph OSD ノードを /etc/ansible/hosts ファイルに追加します。

      例

      [osds]
      ...
      osd06
      $NEW_OSD_NODE_NAME

   2. ストレージクラスターに追加される新しい Ceph OSD ノードを /etc/ansible/host_vars/ ディレクトリーに作成します。

      構文

      touch /etc/ansible/host_vars/$NEW_OSD_NODE_NAME

      例

      [root@admin ~]# touch /etc/ansible/host_vars/osd07

   3. 新しいファイルを編集し、devices: および dedicated_devices: セクションをファイルに追加します。以下の各セクションに、- およびスペースを追加してから、この OSD ノードのブロックデバイス名への完全パスを追加します。

      例

      devices:
        - /dev/sdc
        - /dev/sdd
        - /dev/sde
        - /dev/sdf
      
      dedicated_devices:
        - /dev/sda
        - /dev/sda
        - /dev/sdb
        - /dev/sdb

   4. Ansible がすべての Ceph ノードに到達できることを確認します。

      [user@admin ~]$ ansible all -m ping

   5. ディレクトリーを Ansible 設定ディレクトリーに移動します。

      [user@admin ~]$ cd /usr/share/ceph-ansible

   6. add-osd.yml ファイルを /usr/share/ceph-ansible/ ディレクトリーにコピーします。

      [user@admin ceph-ansible]$ sudo cp infrastructure-playbooks/add-osd.yml .

   7. Ansible Playbook の実行:

      [user@admin ceph-ansible]$ ansible-playbook add-osd.yml

2. 2 つ目の方法

   1. 新しい OSD ノード名を /etc/ansible/hosts ファイルに追加し、devices オプションおよび dedicated_devices オプションを使用して、異なるディスクトポロジーを指定します。

      例

      [osds]
      ...
      osd07 devices="['/dev/sdc', '/dev/sdd', '/dev/sde', '/dev/sdf']" dedicated_devices="['/dev/sda', '/dev/sda', '/dev/sdb', '/dev/sdb']"

   2. Ansible がすべての Ceph ノードに到達できることを確認します。

      [user@admin ~]$ ansible all -m ping

   3. ディレクトリーを Ansible 設定ディレクトリーに移動します。

      [user@admin ~]$ cd /usr/share/ceph-ansible

   4. add-osd.yml ファイルを /usr/share/ceph-ansible/ ディレクトリーにコピーします。

      [user@admin ceph-ansible]$ sudo cp infrastructure-playbooks/add-osd.yml .

   5. Ansible Playbook の実行:

      [user@admin ceph-ansible]$ ansible-playbook add-osd.yml

1. ceph-osd パッケージをインストールして、新規 OSD インスタンスを作成します。
2. OSD データおよびジャーナルドライブを準備してマウントします。
3. 新規 OSD ノードを CRUSH マップに追加します。
4. 所有者およびグループパーミッションを更新します。
5. ceph-osd デーモンを有効にして起動します。

手順

1. Red Hat Ceph Storage 3 OSD ソフトウェアリポジトリーを有効にします。

   Red Hat Enterprise Linux

   [root@osd ~]# subscription-manager repos --enable=rhel-7-server-rhceph-3-osd-els-rpms

   Ubuntu

   [user@osd ~]$ sudo bash -c 'umask 0077; echo deb https://customername:customerpasswd@rhcs.download.redhat.com/3-updates/Tools $(lsb_release -sc) main | tee /etc/apt/sources.list.d/Tools.list'
   [user@osd ~]$ sudo bash -c 'wget -O - https://www.redhat.com/security/fd431d51.txt | apt-key add -'

2. /etc/ceph/ ディレクトリーを作成します。

   # mkdir /etc/ceph

3. 新しい OSD ノードで、Ceph 管理キーリングと設定ファイルを Ceph Monitor ノードの 1 つからコピーします。

   構文

   scp $USER_NAME@$MONITOR_HOST_NAME:/etc/ceph/$CLUSTER_NAME.client.admin.keyring /etc/ceph
   scp $USER_NAME@$MONITOR_HOST_NAME:/etc/ceph/$CLUSTER_NAME.conf /etc/ceph

   例

   [root@osd ~]# scp root@node1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/
   [root@osd ~]# scp root@node1:/etc/ceph/ceph.conf /etc/ceph/

4. ceph-osd パッケージを新しい Ceph OSD ノードにインストールします。

   Red Hat Enterprise Linux

   [root@osd ~]# yum install ceph-osd

   Ubuntu

   [user@osd ~]$ sudo apt-get install ceph-osd

5. 新規 OSD について、ジャーナルを共存させるか、または専用のジャーナルを使用するかどうかを決定します。

   注記

   --filestore オプションが必要です。

   1. ジャーナルを共存させる OSD の場合:

      構文

      [root@osd ~]# ceph-disk --setuser ceph --setgroup ceph prepare  --filestore /dev/$DEVICE_NAME

      例

      [root@osd ~]# ceph-disk --setuser ceph --setgroup ceph prepare  --filestore /dev/sda

   2. 専用のジャーナルを持つ OSD の場合:

      構文

      [root@osd ~]# ceph-disk --setuser ceph --setgroup ceph prepare  --filestore /dev/$DEVICE_NAME /dev/$JOURNAL_DEVICE_NAME

      または

      [root@osd ~]# ceph-volume lvm prepare  --filestore --data /dev/$DEVICE_NAME --journal /dev/$JOURNAL_DEVICE_NAME

      例

      [root@osd ~]# ceph-disk --setuser ceph --setgroup ceph prepare  --filestore /dev/sda /dev/sdb

      [root@osd ~]# ceph-volume lvm prepare  --filestore --data /dev/vg00/lvol1 --journal /dev/sdb

6. noup オプションを設定します。

   [root@osd ~]# ceph osd set noup

7. 新しい OSD をアクティベートします。

   構文

   [root@osd ~]# ceph-disk activate /dev/$DEVICE_NAME

   または

   [root@osd ~]# ceph-volume lvm activate --filestore $OSD_ID $OSD_FSID

   例

   [root@osd ~]# ceph-disk activate /dev/sda

   [root@osd ~]# ceph-volume lvm activate --filestore 0 6cc43680-4f6e-4feb-92ff-9c7ba204120e

8. OSD を CRUSH マップに追加します。

   構文

   ceph osd crush add $OSD_ID $WEIGHT [$BUCKET_TYPE=$BUCKET_NAME ...]

   例

   [root@osd ~]# ceph osd crush add 4 1 host=node4

   注記

   複数のバケットを指定する場合、コマンドは OSD を指定したバケットから最も具体的なバケットに配置、および 指定した他のバケットに従ってバケットを移動します。

   注記

   CRUSH マップを手動で編集することもできます。Red Hat Ceph Storage 3 の Storage Strategies ガイドの Editing a CRUSH map セクションを参照してください。

   重要

   ルートバケットのみを指定する場合、OSD はルートに直接アタッチしますが、CRUSH ルールは OSD がホストバケット内に置かれることを想定します。

9. noup オプションの設定を解除します。

   [root@osd ~]# ceph osd unset noup

10. 新規作成されたディレクトリーの所有者とグループのパーミッションを更新します。

    構文

    chown -R $OWNER:$GROUP $PATH_TO_DIRECTORY

    例

    [root@osd ~]# chown -R ceph:ceph /var/lib/ceph/osd
    [root@osd ~]# chown -R ceph:ceph /var/log/ceph
    [root@osd ~]# chown -R ceph:ceph /var/run/ceph
    [root@osd ~]# chown -R ceph:ceph /etc/ceph

11. カスタム名のクラスターを使用する場合は、以下の行を適切なファイルに追加します。

    Red Hat Enterprise Linux

    [root@osd ~]# echo "CLUSTER=$CLUSTER_NAME" >> /etc/sysconfig/ceph

    Ubuntu

    [user@osd ~]$ sudo echo "CLUSTER=$CLUSTER_NAME" >> /etc/default/ceph

    $CLUSTER_NAME は、カスタムクラスター名に置き換えます。

12. 新規 OSD が 起動 し、データを受信する準備ができていることを確認するには、OSD サービスを有効にして起動します。

    構文

    systemctl enable ceph-osd@$OSD_ID
    systemctl start ceph-osd@$OSD_ID

    例

    [root@osd ~]# systemctl enable ceph-osd@4
    [root@osd ~]# systemctl start ceph-osd@4

手順

1. /usr/share/ceph-ansible/ ディレクトリーに移動します。

   [user@admin ~]$ cd /usr/share/ceph-ansible

2. Ceph Monitor ノードの /etc/ceph/ から、削除する OSD が含まれるノードに管理キーリングをコピーします。

3. infrastructure-playbooks ディレクトリーから現在のディレクトリーに、適切な Playbook をコピーします。

   [root@admin ceph-ansible]# cp infrastructure-playbooks/shrink-osd.yml .

   または

   [root@admin ceph-ansible]# cp infrastructure-playbooks/shrink-osd-ceph-disk.yml .

4. ベアメタル または コンテナー のデプロイメントの場合は、適切な Ansible Playbook を実行します。

   構文

   ansible-playbook shrink-osd.yml -e osd_to_kill=$ID -u $ANSIBLE_USER

   または

   ansible-playbook shrink-osd-ceph-disk.yml -e osd_to_kill=$ID -u $ANSIBLE_USER

   以下を置き換えます。

   • $id は、OSD の ID に置き換えます。複数の OSD を削除するには、OSD ID をコンマで区切ります。
   • $ANSIBLE_USER は、Ansible ユーザーの名前に置き換えてください。

   例

   [user@admin ceph-ansible]$ ansible-playbook shrink-osd.yml -e osd_to_kill=1 -u user

   または

   [user@admin ceph-ansible]$ ansible-playbook shrink-osd-ceph-disk.yml -e osd_to_kill=1 -u user

5. OSD が正常に削除されていることを確認します。

   [root@mon ~]# ceph osd tree

手順

1. OSD サービスを無効にし、停止します。

   構文

   systemctl disable ceph-osd@$OSD_ID
   systemctl stop ceph-osd@$OSD_ID

   例

   [root@osd ~]# systemctl disable ceph-osd@4
   [root@osd ~]# systemctl stop ceph-osd@4

   OSD が停止したら、停止 します。

2. ストレージクラスターから OSD を削除します。

   構文

   ceph osd out $OSD_ID

   例

   [root@osd ~]# ceph osd out 4

   重要

   OSD が削除されると、Ceph は再バランス調整を開始し、データをストレージクラスター内の他の OSD にコピーします。Red Hat は、次の手順に進む前に、ストレージクラスターが active+clean になるまで待つことを推奨します。データの移行を確認するには、以下のコマンドを実行します。

   [root@monitor ~]# ceph -w

3. CRUSH マップから OSD を削除して、データを受信しないようにします。

   構文

   ceph osd crush remove $OSD_NAME

   例

   [root@osd ~]# ceph osd crush remove osd.4

   注記

   CRUSH マップをコンパイルし、デバイス一覧から OSD を削除して、ホストバケットの項目としてデバイスを削除するか、またはホストバケットを削除することもできます。CRUSH マップにあり、ホストを削除するには、マップを再コンパイルしてからこれを設定します。詳細は、Storage Strategies Guide を参照してください。

4. OSD 認証キーを削除します。

   構文

   ceph auth del osd.$OSD_ID

   例

   [root@osd ~]# ceph auth del osd.4

5. OSD を削除します。

   構文

   ceph osd rm $OSD_ID

   例

   [root@osd ~]# ceph osd rm 4

6. ストレージクラスターの設定ファイル (デフォルトでは /etc/ceph.conf) を編集して、OSD エントリーが存在する場合は削除します。

   例

   [osd.4]
   host = $HOST_NAME

7. OSD を手動で追加している場合は、/etc/fstab ファイルで OSD への参照を削除します。

8. 更新された設定ファイルを、ストレージクラスター内の他のすべてのノードの /etc/ceph/ ディレクトリーにコピーします。

   構文

   scp /etc/ceph/$CLUSTER_NAME.conf $USER_NAME@$HOST_NAME:/etc/ceph/

   例

   [root@osd ~]# scp /etc/ceph/ceph.conf root@node4:/etc/ceph/

手順

1. クラスターを noout に設定してバックフィルを防ぎます。

   [root@osd1 ~]# ceph osd set noout

2. ジャーナルが変更された OSD を停止します。

   [root@osd1 ~]# systemctl stop ceph-osd@$OSD_ID

3. OSD のジャーナルをフラッシュします。

   [root@osd1 ~]# ceph-osd -i $OSD_ID --flush-journal

4. 古いジャーナルパーティションを削除して、パーティションの UUID が新しいパーティションと競合しないようにします。

   sgdisk --delete=$OLD_PART_NUM -- $OLD_DEV_PATH

   置き換え

   • $OLD_PART_NUM は、古いジャーナルデバイスのパーティション番号に置き換えます。
   • $OLD_DEV_PATH は、古いジャーナルデバイスへのパスに置き換えます。

   例

   [root@osd1 ~]# sgdisk --delete=1 -- /dev/sda

5. 新しいデバイスに新しいジャーナルパーティションを作成します。この sgdisk コマンドは、次に利用可能なパーティション番号を自動的に使用します。

   sgdisk --new=0:0:$JOURNAL_SIZE -- $NEW_DEV_PATH

   置き換え

   • $JOURNAL_SIZE は、環境に適したジャーナルサイズに置き換えます (例: 10240M)。
   • NEW_DEV_PATH は、新規ジャーナルに使用するデバイスへのパスに置き換えます。

   注記

   ジャーナルの最小デフォルトサイズは 5 GB です。通常、10 GB を超える値は必要ありません。詳細は、Red Hat サポート にお問い合わせください。

   例

   [root@osd1 ~]# sgdisk --new=0:0:10240M -- /dev/sda

6. 新しいパーティションに適切なパラメーターを設定します。

   sgdisk --change-name=0:"ceph journal" --partition-guid=0:$OLD_PART_UUID --typecode=0:45b0969e-9b03-4f30-b4c6-b4b80ceff106 --mbrtogpt -- $NEW_DEV_PATH

   置き換え

   • $OLD_PART_UUID は、関連する OSD の journal_uuid ファイルの UUID に置き換えます。たとえば、OSD が 0 の場合は、/var/lib/ceph/osd/ceph-0/journal_uuid の UUID を使用します。
   • NEW_DEV_PATH は、新規ジャーナルに使用するデバイスへのパスに置き換えます。

   例

   [root@osd1 ~]# sgdisk --change-name=0:"ceph journal" --partition-guid=0:a1279726-a32d-4101-880d-e8573bb11c16 --typecode=0:097c058d-0758-4199-a787-ce9bacb13f48 --mbrtogpt -- /dev/sda

   上記の sgdisk コマンドを実行すると、新しいジャーナルパーティションが Ceph 用に準備され、ジャーナルを作成できます。

   重要

   sgdisk の制限により、パーティションが正常に作成されないため、このコマンドをパーティション作成コマンドと組み合わせることはできません。

7. 新しいジャーナルを作成します。

   [root@osd1 ~]# ceph-osd -i $OSD_ID --mkjournal

8. OSD を起動します。

   [root@osd1 ~]# systemctl start ceph-osd@$OSD_ID

1. OSD で noout フラグを削除します。

   [root@osd1 ~]# ceph osd unset noout

2. ジャーナルが正しいデバイスに関連付けられていることを確認します。

   [root@osd1 ~]# ceph-disk list

手順

1. データの移行を確認するには、以下を実行します。

   [root@monitor ~]# ceph -w

2. 配置グループのステータスが active+clean から active, some degraded objects し、最後に移行の完了時に active+clean に変わるのを確認します。
3. ユーティリティーを終了するには、Ctrl + C を押します。

手順

1. ストレージクラスターの正常性を確認します。

   # ceph health

2. CRUSH 階層で OSD の場所を特定します。

   # ceph osd tree | grep -i down

3. OSD ノードで、OSD の起動を試行します。

   # systemctl start ceph-osd@$OSD_ID

   コマンドが OSD がすでに実行されていることを示す場合、ハートビートまたはネットワークの問題がある可能性があります。OSD を再起動できない場合は、ドライブが失敗する可能性があります。

   注記

   OSD が down すると、OSD は最終的に out とマークされます。Ceph Storage では、これは通常の動作です。OSD が out とマークすると、失敗した OSD のデータのコピーが含まれる他の OSD がバックフィルを開始し、必要な数のコピーがストレージクラスター内に存在していることを確認します。ストレージクラスターがバックフィル状態である間、クラスターの状態は degraded になります。

4. Ceph のコンテナー化されたデプロイメントでは、OSD に関連付けられたドライブを参照し、OSD コンテナーを起動します。

   # systemctl start ceph-osd@$OSD_DRIVE

   コマンドが OSD がすでに実行されていることを示す場合、ハートビートまたはネットワークの問題がある可能性があります。OSD を再起動できない場合は、ドライブが失敗する可能性があります。

   注記

   OSD に関連付けられたドライブは、コンテナー OSD ID をドライブにマッピングして判断できます。

5. 失敗した OSD のマウントポイントを確認します。

   注記

   Ceph のコンテナー化されたデプロイメントでは、OSD がダウンし、OSD ドライブのマウントが解除されるため、df を実行してマウントポイントを確認することはできません。別の方法を使用して、OSD ドライブが失敗したかどうかを判別します。たとえば、コンテナーノードからドライブで smartctl を実行します。

   # df -h

   OSD を再起動できない場合は、マウントポイントを確認できます。マウントポイントが表示されない場合は、OSD ドライブを再マウントして OSD を再起動することができます。マウントポイントを復元できない場合は、OSD ドライブが失敗している可能性があります。

   smartctl ユーティリティー cab を使用して、ドライブが正常かどうかを確認します。以下に例を示します。

   # yum install smartmontools
   # smartctl -H /dev/$DRIVE

   ドライブに障害が発生した場合は、それを置き換えなければならない場合があります。

6. OSD プロセスを停止します。

   # systemctl stop ceph-osd@$OSD_ID

   1. FileStore を使用している場合は、ジャーナルをディスクにフラッシュします。

      # ceph osd -i $$OSD_ID --flush-journal

7. Ceph のコンテナー化されたデプロイメントの場合には、OSD に関連付けられたドライブを参照して、OSD コンテナーを停止します。

   # systemctl stop ceph-osd@$OSD_DRIVE

8. ストレージクラスターから OSD を削除します。

   # ceph osd out $OSD_ID

9. 失敗した OSD がバックフィルされていることを確認します。

   # ceph -w

10. CRUSH マップから OSD を削除します。

    # ceph osd crush remove osd.$OSD_ID

    注記

    この手順は、OSD を永続的に削除し、再デプロイしない場合にのみ必要になります。

11. OSD の認証キーを削除します。

    # ceph auth del osd.$OSD_ID

12. OSD のキーが一覧表示されていないことを確認します。

    # ceph auth list

13. ストレージクラスターから OSD を削除します。

    # ceph osd rm osd.$OSD_ID

14. 障害が発生したドライブパスのマウントを解除します。

    注記

    Ceph のコンテナー化されたデプロイメントでは、OSD がコンテナーがダウンし、OSD ドライブのマウントが解除されます。この場合、マウント解除するものがないため、この手順はスキップできます。

    # umount /var/lib/ceph/osd/$CLUSTER_NAME-$OSD_ID

15. 物理ドライブを置き換えます。ノードのハードウェアベンダーのドキュメントを参照してください。ドライブのホットスワップが可能である場合は、障害が発生したドライブを新しいドライブに置き換えます。ドライブがホットスワップできず、ノードに複数の OSD が含まれている場合は、物理ドライブを交換するためにノードを停止する必要がある場合があります。ノードを一時的に停止する必要がある場合は、バックフィルを防ぐためにクラスターを noout に設定できます。

    # ceph osd set noout

    ドライブを置き換えて、ノードとその OSD をオンラインに戻したら、noout 設定を削除します。

    # ceph osd unset noout

    新しいドライブを /dev/ ディレクトリーの下に表示されるように、ドライブパスを書き留めて作業を続行します。

16. OSD ドライブを特定し、ディスクをフォーマットします。

17. OSD を再作成します。

    1. Ansible の使用
    2. コマンドラインインターフェイスの使用

18. CRUSH 階層をチェックして、これが正確であることを確認します。

    # ceph osd tree

    CRUSH 階層の OSD の場所が適切でない場合は、move コマンドを使用して移動できます。

    # ceph osd crush move $BUCKET_TO_MOVE $BUCKET_TYPE=$PARENT_BUCKET

19. OSD がオンラインであることを確認します。

手順

1. OSD を破棄します。

   ceph osd destroy $OSD_ID --yes-i-really-mean-it

   例

   $ ceph osd destroy 1 --yes-i-really-mean-it

2. 必要に応じて、交換ディスクを以前使用していた場合は、ディスクを ザッピングする 必要があります。

   ceph-volume lvm zap $DEVICE

   例

   $ ceph-volume lvm zap /dev/sdb

3. 既存の OSD ID で新規 OSD を作成します。

   ceph-volume lvm create --osd-id $OSD_ID --data $DEVICE

   例

   $ ceph-volume lvm create --osd-id 1 --data /dev/sdb