1. ノードを登録します。プロンプトが表示されたら、Red Hat カスタマーポータルの認証情報を入力します。

   # subscription-manager register

2. CDN から最新のサブスクリプションデータをプルします。

   # subscription-manager refresh

3. Red Hat Ceph Storage で利用可能なサブスクリプションのリストを表示します。

   # subscription-manager list --available --all --matches="*Ceph*"

   適切なサブスクリプションを特定し、プール ID を取得します。

4. サブスクリプションを割り当てます。

   # subscription-manager attach --pool=$POOL_ID

   置き換え

   • $POOL_ID を、直前の手順で特定されたプール ID に置き換えます。

5. デフォルトのソフトウェアリポジトリーを無効にします。次に、Red Hat Enterprise Linux 7 Server、Red Hat Enterprise Linux 7 Server Extras、および RHCS リポジトリーを有効にします。

   # subscription-manager repos --disable=*
   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-7-server-extras-rpms
   # subscription-manager repos --enable=rhel-7-server-rhceph-3-mon-els-rpms
   # subscription-manager repos --enable=rhel-7-server-rhceph-3-osd-els-rpms
   # subscription-manager repos --enable=rhel-7-server-rhceph-3-tools-els-rpms

6. システムを更新して、最新のパッケージを受け取ります。

   # yum update

1. Red Hat カスタマーポータルにログインしている。
2. Downloads をクリックして、Software & Download センターに移動します。
3. Red Hat Ceph Storage エリアで Download Software をクリックして、最新バージョンのソフトウェアをダウンロードします。

1. 以下の設定が、公開されているネットワークインターフェイスカードに対応する /etc/sysconfig/network-scripts/ifcfg-* ファイルにあることを確認します。

   1. 静的 IP アドレスについて BOOTPROTO パラメーターは none に設定されます。

   2. ONBOOT パラメーターは yes に設定する必要があります。

      これが no に設定されていると、Ceph ストレージクラスターがリブート時にピアに機能しなくなる可能性があります。

   3. IPv6 アドレス指定を使用する場合には、IPV6_FAILURE_FATAL パラメーターを除き、IPV6INIT などの IPV6 パラメーターを yes に設定する必要があります。

      また、Ceph 設定ファイル/etc/ceph/ceph.conf を編集して、IPv6 を使用するように Ceph に指示します。そうでない場合、Ceph は IPv4 を使用します。

1. すべての RHCS ノードで、firewalld サービスを起動します。これを有効にして、システムの起動時に実行し、実行していることを確認します。

   # systemctl enable firewalld
   # systemctl start firewalld
   # systemctl status firewalld

2. すべての Monitor ノードで、パブリックネットワークの 6789 ポートを開く。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent

   ソースアドレスに基づいてアクセスを制限するには、以下を実行します。

   firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
   source address="IP_address/netmask_prefix" port protocol="tcp" \
   port="6789" accept"

   firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
   source address="IP_address/netmask_prefix" port protocol="tcp" \
   port="6789" accept" --permanent

   置き換え

   • IP_address には、Monitor ノードのネットワークアドレスを指定します。
   • netmask_prefix には、CIDR 表記のネットマスクを指定します。

   例

   [root@monitor ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
   source address="192.168.0.11/24" port protocol="tcp" \
   port="6789" accept"

   [root@monitor ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
   source address="192.168.0.11/24" port protocol="tcp" \
   port="6789" accept" --permanent

3. すべての OSD ノードで、パブリックネットワークでポート 6800-7300 を開きます。

   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

4. すべての Ceph Manager (ceph-mgr) ノード (通常は Monitor のノードと同じ) で、パブリックネットワークの 6800～7300 番ポートを開きます。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

5. すべての Ceph Metadata Server (ceph-mds) ノードにおいて、パブリックネットワークでポート 6800 を開きます。

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800/tcp --permanent

   別のクラスターネットワークがある場合には、適切なゾーンでコマンドを繰り返します。

6. すべての Ceph Object Gateway ノードで、パブリックネットワーク上の関連するポートを開きます。

   1. デフォルトの Ansible が設定されたポート 8080 を開くには、以下のコマンドを実行します。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下を実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="8080" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="8080" accept" --permanent

      置き換え

      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="8080" accept"

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="8080" accept" --permanent

   2. オプション: Ansible を使用して Ceph Object Gateway をインストールし、使用する Ceph Object Gateway を Ansible が設定するデフォルトのポートを 8080 からポート 80 に変更した場合は、次のポートを開きます。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下のコマンドを実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="80" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="80" accept" --permanent

      置き換え

      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept"

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept" --permanent

   3. オプション: SSL/TLS を使用するには、443 ポートを開きます。

      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp --permanent

      ソースアドレスに基づいてアクセスを制限するには、以下のコマンドを実行します。

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="443" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_address/netmask_prefix" port protocol="tcp" \
      port="443" accept" --permanent

      置き換え

      • オブジェクトゲートウェイノードのネットワークアドレスを含む IP_address。
      • netmask_prefix には、CIDR 表記のネットマスクを指定します。

      例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept"
      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept" --permanent

手順

1. Ceph ノードに root ユーザーとしてログインします。

   ssh root@$HOST_NAME

   置き換え

   • $HOST_NAME は、Ceph ノードのホスト名に置き換えます。

   例

   # ssh root@mon01

   プロンプトに従い root パスワードを入力します。

2. 新しい Ansible ユーザーを作成します。

   adduser $USER_NAME

   置き換え

   • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。

   例

   # adduser admin

   重要

   ceph をユーザー名として使用しないでください。ceph ユーザー名は、Ceph デーモン用に予約されます。クラスター全体で統一されたユーザー名を使用すると、使いやすさが向上しますが、侵入者は通常、そのユーザー名をブルートフォース攻撃に使用するため、明白なユーザー名の使用は避けてください。

3. このユーザーに新しいパスワードを設定します。

   # passwd $USER_NAME

   置き換え

   • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。

   例

   # passwd admin

   プロンプトが表示されたら、新しいパスワードを 2 回入力します。

4. 新規に作成されたユーザーの sudo アクセスを設定します。

   cat << EOF >/etc/sudoers.d/$USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   置き換え

   • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。

   例

   # cat << EOF >/etc/sudoers.d/admin
   admin ALL = (root) NOPASSWD:ALL
   EOF

5. 正しいファイル権限を新しいファイルに割り当てます。

   chmod 0440 /etc/sudoers.d/$USER_NAME

   置き換え

   • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。

   例

   # chmod 0440 /etc/sudoers.d/admin

1. SSH キーペアを生成し、デフォルトのファイル名を受け入れ、パスフレーズを空のままにします。

   [user@admin ~]$ ssh-keygen

2. 公開鍵をストレージクラスター内のすべてのノードにコピーします。

   ssh-copy-id $USER_NAME@$HOST_NAME

   置き換え

   • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。
   • $HOST_NAME は、Ceph ノードのホスト名に置き換えます。

   例

   [user@admin ~]$ ssh-copy-id admin@ceph-mon01

3. ~/.ssh/config ファイルを作成および編集します。

   重要

   ~/.ssh/config ファイルを作成および編集することで、ansible-playbook コマンドを実行するたびに -u $USER_NAME オプションを指定する必要はありません。

   1. SSH config ファイルを作成します。

      [user@admin ~]$ touch ~/.ssh/config

   2. 編集のために config ファイルを開きます。ストレージクラスターの各ノードの Hostname と User オプションを設定します。

      Host node1
         Hostname $HOST_NAME
         User $USER_NAME
      Host node2
         Hostname $HOST_NAME
         User $USER_NAME
      ...

      置き換え

      • $HOST_NAME は、Ceph ノードのホスト名に置き換えます。
      • $USER_NAME は、Ansible ユーザーの新規ユーザー名に置き換えます。

      例

      Host node1
         Hostname monitor
         User admin
      Host node2
         Hostname osd
         User admin
      Host node3
         Hostname gateway
         User admin

4. ~/.ssh/config ファイルに正しいファイルパーミッションを設定します。

   [admin@admin ~]$ chmod 600 ~/.ssh/config

1. Ansible のユーザーとして、ceph-ansible Playbook で生成された一時的な値を Ansible が保存するceph-ansible-keys ディレクトリーを作成します。

   [user@admin ~]$ mkdir ~/ceph-ansible-keys

2. root として、/etc/ansible/ ディレクトリーに /usr/share/ceph-ansible/group_vars ディレクトリーへのシンボリックリンクを作成します。

   [root@admin ~]# ln -s /usr/share/ceph-ansible/group_vars /etc/ansible/group_vars

3. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]$ cd /usr/share/ceph-ansible

4. yml.sample ファイルのコピーを新たに作成します。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp site.yml.sample site.yml

5. コピーしたファイルを編集します。

   1. group_vars/all.yml ファイルを編集します。アンコメントする最も一般的な必須およびオプションのパラメーターについては、以下の表を参照してください。なお、この表にはすべてのパラメーターが含まれているわけではありません。

      重要

      カスタムクラスター名の使用はサポートされていないため、cluster: ceph パラメーターに ceph 以外の値を設定しないでください。

      表3.1 Ansible の一般的な設定

      オプション	値	必須	備考
      ceph_origin	repository または distro または local	はい	repository 値は、新しいリポジトリーで Ceph をインストールすることを意味します。distro の値は、個別のリポジトリーファイルが追加されず、Linux ディストリビューションに含まれる Ceph のバージョンをすべて取得することを意味します。local の値は、Ceph バイナリーがローカルマシンからコピーされることを意味します。
      ceph_repository_type	cdn または iso	はい
      ceph_rhcs_version	3	はい
      ceph_rhcs_iso_path	ISO イメージへのパス	ISO イメージを使用する場合は Yes
      monitor_interface	Monitor ノードがリッスンするインターフェイス	MONITOR_INTERFACE、MONITOR_ADDRESS、または MONITOR_ADDRESS_BLOCK が必要です。
      monitor_address	Monitor ノードがリッスンするアドレス
      monitor_address_block	Ceph のパブリックネットワークのサブネット		ノードの IP アドレスは不明だが、サブネットはわかっている場合に使用します
      ip_version	ipv6	IPv6 アドレスを使用している場合は Yes
      public_network	IPv6 を使用する場合には、Ceph パブリックネットワークの IP アドレスとネットマスク、または対応する IPv6 アドレス	はい	「Red Hat Ceph Storage のネットワーク設定の確認」
      cluster_network	Ceph クラスターネットワークの IP アドレスとネットマスク	いいえ、デフォルトは public_network です
      configure_firewall	Ansible は適切なファイアウォールルールの設定を試みます	いいえ。値を true または false に設定します。

      all.yml ファイルの例は次のようになります。

      ceph_origin: distro
      ceph_repository: rhcs
      ceph_repository_type: cdn
      ceph_rhcs_version: 3
      monitor_interface: eth0
      public_network: 192.168.0.0/24

      注記

      必ず all.yml ファイルで ceph_origin を distro に設定してください。これにより、インストールプロセスで正しいダウンロードリポジトリーが使用されるようになります。

      注記

      ceph_rhcs_version オプションを 3 に設定すると、最新バージョンの Red Hat Ceph Storage 3 がプルされます。

      警告

      デフォルトでは、Ansible はインストール済みの再起動を試みますが、マスクされた firewalld サービスにより、Red Hat Ceph Storage デプロイメントが失敗する可能性があります。この問題を回避するには、all.yml ファイルで configure_firewall オプションを false に設定します。firewalld サービスを実行している場合は、all.yml ファイルで configure_firewall オプションを使用する必要はありません。

      詳細は、all.yml ファイルを参照してください。

   2. group_vars/osds.yml ファイルを編集します。アンコメントする最も一般的な必須およびオプションのパラメーターについては、以下の表を参照してください。なお、この表にはすべてのパラメーターが含まれているわけではありません。

      重要

      OSD のインストールには、OSD がインストールされている機器とは異なる物理的な機器を使用してください。オペレーティングシステムと OSD 間で同じデバイスを共有すると、パフォーマンスの問題が発生することになります。

      表3.2 OSD Ansible 設定

      オプション	値	必須	備考
      osd_scenario	collocated。ログ先行書き込みとキー/値データ (Blue Store) またはジャーナル (File Store) と OSD データに同じデバイスを使用 non-collocated。SSD や NVMe メディアなどの専用デバイスを使用して先行書き込みログとキー/値データ (Blue Store) またはジャーナルデータ (File Store) を保存するため lvm: OSD データの保存に論理ボリュームマネージャーを使用する場合	はい	osd_scenario:non-collocated、ceph-ansible を使用する場合、devices と dedicated_devices の変数の数が一致することを期待します。たとえば、devices で 10 個のディスクを指定する場合は、dedicated_devices で 10 個のエントリーを指定する必要があります。
      osd_auto_discovery	OSD を自動的に検出する場合は true	osd_scenario: collocated を使用している場合は Yes	devices 設定を使用している場合は使用できません。
      devices	ceph data が保存されているデバイスのリスト	デバイスのリストを指定する場合は Yes	osd_auto_discovery 設定を使用する場合は使用できません。osd_scenario として lvm を使用し、devices オプションを設定する場合、ceph-volume lvm batch モードは最適化された OSD 設定を作成します。
      dedicated_devices	ceph journal が保存されている非コロケーション OSD 専用デバイスのリスト	osd_scenario: non-collocated 場合は Yes	非分割型のデバイスであること
      dmcrypt	OSD を暗号化する場合は true	いいえ	デフォルトは false
      lvm_volumes	File Store または Blue Store 辞書のリスト	osd_scenario: lvm使用している場合、ストレージ デバイスが devices を使用して定義されている場合は Yes	各ディクショナリーには、data キー、journal キー、および data_vg キーが含まれている必要があります。論理ボリュームまたはボリュームグループはすべて、完全パスではなく、名前にする必要があります。data キーおよび journal キーは論理ボリューム (LV) またはパーティションにすることができますが、複数の data 論理ボリュームに 1 つのジャーナルを使用しないでください。data_vg キーは、data 論理ボリューム含むボリュームグループである必要があります。必要に応じて、journal_vg キーを使用して、ジャーナル LV を含むボリュームグループを指定できます (該当する場合)。サポートされているさまざまな設定については、以下の例を参照してください。
      osds_per_device	デバイスごとに作成する OSD 数。	いいえ	デフォルトは 1 です
      osd_objectstore	OSD の Ceph オブジェクトストアタイプ。	いいえ	デフォルトは bluestore です。もう一つの選択肢は、filestore です。アップグレードに必要です。

      以下は、collocated、non-collocated、lvm の 3 つの OSD シナリオを使用した場合の osds.yml ファイルの例です。指定されていない場合、デフォルトの OSD オブジェクトストアフォーマットは BlueStore です。

      コロケート済み

      osd_objectstore: filestore
      osd_scenario: collocated
      devices:
        - /dev/sda
        - /dev/sdb

      コロケートされていない - BlueStore

      osd_objectstore: bluestore
      osd_scenario: non-collocated
      devices:
       - /dev/sda
       - /dev/sdb
       - /dev/sdc
       - /dev/sdd
      dedicated_devices:
       - /dev/nvme0n1
       - /dev/nvme0n1
       - /dev/nvme1n1
       - /dev/nvme1n1

      コロケートされていない例では、デバイスごとに 1 つずつ、4 つの Blue Store OSD が作成されます。この例では、従来のハードドライブ (sda、sdb、sdc、sdd) がオブジェクトデータに使用され、ソリッドステートドライブ (SSD) (/ dev/nvme0n1、/ dev/nvme1n1) が Blue Store データベースに使用されて書き込みます-先行書き込みログ。この設定では、/dev/sda および/dev/sdb デバイスを /dev/nvme0n1 デバイスとペアにし、/dev/sdc および /dev/sdd デバイスを /dev/nvme1n1 デバイスとペアにします。

      非コロケーション - Filestore

      osd_objectstore: filestore
      osd_scenario: non-collocated
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/sdc
        - /dev/sdd
      dedicated_devices:
         - /dev/nvme0n1
         - /dev/nvme0n1
         - /dev/nvme1n1
         - /dev/nvme1n1

      LVM simple

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb

      または、以下を実行します。

      osd_objectstore: bluestore
      osd_scenario: lvm
      devices:
        - /dev/sda
        - /dev/sdb
        - /dev/nvme0n1

      これらの単純な設定では ceph-ansible はバッチモード (ceph-volume lvm batch) を使用して OSD を作成します。

      最初のシナリオでは、devices を従来のハードドライブまたは SSD の場合には、デバイスごとに OSD が 1 つ作成されます。

      2 つ目のシナリオでは、従来のハードドライブと SSD が混在している場合、データは従来のハードドライブ (sda、sdb) に配置され、BlueStore データベース (block.db) は SSD (nvme0n1) にできる限り大きく作成されます。

      LVM advance

      osd_objectstore: filestore
      osd_scenario: lvm
      lvm_volumes:
         - data: data-lv1
           data_vg: vg1
           journal: journal-lv1
           journal_vg: vg2
         - data: data-lv2
           journal: /dev/sda
           data_vg: vg1

      または、以下を実行します。

      osd_objectstore: bluestore
      osd_scenario: lvm
      lvm_volumes:
        - data: data-lv1
          data_vg: data-vg1
          db: db-lv1
          db_vg: db-vg1
          wal: wal-lv1
          wal_vg: wal-vg1
        - data: data-lv2
          data_vg: data-vg2
          db: db-lv2
          db_vg: db-vg2
          wal: wal-lv2
          wal_vg: wal-vg2

      これらの事前シナリオ例では、事前にボリュームグループと論理ボリュームを作成しておく必要があります。それらは ceph-ansible によって作成されません。

      注記

      すべての NVMe SSD を使用する場合は、osd_scenario:lvm および osds_per_device:4 オプションを設定します。詳細は、Red Hat Ceph Storage インストールガイドの Red Hat Enterprise Linux 用の すべての NVMe Storage の OSDAnsible 設定の設定 または Ubuntu 用のすべての NVMe Storage の OSDAnsible 設定の設定 を参照してください。

      詳細は、osds.yml ファイルのコメントをご覧ください。

6. デフォルトでは /etc/ansible/hosts にある Ansible のインベントリーファイルを編集します。サンプルホストをコメントアウトすることを忘れないでください。

   1. [mons] セクションの下に Monitor のノードを追加します。

      [mons]
      MONITOR_NODE_NAME1
      MONITOR_NODE_NAME2
      MONITOR_NODE_NAME3

   2. [osds] セクションの下に OSD ノードを追加します。ノードがシーケンシャルなネーミングの場合は、レンジの使用を検討してください。

      [osds]
      OSD_NODE_NAME1[1:10]

      注記

      新規インストールの OSD の場合、デフォルトのオブジェクトストア形式は BlueStore です。

      1. オプションで、devices および dedicated_devices オプションを使用して、OSD ノードが使用するデバイスを指定します。複数のデバイスをリストアップするには、コンマで区切ったリストを使用します。

         構文

         [osds]
         CEPH_NODE_NAME devices="['DEVICE_1', 'DEVICE_2']" dedicated_devices="['DEVICE_3', 'DEVICE_4']"

         例

         [osds]
         ceph-osd-01 devices="['/dev/sdc', '/dev/sdd']" dedicated_devices="['/dev/sda', '/dev/sdb']"
         ceph-osd-02 devices="['/dev/sdc', '/dev/sdd', '/dev/sde']" dedicated_devices="['/dev/sdf', '/dev/sdg']"

         デバイスを指定しない場合は、osds.yml ファイルの osd_auto_discovery オプションを true に設定してください。

         注記

         OSD が異なる名前の デバイス を使用する場合や、いずれかの OSD でデバイスのいずれかに障害が発生した場合に、devices および dedicated_devices パラメーターを使用すると便利です。

7. 必要に応じて、すべてのデプロイメント (ベアメタル または コンテナー 内) ホスト固有のパラメーターを使用する場合は、ホストに固有のパラメーターが含まれるホストファイルで host_vars ディレクトリーを作成します。

   1. ストレージクラスターに追加される新しい Ceph OSD ノードを /etc/ansible/host_vars/ ディレクトリーに作成します。

      構文

      touch /etc/ansible/host_vars/OSD_NODE_NAME

      例

      [root@admin ~]# touch /etc/ansible/host_vars/osd07

   2. ホスト固有のパラメーターで ファイルを更新します。ベアメタル デプロイメントでは、devices: および dedicated_ devices: セクションをファイルに追加できます。

      例

      devices:
        - /dev/sdc
        - /dev/sdd
        - /dev/sde
        - /dev/sdf
      
      dedicated_devices:
        - /dev/sda
        - /dev/sdb

8. オプションで、ベアメタルまたはコンテナー内のすべてのデプロイメントで、ansible-playbook を使用してカスタム CRUSH 階層を作成できます。

   1. Ansible のインベントリーファイルを設定します。osd_crush_location パラメーターを使用して、OSD ホストを CRUSH マップの階層内のどこに配置するかを指定します。OSD の場所を指定するために、2 つ以上の CRUSH バケットタイプを指定し、1 つのバケットの type をホストに指定する必要があります。デフォルトでは、これには、root、datacenter、room、row、pod、pdu、rack、chassis および host が含まれます。

      構文

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      例

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. crush_rule_config パラメーターとcreate_crush_tree パラメーターを True に設定し、デフォルトの CRUSH ルールを使用しない場合は、少なくとも 1 つの CRUSH ルールを作成します。たとえば、HDD デバイスを使用している場合は、次のようにパラメーターを編集します。

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      SSD デバイスを使用している場合は、以下のようにパラメーターを編集してください。

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      注記

      ssd と hdd の両方の OSD がデプロイされていない場合、デフォルトの CRUSH ルールは失敗します。これは、デフォルトのルールに、定義する必要のある class パラメーターが含まれているためです。

      注記

      さらに、上記の手順で説明されているように、カスタムの CRUSH 階層を host_vars ディレクトリーの OSD ファイルに追加し、この設定を有効にします。

   3. group_vars/clients.yml ファイルで作成した crush_rules を使用して pools を作成します。

      例

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. ツリーを表示します。

      [root@mon ~]# ceph osd tree

   5. プールを検証します。

      # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
      
      pool: pool1
      crush_rule: HDD

9. ベアメタル またはコンテナー内 のすべてのデプロイメントで、Ansible インベントリーファイル (デフォルトでは /etc/ansible/hosts ファイル) を編集するために開きます。例のホストをコメントアウトします。

   1. [mgrs] セクションに Ceph Manager (ceph-mgr) ノードを追加します。Ceph Manager デーモンを Monitor ノードにコロケーションします。

      [mgrs]
      <monitor-host-name>
      <monitor-host-name>
      <monitor-host-name>

10. Ansible ユーザーとして、Ansible が Ceph ホストに到達できることを確認します。

    [user@admin ~]$ ansible all -m ping

11. 次の行を /etc/ansible/ansible.cfg ファイルに追加します。

    retry_files_save_path = ~/

12. root として、/var/log/ansible/ ディレクトリーを作成し、ansible ユーザーに適切な権限を割り当てます。

    [root@admin ~]# mkdir /var/log/ansible
    [root@admin ~]# chown ansible:ansible  /var/log/ansible
    [root@admin ~]# chmod 755 /var/log/ansible

    1. 次のように log_path 値を更新して、/usr/share/ceph-ansible/ansible.cfg ファイルを編集します。

       log_path = /var/log/ansible/ansible.log

13. Ansible ユーザーとして、/usr/share/ceph-ansible/ ディレクトリーに移動します。

    [user@admin ~]$ cd /usr/share/ceph-ansible/

14. ceph-ansible Playbook を実行します。

    [user@admin ceph-ansible]$ ansible-playbook site.yml

    注記

    デプロイメントの速度を増やすには、--forks オプションを ansible-playbook に指定します。デフォルトでは、ceph-ansible はフォークを 20 に設定します。この設定では、ノードを同時にインストールします。一度に最大 30 個のノードをインストールするには、ansible-playbook --forks 30 PLAYBOOKFILE を実行します。管理ノードのリソースが過剰に使用されていないことを確認するために、監視する必要があります。そうである場合は、--forks に渡される数を減らします。

15. モニターノードの root アカウントを使用して、Ceph クラスターのステータスを確認します。

    [root@monitor ~]# ceph health
    HEALTH_OK

16. rados を使用してクラスターが機能していることを確認します。

    1. モニターノードから、8 つの配置グループを持つテストプールを作成します。

       構文

       [root@monitor ~]# ceph osd pool create <pool-name> <pg-number>

       例

       [root@monitor ~]# ceph osd pool create test 8

    2. hello-world.txt というファイルを作成します。

       構文

       [root@monitor ~]# vim <file-name>

       例

       [root@monitor ~]# vim hello-world.txt

    3. オブジェクト名 hello-world を使用して、hello-world.txt をテストプールにアップロードします。

       構文

       [root@monitor ~]# rados --pool <pool-name> put <object-name> <object-file>

       例

       [root@monitor ~]# rados --pool test put hello-world hello-world.txt

    4. テストプールからファイル名 fetch.txt として hello-world をダウンロードします。

       構文

       [root@monitor ~]# rados --pool <pool-name> get <object-name> <object-file>

       例

       [root@monitor ~]# rados --pool test get hello-world fetch.txt

    5. fetch.txt の内容を確認してください。

       [root@monitor ~]# cat fetch.txt

       出力は以下のようになります。

       "Hello World!"

       注記

       クラスターの状態を確認するだけでなく、ceph-medic ユーティリティーを使用して Ceph Storage Cluster を総合的に診断することができます。『Red Hat Ceph Storage 3 管理ガイド』 の「 ceph-medic を使用した Ceph Storage クラスターの診断 」の章を参照してください。

手順

1. osd_scenario:lvm および osds_per_device:4 を group_vars/osds.yml に設定します。

   osd_scenario: lvm
   osds_per_device: 4

2. devices の下に NVMe デバイスをリスト表示します。

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml の設定は以下のようになります。

   osd_scenario: lvm
   osds_per_device: 4
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 新しいセクション [mdss] を /etc/ansible/hosts ファイルに追加します。

   [mdss]
   hostname
   hostname
   hostname

   hostname は、Ceph Metadata Server をインストールするノードのホスト名に置き換えてください。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. オプション: デフォルトの変数を変更します。

   1. mdss.yml という名前の group_vars/mdss.yml.sample ファイルのコピーを作成します。

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. オプションで、mdss.yml のパラメーターを編集します。詳細は、mdss.yml を参照してください。

4. Ansible のユーザーとして、Ansible のPlaybookを実行します。

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss

5. メタデータサーバーをインストールしたら、設定を行います。詳細は、Red Hat Ceph Storage3 の Ceph ファイルシステムガイドの メタデータサーバーデーモンの設定 の章を参照してください。

1. 新しいセクション [clients] を /etc/ansible/hosts ファイルに追加します。

   [clients]
   <client-hostname>

   <client-hostname> は、ceph-client ロールをインストールするノードのホスト名に置き換えます。

2. /usr/share/ceph-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/ceph-ansible

3. clients.yml という名前の clients.yml.sample ファイルの新しいコピーを作成します。

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. group_vars/clients.yml ファイルを開き、以下の行をコメント解除します。

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test を実際のクライアント名に置き換え、クライアントキーをクライアント定義の行に追加します。以下に例を示します。

      key: "ADD-KEYRING-HERE=="

      これで、行全体の例は次のようになります。

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注記

      ceph-authtool --gen-print-key コマンドは、新しいクライアントキーを生成することができます。

5. 必要に応じて、プールおよびクライアントを作成するように ceph-client に指示します。

   1. clients.yml を更新します。

      • user_config 設定のコメントを解除して、true に設定します。
      • pools セクションおよび keys セクションのコメントを解除し、必要に応じて更新します。cephx 機能を使用して、カスタムプールとクライアント名をまとめて定義できます。

   2. osd_pool_default_pg_num 設定を all.yml ファイルの ceph_conf_overrides セクションに追加します。

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: <number>

      <number> を配置グループのデフォルト数に置き換えてください。

6. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit clients

1. [rgws] セクションの下の /etc/ansible/hosts ファイルにゲートウェイホストを追加して、それらのロールを Ansible に識別します。ホストに連続する命名がある場合は、以下のように範囲を使用します。

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. Ansible 設定ディレクトリーに移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. サンプルファイルから rgws.yml ファイルを作成します。

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. group_vars/rgws.yml ファイルを開いて編集します。管理者キーを Ceph Object Gateway ノードにコピーするには、copy_admin_key オプションのコメントを解除します。

   copy_admin_key: true

5. rgws.yml ファイルでは、デフォルトの 7480 ポートとは異なるデフォルトポートを指定することができます。以下に例を示します。

   ceph_rgw_civetweb_port: 80

6. all.yml ファイルは radosgw_interface を指定する必要があります。以下に例を示します。

   radosgw_interface: eth0

   インターフェイスを指定すると、同じホストで複数のインスタンスを実行している場合に、Civetweb が別の Civetweb インスタンスと同じ IP アドレスにバインドされないようにします。

7. 通常、デフォルトの設定を変更するには、rgw.yml ファイル内の設定をアンコメントし、それに応じて変更します。rgw.yml ファイルにない設定に追加の変更を加えるには、all.yml ファイルで ceph_conf_overrides: を使用します。例えば、rgw_dns_name: に DNS サーバーのホストを設定し、クラスターの DNS サーバーをワイルドカード用に設定して S3 サブドメインを有効にします。

   ceph_conf_overrides:
      client.rgw.rgw1:
         rgw_dns_name: <host_name>
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   詳細な設定の詳細は、Red Hat Ceph Storage 3 の 実稼働環境への Ceph Object Gateway ガイド を参照してください。高度なトピックには以下が含まれます。

   • Ansible グループの設定

   • ストレージストラテジーの開発プールの作成方法および設定方法の詳細は、ルートプールの作成、システムプールの作成、およびデータ配置戦略の作成セクションを参照してください。

     バケットのシャード化の詳細は、バケットのシャード化 を参照してください。

8. group_vars/all.yml ファイルの radosgw_interface パラメーターのコメントを外します。

   radosgw_interface: <interface>

   以下を置き換えます。

   • Ceph Object Gateway がリッスンするインターフェイスを使用する <interface>

   詳細は、all.yml ファイルを参照してください。

9. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws

1. サンプルファイルから nfss ファイルを作成します。

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. [nfss] グループの下にゲートウェイホストを /etc/ansible/hosts ファイルに追加して、Ansible へのグループメンバーシップを特定します。ホストがシーケンシャルに命名されている場合は、範囲を指定します。以下に例を示します。

   [nfss]
   <nfs_host_name_1>
   <nfs_host_name_2>
   <nfs_host_name[3..10]>

3. Ansible の設定ディレクトリーである /etc/ansible/ に移動します。

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 管理者キーを Ceph Object Gateway ノードにコピーするには、/usr/share/ceph-ansible/group_vars/nfss.yml ファイルの copy_admin_key 設定をコメント解除します。

   copy_admin_key: true

5. /usr/share/ceph-ansible/group_vars/nfss.yml ファイルの FSAL (File System Abstraction Layer) セクションを設定します。ID、S3 ユーザー ID、S3 アクセスキーおよびシークレットを指定します。NFSv4 の場合は、以下のようになります。

   ###################
   # FSAL RGW Config #
   ###################
   #ceph_nfs_rgw_export_id: <replace-w-numeric-export-id>
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   #ceph_nfs_rgw_user: "cephnfs"
   # Note: keys are optional and can be generated, but not on containerized, where
   # they must be configered.
   #ceph_nfs_rgw_access_key: "<replace-w-access-key>"
   #ceph_nfs_rgw_secret_key: "<replace-w-secret-key>"

   警告

   アクセスおよびシークレットキーは任意で、生成できます。

6. Ansible Playbook の実行:

   [user@admin ceph-ansible]$ ansible-playbook site-docker.yml --limit nfss

1. root ユーザーとして、/usr/share/ceph-ansible/ ディレクトリーにナビゲートします。

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。group_vars/all.yml ファイルおよび group_vars/osds.yml ファイルをバックアップします。

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。Red Hat Ceph Storage 2.x から 3.x にアップグレードする場合は、group_vars/all.yml.sample、group_vars/osds.yml.sample、group_vars/clients.yml.sample ファイルの新しいコピーを作成して、それぞれ group_vars/all.yml、group_vars/osds.yml、group_vars/clients.yml に名前を変更します。それらを開いて編集します。詳しくは、付録H バージョン 2 と 3 の間の Ansible 変数の変更 と 「Red Hat Ceph Storage クラスターのインストール」 をご覧ください。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. Red Hat Ceph Storage バージョン 3.x から最新バージョンにアップグレードする場合は、この手順をスキップします。Red Hat Ceph Storage 2.x から 3.x にアップグレードする場合は、group_vars/clients.yml ファイルを開き、以下の行をアンコメントします。

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. client.test を実際のクライアント名に置き換え、クライアントキーをクライアント定義の行に追加します。以下に例を示します。

      key: "ADD-KEYRING-HERE=="

      これで、行全体の例は次のようになります。

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注記

      クライアントキーを取得するには、ceph auth get-or-create コマンドを実行して、指定されたクライアントのキーを表示します。

5. group_vars/all.yml ファイルで、upgrade_ceph_packages オプションのコメントを外し、True に設定します。

   upgrade_ceph_packages: True

6. group_vars/all.yml ファイルで、ceph_rhcs_version を 3 に設定します。

   ceph_rhcs_version: 3

   注記

   ceph_rhcs_version オプションを 3 に設定すると、最新バージョンの Red Hat Ceph Storage 3 がプルされます。

7. group_vars/all.yml ファイルで、ceph_origin パラメーターを distro に設定します。

   ceph_origin: distro

8. group_vars/all.yml ファイルに fetch_directory パラメーターを追加してください。

   fetch_directory: <full_directory_path>

   以下を置き換えます。

   • <full_directory_path> を、書き込み可能な場所 (Ansible ユーザーのホームディレクトリーなど) に置き換えます。ストレージクラスターの初期インストール時に使用した既存のパスを入力してください。

   既存のパスが失われていたり、なくなっていたりする場合は、まず次のことを行ってください。

   1. 既存の group_vars/all.yml ファイルに以下のオプションを追加します。

      fsid: <add_the_fsid>
      generate_fsid: false

   2. take-over-existing-cluster.yml Ansible playbook を実行します。

      [user@admin ceph-ansible]$ cp infrastructure-playbooks/take-over-existing-cluster.yml .
      [user@admin ceph-ansible]$ ansible-playbook take-over-existing-cluster.yml

9. アップグレードするクラスターに Ceph Object Gateway ノードが含まれている場合は、radosgw_interface パラメーターを group_vars/all.yml ファイルに追加します。

   radosgw_interface: <interface>

   以下を置き換えます。

   • Ceph Object Gateway がリッスンするインターフェイスを使用する <interface>

10. Red Hat Ceph Storage 3.2 から、デフォルトの OSD オブジェクトストアは BlueStore です。従来の OSD オブジェクトストアを維持するには、osd_objectstore オプションを group_vars/all.yml ファイルの filestore に明示的に設定する必要があります。

    osd_objectstore: filestore

    注記

    osd_objectstore オプションを filestore に設定し、OSD を置き換えると BlueStore ではなく FileStore が使用されます。

11. /etc/ansible/hosts にある Ansible インベントリーファイルで、[mgrs] セクションの下に Ceph Manager (ceph-mgr) ノードを追加します。Ceph Manager デーモンを Monitor ノードにコロケーションします。バージョン 3.x から最新のバージョンにアップグレードする場合は、この手順をスキップします。

    [mgrs]
    <monitor-host-name>
    <monitor-host-name>
    <monitor-host-name>

12. infrastructure-playbooks ディレクトリーから現在のディレクトリーに、rolling_update.yml をコピーします。

    [root@admin ceph-ansible]# cp infrastructure-playbooks/rolling_update.yml .

    重要

    Playbook rolling_update.yml では、limit の ansible オプションを使用しないでください。

13. /var/log/ansible/ ディレクトリーを作成し、ansible ユーザーに適切な権限を割り当てます。

    [root@admin ceph-ansible]# mkdir /var/log/ansible
    [root@admin ceph-ansible]# chown ansible:ansible  /var/log/ansible
    [root@admin ceph-ansible]# chmod 755 /var/log/ansible

    1. 次のように log_path 値を更新して、/usr/share/ceph-ansible/ansible.cfg ファイルを編集します。

       log_path = /var/log/ansible/ansible.log

14. Ansible ユーザーとして、Playbook を実行します。

    [user@admin ceph-ansible]$ ansible-playbook rolling_update.yml

15. RBD ミラーリングデーモンノードに root ユーザーとしてログインしているときに、rbd-mirror を手動でアップグレードします。

    # yum upgrade rbd-mirror

    デーモンを再起動:

    # systemctl restart  ceph-rbd-mirror@<client-id>

16. クラスターの状態に問題がないことを確認します。root ユーザーとしてモニターノードにログインし、cephstatus コマンドを実行します。

1. OpenStack 環境で動作する場合には、すべての cephx ユーザーがプールに RBD プロファイルを使用するように更新します。以下のコマンドは root ユーザーとして実行する必要があります。

   • Glance ユーザー

     ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

   • Cinder ユーザー

     ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

   • OpenStack の一般ユーザー

     ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=<cinder-volume-pool-name>, profile rbd pool=<nova-pool-name>, profile rbd-read-only pool=<glance-pool-name>'

     例

     [root@monitor ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

     重要

     ライブクライアントの移行を実行する前に、これらの CAPS 更新を行います。これにより、クライアントがメモリーで実行している新しいライブラリーを使用でき、古い CAPS 設定がキャッシュから破棄され、新しい RBD プロファイル設定が適用されるようになります。

手順

1. root ユーザーとして、Ansible 管理ノードから cephmetrics-ansible パッケージを更新します。

   [root@admin ~]# yum update cephmetrics-ansible

2. /usr/share/cephmetrics-ansible ディレクトリーに移動します。

   [root@admin ~]# cd /usr/share/cephmetrics-ansible

3. 更新された Red Hat Ceph ストレージダッシュボードをインストールします。

   [root@admin cephmetrics-ansible]# ansible-playbook -v playbook.yml