手順

1. Ceph File System の現在の状態を確認します。

   例

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 399
   ...
   Filesystem 'cephfs01' (27)
   ...
   e399
   max_mds 1
   in      0
   up      {0=20384}
   failed
   damaged
   stopped
   ...
   [mds.a{0:20384} state up:active seq 239 addr [v2:127.0.0.1:6854/966242805,v1:127.0.0.1:6855/966242805]]
   
   Standby daemons:
   
   [mds.b{-1:10420} state up:standby seq 2 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]]

2. ファイルシステムのアフィニティーを設定します。

   構文

   ceph config set STANDBY_DAEMON mds_join_fs FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph config set mds.b mds_join_fs cephfs01

   Ceph MDS のフェイルオーバーイベントが発生すると、ファイルシステムはアフィニティーが設定されているスタンバイデーモンを優先します。

   例

   [root@mon ~]# ceph fs dump
   dumped fsmap epoch 405
   e405
   ...
   Filesystem 'cephfs01' (27)
   ...
   max_mds 1
   in      0
   up      {0=10420}
   failed
   damaged
   stopped
   ...
   [mds.b{0:10420} state up:active seq 274 join_fscid=27 addr [v2:127.0.0.1:6856/2745199145,v1:127.0.0.1:6857/2745199145]] 1
   
   Standby daemons:
   
   [mds.a{-1:10720} state up:standby seq 2 addr [v2:127.0.0.1:6854/1340357658,v1:127.0.0.1:6855/1340357658]]

   1

   mds.b デーモンのファイルシステムダンプの出力に join_fscid=27 が含まれるようになりました。

   重要

   ファイルシステムがデグレードまたはアンダーサイズの状態である場合、ファイルシステムのアフィニティーを実施するためのフェイルオーバーは発生しません。

手順

1. max_mds パラメーターには、アクティブな MDS デーモンの数を設定してください。

   構文

   ceph fs set NAME max_mds NUMBER

   例

   [root@mon ~]# ceph fs set cephfs max_mds 2

   この例では、cephfs という CephFS でアクティブな MDS デーモンの数を 2 つに増やしています。

   注記

   Ceph は、新しいランクを取るために予備の MDS デーモンが利用できる場合にのみ、CephFS の実際のランク数を増やします。

2. アクティブな MDS デーモンの数を確認します。

   構文

   ceph fs status NAME

   例

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   ======
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | STANDBY MDS |
   +-------------+
   |    node3    |
   +-------------+

手順

1. max_mds パラメーターで指定された MDS デーモンの数を設定します。

   構文

   ceph fs status NAME

   例

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   |  1   | active | node2 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   +-----------------+----------+-------+-------+
   |       POOL      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   +-------------+

2. 管理機能を持つノードで、max_mds パラメーターを必要なアクティブな MDS デーモンの数に変更します。

   構文

   ceph fs set NAME max_mds NUMBER

   例

   [root@mon ~]# ceph fs set cephfs max_mds 1

3. Ceph File System のステータスを監視して、ストレージクラスターが新しい max_mds 値を安定させるのを待機します。

4. アクティブな MDS デーモンの数を確認します。

   構文

   ceph fs status NAME

   例

   [root@mon ~]# ceph fs status cephfs
   cephfs - 0 clients
   
   +------+--------+-------+---------------+-------+-------+--------+--------+
   | RANK | STATE  |  MDS  |    ACTIVITY   |  DNS  |  INOS |  DIRS  |  CAPS  |
   +------+--------+-------+---------------+-------+-------+--------+--------+
   |  0   | active | node1 | Reqs:    0 /s |   10  |   12  |   12   |   0    |
   +------+--------+-------+---------------+-------+-------+--------|--------+
   +-----------------+----------+-------+-------+
   |       POOl      |   TYPE   |  USED | AVAIL |
   +-----------------+----------+-------+-------+
   | cephfs_metadata | metadata | 4638  | 26.7G |
   |   cephfs_data   |   data   |    0  | 26.7G |
   +-----------------+----------+-------+-------+
   
   +-------------+
   | Standby MDS |
   +-------------+
   |    node3    |
   |    node2    |
   +-------------+

手順

1. Ceph Storage クラスターを使用するようにクライアントノードを設定します。

   1. Red Hat Ceph Storage Tools リポジトリーを有効にします。

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   2. ceph-fuse パッケージをインストールします。

      [root@client ~]# dnf install ceph-fuse

   3. Ceph クライアントキーリングを Ceph Monitor ノードからクライアントノードにコピーします。

      構文

      scp root@MONITOR_NODE_NAME:/etc/ceph/KEYRING_FILE /etc/ceph/

      MONITOR_NODE_NAME は、Ceph Monitor ホスト名または IP アドレスに置き換えます。

      例

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.client.1.keyring /etc/ceph/

   4. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。

      構文

      scp root@MONITOR_NODE_NAME:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

      MONITOR_NODE_NAME は、Ceph Monitor ホスト名または IP アドレスに置き換えます。

      例

      [root@client ~]# scp root@192.168.0.1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf

   5. 設定ファイルに適切なパーミッションを設定します。

      [root@client ~]# chmod 644 /etc/ceph/ceph.conf

2. Ceph ファイルシステムを作成します。

   構文

   ceph fs volume create FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph fs volume create cephfs01

   この手順を繰り返して、追加のファイルシステムを作成します。

   注記

   このコマンドを実行すると、Ceph は新しいプールを自動的に作成し、新しいファイルシステムをサポートする新たな Ceph Metadata Server (MDS) デーモンをデプロイします。また、これにより MDS アフィニティーを適宜設定します。

3. Ceph クライアントから新しい Ceph File System へのアクセスを確認します。

   1. Ceph クライアントが新しいファイルシステムへのアクセスを承認します。

      構文

      ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME DIRECTORY PERMISSIONS

      重要

      PERMISSIONS でサポートされる値は r （読み取り）および rw （読み取り/書き込み）です。

      例:

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      exported keyring for client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      注記

      必要に応じて、root_squash オプションを指定することで安全対策を追加できます。これにより、uid=0 または gid=0 のクライアントが書き込み操作を行うのを許可することで、誤って削除のシナリオは阻止されますが、読み取り操作は引き続き許可されます。

      例

      [root@mon ~]# ceph fs authorize cephfs01 client.1 / rw root_squash /volumes rw
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
      
      [root@mon ~]# ceph auth get client.1
      [client.1]
          key = BQAmthpf81M+JhAAiHDYQkMiCq3x+J0n9e8REK==
          caps mds = "allow rw fsname=cephfs01 root_squash, allow rw fsname=cephfs01 path=/volumes"
          caps mon = "allow r fsname=cephfs01"
          caps osd = "allow rw tag cephfs data=cephfs01"

      この例では、/volumes ディレクトリーツリー内ではファイルシステム cephfs01 に対して root_squash が有効になります。

      重要

      Ceph クライアントは、それが承認されている CephFS のみを認識することができます。

   2. Ceph ユーザーのキーリングを Ceph クライアントノードにコピーします。

      構文

      ceph auth get CLIENT_NAME > OUTPUT_FILE_NAME
      scp OUTPUT_FILE_NAME TARGET_NODE_NAME:/etc/ceph

      例

      [root@mon ~]# ceph auth get client.1 > ceph.client.1.keyring
      exported keyring for client.1
      [root@mon ~]# scp ceph.client.1.keyring client:/etc/ceph
      root@client's password:
      ceph.client.1.keyring                     100%  178   333.0KB/s   00:00

   3. Ceph クライアントノードで、新しいディレクトリーを作成します。

      構文

      mkdir PATH_TO_NEW_DIRECTORY_NAME

      例

      [root@client ~]# mkdir /mnt/mycephfs

   4. Ceph クライアントノードで、新しい Ceph File System をマウントします。

      構文

      ceph-fuse PATH_TO_NEW_DIRECTORY_NAME -n CEPH_USER_NAME --client-fs=_FILE_SYSTEM_NAME

      例

      [root@client ~]# ceph-fuse /mnt/mycephfs/ -n client.1 --client-fs=cephfs01
      ceph-fuse[555001]: starting ceph client
      2022-05-09T07:33:27.158+0000 7f11feb81200 -1 init, newargv = 0x55fc4269d5d0 newargc=15
      ceph-fuse[555001]: starting fuse

   5. Ceph クライアントノードで、新しいマウントポイントのディレクトリーコンテンツをリスト表示するか、新しいマウントポイントにファイルを作成します。

手順

1. CephFS 用のイレイジャーコーディングデータプールを作成します。

   構文

   ceph osd pool create DATA_POOL_NAME erasure

   例

   [root@mon ~]# ceph osd pool create cephfs-data-ec01 erasure
   pool 'cephfs-data-ec01' created

2. プールが追加されたことを確認します。

   例

   [root@mon ~]# ceph osd lspools

3. 消去コード化されたプールでのオーバーライトを有効にします。

   構文

   ceph osd pool set DATA_POOL_NAME allow_ec_overwrites true

   例

   [root@mon ~]# ceph osd pool set cephfs-data-ec01 allow_ec_overwrites true
   set pool 15 allow_ec_overwrites to true

4. Ceph File System のステータスを確認します。

   構文

   ceph fs status FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

5. 既存の CephFS にイレイジャーコーディングのデータプールを追加します。

   構文

   ceph fs add_data_pool FILE_SYSTEM_NAME DATA_POOL_NAME

   例

   [root@mon ~]# ceph fs add_data_pool cephfs-ec cephfs-data-ec01

   この例では、新しいデータプール cephfs-data-ec01 を、既存のイレイジャーコーディングのファイルシステム cephfs-ec に追加します。

6. イレイジャーコーディングされたプールが Ceph File System に追加されていることを確認します。

   構文

   ceph fs status FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph fs status cephfs-ec
   cephfs-ec - 14 clients
   =========
   RANK  STATE              MDS                ACTIVITY     DNS    INOS   DIRS   CAPS
    0    active  cephfs-ec.example.ooymyq  Reqs:    0 /s  8231   8233    891    921
          POOL           TYPE     USED  AVAIL
   cephfs-metadata-ec  metadata   787M  8274G
     cephfs-data-ec      data    2360G  12.1T
    cephfs-data-ec01     data       0   12.1T
   
          STANDBY MDS
   cephfs-ec.example.irsrql
   cephfs-ec.example.cauuaj

7. 新しいディレクトリーにファイルレイアウトを設定します。

   構文

   mkdir PATH_TO_DIRECTORY
   setfattr -n ceph.dir.layout.pool -v DATA_POOL_NAME PATH_TO_DIRECTORY

   例:

   [root@mon ~]# mkdir /mnt/cephfs/newdir
   [root@mon ~]# setfattr -n ceph.dir.layout.pool -v cephfs-data-ec01 /mnt/cephfs/newdir

   この例では、/mnt/cephfs/newdir ディレクトリーで作成されるすべての新しいファイルは、ディレクトリーレイアウトを継承して、新たに追加したレイジャーコーディングプールにデータを配置します。

手順

1. モニターノードの Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. Ceph Monitor ノードで、クライアントユーザーを作成します。

   構文

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   • クライアントを、ファイルシステム cephfs_a の temp ディレクトリーでのみ書き込みするよう制限するには、以下を実行します。

     例

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 / r /temp rw
     
     client.1
       key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==

   • クライアントを temp ディレクトリーに完全に制限するには、root (/) ディレクトリーを削除します。

     例

     [ceph: root@host01 /]# ceph fs authorize cephfs_a client.1 /temp rw

   注記

   ファイルシステム名、all またはアスタリスク (*) をファイルシステム名として指定することにより、すべてのファイルシステムへのアクセスが付与されます。通常、シェルから保護するには、アスタリスクを引用符で囲む必要があります。

3. 作成したキーを確認します。

   構文

   ceph auth get client.ID

   例

   [ceph: root@host01 /]# ceph auth get client.1
   
   client.1
     key = AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps mds = "allow r, allow rw path=/temp"
     caps mon = "allow r"
     caps osd = "allow rw tag cephfs data=cephfs_a"

4. キーリングをクライアントにコピーします。

   1. Ceph Monitor ノードで、キーリングをファイルにエクスポートします。

      構文

      ceph auth get client.ID -o ceph.client.ID.keyring

      例

      [ceph: root@host01 /]# ceph auth get client.1 -o ceph.client.1.keyring
      exported keyring for client.1

   2. Ceph Monitor ノードからクライアントノードの /etc/ceph/ ディレクトリーに、クライアントキーリングをコピーします。

      構文

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME を Ceph クライアントのノード名または IP に置き換えます。

      例:

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

5. クライアントノードから、キーリングファイルに適切なパーミッションを設定します。

   構文

   chmod 644 ceph.client.ID.keyring

   例

   [root@client01 ~]# chmod 644 /etc/ceph/ceph.client.1.keyring

手順

1. Ceph Storage クラスターを使用するようにクライアントノードを設定します。

   1. Red Hat Ceph Storage Tools リポジトリーを有効にします。

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   2. ceph-common パッケージをインストールします。

      [root@client01 ~]# dnf install ceph-common

   3. モニターノードの Cephadm シェルにログインします。

      例:

      [root@host01 ~]# cephadm shell

   4. Ceph クライアントキーリングを Ceph Monitor ノードからクライアントノードにコピーします。

      構文

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME を Ceph クライアントのホスト名または IP アドレスに置き換えます。

      例:

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

   5. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。

      構文

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      CLIENT_NODE_NAME を Ceph クライアントのホスト名または IP アドレスに置き換えます。

      例:

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

   6. クライアントノードから、設定ファイルに適切なパーミッションを設定します。

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

   7. automatically または manually のいずれかを選択します。

Manually Mounting

2. クライアントノードにマウントディレクトリーを作成します。

   構文

   mkdir -p MOUNT_POINT

   例

   [root@client01 ~]# mkdir -p /mnt/cephfs

3. Ceph ファイルシステムをマウントします。複数の Ceph Monitor アドレスを指定するには、mount コマンドでコンマで区切って、マウントポイントを指定し、クライアント名を設定します。

   注記

   Red Hat Ceph Storage 4.1 の時点で、mount.ceph はキーリングファイルを直接読み取りできます。そのため、シークレットファイルは不要になりました。name=CLIENT_ID でクライアント ID を指定すると、mount.ceph は適切なキーリングファイルを検索します。

   構文

   mount -t ceph MONITOR-1_NAME:6789,MONITOR-2_NAME:6789,MONITOR-3_NAME:6789:/ MOUNT_POINT -o name=CLIENT_ID,fs=FILE_SYSTEM_NAME

   例

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o name=1,fs=cephfs01

   注記

   1 つのホスト名が複数の IP アドレスに解決するように DNS サーバーを設定できます。次に、コンマ区切りリストを指定する代わりに、mount コマンドでその 1 つのホスト名を使用できます。

   注記

   また、Monitor ホスト名は :/ に置き換えられ、mount.ceph は Ceph 設定ファイルを読み取り、どのモニターに接続するかを判断することもできます。

   注記

   nowsync オプションを設定して、Red Hat Ceph Storage クラスターでファイルの作成と削除を非同期的に実行できます。これにより、整合性に影響を与えずにこれらのシステムコールのラウンドトリップレイテンシーを回避することで、一部のワークロードのパフォーマンスが改善されます。nowsync オプションには、Red Hat Enterprise Linux 8.4 以降を搭載したカーネルクライアントが必要です。

   例:

   [root@client01 ~]# mount -t ceph mon1:6789,mon2:6789,mon3:6789:/ /mnt/cephfs -o nowsync,name=1,fs=cephfs01

4. ファイルシステムが正常にマウントされていることを確認します。

   構文

   stat -f MOUNT_POINT

   例

   [root@client01 ~]# stat -f /mnt/cephfs

自動マウント

2. クライアントホストで、Ceph ファイルシステムをマウントする新しいディレクトリーを作成します。

   構文

   mkdir -p MOUNT_POINT

   例

   [root@client01 ~]# mkdir -p /mnt/cephfs

3. 以下のように /etc/fstab ファイルを編集します。

   構文

   #DEVICE                                              PATH                      TYPE               OPTIONS
   MON_0_HOST:PORT,            MOUNT_POINT          ceph         name=CLIENT_ID,
   MON_1_HOST:PORT,                                                         ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,                                                       fs=FILE_SYSTEM_NAME,
   MON_2_HOST:PORT:/q[_VOL_]/SUB_VOL/UID_SUB_VOL,            [ADDITIONAL_OPTIONS]

   最初の列は、Ceph Monitor ホスト名とポート番号を設定します。

   2 列目は マウントポイントを設定します。

   3 列目は、ファイルシステムのタイプ (ここでは CephFS 用 ceph) を設定します。

   4 番目のコラム は、name および secretfile オプションを使用してユーザー名やシークレットファイルなどのさまざまなオプションを設定します。ceph.client_mountpoint オプションを使用して、特定のボリューム、サブボリューム、およびサブボリュームを設定できます。

   ネットワークサブシステムの開始後にファイルシステムがマウントされ、ハングやネットワークの問題を回避するために、_netdev オプションを設定します。アクセス時間情報が必要ない場合は、noatime オプションを設定するとパフォーマンスが向上します。

   5 番目のコラムと 6 番目のコラム をゼロに設定します。

   例

   #DEVICE         PATH                   TYPE    OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/cephfs            ceph    name=1,            0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    fs=cephfs01,
                                                  _netdev,noatime

   Ceph File System は、次回のシステム起動時にマウントされます。

   注記

   Red Hat Ceph Storage 4.1 の時点で、mount.ceph はキーリングファイルを直接読み取りできます。そのため、シークレットファイルは不要になりました。name=CLIENT_ID でクライアント ID を指定すると、mount.ceph は適切なキーリングファイルを検索します。

   注記

   また、Monitor ホスト名は :/ に置き換えられ、mount.ceph は Ceph 設定ファイルを読み取り、どのモニターに接続するかを判断することもできます。

手順

1. Ceph Storage クラスターを使用するようにクライアントノードを設定します。

   1. Red Hat Ceph Storage Tools リポジトリーを有効にします。

      Red Hat Enterprise Linux 8

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

      Red Hat Enterprise Linux 9

      [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

   2. ceph-fuse パッケージをインストールします。

      [root@client01 ~]# dnf install ceph-fuse

   3. モニターノードの Cephadm シェルにログインします。

      例:

      [root@host01 ~]# cephadm shell

   4. Ceph クライアントキーリングを Ceph Monitor ノードからクライアントノードにコピーします。

      構文

      scp /ceph.client.ID.keyring root@CLIENT_NODE_NAME:/etc/ceph/ceph.client.ID.keyring

      CLIENT_NODE_NAME を Ceph クライアントのホスト名または IP アドレスに置き換えます。

      例:

      [ceph: root@host01 /]# scp /ceph.client.1.keyring root@client01:/etc/ceph/ceph.client.1.keyring

   5. Ceph 設定ファイルを Monitor ノードからクライアントノードにコピーします。

      構文

      scp /etc/ceph/ceph.conf root@CLIENT_NODE_NAME:/etc/ceph/ceph.conf

      CLIENT_NODE_NAME を Ceph クライアントのホスト名または IP アドレスに置き換えます。

      例:

      [ceph: root@host01 /]# scp /etc/ceph/ceph.conf root@client01:/etc/ceph/ceph.conf

   6. クライアントノードから、設定ファイルに適切なパーミッションを設定します。

      [root@client01 ~]# chmod 644 /etc/ceph/ceph.conf

   7. automatically または manually のいずれかを選択します。

Manually Mounting

2. クライアントノードで、マウントポイントのディレクトリーを作成します。

   構文

   mkdir PATH_TO_MOUNT_POINT

   例:

   [root@client01 ~]# mkdir /mnt/mycephfs

   注記

   MDS 機能で path オプションを使用した場合、マウントポイントは path で指定されたもの内になければなりません。

3. ceph-fuse ユーティリティーを使用して Ceph ファイルシステムをマウントします。

   構文

   ceph-fuse -n client.CLIENT_ID --client_fs FILE_SYSTEM_NAME MOUNT_POINT

   例

   [root@client01 ~]# ceph-fuse -n client.1 --client_fs cephfs01 /mnt/mycephfs

   注記

   /etc/ceph/ceph.client.CLIENT_ID.keyring であるユーザーキーリングのデフォルト名と場所を使用しない場合は --keyring オプションを使用してユーザーキーリングへのパスを指定します。以下に例を示します。

   例

   [root@client01 ~]# ceph-fuse -n client.1 --keyring=/etc/ceph/client.1.keyring /mnt/mycephfs

   注記

   -r オプションを使用して、そのパスを root として処理するように指示します。

   構文

   ceph-fuse -n client.CLIENT_ID MOUNT_POINT -r PATH

   例

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs -r /home/cephfs

   注記

   エビクトされた Ceph クライアントを自動的に再接続する場合は --client_reconnect_stale=true オプションを追加します。

   例

   [root@client01 ~]# ceph-fuse -n client.1 /mnt/cephfs --client_reconnect_stale=true

4. ファイルシステムが正常にマウントされていることを確認します。

   構文

   stat -f MOUNT_POINT

   例

   [root@client01 ~]# stat -f /mnt/cephfs

自動マウント

2. クライアントノードで、マウントポイントのディレクトリーを作成します。

   構文

   mkdir PATH_TO_MOUNT_POINT

   例:

   [root@client01 ~]# mkdir /mnt/mycephfs

   注記

   MDS 機能で path オプションを使用した場合、マウントポイントは path で指定されたもの内になければなりません。

3. 以下のように /etc/fstab ファイルを編集します。

   構文

   #DEVICE                 PATH           TYPE          OPTIONS                  DUMP  FSCK
   HOST_NAME:PORT,     MOUNT_POINT fuse.ceph     ceph.id=CLIENT_ID,        0     0
   HOST_NAME:PORT,                                  ceph.client_mountpoint=/VOL/SUB_VOL_GROUP/SUB_VOL/UID_SUB_VOL,
   HOST_NAME:PORT:/                                 ceph.client_fs=FILE_SYSTEM_NAME,ceph.name=USERNAME,ceph.keyring=/etc/ceph/KEYRING_FILE,
                                                        [ADDITIONAL_OPTIONS]

   最初の列は、Ceph Monitor ホスト名とポート番号を設定します。

   2 列目は マウントポイントを設定します。

   3 列目は、ファイルシステムのタイプ (ここでは CephFS 用 fuse.ceph) を設定します。

   4 列目 は、ceph.name および ceph.keyring オプションを使用して、ユーザー名やキーリングなどのさまざまなオプションを設定します。ceph.client_mountpoint オプションを使用して、特定のボリューム、サブボリューム、およびサブボリュームを設定できます。アクセスする Ceph File System を指定するには、ceph.client_fs オプションを使用します。ネットワークサブシステムの開始後にファイルシステムがマウントされ、ハングやネットワークの問題を回避するために、_netdev オプションを設定します。アクセス時間情報が必要ない場合は、noatime オプションを設定するとパフォーマンスが向上します。エビクションの後に自動的に再接続する必要がある場合は、client_reconnect_stale=true オプションを設定します。

   5 番目のコラムと 6 番目のコラム をゼロに設定します。

   例

   #DEVICE         PATH              TYPE         OPTIONS         DUMP  FSCK
   mon1:6789,      /mnt/mycephfs       fuse.ceph    ceph.id=1,         0     0
   mon2:6789,                                     ceph.client_mountpoint=/my_vol/my_sub_vol_group/my_sub_vol/0,
   mon3:6789:/                                    ceph.client_fs=cephfs01,ceph.name=client.1,ceph.keyring=/etc/ceph/client1.keyring,
                                                  _netdev,defaults

   Ceph File System は、次回のシステム起動時にマウントされます。

手順

1. Red Hat Ceph Storage 5 ツールリポジトリーがまだ有効になっていない場合は、有効にします。

   Red Hat Enterprise Linux 8

   [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms

   Red Hat Enterprise Linux 9

   [root@client ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-9-x86_64-rpms

2. cephfs-top パッケージをインストールします。

   例:

   [root@client ~]# dnf install cephfs-top

3. Ceph Manager stats プラグインを有効にします。

   例

   [root@client ~]# ceph mgr module enable stats

4. Ceph ユーザー client.fstop を作成します。

   例:

   [root@client ~]# ceph auth get-or-create client.fstop mon 'allow r' mds 'allow r' osd 'allow r' mgr 'allow r' > /etc/ceph/ceph.client.fstop.keyring

   注記

   必要に応じて、--id 引数を使用して、client.fstop 以外の別の Ceph ユーザーを指定します。

5. cephfs-top ユーティリティーを起動します。

   例

   [root@client ~]# cephfs-top
   cephfs-top - Thu Jun 15 16:27:14 2023
   
   All Filesystem Info
   Total Client(s): 4 - 3 FUSE, 1 kclient, 0 libcephfs
   COMMANDS: m - select a filesystem | s - sort menu | l - limit number of clients | r -reset to default | q - quit
   
   
      client_id  mount_root  chit(%)  dlease(%)  ofiles  oicaps  oinodes  rtio(MB)  raio(MB)  rsp(ms)  wtio(ms)  waio(MB)  wsp(MB/s)  rlatavg(ms)  rlatsd(ms)  wlatavg(ms)  wlatsd(ms)  mlatavg(ms)  mlatsd(ms)  mount_point@host/addr
   
      Filesystem: cephfs1 - 2 clients(s)
   
      4482            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           27.36        0.0       N/A@example/192.168.1.4
      4488            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.34        0.0        /mnt/cephfs2@example/192.168.1.4
   
      Filesystem: cephfs2 - 2 clients(s)
   
      4494            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.37        0.0        /mnt/cephfs3@example/192.168.1.4
      4500            /       100.0       0.0       0       1       0       0.0      0.0        0.0      0.0       0.0        0.0        0.0         0.0      0.0            0.0           0.29        0.0        /mnt/cephfs4@example/192.168.1.4

   注記

   デフォルトでは、cephfs-top はストレージクラスター名 ceph に接続します。デフォルト以外のストレージクラスター名を使用するには、cephfs-top ユーティリティーで --cluster NAME オプションを使用できます。

手順

1. Ceph ユーザーのケイパビリティーに p フラグを追加します。

   構文

   ceph fs authorize FILE_SYSTEM_NAME client.CLIENT_NAME /DIRECTORY CAPABILITY [/DIRECTORY CAPABILITY] ...

   例

   [user@client ~]$ ceph fs authorize cephfs_a client.1 /temp rwp
   
   client.1
     key: AQBSdFhcGZFUDRAAcKhG9Cl2HPiDMMRv4DC43A==
     caps: [mds] allow r, allow rwp path=/temp
     caps: [mon] allow r
     caps: [osd] allow rw tag cephfs data=cephfs_a

2. ディレクトリーに ceph.dir.pin 拡張属性を設定します。

   構文

   setfattr -n ceph.dir.pin -v RANK DIRECTORY

   例

   [user@client ~]$ setfattr -n ceph.dir.pin -v 2 /temp

   この例では、/temp ディレクトリーとそのすべてのサブディレクトリーを rank 2 に割り当てます。

手順

1. 新しいデータプールを作成します。

   構文

   ceph osd pool create POOL_NAME

   以下を置き換えます。

   • POOL_NAME は、プールの名前に置き換えます。

   例

   [ceph: root@host01 /]# ceph osd pool create cephfs_data_ssd
   
   pool 'cephfs_data_ssd' created

2. メタデータサーバーの制御の下に、新たに作成されたプールを追加します。

   構文

   ceph fs add_data_pool FS_NAME POOL_NAME

   以下を置き換えます。

   • FS_NAME は、ファイルシステムの名前に置き換えます。
   • POOL_NAME は、プールの名前に置き換えます。

   たとえば、以下のようになります。

   [ceph: root@host01 /]# ceph fs add_data_pool cephfs cephfs_data_ssd
   
   added data pool 6 to fsmap

3. プールが正常に追加されたことを確認します。

   例:

   [ceph: root@host01 /]# ceph fs ls
   
   name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data cephfs_data_ssd]

4. オプション: ファイルシステムからデータプールを削除します。

   構文

   ceph fs rm_data_pool FS_NAME POOL_NAME

   以下に例を示します。

   [ceph: root@host01 /]# ceph fs rm_data_pool cephfs cephfs_data_ssd
   
   removed data pool 6 from fsmap

   1. プールが正常に削除されたことを確認します。

      例:

      [ceph: root@host01 /]# ceph fs ls
      
      name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs.cephfs.data]

5. cephx 認証を使用する場合は、クライアントが新しいプールにアクセスできることを確認してください。

手順

1. CephFS クラスターが停止しているには、以下を実行します。

   構文

   ceph fs set FS_NAME down true

   例

   [ceph: root@host01 /]# ceph fs set cephfs down true

   1. CephFS クラスターを起動するには、以下をバックアップします。

      構文

      ceph fs set FS_NAME down false

      例

      [ceph: root@host01 /]# ceph fs set cephfs down false

   または

1. CephFS クラスターを迅速に停止するには、以下を実行します。

   構文

   ceph fs fail FS_NAME

   例:

   [ceph: root@host01 /]# ceph fs fail cephfs

   注記

   CephFS クラスターのバックアップを作成するには、cephfs を joinable に設定します。

   構文

   ceph fs set FS_NAME joinable true

   例

   [ceph: root@host01 /]# ceph fs set cephfs joinable true
   cephfs marked joinable; MDS may join as newly active.

手順

1. ストレージクラスターに down のマークを付けます。

   構文

   ceph fs set FS_NAME down true

   置き換え

   • FS_NAME は、削除する Ceph File System の名前に置き換えます。

   例

   [ceph: root@host01 /]# ceph fs set cephfs down true
   cephfs marked down.

2. Ceph File System のステータス表示

   ceph fs status

   例

   [ceph: root@host01 /]# ceph fs status
   cephfs - 0 clients
   ======
   +-------------------+----------+-------+-------+
   |       POOL        |   TYPE   |  USED | AVAIL |
   +-----------------+------------+-------+-------+
   |cephfs.cephfs.meta | metadata | 31.5M |  52.6G|
   |cephfs.cephfs.data |   data   |    0  |  52.6G|
   +-----------------+----------+-------+---------+
                  STANDBY MDS
   cephfs.ceph-host01
   cephfs.ceph-host02
   cephfs.ceph-host03

3. Ceph ファイルシステムを削除します。

   構文

   ceph fs rm FS_NAME --yes-i-really-mean-it

   置き換え

   • FS_NAME は、削除する Ceph File System の名前に置き換えます。

   例

   [ceph: root@host01 /]# ceph fs rm cephfs --yes-i-really-mean-it

4. ファイルシステムが正常に削除されたことを確認します。

   [ceph: root@host01 /]# ceph fs ls

5. 任意。削除されたファイルシステムに関連付けられたデータおよびメタデータプールを削除します。

手順

1. クライアントリストを確認します。

   構文

   ceph tell DAEMON_NAME client ls

   例:

   [ceph: root@host01 /]# ceph tell mds.0 client ls
   [
       {
           "id": 4305,
           "num_leases": 0,
           "num_caps": 3,
           "state": "open",
           "replay_requests": 0,
           "completed_requests": 0,
           "reconnecting": false,
           "inst": "client.4305 172.21.9.34:0/422650892",
           "client_metadata": {
               "ceph_sha1": "79f0367338897c8c6d9805eb8c9ad24af0dcd9c7",
               "ceph_version": "ceph version 16.2.8-65.el8cp (79f0367338897c8c6d9805eb8c9ad24af0dcd9c7)",
               "entity_id": "0",
               "hostname": "senta04",
               "mount_point": "/tmp/tmpcMpF1b/mnt.0",
               "pid": "29377",
               "root": "/"
           }
       }
   ]

2. 指定した CephFS クライアントをエビクトします。

   構文

   ceph tell DAEMON_NAME client evict id=ID_NUMBER

   例:

   [ceph: root@host01 /]# ceph tell mds.0 client evict id=4305

手順

1. ブロックリストを確認します。

   例:

   [ceph: root@host01 /]# ceph osd blocklist ls
   listed 1 entries
   127.0.0.1:0/3710147553 2022-05-09 11:32:24.716146

2. ブロックリストから CephFS クライアントを削除します。

   構文

   ceph osd blocklist rm CLIENT_NAME_OR_IP_ADDR

   例:

   [ceph: root@host01 /]# ceph osd blocklist rm 127.0.0.1:0/3710147553
   un-blocklisting 127.0.0.1:0/3710147553

3. オプションで、ブロックリストからカーネルベースの CephFS クライアントを自動的に再接続できます。カーネルベースの CephFS クライアントで、手動マウントを行う場合は clean に以下のオプションを設定するか、/etc/fstab ファイルのエントリーで自動的にマウントします。

   recover_session=clean

4. 任意で、ブロックリストから削除すると、FUSE ベースの CephFS クライアントを自動的に再接続できます。FUSE クライアントで、手動マウントを行う場合は以下のオプションを true に設定するか、/etc/fstab ファイルのエントリーで自動的にマウントします。

   client_reconnect_stale=true

手順

1. Cephadm シェルにログインします。

   例:

   [root@mds ~]# cephadm shell

2. Ceph Manager の NFS モジュールを有効にします。

   例:

   [ceph: root@host01 /]# ceph mgr module enable nfs

3. NFS Ganesha クラスターを作成します。

   構文

   ceph nfs cluster create CLUSTER_NAME [PLACEMENT] [--ingress] [--virtual_ip IP_ADDRESS] [--ingress-mode {default|keepalive-only|haproxy-standard|haproxy-protocol}] [--port PORT]

   例:

   [ceph: root@host01 /]# ceph nfs cluster create nfs-cephfs "host01 host02"
   NFS Cluster Created Successfully

   この例では、NFS Ganesha クラスター名は nfs-cephfs で、デーモンコンテナーは host01 および host02 にデプロイされます。

   重要

   Red Hat は、1 つのホストにつき 1 つの NFS Ganesha デーモンのみをサポートします。

4. NFS-Ganesha クラスター情報を検証します。

   構文

   ceph nfs cluster info [CLUSTER_NAME]

   例

   [ceph: root@host01 /]# ceph nfs cluster info nfs-cephfs
   {
       "nfs-cephfs": [
           {
               "hostname": "host01",
               "ip": "10.74.179.124",
               "port": 2049
           },
           {
               "hostname": "host02",
               "ip": "10.74.180.160",
               "port": 2049
           }
       ]
   }

   注記

   CLUSTER_NAME の指定 は任意です。

手順

1. 設定ファイルを作成します。

   例:

   [ceph: root@host01 /]# touch nfs-cephfs.conf

2. 次のブロックを使用して、設定ファイルでのログ記録を有効にします。

   例:

   [ceph: root@host01 /]# vi nfs-cephfs.conf
   
   LOG {
    COMPONENTS {
        ALL = FULL_DEBUG;
    }
   }

3. 新しい設定を行います。

   構文

   ceph nfs cluster config set CLUSTER_NAME -i PATH_TO_CONFIG_FILE

   例:

   [ceph: root@host01 /]# ceph nfs cluster config set nfs-cephfs -i nfs-cephfs.conf
   
   NFS-Ganesha Config Set Successfully

4. カスタマイズされた NFS Ganesha 設定を表示します。

   構文

   ceph nfs cluster config get CLUSTER_NAME

   例:

   [ceph: root@host01 /]#  ceph nfs cluster config get nfs-cephfs
   
   LOG {
       COMPONENTS {
           ALL = FULL_DEBUG;
       }
   }

   これにより、ユーザー定義の設定の出力が提供されます (存在する場合)。

5. オプション: ユーザー定義の設定を削除する場合は、次のコマンドを実行します。

   構文

   ceph nfs cluster config reset CLUSTER_NAME

   例:

   [ceph: root@host01 /]# ceph nfs cluster config reset nfs-cephfs
   
   NFS-Ganesha Config Reset Successfully

手順

1. CephFS エクスポートを作成します。

   • Red Hat Ceph Storage 5.0 の場合、次のようにエクスポートを作成します。

     構文

     ceph nfs export create cephfs FILE_SYSTEM_NAME CLUSTER_NAME BINDING [--readonly] [--path=PATH_WITHIN_CEPHFS]

     例:

     [ceph: root@host01 /]# ceph nfs export create cephfs cephfs01 nfs-cephfs /ceph  --path=/

   • Red Hat Ceph Storage 5.1 以降では、以下のようにエクスポートを作成します。

     構文

     ceph nfs export create cephfs CLUSTER_NAME BINDING FILE_SYSTEM_NAME [--readonly] [--path=PATH_WITHIN_CEPHFS]

     例

     [ceph: root@host01 /]# ceph nfs export create cephfs nfs-cephfs /ceph cephfs01 --path=/

     この例では、BINDING (/ceph) は pseudo root パスであり、これは一意のパスと絶対パスになります。

     注記

     --readonly オプションは、読み取り専用のパーミッションでパスをエクスポートし、デフォルトは read、および write のパーミッションになります。

     注記

     PATH_WITHIN_CEPHFS はサブボリュームになります。以下のコマンドを使用して、絶対サブボリュームパスを取得できます。

     構文

     ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME [--group_name SUBVOLUME_GROUP_NAME]

     例:

     [ceph: root@host01 /]# ceph fs subvolume getpath cephfs sub0

2. 疑似ルート名に基づいてエクスポートブロックを表示します。

   構文

   ceph nfs export get CLUSTER_NAME BINDING

   例

   [ceph: root@host01 /]# ceph nfs export get nfs-cephfs /ceph
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph",
     "access_type": "RW",
     "squash": "no_root_squash",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "cephnfs11",
       "fs_name": "cephfs",
       "sec_label_xattr": ""
     },
     "clients": []
   }

3. NFS エクスポートをリスト表示します。

   構文

   ceph nfs export ls CLUSTER_NAME [--detailed]

   例:

   [ceph: root@host01 /]# ceph nfs export ls nfs-cephfs
   [
     "/ceph/"
   ]
   [ceph: root@host01 /]# ceph nfs export ls nfs-cephfs --detailed
   [
     {
       "export_id": 100,
       "path": "/",
       "cluster_id": "nfs-cephfs",
       "pseudo": "/ceph/",
       "access_type": "RW",
       "squash": "no_root_squash",
       "security_label": true,
       "protocols": [
         4
       ],
       "transports": [
         "TCP"
       ],
       "fsal": {
         "name": "CEPH",
         "user_id": "nfstest01",
         "fs_name": "cephfs",
         "sec_label_xattr": ""
       },
       "clients": []
     }
   ]

4. NFS エクスポートの情報を取得します。

   構文

   ceph nfs export info CLUSTER_NAME [PSEUDO_PATH]

   例:

   [ceph: root@host01 /]# ceph nfs export info nfs-cephfs /ceph
   
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph",
     "access_type": "RW",
     "squash": "none",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "nfs.nfs-cephfs.1",
       "fs_name": "cephfs"
     },
     "clients": []
   }

5. クライアントホストで、エクスポートされた Ceph File System をマウントします。

   構文

   mount -t nfs -o port=GANESHA_PORT HOST_NAME:BINDING LOCAL_MOUNT_POINT

   例

   [root@client01 ~]# mount -t nfs -o port=2049 host01:/ceph/ /mnt/nfs-cephfs

   1. システムの起動時に自動的にマウントするには、改行を追加して /etc/fstab ファイルを開いて編集します。

      構文

      HOST_NAME:BINDING   LOCAL_MOUNT_POINT   nfs4   defaults,seclabel,vers=4.2,proto=tcp,port=2049  0  0

      例:

      host01:/ceph/   /mnt/nfs-cephfs   nfs4   defaults,seclabel,vers=4.2,proto=tcp,port=2049  0  0

6. クライアントホストで、Ingress サービスで作成されたエクスポートされた NFS Ceph File System をマウントするには、以下を実行します。

   構文

   mount -t nfs VIRTUAL_IP_ADDRESS:BINDING LOCAL_MOUNT_POINT

   • VIRTUAL_IP_ADDRESS は、NFS クラスターの作成に使用される --ingress --virtual-ip IP アドレスに置き換えます。
   • BINDING は、擬似ルートパスに置き換えます。

   • LOCAL_MOUNT_POINT は、エクスポートをマウントするマウントポイントに置き換えます。

     例:

     [root@client01 ~]# mount -t nfs 10.10.128.75:/nfs-cephfs /mnt

     この例では、マウントポイント /mnt に --ingress --virtual-ip 10.10.128.75 で作成した NFS クラスターに存在するエクスポート nfs-cephfs をマウントします。

手順

1. 疑似ルート名に基づいてエクスポートブロックを表示します。

   構文

   ceph nfs export get CLUSTER_NAME BINDING

   例:

   [ceph: root@host01 /]# ceph nfs export get nfs-cephfs /ceph
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph",
     "access_type": "RO",
     "squash": "none",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "cephnfs11",
       "fs_name": "cephfs",
       "sec_label_xattr": ""
     },
     "clients": []
   }

2. 設定ファイルをエクスポートします。

   例:

   [ceph: root@host01 /]# ceph nfs export get nfs-cephfs /ceph > export.conf

3. エクスポート情報を編集します。

   構文

   {
     "export_id": EXPORT_ID,
     "path": "/",
     "cluster_id": "CLUSTER_NAME",
     "pseudo": "CLUSTER_PSEUDO_PATH",
     "access_type": "RW/RO",
     "squash": "SQUASH",
     "security_label": SECURITY_LABEL,
     "protocols": [
       PROTOCOL_ID_
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "NAME",
       "user_id": "USER_ID",
       "fs_name": "FILE_SYSTEM_NAME",
       "sec_label_xattr": ""
     },
     "clients": []
   }

   例:

   [ceph: root@host01 /]# vi export.conf
   
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph",
     "access_type": "RW",
     "squash": "none",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "cephnfs11",
       "fs_name": "cephfs",
       "sec_label_xattr": ""
     },
     "clients": []
   }

   上記の例では、access_type が RO から RW に変更されます。

4. 仕様を適用します。

   構文

   ceph nfs export apply CLUSTER_NAME PATH_TO_EXPORT_FILE

   例:

   [ceph: root@host01 /]# ceph nfs export apply nfs-cephfs -i export.conf
   Added export /ceph

5. 更新されたエクスポート情報を取得します。

   構文

   ceph nfs export get CLUSTER_NAME BINDING

   例:

   [ceph: root@host01 /]# ceph nfs export get nfs-cephfs /ceph
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph",
     "access_type": "RW",
     "squash": "none",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "cephnfs11",
       "fs_name": "cephfs",
       "sec_label_xattr": ""
     },
     "clients": []
   }

手順

1. カスタムファイルを作成します。

   例:

   [ceph: root@host01 /]# touch export_new.conf

2. カスタムファイルを使用してエクスポートを作成します。

   構文

   EXPORT {
     Export_Id = EXPORT_ID;
     Transports = TCP/UDP;
     Path = PATH;
     Pseudo = PSEUDO_PATH;
     Protocols = NFS_PROTOCOLS;
     Access_Type = ACCESS_TYPE;
     Attr_Expiration_Time = EXPIRATION_TIME;
     Squash = SQUASH;
     FSAL {
       Name = NAME;
       Filesystem = "CEPH_FILE_SYSTEM_NAME";
       User_Id = "USER_ID";
     }
   }

   例:

   [ceph: root@host01 /]# cat export_new.conf
   EXPORT {
     Export_Id = 2;
     Transports = TCP;
     Path = /;
     Pseudo = /ceph1/;
     Protocols = 4;
     Access_Type = RW;
     Attr_Expiration_Time = 0;
     Squash = None;
     FSAL {
       Name = CEPH;
       Filesystem = "cephfs";
       User_Id = "nfs.nfs-cephfs.2";
     }
   }

3. 仕様を適用します。

   構文

   ceph nfs export apply CLUSTER_NAME -i PATH_TO_EXPORT_FILE

   例:

   [ceph: root@host01 /]# ceph nfs export apply nfs-cephfs -i new_export.conf
   Added export /ceph1

4. 更新されたエクスポート情報を取得します。

   構文

   ceph nfs export get CLUSTER_NAME BINDING

   例:

   [ceph: root@host01 /]# ceph nfs export get nfs-cephfs /ceph1
   {
     "export_id": 1,
     "path": "/",
     "cluster_id": "nfs-cephfs",
     "pseudo": "/ceph1",
     "access_type": "RW",
     "squash": "None",
     "security_label": true,
     "protocols": [
       4
     ],
     "transports": [
       "TCP"
     ],
     "fsal": {
       "name": "CEPH",
       "user_id": "nfs.nfs-cephfs.2",
       "fs_name": "cephfs",
       "sec_label_xattr": ""
     },
     "clients": []
   }

手順

1. Cephadm シェルにログインします。

   例:

   [root@mds ~]# cephadm shell

2. NFS Ganesha クラスターを削除します。

   構文

   ceph nfs cluster rm CLUSTER_NAME

   例:

   [ceph: root@host01 /]# ceph nfs cluster rm nfs-cephfs

手順

1. CephFS クォータを表示するには、以下を実行します。

   1. バイト制限クォータの使用:

      構文

      getfattr -n ceph.quota.max_bytes DIRECTORY

      例

      [root@client ~]# getfattr -n ceph.quota.max_bytes /mnt/cephfs/
      getfattr: Removing leading '/' from absolute path names
      # file: mnt/cephfs/
      ceph.quota.max_bytes="100000000"

      この例では、100000000 は 100 MB となります。

   2. ファイル制限クォータの使用:

      構文

      getfattr -n ceph.quota.max_files DIRECTORY

      例

      [root@client ~]# getfattr -n ceph.quota.max_files /mnt/cephfs/
      getfattr: Removing leading '/' from absolute path names
      # file: mnt/cephfs/
      ceph.quota.max_files="10000"

      この例では 10000 は 10,000 ファイルと等しくなります。

手順

1. CephFS クォータを設定します。

   1. バイト制限クォータの使用:

      構文

      setfattr -n ceph.quota.max_bytes -v 100000000 DIRECTORY

      例

      [root@client ~]# setfattr -n ceph.quota.max_bytes -v 100000000 /cephfs/

      この例では、100000000 バイトは 100 MB となります。

   2. ファイル制限クォータの使用:

      構文

      setfattr -n ceph.quota.max_files -v 10000 DIRECTORY

      例

      [root@client ~]# setfattr -n ceph.quota.max_files -v 10000 /cephfs/

      この例では 10000 は 10,000 ファイルと等しくなります。

手順

1. CephFS クォータを削除するには、以下のコマンドを実行します。

   1. バイト制限クォータの使用:

      構文

      setfattr -n ceph.quota.max_bytes -v 0 DIRECTORY

      例

      [root@client ~]# setfattr -n ceph.quota.max_bytes -v 0 /mnt/cephfs/

   2. ファイル制限クォータの使用:

      構文

      setfattr -n ceph.quota.max_files -v 0 DIRECTORY

      例

      [root@client ~]# setfattr -n ceph.quota.max_files -v 0 /mnt/cephfs/

手順

1. ディレクトリーからレイアウトを削除するには、以下のコマンドを実行します。

   構文

   setfattr -x ceph.dir.layout DIRECTORY_PATH

   例

   [user@client ~]$ setfattr -x ceph.dir.layout /home/cephfs

2. pool_namespace フィールドを削除するには、以下を実行します。

   構文

   setfattr -x ceph.dir.layout.pool_namespace DIRECTORY_PATH

   例

   [user@client ~]$ setfattr -x ceph.dir.layout.pool_namespace /home/cephfs

   注記

   pool_namespace フィールドは、個別に削除できる唯一のフィールドです。

手順

1. Cephadm シェルにログインします。

   例:

   [root@mds ~]# cephadm shell

2. 既存の Ceph ファイルシステムの場合は、スナップショット化機能を有効にします。

   構文

   ceph fs set FILE_SYSTEM_NAME allow_new_snaps true

   例

   [ceph: root@mds ~]# ceph fs set cephfs01 allow_new_snaps true

3. .snap ディレクトリーに新しい snapshot サブディレクトリーを作成します。

   構文

   mkdir NEW_DIRECTORY_PATH

   例

   [ceph: root@mds ~]# mkdir /.snap/new-snaps

   この例では new-snaps サブディレクトリーを作成し、これにより Ceph Metadata Server (MDS) がスナップショットの作成を開始するように通知します。

   1. スナップショットを削除するには、以下のコマンドを実行します。

      構文

      rmdir NEW_DIRECTORY_PATH

      例:

      [ceph: root@mds ~]# rmdir /.snap/new-snaps

      重要

      基礎となるスナップショットが含まれる可能性のある root レベルのスナップショットの削除を試みると、失敗します。

手順

1. Ceph Manager ノードで Cephadm シェルにログインします。

   例:

   [root@host01 ~]# cephadm shell

2. snap_schedule モジュールを有効にします。

   例:

   [ceph: root@host01 /]# ceph mgr module enable snap_schedule

3. クライアントノードにログインします。

   例:

   [root@host02 ~]# cephadm shell

4. Ceph File System の新しいスケジュールを追加します。

   構文

   ceph fs snap-schedule add FILE_SYSTEM_VOLUME_PATH REPEAT_INTERVAL [START_TIME]

   例:

   [ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00

   注記

   START_TIME は、ISO8601 形式で表されます。

   この例では、ファイルシステム mycephfs 内のパス /cephfs のスナップショットスケジュールを作成し、1 時間ごとにスナップショットを作成し、2022 年 6 月 27 日午後 9 時 50 分に開始します。

5. CephFS ボリュームパスのスナップショット用に新たな保持ポリシーを追加します。

   構文

   ceph fs snap-schedule retention add FILE_SYSTEM_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

   例

   [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs h 14 1
   [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs d 4 2
   [ceph: root@host02 /]# ceph fs snap-schedule retention add /cephfs 14h4w 3

   1

   この例では、14 スナップショットを 1 時間以上保持します。

   2

   この例では、4 つのスナップショットを 1 日以上保持します。

   3

   この例では、14 時間ごとに 1 週間、また 4 週間のスナップショットを保持します。

6. スナップショットスケジュールを一覧表示して、新しいスケジュールが作成されたことを確認します。

   構文

   ceph fs snap-schedule list FILE_SYSTEM_VOLUME_PATH [--format=plain|json] [--recursive=true]

   例

   [ceph: root@host02 /]# ceph fs snap-schedule list /cephfs --recursive=true

   この例では、ディレクトリーツリーのすべてのスケジュールをリスト表示しています。

7. スナップショットスケジュールのステータスを確認します。

   構文

   ceph fs snap-schedule status FILE_SYSTEM_VOLUME_PATH [--format=plain|json]

   例:

   [ceph: root@host02 /]# ceph fs snap-schedule status /cephfs --format=json

   以下の例では、CephFS /cephfs パスのスナップショットスケジュールのステータスを JSON 形式で表示しています。デフォルトの形式はプレーンテキストで、指定されていない場合はプレーンテキストになります。

手順

1. サブボリュームパスを取得します。

   構文

   ceph fs subvolume getpath VOLUME_NAME SUBVOLUME_NAME SUBVOLUME_GROUP_NAME

   例:

   [ceph: root@host02 /]# ceph fs subvolume getpath cephfs subvol_1 subvolgroup_1

2. Ceph File System サブボリュームパスの新しいスケジュールを追加します。

   構文

   ceph fs snap-schedule add /.. SNAP_SCHEDULE [START_TIME] --fs CEPH_FILE_SYSTEM_NAME  --subvol SUBVOLUME_NAME

   例:

   [ceph: root@host02 /]# ceph fs snap-schedule add /cephfs_kernelf739cwtus2/pmo9axbwsi 1h 2022-06-27T21:50:00 --fs cephfs --subvol subvol_1
   Schedule set for path /..

   注記

   START_TIME は、ISO8601 形式で表されます。

   この例では、サブボリュームパスのスナップショットスケジュールを作成し、1 時間ごとにスナップショットを作成します。2022 年 6 月 27 日午後 9 時 50 分に開始します。

3. CephFS サブボリュームのスナップショットスケジュールの新しい保持ポリシーを追加します。

   構文

   ceph fs snap-schedule retention add SUBVOLUME_VOLUME_PATH [COUNT_TIME_PERIOD_PAIR] TIME_PERIOD COUNT

   例

   [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. h 14 1
   [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. d 4 2
   [ceph: root@host02 /]# ceph fs snap-schedule retention add /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/.. 14h4w 3
   
   Retention added to path /volumes/_nogroup/subvol_1/85a615da-e8fa-46c1-afc3-0eb8ae64a954/..

手順

1. 特定のスナップショットスケジュールを削除します。

   構文

   ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH [REPEAT_INTERVAL] [START_TIME]

   例:

   [ceph: root@host02 /]# ceph fs snap-schedule remove /cephfs 4h 2022-05-16T14:00:00

   この例では、4 時間ごとにスナップショットを作成し、2022 年 5 月 16 日午後 2:00 に開始する、/cephfs ボリュームの特定のスナップショットスケジュールを削除します。

2. 特定の CephFS ボリュームパスのすべてのスナップショットスケジュールを削除します。

   構文

   ceph fs snap-schedule remove FILE_SYSTEM_VOLUME_PATH

   例:

   [ceph: root@host02 /]# ceph fs snap-schedule remove /cephfs

   この例では、/cephfs ボリュームパスのすべてのスナップショットスケジュールを削除します。

手順

1. ソースストレージクラスターで、CephFS ミラーリングデーモンをデプロイします。

   構文

   ceph orch apply cephfs-mirror ["NODE_NAME"]

   例

   [root@mon ~]# ceph orch apply cephfs-mirror "node1.example.com"
   Scheduled cephfs-mirror update...

   このコマンドにより、cephfs-mirror という名前の Ceph ユーザーが作成され、特定のノードに cephfs-mirror デーモンがデプロイされます。

2. ターゲットストレージクラスターで、それぞれの CephFS ピア用にユーザーを作成します。

   構文

   ceph fs authorize FILE_SYSTEM_NAME CLIENT_NAME / rwps

   例

   [root@mon ~]# ceph fs authorize cephfs client.mirror_remote / rwps
   [client.mirror_remote]
           key = AQCjZ5Jg739AAxAAxduIKoTZbiFJ0lgose8luQ==

3. ソースストレージクラスターで、CephFS ミラーリングモジュールを有効にします。

   例

   [root@mon ~]# ceph mgr module enable mirroring

4. ソースストレージクラスターで、Ceph File System でミラーリングを有効にします。

   構文

   ceph fs snapshot mirror enable FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph fs snapshot mirror enable cephfs

   1. 任意。スナップショットミラーリングを無効にするには、以下のコマンドを使用します。

      構文

      ceph fs snapshot mirror disable FILE_SYSTEM_NAME

      例

      [root@mon ~]# ceph fs snapshot mirror disable cephfs

      警告

      ファイルシステムでスナップショットミラーリングを無効にすると、設定されたピアが削除されます。ピアをブートストラップして再度インポートする必要があります。

5. ターゲットピアストレージクラスターを準備します。

   1. ターゲットノードで、mirroring Ceph Manager モジュールを有効にします。

      例

      [root@mon ~]# ceph mgr module enable mirroring

   2. 同じターゲットノードで、ピアブートストラップを作成します。

      構文

      ceph fs snapshot mirror peer_bootstrap create FILE_SYSTEM_NAME CLIENT_NAME SITE_NAME

      SITE_NAME は、ターゲットのストレージクラスターを識別するユーザー定義の文字列です。

      例

      [root@mon ~]# ceph fs snapshot mirror peer_bootstrap create cephfs client.mirror_remote remote-site
      {"token": "eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ=="}

      次の手順で使用する二重引用符の間のトークン文字列をコピーします。

6. ソースストレージクラスターで、ターゲットストレージクラスターからブートストラップトークンをインポートします。

   構文

   ceph fs snapshot mirror peer_bootstrap import FILE_SYSTEM_NAME TOKEN

   例

   [root@mon ~]# ceph fs snapshot mirror peer_bootstrap import cephfs eyJmc2lkIjogIjBkZjE3MjE3LWRmY2QtNDAzMC05MDc5LTM2Nzk4NTVkNDJlZiIsICJmaWxlc3lzdGVtIjogImJhY2t1cF9mcyIsICJ1c2VyIjogImNsaWVudC5taXJyb3JfcGVlcl9ib290c3RyYXAiLCAic2l0ZV9uYW1lIjogInNpdGUtcmVtb3RlIiwgImtleSI6ICJBUUFhcDBCZ0xtRmpOeEFBVnNyZXozai9YYUV0T2UrbUJEZlJDZz09IiwgIm1vbl9ob3N0IjogIlt2MjoxOTIuMTY4LjAuNTo0MDkxOCx2MToxOTIuMTY4LjAuNTo0MDkxOV0ifQ==

7. ソースストレージクラスターで、CephFS ミラーピアをリスト表示します。

   構文

   ceph fs snapshot mirror peer_list FILE_SYSTEM_NAME

   例

   [root@mon ~]# ceph fs snapshot mirror peer_list cephfs

   1. 任意。スナップショットピアを削除するには、以下のコマンドを使用します。

      構文

      ceph fs snapshot mirror peer_remove FILE_SYSTEM_NAME PEER_UUID

      例

      [root@mon ~]# ceph fs snapshot mirror peer_remove cephfs a2dc7784-e7a1-4723-b103-03ee8d8768f8

      注記

      この手順の追加リソースセクションのピア UUID 値の検索方法のCeph File System リンクのミラーステータスの表示を参照してください。

8. ソースストレージクラスターで、スナップショットミラーリングのディレクトリーを設定します。

   構文

   ceph fs snapshot mirror add FILE_SYSTEM_NAME PATH

   例:

   [root@mon ~]# ceph fs snapshot mirror add cephfs /volumes/_nogroup/subvol_1

   重要

   Ceph ファイルシステム内の絶対パスのみが有効です。

   注記

   Ceph Manager の mirroring モジュールは、パスを正規化します。たとえば、/d1/d2/../dN ディレクトリーは /d1/d2 と同等です。ミラーリング用にディレクトリーが追加されると、その上位ディレクトリーおよびサブディレクトリーがミラーリング用に追加されなくなります。

   1. 任意。ディレクトリーのスナップショットミラーリングを停止するには、以下のコマンドを使用します。

      構文

      ceph fs snapshot mirror remove FILE_SYSTEM_NAME PATH

      例

      [root@mon ~]# ceph fs snapshot mirror remove cephfs /home/user1