5.4. Ansible を使用した双方向ミラーリングの設定

この手順では、ceph-ansible を使用して双方向のレプリケーションを設定し、イメージを site-asite-b と呼ばれる 2 つのクラスター間でミラーリングできるようにします。以下の例では、data はミラーリングされるイメージが含まれるプールの名前です。

注記

双方向ミラーリングでは、どちらのクラスターにおいても、同じイメージへの同時書き込みはできません。イメージは一方のクラスターでプロモートされ、他方のクラスターではデモートされます。ステータスに応じて、それらは一方向または反対方向でミラリングされます。

前提条件

  • Red Hat Ceph Storage クラスターを実行する 2 つ。
  • 各クラスターにクライアントノードがある。
  • 同じ名前のプールが両方のクラスターに存在する。
  • プール内のイメージで排他的ロックおよびジャーナリングが有効になっている。

手順

  1. イメージの元のクラスターで、イメージの排他的ロックおよびジャーナリング機能を有効にします。

    1. 新規イメージの場合は、--image-feature オプションを使用します。

      構文

      rbd create IMAGE_NAME --size MEGABYTES --pool POOL_NAME --image-feature FEATURE[,FEATURE]

      [root@rbd-client ~]# rbd create image1 --size 1024 --pool data --image-feature exclusive-lock,journaling

    2. 既存のイメージ の場合は、rbd feature enable コマンドを使用します。

      構文

      rbd feature enable POOL_NAME/IMAGE_NAME FEATURE_NAME

      [root@rbd-client ~]# rbd feature enable data/image1 exclusive-lock,journaling

    3. デフォルトですべての新規イメージの排他的ロックおよびジャーナリングを有効にするには、以下の設定を Ceph 設定ファイルに追加します。

      rbd_default_features = 125
  2. site-a から site-b へのミラーリングを設定します。site-b クラスターの Ansible 管理ノードで [rbdmirrors] グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。
  3. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-b クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-a から site-b にプルします。

    [rbdmirrors]
    ceph-client
  4. /usr/share/ceph-ansible ディレクトリーに移動します。

    [root@admin ~]$ cd /usr/share/ceph-ansible
  5. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。

    [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml
  6. group_vars/rbdmirrors.yml ファイルを開いて編集します。
  7. ceph_rbd_mirror_configuretrue に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。

    ceph_rbd_mirror_configure: true
    ceph_rbd_mirror_pool: "data"
  8. オプション: デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。また、ミラーリングが明示的に有効になっているイメージだけがミラーリングされたイメージモードを使用できます。イメージモードを有効にするには、ceph_rbd_mirror_modeimage に設定します。

    ceph_rbd_mirror_mode: image
  9. オプション: イメージモードを設定する場合は、任意のイメージでミラーリングを明示的に有効にします。

    構文

    rbd mirror image enable POOL/IMAGE

    [root@mon ~]# rbd mirror image enable data/image1

  10. site-a クラスターのモニターノードで、rbd-mirror デーモンがクラスターへの接続に使用するユーザーを作成します。この例では、site-a ユーザーを作成し、そのキーを site-a.client.site-a.keyring という名前のファイルに出力します。

    構文

    ceph auth get-or-create client.CLUSTER_NAME mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/CLUSTER_NAME.client.USER_NAME.keyring

    [root@mon ~]# ceph auth get-or-create client.site-a mon 'profile rbd' osd 'profile rbd pool=data' -o /etc/ceph/site-a.client.site-a.keyring

  11. Ceph 設定ファイルおよび新たに作成された鍵ファイルを site-a のモニターノードから site-b のモニターおよびクライアントノードにコピーします。Ceph 設定ファイルの名前を ceph.conf から CLUSTER-NAME.conf に変更します。この例では、ファイルは /etc/ceph/site-a.confです。
  12. rbd-mirror がプルするクラスターの名前を設定します。以下の例では、他のクラスターは site-a です。

    ceph_rbd_mirror_remote_cluster: "site-a"
  13. Ansible 管理ノードで、ceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。キーの作成時に使用した同じ名前を使用します。この例では、ユーザーの名前は client.site-a です。

    ceph_rbd_mirror_remote_user: "client.site-a"
  14. ansible ユーザーとして、Ansible Playbook を実行します。

    • ベアメタルデプロイメント

      [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts
    • コンテナーデプロイメント

      [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
  15. ミラーリングのステータスを確認します。site-b クラスターで、Ceph Monitor ノードから以下のコマンドを実行します。

    [root@mon ~]# rbd mirror image status data/image1
    image1:
      global_id:   7d486c3f-d5a1-4bee-ae53-6c4f1e0c8eac
      state:       up+replaying 1
      description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
      last_update: 2019-04-22 13:19:27

    1
    イメージが up+replaying の場合には、ミラーリングが正常に機能します。
    注記

    サイト間の接続によって、ミラーリングでイメージの同期に時間がかかる場合があります。

  16. site-b から site-a へのミラーリングを設定します。ステップは上記とほぼ同じです。site-a クラスターの Ansible 管理ノードで [rbdmirrors] グループを Ansible インベントリーファイル (通常は /usr/share/ceph-ansible/hosts) に追加します。
  17. [rbdmirrors] グループの下に、rbd-mirror デーモンが実行される site-a クライアントノードの名前を追加します。このデーモンは、イメージの変更を site-b から site-a にプルします。

    [rbdmirrors]
    ceph-client
  18. /usr/share/ceph-ansible ディレクトリーに移動します。

    [root@admin ~]# cd /usr/share/ceph-ansible
  19. group_vars/rbdmirrors.yml.sample から group_vars/rbdmirrors.yml にコピーして、新しい rbdmirrors.yml ファイルを作成します。

    [root@admin ceph-ansible]# cp group_vars/rbdmirrors.yml.sample group_vars/rbdmirrors.yml
  20. group_vars/rbdmirrors.yml ファイルを開いて編集します。
  21. ceph_rbd_mirror_configuretrue に設定し、ceph_rbd_mirror_pool をイメージをミラーリングするプールに設定します。この例では、data はプールの名前です。

    ceph_rbd_mirror_configure: true
    ceph_rbd_mirror_pool: "data"
  22. オプション: デフォルトでは、ceph-ansible はプール内の全イメージをミラーリングするプールモードを使用してミラーリングを設定します。また、ミラーリングが明示的に有効になっているイメージだけがミラーリングされたイメージモードを使用できます。イメージモードを有効にするには、ceph_rbd_mirror_modeimage に指定します。

    ceph_rbd_mirror_mode: image
  23. オプション: イメージモードを設定する場合は、任意のイメージでミラーリングを明示的に有効にします。

    構文

    rbd mirror image enable POOL/IMAGE

    [root@mon ~]# rbd mirror image enable data/image1

  24. RBD キーは site-b クラスターから site-a クラスターにコピーします。この鍵は、手順 3 で rbd-mirror デーモンの実行先に設定したクライアントノード上にあります。ファイルは /etc/ceph/ ディレクトリーにあり、名前に rbd-mirror が含まれており、拡張子 .keyring で終わります。rbd-daemon が実行される site-a クラスターのクライアントノードにファイルをコピーします。以下の例では、ファイルを /etc/ceph/site-b.client.site-b.keyring に保存します。
  25. site-b クラスターから rbd-daemon が実行される site-a クラスターのクライアントノードに、Ceph 設定ファイルをコピーします。以下の例では、ファイルを /etc/ceph/site-b.conf に保存します。
  26. site-a クラスターの Ansible 管理ノードで、rbd-mirror がプルするクラスターの名前を設定します。例に従い、その他のクラスターの名前は site-b とします。

    ceph_rbd_mirror_remote_cluster: "site-b"
  27. site-a クラスターの Ansible 管理ノードで、 group_vars/rbdmirrors.ymlceph_rbd_mirror_remote_user を使用してキーのユーザー名を設定します。この例では、ユーザーの名前は client.site-b です。

    ceph_rbd_mirror_remote_user: "client.site-b"
  28. site-a クラスターの管理ノードで Ansible ユーザーとして、Ansible Playbook を実行します。

    • ベアメタルデプロイメント

      [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rbdmirrors -i hosts
    • コンテナーデプロイメント

      [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rbdmirrors -i hosts
  29. site-a クラスターのクライアントノードからミラーリングのステータスを確認します。

    [root@mon ~]# rbd mirror image status data/image1
    image1:
      global_id:   08027096-d267-47f8-b52e-59de1353a034
      state:       up+stopped
      description: local image is primary
      last_update: 2019-04-16 15:45:31
    [root@mon ~]# rbd mirror image status data/image2
    image1:
      global_id:   596f41bc-874b-4cd4-aefe-4929578cc834
      state:       up+stopped
      description: local image is primary
      last_update: 2019-04-16 15:55:33

    イメージは up+stopped 状態である必要があります。ここでは、uprbd-mirror デーモンが実行中で、stopped は、イメージが別のクラスターからのレプリケーション先ではないことを意味します。これは、イメージがこのクラスターのプライマリーであるためです。