物理的な IPMI フェンシングの後には、fence-nova エージェントが 第 2 レベルのフェンシング を実行して、フェンシングされたノードに “evacuate=yes” というクラスターのノードごとの属性をマークします。そのために、エージェントは以下のコマンドを実行します。

$ attrd_updater -n evacuate -A name="evacuate" host="FAILEDHOST" value="yes"

FAILEDHOST は、障害の発生したコンピュートノードのホスト名です。

各コンピュートノード上で Compute サービスを停止し、無効化します。

heat-admin@compute-n $ sudo systemctl stop openstack-nova-compute
heat-admin@compute-n $ sudo systemctl disable openstack-nova-compute

pacemaker-remote に使用する認証キーを作成します。director ノードでこのステップを実行します。

stack@director # dd if=/dev/urandom of=~/authkey bs=4096 count=1

このキーをコンピュートノードとコントローラーノードにコピーします。

stack@director # scp authkey heat-admin@node-n:~/
stack@director # ssh heat-admin@node-n:~/
heat-admin@node-n $ sudo mkdir -p --mode=0750 /etc/pacemaker
heat-admin@node-n $ sudo chgrp haclient /etc/pacemaker
heat-admin@node-n $ sudo mv authkey /etc/pacemaker/
heat-admin@node-n $ sudo chown root:haclient /etc/pacemaker/authkey

コンピュートノードで pacemaker-remote サービスを有効化し、それに応じてファイアウォールを設定します。

heat-admin@compute-n $ sudo systemctl enable pacemaker_remote
heat-admin@compute-n $ sudo systemctl start pacemaker_remote
heat-admin@compute-n $ sudo iptables -I INPUT 11 -p tcp --dport 3121 -j ACCEPT ; /sbin/service iptables save

コントローラーノードとコンピュートノードに pacemaker (1.1.12-22.el7_1.4.x86_64) および resource-agents (3.9.5-40.el7_1.5.x86_64) パッケージの必要なバージョンがインストールされていることを確認します。

heat-admin@controller-n $ sudo rpm -qa | egrep \'(pacemaker|resource-agents)'

overcloudrc ファイルを使用して NovaEvacuate active/passive リソースを作成し、auth_url、username、tenant、password の値を指定します。

stack@director # scp overcloudrc heat-admin@controller-1:~/
heat-admin@controller-1 $ . ~/overcloudrc
heat-admin@controller-1 $ sudo pcs resource create nova-evacuate ocf:openstack:NovaEvacuate auth_url=$OS_AUTH_URL username=$OS_USERNAME password=$OS_PASSWORD tenant_name=$OS_TENANT_NAME

nova-evacuate が Floating IP リソース、Image サービス (glance)、OpenStack Networking サービス (neutron)、Compute サービス(nova) の後に起動されることを確認します。

heat-admin@controller-1 $ for i in $(sudo pcs status | grep IP | awk \'{ print $1 }\'); do sudo pcs constraint order start $i then nova-evacuate ; done

cibadmin データを使用して現在のコントローラー一覧を作成します。

heat-admin@controller-1 $ controllers=$(sudo cibadmin -Q -o nodes | grep uname | sed s/.\*uname..// | awk -F\" \'{print $1}')
heat-admin@controller-1 $ echo $controllers

この一覧を使用して、それらのノードを osprole=controller プロパティーでコントローラーとしてタグ付けします。

heat-admin@controller-1 $ for controller in ${controllers}; do sudo pcs property set --node ${controller} osprole=controller ; done
heat-admin@controller-1 $ sudo pcs property

新たに割り当てられたロールは、Node attributes のセクション下に表示されるはずです。

環境内にすでに存在する stonith デバイスの一覧を作成します。

heat-admin@controller-1 $ stonithdevs=$(sudo pcs stonith | awk \'{print $1}')
heat-admin@controller-1 $ echo $stonithdevs

コントロールプレーンサービスをタグ付けし、一覧内の stonith デバイスをスキップして、上記で特定したコントローラーのみで実行されるようにします。

heat-admin@controller-1 $ for i in $(sudo cibadmin -Q --xpath //primitive --node-path | tr ' ' \'\n' | awk -F "id=\'" '{print $2}' | awk -F "\'" '{print $1}' | uniq); do
    found=0
    if [ -n "$stonithdevs" ]; then
        for x in $stonithdevs; do
            if [ $x = $i ]; then
                found=1
            fi
	    done
    fi
    if [ $found = 0 ]; then
        sudo pcs constraint location $i rule resource-discovery=exclusive score=0 osprole eq controller
    fi
done

nova-compute リソースを pacemaker 内に設定します。

heat-admin@controller-1 $ . /home/heat-admin/overcloudrc
heat-admin@controller-1 $ sudo pcs resource create nova-compute-checkevacuate ocf:openstack:nova-compute-wait auth_url=$OS_AUTH_URL username=$OS_USERNAME password=$OS_PASSWORD tenant_name=$OS_TENANT_NAME domain=localdomain op start timeout=300 --clone interleave=true --disabled --force

heat-admin@controller-1 $ sudo pcs constraint location nova-compute-checkevacuate-clone rule resource-discovery=exclusive score=0 osprole eq compute
heat-admin@controller-1 $ sudo pcs resource create nova-compute systemd:openstack-nova-compute op start timeout=60s --clone interleave=true --disabled --force
heat-admin@controller-1 $ sudo pcs constraint location nova-compute-clone rule resource-discovery=exclusive score=0 osprole eq compute
heat-admin@controller-1 $ sudo pcs constraint order start nova-compute-checkevacuate-clone then nova-compute-clone require-all=true
heat-admin@controller-1 $ sudo pcs constraint order start nova-compute-clone then nova-evacuate require-all=false

コンピュートノード用に stonith デバイスを追加します。各コンピュートノードで以下のコマンドを実行します。

heat-admin@controller-1 $ sudo pcs stonith create ipmilan-overcloud-compute-N  fence_ipmilan pcmk_host_list=overcloud-compute-0 ipaddr=10.35.160.78 login=IPMILANUSER passwd=IPMILANPW lanplus=1 cipher=1 op monitor interval=60s;

ここで、

別の fence-nova stonith デバイスを作成します。

heat-admin@controller-1 $ . overcloudrc
heat-admin@controller-1 $ sudo pcs stonith create fence-nova fence_compute \
                                auth-url=$OS_AUTH_URL \
                                login=$OS_USERNAME \
                                passwd=$OS_PASSWORD \
                                tenant-name=$OS_TENANT_NAME \
                                record-only=1 --force \
                                domain=localdomain

fence-nova に必要な制約を設定します。

heat-admin@controller-1 $ sudo pcs constraint location fence-nova rule resource-discovery=never score=0 osprole eq controller
heat-admin@controller-1 $ sudo pcs constraint order promote galera-master then fence-nova require-all=false
heat-admin@controller-1 $ sudo pcs constraint order start fence-nova then nova-compute-clone

コンピュートノードがフェンシング後に回復できるようにします。

heat-admin@controller-1 $ sudo pcs property set cluster-recheck-interval=1min

コンピュートノードのリソースを作成して、stonith level 1 にノードの物理フェンスデバイスと fence-nova の両方が含まれるように設定します。そのためには、各コンピュートノードに対して以下のコマンドを実行します。

heat-admin@controller-1 $ sudo pcs resource create overcloud-compute-N ocf:pacemaker:remote reconnect_interval=60 op monitor interval=20
heat-admin@controller-1 $ sudo pcs property set --node overcloud-compute-N osprole=compute
heat-admin@controller-1 $ sudo pcs stonith level add 1 overcloud-compute-N ipmilan-overcloud-compute-N,fence-nova
heat-admin@controller-1 $ sudo pcs stonith

N は、各コンピュートノードを識別するための番号に置き換えます (例: overcloud-compute-1、overcloud-compute-2 など)。これらの識別番号を使用して、前のステップで作成した stonith デバイスに各コンピュートノードを照合します (例: overcloud-compute-1 および ipmilan-overcloud-compute-1)。