在 undercloud 中检查 overcloud 栈的当前状态：

$ source stackrc
$ openstack stack list --nested

overcloud 栈以及它们的子栈的状态需要是 CREATE_COMPLETE 或 UPDATE_COMPLETE。

对 undercloud 数据库进行备份：

$ mkdir /home/stack/backup
$ sudo mysqldump --all-databases --quick --single-transaction | gzip > /home/stack/backup/dump_db_undercloud.sql.gz
$ sudo systemctl stop openstack-ironic-api.service openstack-ironic-conductor.service openstack-ironic-inspector.service openstack-ironic-inspector-dnsmasq.service
$ sudo cp /var/lib/ironic-inspector/inspector.sqlite /home/stack/backup
$ sudo systemctl start openstack-ironic-api.service openstack-ironic-conductor.service openstack-ironic-inspector.service openstack-ironic-inspector-dnsmasq.service

在运行的 Controller 节点上检查 Pacemaker 的状态。例如，运行的 Controller 节点的 IP 地址是 192.168.0.47，使用以下命令获得 Pacemaker 的状态：

$ ssh heat-admin@192.168.0.47 'sudo pcs status'

这个命令的输出应该显示，所有服务都在存在的节点上运行，并已在出现故障的节点上停止运行。

检查 overcloud 的 MariaDB 集群中各个节点的以下参数：

检查 RabbitMQ 的状态。例如，一个运行节点的 IP 地址是 192.168.0.47，使用以下命令获得状态值

$ ssh heat-admin@192.168.0.47 "sudo rabbitmqctl cluster_status"

running_nodes 应该只显示两个可用的节点，而不会显示有故障的节点。

如果启用了隔离服务，需要禁用它。例如，一个运行的 Controller 节点的 IP 地址是 192.168.0.47，使用以下命令禁用隔离服务：

$ ssh heat-admin@192.168.0.47 "sudo pcs property set stonith-enabled=false"

使用以下命令检查隔离服务的状态：

$ ssh heat-admin@192.168.0.47 "sudo pcs property show stonith-enabled"

在 director 节点上检查 nova-compute 服务：

$ sudo systemctl status openstack-nova-compute
$ openstack hypervisor list

以上命令的输出应该显示所有没有处于维护模式的节点的状态为 up。

确保所有 undercloud 服务都在运行：

$ sudo systemctl -t service

获得 Controller 节点的 IP 地址列表。例如：

[stack@director ~]$ openstack server list
... +------------------------+ ... +-------------------------+
... | Name                   | ... | Networks                |
... +------------------------+ ... +-------------------------+
... | overcloud-compute-0    | ... | ctlplane=192.168.0.44   |
... | overcloud-controller-0 | ... | ctlplane=192.168.0.47   |
... | overcloud-controller-2 | ... | ctlplane=192.168.0.46   |
... | overcloud-controller-3 | ... | ctlplane=192.168.0.48   |
... +------------------------+ ... +-------------------------+

在一个存在节点的 /etc/corosync/corosync.conf 文件中检查删除节点的 nodeid 值。例如，节点 overcloud-controller-0（IP 地址为 192.168.0.47）：

[stack@director ~]$ ssh heat-admin@192.168.0.47 "sudo cat /etc/corosync/corosync.conf"

这个命令会显示一个 nodelist，它包括了被删除节点（overcloud-controller-1）的 ID：

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-1
    nodeid: 2
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
}

记录下被删除节点的 nodeid 值以供以后使用。在这个示例中，它的值是 2。

从每个节点的 Corosync 配置中删除失败的节点，并重启 Corosync。对于这个示例，登录到 overcloud-controller-0 和 overcloud-controller-2 并运行以下命令：

[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster reload corosync"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster reload corosync"

登录到剩下的节点之一，使用 crm_node 命令从集群中删除节点：

[stack@director] ssh heat-admin@192.168.0.47
[heat-admin@overcloud-controller-0 ~]$ sudo crm_node -R overcloud-controller-1 --force

保持在这个节点的登录。

从 RabbitMQ 集群中删除故障节点：

[heat-admin@overcloud-controller-0 ~]$ sudo rabbitmqctl forget_cluster_node rabbit@overcloud-controller-1

从 MongoDB 中删除失败的节点。首先，找到节点 Interal API 连接的 IP 地址。

[heat-admin@overcloud-controller-0 ~]$ sudo netstat -tulnp | grep 27017
tcp        0      0 192.168.0.47:27017    0.0.0.0:*               LISTEN      13415/mongod

检查这个节点是否是 primary 副本：

[root@overcloud-controller-0 ~]# echo "db.isMaster()" | mongo --host 192.168.0.47:27017
MongoDB shell version: 2.6.11
connecting to: 192.168.0.47:27017/echo
{
  "setName" : "tripleo",
  "setVersion" : 1,
  "ismaster" : true,
  "secondary" : false,
  "hosts" : [
    "192.168.0.47:27017",
    "192.168.0.46:27017",
    "192.168.0.45:27017"
  ],
  "primary" : "192.168.0.47:27017",
  "me" : "192.168.0.47:27017",
  "electionId" : ObjectId("575919933ea8637676159d28"),
  "maxBsonObjectSize" : 16777216,
  "maxMessageSizeBytes" : 48000000,
  "maxWriteBatchSize" : 1000,
  "localTime" : ISODate("2016-06-09T09:02:43.340Z"),
  "maxWireVersion" : 2,
  "minWireVersion" : 0,
  "ok" : 1
}
bye

从输出中可以判断当前节点是否是 primary 节点。如果不是，使用 primary 所指定节点的 IP 地址。

从 primary 节点连接到 MongoDB：

[heat-admin@overcloud-controller-0 ~]$ mongo --host 192.168.0.47
MongoDB shell version: 2.6.9
connecting to: 192.168.0.47:27017/test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
tripleo:PRIMARY>

检查 MongoDB 集群的状态：

tripleo:PRIMARY> rs.status()

_id 代表节点，在删除失败的节点时需要使用 name。在这里，我们删除 Node 1，它的 name 是 192.168.0.45:27017：

tripleo:PRIMARY> rs.remove('192.168.0.45:27017')

"replSetReconfig command must be sent to the current replica set primary."

2016-05-07T03:57:19.541+0000 DBClientCursor::init call() failed
2016-05-07T03:57:19.543+0000 Error: error doing query: failed at src/mongo/shell/query.js:81
2016-05-07T03:57:19.545+0000 trying reconnect to 192.168.0.47:27017 (192.168.0.47) failed
2016-05-07T03:57:19.547+0000 reconnect 192.168.0.47:27017 (192.168.0.47) ok

退出 MongoDB：

tripleo:PRIMARY> exit

在 Galera 集群中更新节点列表：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs resource update galera wsrep_cluster_address=gcomm://overcloud-controller-0,overcloud-controller-3,overcloud-controller-2

为集群添加新节点：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster node add overcloud-controller-3

检查每个节点上的 /etc/corosync/corosync.conf 文件。如果新节点的 nodeid 和已删除节点的相同，则需要把它更新为一个新的 nodeid 值。例如，/etc/corosync/corosync.conf 文件包括一个新节点（overcloud-controller-3）的项：

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
  node {
    ring0_addr: overcloud-controller-3
    nodeid: 2
  }
}

请注意，新节点使用和被删除节点相同的 nodeid。把这个值更新为一个没有被使用过的节点 ID 值。例如：

node {
  ring0_addr: overcloud-controller-3
  nodeid: 4
}

在包括新节点在内的所有 Controller 节点的 /etc/corosync/corosync.conf 文件中更新这个 nodeid 值。

只在存在的节点上重启 Corosync 服务。例如，在 overcloud-controller-0 上：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster reload corosync

在 overcloud-controller-2 上：

[heat-admin@overcloud-controller-2 ~]$ sudo pcs cluster reload corosync

不要在新节点上运行这个命令。

启动新的 Controller 节点：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster start overcloud-controller-3

通过 Pacemaker 启用并重启一些服务。集群当前处于维护模式，您需要临时禁用它来启用服务。例如：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=false --wait

等待 Galera 服务在所有节点上都已启动。

[heat-admin@overcloud-controller-3 ~]$ sudo pcs status | grep galera -A1
Master/Slave Set: galera-master [galera]
Masters: [ overcloud-controller-0 overcloud-controller-2 overcloud-controller-3 ]

如果需要，在新节点上执行 cleanup：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs resource cleanup galera --node overcloud-controller-3

把集群切换为维护模式：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=true --wait