第 9 章 扩展 Overcloud

在 Undercloud 中检查 overcloud 栈的当前状态：

$ source stackrc
$ heat stack-list --show-nested

overcloud 栈以及它们的子栈的状态需要是 CREATE_COMPLETE 或 UPDATE_COMPLETE。

对 Undercloud 数据库进行备份：

$ mkdir /home/stack/backup
$ sudo mysqldump --all-databases --quick --single-transaction | gzip > /home/stack/backup/dump_db_undercloud.sql.gz
$ sudo systemctl stop openstack-ironic-api.service openstack-ironic-conductor.service openstack-ironic-discoverd.service openstack-ironic-discoverd-dnsmasq.service
$ sudo cp /var/lib/ironic-discoverd/inspector.sqlite /home/stack/backup
$ sudo systemctl start openstack-ironic-api.service openstack-ironic-conductor.service openstack-ironic-discoverd.service openstack-ironic-discoverd-dnsmasq.service

在运行的 Controller 节点上检查 Pacemaker 的状态。例如，运行的 Controller 节点的 IP 地址是 192.168.0.47，使用以下命令获得 Pacemaker 的状态：

$ ssh heat-admin@192.168.0.47 'sudo pcs status'

这个命令的输出应该显示，所有服务都在存在的节点上运行，并已在出现故障的节点上停止运行。

检查 Overcloud 的 MariaDB 集群中的每个节点的以下参数：

检查 RabbitMQ 的状态。例如，一个运行节点的 IP 地址是 192.168.0.47，使用以下命令获得状态值

$ ssh heat-admin@192.168.0.47 "sudo rabbitmqctl cluster_status"

running_nodes 应该只显示两个可用的节点，而不会显示有故障的节点。

如果启用了隔离服务，需要禁用它。例如，一个运行的 Controller 节点的 IP 地址是 192.168.0.47，使用以下命令禁用隔离服务：

$ ssh heat-admin@192.168.0.47 "sudo pcs property set stonith-enabled=false"

使用以下命令检查隔离服务的状态：

$ ssh heat-admin@192.168.0.47 "sudo pcs property show stonith-enabled"

在 director 节点上检查 nova-compute 服务：

$ sudo systemctl status openstack-nova-compute
$ nova hypervisor-list

以上命令的输出应该显示所有没有处于维护模式的节点的状态为 up。

确保所有 Undercloud 服务都在运行：

$ sudo systemctl -t service

获得 Controller 节点的 IP 地址列表。例如：

[stack@director ~]$ nova list
... +------------------------+ ... +-------------------------+
... | Name                   | ... | Networks                |
... +------------------------+ ... +-------------------------+
... | overcloud-compute-0    | ... | ctlplane=192.168.0.44   |
... | overcloud-controller-0 | ... | ctlplane=192.168.0.47   |
... | overcloud-controller-2 | ... | ctlplane=192.168.0.46   |
... | overcloud-controller-3 | ... | ctlplane=192.168.0.48   |
... +------------------------+ ... +-------------------------+

在一个存在节点的 /etc/corosync/corosync.conf 文件中检查删除节点的 nodeid 值。例如，节点 overcloud-controller-0（IP 地址为 192.168.0.47）：

[stack@director ~]$ ssh heat-admin@192.168.0.47 "sudo cat /etc/corosync/corosync.conf"

这个命令会显示一个 nodelist，它包括了被删除节点（overcloud-controller-1）的 ID：

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-1
    nodeid: 2
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
}

记录下被删除节点的 nodeid 值以供以后使用。在这个示例中，它的值是 2。

从每个节点的 Corosync 配置中删除失败的节点，并重启 Corosync。对于这个示例，登录到 overcloud-controller-0 和 overcloud-controller-2 并运行以下命令：

[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.47 "sudo pcs cluster reload corosync"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster localnode remove overcloud-controller-1"
[stack@director] ssh heat-admin@192.168.0.46 "sudo pcs cluster reload corosync"

登录到剩下的节点之一，使用 crm_node 命令从集群中删除节点：

[stack@director] ssh heat-admin@192.168.0.47
[heat-admin@overcloud-controller-0 ~]$ sudo crm_node -R overcloud-controller-1 --force

保持在这个节点的登录。

从 RabbitMQ 集群中删除故障节点：

[heat-admin@overcloud-controller-0 ~]$ sudo rabbitmqctl forget_cluster_node rabbit@overcloud-controller-1

从 MongoDB 中删除失败的节点。首先，找到节点 Interal API 连接的 IP 地址。

[heat-admin@overcloud-controller-0 ~]$ sudo netstat -tulnp | grep 27017
tcp        0      0 192.168.0.47:27017    0.0.0.0:*               LISTEN      13415/mongod

检查这个节点是否是 primary 副本：

[root@overcloud-controller-0 ~]# echo "db.isMaster()" | mongo --host 192.168.0.47:27017
MongoDB shell version: 2.6.11
connecting to: 192.168.0.47:27017/echo
{
  "setName" : "tripleo",
  "setVersion" : 1,
  "ismaster" : true,
  "secondary" : false,
  "hosts" : [
    "192.168.0.47:27017",
    "192.168.0.46:27017",
    "192.168.0.45:27017"
  ],
  "primary" : "192.168.0.47:27017",
  "me" : "192.168.0.47:27017",
  "electionId" : ObjectId("575919933ea8637676159d28"),
  "maxBsonObjectSize" : 16777216,
  "maxMessageSizeBytes" : 48000000,
  "maxWriteBatchSize" : 1000,
  "localTime" : ISODate("2016-06-09T09:02:43.340Z"),
  "maxWireVersion" : 2,
  "minWireVersion" : 0,
  "ok" : 1
}
bye

从输出中可以判断当前节点是否是 primary 节点。如果不是，使用 primary 所指定节点的 IP 地址。

从 primary 节点连接到 MongoDB：

[heat-admin@overcloud-controller-0 ~]$ mongo --host 192.168.0.47
MongoDB shell version: 2.6.9
connecting to: 192.168.0.47:27017/test
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
tripleo:PRIMARY>

检查 MongoDB 集群的状态：

tripleo:PRIMARY> rs.status()

_id 代表节点，在删除失败的节点时需要使用 name。在这里，我们删除 Node 1，它的 name 是 192.168.0.45:27017：

tripleo:PRIMARY> rs.remove('192.168.0.45:27017')

"replSetReconfig command must be sent to the current replica set primary."

2016-05-07T03:57:19.541+0000 DBClientCursor::init call() failed
2016-05-07T03:57:19.543+0000 Error: error doing query: failed at src/mongo/shell/query.js:81
2016-05-07T03:57:19.545+0000 trying reconnect to 192.168.0.47:27017 (192.168.0.47) failed
2016-05-07T03:57:19.547+0000 reconnect 192.168.0.47:27017 (192.168.0.47) ok

退出 MongoDB：

tripleo:PRIMARY> exit

在 Galera 集群中更新节点列表：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs resource update galera wsrep_cluster_address=gcomm://overcloud-controller-0,overcloud-controller-3,overcloud-controller-2

为集群添加新节点：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster node add overcloud-controller-3

检查每个节点上的 /etc/corosync/corosync.conf 文件。如果新节点的 nodeid 和已删除节点的相同，则需要把它更新为一个新的 nodeid 值。例如，/etc/corosync/corosync.conf 文件包括一个新节点（overcloud-controller-3）的项：

nodelist {
  node {
    ring0_addr: overcloud-controller-0
    nodeid: 1
  }
  node {
    ring0_addr: overcloud-controller-2
    nodeid: 3
  }
  node {
    ring0_addr: overcloud-controller-3
    nodeid: 2
  }
}

请注意，新节点使用和被删除节点相同的 nodeid。把这个值更新为一个没有被使用过的节点 ID 值。例如：

node {
  ring0_addr: overcloud-controller-3
  nodeid: 4
}

在包括新节点在内的所有 Controller 节点的 /etc/corosync/corosync.conf 文件中更新这个 nodeid 值。

只在存在的节点上重启 Corosync 服务。例如，在 overcloud-controller-0 上：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster reload corosync

在 overcloud-controller-2 上：

[heat-admin@overcloud-controller-2 ~]$ sudo pcs cluster reload corosync

不要在新节点上运行这个命令。

启动新的 Controller 节点：

[heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster start overcloud-controller-3

在新节点上启动 keystone 服务。从其它节点上把 /etc/keystone 目录复制到 director 主机：

[heat-admin@overcloud-controller-0 ~]$ sudo -i
[root@overcloud-controller-0 ~]$ scp -r /etc/keystone stack@192.168.0.1:~/.

登录到新的 Controller 节点。从新节点中删除 /etc/keystone 目录，从 director 主机上复制 keystone 文件：

[heat-admin@overcloud-controller-3 ~]$ sudo -i
[root@overcloud-controller-3 ~]$ rm -rf /etc/keystone
[root@overcloud-controller-3 ~]$ scp -r stack@192.168.0.1:~/keystone /etc/.
[root@overcloud-controller-3 ~]$ chown -R keystone: /etc/keystone
[root@overcloud-controller-3 ~]$ chown root /etc/keystone/logging.conf /etc/keystone/default_catalog.templates

编辑 /etc/keystone/keystone.conf，把 admin_bind_host 和 public_bind_host 参数设置为新 Controller 节点的 IP 地址。要找到这些 IP 地址，使用 ip addr 命令，在以下网络中查找 IP 地址：

例如，如果 Provisioning 网络使用 192.168.0.0/24 子网，Internal API 使用 172.17.0.0/24 子网，使用以下命令在这些网络中找出节点的 IP 地址：

[root@overcloud-controller-3 ~]$ ip addr | grep "192\.168\.0\..*/24"
[root@overcloud-controller-3 ~]$ ip addr | grep "172\.17\.0\..*/24"

通过 Pacemaker 启用并重启一些服务。集群当前处于维护模式，您需要临时禁用它来启用服务。例如：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=false --wait

等待 Galera 服务在所有节点上都已启动。

[heat-admin@overcloud-controller-3 ~]$ sudo pcs status | grep galera -A1
Master/Slave Set: galera-master [galera]
Masters: [ overcloud-controller-0 overcloud-controller-2 overcloud-controller-3 ]

如果需要，在新节点上执行 cleanup：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs resource cleanup galera overcloud-controller-3

等待 Keystone 服务在所有节点上都已启动。

[heat-admin@overcloud-controller-3 ~]$ sudo pcs status | grep keystone -A1
Clone Set: openstack-keystone-clone [openstack-keystone]
Started: [ overcloud-controller-0 overcloud-controller-2 overcloud-controller-3 ]

如果需要，在新节点上执行 cleanup：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs resource cleanup openstack-keystone-clone overcloud-controller-3

把集群切换为维护模式：

[heat-admin@overcloud-controller-3 ~]$ sudo pcs property set maintenance-mode=true --wait