第 13 章 对 director 进行故障排除

在多数情况下，Heat 会在 overcloud 创建失败后显示出现问题的 overcloud 栈：

$ source ~/stackrc
(undercloud) $ openstack stack list --nested --property status=FAILED
+-----------------------+------------+--------------------+----------------------+
| id                    | stack_name | stack_status       | creation_time        |
+-----------------------+------------+--------------------+----------------------+
| 7e88af95-535c-4a55... | overcloud  | CREATE_FAILED      | 2015-04-06T17:57:16Z |
+-----------------------+------------+--------------------+----------------------+

如果栈列表为空，这意味着出现的问题与初始的 Heat 设置相关。检查您的 Heat 模板和配置选项，并检查在运行 openstack overcloud deploy 后的错误信息。

使用 ironic 查看所有注册的节点和它们当前的状态：

$ source ~/stackrc
(undercloud) $ openstack baremetal node list

+----------+------+---------------+-------------+-----------------+-------------+
| UUID     | Name | Instance UUID | Power State | Provision State | Maintenance |
+----------+------+---------------+-------------+-----------------+-------------+
| f1e261...| None | None          | power off   | available       | False       |
| f0b8c1...| None | None          | power off   | available       | False       |
+----------+------+---------------+-------------+-----------------+-------------+

以下是一些在部署过程中常见的问题。

在配置阶段会发生许多事情。例如，特定的 Puppet 模块可能会因为设置的问题出错。本节提供了诊断相关问题的方法。

列出 overcloud 栈中的所有资源来找出哪个出现了问题：

$ source ~/stackrc
(undercloud) $ openstack stack resource list overcloud --filter status=FAILED

这会显示所有出问题的资源的列表。

显示出问题的资源：

(undercloud) $ openstack stack resource show overcloud [FAILED RESOURCE]

查看 resource_status_reason 项中的内容来帮助进行诊断。

使用 nova 命令查看 overcloud 节点的 IP 地址。

(undercloud) $ openstack server list

以 heat-admin 用户身份登录到一个实施的节点上。例如，栈资源列表显示一个 Controller 节点出现问题，您可以登录到那个 Controller 节点。heat-admin 用户有 sudo 访问权限。

(undercloud) $ ssh heat-admin@192.168.24.14

检查 os-collect-config 日志找出可能造成故障的原因。

[heat-admin@overcloud-controller-0 ~]$ sudo journalctl -u os-collect-config

在某些情况下，会出现 nova 未完整部署节点的情况。在这种情况下，一个 overcloud 角色类型的 OS::Heat::ResourceGroup 会出错。这时，可使用 nova 来查看问题。

(undercloud) $ openstack server list
(undercloud) $ openstack server show [SERVER ID]

多数常见错误会显示 No valid host was found 错误信息，请参阅 第 13.6 节 “对 "No Valid Host Found" 错误进行故障排除” 来获得更多与排除这类错误相关的信息。在其它情况下，查看以下日志文件来进行进一步的故障排除：

控制器节点部署后的过程由 5 个主要部署步骤组成：

当通过 director 修改 overcloud 栈时可能会出现问题。对栈进行修改可能包括：

修改栈的过程和创建栈的过程相似，director 会检查请求的节点数是否有效，部署额外的节点或删除存在的节点，然后应用 Puppet 配置。在修改 overcloud 栈时需要遵循以下的一些建议。

在初始设置时，遵循 第 13.4.3 节 “实施后的配置” 中的建议。这些相同的步骤可以帮助排除更新 overcloud heat 栈时出现的问题。特别是，使用以下命令帮助查找有问题的资源：

下面几节介绍了针对特定节点类型的故障诊断建议。

overcloud 控制器节点包括大量 Red Hat OpenStack Platform 服务，您也可能在一个高可用性的集群中使用多个控制器节点。如果一个节点上的特定服务出现问题，高可用性集群会提供一定程度的故障转移功能。但是，您需要对出现问题的服务进行诊断，从而确保 overcloud 能以最大能力运行。

在高可用性集群中，控制器节点使用 Pacemaker 管理资源和服务。Pacemaker Configuration System（pcs）命令是一个用来管理 Pacemaker 集群的工具。在集群的控制器节点上运行这个命令来执行配置和监控功能。在高可用性集群中，可以使用以下命令帮助对 overcloud 服务进行故障排除：

使用这些 Pacemaker 命令来找出有问题的组件和节点。当找到有问题的组件时，在 /var/log/ 中查看相关的组件日志文件。

如果容器化服务在 overcloud 部署期间或之后出现故障，请按照以下建议确定故障的根本原因：

$ sudo docker logs keystone

在大多数情况下，该日志可指明容器出现故障的原因。

$ sudo docker inspect keystone

这会提供一个包含低级别配置数据的 JSON 对象。您可以通过管道将这些输出内容传递给 jq 命令，以对特定数据进行解析。例如，要查看 keystone 容器的加载情况，请运行以下命令：

$ sudo docker inspect keystone | jq .[0].Mounts

您还可以使用 --format 选项将数据解析到一行中，这在针对一组容器数据运行命令时非常有用。例如，要重建用于运行 keystone 容器的选项，请使用包含 --format 选项的以下 inspect 命令：

$ sudo docker inspect --format='{{range .Config.Env}} -e "{{.}}" {{end}} {{range .Mounts}} -v {{.Source}}:{{.Destination}}{{if .Mode}}:{{.Mode}}{{end}}{{end}} -ti {{.Config.Image}}' keystone

请在 docker run 命令中使用以下选项来重建容器，以便进行故障诊断：

$ OPTIONS=$( sudo docker inspect --format='{{range .Config.Env}} -e "{{.}}" {{end}} {{range .Mounts}} -v {{.Source}}:{{.Destination}}{{if .Mode}}:{{.Mode}}{{end}}{{end}} -ti {{.Config.Image}}' keystone )
$ sudo docker run --rm $OPTIONS /bin/bash

$ sudo docker exec -ti keystone <COMMAND>

请将 <COMMAND> 替换成您所需的命令。例如，每个容器都有一个健康检查脚本，用于验证服务的连接状况。您可以使用以下命令为 keystone 运行这个健康检查脚本：

$ sudo docker exec -ti keystone /openstack/healthcheck

要访问容器的 shell，请使用 /bin/bash 运行 docker exec（如以下命令所示）：

$ sudo docker exec -ti keystone /bin/bash

$ sudo docker export keystone -o keystone.tar

这个命令会创建 keystone.tar 归档，以供您提取和研究。

Compute 节点使用 Compute 服务来执行基于虚拟机监控程序的操作。这意味着，对 Compute 节点进行故障排除可以解决与这个服务相关的问题。例如：

如果 Red Hat Ceph Storage 集群出现任何问题，请参阅 Red Hat Ceph Storage Configuration Guide 中的“Logging Configuration Reference”。本节提供了与所有 Ceph Storage 服务的日志诊断相关的信息。