director 的安装和使用

Red Hat OpenStack Platform 15

使用 Red Hat OpenStack Platform director 创建 OpenStack 云环境

OpenStack Documentation Team

摘要

本指南包含有关如何在企业环境中使用 Red Hat OpenStack Platform director 安装 Red Hat OpenStack Platform 15 的信息。其中包括安装 director、规划您的环境以及使用 director 创建 OpenStack 环境。

第 1 章 简介

Red Hat OpenStack Platform director 是一个安装和管理完整的 OpenStack 环境的工具组,它主要基于 OpenStack 项目 - TripleO("OpenStack-On-OpenStack" 的缩写)。director 主要基于 OpenStack project TripleO(“OpenStack-On-OpenStack” 的缩写)。此项目包含可用于安装全面运行的 OpenStack 环境的 OpenStack 组件。其中包括置备并控制裸机系统用作 OpenStack 节点的 OpenStack 组件。这为安装精益可靠的完整 Red Hat OpenStack Platform 环境提供了一种简单方法。

Red Hat OpenStack Platform director 使用两个主要概念:undercloud 和 overcloud。undercloud 用来安装并配置 overcloud。下面几节概述了这两个概念。

undercloud 和 overcloud 的基本布局

1.1. undercloud

undercloud 是包含 OpenStack 平台 director 工具组的主要管理节点,它是由单一系统组成的 OpenStack 安装,并包括了置备和管理 OpenStack 环境 (overcloud) 所需的组件。它是一个单一系统的 OpenStack 安装,包括置备和管理组成 OpenStack 环境 (overcloud) 的 OpenStack 节点的组件。组成 undercloud 的组件具有多个功能:

环境规划
undercloud 包括用户用于创建和分配某些节点规则的规划功能。undercloud 包括一组默认节点:计算(Compute)、控制器(Controller)和各种存储角色。您也可以设计自定义角色。此外,您还可以选择每个节点角色包括哪些 OpenStack Platform 服务。这提供了对新节点建模,或把特定组件隔离在其自己的主机中的方法。
裸机系统控制
undercloud 使用每个节点的带外管理接口(通常是智能平台管理接口 (IPMI))进行电源管理控制,使用基于 PXE 的服务发现硬件属性并在每个节点上安装 OpenStack。您可以使用此功能将裸机系统置备为 OpenStack 节点。有关电源管理驱动程序的完整列表,请参阅 附录 A, 电源管理驱动
编配
undercloud 包含一组 YAML 模板,这些模板代表您环境中的一系列计划。undercloud 导入这些计划,并根据其中的指示创建所需的 OpenStack 环境。这些计划还可以包括 hook。通过使用 hook,可以在环境创建过程中的特定点上融入您自己的自定义设置。
undercloud 组件

undercloud 使用 OpenStack 组件作为它的基本工具组。每个组件都在 undercloud 中的一个独立容器内运行:

  • OpenStack Identity (keystone) - 提供 director 组件的验证和授权功能。
  • OpenStack Bare Metal (ironic) 和 OpenStack Compute (nova) - 管理裸机节点。
  • OpenStack Networking (neutron) 和 Open vSwitch - 控制裸机节点的网络。
  • OpenStack Image Service (glance) - 存储 director 写入裸机的镜像。
  • OpenStack Orchestration (heat) 和 Puppet - 提供对节点的编配功能,并在 director 把 overcloud 镜像写入到磁盘后配置节点。
  • OpenStack Telemetry(ceilometer) - 监控并采集数据。这还包括:

    • OpenStack Telemetry Metrics(gnocchi) - 为 metrics 提供一个时间序列数据库。
    • OpenStack Telemetry Alarming(aodh) - 为监控提供一个警告组件。
    • OpenStack Telemetry Event Storage(panko)- 为监控提供事件存储。
  • OpenStack Workflow Service(mistral) - 为特定 director 操作(如导入和部署计划)提供一组工作流程。
  • OpenStack Messaging Service(zaqar) - 为 OpenStack Workflow Service 提供一个消息服务。
  • OpenStack Object Storage(swift) - 为不同的 OpenStack 平台组件提供对象存储,包括:

    • 为 OpenStack Image Service 提供镜像存储
    • 为 OpenStack Bare Metal 提供内省数据
    • 为 OpenStack Workflow Service 提供部署计划

1.2. overcloud

overcloud 是 undercloud 创建的 Red Hat OpenStack Platform 环境。overcloud 包括多个具有不同角色的节点,这些角色是基于您要创建的 OpenStack Platform 环境定义的。undercloud 包括一组默认的 overcloud 节点角色:

Controller

Controller 节点为 OpenStack 环境提供管理、网络和高可用性功能。建议的 OpenStack 环境是在一个高可用性集群中包含三个 Controller 节点。

一个默认 Controller(控制器)节点包括以下组件:

  • OpenStack Dashboard (horizon)
  • OpenStack Identity (keystone)
  • OpenStack Compute (nova) API
  • OpenStack Networking (neutron)
  • OpenStack Image Service (glance)
  • OpenStack Block Storage (cinder)
  • OpenStack Object Storage (swift)
  • OpenStack Orchestration (heat)
  • OpenStack Telemetry Metrics (gnocchi)
  • OpenStack Telemetry Alarming (aodh)
  • OpenStack Telemetry Event Storage (panko)
  • OpenStack Clustering (sahara)
  • OpenStack Shared File Systems(manila)
  • OpenStack Bare Metal(ironic)
  • MariaDB
  • Open vSwitch
  • 高可用性服务的 Pacemaker 和 Galera。
计算

Compute 节点为 OpenStack 环境提供计算资源。随着时间的推移,可以通过添加更多节点来扩展您的环境。一个默认 Compute (计算)节点包括以下组件:

  • OpenStack Compute (nova)
  • KVM/QEMU
  • OpenStack Telemetry (ceilometer) 代理
  • Open vSwitch
存储

为 OpenStack 环境提供存储的存储节点。以下列表包含有关 Red Hat OpenStack Platform 中存储节点的各种类型的信息:

  • Ceph Storage 节点 - 用来组成存储集群,每个节点包括一个 Ceph Object Storage Daemon(OSD)。每个节点包含一个 Ceph Object Storage Daemon (OSD)。此外,当您部署 Ceph Storage 节点作为环境一部分时,director 将 Ceph Monitor 安装到 Controller 节点上。
  • Block storage (cinder) - 用作高可用性 Controller 节点的外部块存储。这类节点包括以下组件:

    • OpenStack Block Storage (cinder) 卷
    • OpenStack Telemetry 代理
    • Open vSwitch.
  • Object Storage (swift) - 这些节点为 OpenStack Swift 提供了一个外部存储层。Controller 节点通过 Swift 代理访问对象存储节点。对象存储节点包含以下组件:

    • OpenStack Object Storage (swift) 存储
    • OpenStack Telemetry 代理
    • Open vSwitch.

1.3. 高可用性

Red Hat OpenStack Platform director 使用 Controller 节点集群向 OpenStack Platform 环境提供高可用服务。对于每个服务,director 在所有 Controller 节点上安装相同的组件,并作为单个服务一起管理这些 Controller 节点。在单个 Controller 节点上出现运行故障时,这种集群配置提供回退(fallback)机制。这可以使 OpenStack 用户实现某种程度的不中断运行。

OpenStack Platform director 使用以下软件来管理 Controller 节点上的组件:

  • Pacemaker - Pacemaker 是集群资源管理器。Pacemaker 管理和监控集群中所有节点上的 OpenStack 组件的可用性。
  • HA Proxy(HA 代理) - 为集群提供负载平衡和代理服务。
  • Galera - 在集群中复制 Red Hat OpenStack Platform 数据库。
  • Memcached - 提供数据库缓存服务。
注意
  • 自版本 13 起,您可以使用 director 部署计算实例的高可用性 (Instance HA)。使用 Instance HA,当 Compute 节点出现故障时,可以自动清空该 Compute 节点上的实例。

1.4. 容器化

undercloud 和 overcloud 上的各个 OpenStack Platform 服务在对应节点的单独 Linux 容器内运行。这种容器化提供了一种隔离服务、维护环境和升级 OpenStack Platform 的方法。

Red Hat OpenStack Platform 15 支持安装在 Red Hat Enterprise Linux 8 操作系统上。Red Hat Enterprise Linux 8 不再包含 Docker,并提供一组新的工具替换 Docker 生态系统。这意味着 OpenStack Platform 15 使用这些新工具替换 Docker 进行 OpenStack Platform 部署和升级。

Podman

Pod Manager (Podman) 是容器管理工具。它几乎实现所有 Docker CLI 命令,但不包括与 Docker Swarm 相关的命令。Podman 管理 pod、容器和容器镜像。Podman 和 Docker 之间的一个主要差异是 Podman 可以在后台没有运行守护进程的情况下管理资源。

有关 Podman 的更多信息,请访问 Podman 网站

Buildah

Buildah 专门构建您与 Podman 一起使用的 Open Containers Initiative (OCI) 镜像。Buildah 命令可以实现 Dockerfile 的功能。Buildah 还提供一个较低级别的 coreutils 接口以构建容器镜像,帮助您在无需 Dockerfile 的情况下构建容器。Buildah 还使用其他脚本语言在无需守护进程的情况下构建容器镜像。

有关 Buildah 的更多信息,请访问 Buildah 网站

Skopeo
Skopeo 使操作员能够检查远程容器镜像,帮助 director 在拉取镜像时收集数据。其他功能包括在 registry 间复制容器镜像,以及从 registry 中删除镜像。

红帽支持多种方式为您的 overcloud 获取容器镜像:

  • 直接从红帽容器目录中拉取容器镜像
  • 将容器镜像托管在 undercloud 上
  • 将容器镜像托管在 Satellite 6 服务器上

本指南包含有关配置容器镜像 registry 的详细信息和执行基本容器操作的信息。

1.5. Ceph 存储

大型的机构通常需要使用 OpenStack 来为成千上万的客户端系统提供服务,而每个 OpenStack 客户端系统都会有自己对块存储资源的要求。在一个单一的节点上安装 glance (images)、cinder (volumes) 和/或 nova (compute) 来管理一个大型系统中的成千上万的客户系统将变得非常不现实。在单个节点上部署 glance(镜像)、cinder(卷)和/或 nova(计算)可能无法管理具有数千客户端的大型部署。在外部扩展 OpenStack 可解决此问题。

但是,在实际的环境中,仍然需要一个存储层的虚拟化解决方案来扩展 Red Hat OpenStack Platform 的存储层,使它可以支持 terabyte、petabyte 甚至 exabyte 数量级的存储要求。Red Hat Ceph Storage 提供了这样一个存储虚拟化层,它具有高可用性和高效性。尽管虚拟化可能看似会影响性能,Ceph 会将块设备镜像以条带化的形式作为对象分布在集群中上的对象,这意味着大型 Ceph Block Device 镜像的性能实际上比独立磁盘性能更好。另外,Cept Block 设备还支持缓存、copy-on-write cloning 和 copy-on-read cloning 功能来提高性能。

有关 Red Hat Ceph Storage 的更多信息,请参阅 Red Hat Ceph Storage

注意

对于多架构云,红帽仅支持预安装或外部 Ceph 实施。有关详细信息,请参阅将 Overcloud 与现有 Red Hat Ceph 集群集成附录 B, Red Hat OpenStack Platform for POWER

部分 I. director 的安装和配置

第 2 章 规划您的 undercloud

2.1. 容器化 undercloud

undercloud 是控制最终 OpenStack 平台环境(称为 overcloud)的配置、安装和管理的节点。undercloud 本身以容器形式使用 OpenStack Platform 组件来创建称为 OpenStack Platform director 的工具集。这意味着,undercloud 从注册表来源拉取一组镜像容器,生成容器的配置,然后以容器的形式运行各项 OpenStack Platform 服务。因此,undercloud 提供一组容器化服务,您可以将这些服务用作创建和管理 overcloud 的工具集。

undercloud 和 overcloud 都使用容器,它们使用相同的架构来拉取、配置和运行容器。此架构基于用于置备节点的 OpenStack Orchestration 服务 (heat) 并使用 Ansible 配置服务和容器。熟悉 Heat 和 Ansible 有助于诊断您可能遇到的问题。

2.2. 准备 undercloud 网络

undercloud 需要访问两个主要网络:

  • Provisioning 网络或 Control Plane 网络,这是 director 用于置备节点和在执行 Ansible 配置时通过 SSH 访问这些节点的网络。此网络还支持从 undercloud 到 overcloud 节点的 SSH 访问。undercloud 包含在此网络上内省和置备其他节点的 DHCP 服务,这意味着此网络上不应存在其他 DHCP 服务。director 为此网络配置接口。
  • External 网络,支持访问 OpenStack Platform 软件仓库、容器镜像源和 DNS 服务器或 NTP 服务器等的其他服务器。使用此网络从您的工作站对 undercloud 进行标准访问。您必须在 undercloud 上手动配置一个接口以访问外部网络。

undercloud 至少需要 2 个 1 Gbps 网络接口卡:一个用于Provisioning 或 Control Plane 网络,一个用于External 网络。不过,建议为 Provisioning 网络流量使用 10 Gbps 接口,特别是在 overcloud 环境中置备大量节点时。

请注意:

  • 确保 Provisioning / Control Plane NIC 不是您用于从工作站访问 director 机器的 NIC。director 安装会使用 Provisioning NIC 创建一个网桥,它会忽略所有远程连接。使用 External NIC 来远程连接 director 系统。
  • Provisioning 网络需要一个与您的环境大小相匹配的 IP 范围。使用以下原则来决定包括在这个范围内的 IP 地址数量:

    • 至少包括一个临时 IP 地址,用于内省期间连接到 Provisioning 网络的每个节点。
    • 至少包括一个永久 IP 地址,用于部署期间连接到 Provisioning 网络的每个节点。
    • 包括一个额外的 IP 地址,用于 Provisioning 网络上 overcloud 高可用性集群的虚拟 IP。
    • 包括一个此范围内的额外 IP 地址,以用于扩展环境。

2.3. 确定环境规模

在安装 undercloud 前,建议确定环境的规模。规划环境时应考虑到以下因素:

  • 您的 overcloud 中有多少个节点? undercloud 管理 overcloud 中的每个节点。置备 overcloud 节点会消耗 undercloud 上的资源。您必须为 undercloud 提供足够的资源用来置备和控制 overcloud 节点。
  • 您希望 undercloud 同步执行多少个操作? undercloud 上的大部分 OpenStack 服务会使用一组 workers。每个 worker 执行特定于该服务的一个操作。多个 worker 提供同步操作。undercloud 上 worker 的默认数量是 undercloud 的 CPU 线程总数的一半[1]。例如,如果 undercloud 的 CPU 具有 16 个线程,则 heat 默认生成 8 个 worker。director 还默认使用一组最小值和最大值
服务最小值最大值

OpenStack Orchestration (heat)

4

24

所有其他服务

2

12

undercloud 具有最小 CPU 和内存要求:

  • 支持 Intel 64 或 AMD64 CPU 扩展的 8 线程 64 位 x86 处理器。这可为每个 undercloud 服务提供 4 个 worker。
  • 最少 24 GB RAM。

    • 每 10 个由 undercloud 部署的主机,ceph-ansible playbook 占用 1 GB 常驻集合大小 (RSS)。如果部署的 overcloud 会使用现有 Ceph 集群,或会部署新的 Ceph 集群,则相应置备 undercloud RAM。

要使用更多 worker,使用以下建议增加 undercloud 的 vCPU 和内存:

  • 最小值:每个线程使用 1.5 GB 内存。例如,一台有 48 个线程的计算机应当具有 72 GB RAM。这可以为 24 个 Heat worker 和 12 个用于其他服务的 worker 提供最小的覆盖范围。
  • 建议值:每个线程使用 3 GB 内存。例如,一台有 48 个线程的计算机应当具有 144 GB RAM。这可以为 24 个 Heat worker 和 12 个用于其他服务的 worker 提供建议的覆盖范围。


[1] 在本实例中,线程数是指 CPU 内核数乘以超线程值

2.4. undercloud 磁盘大小调整

建议的最小 undercloud 磁盘大小为在根磁盘上有 100 GB 可用磁盘空间:

  • 20 GB 用于容器镜像
  • 10 GB 在节点部署过程中用于 QCOW2 镜像转换和缓存
  • 70 GB 或更大空间供常规使用、保存日志和指标以及满足增长需要

2.5. undercloud 软件仓库

启用以下软件仓库用于安装和配置 undercloud。

核心软件仓库

下表列出了用于安装 undercloud 的核心软件仓库。

名称软件仓库描述

Red Hat Enterprise Linux 8 for x86_64 - BaseOS (RPMs)

rhel-8-for-x86_64-baseos-rpms

x86_64 系统的基本操作系统仓库。

Red Hat Enterprise Linux 8 for x86_64 - AppStream (RPMs)

rhel-8-for-x86_64-appstream-rpms

包括 Red Hat OpenStack Platform 的依赖软件包。

Red Hat Enterprise Linux 8 for x86_64 - High Availability (RPMs)

rhel-8-for-x86_64-highavailability-rpms

Red Hat Enterprise Linux 的高可用性工具。用于 Controller 节点的高可用性功能。

Red Hat Ansible Engine 2.8 for RHEL 8 x86_64 (RPMs)

ansible-2.8-for-rhel-8-x86_64-rpms

适用于 Red Hat Enterprise Linux 的 Ansible Engine。用于提供最新版本的 Ansible。

Advanced Virtualization for RHEL 8 x86_64 (RPMs)

advanced-virt-for-rhel-8-x86_64-rpm

为 OpenStack Platform 提供虚拟化软件包。

Red Hat Satellite Tools for RHEL 8 Server RPMs x86_64

satellite-tools-6.5-for-rhel-8-x86_64-rpms

管理使用 Red Hat Satellite 6 的主机的工具。

Red Hat OpenStack Platform 15 for RHEL 8 (RPMs)

openstack-15-for-rhel-8-x86_64-rpms

Red Hat OpenStack Platform 核心软件仓库,包含 Red Hat OpenStack Platform director 的软件包。

Ceph 软件仓库

下表列出了用于 undercloud 的与 Ceph Storage 有关的软件仓库。

名称软件仓库描述

Red Hat Ceph Storage Tools 4 for RHEL 8 x86_64 (RPMs)

rhceph-4-tools-for-rhel-8-x86_64-rpms

提供节点与 Ceph Storage 集群进行通信的工具。如果计划在 overcloud 中使用 Ceph Storage,undercloud 需要此软件仓库中的 ceph-ansible 软件包。

IBM POWER 软件仓库

下表列出了用于 Openstack Platform on POWER PC 架构的软件仓库。使用这些软件仓库来替代核心软件仓库中的同等库。

名称软件仓库描述

Red Hat Enterprise Linux for IBM Power, little endian - BaseOS (RPMs)

rhel-8-for-ppc64le-baseos-rpms

ppc64le 系统的基本操作系统软件仓库。

Red Hat Enterprise Linux 8 for IBM Power, little endian - AppStream (RPMs)

rhel-8-for-ppc64le-appstream-rpms

包括 Red Hat OpenStack Platform 的依赖软件包。

Red Hat Enterprise Linux 8 for IBM Power, little endian - High Availability (RPMs)

rhel-8-for-ppc64le-highavailability-rpms

Red Hat Enterprise Linux 的高可用性工具。用于 Controller 节点的高可用性功能。

Red Hat Ansible Engine 2.8 for RHEL 8 IBM Power, little endian (RPMs)

ansible-2.8-for-rhel-8-ppc64le-rpms

适用于 Red Hat Enterprise Linux 的 Ansible Engine。用于提供最新版本的 Ansible。

Red Hat OpenStack Platform 15 for RHEL 8 (RPMs)

openstack-15-for-rhel-8-ppc64le-rpms

用于 ppc64le 系统的 Red Hat OpenStack Platform 核心软件仓库。

第 3 章 director 安装准备

3.1. 准备 undercloud

director 安装需要以下项目:

  • 一个用来执行命令的非 root 用户。
  • 用于组织镜像和模板的目录。
  • 一个可解析的主机名
  • 一个红帽订阅
  • 用于准备镜像和安装 director 的命令行工具

此过程显示如何创建这些项目。

步骤

  1. root 用户身份登录 undercloud。
  2. 创建 stack 用户:

    [root@director ~]# useradd stack
  3. 为该用户设置密码:

    [root@director ~]# passwd stack
  4. 进行以下操作,以使用户在使用 sudo 时无需输入密码:

    [root@director ~]# echo "stack ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/stack
    [root@director ~]# chmod 0440 /etc/sudoers.d/stack
  5. 切换到新的 stack 用户:

    [root@director ~]# su - stack
    [stack@director ~]$
  6. 为系统镜像和 Heat 模板创建目录。

    [stack@director ~]$ mkdir ~/images
    [stack@director ~]$ mkdir ~/templates

    director 使用系统镜像和 Heat 模板来创建 overcloud 环境。红帽建议创建这些目录来帮助您组织本地文件系统。

  7. 检查 undercloud 的基础和完整主机名:

    [stack@director ~]$ hostname
    [stack@director ~]$ hostname -f

    如果上述命令没有显示正确的完全限定主机名或报告错误,则使用 hostnamectl 设置主机名:

    [stack@director ~]$ sudo hostnamectl set-hostname manager.example.com
    [stack@director ~]$ sudo hostnamectl set-hostname --transient manager.example.com
  8. 编辑 /etc/hosts 以包括系统主机名的一个条目。/etc/hosts 中的 IP 地址必须与您计划用于 undercloud 公共 API 的地址匹配。例如,如果系统名是 manager.example.com,其使用的 IP 地址是 10.0.0.1/etc/hosts 则需要包括一个与以下内容类似的条目:

    10.0.0.1  manager.example.com manager
  9. 在红帽 Content Delivery Network 或 Red Hat Satellite 注册您的系统。例如,运行以下命令在 Content Delivery Network 中注册系统。根据提示输入您的客户门户网站用户名和密码:

    [stack@director ~]$ sudo subscription-manager register
  10. 查找 Red Hat OpenStack Platform director 的权利池 ID。例如:

    [stack@director ~]$ sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
    Subscription Name:   Name of SKU
    Provides:            Red Hat Single Sign-On
                         Red Hat Enterprise Linux Workstation
                         Red Hat CloudForms
                         Red Hat OpenStack
                         Red Hat Software Collections (for RHEL Workstation)
                         Red Hat Virtualization
    SKU:                 SKU-Number
    Contract:            Contract-Number
    Pool ID:             Valid-Pool-Number-123456
    Provides Management: Yes
    Available:           1
    Suggested:           1
    Service Level:       Support-level
    Service Type:        Service-Type
    Subscription Type:   Sub-type
    Ends:                End-date
    System Type:         Physical
  11. 找到池 ID 值并附加 Red Hat OpenStack Platform 15 权利:

    [stack@director ~]$ sudo subscription-manager attach --pool=Valid-Pool-Number-123456
  12. 禁用所有默认的仓库,然后启用 Red Hat Enterprise Linux 仓库:

    [stack@director ~]$ sudo subscription-manager repos --disable=*
    [stack@director ~]$ sudo subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms --enable=rhel-8-for-x86_64-appstream-rpms --enable=rhel-8-for-x86_64-highavailability-rpms --enable=ansible-2.8-for-rhel-8-x86_64-rpms --enable=openstack-15-for-rhel-8-x86_64-rpms --enable=fast-datapath-for-rhel-8-x86_64-rpms --enable=advanced-virt-for-rhel-8-x86_64-rpm

    这些仓库包括了安装 director 所需的软件包。

  13. 在系统上执行更新,确保您有最新的基本系统软件包:

    [stack@director ~]$ sudo yum update -y
    [stack@director ~]$ sudo reboot
  14. 安装用于安装和配置 director 的命令行工具:

    [stack@director ~]$ sudo yum install -y python3-tripleoclient

3.2. 安装 ceph-ansible

如果您计划创建带有 Ceph Storage 节点的 overcloud,则按以下步骤安装 ceph-ansible 软件包。如果您不打算在 overcloud 中创建 Ceph Storage 节点,则不需要此软件包。

步骤

安装 ceph-ansible 软件包:

[stack@director ~]$ sudo yum install -y ceph-ansible
注意

ceph-ansible 版本 4 的更新版本将在 openstack-15-for-rhel-8-x86_64-rpms 软件仓库中提供,直至 Red Hat Ceph Storage 版本 4 正式发布(GA)。当 Red Hat Ceph Storage 版本 4 正式发布后,则从 rhceph-4-tools-for-rhel-8-x86_64-rpms 软件仓库中安装 ceph-ansible

3.3. 准备容器镜像

undercloud 配置需要进行初始 registry 配置,以确定获取镜像的位置和存储方式。完成以下步骤,生成并自定义环境文件用于准备您的容器镜像。

步骤

  1. 以 stack 用户身份登录 undercloud 主机。
  2. 生成默认的容器镜像准备文件:

    $ openstack tripleo container image prepare default \
      --local-push-destination \
      --output-env-file containers-prepare-parameter.yaml

    此命令包括以下附加选项:

    • --local-push-destination,在 undercloud 上设置 registry 作为存储容器镜像的位置。这意味着 director 从红帽容器目录中拉取必要的镜像并将其推送到 undercloud 上的 registry 中。director 将该 registry 用作容器镜像源。如果直接从红帽 Container Catalog 目录拉取镜像,请忽略这个选项。
    • --output-env-file 是环境文件名称。此文件的内容包括用于准备您的容器镜像的参数。在本例中,文件的名称是 containers-prepare-parameter.yaml

      注意

      您也可以使用相同的 containers-prepare-parameter.yaml 文件为 undercloud 和 overcloud 定义容器镜像源。

  3. 编辑 containers-prepare-parameter.yaml 并进行修改以符合您的需求。

3.4. 容器镜像准备参数

用于准备您的容器的默认文件 (containers-prepare-parameter.yaml) 包含 ContainerImagePrepare Heat 参数。此参数定义一个用于准备一系列镜像的策略列表:

parameter_defaults:
  ContainerImagePrepare:
  - (strategy one)
  - (strategy two)
  - (strategy three)
  ...

每一策略接受一组子参数,它们定义要使用哪些镜像以及如何对待它们。下表包含有关您可与每个 ContainerImagePrepare 策略配合使用的子参数的信息:

参数描述

excludes

从策略中排除的镜像名称子字符串列表。

includes

包括在策略中的镜像名称子字符串列表。至少一个镜像名称必须与现有镜像匹配。如果指定了 includes,将忽略所有 excludes

modify_append_tag

要附加到目标镜像标签的字符串。例如,如果使用标签 14.0-89 拉取镜像并将 modify_append_tag 设置为 -hotfix,director 会将最终镜像标记为 14.0-89-hotfix

modify_only_with_labels

过滤镜像进行修改的镜像标签字典。如果镜像与定义的标签匹配,则 director 将该镜像包括在修改过程中。

modify_role

在上传期间但在将镜像推送到目标 registry 之前运行的 ansible 角色名称字符串。

modify_vars

要传递给 modify_role 的变量的字典。

push_destination

用于在上传过程中推送镜像的注册表的命名空间。当为这个参数指定了一个命名空间后,所有镜像参数也会使用这个命名空间。如果设为 true,则 push_destination 设为 undercloud 注册表命名空间。建议不要在生产环境中将此参数设置为 false

pull_source

从中拉取原始容器镜像的源 registry 。

set

用于定义从何处获取初始镜像的 key: value 定义的字典。

tag_from_label

定义标记 (tag) 生成的镜像的标签特征。通常设置为 {version}-{release}

set 参数接受一组 key: value 定义。下表包含键的相关信息:

描述

ceph_image

Ceph Storage 容器镜像的名称。

ceph_namespace

Ceph Storage 容器镜像的命名空间。

ceph_tag

Ceph Storage 容器镜像的标签。

name_prefix

各个 OpenStack 服务镜像的前缀。

name_suffix

各个 OpenStack 服务镜像的后缀。

namespace

各个 OpenStack 服务镜像的命名空间。

neutron_driver

用于确定要使用的 OpenStack Networking (neutron) 容器的驱动程序。null 值代表使用标准的 neutron-server 容器。设为 ovn 可使用基于 OVN 的容器。设为 odl 可使用基于 OpenDaylight 的容器。

tag

director 用于识别要从源 registry 中拉取的镜像的标签。这个项通常会被设置为 latest

ContainerImageRegistryCredentials 参数将容器 registry 映射到用户名和密码以对该 registy 进行验证。

如果容器 registry 需要用户名和密码,则可使用 ContainerImageRegistryCredentials 以下语法包括它们的值:

  ContainerImagePrepare:
  - push_destination: 192.168.24.1:8787
    set:
      namespace: registry.redhat.io/...
      ...
  ContainerImageRegistryCredentials:
    registry.redhat.io:
      my_username: my_password

在示例中,用身份验证凭据替换 my_usernamemy_password。红帽建议创建一个 registry 服务帐户并使用这些凭据访问 registry.redhat.io 内容,而不使用您的个人用户凭据。有关更多信息,请参阅“红帽容器 registry 身份验证”

3.5. 分层镜像准备条目

ContainerImagePrepare 参数的值是一个 YAML 列表。这意味着您可以指定多个条目。以下示例带有两个条目,director 使用所有镜像的最新版本,nova-api 镜像除外,该镜像使用标记为 15.0-44 的版本:

ContainerImagePrepare:
- tag_from_label: "{version}-{release}"
  push_destination: true
  excludes:
  - nova-api
  set:
    namespace: registry.redhat.io/rhosp15-rhel8
    name_prefix: openstack-
    name_suffix: ''
    tag: latest
- push_destination: true
  includes:
  - nova-api
  set:
    namespace: registry.redhat.io/rhosp15-rhel8
    tag: 15.0-44

includesexcludes 条目控制每个条目的镜像过滤。匹配 includes 策略的镜像的优先级高于 excludes 匹配项。镜像名称必须包括 includesexcludes 值才被认为匹配。

3.6. 从私有 registry 获取容器镜像

有些容器镜像 registry 可能需要进行身份验证才能访问镜像。在这种情况下,请使用您的 containers-prepare-parameter.yaml 环境文件中的 ContainerImageRegistryCredentials 参数。

parameter_defaults:
  ContainerImagePrepare:
  - (strategy one)
  - (strategy two)
  - (strategy three)
  ContainerImageRegistryCredentials:
    registry.example.com:
      username: "p@55w0rd!"
重要

私有 registry 需要针对其在 ContainerImagePrepare 中的相应策略将 push_destination 设置为 true

ContainerImageRegistryCredentials 参数使用一组基于私有 registry URL 的键。每个私有 registry URL 使用其自己的键和值对定义用户名(键)和密码(值)。这提供了一种为多个私有 registry 指定凭据的方法。

parameter_defaults:
  ...
  ContainerImageRegistryCredentials:
    registry.redhat.io:
      myuser: 'p@55w0rd!'
    registry.internalsite.com:
      myuser2: '0th3rp@55w0rd!'
    '192.0.2.1:8787':
      myuser3: '@n0th3rp@55w0rd!'
重要

默认 ContainerImagePrepare 参数从需要进行身份验证的 registry.redhat.io 中拉取 Ceph Storage 容器镜像。

3.7. 准备期间修改镜像

可在准备镜像期间修改镜像,然后立即使用修改的镜像部署。修改镜像的情况包括:

  • 作为连续集成管道的一个部分,在部署之前使用要测试的更改修改镜像。
  • 作为开发工作流的一个部分,需要部署本地更改以进行测试和开发。
  • 需要部署更改,但更改没有通过镜像构建管道提供。例如,添加专有附加组件或紧急修复。

要在准备期间修改镜像,可在您要修改的每个镜像上调用 Ansible 角色。该角色提取源镜像,进行请求的更改,并标记结果。准备命令可将镜像推送到目标 registry,并设置 Heat 参数以引用修改的镜像。

Ansible 角色 tripleo-modify-image 与所需的角色接口相一致,并提供修改用例必需的行为。使用 ContainerImagePrepare 参数中与修改相关的键控制修改:

  • modify_role 指定要为每个镜像调用的 Ansible 角色进行修改。
  • modify_append_tag 将字符串附加到源镜像标签的末尾。这可以标明生成的镜像已被修改过。如果 push_destination registry 已包含修改的镜像,则使用此参数跳过修改。建议在每次修改镜像时都更改 modify_append_tag
  • modify_vars 是要传递给角色的 Ansible 变量的字典。

要选择 tripleo-modify-image 角色处理的用例,将 tasks_from 变量设置为该角色中所需的文件。

在开发和测试修改镜像的 ContainerImagePrepare 条目时,建议运行镜像准备命令(无需任何其他选项),以确认镜像已如期修改:

sudo openstack tripleo container image prepare \
  -e ~/containers-prepare-parameter.yaml

3.8. 更新容器镜像的现有软件包

以下示例 ContainerImagePrepare 条目使用 undercloud 主机的 yum 软件仓库配置在镜像的所有软件包中更新:

ContainerImagePrepare:
- push_destination: true
  ...
  modify_role: tripleo-modify-image
  modify_append_tag: "-updated"
  modify_vars:
    tasks_from: yum_update.yml
    compare_host_packages: true
    yum_repos_dir_path: /etc/yum.repos.d
  ...

3.9. 将额外的 RPM 文件安装到容器镜像中

您可以在容器镜像中安装 RPM 文件的目录。这对安装修补程序、本地软件包内部版本或任何通过软件包仓库无法获取的软件包都非常有用。例如,以下 ContainerImagePrepare 条目仅在 nova-compute 镜像上安装一些修补程序包:

ContainerImagePrepare:
- push_destination: true
  ...
  includes:
  - nova-compute
  modify_role: tripleo-modify-image
  modify_append_tag: "-hotfix"
  modify_vars:
    tasks_from: rpm_install.yml
    rpms_path: /home/stack/nova-hotfix-pkgs
  ...

3.10. 通过自定义 Dockerfile 修改容器镜像

要获得最大的灵活性,您可以指定一个包含 Dockerfile 的目录进行所需更改。调用 tripleo-modify-image 角色时,该角色生成 Dockerfile.modified 文件,而该文件更改 FROM 指令并添加额外的 LABEL 指令。以下示例在 nova-compute 镜像上运行自定义 Dockerfile:

ContainerImagePrepare:
- push_destination: true
  ...
  includes:
  - nova-compute
  modify_role: tripleo-modify-image
  modify_append_tag: "-hotfix"
  modify_vars:
    tasks_from: modify_image.yml
    modify_dir_path: /home/stack/nova-custom
  ...

例如 /home/stack/nova-custom/Dockerfile。运行任何 USER 根指令后,必须切换回原始镜像默认用户:

FROM registry.redhat.io/rhosp15-rhel8/openstack-nova-compute:latest

USER "root"

COPY customize.sh /tmp/
RUN /tmp/customize.sh

USER "nova"

3.11. 为容器镜像准备 Satellite 服务器

Red Hat Satellite 6 提供了注册表同步功能。通过该功能可将多个镜像提取到 Satellite 服务器中,作为应用程序生命周期的一部分加以管理。Satellite 也可以作为 registry 供其他启用容器功能的系统使用。有关管理容器镜像的更多信息,请参阅 Red Hat Satellite 6 内容管理指南中的“管理容器镜像”

以下操作过程示例中使用了 Red Hat Satellite 6 的 hammer 命令行工具和一个名为 ACME 的示例组织。请将该组织替换为您自己 Satellite 6 中的组织。

注意

此过程需要身份验证凭据以从 registry.redhat.io 访问容器镜像。红帽建议创建一个 registry 服务帐户并使用这些凭据访问 registry.redhat.io 内容,而不使用您的个人用户凭据。有关更多信息,请参阅“红帽容器 registry 身份验证”

步骤

  1. 创建所有容器镜像的列表:

    $ sudo podman search --limit 1000 "registry.redhat.io/rhosp15-rhel8" | awk '{ print $2 }' | grep -v beta | sed "s/registry.redhat.io\///g" | tail -n+2 > satellite_images
  2. satellite_images_names 文件复制到包含 Satellite 6 hammer 工具的系统中。或者,根据 Hammer CLI 指南中的说明将 hammer 工具安装到 undercloud 中。
  3. 运行以下 hammer 命令以在 Satellite 组织中创建新产品(OSP15 容器):

    $ hammer product create \
      --organization "ACME" \
      --name "OSP15 Containers"

    该定制产品将会包含我们的镜像。

  4. 为产品添加基本容器镜像:

    $ hammer repository create \
      --organization "ACME" \
      --product "OSP15 Containers" \
      --content-type docker \
      --url https://registry.redhat.io \
      --docker-upstream-name rhosp15-rhel8/openstack-base \
      --upstream-username USERNAME \
      --upstream-password PASSWORD \
      --name base
  5. 添加 satellite_images 文件中的 overcloud 容器镜像。

    $ while read IMAGE; do \
      IMAGENAME=$(echo $IMAGE | cut -d"/" -f2 | sed "s/openstack-//g" | sed "s/:.*//g") ; \
      hammer repository create \
      --organization "ACME" \
      --product "OSP15 Containers" \
      --content-type docker \
      --url https://registry.redhat.io \
      --docker-upstream-name $IMAGE \
      --upstream-username USERNAME \
      --upstream-password PASSWORD \
      --name $IMAGENAME ; done < satellite_images_names
  6. 添加 Ceph Storage 4 容器镜像:

    $ hammer repository create \
      --organization "ACME" \
      --product "OSP15 Containers" \
      --content-type docker \
      --url https://registry.redhat.io \
      --docker-upstream-name rhceph-beta/rhceph-4-rhel8 \
      --upstream-username USERNAME \
      --upstream-password PASSWORD \
      --name rhceph-4-rhel8
  7. 同步容器镜像:

    $ hammer product synchronize \
      --organization "ACME" \
      --name "OSP15 Containers"

    等待 Satellite 服务器完成同步。

    注意

    根据具体配置情况,hammer 可能会询问您的 Satellite 服务器用户名和密码。您可以使用配置文件将 hammer 配置为自动登录。有关更多信息,请参阅 Hammer CLI 指南中的“身份验证”章节。

  8. 如果您的 Satellite 6 服务器使用内容视图,请创建一个用于纳入镜像的新内容视图版本,并在应用生命周期的不同环境之间推进这个视图。这在很大程度上取决于您如何构建应用程序的生命周期。例如,如果您的生命周期中有一个称为 production 的环境,并且希望容器镜像在该环境中可用,则创建一个包含容器镜像的内容视图,并将该内容视图推进到 production 环境中。有关更多信息,请参阅“使用内容视图管理容器镜像”
  9. 检查 base 镜像的可用标签:

    $ hammer docker tag list --repository "base" \
      --organization "ACME" \
      --environment "production" \
      --content-view "myosp15" \
      --product "OSP15 Containers"

    此命令显示内容视图中特定环境的 OpenStack Platform 容器镜像的标签。

  10. 返回到 undercloud,并生成默认的环境文件(将您的 Satellite 服务器用作源来准备镜像)。运行以下示例命令以生成环境文件:

    (undercloud) $ openstack tripleo container image prepare default \
      --output-env-file containers-prepare-parameter.yaml
    • --output-env-file 是环境文件名称。此文件的内容包括用于为 undercloud 准备容器镜像的参数。在本例中,文件的名称是 containers-prepare-parameter.yaml
  11. 编辑 containers-prepare-parameter.yaml 文件并修改以下参数:

    • namespace - Satellite 服务器上注册表的 URL 和端口。Red Hat Satellite 上的默认注册表端口是 5000。
    • name_prefix - 该前缀基于 Satellite 6 规范。它的值根据您是否使用了内容视图而不同:

      • 如果您使用了内容视图,则前缀的结构为 [组织]-[环境]-[内容视图]-[产品]-。例如:acme-production-myosp15-osp15_containers-
      • 如果不使用内容视图,则前缀的结构为 [组织]-[产品]-。例如:acme-osp15_containers-
    • ceph_namespaceceph_imageceph_tag - 如果正在使用 Ceph Storage,请额外纳入这些参数以定义 Ceph Storage 容器镜像的位置。请注意,ceph_image 现包含特定于 Satellite 的前缀。这个前缀与 name_prefix 选项的值相同。

以下示例环境文件包含特定于 Satellite 的参数:

parameter_defaults:
  ContainerImagePrepare:
  - push_destination: true
    set:
      ceph_image: acme-production-myosp15-osp15_containers-rhceph-4
      ceph_namespace: satellite.example.com:5000
      ceph_tag: latest
      name_prefix: acme-production-myosp15-osp15_containers-
      name_suffix: ''
      namespace: satellite.example.com:5000
      neutron_driver: null
      tag: latest
      ...
    tag_from_label: '{version}-{release}'

在创建 undercloud 和 overcloud 时使用此环境文件。

第 4 章 安装 director

4.1. 配置 director

director 安装过程需要 undercloud.conf 配置文件中的某些设置,director 从 stack 用户的主目录中读取该文件。以下操作过程展示了如何基于这个默认模板来进行配置。

步骤

  1. 将默认模板复制到 stack 用户的主目录:

    [stack@director ~]$ cp \
      /usr/share/python-tripleoclient/undercloud.conf.sample \
      ~/undercloud.conf
  2. 编辑 undercloud.conf 文件。这个文件包含用于配置 undercloud 的设置。如果忽略或注释掉某个参数,undercloud 安装将使用默认值。

4.2. Director 配置参数

以下列表包含用于配置 undercloud.conf 文件的参数的相关信息。将所有参数保留在相关部分内以避免出错。

默认值

以下参数会在 undercloud.conf 文件的 [DEFAULT] 部分中进行定义:

additional_architectures

overcloud 支持的附加(内核)架构的列表。overcloud 目前支持 ppc64le 架构。

注意

如果启用了 ppc64le,您也必须将 ipxe_enabled 设为 False

certificate_generation_ca
为所请求证书签名的 CA 的 certmonger 别名。仅在设置了 generate_service_certificate 参数的情况下使用此选项。如果您选择 local CA,certmonger 会将本地 CA 证书提取到 /etc/pki/ca-trust/source/anchors/cm-local-ca.pem 并将该证书添加到信任链中。
clean_nodes
确定是否在部署之间和内省之后擦除硬盘。
cleanup
清理临时文件。将此选项设置为 False,可在该命令运行后保留部署期间使用的临时文件。这可用于调试生成的文件或者确定是否发生了错误。
container_cli
用于容器管理的 CLI 工具。保留此参数设为 podman,因为 Red Hat Enterprise Linux 8 仅支持 podman
container_healthcheck_disabled
禁用容器化服务运行状况检查。建议启用运行状况检查,并让此选项设为 false
container_images_file

含有容器镜像信息的 Heat 环境文件。这可以是:

  • 所有需要的容器镜像的参数
  • ContainerImagePrepare 参数(用于推动必要的容器准备)。通常,含有此参数的文件被命名为 containers-prepare-parameter.yaml
container_insecure_registries
podman 使用的不安全 registry 列表。如果您想从其他来源(如私有容器 registry)拉取镜像,则使用此参数。在大多数情况下,如果在 Satellite 中注册了 undercloud,podman 就有从红帽容器目录或 Satellite 服务器拉取容器镜像的证书。
container_registry_mirror
配置的 podman 使用的可选 registry-mirror
custom_env_files
要添加到 undercloud 安装中的其他环境文件。
deployment_user
安装 undercloud 的用户。如果此参数保留为不设置,则使用当前的默认用户 (stack)。
discovery_default_driver
为自动注册的节点设置默认驱动器。需要启用 enable_node_discovery,且必须在 enabled_drivers 列表中包含驱动器。
enable_ironic、enable_ironic_inspector、enable_mistral、enable_tempest、enable_validations、enable_zaqar
定义要为 director 启用的核心服务。保留这些参数设为 true
enable_node_discovery
自动注册通过 PXE 引导内省虚拟内存盘(ramdisk)的所有未知节点。新节点使用 fake_pxe 作为默认驱动器,但您可以设置 discovery_default_driver 覆盖它。您也可以使用内省规则为新注册的节点指定驱动器信息。
enable_novajoin
定义是否在 undercloud 中安装 novajoin 元数据服务。
enable_routed_networks
定义是否支持路由的 control plane 网络。
enable_swift_encryption
定义是否启用 Swift 加密。
enable_telemetry
定义是否在 undercloud 中安装 OpenStack Telemetry 服务(gnocchi、aodh、panko)。如果您想自动安装和配置 telemetry 服务,则将 enable_telemetry 参数设为 true。默认值为 false,即在 undercloud 中禁用遥测。如果使用要利用指标数据的其他产品,如 Red Hat CloudForms,则需要这个参数。
enabled_hardware_types
要为 undercloud 启用的硬件类型的列表。
generate_service_certificate
定义 undercloud 安装期间是否生成 SSL/TLS 证书,此证书用于 undercloud_service_certificate 参数。undercloud 安装会保存生成的证书 /etc/pki/tls/certs/undercloud-[undercloud_public_vip].pemcertificate_generation_ca 参数中定义的 CA 将为此证书签名。
heat_container_image
要使用的 heat 容器镜像的 URL。请保留不设置。
heat_native
使用原生 heat 模板。请保留为 true
hieradata_override
在 director 上配置 Puppet hieradata 的 hieradata 覆盖文件的路径,为 undercloud.conf 参数外的服务提供自定义配置。如果设置此参数,undercloud 安装会将此文件复制到 /etc/puppet/hieradata 目录并将其设为层次结构中的第一个文件。有关使用此功能的详细信息,请参阅在 undercloud 上配置 hieradata
inspection_extras
指定在内省的过程中是否启用额外的硬件集合。此参数在内省镜像上需要 python-hardwarepython-hardware-detect 软件包。
inspection_interface
director 用来进行节点内省的网桥。这是 director 配置创建的自定义网桥。LOCAL_INTERFACE 会附加到这个网桥。请保留使用默认的值(br-ctlplane)。
inspection_runbench
在节点内省过程中运行一组基准测试。将此参数设为 true 以启用基准测试。如果您需要在检查注册节点的硬件时执行基准数据分析操作,则需要使用这个参数。
ipa_otp
定义在 IPA 服务器注册 undercloud 节点使用的一次性密码。启用 enable_novajoin 之后需要提供此密码。
ipxe_enabled
定义使用 iPXE 还是标准的 PXE。默认为 true,其启用 iPXE。设为 false 以设置为标准 PXE。
local_interface

指定 director 的 Provisioning NIC 的接口。这也是 director 用于 DHCP 和 PXE 引导服务的设备。把这个项的值改为您需要使用的值。使用 ip addr 命令可以查看连接了哪些设备。以下是一个 ip addr 命令的结果输出示例:

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:75:24:09 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.178/24 brd 192.168.122.255 scope global dynamic eth0
       valid_lft 3462sec preferred_lft 3462sec
    inet6 fe80::5054:ff:fe75:2409/64 scope link
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noop state DOWN
    link/ether 42:0b:c2:a5:c1:26 brd ff:ff:ff:ff:ff:ff

在这个例子中,External NIC 使用 eth0,Provisioning NIC 使用 eth1(当前没有被配置)。在这种情况下,把 local_interface 设置为 eth1。配置脚本会把这个接口附加到一个自定义的网桥(由 inspection_interface 参数定义)上。

local_ip
director 的 Provisioning NIC 的 IP 地址。这也是 director 用于 DHCP 和 PXE 引导服务的 IP 地址。除非 Provisioning 网络需要使用其他子网(如因为与环境中的现有 IP 地址或子网冲突)保留默认值 192.168.24.1/24
local_mtu
用于 local_interface 的 MTU。
local_subnet
适用于 PXE 引导和 DHCP 接口的本地子网。local_ip 地址应该属于这个子网。默认值为 ctlplane-subnet
net_config_override
网络配置覆盖模板的路径。如果设置此参数,undercloud 将使用 JSON 格式模板以使用 os-net-config 配置网络。undercloud 会忽略 undercloud.conf 中设置的网络参数。如需示例,请参阅 /usr/share/python-tripleoclient/undercloud.conf.sample
networks_file
覆盖用于 heat 的网络文件。
output_dir
输出状态目录、处理的 heat 模板和 Ansible 部署文件。
overcloud_domain_name

要在部署 overcloud 时使用的 DNS 域名。

注意

配置 overcloud 时,CloudDomain 参数必须设为匹配值。配置 overcloud 时,在环境文件中设置此参数。

roles_file
覆盖用于 undercloud 安装的角色文件。强烈建议您保留为不设置,以便 director 安装使用默认的角色文件。
scheduler_max_attempts
调度程序尝试部署实例的次数上限。此值必须大于或等于您期望一次部署的裸机节点数,以解决调度时的潜在争用情形。
service_principal
使用该证书的服务的 Kerberos 主体。仅在您的 CA 需要 Kerberos 主体(如在 FreeIPA 中)时使用此参数。
subnets
用于置备和内省的路由网络子网的列表。有关更多信息,请参阅 子网。默认值仅包括 ctlplane-subnet 子网。
templates
要覆盖的 heat 模板文件。
undercloud_admin_host
通过 SSL/TLS 为 director Admin API 端点定义的 IP 地址或主机名。director 配置将 IP 地址作为路由的 IP 地址附加到 director 软件网桥,其使用 /32 子网掩码。
undercloud_debug
把 undercloud 服务的日志级别设置为 DEBUG。把值设为 true 来启用它。
undercloud_enable_selinux
在部署期间启用或禁用 SELinux。除非调试问题,否则强烈建议保留此值设为 true
undercloud_hostname
定义 undercloud 的完全限定主机名。如果设置,undercloud 安装将配置所有系统主机名设置。如果保留未设置,undercloud 将使用当前的主机名,但用户必须相应地配置所有主机名设置。
undercloud_log_file
用于存储 undercloud 安装/升级日志的日志文件的路径。默认情况下,日志文件是主目录中的 install-undercloud.log。例如,/home/stack/install-undercloud.log
undercloud_nameservers
用于 undercloud 主机名解析的 DNS 名称服务器列表。
undercloud_ntp_servers
帮助同步 undercloud 日期和时间的网络时间协议服务器列表。
undercloud_public_host
通过 SSL/TLS 为 director Public API 端点定义的 IP 地址或主机名。director 配置将 IP 地址作为路由的 IP 地址附加到 director 软件网桥,其使用 /32 子网掩码。
undercloud_service_certificate
用于 OpenStack SSL/TLS 通信的证书的位置和文件名。理想的情况是从一个信任的证书认证机构获得这个证书。否则,生成自己的自签名证书。
undercloud_timezone
undercloud 的主机时区。如果未指定时区,director 将使用现有时区配置。
undercloud_update_packages
定义是否在安装 undercloud 期间更新软件包。

子网

每个置备子网在 undercloud.conf 文件中都有一个对应的同名部分。例如,要创建称为 ctlplane-subnet 的子网,在 undercloud.conf 文件中使用以下示例:

[ctlplane-subnet]
cidr = 192.168.24.0/24
dhcp_start = 192.168.24.5
dhcp_end = 192.168.24.24
inspection_iprange = 192.168.24.100,192.168.24.120
gateway = 192.168.24.1
masquerade = true

您可以根据自身环境所需来指定相应数量的置备网络。

gateway
overcloud 实例的网关。它是 undercloud 主机,会把网络流量转发到外部网络。保留其默认值 192.168.24.1,除非您需要 director 使用其他 IP 地址,或想直接使用外部网关。
注意

director 配置还使用 sysctl 内核参数自动启用 IP 转发。

cidr
director 用来管理 overcloud 实例的网络。这是 undercloud neutron 服务管理的 Provisioning 网络。保留其默认值 192.168.24.0/24,除非您需要 Provisioning 网络使用其他子网。
masquerade
定义是否伪装 cidr 中定义的用于外部访问的网络。这为 Provisioning 网络提供了一定程度的网络地址转换 (NAT),使 Provisioning 网络能够通过 director 进行外部访问。
dhcp_start; dhcp_end
overcloud 节点 DHCP 分配范围的开始值和终止值。请确保此范围可以为节点提供足够的 IP 地址。
dhcp_exclude
DHCP 分配范围中排除的 IP 地址。
host_routes
此网络上 Overcloud 实例的 Neutron 管理的子网的主机路由。这也为 undercloud 上的 local_subnet 配置主机路由。

根据您的配置修改这些参数的值。完成后,请保存文件。

4.3. 使用环境文件配置 undercloud

您通过 undercloud.conf 文件配置 undercloud 的主要参数。您也可以配置特定于 undercloud 安装的 Heat 参数。您使用包含 Heat 参数的环境文件完成此操作。

步骤

  1. /home/stack/templates/custom-undercloud-params.yaml 上创建环境文件。
  2. 编辑此文件并包括您的 Heat 参数。以下示例显示如何为某些 OpenStack Platform 服务启用调试:

    parameter_defaults:
      Debug: True

    完成后保存此文件。

  3. 编辑 undercloud.conf 文件,找到 custom_env_files 参数。编辑此参数以指向环境文件:

    custom_env_files = /home/stack/templates/custom-undercloud-params.yaml
    注意

    您可以使用逗号分隔列表指定多个环境文件。

director 安装在下次安装或升级 undercloud 的操作过程中包括此环境文件。

4.4. 用于 undercloud 配置的常见 Heat 参数

下表显示您可能在自定义环境文件中为 undercloud 设置的一些常见 Heat 参数。

参数描述

AdminPassword

设置 undercloud admin 用户密码。

AdminEmail

设置 undercloud admin 用户电子邮件地址。

Debug

启用调试模式。

在自定义环境文件的 parameter_defaults 部分下设置这些参数:

parameter_defaults:
  Debug: True
  AdminPassword: "myp@ssw0rd!"
  AdminEmail: "admin@example.com"

4.5. 在 undercloud 上配置 hieradata

您可以通过在 director 上配置 Puppet hieradata,为可用 undercloud.conf 参数之外的服务提供自定义配置。执行以下步骤以使用此功能。

步骤

  1. 创建一个 hieradata 覆盖文件,例如 /home/stack/hieradata.yaml
  2. 将自定义的 hieradata 添加到该文件。例如,添加以下内容,将 Compute (nova) 服务参数 force_raw_images 从默认值“True”改为“False”:

    nova::compute::force_raw_images: False

    如果没有为您要设置的参数实施 Puppet,则使用以下方法配置该参数:

    nova::config::nova_config:
      DEFAULT/<parameter_name>:
        value: <parameter_value>

    例如:

    nova::config::nova_config:
      DEFAULT/network_allocate_retries:
        value: 20
      ironic/serial_console_state_timeout:
        value: 15
  3. hieradata_override 参数设置为 undercloud.conf 中的 hieradata 文件的路径:

    hieradata_override = /home/stack/hieradata.yaml

4.6. 安装 director

完成以下步骤以安装 director 并执行一些基本安装后任务。

步骤

  1. 运行以下命令,以在 undercloud 上安装 director:

    [stack@director ~]$ openstack undercloud install

    这会启动 director 的配置脚本。director 安装附加软件包并根据 undercloud.conf 中的配置来配置其服务。这个脚本会需要一些时间来完成。

    完成后,此脚本会生成两个文件:

    • undercloud-passwords.conf - director 服务的所有密码列表。
    • stackrc - 用来访问 director 命令行工具的一组初始变量。
  2. 此脚本还会自动启动所有的 OpenStack 平台服务容器。使用以下命令来检查已启用的容器:

    [stack@director ~]$ sudo podman ps
  3. 运行以下命令初始化 stack 用户来使用命令行工具:

    [stack@director ~]$ source ~/stackrc

    提示信息现在指示,OpenStack 命令在对 undercloud 验证身份并执行命令;

    (undercloud) [stack@director ~]$

director 的安装已完成。您现在可以使用 director 的命令行工具了。

4.7. 为 overcloud 节点获取镜像

director 需要几个磁盘镜像用于置备 overcloud 节点。这包括:

  • 一个内省内核和 ramdisk - 用于通过 PXE 引导进行裸机系统内省。
  • 一个实施内核和 ramdisk - 用于系统部署和实施。
  • overcloud 内核、ramdisk 和完整镜像 - 写到节点硬盘中的基本 overcloud 系统。

以下操作过程旨在展示如何获取并安装这些镜像。

4.7.1. 单个 CPU 架构 overcloud

使用默认 CPU 架构 x86-64 部署 overcloud,需要这些镜像和过程。

步骤

  1. 查找 stackrc 文件,以启用 director 的命令行工具:

    [stack@director ~]$ source ~/stackrc
  2. 安装 rhosp-director-imagesrhosp-director-images-ipa 软件包:

    (undercloud) [stack@director ~]$ sudo yum install rhosp-director-images rhosp-director-images-ipa
  3. 将镜像存档提取到 stack 用户主页 (/home/stack/images) 中的 images 目录中:

    (undercloud) [stack@director ~]$ cd ~/images
    (undercloud) [stack@director images]$ for i in /usr/share/rhosp-director-images/overcloud-full-latest-15.0.tar /usr/share/rhosp-director-images/ironic-python-agent-latest-15.0.tar; do tar -xvf $i; done
  4. 把这些镜像导入到 director:

    (undercloud) [stack@director images]$ openstack overcloud image upload --image-path /home/stack/images/

    此脚本将以下镜像上传到 director:

    • bm-deploy-kernel
    • bm-deploy-ramdisk
    • overcloud-full
    • overcloud-full-initrd
    • overcloud-full-vmlinuz

    另外,此脚本还会在 director 的 PXE 服务器上安装内省镜像。

  5. 检查这些镜像是否已成功上传:

    (undercloud) [stack@director images]$ openstack image list
    +--------------------------------------+------------------------+
    | ID                                   | Name                   |
    +--------------------------------------+------------------------+
    | 765a46af-4417-4592-91e5-a300ead3faf6 | bm-deploy-ramdisk      |
    | 09b40e3d-0382-4925-a356-3a4b4f36b514 | bm-deploy-kernel       |
    | ef793cd0-e65c-456a-a675-63cd57610bd5 | overcloud-full         |
    | 9a51a6cb-4670-40de-b64b-b70f4dd44152 | overcloud-full-initrd  |
    | 4f7e33f4-d617-47c1-b36f-cbe90f132e5d | overcloud-full-vmlinuz |
    +--------------------------------------+------------------------+

    此列表不显示内省 PXE 镜像。director 将这些文件复制到 /var/lib/ironic/httpboot

    (undercloud) [stack@director images]$ ls -l /var/lib/ironic/httpboot
    total 417296
    -rwxr-xr-x. 1 root  root    6639920 Jan 29 14:48 agent.kernel
    -rw-r--r--. 1 root  root  420656424 Jan 29 14:48 agent.ramdisk
    -rw-r--r--. 1 42422 42422       758 Jan 29 14:29 boot.ipxe
    -rw-r--r--. 1 42422 42422       488 Jan 29 14:16 inspector.ipxe

4.7.2. 多个 CPU 架构 overcloud

部署 overcloud 以启用对附加 CPU 架构的支持需要这些镜像和操作。

以下过程在其示例中使用 ppc64le 镜像。

步骤

  1. 查找 stackrc 文件,以启用 director 的命令行工具:

    [stack@director ~]$ source ~/stackrc
  2. 安装 rhosp-director-images-all 软件包:

    (undercloud) [stack@director ~]$ sudo yum install rhosp-director-images-all
  3. 将存档解包到特定于架构的目录中,该目录位于 stack 用户的主目录下的 images 目录 (/home/stack/images) 中:

    (undercloud) [stack@director ~]$ cd ~/images
    (undercloud) [stack@director images]$ for arch in x86_64 ppc64le ; do mkdir $arch ; done
    (undercloud) [stack@director images]$ for arch in x86_64 ppc64le ; do for i in /usr/share/rhosp-director-images/overcloud-full-latest-15.0-${arch}.tar /usr/share/rhosp-director-images/ironic-python-agent-latest-15.0-${arch}.tar ; do tar -C $arch -xf $i ; done ; done
  4. 把这些镜像导入到 director:

    (undercloud) [stack@director ~]$ cd ~/images
    (undercloud) [stack@director images]$ openstack overcloud image upload --image-path ~/images/ppc64le --architecture ppc64le --whole-disk --http-boot /tftpboot/ppc64le
    (undercloud) [stack@director images]$ openstack overcloud image upload --image-path ~/images/x86_64/ --http-boot /tftpboot

    这会将下列镜像上传到 director:

    • bm-deploy-kernel
    • bm-deploy-ramdisk
    • overcloud-full
    • overcloud-full-initrd
    • overcloud-full-vmlinuz
    • ppc64le-bm-deploy-kernel
    • ppc64le-bm-deploy-ramdisk
    • ppc64le-overcloud-full

      另外,此脚本还会在 director 的 PXE 服务器上安装内省镜像。

  5. 检查这些镜像是否已成功上传:

    (undercloud) [stack@director images]$ openstack image list
    +--------------------------------------+---------------------------+--------+
    | ID                                   | Name                      | Status |
    +--------------------------------------+---------------------------+--------+
    | 6d1005ba-ec82-473b-8e33-88aadb5b6792 | bm-deploy-kernel          | active |
    | fb723b33-9f11-45f5-b25b-c008bf509290 | bm-deploy-ramdisk         | active |
    | 6a6096ba-8f79-4343-b77c-4349f7b94960 | overcloud-full            | active |
    | de2a1bde-9351-40d2-bbd7-7ce9d6eb50d8 | overcloud-full-initrd     | active |
    | 67073533-dd2a-4a95-8e8b-0f108f031092 | overcloud-full-vmlinuz    | active |
    | 69a9ffe5-06dc-4d81-a122-e5d56ed46c98 | ppc64le-bm-deploy-kernel  | active |
    | 464dd809-f130-4055-9a39-cf6b63c1944e | ppc64le-bm-deploy-ramdisk | active |
    | f0fedcd0-3f28-4b44-9c88-619419007a03 | ppc64le-overcloud-full    | active |
    +--------------------------------------+---------------------------+--------+

    此列表不显示内省 PXE 镜像。director 会把这些文件复制到 /tftpboot

    (undercloud) [stack@director images]$ ls -l /tftpboot /tftpboot/ppc64le/
    /tftpboot:
    total 422624
    -rwxr-xr-x. 1 root   root     6385968 Aug  8 19:35 agent.kernel
    -rw-r--r--. 1 root   root   425530268 Aug  8 19:35 agent.ramdisk
    -rwxr--r--. 1 ironic ironic     20832 Aug  8 02:08 chain.c32
    -rwxr--r--. 1 ironic ironic    715584 Aug  8 02:06 ipxe.efi
    -rw-r--r--. 1 root   root          22 Aug  8 02:06 map-file
    drwxr-xr-x. 2 ironic ironic        62 Aug  8 19:34 ppc64le
    -rwxr--r--. 1 ironic ironic     26826 Aug  8 02:08 pxelinux.0
    drwxr-xr-x. 2 ironic ironic        21 Aug  8 02:06 pxelinux.cfg
    -rwxr--r--. 1 ironic ironic     69631 Aug  8 02:06 undionly.kpxe
    
    /tftpboot/ppc64le/:
    total 457204
    -rwxr-xr-x. 1 root             root              19858896 Aug  8 19:34 agent.kernel
    -rw-r--r--. 1 root             root             448311235 Aug  8 19:34 agent.ramdisk
    -rw-r--r--. 1 ironic-inspector ironic-inspector       336 Aug  8 02:06 default
注意

默认的 overcloud-full.qcow2 镜像是一种平面分区镜像。但是,您仍可以导入和使用完整的磁盘镜像。有关更多信息,请参阅 第 20 章 创建完整磁盘镜像

4.8. 为 Control Plane 设置名称服务器

如果您希望 overcloud 解析外部主机名,如 cdn.redhat.com,建议您在 overcloud 节点上设置名称服务器。对于没有进行网络隔离的标准 overcloud,名称服务器会使用 undercloud 的控制平面子网来定义。完成以下过程为环境定义名称服务器。

步骤

  1. 查找 stackrc 文件,以启用 director 的命令行工具:

    [stack@director ~]$ source ~/stackrc
  2. ctlplane-subnet 子网设置名称服务器:

    (undercloud) [stack@director images]$ openstack subnet set --dns-nameserver [nameserver1-ip] --dns-nameserver [nameserver2-ip] ctlplane-subnet

    请为每一个名称服务器使用 --dns-nameserver 选项。

  3. 查看子网来验证名称解析服务器:

    (undercloud) [stack@director images]$ openstack subnet show ctlplane-subnet
    +-------------------+-----------------------------------------------+
    | Field             | Value                                         |
    +-------------------+-----------------------------------------------+
    | ...               |                                               |
    | dns_nameservers   | 8.8.8.8                                       |
    | ...               |                                               |
    +-------------------+-----------------------------------------------+
重要

如果要将服务流量隔离到单独的网络,overcloud 节点将使用网络环境配置文件中的 DnsServer 参数。

4.9. 更新 undercloud 配置

未来,您可能必须更改 undercloud 配置以适合新的需求。要在安装后更改 undercloud 配置,请编辑相关配置文件并重新运行 openstack undercloud install 命令。

步骤

  1. 修改 undercloud 配置文件。例如,编辑 undercloud.conf 文件并将 idrac 硬件类型添加到已启用硬件类型列表中:

    enabled_hardware_types = ipmi,redfish,idrac
  2. 运行 openstack undercloud install 命令以使用新更改刷新 undercloud:

    [stack@director ~]$ openstack undercloud install

    等待命令运行完成。

  3. 初始化 stack 用户以使用命令行工具:

    [stack@director ~]$ source ~/stackrc

    提示现在指示 OpenStack 命令对 undercloud 进行验证并执行:

    (undercloud) [stack@director ~]$
  4. 确认 director 已应用新配置。在此示例中,检查已启用硬件类型列表:

    (undercloud) [stack@director ~]$ openstack baremetal driver list
    +---------------------+----------------+
    | Supported driver(s) | Active host(s) |
    +---------------------+----------------+
    | idrac               | unused         |
    | ipmi                | unused         |
    | redfish             | unused         |
    +---------------------+----------------+

undercloud 重新配置完成。

4.10. Undercloud 容器registry

Red Hat Enterprise Linux 8 不再包括 docker-distribution 软件包,该软件包安装了 Docker Registry v2。为了保持兼容性和相同的功能级别,director 安装使用称为 image-serve 的 vhost 创建 Apache Web 服务器以提供 registry。该 registry 也使用禁用了 SSL 的端口 8787/TCP。基于 Apache 的 registry 未容器化,这意味着您要运行以下命令以重启 registry:

您可以在以下位置找到容器 registry 日志:

  • /var/log/httpd/image_serve_access.log
  • /var/log/httpd/image_serve_error.log。
$ sudo systemctl restart httpd

镜像内容来自 /var/lib/image-serve。此位置使用特定目录布局和 apache 配置来实施 registry REST API 的拉取功能。

注意

基于 Apache 的 registry 是只读容器 registry,不支持 podman pushbuildah push 命令。这意味着 registry 不允许您推送非 director 和非 OpenStack Platform 容器。但是,您可以使用 director 的容器准备工作流程修改 OpenStack Platform 镜像,该工作流程使用 ContainerImagePrepare 参数。

4.11. 后续步骤

undercloud 的配置到此结束。下一章将介绍基本的 overcloud 配置,包括注册节点和检查节点,并把它们标记为不同的节点角色。

部分 II. 基本的 Overcloud 部署

第 5 章 规划您的 overcloud

以下部分包含在规划 Red Hat OpenStack Platform 环境的各个方面的指导信息。这包括定义节点角色、规划您的网络拓扑结构和存储。

5.1. 节点角色

director 包括多个默认节点类型用于构建 overcloud。这些节点类型是:

Controller

提供用于控制环境的关键服务。它包括仪表板服务 (horizon)、认证服务 (keystone)、镜像存储服务 (glance)、联网服务 (neutron)、编配服务 (heat) 以及高可用性服务。Red Hat OpenStack Platform 环境需要三个 Controller 节点以实现高可用生产级环境。

注意

只有一个节点的环境仅用于测试目的,不应该用于生产环境。不支持由两个节点或由三个以上节点组成的环境。

计算(Compute)
用作虚拟机监控程序并包含在环境中运行虚拟机所需的处理能力的物理服务器。一个基本的 Red Hat OpenStack Platform 环境中需要最少一个 Compute 节点。
Ceph 存储
提供 Red Hat Ceph Storage 的一个主机。额外的 Ceph Storage 主机可以在一个集群中扩展。这个部署角色是可选的。
Swift Storage
提供外部对象存储 OpenStack Object Storage (swift) 服务的主机。这个部署角色是可选的。

下表包含一些不同 overcloud 的示例并为每个场景定义节点类型。

表 5.1. 节点部署

 

Controller

计算

Ceph 存储

Swift Storage

总计

小型 overcloud

3

1

-

-

4

中型 overcloud

3

3

-

-

6

带有额外对象存储的中型 overcloud

3

3

-

3

9

带有 Ceph Storage 集群的中型 overcloud

3

3

3

-

9

此外,还需思考是否要将各个服务划分成不同的自定义角色。有关可组合角色架构的更多信息,请参阅高级 Overcloud 自定义指南中的“可组合服务和自定义角色”

5.2. Overcloud 网络

规划环境的网络拓扑和子网非常重要,它可以确保正确地映射角色和服务,以使其可以正确地相互通信。Red Hat OpenStack Platform 使用 Openstack Networking (neutron) 服务,此服务可自主运行,并可管理基于软件的网络、静态和浮动 IP 地址以及 DHCP。

默认情况下,director 配置节点以使用 Provisioning/Control Plane 获得连接。不过,可以将网络流量隔离到一系列的可组合网络,供您自定义和分配服务。

在典型的 Red Hat OpenStack Platform 安装中,网络类型的数量通常会超过物理网络链路的数量。为了可以把所有网络都连接到正确的主机,overcloud 使用 VLAN 标记(VLAN tagging)来为每个接口提供多个网络。大多数网络都是隔离的子网,但有些网络需要第 3 层网关来提供路由用于互联网访问或基础架构网络连接。如果使用 VLAN 来隔离网络流量类型,请使用支持 802.1Q 标准的交换机来提供 tagged VLAN。

注意

我们推荐,即使在部署时使用了禁用隧道功能的 neutron VLAN,您最好仍然部署一个项目网络(利用 GRE 或 VXLAN 进行隧道连接)。这只需要在部署时进行一些微小的改变,便可为以后使用网络隧道功能(如用于 utility 网络或 virtualization 网络)留下选择余地。您仍然需要使用 VLAN 创建租户网络,但同时也可为特殊用途网络创建 VXLAN 隧道,而不需要消耗租户 VLAN。VXLAN 功能可以添加到带有租户 VLAN 的部署中,而租户 VLAN 却无法在不对系统运行造成干扰的情况下添加到现有的 overcloud 中。

director 还包括一组模板,以使用隔离的可组合网络配置 NIC。以下配置为默认配置:

  • 单 NIC 配置 - 一个 NIC 在原生 VLAN 中用于 Provisioning 网络,并用于 tagged VLAN(使用子网处理不同的 overcloud 网络类型)。
  • 绑定 NIC 配置 - 一个 NIC 在原生 VLAN 中用于 Provisioning 网络,tagged VLAN 绑定中的两个 NIC 用于不同的 overcloud 网络类型。
  • 多 NIC 配置 - 每个 NIC 都使用一个子网来分别处理 overcloud 中不同的网络类型。

您也可以创建自己的模板来映射特定的 NIC 配置。

在考虑网络配置时,以下详细信息也很重要:

  • 在 overcloud 创建过程中,在所有 overcloud 机器间使用同一个名称来代表 NIC。理想情况下,您应该在每个 overcloud 节点上对每个相关的网络都使用相同的 NIC 来避免混淆。例如,Provisioning 网络使用主(primary)NIC,OpenStack 服务使用从(secondary)NIC。
  • 设置所有 overcloud 系统为从 Provisioning NIC 进行 PXE 引导,并禁用通过外部 NIC 和系统上的任何其他 NIC 进行 PXE 引导。另外,还需要确保 Provisioning NIC 在 PXE 引导设置中位于引导顺序的最上面(在硬盘和 CD/DVD 驱动器之前)。
  • 所有 overcloud 裸机系统都需要一个受支持的电源管理接口,如智能平台管理接口(IPMI)。这将使得 director 能够控制每个节点的电源管理。
  • 请记录下每个 overcloud 系统的以下信息:Provisioning NIC 的 MAC 地址、IPMI NIC 的 IP 地址、IPMI 用户名和 IPMI 密码。稍后设置 overcloud 节点时需要用到这些信息。
  • 如果一个实例需要可以被外部互联网访问,则需要从公共网络中分配一个浮动 IP 地址,并把它和这个实例相关联。这个实例仍然会保留它的私人 IP,但网络数据可以通过 NAT 到达浮动 IP 地址。请注意,一个浮动 IP 地址只能分配给一个接口,而不能分配给多个私人 IP 地址。但是,浮动 IP 地址只会为一个租户预留以供使用,租户可以根据需要关联或取消关联一个特定的实例。此配置在外部互联网上公开您的基础架构。因此,您可能需要检查您是否遵循了适当的安全做法。
  • 为了减少 Open vSwitch 中出现网络环路的风险,只能有一个接口或一个绑定作为给定网桥的成员。如果需要多个绑定或接口,可以配置多个网桥。
  • 红帽建议使用 DNS 主机名解析,以便您的 overcloud 节点能够连接到外部服务,如 Red Hat Content Delivery Network 和网络时间服务器。
注意

如果您使用 Red Hat Virtualization (RHV),则可以对 overcloud control plane 进行虚拟化。有关详细信息,请参阅创建虚拟化 control planes

5.3. Overcloud 存储

注意

在使用任何驱动程序的后端 cinder-volume 或后端类型的客户机实例上使用 LVM 会导致性能、卷可见性和可用性以及数据损坏问题。使用 LVM 过滤器可缓解这些问题。有关更多信息,请参阅存储指南中的第 2.1 节后端和 KCS 文章 3213311“在 cinder 卷上使用 LVM 会将数据公开给计算主机。”

director 包括面向 overcloud 环境的不同存储选项:

Ceph Storage 节点

director 使用 Red Hat Ceph Storage 创建一组可扩展存储节点。overcloud 针对以下存储类型使用这些节点:

  • 镜像 - Glance 管理虚拟机的镜像。镜像是不可变的,OpenStack 把镜像看做为二进制数据块,并根据它们的实际情况进行下载。OpenStack 将镜像视为二进制 blob 并相应地进行下载。您可以使用 glance 在 Ceph Block Device 中存储镜像。
  • - Cinder 卷是块设备。OpenStack 使用卷来引导虚拟机,或把卷附加到运行的虚拟机上。OpenStack 使用 Cinder 服务管理卷。您可以使用 Cinder,通过镜像的写时复制(copy-on-write,简称 COW)克隆引导虚拟机。
  • 文件系统 - Manila 共享由文件系统来支持。OpenStack 用户使用 manila 服务来管理共享。您可以使用 manila 来管理由 CephFS 文件系统(数据保存在 Ceph Storage 节点上)支持的共享。
  • 客户机磁盘 - 客户机磁盘就是客户机操作系统磁盘。默认情况下,当您使用 nova 引导虚拟机时,虚拟机磁盘会在虚拟机监控程序的文件系统上显示为一个文件(通常在 /var/lib/nova/instances/<uuid>/ 下)。Ceph 内的每一个虚拟机都无需使用 Cinder 即可引导。因此,您可以使用实时迁移过程轻松执行维护操作。此外,如果您的虚拟机监控程序出现问题,它还可以方便地触发 nova evacuate,并在其他位置运行虚拟机。

    重要

    有关支持的镜像格式的信息,请参阅实例和镜像指南中的镜像服务章节。

    有关更多信息,请参阅 Red Hat Ceph Storage 架构指南

Swift 存储节点
director 会创建外部对象存储节点。当您需要扩展或替换 overcloud 环境中的控制器节点,同时需要在一个高可用性集群外保留对象存储时,这将非常有用。

5.4. Overcloud 安全性

OpenStack 平台环境的安全性在一定程度上取决于网络的安全性。遵循网络环境中的良好安全原则,确保正确控制网络访问:

  • 使用网络分段缓解网络移动并隔离敏感数据。扁平网络的安全性要低得多。
  • 限制对服务和端口的访问。
  • 强制执行正确的防火墙规则并使用密码。
  • 启用 SELinux。

有关保护系统安全的详细信息,请参阅以下红帽指南:

5.5. Overcloud 高可用性

要部署高度可用的 overcloud,director 将配置多个 Controller、Compute 和 Storage 节点,并以单一集群的形式协同工作。出现节点故障时,根据故障的节点来触发自动隔离和重新生成流程。有关 overcloud 高可用性架构和服务的信息,请参阅了解 Red Hat OpenStack Platform 高可用性

您也可以通过 director 为 Compute 实例配置高可用性 (Instance HA)。使用此高可用性机制,可在节点出现故障时在 Compute 节点上自动清空并重新生成实例。对 Instance HA 的要求与一般的 overcloud 要求相同,但必须执行一些附加步骤以准备好环境进行部署。有关 Instance HA 的工作原理和安装说明的信息,请参阅 Compute 实例的高可用性指南。

5.6. Controller 节点要求

Controller 节点在 Red Hat OpenStack Platform 环境中托管核心服务,如 Horizon 控制面板、后端数据库服务器、Keystone 身份验证和高可用性服务。

处理器
支持 Intel 64 或 AMD64 CPU 扩展的 64 位 x86 处理器。
内存

最小内存为 32 GB。不过,建议根据 vCPU 数量(CPU 内核数乘以超线程值)来决定内存大小。使用以下计算确定 RAM 要求:

  • 控制器 RAM 最小值计算:

    • 每个 vCPU 使用 1.5 GB 内存。例如,拥有 48 个 vCPU 的计算机应当具有 72 GB RAM。
  • 控制器 RAM 建议值计算:

    • 每个 vCPU 使用 3 GB 内存。例如,拥有 48 个 vCPU 的计算机应当具有 144 GB RAM。

有关衡量内存要求的更多信息,请参阅红帽客户门户网站上的“高可用性控制器的 Red Hat OpenStack Platform 硬件要求”

磁盘存储和布局

如果 Object Storage 服务 (swift) 不在控制器节点上运行,则需要最小 40 GB 的存储。但是,Telemetry (gnocchi) 和 Object Storage 服务都安装在 Controller 上,且二者均配置为使用根磁盘。这些默认值适合部署在商用硬件上构建的小型 overcloud。这些环境通常用于概念验证和测试环境。基于这些默认布局,只需最少的规划即可部署 overcloud,但只能提供很低的工作负载容量和性能。

然而在企业环境中,这可能造成很大的瓶颈。这是因为 Telemetry 会不断地访问存储资源,导致磁盘 I/O 使用率很高,从而严重影响所有其他 Controller 服务的性能。在这种环境中,必须规划 overcloud 并进行相应的配置。

红帽为 Telemetry 和 Object Storage 提供了一些配置建议方案。有关详细信息,请参阅特定 Red Hat OpenStack Platform 服务的部署建议

网络接口卡
最少两个 1 Gbps 网络接口卡。但在生产环境中,推荐最少使用两个网卡。
电源管理
每个 Controller 节点都需要在服务器的主板上有一个被支持的电源管理接口(如 IPMI)。
虚拟化支持
红帽仅在 Red Hat Virtualization 平台上支持虚拟化控制器节点。有关详细信息,请参阅 Virtualized control planes

5.7. Compute 节点要求

Compute 节点负责运行虚拟机实例。Compute 节点必须支持硬件虚拟化。Compute 节点还必须有足够的内存和磁盘空间来支持其托管的虚拟机实例的要求。

处理器
  • 支持带有 Intel 64 或 AMD64 CPU 扩展并启用了 Intel VT 硬件虚拟扩展的 64 位 x86 处理器。我们推荐所使用的处理器最少有 4 个内核。
  • IBM POWER 8 处理器。
内存
至少 6 GB RAM。根据将要提供给虚拟机实例的内存大小,在此要求基础上增加额外的 RAM。
磁盘空间
最少具有 40GB 可用磁盘空间。
网络接口卡
最少一个 1 Gbps 网络接口卡。但在生产环境中,推荐最少使用两个网卡。
电源管理
每个 Compute 节点在服务器的主板上都要有一个受支持的电源管理接口(如智能平台管理接口 (IPMI) 功能)。

5.8. Ceph Storage 节点要求

Ceph Storage 节点负责在 Red Hat OpenStack Platform 环境中提供对象存储。

放置组
Ceph 使用放置组大规模推动动态高效的对象跟踪。如果 OSD 出现故障或集群重新平衡,Ceph 可移动或复制放置组及其内容,这意味着 Ceph 集群可以有效地重新平衡并恢复。Director 创建的默认放置组计数并非始终最佳,因此一定要根据要求计算正确的放置组计数。您可以使用放置组计算器计算正确的计数:Placement Groups (PGs) per Pool Calculator
处理器
支持 Intel 64 或 AMD64 CPU 扩展的 64 位 x86 处理器。
内存
红帽通常建议每个 OSD 主机最少 16GB RAM,每个 OSD 守护进程增加 2 GB RAM。
磁盘配置

大小取决于您的存储需求。建议的 Red Hat Ceph Storage 节点配置在布局中至少需要三个或更多磁盘,类似以下示例:

  • /dev/sda - 根磁盘。director 把主 overcloud 镜像复制到该磁盘。这应当具有最少 40 GB 的可用磁盘空间。
  • /dev/sdb - journal 磁盘。这个磁盘被分为不同的分区来保存 Ceph OSD 的日志信息。例如,/dev/sdb1/dev/sdb2/dev/sdb3 等。journal 磁盘通常需要是一个固态磁盘(SSD)来保证系统的性能。
  • /dev/sdc 和后续 - OSD 磁盘。可以根据您的存储需要使用多个磁盘。

    注意

    Red Hat OpenStack Platform director 使用 ceph-ansible,不支持在 Ceph Storage 节点的根磁盘上安装 OSD。这意味着所支持的每个 Ceph Storage 节点需要至少两个或更多磁盘。

网络接口卡
最少一个 1 Gbps 网络接口卡。但在生产环境中,推荐最少使用两个网卡。额外的网卡可以组成绑定接口,或处理标记的 VLAN 网络(tagged VLAN)流量。 推荐为存储节点使用10 Gbps 接口,特别是所创建的 OpenStack 平台环境需要处理大量网络数据时。
电源管理
每个 Controller 节点都需要在服务器的主板上有一个被支持的电源管理接口(如 IPMI)。

有关使用 Ceph Storage 集群安装 overcloud 的更多信息,请参阅使用容器化 Red Hat Ceph 部署 Overcloud 指南。

5.9. Object Storage 节点要求

Object Storage 节点提供 overcloud 的对象存储层。Object Storage 代理安装在控制器节点上。存储层需要每个节点有多个磁盘的裸机节点。

处理器
支持 Intel 64 或 AMD64 CPU 扩展的 64 位 x86 处理器。
内存
内存要求取决于存储空间大小。理想状态下,每 1TB 硬盘空间需要至少 1GB 内存。要获得最佳性能,建议每 1 TB 硬盘空间使用 2 GB,特别是用于文件小于 100GB 的工作负载。
磁盘空间

存储要求取决于工作负载需要的容量。建议使用 SSD 驱动器来存储帐户和容器数据。帐户和容器数据与对象的容量比约为 1%。例如,对于每 100TB 硬盘容量,请提供 1TB 容量来存储帐户和容器数据。

不过,这还取决于所存储数据的类型。如果主要用于存储小对象,则提供更多 SSD 空间。而对于大对象(视频和备份等),可提供较少的 SSD 空间。

磁盘配置

建议的节点配置需要类似以下示例的磁盘布局:

  • /dev/sda - 根磁盘。director 把主 overcloud 镜像复制到该磁盘。
  • /dev/sdb - 用于帐户数据。
  • /dev/sdc - 用于容器数据。
  • /dev/sdd 及后续 - 对象服务器磁盘。可以根据您的存储需要使用多个磁盘。
网络接口卡
最少两个 1 Gbps 网络接口卡。但在生产环境中,推荐最少使用两个网卡。
电源管理
每个 Controller 节点都需要在服务器的主板上有一个被支持的电源管理接口(如 IPMI)。

5.10. overcloud 软件仓库

您必须启用以下软件仓库以安装和配置 overcloud。

核心软件仓库

下表列出了用于安装 overcloud 的核心软件仓库。

名称软件仓库描述

Red Hat Enterprise Linux 8 for x86_64 - BaseOS (RPMs)

rhel-8-for-x86_64-baseos-rpms

x86_64 系统的基本操作系统仓库。

Red Hat Enterprise Linux 8 for x86_64 - AppStream (RPMs)

rhel-8-for-x86_64-appstream-rpms

包括 Red Hat OpenStack Platform 的依赖软件包。

Red Hat Enterprise Linux 8 for x86_64 - High Availability (RPMs)

rhel-8-for-x86_64-highavailability-rpms

Red Hat Enterprise Linux 的高可用性工具。用于 Controller 节点的高可用性功能。

Red Hat Ansible Engine 2.8 for RHEL 8 x86_64 (RPMs)

ansible-2.8-for-rhel-8-x86_64-rpms

适用于 Red Hat Enterprise Linux 的 Ansible Engine。用于提供最新版本的 Ansible。

Advanced Virtualization for RHEL 8 x86_64 (RPMs)

advanced-virt-for-rhel-8-x86_64-rpm

为 OpenStack Platform 提供虚拟化软件包。

Red Hat Satellite Tools for RHEL 8 Server RPMs x86_64

satellite-tools-6.5-for-rhel-8-x86_64-rpms

管理使用 Red Hat Satellite 6 的主机的工具。

Red Hat OpenStack Platform 15 for RHEL 8 (RPMs)

openstack-15-for-rhel-8-x86_64-rpms

Red Hat OpenStack Platform 核心软件仓库。

Real Time 软件仓库

下表列出了 Real Time Compute (RTC) 功能的软件仓库。

名称软件仓库描述

Red Hat Enterprise Linux 8 for x86_64 - Real Time (RPMs)

rhel-8-for-x86_64-rt-rpms

Real Time KVM (RT-KVM) 的软件仓库。包含用于启用实时内核的软件包。应该为 RT-KVM 的所有目标 Compute 节点启用这个软件仓库。注意:您需要单独订阅 Red Hat OpenStack Platform for Real Time SKU,才能访问此软件仓库。

Red Hat Enterprise Linux 8 for x86_64 - Real Time for NFV (RPMs)

rhel-8-for-x86_64-nfv-rpms

适用于 NFV 的实时 KVM (RT-KVM) 的软件仓库。包含用于启用实时内核的软件包。应对以 RT-KVM 为目标的所有 NFV Compute 节点启用此软件仓库。注意:您需要单独订阅 Red Hat OpenStack Platform for Real Time SKU,才能访问此软件仓库。

IBM POWER 软件仓库

下表列出了用于 Openstack Platform on POWER PC 架构的软件仓库。使用这些软件仓库来替代核心软件仓库中的同等库。

名称软件仓库描述

Red Hat Enterprise Linux for IBM Power, little endian - BaseOS (RPMs)

rhel-8-for-ppc64le-baseos-rpms

ppc64le 系统的基本操作系统软件仓库。

Red Hat Enterprise Linux 8 for IBM Power, little endian - AppStream (RPMs)

rhel-8-for-ppc64le-appstream-rpms

包括 Red Hat OpenStack Platform 的依赖软件包。

Red Hat Enterprise Linux 8 for IBM Power, little endian - High Availability (RPMs)

rhel-8-for-ppc64le-highavailability-rpms

Red Hat Enterprise Linux 的高可用性工具。用于 Controller 节点的高可用性功能。

Red Hat Ansible Engine 2.8 for RHEL 8 IBM Power, little endian (RPMs)

ansible-2.8-for-rhel-8-ppc64le-rpms

适用于 Red Hat Enterprise Linux 的 Ansible Engine。用于提供最新版本的 Ansible。

Red Hat OpenStack Platform 15 for RHEL 8 (RPMs)

openstack-15-for-rhel-8-ppc64le-rpms

用于 ppc64le 系统的 Red Hat OpenStack Platform 核心软件仓库。

第 6 章 使用 CLI 工具配置基本的 overcloud

本章包含使用 CLI 工具部署 OpenStack Platform 环境的基本配置过程。overcloud 基本配置中不含任何自定义功能。但是,您可以在此基本 overcloud 中添加高级配置选项并使用高级 Overcloud 自定义指南中的说明进行自定义,以符合您的规格。

6.1. 为 overcloud 注册节点

director 需要一个节点定义模板,这个模板由您手动创建。此模板使用 JSON 或 YAML 格式,并包含节点的硬件和电源管理详细信息。

步骤

  1. 创建列出节点的模板。使用以下 JSON 和 YAML 模板示例了解如何创建节点定义模板的结构:

    示例 JSON 模板

    {
        "nodes":[
            {
                "mac":[
                    "bb:bb:bb:bb:bb:bb"
                ],
                "name":"node01",
                "cpu":"4",
                "memory":"6144",
                "disk":"40",
                "arch":"x86_64",
                "pm_type":"ipmi",
                "pm_user":"admin",
                "pm_password":"p@55w0rd!",
                "pm_addr":"192.168.24.205"
            },
            {
                "mac":[
                    "cc:cc:cc:cc:cc:cc"
                ],
                "name":"node02",
                "cpu":"4",
                "memory":"6144",
                "disk":"40",
                "arch":"x86_64",
                "pm_type":"ipmi",
                "pm_user":"admin",
                "pm_password":"p@55w0rd!",
                "pm_addr":"192.168.24.206"
            }
        ]
    }

    示例 YAML 模板

    nodes:
      - mac:
          - "bb:bb:bb:bb:bb:bb"
        name: "node01"
        cpu: 4
        memory: 6144
        disk: 40
        arch: "x86_64"
        pm_type: "ipmi"
        pm_user: "admin"
        pm_password: "p@55w0rd!"
        pm_addr: "192.168.24.205"
      - mac:
          - cc:cc:cc:cc:cc:cc
        name: "node02"
        cpu: 4
        memory: 6144
        disk: 40
        arch: "x86_64"
        pm_type: "ipmi"
        pm_user: "admin"
        pm_password: "p@55w0rd!"
        pm_addr: "192.168.24.206"

    此模板包含以下属性:

    name
    节点的逻辑名称。
    pm_type

    要使用的电源管理驱动程序。此示例使用 IPMI 驱动程序 (ipmi)。

    注意

    IPMI 是首选的受支持电源管理驱动程序。有关更多支持的电源管理类型及其选项,请参阅 附录 A, 电源管理驱动。如果这些电源管理驱动程序不能正常工作,请将 IPMI 用于电源管理。

    pm_user; pm_password
    IPMI 的用户名和密码。
    pm_addr
    IPMI 设备的 IP 地址。
    pm_port(可选)
    访问特定 IPMI 设备的端口。
    mac
    (可选)节点上网络接口的 MAC 地址列表。对于每个系统的 Provisioning NIC,只使用 MAC 地址。
    cpu
    节点上的 CPU 数量。(可选)
    memory
    以 MB 为单位的内存大小。(可选)
    disk
    以 GB 为单位的硬盘的大小。(可选)
    arch

    系统架构。 (可选)

    重要

    在构建多架构云时,arch 键是必需的,用于区分使用 x86_64ppc64le 架构的节点。

  2. 创建模板后,运行以下命令验证格式和语法:

    (undercloud) $ openstack overcloud node import --validate-only ~/nodes.json
  3. 将文件保存到 stack 用户的主目录 (/home/stack/nodes.json),然后运行以下命令将模板导入 director:

    $ source ~/stackrc
    (undercloud) $ openstack overcloud node import ~/nodes.json

    此命令通过模板将每个节点注册到 director 中。

  4. 等待节点完成注册和配置。完成后,确认 director 已成功注册节点:

    (undercloud) $ openstack baremetal node list

6.2. 检查节点的硬件

director 可以在每个节点上运行内省进程。此进程在每个节点上通过 PXE 启动内省代理。内省代理从节点收集硬件数据并将其送回 director。然后,director 将此内省数据存储在 director 上运行的 OpenStack Object Storage (swift) 服务中。director 将硬件信息用于不同的用途,如配置集标记、基准测试和手动根磁盘分配。

步骤

  1. 运行以下命令检查每个节点的属性:

    (undercloud) $ openstack overcloud node introspect --all-manageable --provide
    • --all-manageable 选项仅内省处于受管理状态的节点。在此示例中,所有节点都处于受管理状态。
    • --provide 选项会在内省后将所有节点重置为 available 状态。
  2. 在一个单独的终端窗口中运行以下命令来监测内省的进程:

    (undercloud) $ sudo tail -f /var/log/containers/ironic-inspector/*.log
    重要

    确保此进程完成运行。它可能需要 15 分钟来检查这些裸机节点。

  3. 内省完成后,所有节点都会变为 available 状态。

6.3. 为节点添加标签以加入到配置集

注册并检查每个节点的硬件后,为节点添加标签以加入到特定配置集中。这些配置集标签将您的节点与类别相匹配,这会将类别分配给部署角色。以下示例显示 Controller 节点的角色、类别、配置集和节点间的关系:

类型描述

角色

Controller 角色定义 director 配置控制器节点的方式。

类型

control 类型定义了用作控制器的节点的硬件配置文件。将此类型分配给 Controller 角色,以便 director 能够决定使用哪些节点。

配置集

control 配置集是应用至 control 类型的标签。它定义了属于该类型的节点。

节点

您也可以对单个节点应用 control 配置集标签,这样会将这些节点分组至 control 类型,因此,director 会使用 Controller 角色来配置它们。

默认的配置文件类型 computecontrolswift-storageceph-storageblock-storage 会在 undercloud 的安装过程中创建,多数环境中可不经修改直接使用。

步骤

  1. 为了通过添加标签把节点标记为特定的配置集,把 profile 选项添加到每个节点的 properties/capabilities 参数中。例如,把环境中的两个节点分别标记为使用 controller 配置集和 compute 配置集,使用以下命令:

    (undercloud) $ openstack baremetal node set --property capabilities='profile:compute,boot_option:local' 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13
    (undercloud) $ openstack baremetal node set --property capabilities='profile:control,boot_option:local' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0

    其中的 profile:computeprofile:control 选项会把节点标记为相关的配置集。

    这些命令还设置 boot_option:local 参数,该参数用于定义每个节点的引导方式。

  2. 在标记完节点后,检查分配的配置集或可能的配置集:

    (undercloud) $ openstack overcloud profiles list

6.4. 设置 UEFI 引导模式

默认引导模式是传统 BIOS 模式。新式系统可能要求使用 UEFI 引导模式,而非传统 BIOS 模式。完成以下步骤以将引导模式更改为 UEFI 模式。

步骤

  1. undercloud.conf 文件中设置下列参数:

    ipxe_enabled = True
    inspection_enable_uefi = True
  2. 保存 undercloud.conf 文件并运行 undercloud 安装:

    $ openstack undercloud install

    等待安装脚本完成。

  3. 将每个注册节点的引导模式设置为 uefi。例如,要在 capabilities 属性中添加或替换现有的 boot_mode 参数,可运行以下命令:

    $ NODE=<NODE NAME OR ID> ; openstack baremetal node set --property capabilities="boot_mode:uefi,$(openstack baremetal node show $NODE -f json -c properties | jq -r .properties.capabilities | sed "s/boot_mode:[^,]*,//g")" $NODE
    注意

    检查是否保留了 profileboot_option 功能。

    $ openstack baremetal node show r530-12 -f json -c properties | jq -r .properties.capabilities
  4. 将各个类型的引导模式设为 uefi

    $ openstack flavor set --property capabilities:boot_mode='uefi' control

6.5. 定义根磁盘

如果节点使用多个磁盘,则 Director 在置备过程上必须识别根磁盘。例如,大多数 Ceph Storage 节点使用多个磁盘。默认情况下,director 在置备过程中将 overcloud 镜像写入根磁盘

您可以定义多个属性以帮助 director 识别根磁盘:

  • model(字符串):设备 ID。
  • vendor(字符串):设备厂商。
  • serial(字符串):磁盘序列号。
  • hctl(字符串):SCSI 的 Host:Channel:Target:Lun。
  • size(整数):设备的大小(以 GB 为单位)。
  • wwn(字符串):唯一的存储 ID。
  • wwn_with_extension(字符串):唯一存储 ID 附加厂商扩展名。
  • wwn_vendor_extension(字符串):唯一厂商存储标识符。
  • rotational(布尔值):旋转磁盘设备为 true (HDD),否则为 false (SSD)。
  • name(字符串):设备名称,例如:/dev/sdb1。
重要

仅对具有持久名称的设备使用 name 属性。不要使用 name 来设置其他设备的根磁盘,因为此值在节点引导时可能会改变。

完成以下步骤以使用其序列号指定根设备。

步骤

  1. 从每个节点的硬件内省检查磁盘信息。运行以下命令以显示节点的磁盘信息:

    (undercloud) $ openstack baremetal introspection data save 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0 | jq ".inventory.disks"

    例如,一个节点的数据可能会显示 3 个磁盘:

    [
      {
        "size": 299439751168,
        "rotational": true,
        "vendor": "DELL",
        "name": "/dev/sda",
        "wwn_vendor_extension": "0x1ea4dcc412a9632b",
        "wwn_with_extension": "0x61866da04f3807001ea4dcc412a9632b",
        "model": "PERC H330 Mini",
        "wwn": "0x61866da04f380700",
        "serial": "61866da04f3807001ea4dcc412a9632b"
      }
      {
        "size": 299439751168,
        "rotational": true,
        "vendor": "DELL",
        "name": "/dev/sdb",
        "wwn_vendor_extension": "0x1ea4e13c12e36ad6",
        "wwn_with_extension": "0x61866da04f380d001ea4e13c12e36ad6",
        "model": "PERC H330 Mini",
        "wwn": "0x61866da04f380d00",
        "serial": "61866da04f380d001ea4e13c12e36ad6"
      }
      {
        "size": 299439751168,
        "rotational": true,
        "vendor": "DELL",
        "name": "/dev/sdc",
        "wwn_vendor_extension": "0x1ea4e31e121cfb45",
        "wwn_with_extension": "0x61866da04f37fc001ea4e31e121cfb45",
        "model": "PERC H330 Mini",
        "wwn": "0x61866da04f37fc00",
        "serial": "61866da04f37fc001ea4e31e121cfb45"
      }
    ]
  2. 本例演示了如何将根设备设置为磁盘 2,该磁盘的序列号为 61866da04f380d001ea4e13c12e36ad6。您必须更改为 root_device 参数才能定义节点:

    (undercloud) $ openstack baremetal node set --property root_device='{"serial": "61866da04f380d001ea4e13c12e36ad6"}' 1a4e30da-b6dc-499d-ba87-0bd8a3819bc0
    注意

    确保配置每个节点的 BIOS 以包括从您选择的根磁盘引导。建议的引导顺序是先网络引导,再根磁盘引导。

director 识别特定磁盘以用作根磁盘。运行 openstack overcloud deploy 命令时,director 置备 Overcloud 镜像并将其写入根磁盘。

6.6. 使用 overcloud-minimal 镜像

默认情况下,director 在置备过程中将 QCOW2 overcloud-full 镜像写入根磁盘。overcloud-full 镜像使用有效的红帽订阅。但是,如果您的节点上不需要任何其他 OpenStack 服务,并且您不想使用其中一个 Red Hat OpenStack Platform 订阅权利,则也可使用 overcloud-minimal 镜像。使用 overcloud-minimal 镜像选项以避免达到您购买的红帽订阅的极限。

要配置 director 使用 overcloud-minimal 镜像,创建包含以下镜像定义的环境文件:

parameter_defaults:
  <roleName>Image: overcloud-minimal

用角色名称替换 <roleName>,将 Image 附加到角色的名称上,然后将环境文件传递至部署命令。

例如,要对 Ceph storage 节点使用 overcloud-minimal 镜像,在 openstack overcloud deploy 命令中包括以下示例环境文件代码段:

parameter_defaults:
  CephStorageImage: overcloud-minimal
注意

overcloud-minimal 镜像仅支持标准 Linux 网桥,不支持 OVS,因为 OVS 需要 OpenStack 订阅权利的 OpenStack 服务。

6.7. 创建特定于架构的角色

构建多架构云时,必须将所有架构特定的角色添加到 roles_data.yaml 文件中。以下示例包括 ComputePPC64LE 角色和默认角色:

openstack overcloud roles generate \
    --roles-path /usr/share/openstack-tripleo-heat-templates/roles -o ~/templates/roles_data.yaml \
    Controller Compute ComputePPC64LE BlockStorage ObjectStorage CephStorage

创建自定义角色文件部分包含角色的相关信息。

6.8. 环境文件

undercloud 包括一组构成您的 overcloud 创建计划的 Heat 模板。您可以使用环境文件来自定义 overcloud 的各个方面,这些文件是 YAML 格式的文件,其内容可覆盖核心 Heat 模板集合中的参数和资源。您可以根据需要纳入多个环境文件。但是,环境文件的顺序非常重要,因为后续环境文件中定义的参数和资源更为优先。以下列表是环境文件顺序的示例:

  • 节点数和每个角色的类别。包含此信息对于创建 overcloud 至关重要。
  • 容器化 OpenStack 服务的容器镜像位置。
  • 任何网络隔离文件,首先是 heat 模板集合中的初始化文件 (environments/network-isolation.yaml),然后是您自定义的 NIC 配置文件,最后是任何额外的网络配置。有关更多信息,请参阅“高级 Overcloud 自定义”指南中的以下章节:

  • 使用外部负载均衡器时的所有外部负载平衡环境文件。有关更多信息,请参阅 Overcloud 的外部负载平衡
  • 任何存储环境文件,如 Ceph Storage、NFS、iSCSI 等。
  • 任何用于红帽 CDN 或 Satellite 注册的环境文件。
  • 任何其它自定义环境文件。

建议将自定义环境文件放在一个单独目录中,比如 templates 目录。

您可以使用高级 Overcloud 自定义指南为您的 overcloud 自定义高级功能。

重要

一个基本的 overcloud 会使用本地 LVM 存储作为块存储,这种配置不受支持。建议您使用外部存储解决方案(如 Red Hat Ceph Storage)来实现块存储。

注意

环境文件扩展名必须为 .yaml.template,否则不会被视为自定义模板资源。

接下来的几个部分包含有关创建 overcloud 所需的一些环境文件的信息。

6.9. 创建定义节点数目和类型的环境文件

默认情况下,director 部署具有 1 个 Controller 节点和 1 个 Compute 节点的 overcloud,节点的类型是 baremetal。不过,这仅适用于概念验证部署。您可以通过指定不同的节点数目和类型来覆盖默认配置。对于小规模的生产环境,您可以考虑至少 3 个 Controller 节点和 3 个 Compute 节点,并分配特定类别以确保节点具有正确的资源规范。完成以下步骤以创建名为 node-info.yaml 的环境文件,用于存储节点计数和类别分配。

步骤

  1. /home/stack/templates/ 目录中创建 node-info.yaml 文件:

    (undercloud) $ touch /home/stack/templates/node-info.yaml
  2. 编辑这个文件,使其包含您需要的节点数目和类型。此示例包含 3 个 Controller 节点和 3 个 Compute 节点:

    parameter_defaults:
      OvercloudControllerFlavor: control
      OvercloudComputeFlavor: compute
      ControllerCount: 3
      ComputeCount: 3

6.10. 创建 undercloud CA 信任的环境文件

如果您的 undercloud 使用 TLS,而证书颁发机构 (CA) 未获得公开信任,可将此 CA 用于 undercloud 操作的 SSL 端点加密。为确保其余部署可以访问 undercloud 端点,请将您的 overcloud 节点配置成信任 undercloud CA。

注意

要使这种方法奏效,overcloud 节点必须有一个指向 undercloud 公共端点的网络路由。依赖于脊叶型网络的部署可能需要应用这种配置。

有两种自定义证书可用于 undercloud:

  • 用户提供的证书 - 当您自行提供证书时,会应用此定义。证书可能来自于您自己的 CA,也可能是自签名的。这通过使用 undercloud_service_certificate 选项来传递。在这种情况下,您必须信任自签名证书,或 CA(具体取决于您的部署)。
  • 自动生成的证书 - 当您通过 certmonger 生成使用自己的本地 CA 的证书时,会应用此定义。这使用 undercloud.conf 文件中的 generate_service_certificate 选项启用。在这种情况下,director 在 /etc/pki/ca-trust/source/anchors/cm-local-ca.pem 生成 CA 证书,并配置 undercloud 的 HAProxy 实例以使用服务器证书。将 CA 证书添加到 inject-trust-anchor-hiera.yaml 文件中以将其呈现给 OpenStack Platform。

本例中使用了位于 /home/stack/ca.crt.pem 的一个自签名证书。如果您使用自动生成的证书,请改为使用 /etc/pki/ca-trust/source/anchors/cm-local-ca.pem

步骤

  1. 打开证书文件,仅复制证书部分。不要包括其密钥:

    $ vi /home/stack/ca.crt.pem

    您需要的证书部分与下方简写的示例类似:

    -----BEGIN CERTIFICATE-----
    MIIDlTCCAn2gAwIBAgIJAOnPtx2hHEhrMA0GCSqGSIb3DQEBCwUAMGExCzAJBgNV
    BAYTAlVTMQswCQYDVQQIDAJOQzEQMA4GA1UEBwwHUmFsZWlnaDEQMA4GA1UECgwH
    UmVkIEhhdDELMAkGA1UECwwCUUUxFDASBgNVBAMMCzE5Mi4xNjguMC4yMB4XDTE3
    -----END CERTIFICATE-----
  2. 创建一个名为 /home/stack/inject-trust-anchor-hiera.yaml 的 YAML 文件,其包含下列内容以及您从 PEM 文件复制而来的证书:

    parameter_defaults:
      CAMap:
        ...
        undercloud-ca:
          content: |
            -----BEGIN CERTIFICATE-----
            MIIDlTCCAn2gAwIBAgIJAOnPtx2hHEhrMA0GCSqGSIb3DQEBCwUAMGExCzAJBgNV
            BAYTAlVTMQswCQYDVQQIDAJOQzEQMA4GA1UEBwwHUmFsZWlnaDEQMA4GA1UECgwH
            UmVkIEhhdDELMAkGA1UECwwCUUUxFDASBgNVBAMMCzE5Mi4xNjguMC4yMB4XDTE3
            -----END CERTIFICATE-----
    注意

    证书字符串必须采用 PEM 格式。

在部署 overcloud 的过程中,CA 证书被复制到每个 overcloud 节点。因此,每个节点都会信任 undercloud 的 SSL 端点提供的加密。有关环境文件的更多信息,请参阅 第 6.13 节 “在 overcloud 部署中包括环境文件”

6.11. 部署命令

创建 OpenStack 环境的最后一个阶段是,运行 openstack overcloud deploy 命令以创建 overcloud。在运行此命令前,您应当已经熟悉关键的选项,以及如何纳入自定义的环境文件。

警告

请勿将 openstack overcloud deploy 作为后台进程运行。如果作为后台进程运行,overcloud 创建可能在部署过程中挂起。

6.12. 部署命令选项

下表列出 openstack overcloud deploy 命令的其他参数。

表 6.1. 部署命令选项

参数描述

--templates [TEMPLATES]

包括在部署过程中使用的 Heat 模板的目录。如果为空,命令会使用位于 /usr/share/openstack-tripleo-heat-templates/ 的默认模板。

--stack STACK

创建或更新的栈的名称

-t [TIMEOUT]--timeout [TIMEOUT]

部署超时时间(分钟)

--libvirt-type [LIBVIRT_TYPE]

hypervisor 使用的虚拟类型

--ntp-server [NTP_SERVER]

网络时间协议 (NTP) 服务器用于同步时间。您也可以在以逗号分隔的列表中指定多个 NTP 服务器,例如:--ntp-server 0.centos.pool.org,1.centos.pool.org。对于高可用性集群部署,重要的是各个控制器始终引用同一时间源。但请注意,通常的环境可能已经指定了符合公认规范的 NTP 时间源。

--no-proxy [NO_PROXY]

为环境变量 no_proxy 指定自定义值。 这个环境变量被用来在代理通讯中排除特定的主机名。

--overcloud-ssh-user OVERCLOUD_SSH_USER

定义访问 overcloud 节点的 SSH 用户。SSH 访问通常使用 heat-admin 用户。

-e [EXTRA HEAT TEMPLATE]--extra-template [EXTRA HEAT TEMPLATE]

传递给 overcloud 部署的额外环境文件。您可以多次指定此选项。请注意,传递到 openstack overcloud deploy 命令的环境文件顺序是非常重要的。例如,如果一个参数在多个环境文件中出现,则后续环境文件中的参数将覆盖前面文件中的同一参数。

--environment-directory

需要在部署中包括的环境文件所在的目录。部署命令以数字顺序,然后以字母顺序处理这些环境文件。

--validation-errors-nonfatal

overcloud 在创建过程中会执行一组部署前检查。如果部署前检查出现任何非严重错误,则此选项会退出创建。我们推荐使用此选项,因为任何错误都有可能造成部署失败。

--validation-warnings-fatal

overcloud 在创建过程中会执行一组部署前检查。如果部署前检查出现任何非关键警告,则此选项会退出创建。

--dry-run

对 overcloud 进行验证检查,但不实际创建 overcloud。

--skip-postconfig

跳过 overcloud 部署后配置。

--force-postconfig

强制进行 overcloud 部署后配置。

--skip-deploy-identifier

跳过生成 DeployIdentifier 参数的唯一标识符。软件配置部署步骤仅当配置发生实际更改时才会触发。使用此选项要非常谨慎,仅当您确信不需要运行软件配置(如扩展某些角色)时方可使用。

--answers-file ANSWERS_FILE

到带有选项和参数的 YAML 文件的路径。

--rhel-reg

把 overcloud 节点注册到客户门户或 Satellite 6。

--reg-method

overcloud 节点的注册方法。 satellite 代表 Red Hat Satellite 6 或 Red Hat Satellite 5,portal 代表客户门户。

--reg-org [REG_ORG]

用于注册的组织。

--reg-force

强制注册系统(即使已经注册过)。

--reg-sat-url [REG_SAT_URL]

注册 overcloud 节点的 Satellite 服务器的基本 URL。此参数需要使用 Satellite 的 HTTP URL 而不是 HTTPS URL。例如,使用 http://satellite.example.com 而不使用 https://satellite.example.com。overcloud 的创建过程会使用此 URL 来确定服务器是 Red Hat Satellite 5 还是 Red Hat Satellite 6 服务器。如果服务器是 Red Hat Satellite 6 服务器,则 overcloud 获取 katello-ca-consumer-latest.noarch.rpm 文件,使用 subscription-manager 注册,并安装 katello-agent。如果服务器是 Red Hat Satellite 5 服务器,则 overcloud 获取 RHN-ORG-TRUSTED-SSL-CERT 文件并使用 rhnreg_ks 注册。

--reg-activation-key [REG_ACTIVATION_KEY]

用于注册的激活码。

运行以下命令查看完整选项列表:

(undercloud) $ openstack help overcloud deploy

某些命令行参数已过时或已弃用,它们的功能可以通过环境文件的 parameter_defaults 部分中所包含的 Heat 模板参数实现。下表将已弃用的参数与 Heat 模板中的等效参数对应了起来。

表 6.2. 将被弃用的 CLI 参数映射到 Heat 模板参数

参数描述Heat 模板参数

--control-scale

扩展的 Controller 节点数量

ControllerCount

--compute-scale

扩展的 Compute 节点数量

ComputeCount

--ceph-storage-scale

扩展的 Ceph 节点数量

CephStorageCount

--block-storage-scale

扩展的 Cinder 节点数量

BlockStorageCount

--swift-storage-scale

扩展的 Swift 节点数量

ObjectStorageCount

--control-flavor

Controller 节点使用的 flavor

OvercloudControllerFlavor

--compute-flavor

Compute 节点使用的 flavor

overcloudComputeFlavor

--ceph-storage-flavor

Ceph 节点使用的 flavor

overcloudCephStorageFlavor

--block-storage-flavor

Cinder 节点使用的 flavor

overcloudBlockStorageFlavor

--swift-storage-flavor

Swift 存储节点使用的 flavor

overcloudSwiftStorageFlavor

--neutron-flat-networks

定义在 neutron 插件中配置的平面网络。默认是 "datacentre",允许外部网络创建

NeutronFlatNetworks

--neutron-physical-bridge

在每个虚拟机管理器上创建的 Open vSwitch 网桥。默认是“br-ex”。通常,这不需要更改

HypervisorNeutronPhysicalBridge

--neutron-bridge-mappings

要使用的逻辑网络到物理网桥的映射。默认是把主机上的外部网桥 (br-ex) 映射到一个物理名称 (datacentre)。您可以使用它作为默认的浮动网络

NeutronBridgeMappings

--neutron-public-interface

定义网络节点的 br-ex 中的网桥接口

NeutronPublicInterface

--neutron-network-type

neutron 的租户网络类型

NeutronNetworkType

--neutron-tunnel-types

Neutron 租户网络的隧道类型。使用逗号分隔的字符串可以指定多个值

NeutronTunnelTypes

--neutron-tunnel-id-ranges

可以用来进行租户网络分配的 GRE 隧道 ID 的范围

NeutronTunnelIdRanges

--neutron-vni-ranges

可以用来进行租户网络分配的 VXLAN VNI ID 范围

NeutronVniRanges

--neutron-network-vlan-ranges

支持的 Neutron ML2 和 Open vSwitch VLAN 映射范围。默认是在 datacentre 物理网络中允许任何 VLAN

NeutronNetworkVLANRanges

--neutron-mechanism-drivers

neutron 租户网络的机制驱动。默认值是 "openvswitch"。使用逗号分隔的字符串可以指定多个值

NeutronMechanismDrivers

--neutron-disable-tunneling

禁用隧道功能以在 Neutron 中使用 VLAN 分段网络或平面网络

无参数映射。

--validation-errors-fatal

overcloud 在创建过程中会执行一组部署前检查。在使用这个选项时,如果部署前检查出现任何严重错误,则会退出创建。我们推荐使用此选项,因为任何错误都有可能造成部署失败。

未进行参数映射

这些参数计划从未来的 Red Hat OpenStack Platform 版本中移除。

6.13. 在 overcloud 部署中包括环境文件

使用 -e 选项包括环境文件以自定义您的 overcloud。您可以根据需要纳入多个环境文件。但是,环境文件的顺序非常重要,因为后续环境文件中定义的参数和资源更为优先。以下列表是环境文件顺序的示例:

  • 节点数和每个角色的类别。包含此信息对于创建 overcloud 至关重要。
  • 容器化 OpenStack 服务的容器镜像位置。
  • 任何网络隔离文件,首先是 heat 模板集合中的初始化文件 (environments/network-isolation.yaml),然后是您自定义的 NIC 配置文件,最后是任何额外的网络配置。有关更多信息,请参阅“高级 Overcloud 自定义”指南中的以下章节:

  • 使用外部负载均衡器时的所有外部负载平衡环境文件。有关更多信息,请参阅 Overcloud 的外部负载平衡
  • 任何存储环境文件,如 Ceph Storage、NFS、iSCSI 等。
  • 任何用于红帽 CDN 或 Satellite 注册的环境文件。
  • 任何其它自定义环境文件。

使用 -e 选项添加的所有环境文件都会成为 overcloud 栈定义的一部分。

下例中的命令演示如何使用此场景中早前定义的环境文件来启动 overcloud 创建过程:

(undercloud) $ openstack overcloud deploy --templates \
  -e /home/stack/templates/node-info.yaml\
  -e /home/stack/containers-prepare-parameter.yaml \
  -e /home/stack/inject-trust-anchor-hiera.yaml
  -r /home/stack/templates/roles_data.yaml \

这个命令包括以下额外选项:

--templates
/usr/share/openstack-tripleo-heat-templates 中的 Heat 模板集合为基础来创建 overcloud
-e /home/stack/templates/node-info.yaml
添加环境文件以定义每种角色有多少个节点以及使用哪些类型。
-e /home/stack/containers-prepare-parameter.yaml
添加容器镜像准备环境文件。您在安装 undercloud 的过程中生成了此文件,可使用此文件创建 overcloud。
-e /home/stack/inject-trust-anchor-hiera.yaml
添加用于在 undercloud 中安装自定义证书的环境文件。
-r /home/stack/templates/roles_data.yaml
(可选)如果使用自定义角色或启用多架构云,这是生成的角色数据。有关更多信息,请参阅 第 6.7 节 “创建特定于架构的角色”

director 需要这些环境文件用于重新部署和部署后功能。没有正确包含这些文件可能会破坏您的 overcloud。

要在稍后阶段修改 overcloud 配置,请执行以下操作:

  1. 修改定制环境文件和 Heat 模板中的参数
  2. 使用相同的环境文件再次运行 openstack overcloud deploy 命令

不要直接编辑 overcloud 的配置,因为在使用 director 对 overcloud 栈进行更新时,这种手动配置会被 director 的配置覆盖。

6.14. 在部署前验证 overcloud 配置

在执行 overcloud 部署操作前,先验证您的 Heat 模板和环境文件,确认是否存在任何错误。

步骤

  1. overcloud 的 Heat 核心模板采用 Jinja2 格式。要验证您的模板,请使用以下命令呈现未采用 Jinja2 格式的版本:

    $ cd /usr/share/openstack-tripleo-heat-templates
    $ ./tools/process-templates.py -o ~/overcloud-validation
  2. 使用下列命令来验证模板语法:

    (undercloud) $ openstack orchestration template validate --show-nested \
      --template ~/overcloud-validation/overcloud.yaml
      -e ~/overcloud-validation/overcloud-resource-registry-puppet.yaml \
      -e [ENVIRONMENT FILE] \
      -e [ENVIRONMENT FILE]

    验证过程需要 overcloud-resource-registry-puppet.yaml 环境文件包括针对于 overcloud 的资源。使用 -e 选项为这个命令添加其他额外的环境文件。此外,还需包含 --show-nested 选项,以解析来自嵌套模板的参数。

  3. 验证命令识别模板中的任何语法错误。如果模板语法验证成功,该命令将返回生成的 overcloud 模板的预览。

6.15. Overcloud 部署输出

一旦 overcloud 创建完毕,director 会提供为配置 overcloud 而执行的 Ansible play 的总结:

PLAY RECAP *************************************************************
overcloud-compute-0     : ok=160  changed=67   unreachable=0    failed=0
overcloud-controller-0  : ok=210  changed=93   unreachable=0    failed=0
undercloud              : ok=10   changed=7    unreachable=0    failed=0

Tuesday 15 October 2018  18:30:57 +1000 (0:00:00.107) 1:06:37.514 ******
========================================================================

director 还会提供用于访问 overcloud 的详细信息。

Ansible passed.
Overcloud configuration completed.
Overcloud Endpoint: http://192.168.24.113:5000
Overcloud Horizon Dashboard URL: http://192.168.24.113:80/dashboard
Overcloud rc file: /home/stack/overcloudrc
Overcloud Deployed

6.16. 访问 overcloud

director 会生成脚本来配置和帮助认证 director 主机与 overcloud 的交互。director 将此文件保存为 stack 用户主目录的 overcloudrc 文件。运行以下命令来使用此文件:

(undercloud) $ source ~/overcloudrc

这将加载所需的环境变量,以便从 director 主机的 CLI 与 overcloud 交互。命令提示符的变化会显示当前状态:

(overcloud) $

要返回与 director 主机进行交互的状态,请运行以下命令:

(overcloud) $ source ~/stackrc
(undercloud) $

overcloud 中的每个节点还包含 heat-admin 用户。stack 用户有到每个节点上的此用户的 SSH 访问权限。要通过 SSH 访问某一节点,可查找相关节点的 IP 地址:

(undercloud) $ openstack server list

使用 heat-admin 用户和节点的 IP 地址连接到节点:

(undercloud) $ ssh heat-admin@192.168.24.23

6.17. 后续步骤

使用命令行工具创建 overcloud 的步骤到此结束。有关创建后功能,请参阅 第 9 章 执行 overcloud 安装后任务

第 7 章 使用预置备节点配置基本 overcloud

本章包含使用预置备节点配置 OpenStack Platform 环境的基本配置过程。这种情境与标准 overcloud 创建情境有所不同,具体体现在以下几个方面:

  • 您可以使用外部工具配置节点,让 director 仅控制 overcloud 的配置。
  • 您无需依赖 director 的配置方法,可直接使用节点。如果您想创建没有电源管理控制的 overcloud 或使用具有 DHCP/PXE 引导限制的网络,该方法很有用。
  • director 不使用 OpenStack Compute (nova)、OpenStack Bare Metal (ironic) 或者 OpenStack Image (glance) 来管理节点。
  • 预置备的节点可以使用不依赖于 QCOW2 overcloud-full 镜像的自定义置备布局。

这种情境仅包括没有自定义功能的基本配置。但是,您可以在此基本 overcloud 中添加高级配置选项并使用高级 Overcloud 自定义指南中的说明进行自定义,以符合您的规格。

重要

不支持在 overcloud 中组合预置备节点和 director 置备的节点。

7.1. 预置备节点要求

  • 第 4 章 安装 director中创建的 director 节点。
  • 一组作为节点的裸机。所需的节点数量由您需要创建的 overcloud 类型所决定。这些机器必须符合为每个节点类型设定的要求。这些节点需要 Red Hat Enterprise Linux 7.6 或更高版本作为主机操作系统安装。红帽建议使用最新的可用版本。
  • 用于管理预置备节点的一个网络连接。本情境需要具备对节点的不间断 SSH 访问权限以进行编配代理配置。
  • Control Plane 网络的一个网络连接。这种网络具备两种主要情境:

    • 将 Provisioning 网络用作 Control Plane,这种是默认情境。这个网络通常是从预置备节点到 director 的第 3 层 (L3) 可路由网络连接。本情境示例使用以下 IP 地址分配:

      表 7.1. Provisioning 网络 IP 分配信息

      节点名IP 地址

      Director

      192.168.24.1

      控制器 0

      192.168.24.2

      计算 0

      192.168.24.3

    • 使用单独的网络。如果 director 的 Provisioning 网络是私有非路由网络,则可从任何子网定义节点的 IP 地址,通过公共 API 端点与 director 通信。此情境有一些注意事项,本章稍后将在 第 7.6 节 “为预置备节点使用单独网络”中加以介绍。
  • 本示例中的所有其他网络类型使用 Control Plane 网络来提供 OpenStack 服务。不过,您可以为其他网络流量类型创建额外的网络。

7.2. 在预置备节点上创建用户

使用预置备节点配置 overcloud 时,director 需要以 stack 用户身份对 overcloud 节点进行 SSH 访问。要创建 stack 用户,请完成以下步骤。

步骤

  1. 在每个 overcloud 节点上,创建 stack 用户并在每个节点上设定密码。例如,在 Controller 节点上运行以下命令:

    [root@controller-0 ~]# useradd stack
    [root@controller-0 ~]# passwd stack  # specify a password
  2. 进行以下操作以使这个用户使用 sudo 时不需要输入密码:

    [root@controller-0 ~]# echo "stack ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/stack
    [root@controller-0 ~]# chmod 0440 /etc/sudoers.d/stack
  3. 在所有预置备节点上创建并配置 stack 用户后,将 stack 用户的公共 SSH 密钥从 director 节点复制到每个 overcloud 节点。例如,要将 director 的公共 SSH 密钥复制到 Controller 节点,请运行以下命令:

    [stack@director ~]$ ssh-copy-id stack@192.168.24.2

7.3. 为预置备节点注册操作系统

每个节点需要具备访问红帽订阅的权限。在每个节点上完成以下步骤,将每个相应节点注册到 Red Hat Content Delivery Network 中。

步骤

  1. 运行注册命令,按照提示输入您的客户门户用户名和密码:

    [root@controller-0 ~]# sudo subscription-manager register
  2. 查找 Red Hat OpenStack Platform 15 的权利池:

    [root@controller-0 ~]# sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
  3. 使用上一步中的池 ID 以附加 Red Hat OpenStack Platform 15 权利:

    [root@controller-0 ~]# sudo subscription-manager attach --pool=pool_id
  4. 禁用所有默认软件仓库:

    [root@controller-0 ~]# sudo subscription-manager repos --disable=*
  5. 启用所需的 Red Hat Enterprise Linux 软件仓库。

    1. 对于 x86_64 系统,请运行:

      [root@controller-0 ~]# sudo subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms --enable=rhel-8-for-x86_64-appstream-rpms --enable=rhel-8-for-x86_64-highavailability-rpms --enable=ansible-2.8-for-rhel-8-x86_64-rpms --enable=openstack-15-for-rhel-8-x86_64-rpms --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms--enable=rhceph-4-mon-for-rhel-8-x86_64-rpms --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=advanced-virt-for-rhel-8-x86_64-rpms
    2. 对于 POWER 系统,请运行:

      [root@controller-0 ~]# sudo subscription-manager repos --enable=rhel-8-for-ppc64le-baseos-rpms --enable=rhel-8-for-ppc64le-appstream-rpms --enable=rhel-8-for-ppc64le-highavailability-rpms --enable=ansible-2.8-for-rhel-8-ppc64le-rpms --enable=openstack-15-for-rhel-8-ppc64le-rpms --enable=advanced-virt-for-rhel-8-ppc64le-rpms
    重要

    仅启用列出的软件仓库。其他软件仓库可能导致软件包和软件冲突。请勿启用任何其他软件仓库。

  6. 更新您的系统,确保您具备最新的基础系统软件包:

    [root@controller-0 ~]# sudo yum update -y
    [root@controller-0 ~]# sudo reboot

节点现在可供您的 overcloud 使用。

7.4. 配置对 director 的 SSL/TLS 访问权限

如果 director 使用 SSL/TLS,那么预置备节点需要用于签署 director 的 SSL/TLS 证书的证书授权机构文件。如果使用自己的证书颁发机构(CA),请在每个 overcloud 节点上执行以下操作。

步骤

  1. 将证书授权机构文件复制到各预置备节点上的 /etc/pki/ca-trust/source/anchors/ 目录中。
  2. 在每个 overcloud 节点上运行以下命令:

    [root@controller-0 ~]#  sudo update-ca-trust extract

这些步骤将确保 overcloud 节点可以通过 SSL/TLS 访问 director 的公共 API。

7.5. 配置 control plane 网络

预置备 overcloud 节点使用标准 HTTP 请求从 director 获取元数据。这表示所有 overcloud 节点都需要 L3 权限来访问以下之一:

  • Director 的 Control Plane 网络,这是在 undercloud.conf 文件中使用 network_cidr 参数定义的子网。overcloud 节点需要对该子网的直接访问权限或对该子网的可路由访问权限。
  • director 的公共 API 端点,由 undercloud.conf 文件中的 undercloud_public_host 参数指定。如果没有指向 Control Plane 的 L3 路由或希望使用 SSL/TLS 通信,则此选项可用。有关配置 overcloud 节点以使用公共 API 端点的更多信息,请参阅 第 7.6 节 “为预置备节点使用单独网络”

Director 使用 Control Plane 网络管理和配置标准 overcloud。对于具有预置备节点的 overcloud,可能需要对您的网络配置进行修改以适应 director 和预置备节点之间的通信。

使用网络隔离

您可以使用网络隔离分组服务以使用特定网络,包括 Control Plane。高级 Overcloud 自定义指南中有多个网络隔离策略。您可以为 control plane 上的节点定义特定 IP 地址。有关隔离网络和创建可预测节点放置策略的更多信息,请参阅高级 Overcloud 自定义指南中的以下章节:

注意

如果使用网络隔离,请确保您的 NIC 模板不包括用于 undercloud 访问的 NIC。这些模板可能会重新配置 NIC,这会导致在部署过程中出现连接和配置问题。

分配 IP 地址

如果不使用网络隔离,则可使用一个 Control Plane 网络管理所有服务。这需要手动配置每个节点的 Control Plane NIC,以便使用 Control Plane 网络范围内的 IP 地址。如果将 director 的 Provisioning 网络用作 Control Plane,请确保所选的 overcloud IP 地址不在置备(dhcp_startdhcp_end)和内省 (inspection_iprange) DHCP 范围之内。

在创建标准 overcloud 期间,director 将创建 OpenStack Networking (neutron) 端口并为 Provisioning/Control Plane 网络上的 overcloud 节点自动分配 IP 地址。但是,这可能导致 director 分配的地址与您为每个节点手动配置的 IP 地址不同。在这种情况下,使用可预测的 IP 地址策略来强制 director 使用 Control Plane 上的预置备 IP 分配。

例如,您可以使用具有以下 IP 分配的环境文件 ctlplane-assignments.yaml 来实现一个可预测的 IP 策略:

resource_registry:
  OS::TripleO::DeployedServer::ControlPlanePort: /usr/share/openstack-tripleo-heat-templates/deployed-server/deployed-neutron-port.yaml

parameter_defaults:
  DeployedServerPortMap:
    controller-0-ctlplane:
      fixed_ips:
        - ip_address: 192.168.24.2
      subnets:
        - cidr: 24
    compute-0-ctlplane:
      fixed_ips:
        - ip_address: 192.168.24.3
      subnets:
        - cidr: 24

在本示例中,OS::TripleO::DeployedServer::ControlPlanePort 资源将一组参数传递至 director,并为预置备的节点定义 IP 分配。DeployedServerPortMap 参数定义与每个 overcloud 节点对应的 IP 地址和子网 CIDR。映射定义以下属性:

  1. 分配名称,其格式为 <node_hostname>-<network>,其中 <node_hostname> 值与节点的短主机名匹配,<network> 与网络的小写名称匹配。例如:controller-0-ctlplane 用于 controller-0.example.comcompute-0-ctlplane 用于 compute-0.example.com
  2. IP 分配,它采用以下参数形式:

    • fixed_ips/ip_address - 为 control plane 指定固定的 IP 地址。使用 ip_address 列表中的多个参数来定义多个 IP 地址。
    • subnets/cidr - 定义子网的 CIDR 值。

本章后面部分使用生成的环境文件 (ctlplane-assignments.yaml) 作为 openstack overcloud deploy 命令的一部分。

7.6. 为预置备节点使用单独网络

默认情况下,director 使用 Provisioning 网络作为 overcloud Control Plane。但是,如果此网络被隔离且不可路由,则节点在配置期间不能与 director 的内部 API 通讯。在这种情况下,您可能需要为节点指定一个单独的网络,并进行配置,以便通过公共 API 与 director 通讯。

对于此情境,有几个需要满足的要求:

  • overcloud 节点必须可以容纳 <configuring-networking-for-the-control-plane>> 中的基本网络配置。
  • 您必须在 director 上启用 SSL/TLS,以便使用公共 API 端点。有关更多信息,请参见 第 4.2 节 “Director 配置参数”第 16 章 配置自定义 SSL/TLS 证书
  • 您必须为 director 指定一个可访问的完全限定域名(FQDN)。此 FQDN 必须解析为 director 的可路由 IP 地址。使用 undercloud.conf 文件中的 undercloud_public_host 参数来设置这个 FQDN。

本节中的示例使用了与主要情境不同的 IP 地址分配:

表 7.2. Provisioning 网络 IP 分配信息

节点名IP 地址或 FQDN

Director(内部 API)

192.168.24.1 (Provisioning 网络和 Control Plane)

Director(公共 API)

10.1.1.1 / director.example.com

overcloud 虚拟 IP

192.168.100.1

控制器 0

192.168.100.2

计算 0

192.168.100.3

以下章节为需要单独的 overcloud 节点网络的情境提供额外配置。

IP 地址分配

IP 分配的方法类似于 第 7.5 节 “配置 control plane 网络”。但是,由于无法从部署的服务器路由到 Control Plane,您必须使用 DeployedServerPortMap 参数从所选的 overcloud 节点子网分配 IP 地址,包括访问 Control Plane 的虚拟 IP 地址。以下示例是容纳此网络架构的 第 7.5 节 “配置 control plane 网络”中的 ctlplane-assignments.yaml 环境文件的修改版本:

resource_registry:
  OS::TripleO::DeployedServer::ControlPlanePort: /usr/share/openstack-tripleo-heat-templates/deployed-server/deployed-neutron-port.yaml
  OS::TripleO::Network::Ports::ControlPlaneVipPort: /usr/share/openstack-tripleo-heat-templates/deployed-server/deployed-neutron-port.yaml
  OS::TripleO::Network::Ports::RedisVipPort: /usr/share/openstack-tripleo-heat-templates/network/ports/noop.yaml 1

parameter_defaults:
  NeutronPublicInterface: eth1
  EC2MetadataIp: 192.168.100.1 2
  ControlPlaneDefaultRoute: 192.168.100.1
  DeployedServerPortMap:
    control_virtual_ip:
      fixed_ips:
        - ip_address: 192.168.100.1
      subnets:
        - cidr: 24
    controller-0-ctlplane:
      fixed_ips:
        - ip_address: 192.168.100.2
      subnets:
        - cidr: 24
    compute-0-ctlplane:
      fixed_ips:
        - ip_address: 192.168.100.3
      subnets:
        - cidr: 24
1
RedisVipPort 资源被映射至 network/ports/noop.yaml。由于默认 Redis VIP 地址来自 Control Plane,因此该映射是必要的。在这种情况下,我们使用 noop 来禁用这种 Control Plane 映射。
2
EC2MetadataIpControlPlaneDefaultRoute 参数被设置为 Control Plane 虚拟 IP 地址的值。默认的 NIC 配置模板需要这些参数,且您必须将它们设置为可 ping 通的 IP 地址,以便通过部署期间执行的验证。或者,自定义 NIC 配置,使它们无需使用这些参数。

7.7. 映射预置备的节点主机名

配置预置备节点时,必须将基于 Heat 的主机名映射到实际主机名,以便 ansible-playbook 能够到达可解析主机。请使用 HostnameMap 来映射这些值。

步骤

  1. 创建环境文件,例如 hostname-map.yaml,并包括 HostnameMap 参数和主机名映射。请遵循以下语法:

    parameter_defaults:
      HostnameMap:
        [HEAT HOSTNAME]: [ACTUAL HOSTNAME]
        [HEAT HOSTNAME]: [ACTUAL HOSTNAME]

    [HEAT HOSTNAME] 通常符合以下惯例:[STACK NAME]-[ROLE]-[INDEX]

    parameter_defaults:
      HostnameMap:
        overcloud-controller-0: controller-00-rack01
        overcloud-controller-1: controller-01-rack02
        overcloud-controller-2: controller-02-rack03
        overcloud-novacompute-0: compute-00-rack01
        overcloud-novacompute-1: compute-01-rack01
        overcloud-novacompute-2: compute-02-rack01
  2. 保存 hostname-map.yaml 文件。

7.8. 为预置备节点配置 Ceph Storage

在 undercloud 主机上完成以下步骤,为已部署的节点配置 ceph-ansible

步骤

  1. 在 undercloud 主机上,创建环境变量 OVERCLOUD_HOSTS,并将该变量设置为您要用作 Ceph 客户端的 overcloud 主机的 IP 地址列表(以空格分隔):

    export OVERCLOUD_HOSTS="192.168.1.8 192.168.1.42"
  2. 运行 enable-ssh-admin.sh 脚本,以在 Ansible 可用于配置 Ceph 客户端的 overcloud 节点上配置用户:

    bash /usr/share/openstack-tripleo-heat-templates/deployed-server/scripts/enable-ssh-admin.sh

运行 openstack overcloud deploy 命令时,Ansible 配置您在 OVERCLOUD_HOSTS 变量中定义为 Ceph 客户端的主机。

7.9. 利用预置备节点创建 overcloud

overcloud 部署使用 第 6.11 节 “部署命令”中的标准 CLI 方法。对于预置备的节点,该部署命令需要使用来自核心 Heat 模板集的一些额外选项和环境文件:

  • --disable-validations - 禁止对未用于预置备基础架构的服务执行基本的 CLI 验证功能,否则,部署将失败。
  • environments/deployed-server-environment.yaml - 用于创建和配置预置备基础架构的主要环境文件。这种环境文件用 OS::Heat::DeployedServer 资源代替 OS::Nova::Server 资源。
  • environments/deployed-server-bootstrap-environment-rhel.yaml -用于在预置备服务器上执行启动引导脚本的环境文件。此脚本安装额外软件包,并包括 overcloud 节点的基本配置。
  • environments/deployed-server-pacemaker-environment.yaml - 用于在预置备 Controller 节点上进行 Pacemaker 配置的环境文件。此文件的注册资源的命名空间使用来自 deployed-server/deployed-server-roles-data.yaml 的 Controller 角色名称,默认为 ControllerDeployedServer
  • deployed-server/deployed-server-roles-data.yaml - 一个示例自定义角色文件。这个文件复制了默认的 roles_data.yaml,且还为每个角色包括了 disable_constraints: True 参数。这个参数在生成的角色模板中禁用编配限制。这些限制适用于预置备基础架构不使用的服务。

    如果您想使用自定义角色文件,请确保为每个角色包括 disable_constraints: True 参数:

    - name: ControllerDeployedServer
      disable_constraints: True
      CountDefault: 1
      ServicesDefault:
        - OS::TripleO::Services::CACerts
        - OS::TripleO::Services::CephMon
        - OS::TripleO::Services::CephExternal
        - OS::TripleO::Services::CephRgw
        ...

以下命令是示例 overcloud 部署命令,且环境文件特定于预置备的架构:

$ source ~/stackrc
(undercloud) $ openstack overcloud deploy \
  [other arguments] \
  --disable-validations \
  -e /usr/share/openstack-tripleo-heat-templates/environments/deployed-server-environment.yaml \
  -e /usr/share/openstack-tripleo-heat-templates/environments/deployed-server-bootstrap-environment-rhel.yaml \
  -e /usr/share/openstack-tripleo-heat-templates/environments/deployed-server-pacemaker-environment.yaml \
  -e /home/stack/templates/hostname-map.yaml /
  -r /usr/share/openstack-tripleo-heat-templates/deployed-server/deployed-server-roles-data.yaml
  --overcloud-ssh-user stack \
  --overcloud-ssh-key ~/.ssh/id_rsa \
  [OTHER OPTIONS]

--overcloud-ssh-user--overcloud-ssh-key 选项用于在配置阶段通过 SSH 连接每个 overcloud 节点,创建初始 tripleo-admin 用户,以及将 SSH 密钥注入 /home/tripleo-admin/.ssh/authorized_keys。要注入 SSH 密钥,请为初始 SSH 连接注入包含 --overcloud-ssh-user--overcloud-ssh-key(默认为 ~/.ssh/id_rsa)的凭据。为了避免暴露使用 --overcloud-ssh-key 选项指定的私钥,director 不会将该密钥传递给任何 API 服务,如 Heat 或 Mistral,而只有 director 的 openstack overcloud deploy 命令使用此密钥为 tripleo-admin 用户启用访问权限。

7.10. Overcloud 部署输出

一旦 overcloud 创建完毕,director 会提供为配置 overcloud 而执行的 Ansible play 的总结:

PLAY RECAP *************************************************************
overcloud-compute-0     : ok=160  changed=67   unreachable=0    failed=0
overcloud-controller-0  : ok=210  changed=93   unreachable=0    failed=0
undercloud              : ok=10   changed=7    unreachable=0    failed=0

Tuesday 15 October 2018  18:30:57 +1000 (0:00:00.107) 1:06:37.514 ******
========================================================================

director 还会提供用于访问 overcloud 的详细信息。

Ansible passed.
Overcloud configuration completed.
Overcloud Endpoint: http://192.168.24.113:5000
Overcloud Horizon Dashboard URL: http://192.168.24.113:80/dashboard
Overcloud rc file: /home/stack/overcloudrc
Overcloud Deployed

7.11. 访问 overcloud

director 会生成脚本来配置和帮助认证 director 主机与 overcloud 的交互。director 将此文件保存为 stack 用户主目录的 overcloudrc 文件。运行以下命令来使用此文件:

(undercloud) $ source ~/overcloudrc

这将加载所需的环境变量,以便从 director 主机的 CLI 与 overcloud 交互。命令提示符的变化会显示当前状态:

(overcloud) $

要返回与 director 主机进行交互的状态,请运行以下命令:

(overcloud) $ source ~/stackrc
(undercloud) $

overcloud 中的每个节点还包含 heat-admin 用户。stack 用户有到每个节点上的此用户的 SSH 访问权限。要通过 SSH 访问某一节点,可查找相关节点的 IP 地址:

(undercloud) $ openstack server list

使用 heat-admin 用户和节点的 IP 地址连接到节点:

(undercloud) $ ssh heat-admin@192.168.24.23

7.12. 扩展预置备节点

扩展预置备节点的流程与 第 13 章 扩展 overcloud 节点中的标准扩展流程类似。但是,添加新预置备节点的流程却不相同,这是因为预置备节点不从 OpenStack Bare Metal (ironic) 和 OpenStack Compute (nova) 使用标准注册和管理流程。

扩展预置备节点

使用预置备节点扩展 overcloud 时,必须在每个节点上配置编配代理以对应 director 的节点计数。

执行以下操作以扩展 overcloud 节点:

  1. 根据 第 7.1 节 “预置备节点要求”准备新预置备节点。
  2. 扩展节点。有关这些说明,请参阅 第 13 章 扩展 overcloud 节点
  3. 在执行部署命令后,等待 director 创建新的节点资源并启动配置。

缩减预置备节点

使用预置备节点缩减 overcloud 时,正常遵循 第 13 章 扩展 overcloud 节点所示的缩减说明。

在大多数扩展操作中,必须获取您想删除的节点的 UUID 值,并将该值传递给 openstack overcloud node delete 命令。要获取此 UUID,请列出供特定角色使用的资源:

$ openstack stack resource list overcloud -c physical_resource_id -c stack_name -n5 --filter type=OS::TripleO::<RoleName>Server

用您想缩减的角色的实际名称替换 <RoleName>。例如,对于 ComputeDeployedServer 角色,请运行以下命令:

$ openstack stack resource list overcloud -c physical_resource_id -c stack_name -n5 --filter type=OS::TripleO::ComputeDeployedServerServer

使用命令输出中的 stack_name 列来识别与各个节点相关的 UUID。stack_name 在 Heat 资源组中包括节点的索引的整数值:

+------------------------------------+----------------------------------+
| physical_resource_id               | stack_name                       |
+------------------------------------+----------------------------------+
| 294d4e4d-66a6-4e4e-9a8b-           | overcloud-ComputeDeployedServer- |
| 03ec80beda41                       | no7yfgnh3z7e-1-ytfqdeclwvcg      |
| d8de016d-                          | overcloud-ComputeDeployedServer- |
| 8ff9-4f29-bc63-21884619abe5        | no7yfgnh3z7e-0-p4vb3meacxwn      |
| 8c59f7b1-2675-42a9-ae2c-           | overcloud-ComputeDeployedServer- |
| 2de4a066f2a9                       | no7yfgnh3z7e-2-mmmaayxqnf3o      |
+------------------------------------+----------------------------------+

stack_name 列中的索引 0、1 或 2 对应于 Heat 资源组中的节点次序。将 physical_resource_id 列中的对应 UUID 值传递到 openstack overcloud node delete 命令。

从堆栈中移除 overcloud 节点之后,关闭这些节点。在标准部署中,director 上的裸机服务控制此功能。但是,如果使用预置备节点,您必须手动关闭这些节点,或使用每个物理系统的电源管理控制。从堆栈中移除节点之后,如果您不关闭它们,它们可能保持运行,并作为 overcloud 环境的组成部分重新连接。

关闭移除的节点后,将其重新置备为基础操作系统配置,以免它们未来意外加入 overcloud。

注意

在将之前已经从 overcloud 移除的节点重新部署到新的基础操作系统之前,不要尝试再次使用它们。缩减流程只从 overcloud 堆栈移除节点,不会卸载任何软件包。

7.13. 移除预置备 overcloud

要移除使用预置备节点的整个 overcloud,请参阅 第 10.5 节 “移除 overcloud”获取标准 overcloud 移除流程。移除 overcloud 后,关闭所有节点并将其重新置备为基础操作系统配置。

注意

在将之前已经从 overcloud 移除的节点重新部署到新的基础操作系统之前,不要尝试再次使用它们。移除流程只删除 overcloud 堆栈,不会卸载任何软件包。

7.14. 后续步骤

通过预置备节点创建 overcloud 的流程到此结束。有关创建后功能,请参阅 第 9 章 执行 overcloud 安装后任务

第 8 章 部署多个 overcloud

重要

该功能在此发行版本中作为技术预览提供,因此不享有红帽的全面支持。它只应用于测试,不应部署在生产环境中。有关技术预览功能的更多信息,请参阅覆盖范围详细信息

您可以使用一个 undercloud 节点部署并管理多个 overcloud。每个 overcloud 都是唯一的 Heat 栈,不共享堆栈资源。如果 undercloud 和 overcloud 的比率为 1:1 时会造成无法管理的 overclound 数量时,可以使用该方法。例如,Edge、多站点和多产品环境。

多 overcloud 情境中的 overcloud 环境是完全独立的,您可以使用 source 命令切换环境。如果您使用 Ironic 进行裸机置备,则所有 overcloud 都必须在同一置备网络中。如果无法使用同一置备网络,则可使用部署的服务器方法使用路由的网络部署多个 overcloud,从而确保 HostnameMap 参数中的值与每个 overcloud 的堆栈名称匹配。

基本流程如下:

部署 undercloud
正常部署 undercloud。有关更多信息,请参见 第 I 部分 “director 的安装和配置”
部署第一个 overcloud
正常部署第一个 overcloud。有关更多信息,请参见 第 II 部分 “基本的 Overcloud 部署”
部署额外 overcloud
为新 overcloud 创建一组新环境文件。运行部署命令,指定核心 heat 模板以及新配置文件和新 stack 名称。

8.1. 部署额外 overcloud

在此示例中,overcloud-one 是已存在的 overcloud。完成以下步骤以部署新 overcloud overcloud-two

先决条件

开始部署额外 overcloud 之前,请确保您的环境包含以下配置:

  • 成功的 undercloud 和 overcloud 部署。
  • 可用于额外 overcloud 的节点。
  • 为额外 overcloud 自定义网络,使得每个 overcloud 在生成的堆栈中都有唯一的网络。

步骤

  1. 为您想部署的额外 overcloud 创建新目录:

    $ mkdir ~/overcloud-two
  2. 在新目录中,创建特定于额外 overcloud 要求的新环境文件,并从现有 overcloud 中复制所有相关环境文件:

    $ cp network-data.yaml ~/overcloud-two/network-data.yaml
    $ cp network-environment.yaml ~/overcloud-two/network-environment.yaml
  3. 根据新 overcloud 的规范修改环境文件。例如,现有 overcloud 的名称为 overcloud-one 并使用您在 network-data.yaml 环境文件中定义的 VLAN:

    - name: InternalApi
      name_lower: internal_api_cloud_1
      service_net_map_replace: internal_api
      vip: true
      vlan: 20
      ip_subnet: '172.17.0.0/24'
      allocation_pools: [{'start': '172.17.0.4', 'end': '172.17.0.250'}]
      ipv6_subnet: 'fd00:fd00:fd00:2000::/64'
      ipv6_allocation_pools: [{'start': 'fd00:fd00:fd00:2000::10', 'end': 'fd00:fd00:fd00:2000:ffff:ffff:ffff:fffe'}]
      mtu: 1500
    - name: Storage
      ...

    新 overcloud 的名称为 overcloud-two 并使用不同的 VLAN。编辑 ~/overcloud-two/network-data.yaml 环境文件并包括每个子网的新 VLAN ID。您还必须定义一个唯一的 name_lower 值,并将 service_net_map_replace 属性设置为您要替换的网络名称:

    - name: InternalApi
      name_lower: internal_api_cloud_2
      service_net_map_replace: internal_api
      vip: true
      vlan: 21
      ip_subnet: '172.21.0.0/24'
      allocation_pools: [{'start': '172.21.0.4', 'end': '172.21.0.250'}]
      ipv6_subnet: 'fd00:fd00:fd00:2001::/64'
      ipv6_allocation_pools: [{'start': 'fd00:fd00:fd00:2001::10', 'end': 'fd00:fd00:fd00:2001:ffff:ffff:ffff:fffe'}]
      mtu: 1500
    - name: Storage
      ...
  4. 修改 ~/overcloud-two/network-environment.yaml 文件中的以下参数:

    • ExternalNetValueSpecs 参数的 {'provider:physical_network'} 属性中输入一个唯一值,使得 overcloud-two 具有不同的外部网络,并使用 'provider:network_type' 属性定义网络类型。
    • ExternalInterfaceDefaultRoute 参数设置为外部网络网关的 IP 地址,使 overcloud 拥有外部访问权限。
    • DnsServers 参数设置为 DNS 服务器的 IP 地址,使 overcloud 能够到达 DNS 服务器。

      parameter_defaults:
        ...
        ExternalNetValueSpecs: {'provider:physical_network': 'external_2', 'provider:network_type': 'flat'}
        ExternalInterfaceDefaultRoute: 10.0.10.1
        DnsServers:
          - 10.0.10.2
        ...
  5. 运行 openstack overcloud deploy 命令。使用 --templates 选项指定核心 heat 模板集,使用 --stack 选项指定新 stack 名称,并从 ~/overcloud-two 目录指定所有新环境文件:

    $ openstack overcloud deploy --templates \
        --stack overcloud-two \
        ...
        -n ~/overcloud-two/network-data.yaml \
        -e ~/overcloud-two/network-environment.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/net-single-nic-with-vlans.yaml \
        ...

每个 overcloud 都有一个唯一的凭据文件。在此示例中,部署过程为 overcloud-one 创建 overcloud-onerc,为 overcloud-two 创建 overcloud-tworc。要与任一 overcloud 交互,必须获取正确的凭据文件。例如,要获取第一个 overcloud 的凭据,可运行以下命令:

$ source overcloud-onerc

8.2. 管理多个 overcloud

您部署的每个 overcloud 都使用一组相同的核心 heat 模板 /usr/share/openstack-tripleo-heat-templates。红帽建议不要修改或复制这些模板,因为使用非标准核心模板集可能引入更新和升级问题。

相反,在部署或维护多个 overcloud 时,为了便于管理,创建特定于每个云的环境文件的单独目录。为每个云运行部署命令时,将核心 heat 模板与您单独创建的特定于云的环境文件一起包括在内。例如,为 undercloud 和两个 overcloud 创建以下目录:

~stack/undercloud
包含特定于 undercloud 的环境文件。
~stack/overcloud-one
包含特定于第一个 overcloud 的环境文件。
~stack/overcloud-two
包含特定于第二个 overcloud 的环境文件。

部署或重新部署 overcloud-oneovercloud-two 时,使用 --templates 选项在部署命令中包括核心 heat 模板,然后从云特定的环境文件目录中指定任何额外环境文件。

或者,在版本控制系统中创建软件仓库,并对每个部署使用分支。有关更多信息,请参阅高级 Overcloud 自定义指南中的使用自定义核心 Heat 模板部分。

使用以下命令查看可用的 overcloud 计划列表:

$ openstack overcloud plan list

使用以下命令查看当前部署的 overcloud 列表:

$ openstack stack list

部分 III. 部署后操作

第 9 章 执行 overcloud 安装后任务

本章介绍创建 overcloud 后要立即执行的任务。这些任务可确保您的 overcloud 随时可用。

9.1. 检查 overcloud 部署状态

要检查 overcloud 的部署状态,可使用 openstack overcloud status 命令。此命令返回所有部署步骤的结果。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 运行部署状态命令:

    $ openstack overcloud status

    此命令的输出显示 overcloud 的状态:

    +-----------+---------------------+---------------------+-------------------+
    | Plan Name |       Created       |       Updated       | Deployment Status |
    +-----------+---------------------+---------------------+-------------------+
    | overcloud | 2018-05-03 21:24:50 | 2018-05-03 21:27:59 |   DEPLOY_SUCCESS  |
    +-----------+---------------------+---------------------+-------------------+

    如果您的 overcloud 使用其他名称,请使用 --plan 参数来选择具有不同名称的 overcloud:

    $ openstack overcloud status --plan my-deployment

9.2. 创建基本 overcloud 类别

本指南中的步骤假定您的安装中包含有类型 (flavor)。如果您尚未创建任何 flavor,请使用以下命令创建一组具有多种存储和处理功能的基本默认 flavor:

步骤

  1. 获取 overcloudrc 文件:

    $ source ~/overcloudrc
  2. 运行 openstack flavor create 命令以创建类别。以下选项指定每种类别的硬件要求:

    --disk
    为虚拟机卷定义硬盘空间。
    --ram
    定义虚拟机所需的 RAM。
    --vcpus
    定义虚拟机的虚拟 CPU 的数量。
  3. 以下示例创建默认 overcloud 类别:

    $ openstack flavor create m1.tiny --ram 512 --disk 0 --vcpus 1
    $ openstack flavor create m1.smaller --ram 1024 --disk 0 --vcpus 1
    $ openstack flavor create m1.small --ram 2048 --disk 10 --vcpus 1
    $ openstack flavor create m1.medium --ram 3072 --disk 10 --vcpus 2
    $ openstack flavor create m1.large --ram 8192 --disk 10 --vcpus 4
    $ openstack flavor create m1.xlarge --ram 8192 --disk 10 --vcpus 8
注意

使用 $ openstack flavor create --help 来进一步了解 openstack flavor create 命令。

9.3. 创建默认租户网络

overcloud 需要默认租户网络,以便虚拟机在内部通信。

步骤

  1. 获取 overcloudrc 文件:

    $ source ~/overcloudrc
  2. 创建默认租户网络:

    (overcloud) $ openstack network create default
  3. 在网络中创建一个子网:

    (overcloud) $ openstack subnet create default --network default --gateway 172.20.1.1 --subnet-range 172.20.0.0/16
  4. 确认所创建的网络:

    (overcloud) $ openstack network list
    +-----------------------+-------------+--------------------------------------+
    | id                    | name        | subnets                              |
    +-----------------------+-------------+--------------------------------------+
    | 95fadaa1-5dda-4777... | default     | 7e060813-35c5-462c-a56a-1c6f8f4f332f |
    +-----------------------+-------------+--------------------------------------+

这些命令创建名为 default 的基本 Neutron 网络。overcloud 自动使用内部 DHCP 机制将此网络中的 IP 地址分配给虚拟机。

9.4. 创建默认浮动 IP 网络

此步骤介绍如何在 overcloud 上创建外部网络。此网络提供浮动 IP 地址,以便用户能够在 overcloud 外部访问虚拟机。

此步骤提供两个示例:

  • 原生 VLAN(扁平网络)
  • 非原生 VLAN(VLAN 网络)

使用最适合您环境的示例。

这两个示例都涉及使用名称 public 创建网络。overcloud 需要将这一特定名称用于默认的浮动 IP 池。此名称对于 第 9.7 节 “验证 overcloud”中的验证测试也很重要。

默认情况下,Openstack Networking (neutron) 将称为 datacentre 的物理网络名称映射到主机节点上的 br-ex 网桥。您将公共 overcloud 网络连接到物理 datacentre,这将通过 br-ex 网桥提供网关。

此步骤假定专用接口或原生 VLAN 用于浮动 IP 网络。

步骤

  1. 获取 overcloudrc 文件:

    $ source ~/overcloudrc
  2. 创建公共网络:

    • 创建扁平网络获取原生 VLAN 连接:

      (overcloud) $ openstack network create public --external --provider-network-type flat --provider-physical-network datacentre
    • 创建 vlan 网络获取非原生 VLAN 连接:

      (overcloud) $ openstack network create public --external --provider-network-type vlan --provider-physical-network datacentre --provider-segment 201

      --provider-segment 值定义要使用的 VLAN。在这种情况下,它是 201。

  3. 使用浮动 IP 地址分配池创建子网。本例中,IP 范围为 10.1.1.5110.1.1.250

    (overcloud) $ openstack subnet create public --network public --dhcp --allocation-pool start=10.1.1.51,end=10.1.1.250 --gateway 10.1.1.1 --subnet-range 10.1.1.0/24

    确保此范围与外部网络中的其他 IP 地址不冲突。

9.5. 创建默认提供商网络

另一类型的外部网络连接中将流量从私有租户网络路由到外部基础架构网络的提供商网络。该网络类似于浮动 IP 网络,但提供商网络使用逻辑路由器将私有网络连接到提供商网络。

此步骤提供两个示例:

  • 原生 VLAN(扁平网络)
  • 非原生 VLAN(VLAN 网络)

使用最适合您环境的示例。

默认情况下,Openstack Networking (neutron) 将称为 datacentre 的物理网络名称映射到主机节点上的 br-ex 网桥。您将公共 overcloud 网络连接到物理 datacentre,这将通过 br-ex 网桥提供网关。

步骤

  1. 获取 overcloudrc 文件:

    $ source ~/overcloudrc
  2. 创建提供商网络。

    • 创建扁平网络获取原生 VLAN 连接:

      (overcloud) $ openstack network create provider --external --provider-network-type flat --provider-physical-network datacentre --share
    • 创建 vlan 网络获取非原生 VLAN 连接:

      (overcloud) $ openstack network create provider --external --provider-network-type vlan --provider-physical-network datacentre --provider-segment 201 --share

      --provider-segment 值定义要使用的 VLAN。在这种情况下,它是 201。

    这些示例命令创建共享网络。也可以指定租户而不是指定 --share,这样只有租户才能访问新网络。

    + 如果将提供商网络标记为外部网络,则只有运营商可在该网络上创建端口。

  3. 提供商网络添加一个子网以提供 DHCP 服务:

    (overcloud) $ openstack subnet create provider-subnet --network  provider --dhcp --allocation-pool start=10.9.101.50,end=10.9.101.100 --gateway 10.9.101.254 --subnet-range 10.9.101.0/24
  4. 创建一个路由器,使其他网络能够通过提供商网络路由流量:

    (overcloud) $ openstack router create external
  5. 将路由器的外部网关设置为提供商网络:

    (overcloud) $ openstack router set --external-gateway provider external
  6. 将其他网络添加到该路由器。例如,运行以下命令以将子网“subnet1”附加到路由器上:

    (overcloud) $ openstack router add subnet external subnet1

    此命令将 subnet1 添加到路由表中,并允许使用 subnet1 的虚拟机中的流量路由到提供商网络。

9.6. 创建其他网桥映射

只要满足以下条件,浮动 IP 网络可以使用任何网桥,而不只局限于 br-ex

  • 在网络环境文件中,NeutronExternalNetworkBridge 被设置为 "''"
  • 在部署的过程中已映射了额外的网桥。例如,要将称为 br-floating 的新网桥映射到 floating 物理网络,可在环境文件中包括 NeutronBridgeMappings 参数:

    parameter_defaults:
      NeutronBridgeMappings: "datacentre:br-ex,floating:br-floating"

使用此方法,您可以在创建 overcloud 后创建单独的外部网络。例如,要创建映射到 floating 物理网络的浮动 IP 网络,请运行以下命令:

$ source ~/overcloudrc
(overcloud) $ openstack network create public --external --provider-physical-network floating --provider-network-type vlan --provider-segment 105
(overcloud) $ openstack subnet create public --network public --dhcp --allocation-pool start=10.1.2.51,end=10.1.2.250 --gateway 10.1.2.1 --subnet-range 10.1.2.0/24

9.7. 验证 overcloud

Overcloud 会使用 OpenStack Integration Test Suite (tempest) 工具集来执行一系列集成测试。本节介绍运行集成测试的准备工作。有关使用 OpenStack Integration Test Suite 的完整说明,请参阅 OpenStack Integration Test Suite 指南

Integration Test Suite 需要执行一些安装后步骤以确保成功测试。

步骤

  1. 如果在 undercloud 上运行这个测试,请确保 undercloud 主机能够访问 overcloud 的内部 API 网络。例如,在 undercloud 主机上添加一个临时的 VLAN,用于使用 172.16.0.201/24 地址访问内部 API 网络 (ID: 201):

    $ source ~/stackrc
    (undercloud) $ sudo ovs-vsctl add-port br-ctlplane vlan201 tag=201 -- set interface vlan201 type=internal
    (undercloud) $ sudo ip l set dev vlan201 up; sudo ip addr add 172.16.0.201/24 dev vlan201
  2. 运行 OpenStack Integration Test Suite 之前,检查确认您的 overcloud 中具有 heat_stack_owner 角色:

    $ source ~/overcloudrc
    (overcloud) $ openstack role list
    +----------------------------------+------------------+
    | ID                               | Name             |
    +----------------------------------+------------------+
    | 6226a517204846d1a26d15aae1af208f | swiftoperator    |
    | 7c7eb03955e545dd86bbfeb73692738b | heat_stack_owner |
    +----------------------------------+------------------+
  3. 如果角色不存在,请创建:

    (overcloud) $ openstack role create heat_stack_owner
  4. 运行集成测试,如 OpenStack Integration Test Suite 指南中所述。
  5. 在验证完成后,删除所有到 overcloud 的内部 API 的临时连接。在这个示例中,使用以下命令删除以前在 undercloud 中创建的 VLAN:

    $ source ~/stackrc
    (undercloud) $ sudo ovs-vsctl del-port vlan201

9.8. 防止 overcloud 被移除

Heat 在代码中包含一组默认策略,通过创建 /etc/heat/policy.json 并添加自定义规则可覆盖这些策略。添加以下策略以拒绝everyone删除 overcloud 的权限。

{"stacks:delete": "rule:deny_everybody"}

这会避免使用 heat 客户端删除 overcloud。要允许移除 overcloud,可删除自定义策略并保存 /etc/heat/policy.json

第 10 章 执行基本 overcloud 管理任务

本章介绍在 overcloud 生命周期过程中可能需要执行的基本任务。

10.1. 管理容器化服务

OpenStack 平台在 undercloud 和 overcloud 节点上的容器中运行服务。在某些情况下,您可能需要控制主机上的单个服务。本节介绍了可在节点上运行的用于管理容器化服务的一些常见命令。

列出容器和镜像

要列出运行中的容器,请运行以下命令:

$ sudo podman ps

要在命令输出中包括停止的或失败的容器,将 --all 选项添加到命令中:

$ sudo podman ps --all

要列出容器镜像,请运行以下命令:

$ sudo podman images

检查容器属性

要查看容器或容器镜像的属性,请使用 podman inspect 命令。例如,要检查 keystone 容器,请运行以下命令:

$ sudo podman inspect keystone

使用 Systemd 服务管理容器

早期版本的 OpenStack Platform 使用 Docker 及其守护进程管理容器。在 OpenStack Platform 15 中,Systemd 服务接口管理容器的生命周期。每个容器都是一个服务,您运行这些命令,为每个容器运行特定操作。

注意

不建议使用 Podman CLI 停止、启动和重启容器,因为 Systemd 会应用重启策略。请使用 Systemd 服务命令。

要检查容器状态,请运行 systemctl status 命令:

$ sudo systemctl status tripleo_keystone
● tripleo_keystone.service - keystone container
   Loaded: loaded (/etc/systemd/system/tripleo_keystone.service; enabled; vendor preset: disabled)
   Active: active (running) since Fri 2019-02-15 23:53:18 UTC; 2 days ago
 Main PID: 29012 (podman)
   CGroup: /system.slice/tripleo_keystone.service
           └─29012 /usr/bin/podman start -a keystone

要停止容器,请运行 systemctl stop 命令:

$ sudo systemctl stop tripleo_keystone

要启动容器,请运行 systemctl start 命令:

$ sudo systemctl start tripleo_keystone

要重启容器,请运行 systemctl restart 命令:

$ sudo systemctl restart tripleo_keystone

由于没有守护进程监控容器状态,Systemd 在以下情况下自动重启大多数容器:

  • 清除退出代码或信号,如运行 podman stop 命令。
  • 取消清除退出代码,如启动后的 podman 容器崩溃。
  • 取消清除信号。
  • 如果容器启动时间超过 1 分 30 秒,则超时。

有关 Systemd 服务的更多信息,请参阅 systemd.service 文档

注意

在重启容器后,针对其中的服务配置文件所做的所有更改都会恢复。这是因为容器基于 /var/lib/config-data/puppet-generated/ 中节点本地文件系统上的文件重新生成服务配置。例如,如果您编辑了 keystone 容器中的 /etc/keystone/keystone.conf,并重启了该容器,则该容器会使用节点的本地文件系统上的 /var/lib/config-data/puppet-generated/keystone/etc/keystone/keystone.conf 来重新生成配置,以覆盖重启之前在该容器中所做的所有更改。

使用 Systemd 计时器监控 podman 容器

Systemd 计时器接口管理容器运行健康检查。每个容器都有一个计时器,它会运行一个服务单员来执行健康检查脚本。

要列出所有 OpenStack Platform 容器计时器,请运行 systemctl list-timers 命令并将输出限制为包含 tripleo 的行:

$ sudo systemctl list-timers | grep tripleo
Mon 2019-02-18 20:18:30 UTC  1s left       Mon 2019-02-18 20:17:26 UTC  1min 2s ago  tripleo_nova_metadata_healthcheck.timer            tripleo_nova_metadata_healthcheck.service
Mon 2019-02-18 20:18:33 UTC  4s left       Mon 2019-02-18 20:17:03 UTC  1min 25s ago tripleo_mistral_engine_healthcheck.timer           tripleo_mistral_engine_healthcheck.service
Mon 2019-02-18 20:18:34 UTC  5s left       Mon 2019-02-18 20:17:23 UTC  1min 5s ago  tripleo_keystone_healthcheck.timer                 tripleo_keystone_healthcheck.service
Mon 2019-02-18 20:18:35 UTC  6s left       Mon 2019-02-18 20:17:13 UTC  1min 15s ago tripleo_memcached_healthcheck.timer                tripleo_memcached_healthcheck.service
(...)

要检查特定容器计时器的状态,请对运行状况检查服务运行 systemctl status 命令:

$ sudo systemctl status tripleo_keystone_healthcheck.service
● tripleo_keystone_healthcheck.service - keystone healthcheck
   Loaded: loaded (/etc/systemd/system/tripleo_keystone_healthcheck.service; disabled; vendor preset: disabled)
   Active: inactive (dead) since Mon 2019-02-18 20:22:46 UTC; 22s ago
  Process: 115581 ExecStart=/usr/bin/podman exec keystone /openstack/healthcheck (code=exited, status=0/SUCCESS)
 Main PID: 115581 (code=exited, status=0/SUCCESS)

Feb 18 20:22:46 undercloud.localdomain systemd[1]: Starting keystone healthcheck...
Feb 18 20:22:46 undercloud.localdomain podman[115581]: {"versions": {"values": [{"status": "stable", "updated": "2019-01-22T00:00:00Z", "..."}]}]}}
Feb 18 20:22:46 undercloud.localdomain podman[115581]: 300 192.168.24.1:35357 0.012 seconds
Feb 18 20:22:46 undercloud.localdomain systemd[1]: Started keystone healthcheck.

要停止、启动、重启和显示容器计时器的状态,请根据 .timer Systemd 资源运行相关 systemctl 命令。例如,要检查 tripleo_keystone_healthcheck.timer 资源的状态,可运行以下命令:

$ sudo systemctl status tripleo_keystone_healthcheck.timer
● tripleo_keystone_healthcheck.timer - keystone container healthcheck
   Loaded: loaded (/etc/systemd/system/tripleo_keystone_healthcheck.timer; enabled; vendor preset: disabled)
   Active: active (waiting) since Fri 2019-02-15 23:53:18 UTC; 2 days ago

如果健康状况检查服务被禁用,但该服务的计时器存在并启用,则意味着检查当前超时,但将根据计时器运行。用户可以手动启动检查。

注意

podman ps 命令不显示容器运行状态。

检查容器日志

OpenStack Platform 15 引入了一个新的日志记录目录:/var/log/containers/stdout。其中包含按容器整合在一个文件中的所有容器标准输出 (stdout) 和标准错误 (stderr)。

Paunch 和 container-puppet.py 脚本配置 podman 容器以将其输出推送至 /var/log/containers/stdout 目录,这将创建所有日志的集合,甚至是删除的容器,如 container-puppet-* 容器。

主机会对此目录进行日志轮转以防止产生巨大的文件及占用太多磁盘空间的问题。

如果替换了容器,新的容器将输出到同一日志文件中,因为 podman 会使用容器名而非容器 ID。

您也可以使用 podman logs 命令检查容器化服务的日志。例如,要查看 keystone 容器的日志,请运行以下命令:

$ sudo podman logs keystone

访问容器

要进入容器化服务的 shell,请使用 podman exec 命令以启动 /bin/bash。例如,要进入 keystone 容器的 shell,请运行以下命令:

$ sudo podman exec -it keystone /bin/bash

要以根用户身份进入 keystone 容器的 shell,请运行以下命令:

$ sudo podman exec --user 0 -it <NAME OR ID> /bin/bash

要退出容器,请运行以下命令:

# exit

10.2. 修改 overcloud 环境

有时,您可能想修改 overcloud 以添加额外功能,或更改其运行方式。要修改 overcloud,请在自定义环境文件和 Heat 模板中进行修改,然后从您的初始 overcloud 创建中重新运行 openstack overcloud deploy 命令。例如,如果您使用 第 6.11 节 “部署命令”创建了一个 overcloud,则重新运行以下命令:

$ source ~/stackrc
(undercloud) $ openstack overcloud deploy --templates \
  -e ~/templates/node-info.yaml \
  -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
  -e ~/templates/network-environment.yaml \
  -e ~/templates/storage-environment.yaml \
  --ntp-server pool.ntp.org

director 会在 heat 中检查 overcloud 栈,然后根据环境文件和 heat 模板更新栈中的每一项目。director 不会重新创建 overcloud,而是更改现有 overcloud。

如果您旨在包括新的环境文件,则使用 `-e` 选项将其添加到 openstack overcloud deploy 命令中。例如:

$ source ~/stackrc
(undercloud) $ openstack overcloud deploy --templates \
  -e ~/templates/new-environment.yaml \
  -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
  -e ~/templates/network-environment.yaml \
  -e ~/templates/storage-environment.yaml \
  -e ~/templates/node-info.yaml \
  --ntp-server pool.ntp.org

此命令将环境文件中的新参数和资源纳入堆栈。

重要

不建议手动修改 overcloud 配置,因为 director 稍后可能会覆盖这些修改。

10.3. 将虚拟机导入 overcloud

此步骤包含将虚拟机从现有 OpenStack 环境迁移到 Red Hat OpenStack Platform 环境的步骤。

步骤

  1. 在现有 OpenStack 环境中,通过对一个运行的服务器进行快照并下载镜像来创建一个新镜像:

    $ openstack server image create instance_name --name image_name
    $ openstack image save image_name --file exported_vm.qcow2
  2. 将导出的镜像复制到 undercloud 节点:

    $ scp exported_vm.qcow2 stack@192.168.0.2:~/.
  3. stack 用户的身份登录 undercloud。
  4. 获取 overcloudrc 文件:

    $ source ~/overcloudrc
  5. 将导出的镜像上传到 overcloud 中:

    (overcloud) $ openstack image create imported_image --file exported_vm.qcow2 --disk-format qcow2 --container-format bare
  6. 启动新实例:

    (overcloud) $ openstack server create  imported_instance --key-name default --flavor m1.demo --image imported_image --nic net-id=net_id
重要

这些命令将每个虚拟机磁盘从现有 OpenStack 环境复制到新的 Red Hat OpenStack Platform 环境中。使用 QCOW 的快照将会丢掉它原始的层系统。

此过程从一个 Compute 节点上迁移所有实例。现在即可在该节点上执行维护,而无需让任何实例停机。要让 Compute 节点恢复启用状态,运行以下命令:

$ source ~/overcloudrc
(overcloud) $ openstack compute service set [hostname] nova-compute --enable

10.4. 运行动态清单脚本

director 可在 OpenStack Platform 环境中运行基于 Ansible 的自动化。director 使用 tripleo-ansible-inventory 命令在您的环境中生成动态的节点清单。

步骤

  1. 要查看动态的节点清单,请在 source stackrc 之后运行 tripleo-ansible-inventory 命令:

    $ source ~/stackrc
    (undercloud) $ tripleo-ansible-inventory --list

    --list 选项返回有关所有主机的详细信息。此命令以 JSON 格式输出动态库存清单:

    {"overcloud": {"children": ["controller", "compute"], "vars": {"ansible_ssh_user": "heat-admin"}}, "controller": ["192.168.24.2"], "undercloud": {"hosts": ["localhost"], "vars": {"overcloud_horizon_url": "http://192.168.24.4:80/dashboard", "overcloud_admin_password": "abcdefghijklm12345678", "ansible_connection": "local"}}, "compute": ["192.168.24.3"]}
  2. 要在您的环境中实施 Ansible playbook,请运行 ansible 命令,并使用 -i 选项包括动态清单工具的完整路径。例如:

    (undercloud) $ ansible [HOSTS] -i /bin/tripleo-ansible-inventory [OTHER OPTIONS]
    • 用要使用的主机类型替换 [HOSTS]。例如:

      • controller,适用于所有 Controller 节点
      • compute,适用于所有 Compute 节点
      • overcloud,适用于所有 overcloud 子节点,例如 controllercompute
      • undercloud,适用于 undercloud
      • "*",适用于所有节点
    • 用其他 Ansible 选项替换 [OTHER OPTIONS]。以下是一些有用的选项:

      • --ssh-extra-args='-o StrictHostKeyChecking=no',用于跳过主机密钥检查确认操作。
      • -u [USER],用于更改执行 Ansible 自动化的 SSH 用户。默认的 overcloud SSH 用户由动态清单中的 ansible_ssh_user 参数自动定义。-u 选项会覆盖此参数。
      • -m [MODULE],使用特定的 Ansible 模块。默认为 command,用于执行 Linux 命令。
      • -a [MODULE_ARGS],为选定的模块定义参数。
重要

overcloud 上的自定义 Ansible 自动化不是标准 overcloud 堆栈的一部分。后续执行 openstack overcloud deploy 命令可能会覆盖 overcloud 节点上的 OpenStack Platform 服务的基于 Ansible 的配置。

10.5. 移除 overcloud

删除任何现有的 overcloud:

$ source ~/stackrc
(undercloud) $ openstack overcloud delete overcloud

确认删除 overcloud:

(undercloud) $ openstack stack list

删除操作会需要几分钟完成。

在删除操作完成后,请按照部署情景中的标准步骤来重新创建 overcloud。

第 11 章 在 Compute 节点之间迁移虚拟机

有时,您可能需要在 overcloud 中将虚拟机从一个 Compute 节点迁移到另一个 Compute 节点。例如:

  • Compute 节点维护:如果必须临时暂停 Compute 节点,可将 Compute 节点上运行的虚拟机临时迁移到另一个 Compute 节点。常见情况包括硬件维护、硬件维修、内核升级和软件更新。
  • Compute 节点出现故障:如果某个 Compute 节点要出现故障,且必须维护或更换,则必须将故障 Compute 节点上的虚拟机迁移到一个正常运行的 Compute 节点。有关已出现故障的 Compute 节点,请参阅清空虚拟机
  • 工作负载重新平衡:您可以考虑将一个或多个虚拟机迁移到另一个 Compute 节点以重新平衡工作负载。例如,您可以在 Compute 节点上整合虚拟机以省电,将虚拟机迁移到离其他联网资源更近的 Compute 节点以减少延迟,或跨 Compute 节点分布虚拟机以避免热点并增加弹性。

director 配置所有 Compute 节点以提供安全迁移。所有 Compute 节点还需要有共享的 SSH 密钥,以便每个主机的 nova 用户在迁移过程中能够访问其他 Compute 节点。director 会使用 OS::TripleO::Services::NovaCompute 可组合服务来创建该密钥。这一可组合服务是所有 Compute 角色上默认包括的主要服务之一(请参见高级 Overcloud 自定义中的可组合服务和自定义角色)。

11.1. 迁移类型

OpenStack Platform 支持两种类型的迁移:

实时迁移

实时迁移涉及在目标节点上无缝启动虚拟机,并在源节点上无缝关闭虚拟机,同时保持状态一致性。

实时迁移

实时迁移可以在不需要停机时间或只需要很少停机时间的情况下处理虚拟机迁移。在某些情况下,虚拟机无法使用实时迁移。有关迁移限制的详细信息,请参阅迁移限制

冷迁移

冷迁移或非实时迁移涉及 nova 在将虚拟机从源 Compute 节点迁移到目标 Compute 节点之前关闭虚拟机。

冷迁移

冷迁移虚拟机需要有一段停机时间。但是,冷迁移仍可以提供使用相同卷和 IP 地址对迁移虚拟机的访问。

重要

有关已出现故障的源 Compute 节点,请参阅清空。迁移需要源和目标 Compute 节点都处于运行状态。

11.2. 迁移限制

在某些情况下,迁移虚拟机涉及其他限制。迁移限制通常随块迁移、配置磁盘或一个或多个虚拟机在 Compute 节点上访问物理硬件而出现。

CPU 限制

源和目标 Compute 节点必须具有相同的 CPU 架构。例如,红帽不支持将虚拟机从 x86_64 CPU 迁移到 ppc64le CPU。在某些情况下,源和目标 Compute 节点的 CPU 必须完全匹配,如使用 CPU 主机传递的虚拟机。在所有情况下,目标节点的 CPU 功能必须是源节点上 CPU 功能的超集。此外,当虚拟机使用 CPU 固定时,源节点上使用的 NUMA 节点必须以目标 Compute 节点上的相同 NUMA 节点为目标,且 NUMA 节点必须为空。

内存限制

目标 Compute 节点必须有足够可用的 RAM。内存超额订阅可能导致迁移失败。此外,使用 NUMA 拓扑的虚拟机在目标 Compute 节点的相同 NUMA 节点上必须有足够可用的 RAM。

块迁移限制

迁移使用 Compute 节点上本地存储磁盘的虚拟机所花的时间,比迁移使用基于共享存储卷(如 Red Hat Ceph Storage)的虚拟机要长得多。这是因为,nova 默认在 Compute 节点之间通过 control plane 网络逐块迁移本地磁盘。相反,使用 Red Hat Ceph Storage 等共享存储的卷的实例不必迁移卷,因为每个 Compute 节点已经能够访问共享存储。

注意

由迁移占用大量 RAM 的本地磁盘或虚拟机而导致的 control plane 网络中的网络拥塞可能影响使用 control plane 网络的其他系统(如 RabbitMQ)的性能。

只读驱动器迁移限制

仅在驱动器同时具有读取写入功能时,支持迁移。例如,nova 无法迁移 CD-ROM 驱动器或只读配置驱动器。但是,nova 可迁移同时具有读取和写入功能的驱动器,包括格式为 vfat 等的配置驱动器。

实时迁移限制

Red Hat OpenStack Platform 中还有一些实时迁移限制:

  • 迁移期间没有新操作:为了在源和目标节点上的虚拟机副本之间实现状态一致性,Red Hat OpenStack Platform 必须在实时迁移期间阻止新操作。否则,如果写入内存的速度比实时迁移复制内存状态的速度更快,则实时迁移可能要很长时间或可能永远不会结束。
  • 非一致内存访问 (NUMA):在以前的发行版本中,不建议在使用 NUMA 拓扑配置时迁移虚拟机。目前,nova 可使用 NUMA 拓扑完全迁移虚拟机,但受到一些限制。
  • CPU 固定:当某个类别使用 CPU 固定时,该类别将 NUMA 拓扑隐式引入虚拟机,并将其 CPU 和内存映射到特定主机 CPU 和内存。简单 NUMA 拓扑和 CPU 固定之间的差异在于 NUMA 使用多种 CPU 内核,而 CPU 固定使用特定 CPU 内核。有关其他详细信息,请参阅 CPU 固定
  • 数据平面开发套件 (DPDK):当虚拟机使用 DPDK 时,如使用 dpdk-netdev 运行 Open vSwitch 的虚拟机,该虚拟机也使用施加 NUMA 拓扑的大页面,使得 nova 将虚拟机固定到 NUMA 节点上。

nova 可以迁移使用 NUMA、CPU 固定和 DPDK 的虚拟机。但是,目标 Compute 节点在虚拟机在源 Compute 节点上使用的相同 NUMA 节点必须具有足够的容量。例如,如果某虚拟机在 overcloud-compute-0 上使用 NUMA 0,则在将该虚拟机迁移到 overcloud-compute-1 时,必须确保 overcloud-compute-1NUMA 0 上有足够的容量来支持虚拟机以便使用实时迁移。

阻止实时迁移的限制

在某些情况下,虚拟机配置会阻止在 Red Hat OpenStack Platform 中进行实时迁移:

  • 单根输入/输出虚拟化 (SR-IOV):您可以将 SR-IOV 虚拟功能 (VF) 分配给虚拟机。但是,这会阻止实时迁移。与一般的规网络设备不同,SR-IOV VF 网络设备没有永久固定的 MAC 地址。每当 Compute 节点重启,或 nova-scheduler 将虚拟机迁移到新的 Compute 节点时,VF 网络设备都会收到新的 MAC 地址。因此,nova 无法在 OpenStack Platform 15 中实时迁移使用 SR-IOV 的虚拟机。必须冷迁移使用 SR-IOV 的虚拟机。
  • PCI 透传(passthrough):QEMU/KVM 虚拟机监控程序支持将 Compute 节点上的 PCI 设备附加到虚拟机。PCI 透传允许虚拟机对 PCI 设备进行独占访问,就像是以物理方式附加到虚拟机的操作系统一样。但是,由于 PCI 透传涉及物理地址,nova 不支持在 OpenStack Platform 15 中使用 PCI 透传实时迁移虚拟机。

11.3. 迁移前步骤

在迁移一个或多个虚拟机之前,请执行以下步骤:

步骤

  1. 从 undercloud 中,识别源 Compute 节点主机名和目标 Compute 节点主机名。

    $ source ~/overcloudrc
    $ openstack compute service list
  2. 列出源 Compute 节点上的虚拟机并找到您要迁移的虚拟机的 ID:

    $ openstack server list --host [source] --all-projects

    用源 Compute 节点的主机名替换 [source]

Compute 节点维护的迁移前步骤

如果您要关闭源 Compute 节点进行维护,则从 undercloud 禁用源 Compute 节点,以确保调度程序不会在维护期间尝试将新虚拟机分配给源 Compute 节点。

$ openstack compute service set [source] nova-compute --disable

用源 Compute 节点的主机名替换 [source]

NUMA、CPU 固定和 DPDK 实例的迁移前步骤

迁移使用 NUMA、CPU 固定或 DPDK 的虚拟机时,目标 Compute 节点的硬件规范和配置应该与源 Compute 节点相同。此外,目标 Compute 节点上应该没有运行任何虚拟机,以确保其保留源 Compute 节点的 NUMA 拓扑。

注意

迁移使用 NUMA、CPU 固定或 DPDK 的虚拟机时,/etc/nova/nova.conf 文件要求 scheduler_default_filters 配置设置的值正确,如 AggregateInstanceExtraSpecsFilterNUMATopologyFilter。通过在环境文件中设置 NovaSchedulerDefaultFilters heat 参数,可实现此操作。

  1. 如果 NUMA、CPU 固定或 DPDK 虚拟机的目标 Compute 节点禁用,则将其禁用以防止调度程序将虚拟机分配给节点。

    $ openstack compute service set [dest] nova-compute --disable

    用目标 Compute 节点的主机名替换 [dest]

  2. 确保目标 Compute 节点没有虚拟机,以前在迁移多个 DPDK 或 NUMA 虚拟机时从源 Compute 节点迁移的虚拟机除外。

    $ openstack server list --host [dest] --all-projects

    用目标 Compute 节点的主机名替换 [dest]

  3. 确保目标 Compute 节点有足够的资源来运行 NUMA、CPU 固定或 DPDK 虚拟机。

    $ openstack host show overcloud-compute-n
    $ ssh overcloud-compute-n
    $ numactl --hardware
    $ exit

    用目标 Compute 节点的主机名替换 overcloud-compute-n

  4. 要了解有关源或目标 Compute 节点的 NUMA 信息,请根据需要执行以下操作:

    $ ssh root@overcloud-compute-n
    # lscpu && lscpu | grep NUMA
    # virsh nodeinfo
    # virsh capabilities
    # exit

    使用 ssh 连接到 overcloud-compute-n,其中 overcloud-compute-n 是源或目标 Compute 节点。

  5. 如果不确定虚拟机是否使用 NUMA,请检查虚拟机的类别。

    $ openstack server list -c Name -c Flavor --name [vm]

    用虚拟机的名称或 ID 替换 [vm]

    然后,检查类别:

    $ openstack flavor show [flavor]

    用类别的名称或 ID 替换 [flavor]。如果 properties 字段的 hw:mem_page_size 带有不是 any 的值,如 2MB20481GB,则虚拟机将具有 NUMA 拓扑。如果 properties 字段包括 aggregate_instance_extra_specs:pinned=’true’,则虚拟机使用 CPU 固定。如果properties字段包括 hw:numa_nodes,则 nova 将虚拟机限制为特定 NUMA 节点。

  6. 对于每个使用 NUMA 的虚拟机,请考虑从底层 Compute 节点检索有关 NUMA 拓扑的信息,以便您能够验证完成迁移后,目标 Compute 节点上的 NUMA 拓扑是否反映源 Compute 节点的 NUMA 拓扑。

    $ ssh root@overcloud-compute-n
    # virsh vcpuinfo [vm]
    # virsh numatune [vm]
    # exit

    用虚拟机的名称替换 [vm]vcpuinfo 命令提供有关 NUMA 和 CPU 固定的详细信息。numatune 命令提供有关虚拟机使用的 NUMA 节点的详细信息。

11.4. 实时迁移虚拟机

实时迁移将虚拟机从源 Compute 节点迁移到目标 Compute 节点,且具有最短的停机时间。但是,实时迁移可能并不适合所有虚拟机。有关其他详细信息,请参阅迁移限制

步骤

  1. 要实时迁移虚拟机,请指定虚拟机和目标 Compute 节点:

    $ openstack server migrate [vm] --live [dest] --wait

    用虚拟机的名称或 ID 替换 [vm]。用目标 Compute 节点的主机名替换 [dest]。如果迁移本地存储的卷,则指定 --block-migration 标记。

  2. 等待迁移完成。请参阅检查迁移状态以检查迁移的状态。
  3. 确认迁移成功完成:

    $ openstack server list --host [dest] --all-projects

    用目标 Compute 节点的主机名替换 [dest]

  4. 对于使用 NUMA、CPU 固定或 DPDK 的虚拟机,请考虑从 Compute 节点检索有关 NUMA 拓扑的信息,以将其与在迁移前步骤中检索的 NUMA 拓扑进行比较。

    $ ssh root@overcloud-compute-n
    # virsh vcpuinfo [vm]
    # virsh numatune [vm]
    # exit

    用 Compute 节点的主机名替换 overcloud-compute-n。用虚拟机的名称替换 [vm]。比较源和目标 Compute 节点的 NUMA 拓扑有助于确保源和目标 Compute 节点使用相同的 NUMA 拓扑。

  5. 对您要迁移的每个其他虚拟机重复此步骤。

完成虚拟机迁移后,继续执行迁移后步骤

11.5. 冷迁移虚拟机

冷迁移虚拟机涉及停止虚拟机并将其迁移到其他 Compute 节点。冷迁移可加速实时迁移无法加速的迁移情境,如迁移使用 PCI 传递或单根输入/输出虚拟化 (SR-IOV) 的虚拟机。调度程序自动选择目标 Compute 节点。有关其他详细信息,请参阅迁移限制

步骤

  1. 要迁移虚拟机,请指定虚拟机。

    $ openstack server migrate [vm] --wait

    用虚拟机 ID 替换 [vm]。如果迁移本地存储的卷,则指定 --block-migration 标记。

  2. 等待迁移完成。请参阅检查迁移状态以检查迁移的状态。
  3. 确认迁移是否成功。

    $ openstack server list --all-projects

完成虚拟机迁移后,继续执行迁移后步骤

11.6. 检查迁移状态

迁移涉及完成迁移前的多种状态变换。在正常运行的迁移期间,迁移状态通常会有如下变换:

  1. Queued: nova 接受了迁移虚拟机的请求且迁移待定。
  2. Preparing: nova 正在准备进行虚拟机迁移。
  3. Running: nova 正在迁移虚拟机。
  4. Post-migrating: nova 已在目标 Compute 节点上构建虚拟机,并正在释放源 Compute 节点上的资源。
  5. Completed: nova 已完成迁移虚拟机,并已完成释放源 Compute 节点上的资源。

步骤

  1. 检索虚拟机的迁移列表。

    $ nova server-migration-list [vm]

    用虚拟机名称或 ID 替换 [vm]

  2. 显示迁移的状态。

    $ nova server-migration-show [vm] [migration]

    用虚拟机名称或 ID 替换 [vm]。用迁移 ID 替换 [migration]

有时,虚拟机迁移时间很长或遇到错误。有关详细信息,请参阅 第 11.8 节 “迁移故障排除”

11.7. 迁移后步骤

迁移一个或多个虚拟机后,回顾以下步骤并适当执行这些步骤。

Compute 节点维护的迁移后步骤

如果您之前关闭源 Compute 节点进行维护且维护完成,则可从 undercloud 重新启用源 Compute 节点,以确保调度程序能够向源 Compute 节点分配新虚拟机。

$ source ~/overcloudrc
$ openstack compute service set [source] nova-compute --enable

用源 Compute 节点的主机名替换 [source]

NUMA、CPU 固定或 DPDK 实例的迁移后步骤

迁移使用 NUMA、CPU 固定或 DPDK 的虚拟机后,可从 undercloud 重新启用目标 Compute 节点。

$ source ~/overcloudrc
$ openstack compute service set [dest] nova-compute --enable

用目标 Compute 节点的主机名替换 [dest]

11.8. 迁移故障排除

虚拟机迁移期间可能会出现多种问题:

  1. 迁移过程遇到错误。
  2. 迁移过程永远不结束。
  3. 迁移后虚拟机性能下降

迁移期间出错

以下问题可使迁移操作进入错误状态:

  1. 使用不同版本的 OpenStack 运行集群。
  2. 指定的虚拟机 ID 找不到。
  3. 您尝试迁移的虚拟机处于错误状态。
  4. Compute 服务正在关闭。
  5. 发生争用情形。
  6. 实时迁移进入失败状态。

当实时迁移进入失败状态时,通常会随之进入错误状态。以下常见问题可能导致失败状态:

  1. 目标 Compute 主机不可用。
  2. 发生调度程序异常。
  3. 由于计算资源不足,重新构建过程失败。
  4. 服务器组检查失败。
  5. 源 Compute 节点上的虚拟机在完成迁移到目标 Compute 节点之前被删除。

永不结束的实时迁移

实时迁移可能无法及时完成,使迁移一直处于运行状态。实时迁移永远完不成的常见原因是对源 Compute 节点上运行的虚拟机的客户端请求的变化速度快于 nova 将其复制到目标 Compute 节点的速度。

应对此情形有几种方式:

  1. 中止实时迁移。
  2. 强制实时迁移完成。

中止实时迁移

如果虚拟机的状态变化比迁移步骤将其复制到目标节点更快,且您不想临时暂停虚拟机的操作,则可中止实时迁移步骤。

  1. 检索虚拟机的迁移列表:

    $ nova server-migration-list [vm]

    用虚拟机名称或 ID 替换 [vm]

  2. 中止实时迁移:

    $ nova live-migration-abort [vm] [migration]

    用虚拟机的名称或 ID 替换 [vm],用迁移 ID 替换 [migration]

强制实时迁移完成

如果虚拟机的状态变化比迁移步骤将其复制到目标节点更快,且您想临时暂停虚拟机的操作以强制迁移完成,则可强制完成实时迁移步骤。

重要

强制完成实时迁移可能导致明显的停机时间。

  1. 检索虚拟机的迁移列表:

    $ nova server-migration-list [vm]

    用虚拟机名称或 ID 替换 [vm]

  2. 强制实时迁移完成:

    $ nova live-migration-force-complete [vm] [migration]

    用虚拟机名称或 ID 替换 [vm]。用迁移 ID 替换 [migration]

迁移后虚拟机性能下降

对于使用 NUMA 拓扑的虚拟机,源和目标 Compute 节点必须具有相同的 NUMA 拓扑和配置。目标 Compute 节点的 NUMA 拓扑必须有足够的资源可用。如果源和目标 Compute 节点之间的 NUMA 配置不同,实时迁移可能在虚拟机性能下降时成功。例如,如果源 Compute 节点将 NIC 1 映射到 NUMA 节点 0,但目标 Compute 节点将 NIC 1 映射到 NUMA 节点 5,则迁移后,虚拟机可能通过总线将网络流量从第一个 CPU 路由到第二个 CPU,并使用 NUMA 节点 5 将流量路由到 NIC 1—​从而导致预期的行为,但性能降低。同样,如果源 Compute 节点上的 NUMA 节点 0 有足够可用的 CPU 和 RAM,但目标 Compute 节点上的 NUMA 节点 0 已经有使用部分资源的虚拟机,则虚拟机可能运行正常,但性能会降低。请参见 第 11.2 节 “迁移限制”了解更多详细信息。

第 12 章 使用 Ansible 配置 overcloud

Ansible 是应用 overcloud 配置的主要方法。本章介绍了如何与 overcloud 的 Ansible 配置进行交互的步骤。

尽管 director 会自动生成 Ansible playbook,您最好熟悉 Ansible 语法。有关如何使用 Ansible 的更多信息,请参见 https://docs.ansible.com/

注意

Ansible 还使用了角色这一概念,但这有别于 OpenStack 平台 director 中的角色。

12.1. 基于 Ansible 的 overcloud 配置 (config-download)

config-download 功能是 director 用于配置 overcloud 的方法。director 使用 config-download 以及 OpenStack Orchestration (heat) 和 OpenStack Workflow Service (mistral) 生成软件配置并将配置应用到每个 overcloud 节点。尽管 Heat 从 SoftwareDeployment 资源创建所有部署数据以执行 overcloud 安装和配置,但 Heat 并不应用任何配置。Heat 仅通过 Heat API 提供配置数据。当 director 创建堆栈时,Mistral 工作流查询 Heat API 以获取配置数据,生成一组 Ansible playbook,并将 Ansible playbook 应用到 overcloud。

作为结果,在运行 openstack overcloud deploy 命令时后会发生以下操作:

  • director 根据 openstack-tripleo-heat-templates 创建新的部署计划,并通过包含环境文件和参数来自定义该计划。
  • director 使用 Heat 来解释部署计划,并创建 overcloud 堆栈和所有下级资源。这包括通过 OpenStack Bare Metal (ironic) 置备节点。
  • Heat 也会从部署计划创建软件配置。director 从这一软件配置中编译 Ansible playbook。
  • director 在 overcloud 节点上生成一个临时用户 (`tripleo-admin1),专门用于进行 Ansible SSH 访问。
  • director 下载 Heat 软件配置,并使用 Heat 输出生成一系列 Ansible playbook。
  • director 通过 ansible-playbook 将 Ansible playbook 应用到 overcloud 节点。

12.2. config-download 工作目录

director 生成一组 Ansible playbook 以用于 config-download 过程。这些 playbook 存储在 /var/lib/mistral/ 下的工作目录中。此目录依据 overcloud 的名称来命名,默认为 overcloud

工作目录中包含一组按照各个 overcloud 角色命名的子目录。这些子目录包含与 overcloud 角色中节点配置相关的所有任务。这些子目录也包含以每个特定节点命名的其他子目录。这些子目录包含可应用到 overcloud 角色任务的节点相关变量。因此,工作目录中的 overcloud 角色采用下列结构:

─ /var/lib/mistral/overcloud
  |
  ├── Controller
  │   ├── overcloud-controller-0
  |   ├── overcloud-controller-1
  │   └── overcloud-controller-2
  ├── Compute
  │   ├── overcloud-compute-0
  |   ├── overcloud-compute-1
  │   └── overcloud-compute-2
  ...

每个工作目录都是记录每次部署操作后进行的更改的本地 Git 软件仓库。这可帮助您跟踪各部署之间的配置更改。

12.3. 启用对于 config-download 工作目录的访问权限

OpenStack Workflow Service (mistral) 容器中的 mistral 用户拥有 /var/lib/mistral/ 工作目录中的所有文件。您可以向 undercloud 上的 stack 用户授予访问这个目录中所有文件的权限。这有助于在该目录中执行特定的操作。

步骤

  1. 使用 setfacl 命令授予 undercloud 上的 stack 用户访问 /var/lib/mistral 目录中文件的权限:

    $ sudo setfacl -R -m u:stack:rwx /var/lib/mistral

    此命令保留 mistral 用户对该目录的访问权限。

12.4. 检查 config-download 日志

config-download 过程上,Ansible 在 undercloud 上的 config-download 工作目录下创建日志文件。

步骤

  1. 通过在 config-download 工作目录中执行 less 命令来查看日志。下例使用了 overcloud 工作目录:

    $ less /var/lib/mistral/overcloud/ansible.log

12.5. 手动运行 config-download

/var/lib/mistral/overcloud 中的工作目录包含直接与 ansible-playbook 交互所需的 playbook 和脚本。以下操作过程介绍了如何与这些文件交互。

步骤

  1. 更改为 Ansible playbook 的目录:

    $ cd /var/lib/mistral/overcloud/
  2. 运行 ansible-playbook-command.sh 命令以复制部署:

    $ ./ansible-playbook-command.sh

    可以将额外的 Ansible 参数传递给该脚本,再将其原封不动地传递给 ansible-playbook 命令。这样便可更加充分地利用各种 Ansible 功能,如检查模式 (--check)、限制主机 (--limit) 或覆盖变量 (-e)。例如:

    $ ./ansible-playbook-command.sh --limit Controller
  3. 这个工作目录中包含一个名为 deploy_steps_playbook.yaml 的 playbook,用于运行 overcloud 配置。要查看此 playbook,请运行以下命令:

    $ less deploy_steps_playbook.yaml

    这个 playbook 会使用工作目录中所含的各种任务文件。某些任务文件是所有 OpenStack 平台角色通用的,某些任务文件则特定于某些 OpenStack 平台角色和服务器。

  4. 这个工作目录中还包含与 overcloud 的 roles_data 文件中定义的各个角色相对应的子目录。例如:

    $ ls Controller/

    每个 OpenStack 平台角色目录中还包含相应角色类型的各个服务器的子目录。这些目录采用可组合角色主机名格式。例如:

    $ ls Controller/overcloud-controller-0
  5. Ansible 任务都带有相应的标记。要查看完整的标记列表,请为 ansible-playbook 使用 CLI 参数 --list-tags

    $ ansible-playbook -i tripleo-ansible-inventory.yaml --list-tags deploy_steps_playbook.yaml

    然后,在 ansible-playbook-command.sh 脚本中通过 --tags--skip-tags--start-at-task 来应用已标记的配置。例如:

    $ ./ansible-playbook-command.sh --tags overcloud
  6. config-download 配置 Ceph 时,Ansible 从 config-download external_deploy_steps_tasks playbook 内执行 ceph-ansible。手动运行 config-download 时,第二次执行 Ansible 不继承 ssh_args 参数。如需传递 Ansible 环境变量,可使用 heat 环境文件。例如:

    parameter_defaults:
      CephAnsibleEnvironmentVariables:
        ANSIBLE_HOST_KEY_CHECKING: 'False'
        ANSIBLE_PRIVATE_KEY_FILE: '/home/stack/.ssh/id_rsa'
警告

在使用 ansible-playbook CLI 参数(如 --tags--skip-tags--start-at-task)时,请勿随意更改部署配置的运行或应用顺序。利用这些 CLI 参数,可以轻松地重新运行先前失败的任务或在初始部署的基础上进行迭代。但是,为了保证部署的一致性,您必须通过 deploy_steps_playbook.yaml 依序运行所有任务。

12.6. 对工作目录执行 Git 操作

config-download 工作目录是本地 Git 软件仓库。每次运行部署操作时,director 会向工作目录添加一个包含相关更改的 Git 提交。可以执行 Git 操作以查看不同阶段部署的配置,并将此配置与不同部署进行比较。

请注意工作目录的限制。例如,使用 Git 恢复到早期版本的 config-download 工作目录仅影响工作目录中的配置。不会影响以下配置:

  • overcloud 数据架构: 应用上一版本的工作目录软件配置不会撤消数据迁移和架构更改。
  • overcloud 的硬件布局:恢复到之前的软件配置不会撤消与 overcloud 硬件相关的更改,如扩展或缩减。
  • Heat 堆栈:恢复到以前版本的工作目录不会影响 Heat 堆栈中存储的配置。Heat 堆栈创建软件配置的新版本,并应用到 overcloud。要对 overcloud 进行永久更改,在重新运行 openstack overcloud deploy 之前修改应用到 overcloud 堆栈的环境文件。

完成以下步骤,比较 config-download 工作目录的不同提交项。

步骤

  1. 更改为您的 overcloud 的 config-download 工作目录。在本例中,overcloud 的工作目录的名称是 overcloud

    $ cd /var/lib/mistral/overcloud
  2. 运行 git log 命令,以列出工作目录中的提交。您也可以通过格式化日志输出来显示日期:

    $ git log --format=format:"%h%x09%cd%x09"
    a7e9063 Mon Oct 8 21:17:52 2018 +1000
    dfb9d12 Fri Oct 5 20:23:44 2018 +1000
    d0a910b Wed Oct 3 19:30:16 2018 +1000
    ...

    默认情况下,最近的提交显示在前面。

  3. 针对两个提交哈希运行 git diff,以查看部署之间的所有变化:

    $ git diff a7e9063 dfb9d12

12.7. 手动创建 config-download 文件

在某些情况下,您可能在标准工作流程之外生成自己的 config-download 文件。例如,您可以使用 openstack overcloud deploy 命令通过 --stack-only 选项生成 overcloud Heat 堆栈,以便可以单独应用配置。完成以下步骤,手动创建自己的 config-download 文件。

步骤

  1. 生成 config-download 文件:

    $ openstack overcloud config download \
      --name overcloud \
      --config-dir ~/config-download
    • --name 是要用于 Ansible 文件导出的 overcloud。
    • --config-dirconfig-download 文件的保存位置。
  2. 切换到包含 config-download 文件的目录:

    $ cd ~/config-download
  3. 生成静态清单文件:

    $ tripleo-ansible-inventory \
      --ansible_ssh_user heat-admin \
      --static-yaml-inventory inventory.yaml

使用 config-download 文件和静态清单文件以执行配置。要执行部署 playbook,请运行 ansible-playbook 命令:

$ ansible-playbook \
  -i inventory.yaml \
  --private-key ~/.ssh/id_rsa \
  --become \
  ~/config-download/deploy_steps_playbook.yaml

要从该配置手动生成 overcloudrc 文件,请运行以下命令:

$ openstack action execution run \
  --save-result \
  --run-sync \
  tripleo.deployment.overcloudrc \
  '{"container":"overcloud"}' \
  | jq -r '.["result"]["overcloudrc.v3"]' > overcloudrc.v3

12.8. config-download 顶层文件

以下文件是 config-download 工作目录内的重要顶级文件。

Ansible 配置和执行。

以下文件专用于在 config-download 工作目录中配置和执行 Ansible。

ansible.cfg
运行 ansible-playbook 时所使用的配置文件。
ansible.log
来自最近一次 ansible-playbook 运行的日志文件。
ansible-errors.json
包含任何部署错误的 JSON 结构文件
ansible-playbook-command.sh
从上次部署操作重新运行 ansible-playbook 命令的可执行脚本。
ssh_private_key
Ansible 用于访问 overcloud 节点的 SSH 私钥。
tripleo-ansible-inventory.yaml
包含所有 overcloud 节点的主机和变量的 Ansible 清单文件。
overcloud-config.tar.gz
工作目录的存档。

Playbook

下列文件是 config-download 工作目录中的 playbook。

deploy_steps_playbook.yaml
主要的部署步骤。此 playbook 为您的 overcloud 执行主要的配置操作。
pre_upgrade_rolling_steps_playbook.yaml
主要升级的升级前步骤
upgrade_steps_playbook.yaml
主要升级步骤。
post_upgrade_steps_playbook.yaml
主要升级的升级后步骤。
update_steps_playbook.yaml
次要更新步骤。
fast_forward_upgrade_playbook.yaml
快进升级任务。仅在从一个长生命版本的 OpenStack Platform 升级到下一个版本时使用此 playbook。请勿将这个 playbook 用于此 OpenStack Platform 发行版本。

12.9. config-download 标签

playbook 使用标记的任务控制应用到 overcloud 的任务。使用包含 ansible-playbook CLI 参数的标签 --tags--skip-tags 控制要执行的任务。以下列表包含有关默认启用的标签的信息:

facts
fact 收集操作。
common_roles
适用于所有节点的 Ansible 角色。
overcloud
用于 overcloud 部署的所有 play。
pre_deploy_steps
deploy_steps 操作之前发生的部署。
host_prep_steps
主机准备步骤。
deploy_steps
部署步骤。
post_deploy_steps
deploy_steps 操作后进行的步骤。
external
所有外部部署任务。
external_deploy_steps
仅在 undercloud 中运行的外部部署任务。

12.10. config-download 部署步骤

deploy_steps_playbook.yaml playbook 用于配置 overcloud。此 playbook 应用所有必需的软件配置,以基于 overcloud 部署计划部署完整的 overcloud。

本节包含此 playbook 内使用的不同 Ansible play 的总结。本节中的 play 名称是 playbook 中使用的相同名称,也显示在 ansible-playbook 输出中。本节还包含有关在每个 play 上设置的 Ansible 标签的信息。

从 undercloud 收集事实

为 undercloud 节点收集的 fact。

标签: facts

从 overcloud 收集 fact

为 overcloud 节点收集的 fact。

标签: facts

加载全局变量

global_vars.yaml 加载所有变量。

标签: always

TripleO 服务器的通用角色

将常见 ansible 角色应用于所有 overcloud 节点,包括用于安装 bootstrap 软件包的 tripleo-bootstrap 和用于配置 ssh 已知主机的 tripleo-ssh-known-hosts。

标签: common_roles

Overcloud 部署步骤任务 - 步骤 0

从 deploy_steps_tasks 模板接口应用任务。

标签: overclouddeploy_steps

服务器部署

应用服务器相关的 Heat 部署,以进行网络和基础架构数据等配置。包括 NetworkDeployment、<Role>Deployment、<Role>AllNodesDeployment,等等。

标签: overcloudpre_deploy_steps

主机准备步骤

从 host_prep_steps 模板接口应用任务。

标签: overcloudhost_prep_steps

外部部署步骤 [1,2,3,4,5]

应用来自 external_deploy_steps_tasks 接口模板的任务。Ansible 仅针对 undercloud 节点运行这些任务。

标签: externalexternal_deploy_steps

Overcloud 部署步骤任务 [1,2,3,4,5]

从 deploy_steps_tasks 模板接口应用任务。

标签: overclouddeploy_steps

Overcloud 通用部署步骤任务 [1,2,3,4,5]

应用每个步骤执行的常见任务,包括 puppet 主机配置 container-puppet.py 和 paunch(容器配置)。

标签: overclouddeploy_steps

部署后服务器

为 5 步部署过程后执行的配置应用特定于服务器的 Heat 部署。

标签: overcloudpost_deploy_steps

部署之后的外部部署任务

应用来自 external_post_deploy_steps_tasks 接口模板的任务。Ansible 仅针对 undercloud 节点运行这些任务。

标签: externalexternal_deploy_steps

12.11. 后续步骤

现在,您可以继续执行常规的 overcloud 操作。

第 13 章 扩展 overcloud 节点

警告

不要使用 openstack server delete 从 overcloud 中删除节点。请阅读本节中规定的操作过程,以正确地删除和替换节点。

在某些情况下,您可能需要在创建 overcloud 后添加或删除节点。例如,可能需要为 overcloud 添加计算节点。这样的情形需要更新 overcloud。

下表介绍了对每个节点类型进行扩展的支持信息:

表 13.1. 每个节点类型的扩展支持

节点类型

扩充

缩小

备注

Controller

N

N

可使用 第 14 章 替换 Controller 节点中的步骤替换 Controller 节点。

计算

Y

Y

 

Ceph Storage 节点

Y

N

在初始创建的 overcloud 中必须至少有一个 Ceph 存储节点。

Object Storage 节点

Y

Y

 
重要

在进行 overcloud 扩展前,确保至少有 10 GB 的可用空间。这些可用空间将在节点置备过程中用于保存镜像转换和缓存。

13.1. 向 overcloud 添加节点

完成下列步骤,向 director 节点池添加更多节点。

步骤

  1. 创建一个新的 JSON 文件 (newnodes.json),文件中应包含要注册的新节点详情:

    {
      "nodes":[
        {
            "mac":[
                "dd:dd:dd:dd:dd:dd"
            ],
            "cpu":"4",
            "memory":"6144",
            "disk":"40",
            "arch":"x86_64",
            "pm_type":"ipmi",
            "pm_user":"admin",
            "pm_password":"p@55w0rd!",
            "pm_addr":"192.168.24.207"
        },
        {
            "mac":[
                "ee:ee:ee:ee:ee:ee"
            ],
            "cpu":"4",
            "memory":"6144",
            "disk":"40",
            "arch":"x86_64",
            "pm_type":"ipmi",
            "pm_user":"admin",
            "pm_password":"p@55w0rd!",
            "pm_addr":"192.168.24.208"
        }
      ]
    }
  2. 运行以下命令来注册新节点:

    $ source ~/stackrc
    (undercloud) $ openstack overcloud node import newnodes.json
  3. 在注册新节点后,通过运行以下命令为每个新节点启动内省过程:

    (undercloud) $ openstack baremetal node manage [NODE UUID]
    (undercloud) $ openstack overcloud node introspect [NODE UUID] --provide

    此过程将检测和基准测试节点的硬件属性。

  4. 配置该节点的镜像属性:

    (undercloud) $ openstack overcloud node configure [NODE UUID]

13.2. 增加角色的节点数

完成以下步骤来扩展特定角色的 overcloud 节点,如 Compute 节点。

步骤

  1. 给每个新节点标记您想要的角色。例如,如要为节点标上 Compute 角色,可运行以下命令:

    (undercloud) $ openstack baremetal node set --property capabilities='profile:compute,boot_option:local' [NODE UUID]
  2. 若要缩放 overcloud,您需要编辑包含节点数目的环境文件并重新部署 overcloud。例如,若要将 overcloud 扩展到 5 个 Compute 节点,可编辑 ComputeCount 参数:

    parameter_defaults:
      ...
      ComputeCount: 5
      ...
  3. 使用更新后的文件(在本示例中,该文件名为 node-info.yaml),重新运行部署命令:

    (undercloud) $ openstack overcloud deploy --templates -e /home/stack/templates/node-info.yaml [OTHER_OPTIONS]

    务必包含初始 overcloud 创建中的所有环境文件和选项。这包括非 Compute 节点的相同缩放参数。

  4. 等待部署操作完成。

13.3. 删除 Compute 节点

在某些情况下,您可能需要从 overcloud 中删除计算节点。例如,需要替换有问题的计算节点。

重要

在从 overcloud 中删除计算节点前,先将该节点上的工作负载迁移到其他计算节点。请参见 第 11 章 在 Compute 节点之间迁移虚拟机了解更多详细信息。

步骤

  1. 查找 overcloud 配置:

    $ source ~/stack/overcloudrc
  2. 禁用 overcloud 中传出节点上的 Compute 服务,以防止节点调度新的实例:

    (overcloud) $ openstack compute service list
    (overcloud) $ openstack compute service set [hostname] nova-compute --disable
    提示

    添加有关为何要使用 --disable-reason 选项禁用该服务的简短说明。如果您打算稍后重新部署 Compute 服务,则该说明很有用。

  3. 查找 undercloud 配置:

    (overcloud) $ source ~/stack/stackrc
  4. 在删除 overcloud 节点时,您必须使用本地模板文件更新 overcloud 堆栈。首先,确定 overcloud 堆栈的 UUID:

    (undercloud) $ openstack stack list
  5. 找到要被删除的节点的 UUID:

    (undercloud) $ openstack server list
  6. 运行以下命令来从栈中删除节点,并相应地更新计划:

    (undercloud) $ openstack overcloud node delete --stack [STACK_UUID] --templates -e [ENVIRONMENT_FILE] [NODE1_UUID] [NODE2_UUID] [NODE3_UUID]
    重要

    如果在创建 overcloud 时传递了额外的环境文件,请使用 -e--environment-file 选项再次传递它们来避免对 overcloud 进行不必要的手动更改。

  7. 在继续进行操作前,确保 openstack overcloud node delete 命令已运行完。使用 openstack stack list 命令检查 overcloud 栈的状态是否已变为 UPDATE_COMPLETE

    重要

    如果您打算使用相同的主机名重新部署 Compute 服务,则需要对重新部署的节点使用现有服务记录。如果是这样,则跳过此过程中的剩余步骤,继续按照 使用相同的主机名重新部署 Compute 服务中详述的说明操作。

  8. 从节点删除 Compute 服务:

    (undercloud) $ source ~/stack/overcloudrc
    (overcloud) $ openstack compute service list
    (overcloud) $ openstack compute service delete [service-id]
  9. 从节点删除 Open vSwitch 代理:

    (overcloud) $ openstack network agent list
    (overcloud) $ openstack network agent delete [openvswitch-agent-id]
  10. 将删除的 Compute 服务作为资源提供商从放置服务中移除:

    (overcloud) $ openstack resource provider list
    (overcloud) $ openstack resource provider delete [uuid]
    注意

    要使用放置服务,请安装 python2-osc-placement 软件包。

现在,可以安全地把节点从 overcloud 中删除,并将它部署用于其他目的。

使用相同的主机名重新部署 Compute 服务

要重新部署禁用的 Compute 服务,请在具有相同主机名的节点重新启动之后再重新启用。例如:

(overcloud) $ openstack compute service set compute-1.localdomain nova-compute --disable --disable-reason "gets re-provisioned"
(overcloud) $ openstack compute service list --long
...
| 80 | nova-compute | compute-1.localdomain | nova  | disabled | up | 2018-07-13T14:35:04.000000 | gets re-provisioned |
...
(overcloud) $ openstack compute service set compute-1.localdomain nova-compute --enable

13.4. 替换 Ceph Storage 节点

您可以使用 director 来替换 director 创建的集群中的 Ceph Storage 节点。可在使用容器化 Red Hat Ceph 部署 Overcloud 指南中找到这些说明。

13.5. 替换 Object Storage 节点

参考本节中的说明,了解如何在保持集群完整的同时替换 Object Storage 节点。此示例涉及必须替换 overcloud-objectstorage-1 节点的三节点 Object Storage 集群。此操作过程的目标是添加一个节点,然后删除 overcloud-objectstorage-1(实际上是替换掉它)。

步骤

  1. 通过 ObjectStorageCount 参数增加 Object Storage 数量。此参数通常位于 node-info.yaml 中,这是包含节点数的环境文件:

    parameter_defaults:
      ObjectStorageCount: 4

    ObjectStorageCount 参数定义环境中 Object Storage 节点的数量。在本例中,我们从 3 个节点扩展到 4 个。

  2. 使用更新的 ObjectStorageCount 参数,运行部署命令:

    $ source ~/stackrc
    (undercloud) $ openstack overcloud deploy --templates -e node-info.yaml ENVIRONMENT_FILES
  3. 部署命令完成后,overcloud 将包含新增的 Object Storage 节点。
  4. 将数据复制到新节点。在删除节点(本例中为 overcloud-objectstorage-1),先等待新节点上完成复制传递。在 /var/log/swift/swift.log 文件中检查复制传递进度。当传递完成时,Object Storage 服务应该会记录类似于以下示例的日志条目:

    Mar 29 08:49:05 localhost object-server: Object replication complete.
    Mar 29 08:49:11 localhost container-server: Replication run OVER
    Mar 29 08:49:13 localhost account-server: Replication run OVER
  5. 若要从环中删除旧节点,可减小 ObjectStorageCount 参数来省略旧节点。在本例中,将它减小到 3:

    parameter_defaults:
      ObjectStorageCount: 3
  6. 创建一个新环境文件,命名为 remove-object-node.yaml。此文件将确认并移除指定的 Object Storage 节点。以下内容指定了 overcloud-objectstorage-1 的移除:

    parameter_defaults:
      ObjectStorageRemovalPolicies:
        [{'resource_list': ['1']}]
  7. 在部署命令中包含 node-info.yamlremove-object-node.yaml 文件:

    (undercloud) $ openstack overcloud deploy --templates -e node-info.yaml ENVIRONMENT_FILES -e remove-object-node.yaml

director 从 overcloud 中删除对象存储节点,并更新 overcloud 中的其他节点来使删除生效。

重要

请确保包括初始创建 overcloud 以来的所有环境文件和选项。这包括非 Compute 节点的相同缩放参数。

13.6. 将节点列入黑名单

您可以阻止 overcloud 节点获得更新的部署内容。这在某些情况下非常有用,比如,您准备扩展新节点,同时想阻止现有节点获得核心 Heat 模板集合中更新的参数和资源集合。换句话说,列入黑名单的节点将完全不受栈操作的影响。

在环境文件中使用 DeploymentServerBlacklist 参数可创建黑名单。

设置黑名单

DeploymentServerBlacklist 参数是服务器名称列表。可以将其写入新的环境文件,或将参数值添加到现有的自定义环境文件,然后将此文件传递给部署命令:

parameter_defaults:
  DeploymentServerBlacklist:
    - overcloud-compute-0
    - overcloud-compute-1
    - overcloud-compute-2
注意

参数值中的服务器名称是由 OpenStack Orchestration (heat) 规定的名称,并非实际的服务器主机名。

将此环境文件包含到 openstack overcloud deploy 命令中:

$ source ~/stackrc
(undercloud) $ openstack overcloud deploy --templates \
  -e server-blacklist.yaml \
  [OTHER OPTIONS]

Heat 会将列表中的任何服务器列入黑名单,阻止其获得更新的 Heat 部署内容。在栈操作完成后,黑名单中的服务器不会发生任何变化。您也可以在操作过程中关闭或停止 os-collect-config 代理。

警告
  • 将节点列入黑名单时要非常谨慎。在使用黑名单前,必须完全清楚在有黑名单的情况下如何应用所要求的更改。使用黑名单功能有可能造成栈停止工作,或对 overcloud 执行不正确的配置。例如,如果集群配置更改应用到 Pacemaker 集群的所有成员,那么在执行更改时将 Pacemaker 集群的某个成员列入黑名单就会导致集群出现问题。
  • 不要在更新或升级过程中使用黑名单。这些过程本身有一些方法可将更改操作与特定服务器进行隔离。如需更多信息,请参阅 Upgrading Red Hat OpenStack Platform 文档。
  • 将服务器加入黑名单后,不允许再对这些节点进行更改操作,除非将其从黑名单中移除。这包括更新、升级、扩展、缩减和节点替换等操作。

清除黑名单

要清除黑名单以便对其中节点执行后续的栈操作,可编辑 DeploymentServerBlacklist,使其成为空阵列:

parameter_defaults:
  DeploymentServerBlacklist: []
警告

不要直接省略 DeploymentServerBlacklist 参数。如果省略该参数,overcloud 部署将使用先前保存的参数值。

第 14 章 替换 Controller 节点

在一些情况下,高可用性集群中的 Controller 节点可能会出现故障。在这种情况下,您需要把这个节点从集群中删除,并替换为一个新的 Controller 节点。

完成本节中的步骤来替换 Controller 节点。在 Controller 节点替换过程中,需要运行 openstack overcloud deploy 命令,以使用替换 Controller 节点的请求来更新 overcloud。

重要

以下操作过程仅适用于高可用性环境。在只有一个 Controller 节点的情况下不要使用此过程。

14.1. 准备替换 Controller 节点

在尝试替换 overcloud 控制器节点前,务必要检查Red Hat OpenStack Platform环境的当前状态;此检查有助于避免在替换控制器节点的过程中出现混乱。参照以下初步检查列表,确定是否可以安全地执行控制器节点替换。使用以下初步检查列表,确定是否可以安全地执行 Controller 节点替换。在 undercloud 上对这些检查运行所有命令。

步骤

  1. 在 undercloud 中检查 overcloud 栈的当前状态:

    $ source stackrc
    (undercloud) $ openstack stack list --nested

    overcloud 栈以及它们的子栈的状态需要是 CREATE_COMPLETEUPDATE_COMPLETE

  2. 安装数据库客户端工具:

    (undercloud) $ sudo yum -y install mariadb
  3. 配置数据库的 root 用户访问权限:

    (undercloud) $ sudo cp /var/lib/config-data/puppet-generated/mysql/root/.my.cnf /root/.
  4. 对 undercloud 数据库进行备份:

    (undercloud) $ mkdir /home/stack/backup
    (undercloud) $ sudo mysqldump --all-databases --quick --single-transaction | gzip > /home/stack/backup/dump_db_undercloud.sql.gz
  5. 检查您的 undercloud 是否包含 10 GB 可用存储,可在置备新节点时容纳镜像缓存和转换:

    (undercloud) $ df -h
  6. 在运行的 Controller 节点上检查 Pacemaker 的状态。例如,运行的 Controller 节点的 IP 地址是 192.168.0.47,使用以下命令获得 Pacemaker 的状态:

    (undercloud) $ ssh heat-admin@192.168.0.47 'sudo pcs status'

    这个命令的输出应该显示,所有服务都在存在的节点上运行,并已在出现故障的节点上停止运行。

  7. 检查 overcloud 的 MariaDB 集群中各个节点的以下参数:

    • wsrep_local_state_comment: Synced
    • wsrep_cluster_size: 2

      使用以下命令检查各个运行的 Controller 节点的这些参数。在本例中,Controller 节点 IP 地址是 192.168.0.47 和 192.168.0.46:

      (undercloud) $ for i in 192.168.24.6 192.168.24.7 ; do echo "*** $i ***" ; ssh heat-admin@$i "sudo podman exec \$(sudo podman ps --filter name=galera-bundle -q) mysql -e \"SHOW STATUS LIKE 'wsrep_local_state_comment'; SHOW STATUS LIKE 'wsrep_cluster_size';\""; done
  8. 检查 RabbitMQ 状态。例如,如果一个运行的 Controller 节点的 IP 地址是 192.168.0.47,则可使用以下命令获取其状态:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo podman exec \$(sudo podman ps -f name=rabbitmq-bundle -q) rabbitmqctl cluster_status"

    running_nodes 应该只显示两个可用的节点,而不会显示有故障的节点。

  9. 如果启用了隔离服务,需要禁用它。例如,如果 192.168.0.47 是运行中 Controller 节点的 IP 地址,则使用以下命令检查隔离服务的状态:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs property show stonith-enabled"

    运行以下命令可禁用隔离服务:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs property set stonith-enabled=false"
  10. 检查 director 节点上的 Compute 服务是否活跃:

    (undercloud) $ openstack hypervisor list

    以上命令的输出应该显示所有没有处于维护模式的节点的状态为 up

  11. 确保所有 undercloud 容器都在运行:

    (undercloud) $ sudo podman ps

14.2. 删除 Ceph Monitor 守护进程

按照这个操作过程操作,从存储集群中删除 ceph-mon 守护进程。如果 Controller 节点正在运行 Ceph 监控器服务,请完成以下步骤以删除 ceph-mon 守护进程。这个操作过程假设 Controller 可供连接。

注意

在集群中添加新的 Controller,也会自动添加新的 Ceph 监控器守护进程。

步骤

  1. 连接到您要替换的 Controller,然后改为 root 用户身份:

    # ssh heat-admin@192.168.0.47
    # sudo su -
    注意

    如果无法连接到该 Controller,请跳过第 1 步和第 2 步,然后在能够正常工作的任意 Controller 节点上从第 3 步开始继续执行这个操作过程。

  2. 以 root 用户的身份,停止该监控器:

    # systemctl stop ceph-mon@<monitor_hostname>

    例如:

    # systemctl stop ceph-mon@overcloud-controller-1
  3. 断开与要被替换的控制器的连接:
  4. 连接到现有控制器中的一个。

    # ssh heat-admin@192.168.0.46
    # sudo su -
  5. 从集群中删除该监控器:

    # sudo podman exec -it ceph-mon-controller-0 ceph mon remove overcloud-controller-1
  6. 在所有 Controller 节点上,从 /etc/ceph/ceph.conf 中删除 v1 和 v2 监控条目。例如,如果删除 controller-1,则删除 controller-1 的 IP 和主机名。

    删除前:

    mon host = [v2:172.18.0.21:3300,v1:172.18.0.21:6789],[v2:172.18.0.22:3300,v1:172.18.0.22:6789],[v2:172.18.0.24:3300,v1:172.18.0.24:6789]
    mon initial members = overcloud-controller-2,overcloud-controller-1,overcloud-controller-0

    删除后:

    mon host = [v2:172.18.0.21:3300,v1:172.18.0.21:6789],[v2:172.18.0.24:3300,v1:172.18.0.24:6789]
    mon initial members = overcloud-controller-2,overcloud-controller-0
    注意

    在添加替换控制器节点时,director 会更新相关 overcloud 节点上的 ceph.conf 文件。通常,这个配置文件由 director 独占管理,您不应手动编辑。不过,如果在您添加新节点前其他节点重新启动,您可以手动编辑该文件来确保一致性。

  7. 此外,也可选择归档监控器数据,并将其保存到其他服务器上:

    # mv /var/lib/ceph/mon/<cluster>-<daemon_id> /var/lib/ceph/mon/removed-<cluster>-<daemon_id>

14.3. 为 Controller 替换准备集群

在替换旧节点前,您必须确保节点上不再运行 Pacemaker,然后将该节点从 Pacemaker 集群中删除。

步骤

  1. 获取 Controller 节点的 IP 地址列表:

    (undercloud) $ openstack server list -c Name -c Networks
    +------------------------+-----------------------+
    | Name                   | Networks              |
    +------------------------+-----------------------+
    | overcloud-compute-0    | ctlplane=192.168.0.44 |
    | overcloud-controller-0 | ctlplane=192.168.0.47 |
    | overcloud-controller-1 | ctlplane=192.168.0.45 |
    | overcloud-controller-2 | ctlplane=192.168.0.46 |
    +------------------------+-----------------------+
  2. 如果旧节点仍然可以连接,请登录其中一个剩余的节点,并停止旧节点上的 pacemaker。在本例中,请停止 overcloud-controller-1 上的 pacemaker:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs status | grep -w Online | grep -w overcloud-controller-1"
    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs cluster stop overcloud-controller-1"
    注意

    如果旧节点在物理上不可用或者已经停止,则不必进行前面的操作,因为该节点上 pacemaker 已经停止。

  3. 在旧节点上停止 Pacemaker 后,从 pacemaker 集群中删除旧节点。以下示例命令登录到 overcloud-controller-0 以删除 overcloud-controller-1

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs cluster node remove overcloud-controller-1"

    如果要替换的节点无法访问(例如,由于硬件故障),请运行 pcs 命令并使用附加 --skip-offline--force 选项从集群中强制删除该节点:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs cluster node remove overcloud-controller-1 --skip-offline --force"
  4. 从 pacemaker 集群中删除旧节点后,再从 pacemaker 中的已知主机列表中删除该节点:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs host deauth overcloud-controller-1"

    无论节点是否可访问,都可运行该命令。

  5. overcloud 数据库必须在替换过程中继续运行。为了确保 Pacemaker 不会在此过程中停止 Galera,可选择一个运行中的 Controller 节点,然后使用该 Controller 节点的 IP 地址在 undercloud 上运行以下命令:

    (undercloud) $ ssh heat-admin@192.168.0.47 "sudo pcs resource unmanage galera-bundle"

14.4. 替换 Controller 节点

要替换 Controller 节点,请确定您要替换的节点的索引。

  • 如果节点是虚拟节点,请确定包含故障磁盘的节点,然后从备份中恢复磁盘。确保用于故障服务器上 PXE 引导的 NIC 的 MAC 地址在磁盘替换后保持不变。
  • 如果该节点是裸机节点,请替换磁盘,利用您的 overcloud 配置准备新磁盘,然后对新硬件上执行节点内省。

完成下方的示例步骤,将 overcloud-controller-1 节点替换为 overcloud-controller-3 节点。overcloud-controller-3 节点的 ID 是 75b25e9a-948d-424a-9b3b-f0ef70a6eacf

重要

要将节点替换为现有的 ironic 节点,请在传出节点上启用维护模式,以便 director 不会自动重新置备节点。

步骤

  1. source stackrc 文件:

    $ source ~/stackrc
  2. 确定 overcloud-controller-1 节点的索引:

    $ INSTANCE=$(openstack server list --name overcloud-controller-1 -f value -c ID)
  3. 确定与实例关联的裸机节点:

    $ NODE=$(openstack baremetal node list -f csv --quote minimal | grep $INSTANCE | cut -f1 -d,)
  4. 把节点设为维护模式:

    $ openstack baremetal node maintenance set $NODE
  5. 如果 Controller 节点是虚拟节点,请在 Controller 主机上运行以下命令,从备份中替换虚拟磁盘:

    $ cp <VIRTUAL_DISK_BACKUP> /var/lib/libvirt/images/<VIRTUAL_DISK>

    <VIRTUAL_DISK_BACKUP> 替换为故障虚拟磁盘备份的路径,然后将 <VIRTUAL_DISK> 替换为要替换的虚拟磁盘的名称。

    如果您没有传出节点的备份,必须使用新的虚拟化节点。

    如果 Controller 节点是裸机节点,请完成下列步骤,将磁盘替换为新的裸机磁盘:

    1. 更换物理硬盘或固态硬盘驱动器。
    2. 使用与故障节点相同的配置来准备节点。
  6. 列出未关联的节点,并确定新节点的 ID:

    $ openstack baremetal node list --unassociated
  7. 使用 control 配置集标记新节点:

    (undercloud) $ openstack baremetal node set --property capabilities='profile:control,boot_option:local' 75b25e9a-948d-424a-9b3b-f0ef70a6eacf

14.5. 触发 Controler 节点替换

完成以下步骤,以删除旧的 Controller 节点,并将它替换为新的 Controller 节点。

步骤

  1. 创建一个环境文件 (~/templates/remove-controller.yaml) 来定义要删除的节点索引:

    parameters:
      ControllerRemovalPolicies:
        [{'resource_list': ['1']}]
  2. 运行 overcloud 部署命令,在命令中包含 remove-controller.yaml 环境文件以及所有与您环境相关的其他环境文件:

    (undercloud) $ openstack overcloud deploy --templates \
        -e /home/stack/templates/remove-controller.yaml \
        -e /home/stack/templates/node-info.yaml \
        [OTHER OPTIONS]
    注意

    仅对部署命令的这个实例包含 -e ~/templates/remove-controller.yaml。从后续的部署操作中移除此环境文件。

  3. director 会删除旧节点,创建一个新节点并更新 overcloud 栈。您可以使用以下命令检查 overcloud 栈的状态:

    (undercloud) $ openstack stack list --nested
  4. 一旦部署命令完成,director 会显示旧节点已替换为新节点:

    (undercloud) $ openstack server list -c Name -c Networks
    +------------------------+-----------------------+
    | Name                   | Networks              |
    +------------------------+-----------------------+
    | overcloud-compute-0    | ctlplane=192.168.0.44 |
    | overcloud-controller-0 | ctlplane=192.168.0.47 |
    | overcloud-controller-2 | ctlplane=192.168.0.46 |
    | overcloud-controller-3 | ctlplane=192.168.0.48 |
    +------------------------+-----------------------+

    新节点现在托管运行的 control plane 服务。

14.6. Controller 节点替换后清理

完成节点替换后,执行以下步骤来完善 Controller 集群。

步骤

  1. 登录 Controller 节点。
  2. 启用 Galera 集群的 Pacemaker 管理,并在新节点上启动 Galera:

    [heat-admin@overcloud-controller-0 ~]$ sudo pcs resource refresh galera-bundle
    [heat-admin@overcloud-controller-0 ~]$ sudo pcs resource manage galera-bundle
  3. 执行最后的状态检查来确保服务在正确运行:

    [heat-admin@overcloud-controller-0 ~]$ sudo pcs status
    注意

    如果有任何服务失败,请使用 pcs resource refresh 命令来解决问题并重新启动失败的服务。

  4. 退出 director

    [heat-admin@overcloud-controller-0 ~]$ exit
  5. 查找 overcloudrc 文件,以便您可以跟 overcloud 交互:

    $ source ~/overcloudrc
  6. 检查 overcloud 环境中的网络代理:

    (overcloud) $ openstack network agent list
  7. 如果出现任何旧节点的代理,请删除它们:

    (overcloud) $ for AGENT in $(openstack network agent list --host overcloud-controller-1.localdomain -c ID -f value) ; do openstack network agent delete $AGENT ; done
  8. 如有必要,将您的路由器添加到新节点上的 L3 代理主机。使用以下示例命令,通过 UUID 2d1c1dc1-d9d4-4fa9-b2c8-f29cd1a649d4 将名为 r1 的路由器添加到 L3 代理中:

    (overcloud) $ openstack network agent add router --l3 2d1c1dc1-d9d4-4fa9-b2c8-f29cd1a649d4 r1
  9. overcloud 中仍然存在已删除节点的 Compute 服务,需要删除它们。检查已删除节点的 Compute 服务:

    [stack@director ~]$ source ~/overcloudrc
    (overcloud) $ openstack compute service list --host overcloud-controller-1.localdomain
  10. 删除已删除节点的 compute 服务:

    (overcloud) $ for SERVICE in $(openstack compute service list --host overcloud-controller-1.localdomain -c ID -f value ) ; do openstack compute service delete $SERVICE ; done

第 15 章 重新引导节点

您可能需要在 undercloud 和 overcloud 中重新引导节点。使用以下步骤了解如何重新引导不同的节点类型。请注意以下几点:

  • 如果重新引导一个角色中的所有节点,建议单独重新引导各节点。如果同时重新引导角色中的所有节点,可能会在重新引导操作过程中遇到服务停机。
  • 如果重新引导 OpenStack Platform 环境中的所有节点,则按照以下顺序重新引导:

建议的节点重新引导顺序

  1. 重新引导 undercloud 节点
  2. 重新引导 Controller 节点和其他可组合节点
  3. 重新引导独立 Ceph MON 节点
  4. 重新引导 Ceph Storage 节点
  5. 重新引导 Compute 节点

15.1. 重新引导 undercloud 节点

完成以下步骤以重新引导 undercloud 节点。

步骤

  1. stack 用户的身份登录 undercloud。
  2. 重新引导 undercloud:

    $ sudo reboot
  3. 稍等片刻,直到节点启动。

15.2. 重新引导 Controller 和可组合节点

完成以下步骤以基于可组合角色重新引导 controller 节点和独立节点,不包括 Compute 节点和 Ceph Storage 节点。

步骤

  1. 选择要重新引导的节点。登录该节点并停止集群,再重新引导:

    [heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster stop
  2. 重新引导节点:

    [heat-admin@overcloud-controller-0 ~]$ sudo reboot
  3. 稍等片刻,直到节点启动。
  4. 重新启用该节点的集群:

    [heat-admin@overcloud-controller-0 ~]$ sudo pcs cluster start
  5. 登录该节点并检查服务:

    1. 如果该节点使用 Pacemaker 服务,请检查该节点是否已重新加入集群:

      [heat-admin@overcloud-controller-0 ~]$ sudo pcs status
    2. 如果该节点使用 Systemd 服务,请检查是否所有服务都已启用:

      [heat-admin@overcloud-controller-0 ~]$ sudo systemctl status
    3. 如果该节点使用容器化服务,则检查节点上的所有容器是否已激活:

      [heat-admin@overcloud-controller-0 ~]$ sudo podman ps

15.3. 重新引导独立 Ceph MON 节点

完成以下步骤以重新引导独立 Ceph MON 节点。

步骤

  1. 登录 Ceph MON 节点。
  2. 重新引导节点:

    $ sudo reboot
  3. 等待节点被引导并重新加入 MON 集群。

对集群中的每个 MON 节点重复这些步骤。

15.4. 重新引导 Ceph Storage (OSD) 集群

完成以下步骤以重新引导 Ceph Storage (OSD) 节点集群。

步骤

  1. 登录到 Ceph MON 或 Controller 节点,然后暂时禁用 Ceph 存储集群重新平衡:

    $ sudo podman exec -it ceph-mon-controller-0 ceph osd set noout
    $ sudo podman exec -it ceph-mon-controller-0 ceph osd set norebalance
  2. 选择第一个 Ceph Storage 节点以重新引导并登录到该节点。
  3. 重新引导节点:

    $ sudo reboot
  4. 稍等片刻,直到节点启动。
  5. 登录到节点,并检查集群的状态:

    $ sudo podman exec -it ceph-mon-controller-0 ceph status

    检查 pgmap 是否正常报告所有 pgs (active+clean)。

  6. 注销节点,重新引导下一个节点,并检查其状态。重复此流程,直到您已重新引导所有 Ceph 存储节点。
  7. 完成之后,登录 Ceph MON 或 Controller 节点,然后重新启用集群重新平衡:

    $ sudo podman exec -it ceph-mon-controller-0 ceph osd unset noout
    $ sudo podman exec -it ceph-mon-controller-0 ceph osd unset norebalance
  8. 执行最后的状态检查,确认集群报告 HEALTH_OK

    $ sudo podman exec -it ceph-mon-controller-0 ceph status

15.5. 重新引导 Compute 节点

完成以下步骤以重新引导 Compute 节点。为确保 OpenStack Platform 环境中实例的停机时间最少,此步骤还包括有关从您要重新引导的 Compute 节点迁移实例的说明。其中会涉及以下工作流:

  • 决定是否在重新引导节点前将实例迁移到另一个 Compute 节点
  • 选择并禁用您要重新引导的 Compute 节点,使其不置备新实例
  • 将实例迁移到另一个 Compute 节点中
  • 重新引导空的 Compute 节点
  • 启用空的 Compute 节点

先决条件

重新引导 Compute 节点之前,必须决定是否在节点重新引导过程中将实例迁移到另一个 Compute 节点。

如果出于某种原因,您无法或不想迁移实例,则可设置以下核心模板参数以在 Compute 节点重新引导后控制实例的状态:

NovaResumeGuestsStateOnHostBoot
确定重新引导后是否将实例返回 Compute 节点上的相同状态。设为 False 时,实例将保持关闭,必须手动启动。默认值为:False
NovaResumeGuestsShutdownTimeout
重启前等待实例被关闭的时间(以秒为单位)。建议不要将此值设置为 0。默认值为:300

有关 overcloud 参数及其用法的一般信息,请参见 Overcloud 参数

步骤

  1. stack 用户的身份登录 undercloud。
  2. 列出所有的 Compute 节点及其 UUID:

    $ source ~/stackrc
    (undercloud) $ openstack server list --name compute

    识别您要重新引导的 Compute 节点的 UUID。

  3. 从 undercloud 中,选择 Compute 节点。禁用该节点:

    $ source ~/overcloudrc
    (overcloud) $ openstack compute service list
    (overcloud) $ openstack compute service set [hostname] nova-compute --disable
  4. 列出 Compute 节点上的所有实例:

    (overcloud) $ openstack server list --host [hostname] --all-projects
  5. 如果您决定不迁移实例,则跳至此步骤
  6. 如果您决定将实例迁移至另一个 Compute 节点,则使用以下命令之一:

    1. 将实例迁移至其他主机:

      (overcloud) $ openstack server migrate [instance-id] --live [target-host]--wait
    2. nova-scheduler 自动选择目标主机:

      (overcloud) $ nova live-migration [instance-id]
    3. 一次性实时迁移所有实例:

      $ nova host-evacuate-live [hostname]
      注意

      nova 命令可能会引发一些弃用警告,这些警告信息可以被安全忽略。

  7. 稍等片刻,直至迁移完成。
  8. 确认迁移成功完成:

    (overcloud) $ openstack server list --host [hostname] --all-projects
  9. 继续迁移实例,直到所选 Compute 节点中不剩任何实例。
  10. 登录 Compute 节点。重新引导节点:

    [heat-admin@overcloud-compute-0 ~]$ sudo reboot
  11. 稍等片刻,直到节点启动。
  12. 重新启用 Compute 节点:

    $ source ~/overcloudrc
    (overcloud) $ openstack compute service set [hostname] nova-compute --enable
  13. 确认是否已启用 Compute 节点:

    (overcloud) $ openstack compute service list

部分 IV. 其他 Director 操作和配置

第 16 章 配置自定义 SSL/TLS 证书

您可以将 undercloud 配置为使用 SSL/TLS 进行公共端点上的通信。但是,如果您想使用自己证书颁发机构签发的 SSL 证书,则必须完成以下配置步骤。

16.1. 初始化签名主机

签名主机是使用证书颁发机构生成并签名新证书的主机。如果您从未在所选签名主机上创建 SSL 证书,您可能需要初始化该主机,让它能够为新证书签名。

步骤

  1. /etc/pki/CA/index.txt 文件包含所有签名证书的记录。检查是否存在此文件。如果不存在,请创建一个空文件:

    $ sudo touch /etc/pki/CA/index.txt
  2. /etc/pki/CA/serial 文件标识下一个序列号,以用于下一个要签名的证书。检查是否存在此文件。如果此文件不存在,则使用新启动值创建新文件:

    $ echo '1000' | sudo tee /etc/pki/CA/serial

16.2. 创建证书颁发机构

一般情况下,您需要使用一个外部的证书认证机构来签发您的 SSL/TLS 证书。在某些情况下,您可能想使用自己的证书颁发机构。例如,您可能想拥有仅限内部使用的证书颁发机构。

步骤

  1. 生成密钥和证书对以充当证书颁发机构:
$ openssl genrsa -out ca.key.pem 4096
$ openssl req  -key ca.key.pem -new -x509 -days 7300 -extensions v3_ca -out ca.crt.pem
  1. openssl req 命令会要求输入认证机构的详细信息。根据提示输入相关信息。

这些命令创建一个称为 ca.crt.pem 的证书颁发机构文件。

16.3. 将此证书颁发机构添加到客户端

对于旨在使用 SSL/TLS 通信的所有外部客户端,将证书颁发机构文件复制到需要访问 Red Hat OpenStack Platform 环境的每个客户端。

步骤

  1. 将证书颁发机构复制到客户端系统:

    $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
  2. 将证书颁发机构文件复制到每个客户端后,在每个客户端上运行以下命令,将证书添加到证书颁发机构信任捆绑包中:

    $ sudo update-ca-trust extract

16.4. 创建 SSL/TLS 密钥

在 OpenStack 环境中启用 SSL/TLS 需要一个 SSL/TLS 密钥来生成证书。此过程显示如何生成此密钥。

步骤

  1. 运行以下命令以生成 SSL/TLS 密钥 (server.key.pem):

    $ openssl genrsa -out server.key.pem 2048

16.5. 创建 SSL/TLS 证书签名请求

完成以下步骤以创建证书签名请求。

步骤

  1. 复制默认 OpenSSL 配置文件:

    $ cp /etc/pki/tls/openssl.cnf .
  2. 编辑新的 openssl.cnf 文件并配置 SSL 参数用于 director。一个包括相关参数的示例如下:

    [req]
    distinguished_name = req_distinguished_name
    req_extensions = v3_req
    
    [req_distinguished_name]
    countryName = Country Name (2 letter code)
    countryName_default = AU
    stateOrProvinceName = State or Province Name (full name)
    stateOrProvinceName_default = Queensland
    localityName = Locality Name (eg, city)
    localityName_default = Brisbane
    organizationalUnitName = Organizational Unit Name (eg, section)
    organizationalUnitName_default = Red Hat
    commonName = Common Name
    commonName_default = 192.168.0.1
    commonName_max = 64
    
    [ v3_req ]
    # Extensions to add to a certificate request
    basicConstraints = CA:FALSE
    keyUsage = nonRepudiation, digitalSignature, keyEncipherment
    subjectAltName = @alt_names
    
    [alt_names]
    IP.1 = 192.168.0.1
    DNS.1 = instack.localdomain
    DNS.2 = vip.localdomain
    DNS.3 = 192.168.0.1

    commonName_default 设置为以下条目之一:

    • 如果使用 IP 地址通过 SSL/TLS 访问 director,则使用 undercloud.conf 中的 undercloud_public_host 参数。
    • 如果使用完全限定域名通过 SSL/TLS 访问 director,则使用此域名。

      编辑 alt_names 部分,使其包含以下条目:

    • IP - 客户端用于通过 SSL 访问 director 的 IP 地址列表。
    • DNS - 客户端用于通过 SSL 访问 director 的域名列表。其中也包含公共 API IP 地址作为在 alt_names 部分末尾的 DNS 条目。
    注意

    有关 openssl.cnf 的更多信息,请运行 man openssl.cnf 命令。

  3. 运行以下命令以生成证书签名请求 (server.csr.pem):

    $ openssl req -config openssl.cnf -key server.key.pem -new -out server.csr.pem

    确保使用 -key 选项包括 OpenStack SSL/TLS 密钥。

此命令生成 server.csr.pem 文件,这是证书签名请求。使用此文件创建 OpenStack SSL/TLS 证书。

16.6. 创建 SSL/TLS 证书

此步骤显示如何为 OpenStack 环境生成证书。这需要以下文件:

openssl.cnf
指定 v3 扩展的自定义配置文件。
server.csr.pem
生成证书并使用 CA 对证书进行签名的证书签名请求。
ca.crt.pem
对证书进行签名的证书颁发机构。
ca.key.pem
证书颁发机构私钥。

步骤

  1. 运行以下命令,为 undercloud 或 overcloud 创建证书:

    $ sudo openssl ca -config openssl.cnf -extensions v3_req -days 3650 -in server.csr.pem -out server.crt.pem -cert ca.crt.pem -keyfile ca.key.pem

    此命令使用以下选项:

    -config
    使用自定义配置文件,即使用 v3 扩展的 openssl.cnf 文件。
    -extensions v3_req
    已启用的 v3 扩展。
    -days
    定义证书到期前的天数。
    -in'
    证书签名请求。
    -out
    生成的签名证书。
    -cert
    证书颁发机构文件。
    -keyfile
    证书颁发机构私钥。

此命令创建名为 server.crt.pem 的新证书。将此证书与 OpenStack SSL/TLS 密钥一起使用

16.7. 将证书添加到 undercloud

完成以下步骤,将 OpenStack SSL/TLS 证书添加到 undercloud 信任捆绑包中。

步骤

  1. 运行以下命令以组合证书和密钥:

    $ cat server.crt.pem server.key.pem > undercloud.pem

    此命令创建 undercloud.pem 文件。

  2. undercloud.pem 文件复制到 /etc/pki 目录内的位置,并设置必要的 SELinux 上下文,以便 HAProxy 能够读取:

    $ sudo mkdir /etc/pki/undercloud-certs
    $ sudo cp ~/undercloud.pem /etc/pki/undercloud-certs/.
    $ sudo semanage fcontext -a -t etc_t "/etc/pki/undercloud-certs(/.*)?"
    $ sudo restorecon -R /etc/pki/undercloud-certs
  3. undercloud.pem 文件位置添加到 undercloud.conf 文件的 undercloud_service_certificate 选项中:

    undercloud_service_certificate = /etc/pki/undercloud-certs/undercloud.pem
  4. 确保将签名证书的证书颁发机构添加到 undercloud 的可信证书颁发机构列表中,以便 undercloud 内的不同服务能够访问证书颁发机构:

    $ sudo cp ca.crt.pem /etc/pki/ca-trust/source/anchors/
    $ sudo update-ca-trust extract

继续安装 undercloud。

第 17 章 其他内省操作

17.1. 执行单个节点内省

要在可用节点上执行单个内省,请运行以下命令将此节点设置为管理模式并执行内省:

(undercloud) $ openstack baremetal node manage [NODE UUID]
(undercloud) $ openstack overcloud node introspect [NODE UUID] --provide

内省完成后,节点切换为 available 状态。

17.2. 在初始内省后执行节点内省操作

因为 --provide 选项的原因,所有节点在初始内省后都应进入 available 状态。要在初始内省后在所有节点上执行内省,将所有节点设置为 manageable 状态并运行批量内省命令:

(undercloud) $ for node in $(openstack baremetal node list --fields uuid -f value) ; do openstack baremetal node manage $node ; done
(undercloud) $ openstack overcloud node introspect --all-manageable --provide

内省完成后,所有节点都会变为 available 状态。

17.3. 执行网络内省以查看接口信息

网络内省会从网络交换机获取链路层发现协议 (LLDP) 数据。以下命令可显示某个节点上所有接口的某个 LLDP 信息子集,或显示某个节点和接口的全部信息。这对故障排除非常有用。director 默认会启用 LLDP 数据收集。

要获取节点上的接口列表,请运行以下命令:

(undercloud) $ openstack baremetal introspection interface list [NODE UUID]

例如:

(undercloud) $ openstack baremetal introspection interface list c89397b7-a326-41a0-907d-79f8b86c7cd9
+-----------+-------------------+------------------------+-------------------+----------------+
| Interface | MAC Address       | Switch Port VLAN IDs   | Switch Chassis ID | Switch Port ID |
+-----------+-------------------+------------------------+-------------------+----------------+
| p2p2      | 00:0a:f7:79:93:19 | [103, 102, 18, 20, 42] | 64:64:9b:31:12:00 | 510            |
| p2p1      | 00:0a:f7:79:93:18 | [101]                  | 64:64:9b:31:12:00 | 507            |
| em1       | c8:1f:66:c7:e8:2f | [162]                  | 08:81:f4:a6:b3:80 | 515            |
| em2       | c8:1f:66:c7:e8:30 | [182, 183]             | 08:81:f4:a6:b3:80 | 559            |
+-----------+-------------------+------------------------+-------------------+----------------+

要查看接口数据和交换机端口信息,请运行以下命令:

(undercloud) $ openstack baremetal introspection interface show [NODE UUID] [INTERFACE]

例如:

(undercloud) $ openstack baremetal introspection interface show c89397b7-a326-41a0-907d-79f8b86c7cd9 p2p1
+--------------------------------------+------------------------------------------------------------------------------------------------------------------------+
| Field                                | Value                                                                                                                  |
+--------------------------------------+------------------------------------------------------------------------------------------------------------------------+
| interface                            | p2p1                                                                                                                   |
| mac                                  | 00:0a:f7:79:93:18                                                                                                      |
| node_ident                           | c89397b7-a326-41a0-907d-79f8b86c7cd9                                                                                   |
| switch_capabilities_enabled          | [u'Bridge', u'Router']                                                                                                 |
| switch_capabilities_support          | [u'Bridge', u'Router']                                                                                                 |
| switch_chassis_id                    | 64:64:9b:31:12:00                                                                                                      |
| switch_port_autonegotiation_enabled  | True                                                                                                                   |
| switch_port_autonegotiation_support  | True                                                                                                                   |
| switch_port_description              | ge-0/0/2.0                                                                                                             |
| switch_port_id                       | 507                                                                                                                    |
| switch_port_link_aggregation_enabled | False                                                                                                                  |
| switch_port_link_aggregation_id      | 0                                                                                                                      |
| switch_port_link_aggregation_support | True                                                                                                                   |
| switch_port_management_vlan_id       | None                                                                                                                   |
| switch_port_mau_type                 | Unknown                                                                                                                |
| switch_port_mtu                      | 1514                                                                                                                   |
| switch_port_physical_capabilities    | [u'1000BASE-T fdx', u'100BASE-TX fdx', u'100BASE-TX hdx', u'10BASE-T fdx', u'10BASE-T hdx', u'Asym and Sym PAUSE fdx'] |
| switch_port_protocol_vlan_enabled    | None                                                                                                                   |
| switch_port_protocol_vlan_ids        | None                                                                                                                   |
| switch_port_protocol_vlan_support    | None                                                                                                                   |
| switch_port_untagged_vlan_id         | 101                                                                                                                    |
| switch_port_vlan_ids                 | [101]                                                                                                                  |
| switch_port_vlans                    | [{u'name': u'RHOS13-PXE', u'id': 101}]                                                                                 |
| switch_protocol_identities           | None                                                                                                                   |
| switch_system_name                   | rhos-compute-node-sw1                                                                                                  |
+--------------------------------------+------------------------------------------------------------------------------------------------------------------------+

获取硬件内省详细信息

Bare Metal 服务的硬件检查额外功能 (inspection_extras) 会默认启用,以获取硬件详细信息。您可以使用这些硬件详细信息来配置 overcloud。请参见配置 Director,详细了解 undercloud.conf 文件中的 inspection_extras 参数。

例如,numa_topology 收集程序就是这些硬件检查额外功能的一部分,包括每个 NUMA 节点的以下信息:

  • RAM(单位为 KB)
  • 物理 CPU 内核数和同级线程数
  • 和 NUMA 节点关联的 NIC

使用 openstack baremetal introspection data save _UUID_ | jq .numa_topology 命令并提供裸机节点的 UUID 以获取这些信息。

以下示例显示获取的裸机节点 NUMA 信息:

{
  "cpus": [
    {
      "cpu": 1,
      "thread_siblings": [
        1,
        17
      ],
      "numa_node": 0
    },
    {
      "cpu": 2,
      "thread_siblings": [
        10,
        26
      ],
      "numa_node": 1
    },
    {
      "cpu": 0,
      "thread_siblings": [
        0,
        16
      ],
      "numa_node": 0
    },
    {
      "cpu": 5,
      "thread_siblings": [
        13,
        29
      ],
      "numa_node": 1
    },
    {
      "cpu": 7,
      "thread_siblings": [
        15,
        31
      ],
      "numa_node": 1
    },
    {
      "cpu": 7,
      "thread_siblings": [
        7,
        23
      ],
      "numa_node": 0
    },
    {
      "cpu": 1,
      "thread_siblings": [
        9,
        25
      ],
      "numa_node": 1
    },
    {
      "cpu": 6,
      "thread_siblings": [
        6,
        22
      ],
      "numa_node": 0
    },
    {
      "cpu": 3,
      "thread_siblings": [
        11,
        27
      ],
      "numa_node": 1
    },
    {
      "cpu": 5,
      "thread_siblings": [
        5,
        21
      ],
      "numa_node": 0
    },
    {
      "cpu": 4,
      "thread_siblings": [
        12,
        28
      ],
      "numa_node": 1
    },
    {
      "cpu": 4,
      "thread_siblings": [
        4,
        20
      ],
      "numa_node": 0
    },
    {
      "cpu": 0,
      "thread_siblings": [
        8,
        24
      ],
      "numa_node": 1
    },
    {
      "cpu": 6,
      "thread_siblings": [
        14,
        30
      ],
      "numa_node": 1
    },
    {
      "cpu": 3,
      "thread_siblings": [
        3,
        19
      ],
      "numa_node": 0
    },
    {
      "cpu": 2,
      "thread_siblings": [
        2,
        18
      ],
      "numa_node": 0
    }
  ],
  "ram": [
    {
      "size_kb": 66980172,
      "numa_node": 0
    },
    {
      "size_kb": 67108864,
      "numa_node": 1
    }
  ],
  "nics": [
    {
      "name": "ens3f1",
      "numa_node": 1
    },
    {
      "name": "ens3f0",
      "numa_node": 1
    },
    {
      "name": "ens2f0",
      "numa_node": 0
    },
    {
      "name": "ens2f1",
      "numa_node": 0
    },
    {
      "name": "ens1f1",
      "numa_node": 0
    },
    {
      "name": "ens1f0",
      "numa_node": 0
    },
    {
      "name": "eno4",
      "numa_node": 0
    },
    {
      "name": "eno1",
      "numa_node": 0
    },
    {
      "name": "eno3",
      "numa_node": 0
    },
    {
      "name": "eno2",
      "numa_node": 0
    }
  ]
}

第 18 章 自动发现裸机节点

您可以使用 auto-discovery 来注册 undercloud 节点并生成它们的元数据,而无需首先创建 instackenv.json 文件。这种改进有助于减少初始收集节点信息所花的时间,例如,无需核对 IPMI IP 地址及后续创建 instackenv.json

18.1. 要求

  • 所有 overcloud 节点 BMC 必须配置为可让 director 通过 IPMI 访问。
  • 所有 overcloud 节点必须配置为可通过连接到 undercloud 控制层网络的 NIC 进行 PXE 引导。

18.2. 启用自动发现

  1. undercloud.conf 中启用裸机自动发现:

    enable_node_discovery = True
    discovery_default_driver = ipmi
    • enable_node_discovery - 启用之后,任何使用 PXE 来引导内省虚拟内存盘的节点都将在 ironic 中注册。
    • discovery_default_driver - 设置用于已发现节点的驱动程序。例如,ipmi
  2. 将您的 IPMI 凭证添加到 ironic:

    1. 将您的 IPMI 凭证添加到名为 ipmi-credentials.json 的文件。必须替换此例中的用户名和密码值以适合您的环境:

      [
          {
              "description": "Set default IPMI credentials",
              "conditions": [
                  {"op": "eq", "field": "data://auto_discovered", "value": true}
              ],
              "actions": [
                  {"action": "set-attribute", "path": "driver_info/ipmi_username",
                   "value": "SampleUsername"},
                  {"action": "set-attribute", "path": "driver_info/ipmi_password",
                   "value": "RedactedSecurePassword"},
                  {"action": "set-attribute", "path": "driver_info/ipmi_address",
                   "value": "{data[inventory][bmc_address]}"}
              ]
          }
      ]
  3. 将 IPMI 凭证文件导入 ironic:

    $ openstack baremetal introspection rule import ipmi-credentials.json

18.3. 测试自动发现

  1. 打开所需节点。
  2. 运行 openstack baremetal node list 命令。应该看到新节点以 enrolled 状态列出:

    $ openstack baremetal node list
    +--------------------------------------+------+---------------+-------------+--------------------+-------------+
    | UUID                                 | Name | Instance UUID | Power State | Provisioning State | Maintenance |
    +--------------------------------------+------+---------------+-------------+--------------------+-------------+
    | c6e63aec-e5ba-4d63-8d37-bd57628258e8 | None | None          | power off   | enroll             | False       |
    | 0362b7b2-5b9c-4113-92e1-0b34a2535d9b | None | None          | power off   | enroll             | False       |
    +--------------------------------------+------+---------------+-------------+--------------------+-------------+
  3. 为各个节点设置资源类:

    $ for NODE in `openstack baremetal node list -c UUID -f value` ; do openstack baremetal node set $NODE --resource-class baremetal ; done
  4. 为各个节点配置内核和 ramdisk:

    $ for NODE in `openstack baremetal node list -c UUID -f value` ; do openstack baremetal node manage $NODE ; done
    $ openstack overcloud node configure --all-manageable
  5. 将所有节点设置为 available:

    $ for NODE in `openstack baremetal node list -c UUID -f value` ; do openstack baremetal node provide $NODE ; done

18.4. 使用规则发现不同供应商的硬件

如果拥有异构硬件环境,您可以使用内省规则来分配凭证和远程管理凭证。例如,您可能需要单独的发现规则来处理使用 DRAC 的 Dell 节点:

  1. 创建名为 dell-drac-rules.json 并包含以下内容的文件:

    [
        {
            "description": "Set default IPMI credentials",
            "conditions": [
                {"op": "eq", "field": "data://auto_discovered", "value": true},
                {"op": "ne", "field": "data://inventory.system_vendor.manufacturer",
                 "value": "Dell Inc."}
            ],
            "actions": [
                {"action": "set-attribute", "path": "driver_info/ipmi_username",
                 "value": "SampleUsername"},
                {"action": "set-attribute", "path": "driver_info/ipmi_password",
                 "value": "RedactedSecurePassword"},
                {"action": "set-attribute", "path": "driver_info/ipmi_address",
                 "value": "{data[inventory][bmc_address]}"}
            ]
        },
        {
            "description": "Set the vendor driver for Dell hardware",
            "conditions": [
                {"op": "eq", "field": "data://auto_discovered", "value": true},
                {"op": "eq", "field": "data://inventory.system_vendor.manufacturer",
                 "value": "Dell Inc."}
            ],
            "actions": [
                {"action": "set-attribute", "path": "driver", "value": "idrac"},
                {"action": "set-attribute", "path": "driver_info/drac_username",
                 "value": "SampleUsername"},
                {"action": "set-attribute", "path": "driver_info/drac_password",
                 "value": "RedactedSecurePassword"},
                {"action": "set-attribute", "path": "driver_info/drac_address",
                 "value": "{data[inventory][bmc_address]}"}
            ]
        }
    ]

    必须替换此例中的用户名和密码值以适合您的环境:

  2. 将规则导入 ironic:

    $ openstack baremetal introspection rule import dell-drac-rules.json

第 19 章 配置自动配置集标记

内省操作会执行一系列的基准数据测试,director 将保存这些测试数据。您可以创建一组策略来以不同方式使用这些数据。可使用多种方式创建使用此数据的策略集:

  • 这些策略可识别性能不佳或不稳定的节点并隔离这些节点,使其不在 overcloud 中使用。
  • 这些策略可定义是否将节点自动标记到特定配置集。

19.1. 策略文件语法

策略使用 JSON 格式,它包括了一组规则。每个规则都包括一个 description、一个 condition 和一个 action

描述

规则描述

Example:

"description": "A new rule for my node tagging policy"

Conditions

condition 就是使用以下键-值来定义评估:

field

定义要评估的字段:

  • memory_mb - 节点的内存大小 (MB)。
  • cpus - 节点 CPU 的总线程数。
  • cpu_arch - 节点 CPU 的架构。
  • local_gb - 节点根磁盘的总存储空间。
op

指定测试所使用的操作。这包括如下属性:

  • eq - 等于
  • ne - 不等于
  • lt - 少于
  • gt - 多于
  • le - 少于或等于
  • ge - 多于或等于
  • in-net - 检查一个 IP 地址是否在指定的网络中
  • matches - 完全和提供的正则表达式相匹配
  • contains - 包括和正则表达式匹配的值;
  • is-empty - 检查项是否为空。
invert
一个布尔值,用来指定是否对检查结果进行反向处理。
multiple

在存在多个结果的情况下,定义使用的测试。此参数包括如下属性:

  • any - 只需要任何一个结果匹配
  • all - 需要所有结果都匹配
  • first - 需要第一个结果匹配
value
测试中的值。如果项和操作结果为这个值,则条件返回为一个“true”的结果。否则,条件返回 false 的结果。

Example:

"conditions": [
  {
    "field": "local_gb",
    "op": "ge",
    "value": 1024
  }
],

Actions

如果条件为“true”,策略将执行一个操作。此操作使用 action 密钥和其他密钥,具体取决于 action 的值:

  • fail - 使内省失败。需要一个 message 参数来包括失败的信息。
  • set-attribute - 在一个 Ironic 节点上设置一个属性。需要一个 path 项,它是到一个 Ironic 属性(如 /driver_info/ipmi_address)的路径,以及一个 value 值。
  • set-capability - 在一个 Ironic 节点上设置一个能力。需要 namevalue 字段,它们是新能力的名称和值。当前存在的相同能力的值会被覆盖。例如,使用它来定义节点配置集。
  • extend-attribute - 与 set-attribute 相似,只是在存在相同能力时把这个值附加到当前的值后面。如果同时使用了 unique 参数,则在相同值已存在时不进行任何操作。

Example:

"actions": [
  {
    "action": "set-capability",
    "name": "profile",
    "value": "swift-storage"
  }
]

19.2. 策略文件示例

以下是一个带有要应用的内省规则的 JSON 文件示例(rules.json):

[
  {
    "description": "Fail introspection for unexpected nodes",
    "conditions": [
      {
        "op": "lt",
        "field": "memory_mb",
        "value": 4096
      }
    ],
    "actions": [
      {
        "action": "fail",
        "message": "Memory too low, expected at least 4 GiB"
      }
    ]
  },
  {
    "description": "Assign profile for object storage",
    "conditions": [
      {
        "op": "ge",
        "field": "local_gb",
        "value": 1024
      }
    ],
    "actions": [
      {
        "action": "set-capability",
        "name": "profile",
        "value": "swift-storage"
      }
    ]
  },
  {
    "description": "Assign possible profiles for compute and controller",
    "conditions": [
      {
        "op": "lt",
        "field": "local_gb",
        "value": 1024
      },
      {
        "op": "ge",
        "field": "local_gb",
        "value": 40
      }
    ],
    "actions": [
      {
        "action": "set-capability",
        "name": "compute_profile",
        "value": "1"
      },
      {
        "action": "set-capability",
        "name": "control_profile",
        "value": "1"
      },
      {
        "action": "set-capability",
        "name": "profile",
        "value": null
      }
    ]
  }
]

这个示例包括 3 个规则:

  • 如果内存低于 4096 MiB,内省失败。如果您想将某些节点排除在云之外,则可应用这些类型的规则。
  • 硬盘容量大于或等于 1 TiB 的节点会被无条件地分配 swift-storage 配置集。
  • 硬盘容量在 1 TiB 和 40 GiB 间的节点可以作为 Compute 节点或 Controller 节点。您可以分配两个能力(compute_profilecontrol_profile),使 openstack overcloud profiles match 命令稍后可以作出最终选择。要使此过程成功,必须删除现有配置集能力,否则现有配置集能力具有优先级。

配置集匹配规则不更改任何其他节点。

注意

使用内省规则分配配置集总会覆盖存在的值。但是,对于已经具有配置集能力的节点,会忽略 [PROFILE]_profile 能力。

19.3. 导入策略文件

要将策略文件导入 director,请完成以下步骤。

步骤

  1. 将策略文件导入 director:

    $ openstack baremetal introspection rule import rules.json
  2. 运行内省进程:

    $ openstack overcloud node introspect --all-manageable
  3. 在内省结束后,检查节点以及分配给它们的配置集:

    $ openstack overcloud profiles list
  4. 如果在内省规则中出了错,请运行以下命令删除所有规则:

    $ openstack baremetal introspection rule purge

第 20 章 创建完整磁盘镜像

主 overcloud 镜像是在镜像自身中不包含分区信息或引导加载程序的平面分区镜像。director 在引导节点时使用单独的内核和 ramdisk,并在将 overcloud 镜像写入磁盘时创建基本分区布局。但是,您可以创建包含分区布局、引导加载程序和强化安全防护的完整磁盘镜像。

重要

以下过程会使用 director 的镜像构建功能。红帽只支持按照本节中所含的准则来构建的镜像。未按这些规范构建的自定义镜像不受支持。

20.1. 安全强化措施

完整磁盘镜像(whole disk image)包括了额外的安全强化措施,可用于在需要高安全性的环境中部署 Red Hat OpenStack Platform。创建镜像时,请考虑以下的建议:

  • /tmp 目录会挂载到独立的卷或分区上,并包含 rwnosuidnodevnoexecrelatime 标志
  • /var/var/log/var/log/audit 目录挂载到单独的卷或分区上,并包含 rwrelatime 标志
  • /home 目录挂载到单独的分区或卷上,并包含 rwnodevrelatime 标志
  • GRUB_CMDLINE_LINUX 设置做出以下更改:

    • 要启用审核,可添加 audit=1 内核引导标志。
    • 要禁用使用引导加载程序配置的 USB 的内核支持,请添加 nousb
    • 要删除不安全的引导标志,请设置 crashkernel=auto
  • 将不安全的模块(usb-storagecramfsfreevxfsjffs2hfshfsplussquashfsudfvfat)列入黑名单并防止这些模块加载。
  • 在不安全的软件包(由 kexec-tools 安装的 kdump 以及 telnet)完成默认安装后,将其从镜像中全部删除

20.2. 完整磁盘镜像工作流

要构建完整磁盘镜像,请完成以下工作流:

  1. 下载基本 Red Hat Enterprise Linux 8 镜像
  2. 设置专门用于注册的环境变量
  3. 通过修改分区的模式和大小来自定义镜像
  4. 创建镜像
  5. 将镜像上传到 director

20.3. 下载基本云镜像

在构建完整磁盘镜像之前,必须先下载 Red Hat Enterprise Linux 的现有云镜像用作基础。

步骤

  1. 访问红帽客户门户网站:

  2. 单击顶部菜单中的下载
  3. 单击 Red Hat Enterprise Linux 8

    注意

    根据提示输入客户的客户门户网站登录信息。

  4. 选择要下载的 KVM 客户机镜像。例如,可在以下页面上找到最新 红帽企业 Linux 的 KVM 客户机镜像:

20.4. 磁盘镜像环境变量

在构建磁盘镜像的过程中,director 需要基础镜像和注册详情,以获取新 overcloud 镜像的软件包。使用以下 Linux 环境变量定义这些属性。

注意

镜像构建过程会利用红帽订阅暂时注册镜像,并在完成构建后取消注册系统。

要构建磁盘镜像,请根据您的环境和要求来设置 Linux 环境变量:

DIB_LOCAL_IMAGE
设置您要用作完整磁盘镜像基础的本地镜像。
REG_ACTIVATION_KEY
使用激活码代替登录详细信息作为注册过程的一部分。
REG_AUTO_ATTACH
定义是否自动附加最兼容的订阅。
REG_BASE_URL
包含镜像软件包的内容交付服务器的基本 URL。默认的客户门户网站订阅管理(Subscription Management)会使用 https://cdn.redhat.com。如果您使用 Red Hat Satellite 6 服务器,则将此参数设置为 Satellite 服务器的基本 URL。
REG_ENVIRONMENT
注册到机构的内部环境中。
REG_METHOD
设置注册方法。使用 portal 可将系统注册到红帽客户门户网站。使用 satellite 可将系统注册到红帽 Satellite 6。
REG_ORG
您想注册镜像的组织。
REG_POOL_ID
产品订阅信息的池 ID。
REG_PASSWORD
为注册镜像的用户帐户设置密码。
REG_REPOS

包括以逗号分隔的软件仓库名称的字符串。这个字符串中的各个软件仓库会通过 subscription-manager 启用。

对于安全强化型完整磁盘镜像,请使用以下软件仓库:

  • rhel-8-for-x86_64-baseos-rpms
  • rhel-8-for-x86_64-appstream-rpms
  • rhel-8-for-x86_64-highavailability-rpms
  • ansible-2.8-for-rhel-8-x86_64-rpms
  • openstack-15-for-rhel-8-x86_64-rpms
REG_SAT_URL
注册 Overcloud 节点的 Satellite 服务器的基本 URL。此参数需要使用 Satellite 的 HTTP URL 而不是 HTTPS URL。例如,使用 http://satellite.example.com 而不使用 https://satellite.example.com
REG_SERVER_URL
指定要使用的订阅服务的主机名。默认值是红帽客户门户网站(其网址为 subscription.rhn.redhat.com)。如果使用 Red Hat Satellite 6 服务器,则将此参数设置为 Satellite 服务器的主机名。
REG_USER
为注册镜像的帐户设置用户名。

使用以下示例命令集导出一组环境变量,并将本地 QCOW2 镜像临时注册到红帽客户门户网站:

$ export DIB_LOCAL_IMAGE=./rhel-8.0-x86_64-kvm.qcow2
$ export REG_METHOD=portal
$ export REG_USER="[your username]"
$ export REG_PASSWORD="[your password]"
$ export REG_REPOS="rhel-8-for-x86_64-baseos-rpms \
    rhel-8-for-x86_64-appstream-rpms \
    rhel-8-for-x86_64-highavailability-rpms \
    ansible-2.8-for-rhel-8-x86_64-rpms \
    openstack-15-for-rhel-8-x86_64-rpms"

20.5. 自定义磁盘布局

安全强化型镜像的默认大小为 20G,并会使用预定义的分区大小。但是,必须修改分区布局以容纳 overcloud 容器镜像。完成以下部分中的步骤,将镜像大小增加到 40G。可以修改分区布局和磁盘大小以进一步符合您的需求。

要修改分区布局和磁盘大小,请按照以下步骤操作:

  • 使用 DIB_BLOCK_DEVICE_CONFIG 环境变量修改分区模式。
  • 通过更新 DIB_IMAGE_SIZE 环境变量,来修改镜像的整体大小。

20.6. 修改分区模式

您可以修改分区模式,以更改分区大小、创建新分区或删除现有分区。您可以使用以下环境变量来定义新的分区模式:

$ export DIB_BLOCK_DEVICE_CONFIG='<yaml_schema_with_partitions>'

以下 YAML 结构展示了修改后的逻辑卷分区布局,该布局拥有充足的空间,可拉取 overcloud 容器镜像:

export DIB_BLOCK_DEVICE_CONFIG='''
- local_loop:
    name: image0
- partitioning:
    base: image0
    label: mbr
    partitions:
      - name: root
        flags: [ boot,primary ]
        size: 40G
- lvm:
    name: lvm
    base: [ root ]
    pvs:
        - name: pv
          base: root
          options: [ "--force" ]
    vgs:
        - name: vg
          base: [ "pv" ]
          options: [ "--force" ]
    lvs:
        - name: lv_root
          base: vg
          extents: 23%VG
        - name: lv_tmp
          base: vg
          extents: 4%VG
        - name: lv_var
          base: vg
          extents: 45%VG
        - name: lv_log
          base: vg
          extents: 23%VG
        - name: lv_audit
          base: vg
          extents: 4%VG
        - name: lv_home
          base: vg
          extents: 1%VG
- mkfs:
    name: fs_root
    base: lv_root
    type: xfs
    label: "img-rootfs"
    mount:
        mount_point: /
        fstab:
            options: "rw,relatime"
            fsck-passno: 1
- mkfs:
    name: fs_tmp
    base: lv_tmp
    type: xfs
    mount:
        mount_point: /tmp
        fstab:
            options: "rw,nosuid,nodev,noexec,relatime"
            fsck-passno: 2
- mkfs:
    name: fs_var
    base: lv_var
    type: xfs
    mount:
        mount_point: /var
        fstab:
            options: "rw,relatime"
            fsck-passno: 2
- mkfs:
    name: fs_log
    base: lv_log
    type: xfs
    mount:
        mount_point: /var/log
        fstab:
            options: "rw,relatime"
            fsck-passno: 3
- mkfs:
    name: fs_audit
    base: lv_audit
    type: xfs
    mount:
        mount_point: /var/log/audit
        fstab:
            options: "rw,relatime"
            fsck-passno: 4
- mkfs:
    name: fs_home
    base: lv_home
    type: xfs
    mount:
        mount_point: /home
        fstab:
            options: "rw,nodev,relatime"
            fsck-passno: 2
'''

使用此示例 YAML 内容作为镜像分区模式的基础。修改分区大小和布局以符合您的需求。

注意

您必须为镜像定义正确的分区大小,部署后将无法调整其大小。

20.7. 修改镜像大小

修改后的分区模式的空间总量可能会超出默认的磁盘大小 (20G)。在这种情况下,您可能需要修改镜像的大小。要修改镜像大小,可编辑创建镜像的配置文件。

创建 /usr/share/openstack-tripleo-common/image-yaml/overcloud-hardened-images-python3.yaml 的副本:

# cp /usr/share/openstack-tripleo-common/image-yaml/overcloud-hardened-images-python3.yaml \
/home/stack/overcloud-hardened-images-python3-custom.yaml

编辑配置文件中的 DIB_IMAGE_SIZE 并根据需要调整值:

...

environment:
DIB_PYTHON_VERSION: '3'
DIB_MODPROBE_BLACKLIST: 'usb-storage cramfs freevxfs jffs2 hfs hfsplus squashfs udf vfat bluetooth'
DIB_BOOTLOADER_DEFAULT_CMDLINE: 'nofb nomodeset vga=normal console=tty0 console=ttyS0,115200 audit=1 nousb'
DIB_IMAGE_SIZE: '40' 1
COMPRESS_IMAGE: '1'
1
将该值调整为新的磁盘空间总量。

保存这个文件。

重要

部署 overcloud 时,director 创建 overcloud 镜像的 RAW 版本。这意味着 undercloud 必须有足够的可用空间来容纳 RAW 镜像。例如,如果将安全强化型镜像大小设置为 40G,则 undercloud 的硬盘上必须有 40G 可用空间。

重要

当 director 将镜像写入物理磁盘时,director 在磁盘末尾创建 64MB 配置驱动主分区。创建完整磁盘镜像时,请确保物理磁盘的大小适合此额外分区。

20.8. 构建完整磁盘镜像

设置环境变量和自定义镜像后,使用 openstack overcloud image build 命令创建镜像。

步骤

  1. 使用所有必要配置文件运行 openstack overcloud image build 命令。

    # openstack overcloud image build \
    --image-name overcloud-hardened-full \
    --config-file /home/stack/overcloud-hardened-images-python3-custom.yaml \ 1
    --config-file /usr/share/openstack-tripleo-common/image-yaml/overcloud-hardened-images-rhel8.yaml
    1
    这是包含新磁盘大小的自定义配置文件。如果您使用其他自定义磁盘大小,请使用原始 /usr/share/openstack-tripleo-common/image-yaml/overcloud-hardened-images-python3.yaml 文件。

    该命令会创建一个称为 overcloud-hardened-full.qcow2 的镜像,其中包含所有必需的安全功能。

20.9. 上传完整磁盘镜像

将镜像上传至 OpenStack Image (glance) 服务,并通过Red Hat OpenStack Platform director 开始使用该镜像。要上传安全强化型镜像,请完成以下步骤:

  1. 重命名新生成的镜像并将镜像移至 images 目录:

    # mv overcloud-hardened-full.qcow2 ~/images/overcloud-full.qcow2
  2. 删除所有旧的 overcloud 镜像:

    # openstack image delete overcloud-full
    # openstack image delete overcloud-full-initrd
    # openstack image delete overcloud-full-vmlinuz
  3. 上传新的 overcloud 镜像:

    # openstack overcloud image upload --image-path /home/stack/images --whole-disk

如果您想将某个现有镜像替换成安全强化型镜像,请使用 --update-existing 标志。此标志使用新安全强化型镜像覆盖原始 overcloud-full 镜像。

第 21 章 配置直接部署

置备节点时,director 将 overcloud 基础操作系统镜像挂载到 iSCSI 挂载上,然后将镜像复制到每个节点的磁盘上。直接部署是替代方法,可将 HTTP 位置的磁盘镜像直接写入裸机节点上的磁盘。

21.1. 在 undercloud 上配置直接部署接口

iSCSI 部署接口是默认部署接口。但是,您可以启用直接部署接口,将 HTTP 位置的镜像下载到目标磁盘。

注意

您的 overcloud 节点内存 tmpfs 必须至少有 6GB RAM。

步骤

  1. 创建或修改自定义环境文件 /home/stack/undercloud_custom_env.yaml 并指定 IronicDefaultDeployInterface

    parameter_defaults:
      IronicDefaultDeployInterface: direct
  2. 默认情况下,每个节点上的裸机恢复服务 (ironic) 代理都包含通过 HTTP 链接存储在对象存储服务 (swift) 中的镜像。或者,Ironic 可以通过 ironic-conductor HTTP 服务器将此镜像直接流传输到节点。要更改提供镜像的服务,请在 /home/stack/undercloud_custom_env.yaml 文件中将 IronicImageDownloadSource 设置为 http

    parameter_defaults:
      IronicDefaultDeployInterface: direct
      IronicImageDownloadSource: http
  3. undercloud.conf 文件的 DEFAULT 部分包含自定义环境文件。

    custom_env_files = /home/stack/undercloud_custom_env.yaml
  4. 执行 undercloud 安装:

    $ openstack undercloud install

第 22 章 创建虚拟化 control planes

本章介绍如何使用 Red Hat OpenStack Platform 和 Red Hat Virtualization 虚拟化 control planes。

22.1. 虚拟化 control planes

一个虚拟化的 control planes 是位于虚拟机 (VM) 而非裸机上的 control planes。虚拟化 control planes 可减少 control planes 所需的裸机数。

通过将虚拟化控制器部署为 control planes 节点,可使用 Red Hat Virtualization 虚拟化 overcloud 的 Red Hat OpenStack Platform control planes。OpenStack Platform director 支持使用 Red Hat Virtualization 集群中部署的 Controller 节点置备 overcloud。

注意

仅在 Red Hat Virtualization 上支持虚拟化控制器节点。

要部署虚拟化 control planes,可使用在 Red Hat Virtualization 的虚拟机上运行的 Controller 节点和裸机上的 Compute 和存储节点分发 overcloud,如以下架构图所示。

注意

红帽在 Red Hat Virtualization 上支持虚拟化 undercloud。我们还建议在 Red Hat Virtualization 上安装 undercloud。

虚拟化 control planes 架构

虚拟化 control planes 架构

OpenStack Bare Metal Provisioning (ironic) 服务包括 Red Hat Virtualization 虚拟机的驱动程序 staging-ovirt,您可以使用它来管理 Red Hat Virtualization 环境内的虚拟节点。使用此驱动程序在 Red Hat Virtualization 环境内将 overcloud 控制器部署为虚拟机。

虚拟化 Red Hat OpenStack Platform overcloud control planes 的好处

  • 您可以使用热添加和热删除以按需要扩展 CPU 和内存,将资源动态分配给虚拟化控制器,从而减少停机时间,有助于随平台扩展而增加容量。
  • 您可以在相同的 Red Hat Virtualization 集群上部署附加基础架构虚拟机,从而最大程度地减少服务器在数据中心的占用空间,并最大程度地提高物理节点的效率。
  • 您可以使用可组合角色来定义更复杂的 Red Hat OpenStack Platform control planes,从而允许您将资源分配给 control planes 的特定组件。
  • 您可以利用虚拟机实时迁移功能,并在不中断服务的情况下维护系统。
  • 您可以集成受 Red Hat Virtualization 支持的第三方工具或自定义工具。

虚拟化 Red Hat OpenStack Platform overcloud control planes 的限制

  • 不支持虚拟化 Ceph Storage 节点和 Compute 节点。
  • 使用光纤通道的后端不支持 Block Storage (cinder) 镜像到卷。Red Hat Virtualization 不支持 N_Port ID Virtualization (NPIV),因此需要将存储后端的 LUN 映射到控制器的 Block Storage (cinder) 驱动程序(其中 cinder-volume 默认运行)将无法正常运行。红帽建议为 cinder-volume 创建专用角色,而不是将其包括在虚拟化控制器中。有关如何操作的详细信息,请参见可组合服务和自定义角色

22.2. 使用 Red Hat Virtualization 驱动程序置备虚拟化控制器

先决条件

  • 支持 Intel 64 或 AMD64 CPU 扩展的 64 位 x86 处理器。
  • 已安装了 Red Hat Virtualization。有关详细信息,请参见 Red Hat Virtualization 文档套件
  • 使用 director 安装并配置 Red Hat OpenStack Platform。有关详细信息,请参见 Director 安装和使用
  • 准备好虚拟化 Controller 节点。虚拟化 Controller 节点的要求和裸机 Controller 节点相同。有关更多信息,请参见 Controller 节点要求
  • 准备好您要用作 overcloud Compute 节点和存储节点的裸机节点。有关硬件规范,请参见 Compute 节点要求Ceph Storage 节点要求
  • 创建逻辑网络,并且集群或主机网络可随时对多个网络使用网络隔离。有关详细信息,请参见逻辑网络

建议

  • 要避免性能瓶颈,请使用可组合角色并在裸机 Controller 节点上保留 data plane 服务。
  • 将每个节点的内部 BIOS 块设置为 UTC。hwclock 在应用时区偏移之前同步 BIOS 块时,该方法可防止未来日期的文件时间戳出现问题。
  • 要在 POWER (ppc64le) 硬件上部署 overcloud Compute 节点,请参见附录 G。针对 POWER 的红帽 OpenStack 平台

步骤

  1. 在 director undercloud 中启用 staging-ovirt 驱动程序,方式是将该驱动程序添加到 undercloud.conf 配置文件的 enabled_hardware_types 中:

    enabled_hardware_types = ipmi,redfish,ilo,idrac,staging-ovirt
  2. 验证 undercloud 是否包含 staging-ovirt 驱动程序:

    (undercloud) [stack@undercloud ~]$ openstack baremetal driver list

    您应看到以下结果:

     +---------------------+-----------------------+
     | Supported driver(s) | Active host(s)        |
     +---------------------+-----------------------+
     | idrac               | localhost.localdomain |
     | ilo                 | localhost.localdomain |
     | ipmi                | localhost.localdomain |
     | pxe_drac            | localhost.localdomain |
     | pxe_ilo             | localhost.localdomain |
     | pxe_ipmitool        | localhost.localdomain |
     | redfish             | localhost.localdomain |
     | staging-ovirt       | localhost.localdomain |
  3. 在 director 中注册 Red Hat Virtualization 上托管的虚拟机,方式是在 overcloud 节点定义模板中指定它们,例如 nodes.json。有关详细信息,请参见注册 Overcloud 的节点。使用以下键-值对定义您要使用 overcloud 部署的虚拟机的各个方面:

    价值

    pm_type

    设置为 oVirt/RHV 虚拟机的 OpenStack Bare Metal Provisioning (ironic) 服务驱动程序 staging-ovirt

    pm_user

    设置为 Red Hat Virtualization Manager 用户名。

    pm_password

    设置为 Red Hat Virtualization Manager 密码。

    pm_addr

    设置为 Red Hat Virtualization Manager 服务器的主机名或 IP。

    pm_vm_name

    设置为在其中创建控制器的 Red Hat Virtualization Manager 中的虚拟机的名称。

    例如:

    {
          "nodes": [
              {
                  "name":"osp13-controller-0",
                  "pm_type":"staging-ovirt",
                  "mac":[
                      "00:1a:4a:16:01:56"
                  ],
                  "cpu":"2",
                  "memory":"4096",
                  "disk":"40",
                  "arch":"x86_64",
                  "pm_user":"admin@internal",
                  "pm_password":"password",
                  "pm_addr":"rhvm.example.com",
                  "pm_vm_name":"{vernum}-controller-0",
                  "capabilities": "profile:control,boot_option:local"
              },
      }

    在每个 Red Hat Virtualization 主机上配置一个控制器

  4. 在 Red Hat Virtualization 中使用“soft negative affinity”配置关联性组,以确保为您的控制器虚拟机实施高可用性。有关详细信息,请参见关联性组
  5. 使用 Red Hat Virtualization Manager 接口将每个 VLAN 映射到控制器虚拟机中的单独逻辑 vNIC。
  6. 通过设置 director 和控制器虚拟机的 vNIC 中的 no_filter,并重启虚拟机,可禁用附加到控制器虚拟机的网络上的 MAC 欺骗过滤器。有关更多详细信息,请参见虚拟网络接口卡
  7. 部署 overcloud 以在您的环境中包括新的虚拟化控制器节点:

    (undercloud) [stack@undercloud ~]$ openstack overcloud deploy --templates

部分 V. 故障排除和提示

第 23 章 director 错误故障排除

在 director 过程的某些阶段可能发生错误。本节包含一些有关诊断常见问题的信息。

23.1. 节点注册故障排除

由于节点详细信不正确的问题而通常导致节点注册问题。在这些情况下,请验证包含节点详细信息的模板文件并更正导入的节点详细信息。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 使用 --validate-only 选项运行节点导入命令。此选项无需执行导入即可验证您的节点模板:

    (undercloud) $ openstack overcloud node import --validate-only ~/nodes.json
    Waiting for messages on queue 'tripleo' with no timeout.
    
    Successfully validated environment file
  3. 要修复导入节点的错误详细信息,请运行 openstack baremetal 命令以更新节点详细信息。下例显示如何更改网络详细信息:

    1. 识别导入节点的已分配端口 UUID:

      $ source ~/stackrc
      (undercloud) $ openstack baremetal port list --node [NODE UUID]
    2. 更新 MAC 地址:

      (undercloud) $ openstack baremetal port set --address=[NEW MAC] [PORT UUID]
    3. 在节点上配置新的 IPMI 地址:

      (undercloud) $ openstack baremetal node set --driver-info ipmi_address=[NEW IPMI ADDRESS] [NODE UUID]

23.2. 硬件内省故障排除

您必须运行完内省进程。但是,如果检查 ramdisk 没有响应,则 ironic-inspector 将在默认一小时后超时。有时这表示检查 ramdisk 中有错误,但这种超时通常是由于环境错误配置所致,特别是 BIOS 引导设置。

此步骤包含有关发生环境错误配置的常见情境的信息以及如何诊断并解决的建议。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. director 使用 OpenStack Object Storage(swift)保存在内省过程中获得的硬件数据。如果这个服务没有运行,内省将失败。检查并确定所有与 OpenStack Object Storage 相关的服务都在运行:

    (undercloud) $ sudo systemctl list-units tripleo_swift*
  3. 检查您的节点是否处于 manageable 状态。内省不检查处于 available 状态的节点,该状态意味着用于部署。在这种情况下,请在内省前将节点状态更改为 manageable 状态:

    (undercloud) $ openstack baremetal node manage [NODE UUID]
  4. 配置对内省 ramdisk 的临时访问权限。可提供临时密码或 SSH 密钥以在内省调试期间访问节点。完成以下步骤以配置 ramdisk 访问权限:

    1. 使用临时密码运行 openssl passwd -1 命令以生成 MD5 hash:

      (undercloud) $ openssl passwd -1 mytestpassword
      $1$enjRSyIw$/fYUpJwr6abFy/d.koRgQ/
    2. 编辑 /var/lib/ironic/httpboot/inspector.ipxe 文件,找到以 kernel 开头的行,并附加 rootpwd 参数和 MD5 hash。例如:

      kernel http://192.2.0.1:8088/agent.kernel ipa-inspection-callback-url=http://192.168.0.1:5050/v1/continue ipa-inspection-collectors=default,extra-hardware,logs systemd.journald.forward_to_console=yes BOOTIF=${mac} ipa-debug=1 ipa-inspection-benchmarks=cpu,mem,disk rootpwd="$1$enjRSyIw$/fYUpJwr6abFy/d.koRgQ/" selinux=0

      或者,将公共 SSH 密钥附加到 sshkey 参数。

      注意

      rootpwdsshkey 参数都需要包括引号。

  5. 在节点上运行内省:

    (undercloud) $ openstack overcloud node introspect [NODE UUID] --provide

    内省完成时,--provide 选项使节点状态更改为 available

  6. dnsmasq 日志中识别节点的 IP 地址:

    (undercloud) $ sudo tail -f /var/log/containers/ironic-inspector/dnsmasq.log
  7. 如果出错,则使用根用户和临时访问详细信息访问节点:

    $ ssh root@192.168.24.105

    在内省期间访问节点意味着,您可以运行诊断命令以排除内省故障。

  8. 要停止内省过程,请运行以下命令:

    (undercloud) $ openstack baremetal introspection abort [NODE UUID]

    您也可以等待操作过程超时。

    注意

    OpenStack Platform director 在初始中止后重试内省三次。在每次尝试时均运行 openstack baremetal introspection abort 命令以完全中止内省。

23.3. 工作流和执行故障排除

OpenStack Workflow(mistral)服务将多项 OpenStack 任务组合成工作流。Red Hat OpenStack Platform 使用一组这样的工作流在 director 上执行常见功能,包括裸机节点控制、验证、计划管理和 overcloud 部署。

例如,在运行 openstack overcloud deploy 命令时,OpenStack Workflow 服务执行两个工作流。第一个工作流上传部署计划:

Removing the current plan files
Uploading new plan files
Started Mistral Workflow. Execution ID: aef1e8c6-a862-42de-8bce-073744ed5e6b
Plan updated

第二个工作流启动 overcloud 部署:

Deploying templates in the directory /tmp/tripleoclient-LhRlHX/tripleo-heat-templates
Started Mistral Workflow. Execution ID: 97b64abe-d8fc-414a-837a-1380631c764d
2016-11-28 06:29:26Z [overcloud]: CREATE_IN_PROGRESS  Stack CREATE started
2016-11-28 06:29:26Z [overcloud.Networks]: CREATE_IN_PROGRESS  state changed
2016-11-28 06:29:26Z [overcloud.HeatAuthEncryptionKey]: CREATE_IN_PROGRESS  state changed
2016-11-28 06:29:26Z [overcloud.ServiceNetMap]: CREATE_IN_PROGRESS  state changed
...

OpenStack Workflow 服务使用以下对象跟踪工作流:

Actions
相关的任务运行时,OpenStack 会执行特定的指令。例如,运行 shell 脚本或执行 HTTP 请求。一些 OpenStack 组件内置有可供 OpenStack Workflow 使用的操作。
任务
定义要运行的操作以及运行该操作的结果。这些任务通常关联有操作或其他工作流。完成一项任务时,工作流会定向到另一任务,这通常取决于前一任务的成败状况。
工作流
分组在一起并以特定顺序执行的一组任务。
执行
定义特定操作、任务或工作流的运行。

OpenStack Workflow 可以提供可靠的执行日志,这有助于识别某些命令失败的问题。例如,如果某一工作流执行失败,您可以确定其故障点。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 列出具有已失败状态 ERROR 的工作流执行记录:

    (undercloud) $ openstack workflow execution list | grep "ERROR"
  3. 获取失败工作流执行的 UUID(例如 dffa96b0-f679-4cd2-a490-4769a3825262)并查看该执行及其输出:

    (undercloud) $ openstack workflow execution show dffa96b0-f679-4cd2-a490-4769a3825262
    (undercloud) $ openstack workflow execution output show dffa96b0-f679-4cd2-a490-4769a3825262
  4. 这些命令返回有关执行中已失败任务的信息。openstack workflow execution show 命令还会显示用于执行的工作流(例如 tripleo.plan_management.v1.publish_ui_logs_to_swift)。您可以使用以下命令查看完整的工作流定义:

    (undercloud) $ openstack workflow definition show tripleo.plan_management.v1.publish_ui_logs_to_swift

    这可用于辨别特定任务在工作流中的位置。

  5. 使用类似命令语法查看操作执行及其结果:

    (undercloud) $ openstack action execution list
    (undercloud) $ openstack action execution show 8a68eba3-0fec-4b2a-adc9-5561b007e886
    (undercloud) $ openstack action execution output show 8a68eba3-0fec-4b2a-adc9-5561b007e886

    这对于识别导致问题的具体操作非常有用。

23.4. overcloud 创建和部署故障排除

使用 OpenStack Orchestration (heat) 服务对 overcloud 进行初始创建。如果 overcloud 部署失败,则使用 OpenStack 客户端和服务日志文件诊断失败的部署。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 运行部署失败的命令:

    $ openstack overcloud failures
  3. 运行以下命令以显示失败的详细信息:

    (undercloud) $ openstack stack failures list <OVERCLOUD_NAME> --long

    用您的 overcloud 的名称替换 <OVERCLOUD_NAME>

  4. 运行以下命令以识别失败的堆栈:

    (undercloud) $ openstack stack list --nested --property status=FAILED

23.5. 节点置备故障排除

OpenStack Orchestration (heat) 服务控制置备过程。如果节点置备失败,则使用 OpenStack 客户端和服务日志文件诊断问题。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 检查裸机恢复服务以查看所有注册节点及其当前状态:

    (undercloud) $ openstack baremetal node list
    
    +----------+------+---------------+-------------+-----------------+-------------+
    | UUID     | Name | Instance UUID | Power State | Provision State | Maintenance |
    +----------+------+---------------+-------------+-----------------+-------------+
    | f1e261...| None | None          | power off   | available       | False       |
    | f0b8c1...| None | None          | power off   | available       | False       |
    +----------+------+---------------+-------------+-----------------+-------------+

    可用于置备的所有节点都应设置以下状态:

    • Maintenance 设置为 False
    • 在置备前,Provision State 设置为 available

    下表概述一些常见置备失败情境。

问题原因解决方案

Maintenance 自动将自身设置为 True

director 无法访问节点的电源管理。

检查节点电源管理的凭据。

Provision State 设置为 available,但节点未置备。

此问题在启动裸机部署前发生。

检查包括配置集和类别映射的节点详细信息。检查节点硬件详细信息是否在该类别的要求内。

节点的 Provision State 设置为 wait call-back

此节点的节点置备过程尚未完成。

等到此状态更改。否则,连接到节点的虚拟控制台并检查输出。

Provision State 处于 activePower State 处于 power on,但节点无响应。

节点置备已成功完成,并在部署后配置步骤中出问题。

诊断节点配置过程。连接到节点的虚拟控制台并检查输出。

Provision Stateerrordeploy failed

节点置备已失败。

使用 openstack baremetal node show 命令查看裸机节点详细信息,并检查 last_error 字段,其中包含错误说明。

23.6. 置备期间 IP 地址冲突故障排除

如果目标主机分配的 IP 地址已经使用,则内省和部署任务将失败。要防止这些失败,可对 Provisioning 网络执行端口扫描,以确定发现 IP 范围和主机 IP 范围是否可用。

步骤

  1. 安装 nmap:

    $ sudo yum install nmap
  2. 使用 nmap 命令扫描 IP 地址范围中的活动地址。这个示例会扫描 192.168.24.0/24 这个范围,使用 Provisioning 网络的 IP 子网值(使用 CIDR 位掩码符号 )替换它:

    $ sudo nmap -sn 192.168.24.0/24
  3. 复查 nmap 扫描的输出。例如,您应查看 undercloud 的 IP 地址,以及子网上存在的任何其他主机:

    $ sudo nmap -sn 192.168.24.0/24
    
    Starting Nmap 6.40 ( http://nmap.org ) at 2015-10-02 15:14 EDT
    Nmap scan report for 192.168.24.1
    Host is up (0.00057s latency).
    Nmap scan report for 192.168.24.2
    Host is up (0.00048s latency).
    Nmap scan report for 192.168.24.3
    Host is up (0.00045s latency).
    Nmap scan report for 192.168.24.5
    Host is up (0.00040s latency).
    Nmap scan report for 192.168.24.9
    Host is up (0.00019s latency).
    Nmap done: 256 IP addresses (5 hosts up) scanned in 2.45 seconds

    如果这些活跃的 IP 地址和 undercloud.conf 中指定的 IP 地址范围有冲突,则需要在内省或部署overcloud 节点前修改 IP 地址范围或释放一些 IP 地址。

23.7. “No Valid Host Found”错误故障排除

在一些情况下,/var/log/nova/nova-conductor.log 包括了以下错误:

NoValidHost: No valid host was found. There are not enough hosts available.

当计算调度程序找不到适合启动新实例的裸机节点时,会发生此错误。这通常意味着,Compute 服务期望找到的资源与裸机恢复服务向 Compute 建议的资源之间存在不匹配。使用以下步骤来检查是否是这种情况。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 检查是否在节点上成功执行内省。如果内省失败,则检查每个节点是否包含所需的 ironic 节点属性:

    (undercloud) $ openstack baremetal node show [NODE UUID]

    检查 properties JSON 项中的 cpuscpu_archmemory_mblocal_gb 都有有效的值。

  3. 检查映射到该节点的 Compute 类别:

    (undercloud) $ openstack flavor show [FLAVOR NAME]

    确保不超过所需节点数的节点属性。

  4. 运行 openstack baremetal node list 命令以确保有足够的节点处于可用状态。处于 manageable 状态的节点通常表示内省失败。
  5. 运行 openstack baremetal node list 命令以检查节点是否不处于维护模式。如果节点自动更改为维护模式,则可能的原因是电源管理凭据不正确。检查电源管理凭据,然后移除维护模式:

    (undercloud) $ openstack baremetal node maintenance unset [NODE UUID]
  6. 如果您使用的是自动配置集标记,则检查是否有足够的节点对应于每个类别和配置集。在节点上运行 openstack baremetal node show 命令并检查 properties 字段中的 capabilities 密钥。例如,标记为 Compute 角色的节点应包含 profile:compute 这样的信息。
  7. 内省后,节点信息从 Bare Metal 传播到 Compute 需要一段时间。但是,如果您手工进行了一些操作,节点可能会短时间内对 nova 不可用。使用以下命令检查系统中的总体资源:

    (undercloud) $ openstack hypervisor stats show

23.8. overcloud 配置故障排除

OpenStack Platform director 使用 Ansible 配置 overcloud。此步骤显示出错时如何诊断 overcloud 的 Ansible playbook (config-download)。

步骤

  1. 确保 stack 用户能够访问 undercloud/var/lib/mistral 目录中的文件。

    $ sudo setfacl -R -m u:stack:rwx /var/lib/mistral

    此命令保留 mistral 用户对该目录的访问权限。

  2. 切换到 config-download 文件的工作目录。该目录通常是 /var/lib/mistral/overcloud/

    $ cd /var/lib/mistral/overcloud/
  3. 搜索 ansible.log 文件以查找故障点。

    $ less ansible.log

    记录失败的步骤。

  4. 在该工作目录中查找 config-download playbook 中失败的步骤以确定发生的操作。

23.9. 容器配置故障排除

OpenStack Platform director 使用 paunch 启动容器,使用 podman 管理容器,以及使用 puppet 创建容器配置。此步骤显示如何在出错时对容器进行诊断。

访问主机

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 获取包含容器故障的节点的 IP 地址。

    (undercloud) $ openstack server list
  3. 登录到节点:

    (undercloud) $ ssh heat-admin@192.168.24.60
  4. 切换到 root 用户:

    $ sudo -i

识别故障容器

  1. 查看所有容器:

    $ podman ps --all

    识别故障容器。故障容器通常以非零的状态推出。

检查容器日志

  1. 每个容器都会保留其主进程的标准输出内容。使用此输出内容作为日志,帮助确定容器运行过程中实际上发生了什么。例如,要查看 keystone 容器的日志,请使用以下命令:

    $ sudo podman logs keystone

    在大多数情况下,此日志包含有关容器故障原因的信息。

  2. 主机还包含已失败服务的 stdout 日志。可在 /var/log/containers/stdouts/ 中查找 stdout 日志。例如,要查看出现故障的 keystone 容器的日志,请运行以下命令:

    $ cat /var/log/containers/stdouts/keystone.log

检查容器

在某些情况下,您可能需要验证容器的相关信息。例如,请使用以下命令来查看 keystone 容器的相关数据:

$ sudo podman inspect keystone

此命令返回一个包含低级配置数据的 JSON 对象。您可以通过管道将这些输出内容传递给 jq 命令,以对特定数据进行解析。例如,要查看 keystone 容器的加载情况,请运行以下命令:

$ sudo podman inspect keystone | jq .[0].Mounts

您还可以使用 --format 选项将数据解析到一行中,这在针对一组容器数据运行命令时非常有用。例如,要重建用于运行 keystone 容器的选项,请使用包含 --format 选项的以下 inspect 命令:

$ sudo podman inspect --format='{{range .Config.Env}} -e "{{.}}" {{end}} {{range .Mounts}} -v {{.Source}}:{{.Destination}}:{{ join .Options "," }}{{end}} -ti {{.Config.Image}}' keystone
注意

--format 选项会按照 Go 语法来创建查询。

将这些选项和 podman run 命令一起使用以重新创建容器用于故障排除目的:

$ OPTIONS=$( sudo podman inspect --format='{{range .Config.Env}} -e "{{.}}" {{end}} {{range .Mounts}} -v {{.Source}}:{{.Destination}}{{if .Mode}}:{{.Mode}}{{end}}{{end}} -ti {{.Config.Image}}' keystone )
$ sudo podman run --rm $OPTIONS /bin/bash

在容器内运行命令

在某些情况下,您可能需要通过特定的 Bash 命令从容器中获取信息。在此情况下,使用以下 podman 命令以在运行中容器内执行命令。例如,运行 podman exec 命令以在 keystone 容器内运行命令:

$ sudo podman exec -ti keystone <COMMAND>
注意

-ti 选项会通过交互式伪终端来运行命令。

用您要运行的命令替换 <COMMAND>。例如,每个容器都有一个健康检查脚本,用于验证服务的连接状况。您可以使用以下命令为 keystone 运行这个健康检查脚本:

$ sudo podman exec -ti keystone /openstack/healthcheck

要访问容器的 shell,请运行 podman exec,并将 /bin/bash 用作您要在容器内运行的命令:

$ sudo podman exec -ti keystone /bin/bash

查看容器文件系统

  1. 要查看故障容器的文件系统,请运行 podman mount 命令。例如,要查看出现故障的 keystone 容器的文件系统,请运行以下命令:

    $ podman mount keystone

    这会提供一个挂载位置,用于查看文件系统内容:

    /var/lib/containers/storage/overlay/78946a109085aeb8b3a350fc20bd8049a08918d74f573396d7358270e711c610/merged

    这对于查看容器内的 Puppet 报告很有用。您可以在容器挂载内的 var/lib/puppet/ 目录中查找这些报告。

导出容器

当容器出现故障时,您可能需要调查文件中包含的所有内容。在这种情况下,您可以将容器的整个文件系统导出为 tar 归档。例如,要导出 keystone 容器的文件系统,请运行以下命令:

$ sudo podman export keystone -o keystone.tar

这个命令会创建 keystone.tar 归档,以供您提取和研究。

23.10. Compute 节点故障排除

Compute 节点使用 Compute 服务来执行基于虚拟机监控程序的操作。这意味着,对 Compute 节点进行故障排除可以解决与这个服务相关的问题。

步骤

  1. 查找 stackrc 文件:

    $ source ~/stackrc
  2. 获取包含故障的 Compute 节点的 IP 地址:

    (undercloud) $ openstack server list
  3. 登录到节点:

    (undercloud) $ ssh heat-admin@192.168.24.60
  4. 切换到 root 用户:

    $ sudo -i
  5. 查看容器状态:

    $ sudo podman ps -f name=nova_compute
  6. Compute 节点的主日志文件为 /var/log/containers/nova/nova-compute.log。如果与 Compute 节点的通信出现问题,从这个日志文件开始诊断是个好办法。
  7. 如果需要在 Compute 节点上进行维护工作,把主机上存在的实例迁移到另外一个可以正常工作的 Compute 节点上,然后禁用需要进行维护的节点。

23.11. 创建 sosreport

如果您需要与红帽联系获得 OpenStack 平台的产品支持,可能需要生成一份 sosreport。有关创建 sosreport 的更多信息,请参见以下知识库文章:

23.12. 日志位置

在故障排除时,使用以下日志查找 undercloud 和 overcloud 的信息。

表 23.1. undercloud 和 overcloud 节点上的日志

信息日志位置

容器化服务日志

/var/log/containers/

容器化服务中的标准输出

/var/log/containers/stdouts

Ansible 配置日志

/var/lib/mistral/overcloud/ansible.log

表 23.2. undercloud 节点上的其他日志

信息日志位置

openstack overcloud deploy 的命令历史记录

/home/stack/.tripleo/history

Undercloud 安装日志

/home/stack/install-undercloud.log

表 23.3. overcloud 节点上的其他日志

信息日志位置

Cloud-Init 日志

/var/log/cloud-init.log

高可用性日志

/var/log/pacemaker.log

第 24 章 Undercloud 和 overcloud 服务的提示

本节提供有关在 undercloud 上调整和管理特定 OpenStack 服务的建议。

24.1. 查看数据库冲刷(flush)间隔

有些服务使用 cron 容器冲刷数据库中的旧内容。

  • OpenStack Identity (keystone):冲刷已到期令牌。
  • OpenStack Orchestration (heat):冲刷已到期删除的模板数据。
  • OpenStack Compute (nova):冲刷已到期删除的实例数据。

每个服务的默认冲刷期都列在此表中:

服务数据库内容冲刷默认冲刷期

OpenStack Identity (keystone)

已过期令牌

每小时

OpenStack Orchestration (heat)

删除的已过期且 30 天以上的模板数据

每天

OpenStack Compute (nova)

归档已删除的实例数据

每天

OpenStack Compute (nova)

冲刷 14 天以上的已归档数据

每天

以下各表概述了控制这些 cron 任务的参数。

表 24.1. OpenStack Identity (keystone) cron 参数

参数描述

KeystoneCronTokenFlushMinute

清除已过期令牌的 Cron - 分钟。默认值为:1

KeystoneCronTokenFlushHour

清除已过期令牌的 Cron - 小时。默认值为:*

KeystoneCronTokenFlushMonthday

清除已过期令牌的 Cron - 月日。默认值为:*

KeystoneCronTokenFlushMonth

清除已过期令牌的 Cron - 月。默认值为:*

KeystoneCronTokenFlushWeekday

清除已过期令牌的 Cron - 星期几。默认值为:*

表 24.2. OpenStack Orchestration (heat) cron 参数

参数描述

HeatCronPurgeDeletedAge

清除标记为已删除且早于 $age 的数据库条目的 Cron - 期限。默认值为:30

HeatCronPurgeDeletedAgeType

清除标记为已删除且早于 $age 的数据库条目的 Cron - 期限类型。默认值为:

HeatCronPurgeDeletedMinute

清除标记为已删除且早于 $age 的数据库条目的 Cron - 分钟。默认值为:1

HeatCronPurgeDeletedHour

清除标记为已删除且早于 $age 的数据库条目的 Cron - 小时。默认值为:0

HeatCronPurgeDeletedMonthday

清除标记为已删除且早于 $age 的数据库条目的 Cron - 几号。默认值为:*

HeatCronPurgeDeletedMonth

清除标记为已删除且早于 $age 的数据库条目的 Cron - 月。默认值为:*

HeatCronPurgeDeletedWeekday

清除标记为已删除且早于 $age 的数据库条目的 Cron - 星期几。默认值为:*

表 24.3. OpenStack Compute (nova) cron 参数

参数

描述

NovaCronArchiveDeleteRowsMaxRows

将已删除实例移至另一表格的 Cron - 最多行。默认值为:100

NovaCronArchiveDeleteRowsPurge

计划的归档后立即清除影子表格。默认值为:False

NovaCronArchiveDeleteRowsMinute

将已删除实例移至另一表格的 Cron - 分钟。默认值为:1

NovaCronArchiveDeleteRowsHour

将已删除实例移至另一表格的 Cron - 小时。默认值为:0

NovaCronArchiveDeleteRowsMonthday

将已删除实例移至另一表格的 Cron - 几号。默认值为:*

NovaCronArchiveDeleteRowsMonth

将已删除实例移至另一表格的 Cron - 月。默认值为:*

NovaCronArchiveDeleteRowsWeekday

将已删除实例移至另一表格的 Cron - 星期几。默认值为:*

NovaCronArchiveDeleteRowsUntilComplete

将已删除实例移至另一表格的 Cron - 直到完成。默认值为:True

NovaCronPurgeShadowTablesAge

清除影子表格的 Cron - 期限。这将定义保留策略,即在几天内清除影子表格。0 是指清除影子表格中今天之前的数据。默认值为:14

NovaCronPurgeShadowTablesMinute

清除影子表格的 Cron - 分钟。默认值为:0

NovaCronPurgeShadowTablesHour

清除影子表格的 Cron - 小时。默认值为:5

NovaCronPurgeShadowTablesMonthday

清除影子表格的 Cron - 几号。默认值为:*

NovaCronPurgeShadowTablesMonth

清除影子表格的 Cron - 月。默认值为:*

NovaCronPurgeShadowTablesWeekday

清除影子表格的 Cron - 星期几。默认值为:*`

要调整这些间隔值,创建包含相应服务的令牌冲刷间隔的环境文件,并将该文件添加到 undercloud.conf 文件的 custom_env_files 参数中。例如,要将 OpenStack Identity (keystone) 令牌冲刷更改为半小时,请使用以下代码段

keystone-cron.yaml

parameter_defaults:
  KeystoneCronTokenFlushMinute: '0/30'

undercloud.yaml

custom_env_files: keystone-cron.yaml

然后重新运行 openstack undercloud install 命令。

$ openstack undercloud install
注意

也可将这些参数用于您的 overcloud。有关详细信息,请参见“Overcloud 参数”指南。

24.2. 调优部署性能

OpenStack Platform director 使用 OpenStack Orchestration (heat) 处理主要部署和置备功能。Heat 使用一系列 worker 执行部署任务。为计算默认 worker 数,director 的 heat 配置将 undercloud 的总 CPU 线程计数减半 [2]。例如,如果 undercloud 的 CPU 具有 16 个线程,则 heat 默认生成 8 个 worker。director 配置还默认使用最小和最大 cap:

服务最小值最大值

OpenStack Orchestration (heat)

4

24

但是,您可以使用环境文件中的 HeatWorkers 参数手动设置 worker 数:

heat-workers.yaml

parameter_defaults:
  HeatWorkers: 16

undercloud.yaml

custom_env_files: heat-workers.yaml



[2] 在本实例中,线程数是指 CPU 内核数乘以超线程值

24.3. 在容器中运行 swift-ring-builder

要管理您的 Object Storage (swift) 环,请使用服务器容器内的 swift-ring-builder 命令:

  • swift_object_server
  • swift_container_server
  • swift_account_server

例如,要查看有关 swift 对象环的信息,请运行以下命令:

$ sudo podman exec -ti -u swift swift_object_server swift-ring-builder /etc/swift/object.builder

可同时在 undercloud 和 overcloud 节点上运行此命令。

24.4. 更改 HAProxy 的 SSL/TLS 密码规则

如果在 undercloud 中启用了 SSL/TLS(请参见 第 4.2 节 “Director 配置参数”),则您可能想加强与 HAProxy 配置一起使用的 SSL/TLS 密码和规则。这种加强有助于避免 SSL/TLS 漏洞,如 POODLE 漏洞

使用 hieradata_override undercloud 配置选项,设置下列 hieradata:

tripleo::haproxy::ssl_cipher_suite
HAProxy 中使用的密码套件。
tripleo::haproxy::ssl_options
HAProxy 中使用的 SSL/TLS 规则。

例如,您可能需要使用下列密码和规则:

  • 密码:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS
  • 规则:no-sslv3 no-tls-tickets

创建一个包含以下内容的 hieradata 覆盖文件 (haproxy-hiera-overrides.yaml):

tripleo::haproxy::ssl_cipher_suite: ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS
tripleo::haproxy::ssl_options: no-sslv3 no-tls-tickets
注意

密码集合是一个连续行。

设置 undercloud.conf 文件中的 hieradata_override 参数,以便使用在运行 openstack undercloud install 之前创建的 hieradata 覆盖文件:

[DEFAULT]
...
hieradata_override = haproxy-hiera-overrides.yaml
...

部分 VI. 附录

附录 A. 电源管理驱动

虽然 IPMI 是 director 用来进行电源管理的主要方法,但是 director 也支持其它电源管理类型。此附录包含 director 支持的电源管理功能列表。对 第 6.1 节 “为 overcloud 注册节点”使用这些电源管理设置。

A.1. 智能平台管理接口 (IPMI)

使用基板管理控制器 (BMC) 的标准电源管理方法。

pm_type
将这个选项设置为 ipmi
pm_user; pm_password
IPMI 的用户名和密码。
pm_addr
IPMI 控制器的 IP 地址。
pm_port(可选)
连接到 IPMI 控制器的端口。

A.2. Redfish

由分布式管理任务组 (DMTF) 开发的,IT 基础架构的标准 RESTful API

pm_type
将这个选项设置为 redfish
pm_user; pm_password
Redfish 的用户名和密码。
pm_addr
Redfish 控制器的 IP 地址。
pm_system_id
系统资源的规范路径(canonical path)。此路径必须包括根服务、版本和系统的路径/唯一 ID。例如:/redfish/v1/Systems/CX34R87.

A.3. Dell Remote Access Controller (DRAC)

DRAC 是一个提供远程电源功能的接口,这些功能包括电源管理和服务器监控。

pm_type
将这个选项设置为 idrac
pm_user; pm_password
DRAC 的用户名和密码。
pm_addr
DRAC 主机的 IP 地址。

A.4. Integrated Lights-Out (iLO)

iLO 是惠普提供的一个远程电源功能的接口,这些功能包括电源管理和服务器监控。

pm_type
将这个选项设置为 ilo
pm_user; pm_password
iLO 的用户名和密码。
pm_addr

iLO 接口的 IP 地址。

  • 要启用这个驱动器,请将 ilo 添加到 undercloud.confenabled_hardware_types 选项中,然后重新运行 openstack undercloud install
  • director 需要为 iLo 安装一组额外的工具程序。安装 python-proliantutils 软件包并重启 openstack-ironic-conductor 服务:

    $ sudo yum install python-proliantutils
    $ sudo systemctl restart openstack-ironic-conductor.service
  • HP 节点的 ILO 固件版本至少为 1.85(2015 年 5 月 13 日)才能成功内省。director 已成功测试了使用此 ILO 固件版本的节点。
  • 不支持使用共享 iLO 端口。

A.5. Cisco Unified Computing System(UCS)

Cisco UCS 是一个结合了计算、网络、存储访问和虚拟化资源的数据中心平台。这个驱动提供了对连接到 UCS 上的裸机系统的电源管理功能。

pm_type
将这个选项设置为 cisco-ucs-managed
pm_user; pm_password
UCS 的用户名和密码。
pm_addr
UCS 接口的 IP 地址。
pm_service_profile

使用的 UCS 服务配置集。通常的格式是 org-root/ls-[service_profile_name]。例如:

"pm_service_profile": "org-root/ls-Nova-1"
  • 要启用此驱动程序,将 cisco-ucs-managed 添加到 undercloud.confenabled_hardware_types 选项中,并重新运行 openstack undercloud install 命令。
  • director 需要为 UCS 安装一组额外的工具程序。安装 python-UcsSdk 软件包并重启 openstack-ironic-conductor 服务:

    $ sudo yum install python-UcsSdk
    $ sudo systemctl restart openstack-ironic-conductor.service

A.6. Fujitsu Integrated Remote Management Controller (iRMC)

Fujitsu 的 iRMC 是一个 BMC(Baseboard Management Controller),它集成了 LAN 连接以及扩展的功能。这个驱动提供了对连接到 iRMC 上的裸机系统的电源管理功能。

重要

需要 iRMC S4 或更高版本。

pm_type
将这个选项设置为 irmc
pm_user; pm_password
iRMC 接口的用户名和密码。
pm_addr
iRMC 接口的 IP 地址。
pm_port(可选)
iRMC 操作使用的端口。默认值是 443。
pm_auth_method(可选)
iRMC 操作的验证方法。使用 basicdigest。默认值是 basic
pm_client_timeout(可选)
iRMC 操作的超时值(以秒为单位)。默认值是 60 秒。
pm_sensor_method(可选)

获得感应器数据的方法。使用 ipmitoolscci。默认值是 ipmitool

  • 要启用此驱动程序,将 irmc 添加到 undercloud.confenabled_hardware_types 选项中,并重新运行 openstack undercloud install 命令。
  • 如果启用 SCCI 作为传感器方法,还必须再安装一组实用程序。安装 python-scciclient 软件包并重启 openstack-ironic-conductor 服务:

    $ yum install python-scciclient
    $ sudo systemctl restart openstack-ironic-conductor.service

A.7. Red Hat Virtualization

这个驱动通过其 RESTful API 控制红帽 Virtualization 中的虚拟机。

pm_type
将这个选项设置为 staging-ovirt
pm_user; pm_password
红帽 Virtualization 环境的用户名和密码。该用户名中还含有认证供应商。例如:admin@internal
pm_addr
Red Hat Virtualization REST API 的 IP 地址。
pm_vm_name
要控制的虚拟机的名称。
mac

节点上的网络接口的 MAC 地址列表。对于每个系统的 Provisioning NIC,只使用 MAC 地址。

  • 要启用此驱动程序,将 staging-ovirt 添加到 undercloud.confenabled_hardware_types 选项中,并重新运行 openstack undercloud install 命令。

A.8. Fake Driver

使用 Fake Driver 控制没有电源管理的裸机设备。director 无法控制已注册的裸机设备,您必须在内省和部署过程中的特定点执行手动电源操作。

重要

此选项仅适用于测试和评估目的。不建议用于 Red Hat OpenStack Platform 企业环境。

pm_type

将这个选项设置为 fake-hardware

  • 这个驱动不使用任何验证信息,因为它不控制电源管理。
  • 要启用此驱动程序,将 fake 添加到 undercloud.confenabled_hardware_types 选项中,并重新运行 openstack undercloud install 命令。
  • 在节点上执行内省时,先手动启动节点,再运行 openstack overcloud node introspect 命令。
  • 在进行 overcloud 部署时,使用 ironic node-list 命令检查节点的状态。等到节点状态从 deploying 改为 deploy wait-callback,然后手动启动节点。
  • 在 overcloud 部署完成后,重启节点。使用 ironic node-list 命令来检查节点的状态,确定部署过程是否已完成。 部署完成后,节点状态会变为 active。 然后,手动重启所有 overcloud 节点。

附录 B. Red Hat OpenStack Platform for POWER

在 Red Hat OpenStack Platform 的全新安装中,现在可以在 POWER (ppc64le) 硬件上部署 overcloud Compute 节点。对于 Compute 节点集群,可选择使用相同的架构,或使用 x86_64 和 ppc64le 系统的组合。undercloud、Controller 节点、Ceph Storage 节点及所有其他系统仅在 x86_64 硬件上才受支持。可在本指南的前面部分找到每个系统的安装详细信息。

B.1. Ceph 存储

在多架构云中配置对外部 Ceph 的访问时,请将 CephAnsiblePlaybook 参数设置为 /usr/share/ceph-ansible/site.yml.sample,同时也设置您的客户端密钥和其他 Ceph 相关参数。

例如:

parameter_defaults:
  CephAnsiblePlaybook: /usr/share/ceph-ansible/site.yml.sample
  CephClientKey: AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ==
  CephClusterFSID: 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
  CephExternalMonHost: 172.16.1.7, 172.16.1.8

B.2. 可组合的服务

以下服务通常是组成 Controller 节点的一部分,在自定义角色中使用它们当前还是技术预览:

  • Cinder
  • Glance
  • Keystone
  • Neutron
  • Swift
注意

红帽不支持技术预览功能。

有关更多信息,请参见可组合服务和自定义角色文档。通过以下示例了解如何将列出的服务从 Controller 节点移至专用 ppc64le 节点:

(undercloud) [stack@director ~]$ rsync -a /usr/share/openstack-tripleo-heat-templates/. ~/templates
(undercloud) [stack@director ~]$ cd ~/templates/roles
(undercloud) [stack@director roles]$ cat <<EO_TEMPLATE >ControllerPPC64LE.yaml
###############################################################################
# Role: ControllerPPC64LE                                                     #
###############################################################################
- name: ControllerPPC64LE
  description: |
    Controller role that has all the controller services loaded and handles
    Database, Messaging and Network functions.
  CountDefault: 1
  tags:
    - primary
    - controller
  networks:
    - External
    - InternalApi
    - Storage
    - StorageMgmt
    - Tenant
  # For systems with both IPv4 and IPv6, you may specify a gateway network for
  # each, such as ['ControlPlane', 'External']
  default_route_networks: ['External']
  HostnameFormatDefault: '%stackname%-controllerppc64le-%index%'
  ImageDefault: ppc64le-overcloud-full
  ServicesDefault:
    - OS::TripleO::Services::Aide
    - OS::TripleO::Services::AuditD
    - OS::TripleO::Services::CACerts
    - OS::TripleO::Services::CephClient
    - OS::TripleO::Services::CephExternal
    - OS::TripleO::Services::CertmongerUser
    - OS::TripleO::Services::CinderApi
    - OS::TripleO::Services::CinderBackendDellPs
    - OS::TripleO::Services::CinderBackendDellSc
    - OS::TripleO::Services::CinderBackendDellEMCUnity
    - OS::TripleO::Services::CinderBackendDellEMCVMAXISCSI
    - OS::TripleO::Services::CinderBackendDellEMCVNX
    - OS::TripleO::Services::CinderBackendDellEMCXTREMIOISCSI
    - OS::TripleO::Services::CinderBackendNetApp
    - OS::TripleO::Services::CinderBackendScaleIO
    - OS::TripleO::Services::CinderBackendVRTSHyperScale
    - OS::TripleO::Services::CinderBackup
    - OS::TripleO::Services::CinderHPELeftHandISCSI
    - OS::TripleO::Services::CinderScheduler
    - OS::TripleO::Services::CinderVolume
    - OS::TripleO::Services::Collectd
    - OS::TripleO::Services::Docker
    - OS::TripleO::Services::Fluentd
    - OS::TripleO::Services::GlanceApi
    - OS::TripleO::Services::GlanceRegistry
    - OS::TripleO::Services::Ipsec
    - OS::TripleO::Services::Iscsid
    - OS::TripleO::Services::Kernel
    - OS::TripleO::Services::Keystone
    - OS::TripleO::Services::LoginDefs
    - OS::TripleO::Services::MySQLClient
    - OS::TripleO::Services::NeutronApi
    - OS::TripleO::Services::NeutronBgpVpnApi
    - OS::TripleO::Services::NeutronSfcApi
    - OS::TripleO::Services::NeutronCorePlugin
    - OS::TripleO::Services::NeutronDhcpAgent
    - OS::TripleO::Services::NeutronL2gwAgent
    - OS::TripleO::Services::NeutronL2gwApi
    - OS::TripleO::Services::NeutronL3Agent
    - OS::TripleO::Services::NeutronLbaasv2Agent
    - OS::TripleO::Services::NeutronLbaasv2Api
    - OS::TripleO::Services::NeutronLinuxbridgeAgent
    - OS::TripleO::Services::NeutronMetadataAgent
    - OS::TripleO::Services::NeutronML2FujitsuCfab
    - OS::TripleO::Services::NeutronML2FujitsuFossw
    - OS::TripleO::Services::NeutronOvsAgent
    - OS::TripleO::Services::NeutronVppAgent
    - OS::TripleO::Services::Ntp
    - OS::TripleO::Services::ContainersLogrotateCrond
    - OS::TripleO::Services::OpenDaylightOvs
    - OS::TripleO::Services::Rhsm
    - OS::TripleO::Services::RsyslogSidecar
    - OS::TripleO::Services::Securetty
    - OS::TripleO::Services::SensuClient
    - OS::TripleO::Services::SkydiveAgent
    - OS::TripleO::Services::Snmp
    - OS::TripleO::Services::Sshd
    - OS::TripleO::Services::SwiftProxy
    - OS::TripleO::Services::SwiftDispersion
    - OS::TripleO::Services::SwiftRingBuilder
    - OS::TripleO::Services::SwiftStorage
    - OS::TripleO::Services::Timezone
    - OS::TripleO::Services::TripleoFirewall
    - OS::TripleO::Services::TripleoPackages
    - OS::TripleO::Services::Tuned
    - OS::TripleO::Services::Vpp
    - OS::TripleO::Services::OVNController
    - OS::TripleO::Services::OVNMetadataAgent
    - OS::TripleO::Services::Ptp
EO_TEMPLATE
(undercloud) [stack@director roles]$ sed -i~ -e '/OS::TripleO::Services::\(Cinder\|Glance\|Swift\|Keystone\|Neutron\)/d' Controller.yaml
(undercloud) [stack@director roles]$ cd ../
(undercloud) [stack@director templates]$ openstack overcloud roles generate \
    --roles-path roles -o roles_data.yaml \
    Controller Compute ComputePPC64LE ControllerPPC64LE BlockStorage ObjectStorage CephStorage

法律通告

Copyright © 2019 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.