流程

1. 仅用于容器部署，当 Red Hat Ceph Storage 节点在部署期间无法访问互联网时。您必须首先在可访问互联网的节点中执行这些步骤：

   1. 启动本地容器 registry：

      Red Hat Enterprise Linux 7

      # docker run -d -p 5000:5000 --restart=always --name registry registry:2

      Red Hat Enterprise Linux 8

      # podman run -d -p 5000:5000 --restart=always --name registry registry:2

   2. 确定 registry.redhat.io 位于容器 registry 搜索路径中。

      打开以编辑 /etc/containers/registries.conf 文件：

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      如果文件中没有包括 registry.redhat.io，请添加它：

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

   3. 从红帽客户门户网站拉取 Red Hat Ceph Storage 4 镜像、Prometheus 镜像和 Dashboard 镜像：

      Red Hat Enterprise Linux 7

      # docker pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # docker pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # docker pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # docker pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      Red Hat Enterprise Linux 8

      # podman pull registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
      # podman pull registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest
      # podman pull registry.redhat.io/openshift4/ose-prometheus:v4.6
      # podman pull registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

      注意

      Red Hat Enterprise Linux 7 和 8 都使用相同的容器镜像，它们基于 Red Hat Enterprise Linux 8。

   4. 标记镜像：

      Prometheus 镜像标签版本是 Red Hat Ceph Storage 4.2 的 v4.6。

      Red Hat Enterprise Linux 7

       # docker tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # docker tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      替换

      • LOCAL_NODE_FQDN，使用您的本地主机 FQDN。

      Red Hat Enterprise Linux 8

       # podman tag registry.redhat.io/rhceph/rhceph-4-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman tag registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:latest LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8:latest
       # podman tag registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman tag registry.redhat.io/openshift4/ose-prometheus:v4.6 LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      替换

      • LOCAL_NODE_FQDN，使用您的本地主机 FQDN。

   5. 编辑 /etc/containers/registries.conf 文件，在文件中添加带有端口信息的节点 FQDN，并保存：

      [registries.insecure]
      registries = ['LOCAL_NODE_FQDN:5000']

      注意

      必须在访问本地 Docker registry 的所有存储集群节点上执行此步骤。

   6. 将镜像推送到您启动的本地 Docker registry：

      Red Hat Enterprise Linux 7

       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # docker push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      替换

      • LOCAL_NODE_FQDN，使用您的本地主机 FQDN。

      Red Hat Enterprise Linux 8

       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:v4.6
       # podman push --remove-signatures LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:v4.6

      替换

      • LOCAL_NODE_FQDN，使用您的本地主机 FQDN。

   7. 对于 Red Hat Enterprise Linux 7，重启 docker 服务：

      # systemctl restart docker

      注意

      当 Red Hat Ceph Storage 节点在部署过程中无法访问互联网时，请参阅安装 Red Hat Ceph Storage 集群来了解 all.yml 文件的示例。

2. 对于所有部署，裸机或容器中 ：

   1. 注册该节点，并在提示时输入适当的红帽客户门户网站凭证：

      # subscription-manager register

   2. 从 CDN 拉取最新的订阅数据：

      # subscription-manager refresh

   3. 列出 Red Hat Ceph Storage 的所有可用订阅：

      # subscription-manager list --available --all --matches="*Ceph*"

      从 Red Hat Ceph Storage 可用订阅列表中复制池 ID。

   4. 附加订阅：

      # subscription-manager attach --pool=POOL_ID

      替换

      • 带有上一步中标识的池 ID 的 POOL_ID。

   5. 禁用默认软件存储库，并在相应版本的 Red Hat Enterprise Linux 中启用服务器和附加软件仓库：

      Red Hat Enterprise Linux 7

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-7-server-rpms
      # subscription-manager repos --enable=rhel-7-server-extras-rpms

      Red Hat Enterprise Linux 8

      # subscription-manager repos --disable=*
      # subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
      # subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms

3. 更新系统，以接收最新的软件包。

   1. Red Hat Enterprise Linux 7：

      # yum update

   2. Red Hat Enterprise Linux 8：

      # dnf update

1. 验证对应于面向公共的网络接口卡的 /etc/sysconfig/network-scripts/ifcfg-* 文件中是否有以下设置：

   1. 对于静态 IP 地址，把 BOOTPROTO 参数设置为 none。

   2. ONBOOT 参数必须设置为 yes。

      如果设为 no，Ceph 存储集群在重启后可能无法成为 peer。

   3. 如果要使用 IPv6，您必须将 IPv6 参数（如 IPV6INIT ）设置为 yes，IPV6_FAILURE_FATAL 参数除外。

      此外，编辑 Ceph 配置文件 /etc/ceph/ceph.conf，以指示 Ceph 使用 IPv6，否则 Ceph 会使用 IPv4。

流程

1. 在存储集群的所有节点上，启动 firewalld 服务。启用它在引导时运行，并确保它正在运行：

   # systemctl enable firewalld
   # systemctl start firewalld
   # systemctl status firewalld

2. 在所有监控节点上，在公共网络上打开端口 3300 和 6789 ：

   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=3300/tcp --permanent
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6789/tcp --permanent
   [root@monitor ~]# firewall-cmd --permanent --add-service=ceph-mon
   [root@monitor ~]# firewall-cmd --add-service=ceph-mon

   根据源地址限制访问：

   firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
   source address=IP_ADDRESS/NETMASK_PREFIX port protocol=tcp \
   port=6789 accept' --permanent

   替换

   • IP_ADDRESS，使用 Monitor 节点的网络地址。

   • NETMASK_PREFIX，使用 CIDR 表示法的子网掩码 。

     示例

     [root@monitor ~]# firewall-cmd --zone=public --add-rich-rule='rule family=ipv4 \
     source address=192.168.0.11/24 port protocol=tcp \
     port=6789 accept' --permanent

3. 在所有 OSD 节点上，打开公共网络上的端口 6800-7300 ：

   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@osd ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent
   [root@osd ~]# firewall-cmd --permanent --add-service=ceph
   [root@osd ~]# firewall-cmd --add-service=ceph

   如果您有单独的集群网络，请对适当的区重复这些命令。

4. 在所有 Ceph Manager (ceph-mgr) 节点上，打开公共网络上的端口 6800-7300 ：

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   如果您有单独的集群网络，请对适当的区重复这些命令。

5. 在所有 Ceph 元数据服务器 (ceph-mds) 节点上，打开公共网络上的端口 6800-7300 ：

   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp
   [root@monitor ~]# firewall-cmd --zone=public --add-port=6800-7300/tcp --permanent

   如果您有单独的集群网络，请对适当的区重复这些命令。

6. 在所有 Ceph 对象网关节点上，打开公共网络上的相关端口或端口。

   1. 打开默认 Ansible 配置的端口 8080:

      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=8080/tcp --permanent

      根据源地址限制访问：

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="8080" accept" --permanent

      替换

      • IP_ADDRESS，使用 Monitor 节点的网络地址。

      • NETMASK_PREFIX，使用 CIDR 表示法的子网掩码 。

        示例

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept"

        [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
        source address="192.168.0.31/24" port protocol="tcp" \
        port="8080" accept" --permanent

   2. 另外，如果您使用 Ansible 安装 Ceph 对象网关并更改了 Ansible 配置 Ceph 对象网关的默认端口以便从 8080 使用，例如端口 80，打开此端口：

      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent

      要根据源地址限制访问，请运行以下命令：

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="80" accept" --permanent

      替换

      • IP_ADDRESS，使用 Monitor 节点的网络地址。
      • NETMASK_PREFIX，使用 CIDR 表示法的子网掩码 。

      示例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept"

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="80" accept" --permanent

   3. 可选。要使用 SSL/TLS，请打开端口 443 ：

      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp
      [root@gateway ~]# firewall-cmd --zone=public --add-port=443/tcp --permanent

      要根据源地址限制访问，请运行以下命令：

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept"

      firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="IP_ADDRESS/NETMASK_PREFIX" port protocol="tcp" \
      port="443" accept" --permanent

      替换

      • IP_ADDRESS，使用 Monitor 节点的网络地址。
      • NETMASK_PREFIX，使用 CIDR 表示法的子网掩码 。

      示例

      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept"
      [root@gateway ~]# firewall-cmd --zone=public --add-rich-rule="rule family="ipv4" \
      source address="192.168.0.31/24" port protocol="tcp" \
      port="443" accept" --permanent

流程

1. 以 root 用户身份登录节点：

   ssh root@HOST_NAME

   替换

   • HOST_NAME，使用 Ceph 节点的主机名。

     示例

     # ssh root@mon01

     出现提示时，输入 root 密码。

2. 创建一个新的 Ansible 用户：

   adduser USER_NAME

   替换

   • USER_NAME，使用具有 Ansible 用户的新用户名。

     示例

     # adduser admin

     重要

     不要使用 ceph 作为用户名。ceph 用户名保留用于 Ceph 守护进程。整个集群中的统一用户名可以提高易用性，但避免使用明显的用户名，因为入侵者通常使用它们进行暴力攻击。

3. 为这个用户设置一个新密码：

   # passwd USER_NAME

   替换

   • USER_NAME，使用具有 Ansible 用户的新用户名。

     示例

     # passwd admin

     出现提示时，输入新密码两次。

4. 为新创建的用户配置 sudo 访问权限：

   cat << EOF >/etc/sudoers.d/USER_NAME
   $USER_NAME ALL = (root) NOPASSWD:ALL
   EOF

   替换

   • USER_NAME，使用具有 Ansible 用户的新用户名。

     示例

     # cat << EOF >/etc/sudoers.d/admin
     admin ALL = (root) NOPASSWD:ALL
     EOF

5. 为新文件分配正确的文件权限：

   chmod 0440 /etc/sudoers.d/USER_NAME

   替换

   • USER_NAME，使用具有 Ansible 用户的新用户名。

     示例

     # chmod 0440 /etc/sudoers.d/admin

流程

1. 生成 SSH 密钥对，接受默认文件名并将密语留空：

   [ansible@admin ~]$ ssh-keygen

2. 将公钥复制到存储集群中的所有节点：

   ssh-copy-id USER_NAME@HOST_NAME

   替换

   • USER_NAME，使用具有 Ansible 用户的新用户名。

   • HOST_NAME，使用 Ceph 节点的主机名。

     示例

     [ansible@admin ~]$ ssh-copy-id ceph-admin@ceph-mon01

3. 创建用户的 SSH config 文件 ：

   [ansible@admin ~]$ touch ~/.ssh/config

4. 打开并编辑 config 文件。为存储集群中每个节点的 Hostname 和 User 选项设置值：

   Host node1
      Hostname HOST_NAME
      User USER_NAME
   Host node2
      Hostname HOST_NAME
      User USER_NAME
   ...

   替换

   • HOST_NAME，使用 Ceph 节点的主机名。

   • USER_NAME，使用具有 Ansible 用户的新用户名。

     示例

     Host node1
        Hostname monitor
        User admin
     Host node2
        Hostname osd
        User admin
     Host node3
        Hostname gateway
        User admin

     重要

     通过配置 ~/.ssh/config 文件，您不必在每次执行 ansible-playbook 命令时指定 -u USER_NAME 选项。

5. 为 ~/.ssh/config 文件设置正确的文件权限：

   [admin@admin ~]$ chmod 600 ~/.ssh/config

流程

1. 验证已安装了 Cockpit。

   $ rpm -q cockpit

   例如：

   [admin@jb-ceph4-admin ~]$ rpm -q cockpit
   cockpit-196.3-1.el8.x86_64

   如果您看到与上例类似的输出，请跳到验证 Cockpit 正在运行的步骤。如果输出是 package cockpit is not installed，继续安装 Cockpit 步骤。

2. 可选：安装 Cockpit。

   1. Red Hat Enterprise Linux 8：

      # dnf install cockpit

   2. Red Hat Enterprise Linux 7：

      # yum install cockpit

3. 验证 Cockpit 正在运行。

   # systemctl status cockpit.socket

   如果您在输出中看到 Active: active (listening)，请跳到为 Red Hat Ceph Storage 安装 Cockpit 插件的步骤。如果您看到 Active: inactive(dead)，请继续执行启用 Cockpit 步骤。

4. 可选：启用 Cockpit。

   1. 使用 systemctl 命令启用 Cockpit：

      # systemctl enable --now cockpit.socket

      您将看到类似如下的行：

      Created symlink /etc/systemd/system/sockets.target.wants/cockpit.socket → /usr/lib/systemd/system/cockpit.socket.

   2. 验证 Cockpit 是否正在运行：

      # systemctl status cockpit.socket

      您将看到类似如下的行：

      Active: active (listening) since Tue 2020-01-07 18:49:07 EST; 7min ago

5. 安装 Red Hat Ceph Storage 的 Cockpit Ceph 安装程序。

   1. Red Hat Enterprise Linux 8：

      # dnf install cockpit-ceph-installer

   2. Red Hat Enterprise Linux 7：

      # yum install cockpit-ceph-installer

6. 以 Ansible 用户身份，使用 sudo 登录容器目录：

   注意

   默认情况下，Cockpit Ceph 安装程序使用 root 用户安装 Ceph。若要使用作为安装 Ceph 的先决条件一部分创建的 Ansible 用户，请以 Ansible 用户身份通过 sudo 运行此流程中的其余命令。

   Red Hat Enterprise Linux 7

   $ sudo docker login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   示例

   [admin@jb-ceph4-admin ~]$ sudo docker login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

   Red Hat Enterprise Linux 8

   $ sudo podman login -u CUSTOMER_PORTAL_USERNAME https://registry.redhat.io

   示例

   [admin@jb-ceph4-admin ~]$ sudo podman login -u myusername https://registry.redhat.io
   Password:
   Login Succeeded!

7. 确定 registry.redhat.io 位于容器 registry 搜索路径中。

   1. 打开以编辑 /etc/containers/registries.conf 文件：

      [registries.search]
      registries = [ 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

      如果文件中没有包括 registry.redhat.io，请添加它：

      [registries.search]
      registries = ['registry.redhat.io', 'registry.access.redhat.com', 'registry.fedoraproject.org', 'registry.centos.org', 'docker.io']

8. 以 Ansible 用户身份，使用 sudo 启动 ansible-runner-service。

   $ sudo ansible-runner-service.sh -s

   示例

   [admin@jb-ceph4-admin ~]$ sudo ansible-runner-service.sh -s
   Checking environment is ready
   Checking/creating directories
   Checking SSL certificate configuration
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ..................................................................................................................................................................................................................................++++
   ......................................................++++
   e is 65537 (0x010001)
   Generating RSA private key, 4096 bit long modulus (2 primes)
   ........................................++++
   ..............................................................................................................................................................................++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerServer, CN = jb-ceph4-admin
   Getting CA Private Key
   Generating RSA private key, 4096 bit long modulus (2 primes)
   .....................................................................................................++++
   ..++++
   e is 65537 (0x010001)
   writing RSA key
   Signature ok
   subject=C = US, ST = North Carolina, L = Raleigh, O = Red Hat, OU = RunnerClient, CN = jb-ceph4-admin
   Getting CA Private Key
   Setting ownership of the certs to your user account(admin)
   Setting target user for ansible connections to admin
   Applying SELINUX container_file_t context to '/etc/ansible-runner-service'
   Applying SELINUX container_file_t context to '/usr/share/ceph-ansible'
   Ansible API (runner-service) container set to rhceph/ansible-runner-rhel8:latest
   Fetching Ansible API container (runner-service). Please wait...
   Trying to pull registry.redhat.io/rhceph/ansible-runner-rhel8:latest...Getting image source signatures
   Copying blob c585fd5093c6 done
   Copying blob 217d30c36265 done
   Copying blob e61d8721e62e done
   Copying config b96067ea93 done
   Writing manifest to image destination
   Storing signatures
   b96067ea93c8d6769eaea86854617c63c61ea10c4ff01ecf71d488d5727cb577
   Starting Ansible API container (runner-service)
   Started runner-service container
   Waiting for Ansible API container (runner-service) to respond
   The Ansible API container (runner-service) is available and responding to requests
   
   Login to the cockpit UI at https://jb-ceph4-admin:9090/cockpit-ceph-installer to start the install

   输出的最后一行包含 Cockpit Ceph 安装程序的 URL。在上例中，URL 是 https://jb-ceph4-admin:9090/cockpit-ceph-installer。记录下在环境中输出的 URL。

流程

1. 以 Ansible 用户身份登录 Ansible 管理节点。

   ssh ANSIBLE_USER@HOST_NAME

   例如：

   $ ssh admin@jb-ceph4-admin

2. 将 SSH 公钥复制到第一个节点：

   sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub _ANSIBLE_USER_@_HOST_NAME_

   例如：

   $ sudo ssh-copy-id -f -i /usr/share/ansible-runner-service/env/ssh_key.pub admin@jb-ceph4-mon
   /bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/usr/share/ansible-runner-service/env/ssh_key.pub"
   admin@192.168.122.182's password:
   
   Number of key(s) added: 1
   
   Now try logging into the machine, with:   "ssh 'admin@jb-ceph4-mon'"
   and check to make sure that only the key(s) you wanted were added.

   对集群中的所有节点重复此步骤

流程

1. 在 Web 浏览器中打开 URL。

   

2. 输入 Ansible 用户名及其密码。

   

3. 单击 Reuse my password for privileged tasks 的单选按钮。

   

4. 点 Log In。

   

5. 查看欢迎页面以了解安装程序的工作原理和安装过程的整体流程。

   

   在检查了欢迎页面中的信息后，单击 Web 页面右下角的环境按钮。

流程

1. 选择 Installation Source。选择 Red Hat 以使用来自 Subscription Manager 的存储库，或 ISO 来使用从红帽客户门户下载的 CD 镜像。

   

   如果选择 Red Hat，Target Version 将被设置为 RHCS 4 而没有其他选项。如果选择 ISO，Target Version 将设置为 ISO 镜像文件。

   重要

   如果选择 ISO，镜像文件必须位于 /usr/share/ansible-runner-service/iso 目录中，其 SELinux 上下文必须设置为 container_file_t。

   重要

   Installation Source 的 Community 和 Distribution 选项不被支持。

2. 选择 Cluster Type。如果未满足 CPU 数量和内存大小等特定资源要求，则 Production 选择将阻止安装继续。要允许集群安装即使没有满足资源要求也可以进行，请选择 Development/POC。

   
   重要

   不要使用 Development/POC 模式来安装生产环境中使用的 Ceph 集群。

3. 设置服务帐户登录和服务帐户令牌。如果您没有 Red Hat Registry Service Account，请使用 Registry Service Account 网页 创建一个。

   

4. 将 Configure Firewall 设置为 ON，将规则应用到 firewalld 以打开 Ceph 服务的端口。如果没有使用 firewalld，请使用 OFF 设置。

   

5. 目前，Cockpit Ceph 安装程序仅支持 IPv4。如果您需要 IPv6 支持，不要继续使用 Cockpit Ceph 安装程序，并直接使用 Ansible 脚本 安装 Ceph。

   

6. 将 OSD Type 设置为 BlueStore 或 FileStore。

   
   重要

   BlueStore 是默认的 OSD 类型。在以前的版本中，Ceph 使用 FileStore 作为对象存储。这种格式对于新的 Red Hat Ceph Storage 4.0 安装已弃用，因为 BlueStore 提供了更多功能和更高的性能。仍可使用 FileStore，但使用它需要支持例外。如需有关 BlueStore 的更多信息，请参阅架构指南 中的 Ceph BlueStore。

7. 将 Flash Configuration 设置为 Journal/Logs 或 OSD 数据。如果您有 Solid State Drives (SSD)，无论是使用 NVMe 还是传统的 SATA/SAS 接口，您可以选择仅将它们用于写入日志，而实际数据的操作在硬盘驱动器 (HDD) 上进行，或者您可以将 SSD 用于日志和数据，HDD 不用于任何 Ceph OSD 功能。

   

8. 将 Encryption 设置为 None 或 Encrypted。这是指使用 LUKS1 格式的存储设备的其余加密。

   

9. 将 Installation 类型 设置为 Container 或 RPM。传统上，红帽软件包管理器 (RPM) 用于在 Red Hat Enterprise Linux 上安装软件。现在，您可以使用 RPM 或容器安装 Ceph。使用容器安装 Ceph 可以提高硬件利用率，因为可以隔离和并置服务。

   

10. 查看所有环境设置，再单击网页右下角的 Hosts 按钮。

    

流程

1. 单击添加主机按钮。

   

2. 输入 Ceph OSD 节点的主机名，选中 OSD 的方框，然后单击 Add 按钮。

   

   添加了第一个 Ceph OSD 节点。

   

   对于生产环境集群，请重复此步骤，直到您至少添加了三个 Ceph OSD 节点。

3. 可选：使用主机名模式来定义节点范围。例如，若要同时添加 jb-ceph4-osd2 和 jb-ceph4-osd3，请输入 jb-ceph4-osd[2-3]。

   

   添加 jb-ceph4-osd2 和 jb-ceph4-ods3。

   

4. 为集群中的其他节点重复上述步骤。

   1. 对于生产环境集群，至少添加三个 Ceph 监控节点。在对话框中，该角色列为 MON。
   2. 使用 Metrics 角色添加节点。Metrics 角色安装 Grafana 和 Prometheus，以提供 Ceph 集群性能的实时洞察。这些指标显示在 Ceph 控制面板中，您可以通过它来监控和管理集群。需要安装仪表板、Grafana 和 Prometheus。您可以在 Ansible 管理节点上并置指标功能。如果这样做，请确保节点的系统资源大于独立指标节点所需的值。
   3. 可选：添加具有 MDS 角色的节点。MDS 角色安装 Ceph 元数据服务器 (MDS)。元数据服务器守护进程是部署 Ceph 文件系统所必需的。
   4. 可选：使用 RGW 角色添加节点。RGW 角色安装 Ceph 对象网关，也称为 RADOS 网关，这是在 librados API 基础上构建的对象存储接口，为应用提供 Ceph 存储集群的 RESTful 网关。它支持 Amazon S3 和 OpenStack Swift API。
   5. 可选：添加具有 iSCSI 角色的节点。iSCSI 角色安装 iSCSI 网关，以便您可以通过 iSCSI 共享 Ceph 块设备。要将 iSCSI 与 Ceph 搭配使用，您必须在至少两个用于多路径 I/O 的节点上安装 iSCSI 网关。

5. 可选：在添加节点时通过选择多个角色在同一节点上并分配多个服务。

   

   如需有关共同定位守护进程的更多信息，请参阅安装指南中的容器化 Ceph 守护进程的重新定位。

6. 可选：通过检查或取消检查表中的角色来修改分配给节点的角色。

   

7. 可选： 要删除节点，在您要删除的节点所在行的右侧点击 kebab 图标，然后点 Delete。

   

8. 添加集群中的所有节点并设置所有必要的角色后，单击页面右下角的 Validate 按钮。

   

流程

1. 点探测主机按钮。

   

   要继续，您必须至少选择三个具有 OK 状态 的主机。

2. 可选： 如果为主机生成了警告或错误，请点击主机检查标记左侧的箭头来查看问题。

   
   
   重要

   如果将 Cluster Type 设置为 Production，则生成的任何错误都将导致 Status 变为 NOTOK，您将无法选择它们进行安装。阅读下一步以了解有关如何解决错误的信息。

   重要

   如果将 Cluster Type 设为 Development/POC，则生成的任何错误都将列为警告，因此 Status 始终为 OK。这样，您可以选择主机并在主机上安装 Ceph，无论主机是否满足要求或建议。如果您想解决警告，您仍然可以解决。阅读下一步以了解有关如何解析警告的信息。

3. 可选： 要解决错误和警告，请使用以下一个或多个方法。

   1. 解决错误或警告的最简单方法是完全禁用某些角色，或者在一个主机上禁用角色并在具有所需资源的另一主机上启用它。

      对启用或禁用角色进行完全的测试，直到找到适当的组合，如果您安装 Development/POC 集群，您就可以继续处理任何剩余的警告，或者如果您安装生产集群，至少三个主机具有分配给它们的角色所需的资源，并且您能够轻松处理任何剩余的警告。

   2. 您还可以使用满足所需角色要求的新主机。首先返回到 Hosts 页面，再删除有问题的主机。

      

      然后，添加新主机。

   3. 如果您要在主机上升级硬件或以某种其他方式对其进行修改，这样它将满足要求或建议，首先对主机进行所需的更改，然后再次点探测主机。如果必须重新安装操作系统，您必须再次复制 SSH 密钥。

4. 通过选中主机旁边的框，选择要在其上安装 Red Hat Ceph Storage 的主机。

   
   重要

   如果安装生产环境集群，您必须先解决所有错误，然后才能选择它们进行安装。

5. 单击页面右下角的 Network 按钮，以查看并配置集群的网络。

   

流程

1. 记录您可以在 Network 页面中配置的网络类型。每种类型都有自己的列。始终显示 Cluster Network 和 Public Network 的列。如果您使用 RADOS 网关角色安装主机，则将显示 S3 Network 列。如果您使用 iSCSI 角色安装主机，则将显示 iSCSI Network 列。在以下示例中，显示了 Cluster Network、Public Network 和 S3 Network 的 列。

   

2. 记录您可以为每种网络类型选择的网络。仅显示所有组成特定网络类型的主机上可用的网络。在以下示例中，集群中的所有主机上都提供了三个网络。由于所有三个网络都在构成网络类型的每组主机上都可用，每种网络类型列出了相同的三个网络。

   

   可用的三个网络 为 192.168.122.0/24、192.168.123.0/24 和 192.168.124.0/24。

3. 记录每个网络在运行的速度。这是用于特定网络的 NIC 的速度。在以下示例中，192.168.123.0/24 和 192.168.124.0/24 为 1,000 mbps。Cockpit Ceph 安装程序无法确定 192.168.122.0/24 网络的速度。

   

4. 选择您要用于每种网络类型的网络。对于生产环境集群，您必须为 Cluster Network 和 Public Network 选择单独的网络。对于开发/POC 集群，可以为这两种类型选择相同的网络，或者如果所有主机上都只有一个网络，则只会显示该网络，您将无法选择其他网络。

   

   192.168.122.0/24 网络将用于 Public Network，192.168.123.0/24 网络将用于 Cluster Network，192.168.124.0/24 网络将用于 S3 Network。

5. 在安装前，点页面右下角的 Review 按钮来查看整个集群配置。

   

流程

1. 查看检查页面。

   

2. 验证上一页中的信息如您预期的那样，如 Review 页面所示。来自 Environment 页面的信息摘要位于 1，后跟着 Hosts 页面位于 2，Validate 页面位于 3，Network 页面位于 4，以及主机的详细信息（包括前面页面中未包含的一些额外详细信息），位于 5。

   

3. 单击页面右下角的 Deploy 按钮，以进入 Deploy 页面，您可以在其中完成并启动实际安装过程。

   

流程

1. 单击页面右下角的 Save 按钮，将安装设置保存到 Ansible playbook 中，供 Ansible 用于执行实际安装。

   
2. 可选：查看或进一步自定义位于 Ansible 管理节点上的 Ansible playbook 中的设置。playbook 位于 /usr/share/ceph-ansible。如需有关 Ansible playbook 以及如何使用它们自定义安装的更多信息，请参阅 安装 Red Hat Ceph Storage 集群。
3. 为 Grafana 和仪表板保护默认用户名和密码。从 Red Hat Ceph Storage 4.1 开始，您必须在 /usr/share/ceph-ansible/group_vars/all.yml 中取消注释或设置 dashboard_admin_password 和 grafana_admin_password。为每个用户设置安全密码.另外，为 dashboard_admin_user 和 grafana_admin_user 设置自定义用户名。

4. 单击页面右下角的 Deploy 按钮以开始安装。

   

5. 观察正在运行时的安装进度。

   1 处的信息显示安装是否正在运行、开始时间和已过时间。2 的信息显示了已尝试的 Ansible 任务的摘要。3 的信息显示了已安装或正在安装的角色。绿色表示一个角色，其中分配了该角色的所有主机都已安装了该角色。蓝色代表了一个角色，其中分配了该角色的主机仍然被安装。在 4 中，您可以查看当前任务的详情或查看失败的任务。使用 Filter by 菜单在当前任务和失败的任务之间切换。

   

   角色名称来自 Ansible 清单文件。这等同于：mons 是 Monitor，mgrs 是 Manager，请注意 Manager 角色与 Monitor 角色一起安装，osds 是对象存储设备，mdss 是元数据服务器，rgws 是 RADOS 网关，metrics 是 Grafana，用于仪表板指标。示例屏幕截图中未显示： iscsigws 是 iSCSI 网关。

6. 安装完成后，单击页面右下角的 Complete 按钮。这将打开一个窗口，显示命令 ceph status 的输出，以及控制面板访问信息。

   

7. 将以下示例中的集群状态信息与集群中的集群状态信息进行比较。示例显示了一个健康集群，所有 OSD 都正常运行和内向，并且所有服务都处于活动状态。PG 处于 active+clean 状态。如果集群的某些方面不相同，请参阅故障排除指南以了解有关如何解决问题的信息。

   

8. 在 Ceph Cluster Status 窗口的底部，会显示控制面板访问信息，包括 URL、用户名和密码。记录此信息。

   

9. 使用上一步中的信息以及控制面板指南来访问控制面板。

   

   控制面板提供了一个 Web 界面，您可以管理和监控 Red Hat Ceph Storage 集群。如需更多信息，请参阅控制面板指南。

10. 可选：查看 cockpit-ceph-installer.log 文件。此文件记录了选择的日志，以及探测进程生成的关联警告。它位于运行安装程序脚本 ansible-runner-service.sh 的用户主目录中。

流程

1. 在 Ansible 管理节点上，作为 root 用户帐户登录。

2. 对于所有部署（裸机 或 容器），请安装 ceph-ansible 软件包：

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum install ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf install ceph-ansible

3. 进入 /usr/share/ceph-ansible/ 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible

4. 创建新的 yml 文件：

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml

   1. 裸机部署：

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. 容器部署：

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

5. 编辑新文件。

   1. 打开以编辑 group_vars/all.yml 文件。

      重要

      不支持使用自定义存储集群名称。不要将 cluster 参数设置为 ceph 以外的任何值。仅支持使用自定义存储集群名称的 Ceph 客户端，例如：librados、Ceph 对象网关和 RADOS 块设备镜像。

      警告

      默认情况下，Ansible 会尝试重启已安装但屏蔽的 firewalld 服务，这可能会导致 Red Hat Ceph Storage 部署失败。要临时解决这个问题，请在 all.yml 文件中将 configure_firewall 选项设置为 false。如果您正在运行 firewalld 服务，则不需要在 all.yml 文件中使用 configure_firewall 选项。

      注意

      将 ceph_rhcs_version 选项设置为 4 将引入最新版本的 Red Hat Ceph Storage 4。

      注意

      红帽建议在 group_vars/all.yml 文件中将 dashboard_enabled 选项设置为 True，而不要将它改为 False。如果要禁用仪表板 ，请参阅禁用 Ceph 仪表板。

      注意

      与仪表板相关的组件已容器化。因此，对于 Bare-metal 或 Container 部署，必须包含 ceph_docker_registry_username 和 ceph_docker_registry_password 参数，以便 ceph-ansible 能够获取控制面板所需的容器镜像。

      注意

      如果您没有 Red Hat Registry Service Account，请使用 Registry Service Account 网页 创建一个。如需了解如何创建和管理令牌的详细信息，请参阅 Red Hat Container Registry Authentication 知识库。

      注意

      除了将服务帐户用于 ceph_docker_registry_username 和 ceph_docker_registry_password 参数外，您还可以使用客户门户凭据，但若要确保安全性，可以对 ceph_docker_registry_password 参数进行加密。如需更多信息，请参阅使用 ansible-vault 加密 Ansible 密码变量。

      1. CDN 安装的 all.yml 文件的 裸机 示例：

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         这是公共网络上的接口。

         重要

         从 Red Hat Ceph Storage 4.1 开始，您必须在 /usr/share/ceph-ansible/group_vars/all.yml 中取消注释或设置 dashboard_admin_password 和 grafana_admin_password。为每个用户设置安全密码.另外，为 dashboard_admin_user 和 grafana_admin_user 设置自定义用户名。

         注意

         对于 Red Hat Ceph Storage 4.2，如果您使用本地 registry 进行安装，请使用 4.6 作为 Prometheus 镜像标签。

      2. ISO 安装的 all.yml 文件的 裸机 示例：

         fetch_directory: ~/ceph-ansible-keys
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: iso
         ceph_rhcs_iso_path: /home/rhceph-4-rhel-8-x86_64.iso
         ceph_rhcs_version: 4
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         这是公共网络上的接口。

      3. all.yml 文件的容器示例：

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_auth: true
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: registry.redhat.io/openshift4/ose-prometheus:v4.6
         alertmanager_container_image: registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.6

         1

         这是公共网络上的接口。

         重要

         查看红帽生态系统目录中的最新容器镜像标签，以安装最新的容器镜像，并应用所有最新的补丁。

      4. all.yml 文件的容器示例，当 Red Hat Ceph Storage 节点在部署过程中无法访问互联网：

         fetch_directory: ~/ceph-ansible-keys
         monitor_interface: eth0 1
         public_network: 192.168.0.0/24
         ceph_docker_image: rhceph/rhceph-4-rhel8
         ceph_docker_image_tag: latest
         containerized_deployment: true
         ceph_docker_registry: LOCAL_NODE_FQDN:5000
         ceph_docker_registry_auth: false
         ceph_origin: repository
         ceph_repository: rhcs
         ceph_repository_type: cdn
         ceph_rhcs_version: 4
         dashboard_admin_user:
         dashboard_admin_password:
         node_exporter_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-node-exporter:v4.6
         grafana_admin_user:
         grafana_admin_password:
         grafana_container_image: LOCAL_NODE_FQDN:5000/rhceph/rhceph-4-dashboard-rhel8
         prometheus_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus:4.6
         alertmanager_container_image: LOCAL_NODE_FQDN:5000/openshift4/ose-prometheus-alertmanager:4.6

         1

         这是公共网络上的接口。

         替换

         • LOCAL_NODE_FQDN，使用您的本地主机 FQDN。

      5. 从 Red Hat Ceph Storage 4.2 开始，dashboard_protocol 设置为 https，Ansible 将生成仪表板和 grafana 密钥和证书。对于自定义证书，在 all.yml 文件中，为 裸机 或 容器 部署更新 dashboard_crt、dashboard_key、grafana_crt 和 grafana_key 的 Ansible 安装程序主机的路径。

         语法

         dashboard_protocol: https
         dashboard_port: 8443
         dashboard_crt: 'DASHBOARD_CERTIFICATE_PATH'
         dashboard_key: 'DASHBOARD_KEY_PATH'
         dashboard_tls_external: false
         dashboard_grafana_api_no_ssl_verify: "{{ True if dashboard_protocol == 'https' and not grafana_crt and not grafana_key else False }}"
         grafana_crt: 'GRAFANA_CERTIFICATE_PATH'
         grafana_key: 'GRAFANA_KEY_PATH'

   2. 要使用可通过 http 或 https 代理访问的容器 registry 安装 Red Hat Ceph Storage，请在 group_vars/all.yml 文件中设置 ceph_docker_http_proxy 或 ceph_docker_https_proxy 变量。

      示例

      ceph_docker_http_proxy: http://192.168.42.100:8080
      ceph_docker_https_proxy: https://192.168.42.100:8080

      如果您需要排除代理配置的一些主机，请使用 group_vars/all.yml 文件中的 ceph_docker_no_proxy 变量。

      示例

      ceph_docker_no_proxy: "localhost,127.0.0.1"

   3. 除了为 Red Hat Ceph Storage 的代理安装编辑 all.yml 文件外，编辑 /etc/environment 文件：

      示例

      HTTP_PROXY: http://192.168.42.100:8080
      HTTPS_PROXY: https://192.168.42.100:8080
      NO_PROXY: "localhost,127.0.0.1"

      这会触发 podman 启动容器化服务，如 prometheus、grafana-server、alertmanager 和 node-exporter，并下载所需的镜像。

   4. 对于 裸机 或 容器中的所有部署，请编辑 group_vars/osds.yml 文件。

      重要

      不要在安装操作系统的设备上安装 OSD。在操作系统和 OSD 之间共享相同的设备会导致性能问题。

      Ceph-ansible 使用 ceph-volume 工具准备存储设备，供 Ceph 使用。您可以将 osds.yml 配置为以不同的方式使用存储设备，以优化特定工作负载的性能。

      重要

      以下示例使用 BlueStore 对象存储，即 Ceph 用于存储设备上数据的格式。在以前的版本中，Ceph 使用 FileStore 作为对象存储。这种格式对于新的 Red Hat Ceph Storage 4.0 安装已弃用，因为 BlueStore 提供了更多功能和更高的性能。虽然仍可使用 FileStore，但使用它需要红帽支持例外。如需有关 BlueStore 的更多信息，请参阅 Red Hat Ceph Storage 架构指南中的 Ceph BlueStore。

      1. 自动发现

         osd_auto_discovery: true

         上例使用系统上的所有空存储设备来创建 OSD，因此您不必显式指定它们。ceph-volume 工具检查是否有空设备，因此不会使用不为空的设备。

         注意

         如果稍后决定使用 purge-docker-cluster.yml 或 purge-cluster.yml 来删除集群，您必须注释掉 osd_auto_discovery，并声明 osds.yml 文件中的 OSD 设备。如需更多信息，请参阅 Ansible 部署的存储集群。

      2. 简单配置

         第一个场景

         devices:
           - /dev/sda
           - /dev/sdb

         或

         第二个场景

         devices:
           - /dev/sda
           - /dev/sdb
           - /dev/nvme0n1
           - /dev/sdc
           - /dev/sdd
           - /dev/nvme1n1

         或

         第三个场景

         lvm_volumes:
            - data: /dev/sdb
            - data: /dev/sdc

         或

         第四个场景

         lvm_volumes:
             - data: /dev/sdb
             - data:/dev/nvme0n1

         当仅使用 devices 选项时，ceph-volume lvm batch 模式会自动优化 OSD 配置。

         在第一个场景中，如果 devices 是传统的硬盘驱动器或 SSD，则每个设备会创建一个 OSD。

         在第二种场景中，如果结合了传统的硬盘驱动器和 SSD，数据将放置在传统的硬盘驱动器（sda、sdb）上，并且将 BlueStore 数据库尽可能在 SSD (nvme0n1) 上创建。同样，无论上述设备顺序如何，数据都放置在传统的硬盘驱动器（sdc、sdd）上，而 BlueStore 数据库则在 SSD nvme1n1 上创建。

         注意

         默认情况下，ceph-ansible 不会覆盖 bluestore_block_db_size 和 bluestore_block_wal_size 的默认值。您可以使用 group_vars/all.yml 文件中的 ceph_conf_overrides 设置 bluestore_block_db_size。bluestore_block_db_size 的值应大于 2 GB。

         在第三个场景中，数据放置在传统硬盘驱动器（sdb、sdc）上，而 BlueStore 数据库则在同一设备上并置。

         在第四个场景中，数据放置在传统的硬盘驱动器 (sdb) 和 SSD (nvme1n1) 上，并且 BlueStore 数据库同时驻留在同一设备上。这不同于使用 devices 指令，将 BlueStore 数据库放置在 SSD 上。

         重要

         ceph-volume lvm batch mode 通过将数据放置在传统硬盘驱动器上以及 SSD 上的 BlueStore 数据库来创建优化的 OSD 配置。如果要指定要使用的逻辑卷和卷组，您可以直接按照以下高级配置场景创建它们。

      3. 高级配置

         第一个场景

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy

         或

         第二个场景

         devices:
           - /dev/sda
           - /dev/sdb
         dedicated_devices:
           - /dev/sdx
           - /dev/sdy
         bluestore_wal_devices:
           - /dev/nvme0n1
           - /dev/nvme0n2

         在第一种场景中，有两个 OSD。sda 和 sdb 设备各自都有自己的数据片段和 WAL（write-ahead logs）。额外的字典 dedicated_devices 用于分别在 sdx 和 sdy 上隔离其数据库，也称为 block.db。

         在第二个场景中，使用另一个额外的字典 bluestore_wal_devices 来隔离 NVMe devices nvme0n1 和 nvme0n2 上的 WAL。通过使用 devices、dedicated_devices 和 bluestore_wal_devices 选项，您可以将 OSD 的所有组件隔离到单独的设备上。像这样布置 OSD 可以提高整体性能。

      4. 预先创建的逻辑卷

         第一个场景

         lvm_volumes:
           - data: data-lv1
             data_vg: data-vg1
             db: db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1
           - data: data-lv2
             data_vg: data-vg2
             db: db-lv2
             db_vg: db-vg2
             wal: wal-lv2
             wal_vg: wal-vg2

         或

         第二个场景

         lvm_volumes:
           - data: /dev/sdb
             db:    db-lv1
             db_vg: db-vg1
             wal: wal-lv1
             wal_vg: wal-vg1

         默认情况下，Ceph 使用逻辑卷管理器在 OSD 设备上创建逻辑卷。在上述简单配置和高级配置示例中，Ceph 会自动在设备上创建逻辑卷。您可以通过指定 lvm_volumes 字典，将之前创建的逻辑卷用于 Ceph。

         在第一种场景中，数据放置在专用逻辑卷、数据库和 WAL 上。您还可以仅指定数据、数据和 WAL，或数据和数据库。data: 行必须指定要存储数据的逻辑卷名称，data_vg: 必须指定包含数据逻辑卷的卷组的名称。同样，db: 用于指定数据库存储在 上的逻辑卷，而 db_vg: 用于指定其逻辑卷所在的卷组。wal: 行指定 WAL 存储的逻辑卷，而 wal_vg: 行则指定包含它的卷组。

         在第二种场景中，为 data: 选项设置实际设备名称，这样做不需要指定 data_vg: 选项。您必须为 BlueStore 数据库和 WAL 设备指定逻辑卷名称和卷组详情。

         重要

         使用 lvm_volumes： 必须事先创建卷组和逻辑卷。ceph-ansible 不会创建卷组和逻辑卷。

         注意

         如果使用所有 NVMe SSD，则设置 osds_per_device: 2。如需更多信息，请参阅 Red Hat Ceph Storage 安装指南中为所有 NVMe 存储配置 OSD Ansible 设置。

         注意

         重启 Ceph OSD 节点后，块设备分配可能会改变。例如，sdc 可能成为 sdd。您可以使用持久的命名设备，如 /dev/disk/by-path/ 设备路径，而不是传统的块设备名称。

6. 对于裸机或容器中的所有部署，请创建 Ansible 清单文件，然后打开它进行编辑：

   [root@admin ~]# cd /usr/share/ceph-ansible/
   [root@admin ceph-ansible]# touch hosts

   相应地编辑 hosts 文件。

   注意

   有关编辑 Ansible 清单位置的信息，请参阅配置 Ansible 清单位置。

   1. 在 [grafana-server] 下添加一个节点。此角色安装 Grafana 和 Prometheus，以提供 Ceph 集群性能的实时洞察。这些指标显示在 Ceph 控制面板中，您可以通过它来监控和管理集群。需要安装仪表板、Grafana 和 Prometheus。您可以在 Ansible 管理节点上并置指标功能。如果这样做，请确保节点的系统资源大于独立指标节点所需的值。

      [grafana-server]
      GRAFANA-SERVER_NODE_NAME

   2. 在 [mons] 部分添加 monitor 节点：

      [mons]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

   3. 在 [osds] 部分下添加 OSD 节点：

      [osds]
      OSD_NODE_NAME_1
      OSD_NODE_NAME_2
      OSD_NODE_NAME_3

      注意

      如果节点名称是按照数字有顺序的，您可以在节点名称的末尾添加一个范围指定符 ([1:10])。例如：

      [osds]
      example-node[1:10]

      注意

      对于新安装的 OSD，默认的对象存储格式为 BlueStore。

   4. 另外，在容器部署中，通过在 [mon] 和 [osd] 部分下添加相同的节点，将 Ceph 监控守护进程与一个节点上的 Ceph OSD 守护进程共存。有关更多信息，请参见下面附加资源部分中的 Ceph 守护进程链接。

   5. 在 [mgrs] 部分下，添加 Ceph Manager (ceph-mgr) 节点。这会将 Ceph 管理器守护进程与 Ceph 监控守护进程共存。

      [mgrs]
      MONITOR_NODE_NAME_1
      MONITOR_NODE_NAME_2
      MONITOR_NODE_NAME_3

7. 另外，如果您想要使用主机特定参数，对于所有部署（裸机或容器中 ），创建 host_vars 目录，其中包含主机文件，使其包含特定于主机的任何参数。

   1. 创建 host_vars 目录：

      [ansible@admin ~]$ mkdir /usr/share/ceph-ansible/host_vars

   2. 进入 host_vars 目录：

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/host_vars

   3. 创建主机文件。将 host-name-short-name 格式用于文件名称，例如：

      [ansible@admin host_vars]$ touch tower-osd6

   4. 使用任何主机特定参数更新该文件，例如：

      1. 在裸机部署中，使用 devices 参数指定 OSD 节点要使用的设备。当 OSD 使用具有不同名称的设备或其中一个设备在其中一个 OSD 上出现故障时，使用 devices 会比较有用。

         devices:
             DEVICE_1
             DEVICE_2

         示例

         devices:
             /dev/sdb
             /dev/sdc

         注意

         在指定没有设备时，将 group_vars/osds.yml 文件中的 osd_auto_discovery 参数设置为 true。

8. 另外，对于所有部署、裸机或 容器 中，您可以使用 Ceph Ansible 创建自定义 CRUSH 层次结构：

   1. 设置 Ansible 清单文件。使用 osd_crush_location 参数，指定 OSD 主机处于 CRUSH map 的层次结构中的位置。您必须指定至少两种 CRUSH bucket 类型来指定 OSD 的位置，一种 bucket 类型 必须是 host。默认情况下，包括 root, datacenter, room, row, pod, pdu, rack, chassis 和 host。

      语法

      [osds]
      CEPH_OSD_NAME osd_crush_location="{ 'root': ROOT_BUCKET_', 'rack': 'RACK_BUCKET', 'pod': 'POD_BUCKET', 'host': 'CEPH_HOST_NAME' }"

      示例

      [osds]
      ceph-osd-01 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'pod': 'monpod', 'host': 'ceph-osd-01' }"

   2. 编辑 group_vars/osds.yml 文件，并将 crush_rule_config 和 create_crush_tree 参数设置为 True。如果您不想使用默认的 CRUSH 规则，请至少创建一个 CRUSH 规则，例如：

      crush_rule_config: True
      crush_rule_hdd:
          name: replicated_hdd_rule
          root: root-hdd
          type: host
          class: hdd
          default: True
      crush_rules:
        - "{{ crush_rule_hdd }}"
      create_crush_tree: True

      如果您使用更快的 SSD 设备，请按如下所示编辑参数：

      crush_rule_config: True
      crush_rule_ssd:
          name: replicated_ssd_rule
          root: root-ssd
          type: host
          class: ssd
          default: True
      crush_rules:
        - "{{ crush_rule_ssd }}"
      create_crush_tree: True

      注意

      如果未部署 ssd 和 hdd OSD，默认 CRUSH 规则会失败，因为默认规则现在包含 类参数，必须定义。

   3. 创建池，并在 group_vars/clients.yml 文件中创建 crush_rules ：

      示例

      copy_admin_key: True
      user_config: True
      pool1:
        name: "pool1"
        pg_num: 128
        pgp_num: 128
        rule_name: "HDD"
        type: "replicated"
        device_class: "hdd"
      pools:
        - "{{ pool1 }}"

   4. 查看树：

      [root@mon ~]# ceph osd tree

   5. 验证池：

      [root@mon ~]# for i in $(rados lspools); do echo "pool: $i"; ceph osd pool get $i crush_rule; done
      
      pool: pool1
      crush_rule: HDD

9. 对于所有部署，裸机或容器中，请使用 ansible 用户登录或切换到该容器。

   1. 创建 ceph-ansible-keys 目录，其中 Ansible 存储 ceph-ansible playbook 生成的临时值：

      [ansible@admin ~]$ mkdir ~/ceph-ansible-keys

   2. 进入 /usr/share/ceph-ansible/ 目录：

      [ansible@admin ~]$ cd /usr/share/ceph-ansible/

   3. 验证 Ansible 能否访问 Ceph 节点：

      [ansible@admin ceph-ansible]$ ansible all -m ping -i hosts

10. 运行 ceph-ansible playbook。

    1. 裸机部署：

       [ansible@admin ceph-ansible]$ ansible-playbook site.yml -i hosts

    2. 容器部署：

       [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml -i hosts

       注意

       如果您将 Red Hat Ceph Storage 部署到 Red Hat Enterprise Linux Atomic Host 主机，请使用 --skip-tags=with_pkg 选项：

       [user@admin ceph-ansible]$ ansible-playbook site-container.yml --skip-tags=with_pkg -i hosts

       注意

       要提高部署速度，请在 ansible-playbook 中使用 --forks 选项。默认情况下，ceph-ansible 将 fork 设置为 20。在这个版本中，最多 20 个节点将同时安装。要一次安装最多 30 个节点，请运行 ansible-playbook --forks 30 PLAYBOOK FILE -i hosts。必须监控管理节点上的资源，以确保它们不会被过度使用。如果是，则减少传递给 --forks 的数字。

11. 等待 Ceph 部署完成。

    输出示例

    INSTALLER STATUS *******************************
    Install Ceph Monitor           : Complete (0:00:30)
    Install Ceph Manager           : Complete (0:00:47)
    Install Ceph OSD               : Complete (0:00:58)
    Install Ceph RGW               : Complete (0:00:34)
    Install Ceph Dashboard         : Complete (0:00:58)
    Install Ceph Grafana           : Complete (0:00:50)
    Install Ceph Node Exporter     : Complete (0:01:14)

12. 验证 Ceph 存储集群的状态。

    1. 裸机部署：

       [root@mon ~]# ceph health
       HEALTH_OK

    2. 容器部署：

       Red Hat Enterprise Linux 7

       [root@mon ~]# docker exec ceph-mon-ID ceph health

       Red Hat Enterprise Linux 8

       [root@mon ~]# podman exec ceph-mon-ID ceph health

       替换

       • 使用 Ceph 监控节点的主机名替换 ID：

         示例

         [root@mon ~]# podman exec ceph-mon-mon0 ceph health
         HEALTH_OK

13. 对于裸机或容器中的所有部署，使用 rados 验证存储集群是否正常工作。

    1. 从 Ceph 监控节点，创建具有八个放置组 (PG) 的测试池：

       语法

       [root@mon ~]# ceph osd pool create POOL_NAME PG_NUMBER

       示例

       [root@mon ~]# ceph osd pool create test 8

    2. 创建名为 hello-world.txt 的文件：

       语法

       [root@mon ~]# vim FILE_NAME

       示例

       [root@mon ~]# vim hello-world.txt

    3. 使用对象名称 hello-world 将 hello-world.txt 上传到测试池中：

       语法

       [root@mon ~]# rados --pool POOL_NAME put OBJECT_NAME OBJECT_FILE_NAME

       示例

       [root@mon ~]# rados --pool test put hello-world hello-world.txt

    4. 从 test 池下载 hello-world，保存为 fetch.txt ：

       语法

       [root@mon ~]# rados --pool POOL_NAME get OBJECT_NAME OBJECT_FILE_NAME

       示例

       [root@mon ~]# rados --pool test get hello-world fetch.txt

    5. 检查 fetch.txt 的内容：

       [root@mon ~]# cat fetch.txt
       "Hello World!"

       注意

       除了验证存储集群状态外，您还可以使用 ceph-medic 工具来全面诊断 Ceph 存储集群。请参阅 Red Hat Ceph Storage 4 故障排除指南中的安装和使用 ceph-medic 来诊断 Ceph 存储集群章节。

流程

1. 在 group_vars/osds.yml 中设置 osds_per_device: 2:

   osds_per_device: 2

2. 列出 devices 中的 NVMe 设备：

   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

3. group_vars/osds.yml 中的设置类似以下示例：

   osds_per_device: 2
   devices:
     - /dev/nvme0n1
     - /dev/nvme1n1
     - /dev/nvme2n1
     - /dev/nvme3n1

1. 在 /etc/ansible/hosts 文件中添加新部分 [mdss] ：

   [mdss]
   MDS_NODE_NAME1
   MDS_NODE_NAME2
   MDS_NODE_NAME3

   将 MDS_NODE_NAME 替换为您要安装 Ceph 元数据服务器的节点的主机名。

   或者，您可以通过在 [osds] 和 [mdss] 部分下添加同一节点，将元数据服务器与 OSD 守护进程并置。

2. 进入 /usr/share/ceph-ansible 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible

3. （可选）您可以更改默认变量。

   1. 创建名为 mdss.yml 的 group_vars/mdss.yml 的副本：

      [root@admin ceph-ansible]# cp group_vars/mdss.yml.sample group_vars/mdss.yml

   2. （可选）编辑 inmdss.yml 中的参数。详情请查看 mdss.yml。

4. 以 ansible 用户身份，运行 Ansible playbook:

   • 裸机部署：

     [user@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss -i hosts

   • 容器部署：

     [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit mdss -i hosts

5. 安装元数据服务器后，您现在可以配置它们。详情请参阅《红帽 Ceph 存储文件系统指南》中的 Ceph 文件系统元数据服务器 章节。

1. 在 /etc/ansible/hosts 文件中添加新部分 [clients]：

   [clients]
   CLIENT_NODE_NAME

   将 CLIENT_NODE_NAME 替换为您要安装 ceph-client 角色的节点的主机名。

2. 进入 /usr/share/ceph-ansible 目录：

   [root@admin ~]# cd /usr/share/ceph-ansible

3. 为 clients.yml.sample 文件创建一个新副本，取名为 client.yml:

   [root@admin ceph-ansible ~]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. 打开 group_vars/clients.yml 文件，取消注释以下行：

   keys:
     - { name: client.test, caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

   1. 使用实际客户端名称替换 client.test，并在客户端定义行中添加客户端密钥，例如：

      key: "ADD-KEYRING-HERE=="

      现在，整行示例类似如下：

      - { name: client.test, key: "AQAin8tUMICVFBAALRHNrV0Z4MXupRw4v9JQ6Q==", caps: { mon: "allow r", osd: "allow class-read object_prefix rbd_children, allow rwx pool=test" },  mode: "{{ ceph_keyring_permissions }}" }

      注意

      ceph-authtool --gen-print-key 命令可以生成新的客户端密钥。

5. （可选）指示 ceph-client 创建池和客户端。

   1. 更新 clients.yml。

      • 取消注释 user_config 设置并将其设置为 true。
      • 取消注释 pools 和 keys 部分，并根据需要进行更新。您可以使用 cephx 功能定义自定义池和客户端名称。

   2. 将 osd_pool_default_pg_num 设置添加到 all.yml 文件的 ceph_conf_overrides 部分：

      ceph_conf_overrides:
         global:
            osd_pool_default_pg_num: NUMBER

      将 NUMBER 替换为 PG 的默认数量。

6. 以 ansible 用户身份，运行 Ansible playbook:

   1. 裸机部署：

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit clients -i hosts

   2. 容器部署：

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit clients -i hosts

1. 将网关主机添加到 [rgws] 部分下的 /etc/ansible/hosts 文件中，以将其角色标识到 Ansible。如果主机有顺序命名，请使用范围，例如：

   [rgws]
   <rgw_host_name_1>
   <rgw_host_name_2>
   <rgw_host_name[3..10]>

2. 进入 Ansible 配置目录：

   [root@ansible ~]# cd /usr/share/ceph-ansible

3. 从示例文件创建 rgws.yml 文件：

   [root@ansible ~]# cp group_vars/rgws.yml.sample group_vars/rgws.yml

4. 打开并编辑 group_vars/rgws.yml 文件。要将管理员密钥复制到 Ceph 对象网关节点，取消注释 copy_admin_key 选项：

   copy_admin_key: true

5. 在 all.yml 文件中，必须指定一个 radosgw_interface。

   radosgw_interface: <interface>

   替换：

   • 使用 Ceph 对象网关节点侦听的接口替换 <interface>

   例如：

   radosgw_interface: eth0

   指定该接口可防止 Civetweb 在同一主机上运行多个实例时绑定到与另一个 Civetweb 实例相同的 IP 地址。

   如需了解更多详细信息，请参阅 all.yml 文件。

6. 通常，要更改默认设置，取消注释 rgws.yml 文件中的设置，并相应地进行更改。要对不在 rgws.yml 文件中的设置进行其他更改，请在 all.yml 文件中使用 ceph_conf_overrides:。

   ceph_conf_overrides:
       client.rgw.rgw1:
         rgw_override_bucket_index_max_shards: 16
         rgw_bucket_default_quota_max_objects: 1638400

   如需高级配置详细信息，请参阅 Red Hat Ceph Storage 4 Ceph Object Gateway for Production 指南。高级议题包括：

   • 配置 Ansible 组

   • 开发存储策略。如需有关如何创建和配置池的更多详细信息，请参阅创建根池、创建系统池和创建数据放置策略部分。

     如需存储桶分片的配置详情，请参阅 Bucket Sharding。

7. 运行 Ansible playbook:

   警告

   如果要设置多站点，请不要运行 Ansible playbook。继续配置多站点 Ceph 对象网关部分来设置多站点。

   1. 裸机部署：

      [user@admin ceph-ansible]$ ansible-playbook site.yml --limit rgws -i hosts

   2. 容器部署：

      [user@admin ceph-ansible]$ ansible-playbook site-container.yml --limit rgws -i hosts

流程

1. 在 group_vars/mons.yml 文件中创建 crush_rules:

   示例

   crush_rule_config: true
   crush_rule_hdd:
       name: HDD
       root: default
       type: host
       class: hdd
       default: true
   crush_rule_ssd:
       name: SSD
       root: default
       type: host
       class: ssd
       default: true
   crush_rules:
         - "{{ crush_rule_hdd }}"
         - "{{ crush_rule_ssd }}"
   create_crush_tree: true

   注意

   如果您在集群中没有使用 SSD 或 HDD 设备，请不要为该设备定义 crush_rules。

2. 使用在 group_vars/clients.yml 文件中创建的 crush_rules 来创建 pools。

   示例

   copy_admin_key: True
   user_config: True
   pool1:
     name: "pool1"
     pg_num: 128
     pgp_num: 128
     rule_name: "HDD"
     type: "replicated"
     device_class: "hdd"
   pools:
     - "{{ pool1 }}"

3. 将 roots 分配给 OSD 的清单文件示例：

   示例

   [mons]
   mon1
   
   [osds]
   osd1 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd1' }"
   osd2 osd_crush_location="{ 'root': 'default', 'rack': 'rack1', 'host': 'osd2' }"
   osd3 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd3' }"
   osd4 osd_crush_location="{ 'root': 'default', 'rack': 'rack2', 'host': 'osd4' }"
   osd5 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd5' }"
   osd6 devices="['/dev/sda', '/dev/sdb']" osd_crush_location="{ 'root': 'default', 'rack': 'rack3', 'host': 'osd6' }"
   
   [mgrs]
   mgr1
   
   [clients]
   client1

4. 查看树。

   语法

   [root@mon ~]# ceph osd tree

   示例

   TYPE NAME
   
   root default
        rack rack1
           host osd1
                osd.0
                osd.10
           host osd2
                osd.3
                osd.7
                osd.12
        rack rack2
           host osd3
                osd.1
                osd.6
                osd.11
           host osd4
                osd.4
                osd.9
                osd.13
        rack rack3
            host osd5
                osd.2
                osd.8
            host osd6
                osd.14
                osd.15

5. 验证池。

   示例

   # for i in $(rados lspools);do echo "pool: $i"; ceph osd pool get $i crush_rule;done
   
   pool: pool1
   crush_rule: HDD

1. 从示例文件创建 nfss.yml 文件：

   [root@ansible ~]# cd /usr/share/ceph-ansible/group_vars
   [root@ansible ~]# cp nfss.yml.sample nfss.yml

2. 将网关主机添加到 [nfss] 组下的 /etc/ansible/hosts 文件中，以识别其组成员资格。

   [nfss]
   NFS_HOST_NAME_1
   NFS_HOST_NAME_2
   NFS_HOST_NAME[3..10]

   如果主机具有连续命名，则可以使用范围指定符，例如： [3..10]。

3. 进入 Ansible 配置目录：

   [root@ansible ~]# cd /usr/share/ceph-ansible

4. 要将管理员密钥复制到 Ceph 对象网关节点，请取消注释 /usr/share/ceph-ansible/group_vars/nfss.yml 文件中的 copy_admin_key 设置：

   copy_admin_key: true

5. 配置 /usr/share/ceph-ansible/group_vars/nfss.yml 文件的 FSAL (File System Abstraction Layer) 部分。提供导出 ID (NUMERIC_EXPORT_ID)、S3 用户 ID (S3_USER)、S3 访问密钥 (ACCESS_KEY) 和密钥密钥 (SECRET_KEY)：

   # FSAL RGW Config #
   
   ceph_nfs_rgw_export_id: NUMERIC_EXPORT_ID
   #ceph_nfs_rgw_pseudo_path: "/"
   #ceph_nfs_rgw_protocols: "3,4"
   #ceph_nfs_rgw_access_type: "RW"
   ceph_nfs_rgw_user: "S3_USER"
   ceph_nfs_rgw_access_key: "ACCESS_KEY"
   ceph_nfs_rgw_secret_key: "SECRET_KEY"

   警告

   访问和密钥是可选的，可以生成。

6. 运行 Ansible playbook:

   1. 裸机部署：

      [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit nfss -i hosts

   2. 容器部署：

      [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit nfss -i hosts

流程

1. 若要更改守护进程的默认 CPU 限值，可在部署守护进程时设置适当 .yml 配置文件中的 ceph_daemon-type_docker_cpu_limit 参数。详情请查看下表。

   Daemon	参数	配置文件
   OSD	ceph_osd_docker_cpu_limit	osds.yml
   MDS	ceph_mds_docker_cpu_limit	mdss.yml
   RGW	ceph_rgw_docker_cpu_limit	rgws.yml

   例如，要将 Ceph 对象网关的默认 CPU 限值更改为 2，请按以下方式编辑 /usr/share/ceph-ansible/group_vars/rgws.yml 文件：

   ceph_rgw_docker_cpu_limit: 2

2. 要更改 OSD 守护进程的默认 RAM，请在部署守护进程时设置 /usr/share/ceph-ansible/group_vars/all.yml 文件中的 osd_memory_target。例如，将 OSD RAM 限制为 6 GB：

   ceph_conf_overrides:
     osd:
       osd_memory_target=6000000000

   重要

   在超融合基础架构(HCI)配置中，您还可以使用 osds.yml 配置文件中的 ceph_osd_docker_memory_limit 参数来更改 Docker 内存 CGroup 限制。在这种情况下，将 ceph_osd_docker_memory_limit 设置为比 osd_memory_target 高 50%，因此 CGroup 的限制比 HCI 配置的默认值更高。例如，如果 osd_memory_target 设置为 6 GB，则将 ceph_osd_docker_memory_limit 设置为 9 GB：

   ceph_osd_docker_memory_limit: 9g

流程

1. 以 root 用户身份登录存储集群中的所有节点。
2. 如果 Ceph 节点没有连接到 Red Hat Content Delivery Network (CDN)，您可以使用 ISO 镜像来升级 Red Hat Ceph Storage，方法是使用最新版本的 Red Hat Ceph Storage 新本地存储库。

3. 如果将 Red Hat Ceph Storage 从版本 3 升级到版本 4，请删除现有的 Ceph 控制面板安装。

   1. 在 Ansible 管理节点上，切换到 cephmetrics-ansible 目录：

      [root@admin ~]# cd /usr/share/cephmetrics-ansible

   2. 运行 purge.yml playbook 以删除现有的 Ceph 仪表板安装：

      [root@admin cephmetrics-ansible]# ansible-playbook -v purge.yml

4. 如果将 Red Hat Ceph Storage 从版本 3 升级到版本 4，请在 Ansible 管理节点上启用 Ceph 和 Ansible 存储库：

   Red Hat Enterprise Linux 7

   [root@admin ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms --enable=rhel-7-server-ansible-2.9-rpms

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms --enable=ansible-2.9-for-rhel-8-x86_64-rpms

5. 在 Ansible 管理节点上，确保安装了最新版本的 ansible 和 ceph-ansible 软件包。

   Red Hat Enterprise Linux 7

   [root@admin ~]# yum update ansible ceph-ansible

   Red Hat Enterprise Linux 8

   [root@admin ~]# dnf update ansible ceph-ansible

6. 编辑 infrastructure-playbooks/rolling_update.yml playbook，并将 health_osd_check_retries 和 health_osd_check_delay 值分别改为 50 和 30 ：

   health_osd_check_retries: 50
   health_osd_check_delay: 30

   对于每个 OSD 节点，这些值可使 Ansible 等待最多 25 分钟，并且每隔 30 秒检查存储集群运行状况，等待继续升级过程。

   注意

   根据存储集群的已用存储容量，调整 health_osd_check_retries 选项的值。例如，如果您在 436 TB 中使用 218 TB，基本上使用 50% 的存储容量，然后将 health_osd_check_retries 选项设置为 50。

7. 如果要升级的存储集群包含使用 exclusive-lock 功能的 Ceph 块设备镜像，请确保所有 Ceph 块设备用户都有将客户端列入黑名单的权限：

   ceph auth caps client.ID mon 'allow r, allow command "osd blacklist"' osd 'EXISTING_OSD_USER_CAPS'

8. 如果存储集群最初使用 Cockpit 安装，请在 /usr/share/ceph-ansible 目录中创建一个符号链接到 Cockpit 创建它的清单文件，位于 /usr/share/ansible-runner-service/inventory/hosts ：

   1. 进入 /usr/share/ceph-ansible 目录：

      # cd /usr/share/ceph-ansible

   2. 创建符号链接：

      # ln -s /usr/share/ansible-runner-service/inventory/hosts hosts

9. 要使用 ceph-ansible 升级集群，请在 etc/ansible/hosts 目录中创建符号链接到 hosts 清单文件：

   # ln -s /etc/ansible/hosts hosts

10. 如果存储集群最初使用 Cockpit 安装，请将 Cockpit 生成的 SSH 密钥复制到 Ansible 用户的 ~/.ssh 目录中：

    1. 复制密钥：

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/ANSIBLE_USERNAME/.ssh/id_rsa

       将 ANSIBLE_USERNAME 替换为 Ansible 的用户名，通常是 admin。

       示例

       # cp /usr/share/ansible-runner-service/env/ssh_key.pub /home/admin/.ssh/id_rsa.pub
       # cp /usr/share/ansible-runner-service/env/ssh_key /home/admin/.ssh/id_rsa

    2. 在密钥文件中设置适当的所有者、组群和权限：

       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chown ANSIBLE_USERNAME:_ANSIBLE_USERNAME_ /home/ANSIBLE_USERNAME/.ssh/id_rsa
       # chmod 644 /home/ANSIBLE_USERNAME/.ssh/id_rsa.pub
       # chmod 600 /home/ANSIBLE_USERNAME/.ssh/id_rsa

       将 ANSIBLE_USERNAME 替换为 Ansible 的用户名，通常是 admin。

       示例

       # chown admin:admin /home/admin/.ssh/id_rsa.pub
       # chown admin:admin /home/admin/.ssh/id_rsa
       # chmod 644 /home/admin/.ssh/id_rsa.pub
       # chmod 600 /home/admin/.ssh/id_rsa

流程

1. 进入 /usr/share/ceph-ansible/ 目录：

   示例

   [root@admin ~]# cd /usr/share/ceph-ansible/

2. 如果从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4，请备份 group_vars/all.yml、group_vars/osds.yml 和 group_vars/clients.yml 文件：

   [root@admin ceph-ansible]# cp group_vars/all.yml group_vars/all_old.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml group_vars/osds_old.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml group_vars/clients_old.yml

3. 如果从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4，请分别将 group_vars/all.yml.sample、group_vars/osds.yml.sample 和 group_vars/clients.yml.sample 文件重命名为 group_vars/all.yml、group_vars/osds.yml 和 group_vars/clients.yml。基于之前备份的副本的更改，打开并相应地编辑它们。

   [root@admin ceph-ansible]# cp group_vars/all.yml.sample group_vars/all.yml
   [root@admin ceph-ansible]# cp group_vars/osds.yml.sample group_vars/osds.yml
   [root@admin ceph-ansible]# cp group_vars/clients.yml.sample group_vars/clients.yml

4. 编辑 group_vars/osds.yml 文件。添加并设置以下选项：

   nb_retry_wait_osd_up: 60
   delay_wait_osd_up: 10

   注意

   这些是默认值；您可以根据用例修改值。

5. 如果升级到 Red Hat Ceph Storage 4 的一个新次版本，请验证 group_vars/all.yml 中 grafana_container_image 的值与 group_vars/all.yml.sample 中的值相同。如果它不同，请将其编辑为：

   示例

   grafana_container_image: registry.redhat.io/rhceph/rhceph-4-dashboard-rhel8:4

   注意

   显示的镜像路径包含在 ceph-ansible 版本 4.0.23-1 中。

6. 从示例文件中复制最新的 site.yml 或 site-container.yml 文件：

   1. 对于裸机部署：

      [root@admin ceph-ansible]# cp site.yml.sample site.yml

   2. 对于容器部署：

      [root@admin ceph-ansible]# cp site-container.yml.sample site-container.yml

7. 打开 group_vars/all.yml 文件，再编辑下列选项：

   1. 添加 fetch_directory 选项：

      fetch_directory: FULL_DIRECTORY_PATH

      替换

      • FULL_DIRECTORY_PATH，位置一个可写的位置，如 Ansible 用户的主目录。

   2. 如果要升级的集群包含任何 Ceph 对象网关节点，请添加 radosgw_interface 选项：

      radosgw_interface: INTERFACE

      替换

      • INTERFACE，具有 Ceph 对象网关节点侦听的接口。

   3. 如果您的当前设置配置了 SSL 证书，您需要编辑以下内容：

      radosgw_frontend_ssl_certificate: /etc/pki/ca-trust/extracted/CERTIFICATE_NAME
      radosgw_frontend_port: 443

   4. 默认 OSD 对象存储为 BlueStore。要保留传统的 OSD 对象存储，您必须将 osd_objectstore 选项明确设置为 filestore ：

      osd_objectstore: filestore

      注意

      将 osd_objectstore 选项设置为 filestore 时，替换 OSD 将使用 FileStore，而不是 BlueStore。

      重要

      从 Red Hat Ceph Storage 4 开始，FileStore 是一项弃用的功能。红帽建议将 FileStore OSD 迁移到 BlueStore OSD。

   5. 从 Red Hat Ceph Storage 4.1 开始，您必须在 /usr/share/ceph-ansible/group_vars/all.yml 中取消注释或设置 dashboard_admin_password 和 grafana_admin_password。为每个用户设置安全密码.另外，为 dashboard_admin_user 和 grafana_admin_user 设置自定义用户名。

   6. 对于裸机和容器部署：

      1. 取消注释 upgrade_ceph_packages 选项并将其设置为 True ：

         upgrade_ceph_packages: True

      2. 将 ceph_rhcs_version 选项设置为 4 ：

         ceph_rhcs_version: 4

         注意

         将 ceph_rhcs_version 选项设置为 4 将拉取最新版本的 Red Hat Ceph Storage 4。

      3. 将 ceph_docker_registry 信息添加到 all.yml ：

         语法

         ceph_docker_registry: registry.redhat.io
         ceph_docker_registry_username: SERVICE_ACCOUNT_USER_NAME
         ceph_docker_registry_password: TOKEN

         注意

         如果您没有 Red Hat Registry Service Account，请使用 Registry Service Account 网页 创建一个。如需了解更多详细信息，请参阅 Red Hat Container Registry 身份验证 知识库文章。

         注意

         除了将服务帐户用于 ceph_docker_registry_username 和 ceph_docker_registry_password 参数外，您还可以使用客户门户凭据，但若要确保安全性，可以对 ceph_docker_registry_password 参数进行加密。如需更多信息，请参阅使用 ansible-vault 加密 Ansible 密码变量。

   7. 对于容器部署：

      1. 更改 ceph_docker_image 选项以指向 Ceph 4 容器版本：

         ceph_docker_image: rhceph/rhceph-4-rhel8

      2. 更改 ceph_docker_image_tag 选项，使其指向 rhceph/rhceph-4-rhel8 的最新版本：

         ceph_docker_image_tag: latest

8. 如果从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4，请打开 Ansible 清单文件进行编辑，默认为 /etc/ansible/hosts，并在 [grafana-server] 部分下添加 Ceph 仪表板节点名称或 IP 地址。如果此部分不存在，还要将本节与节点名称或 IP 地址一起添加。

9. 切换到或以 Ansible 用户身份登录，然后运行 rolling_update.yml playbook:

   [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/rolling_update.yml -i hosts

   重要

   不支持将 --limit Ansible 选项与 rolling_update.yml playbook 搭配使用。

10. 作为 RBD 镜像守护进程节点上的 root 用户，手动升级 rbd-mirror 软件包：

    [root@rbd ~]# yum upgrade rbd-mirror

11. 重启 rbd-mirror 守护进程：

    systemctl restart ceph-rbd-mirror@CLIENT_ID

12. 验证存储集群的运行状况。

    1. 对于裸机部署，以 root 用户身份登录监控节点，运行 Ceph status 命令：

       [root@mon ~]# ceph -s

    2. 对于容器部署，请以 root 用户身份登录 Ceph 监控节点。

       1. 列出所有正在运行的容器：

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker ps

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman ps

       2. 检查健康状态：

          Red Hat Enterprise Linux 7

          [root@mon ~]# docker exec ceph-mon-MONITOR_NAME ceph -s

          Red Hat Enterprise Linux 8

          [root@mon ~]# podman exec ceph-mon-MONITOR_NAME ceph -s

          替换

          • MONITOR_NAME，使用带有上一步中找到的 Ceph monitor 容器的名称。

            示例

            [root@mon ~]# podman exec ceph-mon-mon01 ceph -s

13. 可选：如果从 Red Hat Ceph Storage 3.x 升级到 Red Hat Ceph Storage 4.x，您可能会看到这个健康状况警告：Legacy BlueStore stats reporting detected on 336 OSD(s).这是因为较新的代码计算池统计不同。您可以通过设置 bluestore_fsck_quick_fix_on_mount 参数来解决这个问题。

    1. 将 bluestore_fsck_quick_fix_on_mount 设置为 true ：

       示例

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount true

    2. 设置 noout 和 norebalance 标志，以防止 OSD 停机时出现数据移动：

       示例

       [root@mon ~]# ceph osd set noout
       [root@mon ~]# ceph osd set norebalance

    3. 对于 裸机部署，请在存储集群的每个 OSD 节点上重启 ceph-osd.target ：

       示例

       [root@osd ~]# systemctl restart ceph-osd.target

    4. 对于 容器化部署，请在另一个 OSD 后重启各个 OSD，并等待所有放置组都处于 active+clean 状态。

       语法

       systemctl restart ceph-osd@OSD_ID.service

       示例

       [root@osd ~]# systemctl restart ceph-osd@0.service

    5. 当所有 OSD 被修复时，取消设置 nout 和 norebalance 标记：

       示例

       [root@mon ~]# ceph osd unset noout
       [root@mon ~]# ceph osd unset norebalance

    6. 当所有 OSD 修复后，将 bluestore_fsck_quick_fix_on_mount 设置为 false ：

       示例

       [root@mon ~]# ceph config set osd bluestore_fsck_quick_fix_on_mount false

    7. 可选： 裸机部署 的一个替代方法是停止 OSD 服务，使用 ceph-bluestore-tool 命令在 OSD 上运行修复功能，然后启动 OSD 服务：

       1. 停止 OSD 服务：

          [root@osd ~]# systemctl stop ceph-osd.target

       2. 在 OSD 上运行修复功能，指定其实际 OSD ID：

          语法

          ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-OSDID repair

          示例

          [root@osd ~]# ceph-bluestore-tool --path /var/lib/ceph/osd/ceph-2 repair

       3. 启动 OSD 服务：

          [root@osd ~]# systemctl start ceph-osd.target

14. 升级完成后，您可以通过运行 Ansible playbook 将 FileStore OSD 迁移到 BlueStore OSD:

    语法

    ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit OSD_NODE_TO_MIGRATE

    示例

    [ansible@admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/filestore-to-bluestore.yml --limit osd01

    迁移完成后，请执行以下子步骤：

    1. 打开以编辑 group_vars/osds.yml 文件，并将 osd_objectstore 选项设置为 bluestore，例如：

       osd_objectstore: bluestore

    2. 如果您使用 lvm_volumes 变量，分别将 journal 和 journal_vg 选项改为 db 和 db_vg，例如：

       之前

       lvm_volumes:
         - data: /dev/sdb
           journal: /dev/sdc1
         - data: /dev/sdd
           journal: journal1
           journal_vg: journals

       转换为 Bluestore 后

       lvm_volumes:
         - data: /dev/sdb
           db: /dev/sdc1
         - data: /dev/sdd
           db: journal1
           db_vg: journals

15. 如果在 OpenStack 环境中工作，请更新所有 cephx 用户，以将 RBD 配置文件用于池。以下命令必须以 root 用户身份运行：

    1. Glance 用户：

       语法

       ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=GLANCE_POOL_NAME'

       示例

       [root@mon ~]# ceph auth caps client.glance mon 'profile rbd' osd 'profile rbd pool=images'

    2. Cinder 用户：

       语法

       ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       示例

       [root@mon ~]# ceph auth caps client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

    3. OpenStack 常规用户：

       语法

       ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=CINDER_VOLUME_POOL_NAME, profile rbd pool=NOVA_POOL_NAME, profile rbd-read-only pool=GLANCE_POOL_NAME'

       示例

       [root@mon ~]# ceph auth caps client.openstack mon 'profile rbd' osd 'profile rbd-read-only pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'

       重要

       在执行任何实时客户端迁移前，进行这些 CAPS 更新。这使得客户端能够使用内存中运行的新库，从而导致旧 CAPS 设置从缓存中丢弃并应用新的 RBD 配置集设置。

16. 可选：在客户端节点上，重新启动依赖于 Ceph 客户端侧库的任何应用。

    注意

    如果您要升级运行 QEMU 或 KVM 实例的 OpenStack Nova 计算节点，或使用专用 QEMU 或 KVM 客户端，请停止并启动 QEMU 或 KVM 实例，因为在此情况下重启实例不起作用。

流程

1. 在运行 Red Hat Ceph Storage 3 时，确保集群至少完成了所有 PG 的完全清理。如果不这样做，会导致 monitor 守护进程在启动时拒绝加入仲裁，从而使它们无法运行。要确保集群至少完成所有 PG 的一个完整清理，请执行以下操作：

   # ceph osd dump | grep ^flags

   要从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4，OSD map 必须包含 restore_deletes 和 purged_snapdirs 标志。

2. 确保集群处于健康而干净的状态。

   ceph health
   HEALTH_OK

3. 对于运行 ceph-mon 和 ceph-manager 的节点，请执行：

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-mon-rpms

   启用 Red Hat Ceph Storage 4 软件包后，在每个 ceph-mon 和 ceph-manager 节点上执行下列操作：

   # firewall-cmd --add-port=3300/tcp
   # firewall-cmd --add-port=3300/tcp --permanent
   # yum update -y
   # systemctl restart ceph-mon@<mon-hostname>
   # systemctl restart ceph-mgr@<mgr-hostname>

   将 <mon-hostname> 和 <mgr-hostname> 替换为目标主机的主机名。

4. 在升级 OSD 之前，请在 Ceph 监控节点上设置 noout 和 nodeep-scrub 标志，以防止在升级过程中重新平衡 OSD。

   # ceph osd set noout
   # ceph osd det nodeep-scrub

5. 在每个 OSD 节点上执行：

   # subscription-manager repos --enable=rhel-7-server-rhceph-4-osd-rpms

   启用 Red Hat Ceph Storage 4 软件包后，更新 OSD 节点：

   # yum update -y

   对于节点上运行的每个 OSD 守护进程，执行：

   # systemctl restart ceph-osd@<osd-num>

   将 <osd-num> 替换为要重启的 osd 号。在继续下一 OSD 节点之前，确保节点上的所有 OSD 都已重启。

6. 如果存储集群中有任何 OSD 使用 ceph-disk 部署，指示 ceph-volume 启动守护进程。

   # ceph-volume simple scan
   # ceph-volume simple activate --all

7. 仅启用 Nautilus 功能：

   # ceph osd require-osd-release nautilus

   重要

   如果无法执行此步骤，OSD 将无法在启用 msgr2 后进行通信。

8. 升级所有 OSD 节点后，取消设置 Ceph 监控节点上的 noout 和 nodeep-scrub 标志。

   # ceph osd unset noout
   # ceph osd unset nodeep-scrub

9. 将任何现有的 CRUSH bucket 切换到最新的 bucket 类型 straw2。

   # ceph osd getcrushmap -o backup-crushmap
   # ceph osd crush set-all-straw-buckets-to-straw2

10. 从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4 后，即可执行以下步骤：

    1. 启用消息传递 v2 协议 msgr2：

       ceph mon enable-msgr2

       这将指示绑定到 6789 的旧默认端口的所有 Ceph 监控器也绑定到 3300 的新端口。

    2. 验证 monitor 的状态：

       ceph mon dump

       注意

       运行 nautilus OSD 不会自动绑定到其 v2 地址。必须重启它们。

11. 对于从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4 的每个主机，将 ceph.conf 文件更新为没有指定任何监控端口，或引用 v2 和 v1 地址和端口。

12. 将 ceph.conf 文件中的任何配置选项导入到存储集群的配置数据库中。

    示例

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. 检查存储集群的配置数据库。

       示例

       [root@mon ~]# ceph config dump

    2. 可选：升级到 Red Hat Ceph Storage 4 后，为每个主机创建一个最小的 ceph.conf 文件：

       示例

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

13. 在 Ceph 对象网关节点上执行：

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

    启用 Red Hat Ceph Storage 4 软件包后，更新节点并重启 ceph-rgw 守护进程：

    # yum update -y
    # systemctl restart ceph-rgw@<rgw-target>

    将 <rgw-target> 替换为要重启的 rgw 目标。

14. 对于管理节点，执行：

    # subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
    # yum update -y

15. 确保集群处于健康而干净的状态。

    # ceph health
    HEALTH_OK

16. 可选：在客户端节点上，重新启动依赖于 Ceph 客户端侧库的任何应用。

    注意

    如果您要升级运行 QEMU 或 KVM 实例的 OpenStack Nova 计算节点，或使用专用 QEMU 或 KVM 客户端，请停止并启动 QEMU 或 KVM 实例，因为在此情况下重启实例不起作用。

流程

1. 将活跃 MDS 的数量减少到 1：

   语法

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   示例

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. 等待集群停止所有 MDS 等级。当所有 MDS 停止后，仅排名 0 才处于活动状态。剩余的操作应处于待机模式。检查文件系统的状态：

   [root@mds ~]# ceph status

3. 使用 systemctl 关闭所有备用 MDS：

   [root@mds ~]# systemctl stop ceph-mds.target

4. 确认只有一个 MDS 在线，并且已为您的文件系统排名 0：

   [root@mds ~]# ceph status

5. 如果您要从 RHEL 7 上的 Red Hat Ceph Storage 3 升级，请禁用 Red Hat Ceph Storage 3 工具存储库并启用 Red Hat Ceph Storage 4 工具存储库：

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms

6. 更新节点并重启 ceph-mds 守护进程：

   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

7. 为待机守护进程跟踪相同的进程。禁用并启用工具存储库，然后升级并重启每个待机 MDS:

   [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms
   [root@mds ~]# subscription-manager repos --enable=rhel-7-server-rhceph-4-tools-rpms
   [root@mds ~]# yum update -y
   [root@mds ~]# systemctl restart ceph-mds.target

8. 当您完成重启所有待机 MDS 后，为存储集群恢复之前 max_mds 的值：

   语法

   ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

   示例

   [root@mds ~]# ceph fs set fs1 max_mds 5

流程

1. 停止 monitor 服务：

   语法

   systemctl stop ceph-mon@MONITOR_ID

   将 MONITOR_ID 替换为 monitor 的 ID 号。

2. 如果使用 Red Hat Ceph Storage 3，请禁用 Red Hat Ceph Storage 3 存储库。

   1. 禁用工具存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. 禁用 mon 存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-mon-rpms

3. 如果使用 Red Hat Ceph Storage 4，请禁用 Red Hat Ceph Storage 4 存储库。

   1. 禁用工具存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. 禁用 mon 存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-mon-rpms

4. 安装 leapp 实用程序。请参阅从 Red Hat Enterprise Linux 7 升级到 Red Hat Enterprise Linux 8。
5. 通过 leapp preupgrade 检查运行。请参阅从命令行评估可升级性。
6. 在 /etc/ssh/sshd_config 中设置 PermitRootLogin yes。

7. 重启 OpenSSH SSH 守护进程：

   [root@mon ~]# systemctl restart sshd.service

8. 从 Linux 内核中删除 iSCSI 模块：

   [root@mon ~]# modprobe -r iscsi

9. 执行 从 RHEL 7 升级到 RHEL 8 的内容，以执行升级。
10. 重新引导节点。

11. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的软件仓库。

    1. 启用工具存储库：

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. 启用 mon 存储库：

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-mon-for-rhel-8-x86_64-rpms

12. 安装 ceph-mon 软件包：

    [root@mon ~]# dnf install ceph-mon

13. 如果管理器服务与 monitor 服务在一起，请安装 ceph-mgr 软件包：

    [root@mon ~]# dnf install ceph-mgr

14. 从尚未升级的 monitor 节点或已经恢复这些文件的节点恢复 ceph-client-admin.keyring 和 ceph.conf 文件。

15. 从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4 后，即可执行以下步骤：

    1. 启用消息传递 v2 协议 msgr2：

       ceph mon enable-msgr2

       这将指示绑定到 6789 的旧默认端口的所有 Ceph 监控器也绑定到 3300 的新端口。

       重要

       在执行任何进一步的 Ceph Monitor 配置之前，确保所有 Ceph Monitor 都已从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4。

    2. 验证 monitor 的状态：

       ceph mon dump

       注意

       运行 nautilus OSD 不会自动绑定到其 v2 地址。必须重启它们。

16. 对于从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4 的每个主机，将 ceph.conf 文件更新为没有指定任何监控端口，或引用 v2 和 v1 地址和端口。将 ceph.conf 文件中的任何配置选项导入到存储集群的配置数据库中。

    示例

    [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

    1. 检查存储集群的配置数据库。

       示例

       [root@mon ~]# ceph config dump

    2. 可选：升级到 Red Hat Ceph Storage 4 后，为每个主机创建一个最小的 ceph.conf 文件：

       示例

       [root@mon ~]# ceph config generate-minimal-conf > /etc/ceph/ceph.conf.new
       [root@mon ~]# mv /etc/ceph/ceph.conf.new /etc/ceph/ceph.conf

17. 安装 leveldb 软件包：

    [root@mon ~]# dnf install leveldb

18. 启动监控器服务：

    [root@mon ~]# systemctl start ceph-mon.target

19. 如果管理器服务与监控服务在一起，也启动管理器服务：

    [root@mon ~]# systemctl start ceph-mgr.target

20. 验证 monitor 服务是否已恢复，且是否在仲裁数中。

    [root@mon ~]# ceph -s

    在 services 下的 mon: 行中， 确保该节点列为已仲裁，而不是作为没有仲裁列出。

    示例

    mon: 3 daemons, quorum ceph4-mon,ceph4-mon2,ceph4-mon3 (age 2h)

21. 如果 manager 服务与 monitor 服务在一起，请验证是否也启动：

    [root@mon ~]# ceph -s

    在 services 下的 mgr: 行中查找管理器的节点名称。

    示例

    mgr: ceph4-mon(active, since 2h), standbys: ceph4-mon3, ceph4-mon2

22. 在所有 monitor 节点上重复上述步骤，直到它们都已升级。

流程

1. 设置 OSD noout 标志，以防止 OSD 在迁移期间被标记为 down：

   ceph osd set noout

2. 设置 OSD nobackfill、norecover、norrebalance、noscrub 和 nodeep-scrub 标志，以避免集群出现不必要的负载，并在节点停机时避免任何数据被重新创建：

   ceph osd set nobackfill
   ceph osd set norecover
   ceph osd set norebalance
   ceph osd set noscrub
   ceph osd set nodeep-scrub

3. 正常关闭节点上的所有 OSD 进程：

   [root@mon ~]# systemctl stop ceph-osd.target

4. 如果使用 Red Hat Ceph Storage 3，请禁用 Red Hat Ceph Storage 3 存储库。

   1. 禁用工具存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. 禁用 osd 存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-osd-rpms

5. 如果使用 Red Hat Ceph Storage 4，请禁用 Red Hat Ceph Storage 4 存储库。

   1. 禁用工具存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

   2. 禁用 osd 存储库：

      [root@mon ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-osd-rpms

6. 安装 leapp 实用程序。请参阅从 Red Hat Enterprise Linux 7 升级到 Red Hat Enterprise Linux 8。
7. 通过 leapp preupgrade 检查运行。请参阅从命令行评估可升级性。
8. 在 /etc/ssh/sshd_config 中设置 PermitRootLogin yes。

9. 重启 OpenSSH SSH 守护进程：

   [root@mon ~]# systemctl restart sshd.service

10. 从 Linux 内核中删除 iSCSI 模块：

    [root@mon ~]# modprobe -r iscsi

11. 执行 从 RHEL 7 升级到 RHEL 8 的内容，以执行升级。
12. 重新引导节点。

13. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的软件仓库。

    1. 启用工具存储库：

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

    2. 启用 osd 存储库：

       [root@mon ~]# subscription-manager repos --enable=rhceph-4-osd-for-rhel-8-x86_64-rpms

14. 安装 ceph-osd 软件包：

    [root@mon ~]# dnf install ceph-osd

15. 安装 leveldb 软件包：

    [root@mon ~]# dnf install leveldb

16. 从尚未升级的节点或已经恢复这些文件的节点恢复 ceph.conf 文件。

17. 取消设置 noout、nobackfill、norecover、norebalance、noscrub 和 nodeep-scrub 标志：

    # ceph osd unset noout
    # ceph osd unset nobackfill
    # ceph osd unset norecover
    # ceph osd unset norebalance
    # ceph osd unset noscrub
    # ceph osd unset nodeep-scrub

18. 可选：如果 OSD 是使用 ceph-disk 创建的，并且仍然由 ceph-disk 管理，则必须使用 ceph-volume 接管它们的管理。

    1. 挂载每个对象存储设备：

       语法

       /dev/DRIVE /var/lib/ceph/osd/ceph-OSD_ID

       使用存储设备名称和分区号替换 DRIVE。

       将 OSD_ID 替换为 OSD ID。

       示例

       [root@mon ~]# mount /dev/sdb1 /var/lib/ceph/osd/ceph-0

       验证 ID_NUMBER 是否正确。

       语法

       cat /var/lib/ceph/osd/ceph-OSD_ID/whoami

       将 OSD_ID 替换为 OSD ID。

       示例

       [root@mon ~]# cat /var/lib/ceph/osd/ceph-0/whoami
       0

       对任何其他对象存储设备重复上述步骤。

    2. 扫描新挂载的设备：

       语法

       ceph-volume simple scan /var/lib/ceph/osd/ceph-OSD_ID

       将 OSD_ID 替换为 OSD ID。

       示例

       [root@mon ~]# ceph-volume simple scan /var/lib/ceph/osd/ceph-0
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: lsblk: /var/lib/ceph/osd/ceph-0: not a block device
        stderr: Unknown device, --name=, --path=, or absolute path in /dev/ or /sys expected.
       Running command: /usr/sbin/cryptsetup status /dev/sdb1
       --> OSD 0 got scanned and metadata persisted to file: /etc/ceph/osd/0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.json
       --> To take over management of this scanned OSD, and disable ceph-disk and udev, run:
       -->     ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       对任何其他对象存储设备重复上述步骤。

    3. 激活该设备：

       语法

       ceph-volume simple activate OSD_ID UUID

       将 OSD_ID 替换为 OSD ID，UUID 替换为之前在扫描输出中输出的 UUID。

       示例

       [root@mon ~]# ceph-volume simple activate 0 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
       Running command: /usr/bin/ln -snf /dev/sdb2 /var/lib/ceph/osd/ceph-0/journal
       Running command: /usr/bin/chown -R ceph:ceph /dev/sdb2
       Running command: /usr/bin/systemctl enable ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba
        stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@simple-0-0c9917f7-fce8-42aa-bdec-8c2cf2d536ba.service → /usr/lib/systemd/system/ceph-volume@.service.
       Running command: /usr/bin/ln -sf /dev/null /etc/systemd/system/ceph-disk@.service
       --> All ceph-disk systemd units have been disabled to prevent OSDs getting triggered by UDEV events
       Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
        stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph-osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
       Running command: /usr/bin/systemctl start ceph-osd@0
       --> Successfully activated OSD 0 with FSID 0c9917f7-fce8-42aa-bdec-8c2cf2d536ba

       对任何其他对象存储设备重复上述步骤。

19. 可选：如果您的 OSD 是使用 ceph-volume 创建的，并且您没有完成上一步，请立即启动 OSD 服务：

    [root@mon ~]# systemctl start ceph-osd.target

20. 激活 OSD：

    BlueStore

    [root@mon ~]# ceph-volume lvm activate --all

21. 验证 OSDs 为 up 和 in，它们处于 active+clean 状态。

    [root@mon ~]# ceph -s

    在 services: 下的 osd: 行中，确定所有 OSDs 都为 up 和 in：

    示例

    osd: 3 osds: 3 up (since 8s), 3 in (since 3M)

22. 在所有 OSD 节点上重复上述步骤，直到它们都已升级。

23. 如果从 Red Hat Ceph Storage 3 升级，则不允许预先Nautilus OSD 并启用只有 Nautilus 的功能：

    [root@mon ~]# ceph osd require-osd-release nautilus

    注意

    未能执行此步骤会导致 OSD 在启用 msgrv2 后无法进行通信。

24. 从 Red Hat Ceph Storage 3 升级到 Red Hat Ceph Storage 4 后，即可执行以下步骤：

    1. 启用消息传递 v2 协议 msgr2：

       [root@mon ~]# ceph mon enable-msgr2

       这将指示绑定到 6789 的旧默认端口的所有 Ceph 监控器也绑定到 3300 的新端口。

    2. 在每个节点上，将 ceph.conf 文件中的任何配置选项导入到存储集群的配置数据库中：

       示例

       [root@mon ~]# ceph config assimilate-conf -i /etc/ceph/ceph.conf

       注意

       当将配置填充到监控器时，例如，如果您为同一组选项设置了不同的配置值，则最终结果会取决于文件完成的顺序。

    3. 检查存储集群的配置数据库：

       示例

       [root@mon ~]# ceph config dump

流程

1. 停止 Ceph 对象网关服务：

   # systemctl stop ceph-radosgw.target

2. 如果使用 Red Hat Ceph Storage 3，请禁用 Red Hat Ceph Storage 3 工具存储库：

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. 如果使用 Red Hat Ceph Storage 4，请禁用 Red Hat Ceph Storage 4 工具存储库：

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. 安装 leapp 实用程序。请参阅从 Red Hat Enterprise Linux 7 升级到 Red Hat Enterprise Linux 8。
5. 通过 leapp preupgrade 检查运行。请参阅从命令行评估可升级性。
6. 在 /etc/ssh/sshd_config 中设置 PermitRootLogin yes。

7. 重启 OpenSSH SSH 守护进程：

   # systemctl restart sshd.service

8. 从 Linux 内核中删除 iSCSI 模块：

   # modprobe -r iscsi

9. 执行 从 RHEL 7 升级到 RHEL 8 的内容，以执行升级。
10. 重新引导节点。

11. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的工具存储库。

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. 安装 ceph-radosgw 软件包：

    # dnf install ceph-radosgw

13. 可选：安装在此节点上并置的任何 Ceph 服务的软件包。如果需要，启用额外的 Ceph 存储库。

14. 可选：安装其他 Ceph 服务需要的 leveldb 软件包。

    # dnf install leveldb

15. 从尚未升级的节点或已经恢复这些文件的节点恢复 ceph-client-admin.keyring 和 ceph.conf 文件。

16. 启动 RGW 服务：

    # systemctl start ceph-radosgw.target

17. 验证守护进程是否活跃：

    # ceph -s

    在 services: 下有一个 rgw: 行。

    示例

    rgw: 1 daemon active (jb-ceph4-rgw.rgw0)

18. 在所有 Ceph 对象网关节点上重复上述步骤，直到它们都已升级。

流程

1. 从集群卸载现有的仪表板。

   1. 进入 /usr/share/cephmetrics-ansible 目录：

      # cd /usr/share/cephmetrics-ansible

   2. 运行 purge.yml Ansible playbook:

      # ansible-playbook -v purge.yml

2. 如果使用 Red Hat Ceph Storage 3，请禁用 Red Hat Ceph Storage 3 工具存储库：

   # subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

3. 如果使用 Red Hat Ceph Storage 4，请禁用 Red Hat Ceph Storage 4 工具存储库：

   # subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

4. 安装 leapp 实用程序。请参阅从 Red Hat Enterprise Linux 7 升级到 Red Hat Enterprise Linux 8。
5. 通过 leapp 预升级检查运行。请参阅从命令行评估可升级性。
6. 在 /etc/ssh/sshd_config 中设置 PermitRootLogin yes。

7. 重启 OpenSSH SSH 守护进程：

   # systemctl restart sshd.service

8. 从 Linux 内核中删除 iSCSI 模块：

   # modprobe -r iscsi

9. 执行 从 RHEL 7 升级到 RHEL 8 的内容，以执行升级。
10. 重新引导节点。

11. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的工具存储库：

    # subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

12. 启用 Ansible 存储库：

    # subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

13. 配置 ceph-ansible 以管理集群。它将安装仪表板。按照使用 Ansible 安装Red Hat Ceph Storage 中的说明，包括前提条件。
14. 作为上述流程的一部分运行 ansible-playbook site.yml 后，会输出仪表板的 URL。如需有关查找 URL 和访问仪表板的更多信息，请参阅 控制面板指南中使用 Ansible 安装仪表板。

流程

1. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的工具存储库：

   [root@dashboard ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

2. 启用 Ansible 存储库：

   [root@dashboard ~]# subscription-manager repos --enable=ansible-2.9-for-rhel-8-x86_64-rpms

3. 配置 ceph-ansible 以管理存储集群。它将安装仪表板。按照使用 Ansible 安装Red Hat Ceph Storage 中的说明，包括前提条件。
4. 作为上述流程的一部分运行 ansible-playbook site.yml 后，会输出仪表板的 URL。如需有关查找 URL 和访问仪表板的更多信息，请参阅 控制面板指南中使用 Ansible 安装仪表板。

流程

1. 将活跃 MDS 的数量减少到 1：

   语法

   ceph fs set FILE_SYSTEM_NAME max_mds 1

   示例

   [root@mds ~]# ceph fs set fs1 max_mds 1

2. 等待集群停止所有 MDS 等级。当所有 MDS 停止后，仅排名 0 才处于活动状态。剩余的操作应处于待机模式。检查文件系统的状态：

   [root@mds ~]# ceph status

3. 使用 systemctl 关闭所有备用 MDS：

   [root@mds ~]# systemctl stop ceph-mds.target

4. 确认只有一个 MDS 是在线的，并且它已在文件系统中排名为 0：

   [root@mds ~]# ceph status

5. 为操作系统版本禁用工具存储库：

   1. 如果您要从 RHEL 7 上的 Red Hat Ceph Storage 3 升级，请禁用 Red Hat Ceph Storage 3 工具存储库：

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-3-tools-rpms

   2. 如果您使用 Red Hat Ceph Storage 4，请禁用 Red Hat Ceph Storage 4 工具存储库：

      [root@mds ~]# subscription-manager repos --disable=rhel-7-server-rhceph-4-tools-rpms

6. 安装 leapp 实用程序。有关 leapp 的详情，请参考从 Red Hat Enterprise Linux 7 升级到 Red Hat Enterprise Linux 8。
7. 通过 leapp 预升级检查运行。如需更多信息，请参阅从命令行评估可升级性。
8. 编辑 /etc/ssh/sshd_config，并将 PermitRootLogin 设置为 yes。

9. 重启 OpenSSH SSH 守护进程：

   [root@mds ~]# systemctl restart sshd.service

10. 从 Linux 内核中删除 iSCSI 模块：

    [root@mds ~]# modprobe -r iscsi

11. 执行升级。请参阅执行从 RHEL 7 升级到 RHEL 8。
12. 重新引导 MDS 节点。

13. 为 Red Hat Enterprise Linux 8 启用 Red Hat Ceph Storage 4 的工具仓库：

    [root@mds ~]# subscription-manager repos --enable=rhceph-4-tools-for-rhel-8-x86_64-rpms

14. 安装 ceph-mds 软件包：

    [root@mds ~]# dnf install ceph-mds -y

15. 可选：安装在此节点上并置的任何 Ceph 服务的软件包。如果需要，启用额外的 Ceph 存储库。

16. 可选：安装其他 Ceph 服务需要的 leveldb 软件包：

    [root@mds ~]# dnf install leveldb

17. 从尚未升级的节点或已经恢复这些文件的节点恢复 ceph-client-admin.keyring 和 ceph.conf 文件。

18. 启动 MDS 服务：

    [root@mds ~]# systemctl restart ceph-mds.target

19. 验证守护进程是否活跃：

    [root@mds ~]# ceph -s

20. 为待机守护进程跟踪相同的进程。

21. 当您完成重启所有待机 MDS 后，请恢复集群中的 max_mds 的值：

    语法

    ceph fs set FILE_SYSTEM_NAME max_mds ORIGINAL_VALUE

    示例

    [root@mds ~]# ceph fs set fs1 max_mds 5