2.3.4. 在 VMware 安装程序置备的基础架构中替换失败的节点

先决条件

  • 红帽建议为替换节点配置与被替换节点的类似基础架构、资源和磁盘。
  • 您必须登录 OpenShift Container Platform (RHOCP) 集群。
  • 如果您从以前的版本升级到 OpenShift Container Storage 版本 4.8，且还没有创建 LocalVolumeDiscovery 和 LocalVolumeSet 对象，现在请按照 本地存储支持的集群的 Post-update 配置更改 中所述的步骤进行。

步骤

  1. 登录 OpenShift Web 控制台并点击 Compute → Nodes。
  2. 确定需要替换的节点。记录其 Machine Name。

  3. 在要替换的节点上获取标签。 

    $ oc get nodes --show-labels | grep <node_name>

  4. 识别要替换的节点中运行的 mon （如果有）和 OSD。 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 缩减上一步中确定的容器集部署。

    例如： 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 将节点标记为不可调度。 

    $ oc adm cordon <node_name>

  7. 删除处于 Terminating 状态的 pod。 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  8. 排空节点。 

    $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets
  9. 点 Compute → Machines。搜索所需的机器。
  10. 除了所需的机器外，点击 Action 菜单(⋮)→ Delete Machine。
  11. 单击 Delete 以确认删除机器。会自动创建新机器。

  12. 等待新计算机启动并过渡到 Running 状态。

    重要

    此活动可能需要至少 5 到 10 分钟或更长时间。

  13. 在 OpenShift Web 控制台中点 Compute → Nodes，确认新节点是否处于 Ready 状态。
  14. 向节点物理地添加新设备。

  15. 使用以下任一方法之一将 OpenShift Container Storage 标签应用到新节点：

    从用户界面
    1. 对于新节点，点击 Action Menu(⋮)→ Edit Labels。
    2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。
    使用命令行界面

    • 执行以下命令，将 OpenShift Container Storage 标签应用到新节点： 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  16. 识别安装 OpenShift 本地存储 Operator 的命名空间，并将其分配给 local_storage_project 变量： 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    例如： 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  17. 将新的 worker 节点添加到 localVolumeDiscovery 和 localVolumeSet。

    1. 更新 localVolumeDiscovery 定义，使其包含新节点并删除失败的节点。 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      记住在退出编辑器之前进行保存。

      在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

    2. 决定要编辑的 localVolumeSet。 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 更新 localVolumeSet 定义，使其包含新节点并删除失败的节点。 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      记住在退出编辑器之前进行保存。

      在上例中，server3.example.com 已被删除，newnode.example.com 是新节点。

  18. 验证新的 localblock PV 是否可用。 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  19. 更改到 openshift-storage 项目。 

    $ oc project openshift-storage

  20. 从集群移除出现故障的 OSD。如果需要，您可以指定多个故障 OSD。 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=failed-osd-id1,failed-osd-id2 | oc create -f -

  21. 通过检查 ocs-osd-removal-job pod 的状态，验证 OSD 是否已成功移除。

    状态为 Completed，确认 OSD 移除作业已成功。 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
    注意

    如果 ocs-osd-removal-job 失败，且 pod 没有处于预期的 Completed 状态，请检查 pod 日志以获得进一步的调试。例如： 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage

  22. 标识与 PVC 关联的 PV。 

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    如果有一个 PV 处于 Released 状态，请将其删除。 

    # oc delete pv <persistent-volume>

    例如： 

    #oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d9c5cbd6" deleted

  23. 确定 crashcollector pod 部署。 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    如果已存在 crashcollector pod 部署，请将其删除。 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  24. 删除 ocs-osd-removal-job。 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    输出示例： 

    job.batch "ocs-osd-removal-job" deleted

验证步骤

  1. 执行以下命令并验证输出中是否存在新节点： 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态：

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 验证所有其他所需的 OpenShift Container Storage Pod 是否都处于 Running 状态。

    确保创建了新的增量 mon，并处于 Running 状态。 

    $ oc get pod -n openshift-storage | grep mon

    输出示例： 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 和 Mon 可能需要几分钟才能进入 Running 状态。

  4. 验证新 OSD pod 是否在替换节点上运行。 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. （可选）如果在集群中启用了集群范围的加密，请验证新 OSD 设备是否已加密。

    对于上一步中标识的每个新节点，请执行以下操作：

    1. 创建调试 pod，并为所选主机打开 chroot 环境。 

      $ oc debug node/<node name>
$ chroot /host

    2. 运行 "lsblk" 并检查 ocs-deviceset 名旁边的 "crypt" 关键字。 

      $ lsblk
  6. 如果验证步骤失败，请联系红帽支持。