流程

1. 检查存储集群的整体状态：

   [root@mon ~]# ceph health detail

   如果命令返回 HEALTH_WARN 或 HEALTH_ERR，请参见 了解 Ceph 健康状况 以了解详细信息。

2. 检查 Ceph 日志中是否存在 Understanding Ceph 日志 中列出的任何错误消息。日志默认位于 /var/log/ceph/ 目录中。
3. 如果日志没有包含足够数量的信息，提高调试级别并尝试重现失败的操作。详情请参阅 配置日志。

1. 要启用日志记录 Ceph Monitor、Ceph Manager、Ceph 对象网关和任何其他守护进程，请在 [global] 设置下将 log_to_file 设置为 true。

   示例

   [ceph: root@host01 ~]# ceph config set global log_to_file true

2. 要为 Ceph 监控集群和审计日志启用日志记录，请将 mon_cluster_log_to_file 设置为 true。

   示例

   [ceph: root@host01 ~]# ceph config set mon mon_cluster_log_to_file true

要排除这个问题，请执行以下操作

1. 验证 ceph-mon 守护进程正在运行。如果没有，请启动它：

   [root@mon ~]# systemctl status ceph-mon@HOST_NAME
   [root@mon ~]# systemctl start ceph-mon@HOST_NAME

   将 HOST_NAME 替换为正在运行 守护进程的主机的短名称。不确定 时使用 hostname -s 命令。

2. 如果您无法启动 ceph-mon 守护进程，请按照 ceph-mon 守护进程中的步骤启动。
3. 如果您能够启动 ceph-mon 守护进程但标记为 down，请按照 ceph-mon 守护进程中的步骤运行，但标记为"down"。

ceph-mon Daemon 无法启动

1. 默认情况下，检查位于 /var/log/ceph/ceph-mon.HOST_NAME.log 的对应的 Ceph Monitor 日志。

2. 如果日志中包含类似于下列错误消息的错误消息，Ceph monitor 可能具有损坏的存储：

   Corruption: error in middle of record
   Corruption: 1 missing files; e.g.: /var/lib/ceph/mon/mon.0/store.db/1234567.ldb

   若要修复此问题，可替换 Ceph monitor。请参阅 替换失败的 monitor。

3. 如果日志包含类似如下的错误消息，/var/ 分区可能已满。从 /var/ 删除任何不必要的数据。

   Caught signal (Bus error)

   重要

   不要手动从 monitor 目录中删除任何数据。而应使用 ceph-monstore-tool 将它压缩。详情请参阅 紧凑 Ceph monitor 存储。

4. 如果您看到任何其他错误消息，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

ceph-mon Daemon 运行，但 Still Marked 为 down

1. 在超出仲裁的 Ceph Monitor 主机中，使用 mon_status 命令检查其状态：

   [root@mon ~]# ceph daemon ID mon_status

   使用 Ceph monitor 的 ID 替换 ID，例如：

   [root@mon ~]# ceph daemon mon.a mon_status

2. 如果状态为 probing ， 请验证 mon_status 输出中其他 Ceph monitor 的位置。

   1. 如果地址不正确，Ceph monitor 具有不正确的 Ceph monitor map(monmap)。若要修复此问题，请参阅注入 Ceph monitor map。
   2. 如果地址正确，请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。另外，对任何网络问题进行故障排除，请参阅 对网络进行故障排除以了解详细信息。
3. 如果状态为选中状态 ， 请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。
4. 如果状态从 选择 同步变为 同步，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。
5. 如果 Ceph monitor 是 领导 机或工作 机， 请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。如果同步时钟无法解决问题，请打开支持问题单。有关 详细信息，请参阅联系红帽支持团队。

要排除这个问题，请执行以下操作

1. 验证您的网络是否正常工作。详情请参阅对 网络问题进行故障排除。特别是，如果您使用 NTP，则对 NTP 客户端的任何问题进行故障排除。

   1. 如果您使用 chrony 作为 NTP，请参阅 基本 chrony NTP 故障排除部分。
   2. 如果使用 ntpd，请参阅 基本 NTP 故障排除。

2. 如果您使用远程 NTP 服务器，请考虑在网络上部署您自己的 NTP 服务器。

   1. 详情请参阅为 Red Hat Enterprise Linux 8 配置基本系统设置 中的使用 Chrony 套件配置 NTP 章节。
   2. 请参见《Red Hat Enterprise Linux 7 系统管理员指南》 中的" 配置 NTP 使用 ntpd "一章。

要排除这个问题，请执行以下操作

1. 检查数据库的大小：

   du -sch /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME/store.db

   指定集群的名称，以及运行 ceph-mon 的主机的短主机名。

   示例

   # du -sch /var/lib/ceph/mon/ceph-host1/store.db
   47G     /var/lib/ceph/mon/ceph-ceph1/store.db/
   47G     total

2. 紧凑 Ceph 监控存储.详情请参阅 紧凑 Ceph monitor 存储。

流程

1. 如果在容器中使用 Ceph ，请将 带有 Ceph 数据的所有磁盘挂载到临时位置。对所有 OSD 节点重复此步骤。

   1. 列出数据分区。根据您用来设置设备的实用程序，使用 ceph-volume 或 ceph-disk ：

      [root@osd ~]# ceph-volume lvm list

      或

      [root@osd ~]# ceph-disk list

   2. 将数据分区挂载到临时位置：

      mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i

   3. 恢复 SELinux 上下文：

      for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done

      使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。

   4. 将所有者和组更改为 ceph:ceph ：

      for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done

      使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。

      重要

      由于一个导致 update-mon-db 命令使用 monitor 数据库的其他 db 和 db.slow 目录的错误，您还必须复制这些目录。要做到这一点：

      1. 准备容器外部的临时位置，以挂载和访问 OSD 数据库，并提取恢复 Ceph 监控所需的 OSD map：

         ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID

         将 OSD-DATA 替换为 OSD 数据和 OSD-ID 的卷组(VG)或逻辑卷(LV)路径。

      2. 在 BlueStore 数据库和 block.db 之间创建一个符号链接：

         ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db

         将 BLUESTORE-DATABASE 替换为 BlueStore 数据库和 OSD-ID 的卷组(VG)或逻辑卷(LV)路径。

2. 从具有损坏存储的 Ceph 监控节点使用以下命令：对所有节点上的所有 OSD 重复它们。

   1. 从所有 OSD 节点收集 cluster map：

      [root@ mon~]# cd /root/
      [root@mon ~]# ms=/tmp/monstore/
      [root@mon ~]# db=/root/db/
      [root@mon ~]# db_slow=/root/db.slow/
      
      [root@mon ~]# mkdir $ms
      [root@mon ~]# for host in $osd_nodes; do
                      echo "$host"
                      rsync -avz $ms $host:$ms
                      rsync -avz $db $host:$db
                      rsync -avz $db_slow $host:$db_slow
      
                      rm -rf $ms
                      rm -rf $db
                      rm -rf $db_slow
      
                      sh -t $host <<EOF
                        for osd in /var/lib/ceph/osd/ceph-*; do
                          ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms
      
                         done
                      EOF
      
                            rsync -avz $host:$ms $ms
                            rsync -avz $host:$db $db
                            rsync -avz $host:$db_slow $db_slow
                      done

   2. 设置适当的功能：

      [root@mon ~]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key
      [root@mon ~]# cat /etc/ceph/ceph.client.admin.keyring
        [mon.]
          key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
          caps mon = "allow *"
        [client.admin]
          key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
          auid = 0
          caps mds = "allow *"
          caps mgr = "allow *"
          caps mon = "allow *"
          caps osd = "allow *"

   3. 将所有 sst 文件从 db 和 db.slow 目录移动到临时位置：

      [root@mon ~]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db

   4. 从收集的 map 重建 monitor 存储：

      [root@mon ~]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin

      注意

      使用此命令后，Ceph 身份验证数据库中仅存在从 OSD 提取的密钥环 和 ceph-monstore-tool 命令行中指定的密钥环。您必须重新创建或导入所有其他密钥环，如客户端、Ceph 管理器和 Ceph 对象网关等，以便这些客户端可以访问集群。

   5. 备份损坏的存储。对所有 Ceph 监控节点重复此步骤：

      mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted

      使用 Ceph 监控节点的主机名替换 HOSTNAME。

   6. 替换损坏的存储。对所有 Ceph 监控节点重复此步骤：

      scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/

      使用 monitor 节点的主机名替换 HOSTNAME。

   7. 更改新存储的所有者。对所有 Ceph 监控节点重复此步骤：

      chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db

      使用 Ceph 监控节点的主机名替换 HOSTNAME。

3. 如果在容器中使用 Ceph ， 则在所有节点上卸载所有临时挂载的 OSD：

   [root@osd ~]# umount /var/lib/ceph/osd/ceph-*

4. 启动所有 Ceph 监控守护进程：

   [root@mon ~]# systemctl start ceph-mon *

5. 确保 monitor 能够形成仲裁：

   • 裸机部署

     [root@mon ~]# ceph -s

   • 容器

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     使用 Ceph 监控节点的主机名替换 HOSTNAME。

6. 导入 Ceph Manager 密钥环并启动所有 Ceph Manager 进程：

   ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring
   systemctl start ceph-mgr@HOSTNAME

   使用 Ceph 管理器节点的主机名替换 HOSTNAME。

7. 在所有 OSD 节点中启动所有 OSD 进程：

   [root@osd ~]# systemctl start ceph-osd *

8. 确保 OSD 返回到服务：

   • 裸机部署

     [root@mon ~]# ceph -s

   • 容器

     [user@admin ~]$ docker exec ceph-mon-_HOSTNAME_ ceph -s

     使用 Ceph 监控节点的主机名替换 HOSTNAME。

排除此问题，请执行以下操作：

1. 验证 PG 计数是否足够，并在需要时增加。
2. 验证您是否使用最优于集群版本的 CRUSH 可调项，如果不是，请进行调整。
3. 根据利用率更改 OSD 的权重。

4. 启用 Ceph 管理器均衡器模块，优化 OSD 之间的 PG 放置，从而实现均衡分布

   示例

   [root@mon ~]# ceph mgr module enable balancer

5. 确定 OSD 使用的磁盘上保留多少空间。

   1. 查看 OSD 一般使用的空间量：

      [root@mon ~]# ceph osd df

   2. 查看 OSD 在特定节点上使用的空间：从包含 接近ful OSD 的节点运行以下命令：

      $ df

   3. 如果需要，添加新 OSD 节点。

要排除这个问题，请执行以下操作

1. 确定哪个 OSD 处于 down 状态 ：

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1/3 in osds are down
   osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080

2. 尝试重启 ceph-osd 守护进程：

   [root@mon ~]# systemctl restart ceph-osd@OSD_NUMBER

   将 OSD_NUMBER 替换为 down 的 OSD ID，例如：

   [root@mon ~]# systemctl restart ceph-osd@0

   1. 如果您无法启动 ceph-osd，请按照 ceph-osd 守护进程中的步骤启动。
   2. 如果您能够启动 ceph-osd 守护进程但已标记为 down，请按照 ceph-osd 守护进程中的步骤运行，但仍标记为"down"。

ceph-osd 守护进程无法启动

1. 如果您的节点包含多个 OSD（通常超过 12 倍），请验证默认最多线程数（PID 数）是否足够。有关 详细信息，请参阅增加 PID 数。
2. 验证 OSD 数据和日志分区是否已正确挂载。您可以使用 ceph-volume lvm list 命令列出 与 Ceph 存储群集关联的所有设备和卷，然后手动检查它们是否已正确挂载。详情请查看 mount(8) 手册页。
3. 如果您收到错误 的密钥环：缺少密钥环，无法使用 cephx 进行身份验证 错误消息，OSD 缺少密钥环。

4. 如果您收到错误 ROR：无法对 /var/lib/ceph/osd/ceph-1 错误消息打开 OSD 超级块，ceph -osd 守护进程无法读取底层文件系统。有关如何排除故障并修复此错误的说明，请参阅以下步骤。

   注意

   如果在 OSD 主机引导期间返回此错误消息，请打开支持票据，因为这可能表示 在红帽 Bugzilla 1439210 中跟踪了一个已知问题。

5. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 将日志文件存储在裸机部署的 /var/log/ceph/ 目录中。

   注意

   对于基于容器的部署，Ceph 会生成日志到 journald。您可以通过在 Ceph 配置文件中 [global] 下将 log_to_file 参数设置为 true，以启用记录到 /var/log/ceph 中的文件。如需了解更多详细信息 ，请参阅了解 ceph 日志。

   1. EIO 错误消息类似如下，表示底层磁盘失败：

      为修复此问题，请替换底层 OSD 磁盘。详情请参阅 替换 OSD 驱动器。

   2. 如果日志包含任何其他 FAILED assert 错误，如以下错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

      FAILED assert(0 == "hit suicide timeout")

6. 检查 dmesg 输出是否有底层文件系统或磁盘的错误：

   $ dmesg

   1. 如果 dmesg 输出包含任何 SCSI 错误错误消息，请参阅红帽客户门户网站中的 SCSI Error Codes Solution Finder 解决方案，以确定解决问题的最佳方法。
   2. 或者，如果您无法修复底层文件系统，请替换 OSD 驱动器。详情请参阅 替换 OSD 驱动器。

7. 如果 OSD 因分段错误而出现故障，如以下 OSD，请收集必要的信息并打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

   Caught signal (Segmentation fault)

ceph-osd 正在运行，但仍标记为 down

1. 检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 将日志文件存储在裸机部署的 /var/log/ceph/ 目录中。

   注意

   对于基于容器的部署，Ceph 会生成日志到 journald。您可以通过在 Ceph 配置文件中 [global] 下将 log_to_file 参数设置为 true，以启用记录到 /var/log/ceph 中的文件。如需了解更多详细信息 ，请参阅了解 ceph 日志。

   1. 如果日志中包含类似于下文的错误消息，请参阅 Flapping OSD。

      wrongly marked me down
      heartbeat_check: no reply from osd.2 since back

   2. 如果您看到任何其他错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

要排除这个问题，请执行以下操作

1. 再次检查 ceph 运行状况详细信息 命令的输出。如果其中包含 较慢的请求 错误消息，请参阅 如何排除此问题。

   # ceph health detail
   HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests
   30 ops are blocked > 268435 sec
   1 ops are blocked > 268435 sec on osd.11
   1 ops are blocked > 268435 sec on osd.18
   28 ops are blocked > 268435 sec on osd.39
   3 osds have slow requests

2. 确定哪些 OSD 标记为 down 以及它们所在的节点上：

   # ceph osd tree | grep down

3. 在包含 flapping OSD 的节点上，对任何网络问题进行故障排除并修复。详情请参阅对 网络问题进行故障排除。

4. 或者，您可以通过设置 noup 和 no down 标记来临时强制监控器停止将 OSD 标记为 down 和 up ：

   # ceph osd set noup
   # ceph osd set nodown

   重要

   使用 noup 和 nodown 标志不会修复问题的根本原因，而是仅防止 OSD 崩溃。要打开 支持问题单，请参阅联系红帽支持团队部分以了解 详细信息。

要排除这个问题，请执行以下操作

1. 确定请求缓慢或块请求的 OSD 是否共享共同的硬件部分，如磁盘驱动器、主机、机架或网络交换机。

2. 如果 OSD 共享磁盘：

   1. 使用 smartmontools 实用程序检查磁盘或日志的健康状况，以确定磁盘上的任何错误。

      注意

      smartmontools 程序包含在 smartmontools 软件包中。

   2. 使用 iostat 实用程序获取 OSD 磁盘上的 I/O 等待报告(%iowai)，以确定磁盘是否负载过重。

      注意

      The iostat 实用程序包含在 sysstat 软件包中。

3. 如果 OSD 与另一个服务共享节点：

   1. 检查 RAM 和 CPU 使用率
   2. 使用 netstat 实用程序查看网络接口控制器(NIC)上的网络统计信息，并对任何网络问题进行故障排除。如需更多信息，请参阅对 网络问题进行故障排除。
4. 如果 OSD 共享机架，请检查机架的网络交换机。例如，如果您使用巨型帧，请验证路径中的 NIC 是否已设置了巨型帧。
5. 如果您无法确定请求速度较慢的 OSD 共享的硬件部分，或者无法对硬件和网络问题进行故障排除和修复，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

流程

1. 登录 Ansible 管理节点。

2. 进入 /usr/share/ceph-ansible 目录：

   示例

   [ansible@admin ~]$ cd /usr/share/ceph-ansible

3. 运行 Ansible shrink-mds.yml playbook，在出现提示时键入 yes 以确认缩小集群：

   语法

   ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=ID -i hosts

   使用您要删除的 MDS 节点的 ID 替换 ID。每次 playbook 运行时，您只能移除一个 Ceph MDS。

   示例

   [ansible @admin ceph-ansible]$ ansible-playbook infrastructure-playbooks/shrink-mds.yml -e mds_to_kill=node02 -i hosts

4. 以 root 身份或 sudo 访问权限，打开并编辑 /usr/share/ceph-ansible/hosts 清单文件，并在 [mdss] 部分下删除 MDS 节点：

   语法

   [mdss]
   MDS_NODE_NAME
   MDS_NODE_NAME

   示例

   [mdss]
   node01
   node03

   在本例中，node02 已从 [mdss] 列表中删除。

流程

1. 登录到您要从中删除 MDS 守护进程的 Ceph MDS 节点。

2. 停止 Ceph MDS 服务：

   语法

   sudo systemctl stop ceph-mds@HOST_NAME

   将 HOST_NAME 替换为守护进程运行的主机的短名称。

   示例

   [admin@node02 ~]$ sudo systemctl stop ceph-mds@node02

3. 如果您没有将 MDS 重新部署到这个节点，请禁用 MDS 服务：

   语法

   sudo systemctl disable ceph-mds@HOST_NAME

   将 HOST_NAME 替换为要禁用守护进程的主机的短名称。

   示例

   [admin@node02 ~]$ sudo systemctl disable ceph-mds@node02

4. 删除 MDS 节点上的 /var/lib/ceph/mds/ceph-MDS_ID 目录：

   语法

   sudo rm -fr /var/lib/ceph/mds/ceph-MDS_ID

   使用您要从中删除 MDS 守护进程的 MDS 节点 ID 替换 MDS_ID。

   示例

   [admin@node02 ~]$ sudo rm -fr /var/lib/ceph/mds/ceph-node02

流程

1. 登录 Ansible 管理节点

2. 进入 /usr/share/ceph-ansible 目录：

   示例

   [ansible@admin ~]$ cd /usr/share/ceph-ansible

3. 以 root 身份或 sudo 访问权限，打开并编辑 /usr/share/ceph-ansible/hosts 清单文件，并在 [mdss] 部分添加 MDS 节点：

   语法

   [mdss]
   MDS_NODE_NAME
   NEW_MDS_NODE_NAME

   将 NEW_MDS_NODE_NAME 替换为您要安装 MDS 服务器的节点的主机名。

   另外，您可以通过在 [osds] 和 [mdss] 部分添加同一节点来将 MDS 守护进程与一个节点上的 OSD 守护进程合并。

   示例

   [mdss]
   node01
   node03

4. 以 ansible 用户身份，运行 Ansible playbook 以置备 MDS 节点：

   • 裸机部署：

     [ansible@admin ceph-ansible]$ ansible-playbook site.yml --limit mdss -i hosts

   • 容器部署：

     [ansible@admin ceph-ansible]$ ansible-playbook site-container.yml --limit mdss -i hosts

     在 Ansible playbook 运行完成后，新的 Ceph MDS 节点会出现在存储集群中。

流程

1. 通过登录到节点并创建 MDS 挂载点，添加新 MDS 节点：

   语法

   sudo mkdir /var/lib/ceph/mds/ceph-MDS_ID

   使用您要添加 MDS 守护进程的 MDS 节点 ID 替换 MDS_ID。

   示例

   [admin@node03 ~]$ sudo mkdir /var/lib/ceph/mds/ceph-node03

2. 如果是一个新的 MDS 节点，如果您使用 Cephx 身份验证，请创建身份验证密钥：

   语法

   sudo ceph auth get-or-create mds.MDS_ID mon 'profile mds' mgr 'profile mds' mds 'allow *' osd 'allow *' > /var/lib/ceph/mds/ceph-MDS_ID/keyring

   使用 MDS_ID 替换为 MDS 节点的 ID，以在其上部署 MDS 守护进程。

   示例

   [admin@node03 ~]$ sudo ceph auth get-or-create mds.node03 mon 'profile mds' mgr 'profile mds' mds 'allow *' osd 'allow *' > /var/lib/ceph/mds/ceph-node03/keyring

   注意

   默认启用 cephx 身份验证。有关 Cephx 身份验证 的更多信息，请参阅 Additional Resources 部分中的 Cephx 身份验证链接。

3. 启动 MDS 守护进程：

   语法

   sudo systemctl start ceph-mds@HOST_NAME

   将 HOST_NAME 替换为要启动守护进程的主机的短名称。

   示例

   [admin@node03 ~]$ sudo systemctl start ceph-mds@node03

4. 启用 MDS 服务：

   语法

   systemctl enable ceph-mds@HOST_NAME

   将 HOST_NAME 替换为要启用该服务的主机的短名称。

   示例

   [admin@node03 ~]$ sudo systemctl enable ceph-mds@node03

要排除这个问题，请执行以下操作

1. 确定哪些 PG 是 过时的，以及它们存储在哪些 OSD 上。错误消息将包含类似以下示例的信息：

   示例

   # ceph health detail
   HEALTH_WARN 24 pgs stale; 3/300 in osds are down
   ...
   pg 2.5 is stuck stale+active+remapped, last acting [2,0]
   ...
   osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080
   osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539
   osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861

2. 对标记为 down 的 OSD 的任何问题进行故障排除。详情请参阅 关闭 OSD。

要排除这个问题，请执行以下操作

1. 确定哪个 PG 处于 不一致 状态：

   # ceph health detail
   HEALTH_ERR 1 pgs inconsistent; 2 scrub errors
   pg 0.6 is active+clean+inconsistent, acting [0,1,2]
   2 scrub errors

2. 确定 PG 不一致 的原因。

   1. 在 PG 中启动深度清理过程：

      [root@mon ~]# ceph pg deep-scrub ID

      使用 不一致的 PG 的 ID 替换 ID，例如：

      [root@mon ~]# ceph pg deep-scrub 0.6
      instructing pg 0.6 on osd.0 to deep-scrub

   2. 搜索 ceph -w 的输出，以查找与该放置组相关的任何消息：

      ceph -w | grep ID

      使用 不一致的 PG 的 ID 替换 ID，例如：

      [root@mon ~]# ceph -w | grep 0.6
      2015-02-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes.
      2015-02-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors

3. 如果输出包含与以下类似的错误消息，您可以修复 不一致的 PG。详情请参阅 修复不一致的 PG。

   PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE
   PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE
   PG.ID shard OSD: soid OBJECT size 0 != known size SIZE
   PG.ID deep-scrub stat mismatch, got MISMATCH
   PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST

4. 如果输出包含与以下类似的错误消息，则无法安全地修复 不一致的 PG，因为您可以丢失数据。在这种情况下创建一个支持问题单。有关详细信息，请参阅 联系红帽支持。

   PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST
   PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST

要排除这个问题，请执行以下操作

1. 确定哪些 OSD 已 停机 ：

   # ceph osd tree

2. 对 OSD 进行故障排除和修复任何问题。详情请参阅 关闭 OSD。

要排除这个问题，请执行以下操作

1. 确定哪些 OSD 已 停机 ：

   # ceph osd tree

2. 对 OSD 进行故障排除和修复任何问题。

1. OSD.1 停机.
2. OSD.2 处理一些写入操作。
3. OSD.1 启动。
4. osd.1 和 osd .2 启动之间的对等进程启动，并且 osd.1 上缺少的对象排队以进行恢复。
5. 在 Ceph 复制新对象之前，osd.2 中断。

要排除这个问题，请执行以下操作

1. 确定哪个 PG 包含 未找到 的对象：

   [root@mon ~]# ceph health detail
   HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%)
   pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0]
   pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound
   recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**

2. 列出有关 PG 的更多信息：

   [root@mon ~]# ceph pg ID query

   使用包含未找到 对象的 PG 的 ID 替换 ID，例如：

   [root@mon ~]# ceph pg 3.8a5 query
   { "state": "active+recovering",
     "epoch": 10741,
     "up": [
           320,
           248,
           0],
     "acting": [
           320,
           248,
           0],
   <snip>
     "recovery_state": [
           { "name": "Started\/Primary\/Active",
             "enter_time": "2015-01-28 19:30:12.058136",
             "might_have_unfound": [
                   { "osd": "0",
                     "status": "already probed"},
                   { "osd": "248",
                     "status": "already probed"},
                   { "osd": "301",
                     "status": "already probed"},
                   { "osd": "362",
                     "status": "already probed"},
                   { "osd": "395",
                     "status": "already probed"},
                   { "osd": "429",
                     "status": "osd is down"}],
             "recovery_progress": { "backfill_targets": [],
                 "waiting_on_backfill": [],
                 "last_backfill_started": "0\/\/0\/\/-1",
                 "backfill_info": { "begin": "0\/\/0\/\/-1",
                     "end": "0\/\/0\/\/-1",
                     "objects": []},
                 "peer_backfill_info": [],
                 "backfills_in_flight": [],
                 "recovering": [],
                 "pg_backend": { "pull_from_peer": [],
                     "pushing": []}},
             "scrub": { "scrubber.epoch_start": "0",
                 "scrubber.active": 0,
                 "scrubber.block_writes": 0,
                 "scrubber.finalizing": 0,
                 "scrubber.waiting_on": 0,
                 "scrubber.waiting_on_whom": []}},
           { "name": "Started",
             "enter_time": "2015-01-28 19:30:11.044020"}],

   may _have_unfound 部分包括 Ceph 尝试定位 未找到对象的 OSD：

   • 已探测到 的状态表示 Ceph 无法找到 该 OSD 中的未找到对象。
   • osd is down 状态表示 Ceph 无法联系该 OSD。
3. 对标记为 down 的 OSD 进行故障排除。详情请参阅 关闭 OSD。
4. 如果您无法修复导致 OSD 停机 的问题，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。

流程

1. 验证适当的 OSD 是否停机：

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 识别 OSD 内的所有对象，而不考虑 PG:

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list

4. 识别 PG 中的所有对象：

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op list

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op list

5. 识别对象所属的 PG：

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list OBJECT_ID

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list default.region

6. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

流程

1. 验证适当的 OSD 是否停机：

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 使用 ceph-objectstore-tool 实用程序列出 lost 和 unfound 对象。选择适当的情况：

   1. 列出所有丢失的对象：

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list-lost

      示例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list-lost

   2. 列出放置组中的所有丢失对象：

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op list-lost

      示例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op list-lost

   3. 按其标识符列出丢失的对象：

      [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --op list-lost OBJECT_ID

      示例

      [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list-lost default.region

4. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

流程

1. 验证适当的 OSD 是否停机：

   语法

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 列出所有丢失的旧对象：

   语法

   ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost --dry-run

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost --dry-run

4. 以 ceph-objectstore-tool 用户身份，使用 ceph-objectstore-tool 程序修复 丢失和 未找到 的对象。选择适当的情况：

   • 修复所有丢失的对象：

     语法

     su - ceph -c 'ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost'

     示例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost'

   • 修复 PG 中丢失的所有对象：

     su - ceph -c 'ceph-objectstore-tool --data-path _PATH_TO_OSD_ --pgid _PG_ID_ --op fix-lost'

     示例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op fix-lost'

   • 使用标识符修复丢失的对象：

     语法

     su - ceph -c 'ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost OBJECT_ID'

     示例

     [root@osd ~]# su - ceph -c 'ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost default.region'

5. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

流程

1. 验证适当的 OSD 是否停机：

   [root@osd ~]# systemctl status ceph-osd@$OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 通过列出 OSD 或 PG(PG)的对象来查找对象。

4. 在对象中设置字节前，请进行备份和对象的工作副本：

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   get-bytes > OBJECT_FILE_NAME
   
   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   get-bytes > OBJECT_FILE_NAME

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   get-bytes > zone_info.default.backup
   
   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}'  \
   get-bytes > zone_info.default.working-copy

5. 编辑工作复制对象文件，并相应地修改对象内容。

6. 设置对象的字节：

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   set-bytes < OBJECT_FILE_NAME

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   set-bytes < zone_info.default.working-copy

7. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

流程

1. 验证适当的 OSD 是否停机：

   [root@osd ~]# systemctl status ceph-osd@$OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 删除对象：

   语法

   ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   remove

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   remove

4. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

流程

1. 验证适当的 OSD 是否停机：

   [root@osd ~]# systemctl status ceph-osd@OSD_NUMBER

   示例

   [root@osd ~]# systemctl status ceph-osd@1

2. 对于容器化部署，要访问 bluestore 工具，请按照以下步骤执行：

   1. 在集群中设置 noout 标志。

      示例

      [root@mon ~]# ceph osd set noout

   2. 登录托管 OSD 容器的节点。

   3. 将 /etc/systemd/system/ceph-osd@.service 单元文件备份到 /root 目录。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.backup

   4. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /root。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /root

   5. 编辑 /etc/systemd/system/ceph-osd@.service 单元文件，并在 podman 命令中添加 -it --entrypoint /bin/bash 选项。

      示例

      # Please do not change this file directly since it is managed by Ansible and will be overwritten
      [Unit]
      Description=Ceph OSD
      After=network.target
      
      [Service]
      EnvironmentFile=-/etc/environment
      ExecStartPre=-/usr/bin/rm -f /%t/%n-pid /%t/%n-cid
      ExecStartPre=-/usr/bin/podman rm -f ceph-osd-%i
      ExecStart=/usr/bin/podman run -it --entrypoint /bin/bash \
        -d --conmon-pidfile /%t/%n-pid --cidfile /%t/%n-cid \
        --rm \
        --net=host \
        --privileged=true \
        --pid=host \
        --ipc=host \
        --cpus=2 \
        -v /dev:/dev \
        -v /etc/localtime:/etc/localtime:ro \
        -v /var/lib/ceph:/var/lib/ceph:z \
        -v /etc/ceph:/etc/ceph:z \
        -v /var/run/ceph:/var/run/ceph:z \
        -v /var/run/udev/:/var/run/udev/ \
        -v /var/log/ceph:/var/log/ceph:z \
        -e OSD_BLUESTORE=1 -e OSD_FILESTORE=0 -e OSD_DMCRYPT=0 \
        -e CLUSTER=ceph \
        -v /run/lvm/:/run/lvm/ \
        -e CEPH_DAEMON=OSD_CEPH_VOLUME_ACTIVATE \
        -e CONTAINER_IMAGE=registry.redhat.io/rhceph/rhceph-4-rhel8:latest \
        -e OSD_ID=%i \
        -e DEBUG=stayalive \
        --name=ceph-osd-%i \
         \
        registry.redhat.io/rhceph/rhceph-4-rhel8:latest
      ExecStop=-/usr/bin/sh -c "/usr/bin/podman rm -f `cat /%t/%n-cid`"
      KillMode=none
      Restart=always
      RestartSec=10s
      TimeoutStartSec=120
      TimeoutStopSec=15
      Type=forking
      PIDFile=/%t/%n-pid
      
      [Install]
      WantedBy=multi-user.target

   6. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   7. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      systemctl restart ceph-osd@OSD_ID.service

      将 OSD_ID 替换为 OSD 的 ID。

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service

   8. 登录与 OSD_ID 关联的容器。

      语法

      podman exec -it ceph-osd-OSD_ID /bin/bash

      示例

      [root@osd ~]# podman exec -it ceph-osd-0 /bin/bash

   9. 获取 osd fsid 并激活 OSD 以挂载 OSD 的逻辑卷(LV)。

      语法

      ceph-volume lvm list |grep -A15 "osd\.OSD_ID"|grep "osd fsid"
      ceph-volume lvm activate --bluestore OSD_ID OSD_FSID

      示例

      [root@osd ~]# ceph-volume lvm list |grep -A15 "osd\.0"|grep "osd fsid"
                    osd fsid                  087eee15-6561-40a3-8fe4-9583ba64a4ff
      [root@osd ~]# ceph-volume lvm activate --bluestore 0 087eee15-6561-40a3-8fe4-9583ba64a4ff
      Running command: /usr/bin/mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc --path /var/lib/ceph/osd/ceph-0 --no-mon-config
      Running command: /usr/bin/ln -snf /dev/ceph-41c69f8f-30e2-4685-9c5c-c605898c5537/osd-data-d073e8b3-0b89-4271-af5b-83045fd000dc /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -h ceph:ceph /var/lib/ceph/osd/ceph-0/block
      Running command: /usr/bin/chown -R ceph:ceph /dev/mapper/ceph--41c69f8f--30e2--4685--9c5c--c605898c5537-osd--data--d073e8b3--0b89--4271--af5b--83045fd000dc
      Running command: /usr/bin/chown -R ceph:ceph /var/lib/ceph/osd/ceph-0
      Running command: /usr/bin/systemctl enable ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff
       stderr: Created symlink /etc/systemd/system/multi-user.target.wants/ceph-volume@lvm-0-087eee15-6561-40a3-8fe4-9583ba64a4ff.service → /usr/lib/systemd/system/ceph-volume@.service.
      Running command: /usr/bin/systemctl enable --runtime ceph-osd@0
       stderr: Created symlink /run/systemd/system/ceph-osd.target.wants/ceph osd@0.service → /usr/lib/systemd/system/ceph-osd@.service.
      Running command: /usr/bin/systemctl start ceph-osd@0
       stderr: Running in chroot, ignoring request: start
      --> ceph-volume lvm activate successful for osd ID: 0

3. 列出对象映射：

   [root@osd ~]# ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \
   OBJECT \
   list-omap

   示例

   [root@osd ~]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \
   '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \
   list-omap

4. 对于容器化部署，要恢复更改，请按照以下步骤执行：

   1. 退出容器后，从 /root 目录中复制 /etc/systemd/system/ceph-osd@.service 单元文件。

      示例

      [root@osd ~]# cp /etc/systemd/system/ceph-osd@.service /root/ceph-osd@.service.modified
      [root@osd ~]# cp /root/ceph-osd@.service.backup /etc/systemd/system/ceph-osd@.service

   2. 重新加载 systemd 管理器配置。

      示例

      [root@osd ~]# systemctl daemon-reload

   3. 将 /run/ceph-osd@OSD_ID.service-cid 文件移到 /tmp。

      示例

      [root@osd ~]# mv /run/ceph-osd@0.service-cid /tmp

   4. 重新启动与 OSD_ID 关联的 OSD 服务。

      语法

      [root@osd ~]# systemctl restart ceph-osd@OSD_ID.service

      示例

      [root@osd ~]# systemctl restart ceph-osd@0.service