故障排除指南
Red Hat Ceph Storage 故障排除
摘要
第 1 章 初始故障排除
作为存储管理员，您可以在联系红帽支持前对 Red Hat Ceph Storage 集群进行初始故障排除。本章包括以下信息：
1.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
1.2. 识别问题
要确定 Red Hat Ceph Storage 集群的错误可能的原因，请回答流程部分中的问题。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
流程
- 使用不支持的配置时可能会出现某些问题。确保您的配置被支持。
您知道哪个 Ceph 组件导致了此问题吗？
- No. 参照 Red Hat Ceph Storage Troubleshooting Guide 中的 Diagnosing the health of a Ceph storage cluster 过程。
- Ceph 监控器。参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph Monitors 部分。
- Ceph OSD。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph OSDs 部分。
- Ceph 放置组。请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting Ceph placement groups 部分。
- 多站点 Ceph 对象网关.请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Troubleshooting a multi-site Ceph Object Gateway 部分。
其它资源
- 详情请参阅 Red Hat Ceph Storage: 支持的配置文章。
1.3. 诊断存储集群的健康状况
此流程列出了诊断 Red Hat Ceph Storage 集群健康状况的基本步骤。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
流程
登录到 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
检查存储集群的整体状态：
示例
[ceph: root@host01 /]# ceph health detail
如果命令返回
HEALTH_WARN 或HEALTH_ERR，请参见 了解 Ceph 健康状况 以了解详细信息。监控存储集群的日志：
示例
[ceph: root@host01 /]# ceph -W cephadm
要将集群日志捕获到文件中，请运行以下命令：
示例
[ceph: root@host01 /]# ceph config set global log_to_file true [ceph: root@host01 /]# ceph config set global mon_cluster_log_to_file true
日志默认位于
/var/log/ceph/CLUSTER_FSID/目录中。检查 Ceph 日志，以了解 了解 Ceph 日志 中列出的任何错误消息。- 如果日志没有包括足够数量的信息，请提高调试级别，并尝试重现失败的操作。详情请参阅 配置日志。
1.4. 了解 Ceph 的健康状态
ceph health 命令返回有关 Red Hat Ceph Storage 集群状态的信息：
-
HEALTH_OK表示集群处于健康状态。 -
HEALTH_WARN表示警告。在某些情况下，Ceph 状态会自动返回到HEALTH_OK。例如，当红帽 Ceph 存储集群完成重新平衡过程时。但是，如果集群处于HEALTH_WARN状态，请考虑进一步故障排除。 -
HEALTH_ERR表示需要您立即关注的更严重的问题。
使用 ceph 运行状况详细信息 和 ceph -s 命令获取更详细的输出。
如果没有 mgr 守护进程正在运行，则会显示运行状况警告。如果 Red Hat Ceph Storage 集群的最后 mgr 守护进程已被删除，您可以在 Red Hat Storage 集群的随机主机上手动部署 mgr 守护进程。请参阅 Red Hat Ceph Storage 5 Administration Guide 中的 手动部署 mgr 守护进程。
其它资源
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 的 Ceph Monitor error messages 表。
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Ceph OSD error messages 表。
- 请参阅《 红帽 Ceph 存储故障排除指南 》中的 放置组错误消息 表。
1.5. 变异 Ceph 集群的健康警报
在某些情况下，用户可能希望临时修改一些警告，因为他们已经意识到警告并且无法立即对其执行操作。您可以静默健康检查，以便它们不会影响 Ceph 集群的总体报告状态。
使用健康检查代码指定警报。例如，当 OSD 停用以进行维护时，预期会出现 OSD_DOWN 警告。您可以选择在维护结束前静默警告，因为在维护期间，这些警告会使集群处于 HEALTH_WARN 状态而不是 HEALTH_OK 状态。
如果一个警报的状态变差，则大多数健康状况也会消失。例如，如果有一个 OSD 停机并且警报变异，则 mute 会在一个或多个额外 OSD 停机时消失。对于涉及计数的任何健康警报也是如此，指明触发警告或错误的数量。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 对节点的根级别的访问权限。
- 一个健康警告消息。
流程
登录到 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
运行
ceph 运行 health details 命令，检查红帽 Ceph 存储集群的运行状况：示例
[ceph: root@host01 /]# ceph health detail HEALTH_WARN 1 osds down; 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set [WRN] OSD_DOWN: 1 osds down osd.1 (root=default,host=host01) is down [WRN] OSD_FLAGS: 1 OSDs or CRUSH {nodes, device-classes} have {NOUP,NODOWN,NOIN,NOOUT} flags set osd.1 has flags noup您可以看到存储集群处于
HEALTH_WARN 状态，因为其中一个 OSD 已停机。静默警报：
语法
ceph health mute HEALTH_MESSAGE示例
[ceph: root@host01 /]# ceph health mute OSD_DOWN
可选：健康检查 mute 可以有一个时间与其关联的生存时间(TTL)，以便在指定的时间段过后自动过期。在命令中使用可选的 TTL 作为指定持续时间的参数：
语法
ceph health mute HEALTH_MESSAGE DURATION
DURATION 可以在
s、ss、m、min、h或hour中指定。示例
[ceph: root@host01 /]# ceph health mute OSD_DOWN 10m
在本例中，警报
OSD_DOWN变异了 10 分钟。验证 Red Hat Ceph Storage 集群状态是否已改为
HEALTH_OK:示例
[ceph: root@host01 /]# ceph -s cluster: id: 81a4597a-b711-11eb-8cb8-001a4a000740 health: HEALTH_OK (muted: OSD_DOWN(9m) OSD_FLAGS(9m)) services: mon: 3 daemons, quorum host01,host02,host03 (age 33h) mgr: host01.pzhfuh(active, since 33h), standbys: host02.wsnngf, host03.xwzphg osd: 11 osds: 10 up (since 4m), 11 in (since 5d) data: pools: 1 pools, 1 pgs objects: 13 objects, 0 B usage: 85 MiB used, 165 GiB / 165 GiB avail pgs: 1 active+clean在本例中，您可以看到警报 OSD_DOWN 和 OSD_FLAG 处于静默状态，静默会持续 9 分钟。
可选：通过保持 粘性，即使在警报被清除后仍可以保留 mute。
语法
ceph health mute HEALTH_MESSAGE DURATION --sticky
示例
[ceph: root@host01 /]# ceph health mute OSD_DOWN 1h --sticky
您可以运行以下命令来删除静默：
语法
ceph health unmute HEALTH_MESSAGE示例
[ceph: root@host01 /]# ceph health unmute OSD_DOWN
其它资源
- 详情请参阅 Red Hat Ceph Storage Troubleshooting Guide 的 Health messages of a Ceph cluster 部分。
1.6. 了解 Ceph 日志
在启用了日志记录到文件后，Ceph 将其日志存储在 /var/log/ceph/CLUSTER_FSID/ 目录中。要启用日志记录 Ceph Monitor、Ceph Manager、Ceph 对象网关和其他守护进程，请将 log_to_file 设置为 true，如 Diagnosing 存储集群的健康部分所述
The CLUSTER_NAME.log 是包含全局事件的主存储集群日志文件。默认情况下，日志文件名称为 ceph.log。只有 Ceph Monitor 节点会包含主要的存储集群日志。
每个 Ceph OSD 和 monitor 都有自己的日志文件，名为 CLUSTER_NAME-osd.NUMBER.log 和 CLUSTER_NAME-mon.HOSTNAME.log。
当您提高 Ceph 子系统的调试级别时，Ceph 也为这些子系统生成新的日志文件。
其它资源
- 有关日志的详情，请参阅《 红帽 Ceph 存储故障排除指南》的配置 日志。
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Common Ceph Monitor error messages in the Ceph logs 表。
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Common Ceph OSD error messages in the Ceph logs 表。
- 请参阅 Ceph 守护进程日志，以启用记录到文件。
1.7. 生成 sos 报告
您可以运行 sos report 命令，从 Red Hat Enterprise Linux 收集 Red Hat Ceph Storage 集群的配置详情、系统信息和诊断信息。红帽支持团队使用此信息进一步排除存储集群的问题。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 对节点的根级别访问权限。
流程
安装
sos软件包：示例
[root@host01 ~]# dnf install sos
注意安装
sos-4.0.11.el8软件包或更新的版本，以正确捕获 Ceph 命令输出。运行
sos 报告以获取存储集群的系统信息：示例
[root@host01 ~]# sosreport -a --all-logs
报告保存在
/var/tmp文件中。对于 sos 版本 4.3 及更新的版本，您需要运行以下命令获取特定的 Ceph 信息：
示例
[root@host01 ~]# sos report -a --all-logs -e ceph_mon
其它资源
- 请参阅 什么是 sosreport 以及如何在 Red Hat Enterprise Linux 中创建 sosreport？如需更多信息，知识库文章。
第 2 章 配置日志记录
本章介绍如何为各种 Ceph 子系统配置日志记录。
日志记录非常耗费资源。另外，详细日志记录可以在相对较短的时间内生成大量数据。如果您在集群的特定子系统中遇到问题，请仅启用该子系统的日志记录。如需更多信息，请参阅 第 2.2 节 “Ceph 子系统”。
此外，还要考虑设置日志文件轮转。详情请查看 第 2.5 节 “加快日志轮转”。
在遇到的所有问题都被修复后，将子系统日志和内存级别更改为默认值。查看所有 Ceph 子系统及其默认值的列表，请参见 附录 A, Ceph 子系统默认日志记录级别值。
您可以通过以下方法配置 Ceph 日志：
-
在运行
时使用 ceph命令.这是最常见的方法。详情请查看 第 2.3 节 “在运行时配置日志记录”。 - 更新 Ceph 配置文件.如果您在启动集群时遇到问题，请使用这种方法。详情请查看 第 2.4 节 “配置登录配置文件”。
2.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
2.2. Ceph 子系统
本节包含 Ceph 子系统及其日志记录级别的信息。
了解 Ceph 子系统及其日志记录级别
Ceph 由多个子系统组成：
每个子系统都有其日志记录级别：
-
默认存储在
/var/log/ceph/CLUSTER_FSID/目录（日志级别）中的输出日志。要启用日志记录 Ceph Monitor、Ceph Manager、Ceph 对象网关和其他守护进程，请将log_to_file设置为true，如 Diagnosing 存储集群的健康部分所述 - 存储在内存缓存中的日志（内存级别）
通常，Ceph 不会将内存中存储的日志发送到输出日志，除非：
- 引发致命信号
- 源代码中触发了 assert
- 您请求它
您可以为每个子系统设置不同的值。Ceph 日志级别在 1 到 20 范围内运行，其中 1 最简洁，20 最详细。
对日志级别和内存级别使用单个值，以将它们都设置为相同的值。例如，debug_osd = 5 将 ceph-osd 守护进程的 debug 级别设置为 5。
要将不同的值用于输出日志级别和内存级别，请使用正斜杠(/)分隔它们的值。例如，debug _mon = 1/5 将 ceph-mon 守护进程的调试日志级别设置为 1，并将其内存日志级别设置为 5。
表 2.1. Ceph 子系统和日志记录默认值
| 子系统 | 日志级别 | 内存级别 | 描述 |
|---|---|---|---|
|
| 1 | 5 | 管理套接字 |
|
| 1 | 5 | 身份验证 |
|
| 0 | 5 |
使用 |
|
| 1 | 5 | BlueStore OSD 后端 |
|
| 1 | 5 | OSD 日志 |
|
| 1 | 5 | 元数据服务器 |
|
| 0 | 5 | monitor 客户端处理大部分 Ceph 守护进程和 monitor 之间的通信 |
|
| 1 | 5 | monitor |
|
| 0 | 5 | Ceph 组件之间的消息传递系统 |
|
| 0 | 5 | OSD 守护进程 |
|
| 0 | 5 | 监控用于建立共识的算法 |
|
| 0 | 5 | 可靠的自主分布式对象存储，Ceph 的核心组件 |
|
| 0 | 5 | Ceph 块设备 |
|
| 1 | 5 | Ceph 对象网关 |
日志输出示例
下例演示了当您提高 monitor 和 OSD 的详细程度时，日志中的消息类型。
监控调试设置
debug_ms = 5 debug_mon = 20 debug_paxos = 20 debug_auth = 20
monitor 调试设置的日志输出示例
2022-05-12 12:37:04.278761 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 e322: 2 osds: 2 up, 2 in 2022-05-12 12:37:04.278792 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 min_last_epoch_clean 322 2022-05-12 12:37:04.278795 7f45a9afc700 10 mon.cephn2@0(leader).log v1010106 log 2022-05-12 12:37:04.278799 7f45a9afc700 10 mon.cephn2@0(leader).auth v2877 auth 2022-05-12 12:37:04.278811 7f45a9afc700 20 mon.cephn2@0(leader) e1 sync_trim_providers 2022-05-12 12:37:09.278914 7f45a9afc700 11 mon.cephn2@0(leader) e1 tick 2022-05-12 12:37:09.278949 7f45a9afc700 10 mon.cephn2@0(leader).pg v8126 v8126: 64 pgs: 64 active+clean; 60168 kB data, 172 MB used, 20285 MB / 20457 MB avail 2022-05-12 12:37:09.278975 7f45a9afc700 10 mon.cephn2@0(leader).paxosservice(pgmap 7511..8126) maybe_trim trim_to 7626 would only trim 115 < paxos_service_trim_min 250 2022-05-12 12:37:09.278982 7f45a9afc700 10 mon.cephn2@0(leader).osd e322 e322: 2 osds: 2 up, 2 in 2022-05-12 12:37:09.278989 7f45a9afc700 5 mon.cephn2@0(leader).paxos(paxos active c 1028850..1029466) is_readable = 1 - now=2021-08-12 12:37:09.278990 lease_expire=0.000000 has v0 lc 1029466 .... 2022-05-12 12:59:18.769963 7f45a92fb700 1 -- 192.168.0.112:6789/0 <== osd.1 192.168.0.114:6800/2801 5724 ==== pg_stats(0 pgs tid 3045 v 0) v1 ==== 124+0+0 (2380105412 0 0) 0x5d96300 con 0x4d5bf40 2022-05-12 12:59:18.770053 7f45a92fb700 1 -- 192.168.0.112:6789/0 --> 192.168.0.114:6800/2801 -- pg_stats_ack(0 pgs tid 3045) v1 -- ?+0 0x550ae00 con 0x4d5bf40 2022-05-12 12:59:32.916397 7f45a9afc700 0 mon.cephn2@0(leader).data_health(1) update_stats avail 53% total 1951 MB, used 780 MB, avail 1053 MB .... 2022-05-12 13:01:05.256263 7f45a92fb700 1 -- 192.168.0.112:6789/0 --> 192.168.0.113:6800/2410 -- mon_subscribe_ack(300s) v1 -- ?+0 0x4f283c0 con 0x4d5b440
OSD 调试设置
debug_ms = 5 debug_osd = 20
OSD 调试设置的日志输出示例
2022-05-12 11:27:53.869151 7f5d55d84700 1 -- 192.168.17.3:0/2410 --> 192.168.17.4:6801/2801 -- osd_ping(ping e322 stamp 2021-08-12 11:27:53.869147) v2 -- ?+0 0x63baa00 con 0x578dee0 2022-05-12 11:27:53.869214 7f5d55d84700 1 -- 192.168.17.3:0/2410 --> 192.168.0.114:6801/2801 -- osd_ping(ping e322 stamp 2021-08-12 11:27:53.869147) v2 -- ?+0 0x638f200 con 0x578e040 2022-05-12 11:27:53.870215 7f5d6359f700 1 -- 192.168.17.3:0/2410 <== osd.1 192.168.0.114:6801/2801 109210 ==== osd_ping(ping_reply e322 stamp 2021-08-12 11:27:53.869147) v2 ==== 47+0+0 (261193640 0 0) 0x63c1a00 con 0x578e040 2022-05-12 11:27:53.870698 7f5d6359f700 1 -- 192.168.17.3:0/2410 <== osd.1 192.168.17.4:6801/2801 109210 ==== osd_ping(ping_reply e322 stamp 2021-08-12 11:27:53.869147) v2 ==== 47+0+0 (261193640 0 0) 0x6313200 con 0x578dee0 .... 2022-05-12 11:28:10.432313 7f5d6e71f700 5 osd.0 322 tick 2022-05-12 11:28:10.432375 7f5d6e71f700 20 osd.0 322 scrub_random_backoff lost coin flip, randomly backing off 2022-05-12 11:28:10.432381 7f5d6e71f700 10 osd.0 322 do_waiters -- start 2022-05-12 11:28:10.432383 7f5d6e71f700 10 osd.0 322 do_waiters -- finish
其它资源
2.3. 在运行时配置日志记录
您可以在系统运行时配置 Ceph 子系统日志记录，以帮助对可能出现的任何问题进行故障排除。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- Ceph 调试器访问权限.
流程
要在运行时激活 Ceph 调试输出，
dout（）：ceph tell TYPE.ID injectargs --debug-SUBSYSTEM VALUE [--NAME VALUE]
替换：
-
TYPE，它具有 Ceph 守护进程的类型（osd、mon或mds） -
ID，具有 Ceph 守护进程的特定 ID。或者，使用*将运行时设置应用到特定类型的所有守护进程。 -
SUBSYSTEM带有一个特定的子系统。 VALUE为介于1到20之间的一个值，其中1为 terse，20为详细。例如，将名为
osd.0的 OSD 子系统的日志级别设置为 0，将内存级别设置为 5：# ceph tell osd.0 injectargs --debug-osd 0/5
-
要在运行时查看配置设置：
-
使用正在运行的 Ceph 守护进程登录主机，如
ceph-osd或ceph-mon。 显示配置：
语法
ceph daemon NAME config show | less示例
[ceph: root@host01 /]# ceph daemon osd.0 config show | less
其它资源
- 详情请参阅 Ceph 子系统。
- 详情请参阅 配置登录配置文件。
- Red Hat Ceph Storage 5 的 Configuration Guide 中的 Ceph Debugging and Logging Configuration Reference 章节。
2.4. 配置登录配置文件
配置 Ceph 子系统，以将信息、警告和错误消息记录到日志文件。您可以在 Ceph 配置文件中指定调试级别，默认为 /etc/ceph/ceph.conf。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
流程
若要激活 Ceph 调试输出，可在启动时
dout（）添加调试设置到 Ceph 配置文件。-
对于每个守护进程常见的子系统，请在
[global]部分下添加设置。 对于特定守护进程的子系统，请在守护进程部分中添加设置，如
[mon]、[osd]或[mds]。示例
[global] debug_ms = 1/5 [mon] debug_mon = 20 debug_paxos = 1/5 debug_auth = 2 [osd] debug_osd = 1/5 debug_monc = 5/20 [mds] debug_mds = 1
-
对于每个守护进程常见的子系统，请在
其它资源
- Ceph 子系统
- 在运行时配置日志记录
- Red Hat Ceph Storage 5 的 Configuration Guide 中的 Ceph Debugging and Logging Configuration Reference 章节
2.5. 加快日志轮转
提高 Ceph 组件的调试级别可能会产生大量数据。如果您的磁盘空间几乎用完，可以通过修改 /etc/logrotate.d/ceph 中的 Ceph 日志轮转文件来加快日志轮转。Cron 作业调度程序使用此文件来调度日志轮转。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 节点的根级别访问权限。
流程
在轮转频率后向日志轮转文件中添加大小设置：
rotate 7 weekly size SIZE compress sharedscripts例如，在日志文件达到 500 MB 时轮转日志文件：
rotate 7 weekly size 500 MB compress sharedscripts size 500M
打开
crontab编辑器：[root@mon ~]# crontab -e
添加条目以检查
/etc/logrotate.d/ceph文件。例如，指示 Cron 每 30 分钟检查/etc/logrotate.d/ceph一次 ：30 * * * * /usr/sbin/logrotate /etc/logrotate.d/ceph >/dev/null 2>&1
2.6. 为 Ceph 对象网关创建和收集操作日志
用户身份信息添加到操作日志输出中。这用于使用户访问此信息以审核 S3 访问。跟踪 S3 请求在所有 Ceph 对象网关操作日志中可靠的用户身份。
流程
查找日志所在的位置：
语法
logrotate -f
示例
[root@host01 ~]# logrotate -f /etc/logrotate.d/ceph-12ab345c-1a2b-11ed-b736-fa163e4f6220
列出指定位置的日志：
语法
ll LOG_LOCATION示例
[root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220 -rw-r--r--. 1 ceph ceph 412 Sep 28 09:26 opslog.log.1.gz
列出当前的存储桶：
示例
[root@host01 ~]# /usr/local/bin/s3cmd ls
创建存储桶：
语法
/usr/local/bin/s3cmd mb s3://NEW_BUCKET_NAME示例
[root@host01 ~]# /usr/local/bin/s3cmd mb s3://bucket1 Bucket `s3://bucket1` created
列出当前的日志：
语法
ll LOG_LOCATION示例
[root@host01 ~]# ll /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220 total 852 ... -rw-r--r--. 1 ceph ceph 920 Jun 29 02:17 opslog.log -rw-r--r--. 1 ceph ceph 412 Jun 28 09:26 opslog.log.1.gz
收集日志：
语法
tail -f LOG_LOCATION/opslog.log示例
[root@host01 ~]# tail -f /var/log/ceph/12ab345c-1a2b-11ed-b736-fa163e4f6220/opslog.log {"bucket":"","time":"2022-09-29T06:17:03.133488Z","time_local":"2022-09- 29T06:17:03.133488+0000","remote_addr":"10.0.211.66","user":"test1", "operation":"list_buckets","uri":"GET / HTTP/1.1","http_status":"200","error_code":"","bytes_sent":232, "bytes_received":0,"object_size":0,"total_time":9,"user_agent":"","referrer": "","trans_id":"tx00000c80881a9acd2952a-006335385f-175e5-primary", "authentication_type":"Local","access_key_id":"1234","temp_url":false} {"bucket":"cn1","time":"2022-09-29T06:17:10.521156Z","time_local":"2022-09- 29T06:17:10.521156+0000","remote_addr":"10.0.211.66","user":"test1", "operation":"create_bucket","uri":"PUT /cn1/ HTTP/1.1","http_status":"200","error_code":"","bytes_sent":0, "bytes_received":0,"object_size":0,"total_time":106,"user_agent":"", "referrer":"","trans_id":"tx0000058d60c593632c017-0063353866-175e5-primary", "authentication_type":"Local","access_key_id":"1234","temp_url":false}
第 3 章 网络问题故障排除
本章列出了与网络时间协议(NTP)联网和 chrony 连接的基本故障排除步骤。
3.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
3.2. 基本网络故障排除
红帽 Ceph 存储很大程度上依赖于可靠的网络连接。红帽 Ceph 存储节点使用网络相互通信。网络问题可能会导致 Ceph OSD 出现很多问题，如断路，或者错误地报告为 down。网络问题也可能导致 Ceph monitor 的时钟偏移错误。此外，数据包丢失、高延迟或有限带宽可能会影响集群性能和稳定性。
先决条件
- 节点的根级别访问权限。
流程
在对 Ceph 存储集群中可能发生的网络问题进行故障排除时，安装
net-tools和telnet软件包会有所帮助：示例
[root@host01 ~]# dnf install net-tools [root@host01 ~]# dnf install telnet
登录
cephadmshell，再验证 Ceph 配置文件中的public_network参数是否包含正确的值：示例
[ceph: root@host01 /]# cat /etc/ceph/ceph.conf # minimal ceph.conf for 57bddb48-ee04-11eb-9962-001a4a000672 [global] fsid = 57bddb48-ee04-11eb-9962-001a4a000672 mon_host = [v2:10.74.249.26:3300/0,v1:10.74.249.26:6789/0] [v2:10.74.249.163:3300/0,v1:10.74.249.163:6789/0] [v2:10.74.254.129:3300/0,v1:10.74.254.129:6789/0] [mon.host01] public network = 10.74.248.0/21
退出 shell 并验证网络接口是否已启动：
示例
[root@host01 ~]# ip link list 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 2: ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP mode DEFAULT group default qlen 1000 link/ether 00:1a:4a:00:06:72 brd ff:ff:ff:ff:ff:ff验证 Ceph 节点能够使用它们的短主机名互相访问。在存储集群的每个节点上验证它：
语法
ping SHORT_HOST_NAME示例
[root@host01 ~]# ping host02
如果使用防火墙，请确保 Ceph 节点可以在相应的端口上相互访问。
firewall-cmd和telnet工具可以验证端口状态，以及端口是否分别打开：语法
firewall-cmd --info-zone=ZONE telnet IP_ADDRESS PORT
示例
[root@host01 ~]# firewall-cmd --info-zone=public public (active) target: default icmp-block-inversion: no interfaces: ens3 sources: services: ceph ceph-mon cockpit dhcpv6-client ssh ports: 9283/tcp 8443/tcp 9093/tcp 9094/tcp 3000/tcp 9100/tcp 9095/tcp protocols: masquerade: no forward-ports: source-ports: icmp-blocks: rich rules: [root@host01 ~]# telnet 192.168.0.22 9100
验证接口计数器上没有错误。验证节点之间的网络连接具有预期的延迟，并且没有数据包丢失。
使用
ethtool命令：语法
ethtool -S INTERFACE示例
[root@host01 ~]# ethtool -S ens3 | grep errors NIC statistics: rx_fcs_errors: 0 rx_align_errors: 0 rx_frame_too_long_errors: 0 rx_in_length_errors: 0 rx_out_length_errors: 0 tx_mac_errors: 0 tx_carrier_sense_errors: 0 tx_errors: 0 rx_errors: 0使用
ifconfig命令：示例
[root@host01 ~]# ifconfig ens3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 10.74.249.26 netmask 255.255.248.0 broadcast 10.74.255.255 inet6 fe80::21a:4aff:fe00:672 prefixlen 64 scopeid 0x20<link> inet6 2620:52:0:4af8:21a:4aff:fe00:672 prefixlen 64 scopeid 0x0<global> ether 00:1a:4a:00:06:72 txqueuelen 1000 (Ethernet) RX packets 150549316 bytes 56759897541 (52.8 GiB) RX errors 0 dropped 176924 overruns 0 frame 0 TX packets 55584046 bytes 62111365424 (57.8 GiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10<host> loop txqueuelen 1000 (Local Loopback) RX packets 9373290 bytes 16044697815 (14.9 GiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 9373290 bytes 16044697815 (14.9 GiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0使用
netstat命令：示例
[root@host01 ~]# netstat -ai Kernel Interface table Iface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg ens3 1500 311847720 0 364903 0 114341918 0 0 0 BMRU lo 65536 19577001 0 0 0 19577001 0 0 0 LRU
对于性能问题，除了延迟检查和验证存储集群所有节点之间的网络带宽外，使用
iperf3工具。iperf3工具在服务器和客户端之间进行简单的点对点网络带宽测试。在您要检查带宽的 Red Hat Ceph Storage 节点上安装
iperf3软件包：示例
[root@host01 ~]# dnf install iperf3
在 Red Hat Ceph Storage 节点上启动
iperf3服务器：示例
[root@host01 ~]# iperf3 -s ----------------------------------------------------------- Server listening on 5201 -----------------------------------------------------------
注意默认端口为 5201，但可使用
-P命令参数设置。在不同的 Red Hat Ceph Storage 节点上，启动
iperf3客户端：示例
[root@host02 ~]# iperf3 -c mon Connecting to host mon, port 5201 [ 4] local xx.x.xxx.xx port 52270 connected to xx.x.xxx.xx port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 114 MBytes 954 Mbits/sec 0 409 KBytes [ 4] 1.00-2.00 sec 113 MBytes 945 Mbits/sec 0 409 KBytes [ 4] 2.00-3.00 sec 112 MBytes 943 Mbits/sec 0 454 KBytes [ 4] 3.00-4.00 sec 112 MBytes 941 Mbits/sec 0 471 KBytes [ 4] 4.00-5.00 sec 112 MBytes 940 Mbits/sec 0 471 KBytes [ 4] 5.00-6.00 sec 113 MBytes 945 Mbits/sec 0 471 KBytes [ 4] 6.00-7.00 sec 112 MBytes 937 Mbits/sec 0 488 KBytes [ 4] 7.00-8.00 sec 113 MBytes 947 Mbits/sec 0 520 KBytes [ 4] 8.00-9.00 sec 112 MBytes 939 Mbits/sec 0 520 KBytes [ 4] 9.00-10.00 sec 112 MBytes 939 Mbits/sec 0 520 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 1.10 GBytes 943 Mbits/sec 0 sender [ 4] 0.00-10.00 sec 1.10 GBytes 941 Mbits/sec receiver iperf Done.
此输出显示红帽 Ceph 存储节点之间的网络带宽 1.1 Gbits/秒，测试期间不会再传输(
Retr)。红帽建议您验证存储集群中所有节点之间的网络带宽。
确保所有节点具有相同的网络互连速度。连接较慢的节点可能会减慢连接速度更快的节点。另外，确保交换机链接可以处理附加节点的聚合带宽：
语法
ethtool INTERFACE示例
[root@host01 ~]# ethtool ens3 Settings for ens3: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Half 1000baseT/Full Supported pause frame use: No Supports auto-negotiation: Yes Supported FEC modes: Not reported Advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Half 1000baseT/Full Advertised pause frame use: Symmetric Advertised auto-negotiation: Yes Advertised FEC modes: Not reported Link partner advertised link modes: 10baseT/Half 10baseT/Full 100baseT/Half 100baseT/Full 1000baseT/Full Link partner advertised pause frame use: Symmetric Link partner advertised auto-negotiation: Yes Link partner advertised FEC modes: Not reported Speed: 1000Mb/s 1 Duplex: Full 2 Port: Twisted Pair PHYAD: 1 Transceiver: internal Auto-negotiation: on MDI-X: off Supports Wake-on: g Wake-on: d Current message level: 0x000000ff (255) drv probe link timer ifdown ifup rx_err tx_err Link detected: yes 3
其它资源
- 详情请查看客户门户网站中的基本网络故障排除解决方案。
- 请参阅 "ethtool"命令，以及如何使用它来获取关于我的网络设备和接口的信息，了解详细信息。
- 详情请查看 RHEL 网络接口在客户门户网站中丢弃数据包解决方案。
- 详情请查看客户门户上 可用于红帽 Ceph 存储的性能基准测试工具是什么？
- 如需更多信息，请参阅客户门户网站中的与网络问题故障排除相关的 知识库文章和解决方案。
3.3. 基本 chrony NTP 故障排除
本节包含基本的 chrony NTP 故障排除步骤。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- Ceph 监控节点的根级别访问权限.
流程
验证
chronyd守护进程是否在 Ceph Monitor 主机上运行：示例
[root@mon ~]# systemctl status chronyd
如果
chronyd未运行，请启用并启动它：示例
[root@mon ~]# systemctl enable chronyd [root@mon ~]# systemctl start chronyd
确定
chronyd正确同步了时钟：示例
[root@mon ~]# chronyc sources [root@mon ~]# chronyc sourcestats [root@mon ~]# chronyc tracking
其它资源
- 如需了解高级 chrony NTP 故障排除步骤，请参阅红帽客户门户网站中的 chrony 问题解决方案。
- 详情请查看 Red Hat Ceph Storage 故障排除指南中的 Clock skew 部分。
- 详情请查看 检查是否同步 chrony 部分。
第 4 章 Ceph 监控器故障排除
本章包含关于如何修复与 Ceph 监控器相关的最常见错误的信息。
4.1. 先决条件
- 验证网络连接。
4.2. 大多数常见 Ceph 监控错误
下表列出了 ceph 运行状况详细信息 命令返回或包含在 Ceph 日志中的最常见错误消息：这些表中提供了相应部分的链接，这些部分解释了错误并指向修复问题的特定程序。
4.2.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
4.2.2. Ceph 监控错误消息
常见 Ceph monitor 错误消息和可能的修复表。
| 错误消息 | 查看 |
|---|---|
|
| |
|
| |
|
| |
|
| |
4.2.3. Ceph 日志中的通用 Ceph monitor 错误消息
Ceph 日志中找到的常见 Ceph monitor 错误消息表，以及指向潜在修复的链接。
| 错误消息 | 日志文件 | 查看 |
|---|---|---|
|
| 主集群日志 | |
|
| 主集群日志 | |
|
| 监控日志 | |
|
| 监控日志 | |
|
| 监控日志 |
4.2.4. Ceph monitor 超出仲裁数
个或多个 Ceph 监控器已标记为 down，但其他 Ceph 监控器仍然能够形成仲裁。此外，ceph health detail 命令返回类似如下的错误消息：
HEALTH_WARN 1 mons down, quorum 1,2 mon.b,mon.c mon.a (rank 0) addr 127.0.0.1:6789/0 is down (out of quorum)
此 Means 是什么
Ceph 将 Ceph monitor 标记为 down，原因有多种。
如果 ceph-mon 守护进程未在运行，它可能具有损坏的存储或者其他一些错误阻止守护进程启动。另外，/var/ 分区可能已满。因此，ceph -mon 无法对位于 /var/lib/ceph/mon-SHORT_HOST_NAME/store.db 的存储执行任何操作，并终止。
如果 ceph-mon 守护进程正在运行，但 Ceph monitor 没有仲裁并标记为 down，问题的原因取决于 Ceph monitor 状态：
-
如果 Ceph 监控器处于 probing 状态的时间超过预期，则代表它无法找到其他 Ceph 监控器。此问题可能是由网络问题造成的，或者 Ceph monitor 可能有过时的 Ceph monitor map(
monmap)，并尝试访问错误的 IP 地址上的其他 Ceph 监控器。另外，如果monmap是最新的，Ceph monitor 的时钟可能无法同步。 - 如果 Ceph monitor 处于 electing 状态的时间超过预期，Ceph 监控器的时钟可能没有同步。
- 如果 Ceph monitor 将自己的状态从 同步 更改为开 机和 返回，集群状态将会发展。这意味着，它生成的新 map 的速度要快于同步进程可以处理的速度。
- 如果 Ceph 监控器将自身标记为 leader 或 peon，那么它认为自己处于仲裁状态，而剩余的集群则确定它没有处于这个状态。此问题可能是时钟同步失败造成的。
要排除这个问题，请执行以下操作
验证
ceph-mon守护进程正在运行。如果没有，启动它：语法
systemctl status ceph-FSID@DAEMON_NAME systemctl start ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service [root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
-
如果无法启动
ceph-mon守护进程，请按照 Theceph-mondaemon cannot start 步骤进行操作。 -
如果您可以启动
ceph-mon守护进程但标记为down，请按照ceph-mon守护进程中的步骤运行，但标记为"down"。
ceph-mon Daemon 无法启动
检查
/var/log/ceph/CLUSTER_FSID/ceph-mon.HOST_NAME.log中对应的 Ceph Monitor 日志。注意默认情况下，日志文件夹中不存在 monitor 日志。您需要启用日志记录到文件，以便日志出现在 文件夹中。请参阅 Ceph 守护进程日志，以启用记录到文件。
如果日志中包含类似于下列错误消息的错误消息，Ceph monitor 可能具有损坏的存储：
Corruption: error in middle of record Corruption: 1 missing files; example: /var/lib/ceph/mon/mon.0/store.db/1234567.ldb
若要修复此问题，可替换 Ceph Monitor。请参阅替换失败的 monitor。
如果日志包含类似如下的错误消息，
/var/分区可能已满。从/var/删除任何不必要的数据。Caught signal (Bus error)
重要不要手动从 monitor 目录中删除任何数据。而应使用
ceph-monstore-tool将它压缩。详情请参阅 紧凑 Ceph monitor 存储。- 如果您看到任何其他错误消息，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。
ceph-mon Daemon 运行，但 Still Marked 为 down
在超出仲裁的 Ceph Monitor 主机中，使用
mon_status命令检查其状态：[root@mon ~]# ceph daemon ID mon_status使用 Ceph monitor 的
ID替换 ID，例如：[ceph: root@host01 /]# ceph daemon mon.host01 mon_status
如果状态为 probing ， 请验证
mon_status输出中其他 Ceph monitor 的位置。-
如果地址不正确，Ceph monitor 具有不正确的 Ceph monitor map(
monmap)。若要修复此问题，请参阅注入 Ceph monitor map。 - 如果地址正确，请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。另外，对任何网络问题进行故障排除，请参阅 对网络进行故障排除以了解详细信息。
-
如果地址不正确，Ceph monitor 具有不正确的 Ceph monitor map(
- 如果状态为选中状态 ， 请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。
- 如果状态从 选择 同步变为 同步，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。
- 如果 Ceph monitor 是 领导 机或工作 机， 请验证 Ceph 监控时钟是否已同步。详情请查看 Clock skew。如果同步时钟无法解决问题，请创建一个支持问题单。有关 详细信息，请参阅联系红帽支持团队。
其它资源
- 请参阅 了解 Ceph Monitor 状态
- Red Hat Ceph Storage Administration Guide 中的 Starting, Stopping, Restarting the Ceph daemons 部分。
- Red Hat Ceph Storage Administration Guide 中的 Using the Ceph Administration Socket 部分。
4.2.5. Clock skew
Ceph monitor 超出仲裁数，ceph 运行状况详情 命令输出包含类似于如下的错误消息：
mon.a (rank 0) addr 127.0.0.1:6789/0 is down (out of quorum) mon.a addr 127.0.0.1:6789/0 clock skew 0.08235s > max 0.05s (latency 0.0045s)
此外，Ceph 日志包含类似如下的错误消息：
2022-05-04 07:28:32.035795 7f806062e700 0 log [WRN] : mon.a 127.0.0.1:6789/0 clock skew 0.14s > max 0.05s 2022-05-04 04:31:25.773235 7f4997663700 0 log [WRN] : message from mon.1 was stamped 0.186257s in the future, clocks not synchronized
此 Means 是什么
时钟偏移 错误消息表示 Ceph 监控器的时钟没有同步。时钟同步很重要，因为 Ceph monitor 依赖于时间精度，如果时钟不同步，其行为不可预知。
mon_clock_drift_allowed 参数决定时钟之间的差别是 tolerated。默认情况下，此参数设置为 0.05 秒。
在未进行之前测试的情况下，请勿更改 mon_clock_drift_allowed 的默认值。更改此值可能会影响 Ceph 监控器和 Ceph 存储群集的稳定性。
时钟偏移 错误的原因包括：如果配置了 chrony 网络时间协议(NTP)同步中的网络问题或问题。此外，时间同步无法在虚拟机上部署的 Ceph 监控器上正常工作。
要排除这个问题，请执行以下操作
- 验证您的网络是否正常工作。详情请参阅对 网络问题进行故障排除。如果您使用 chrony 作为 NTP，请参阅 基本 chrony NTP 故障排除部分。
- 如果您使用远程 NTP 服务器，请考虑在网络上部署自己的 chrony NTP 服务器。详情请参阅为 Red Hat Enterprise Linux 8 配置基本系统设置 中的使用 Chrony 套件配置 NTP 章节。
Ceph 仅评估每五分钟的时间同步，因此修复问题与清除 时钟偏移 消息之间会有一个延迟。
4.2.6. Ceph 监控器存储太大
ceph health 命令返回类似如下的错误消息：
mon.ceph1 store is getting too big! 48031 MB >= 15360 MB -- 62% avail
此 Means 是什么
Ceph Monitor 存储实际上是 RocksDB 数据库，它将条目存储为键值对。数据库包含一个 cluster map，默认位于 /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME/store.db。
查询大型 monitor 存储可能需要时间。因此，Ceph monitor 在响应客户端查询时可能会延迟。
此外，如果 /var/ 分区已满，Ceph monitor 无法对存储执行任何写入操作并终止。如需了解对此问题进行故障排除的详细信息 ，请参阅 Ceph monitor 仲裁。
要排除这个问题，请执行以下操作
检查数据库的大小：
语法
du -sch /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME/store.db/
指定集群的名称，以及运行
ceph-mon的主机的短主机名。示例
[root@mon ~]# du -sh /var/lib/ceph/b341e254-b165-11ed-a564-ac1f6bb26e8c/mon.host01/ 109M /var/lib/ceph/b341e254-b165-11ed-a564-ac1f6bb26e8c/mon.host01/ 47G /var/lib/ceph/mon/ceph-ceph1/store.db/ 47G total
- 紧凑 Ceph 监控存储.详情请参阅 紧凑 Ceph monitor 存储。
其它资源
4.2.7. 了解 Ceph 监控状态
mon_status 命令返回 Ceph monitor 的信息，例如：
- 状态
- 等级
- 选举时期
-
monitor map(
monmap)
如果 Ceph monitor 能够形成仲裁，请使用 mon_status 和 ceph 命令行实用程序。
如果 Ceph monitor 无法形成仲裁，但 ceph-mon 守护进程正在运行，请使用管理 socket 来执行 mon_status。
mon_status 输出示例
{
"name": "mon.3",
"rank": 2,
"state": "peon",
"election_epoch": 96,
"quorum": [
1,
2
],
"outside_quorum": [],
"extra_probe_peers": [],
"sync_provider": [],
"monmap": {
"epoch": 1,
"fsid": "d5552d32-9d1d-436c-8db1-ab5fc2c63cd0",
"modified": "0.000000",
"created": "0.000000",
"mons": [
{
"rank": 0,
"name": "mon.1",
"addr": "172.25.1.10:6789\/0"
},
{
"rank": 1,
"name": "mon.2",
"addr": "172.25.1.12:6789\/0"
},
{
"rank": 2,
"name": "mon.3",
"addr": "172.25.1.13:6789\/0"
}
]
}
}
Ceph monitor 状态
- leader
-
在选择阶段，Ceph 监控器正在选举领导机。领导机是具有最高等级的 Ceph monitor，即值最低的排名。在上例中，领导机是
mon.1。 - Ppeon
- Ppeons 是仲裁中的 Ceph monitor，而不是领导。如果领导失败，则排名最高的 peon 将成为新的领导。
- Probing
-
如果 Ceph 监控器正在寻找其他 Ceph 监控器，则 Ceph 监控器处于探测状态。例如，在启动 Ceph monitor 后，它们会进行探测，直到找到在 Ceph Monitor map（
monmap）中指定的足够的 Ceph monitor 来形成仲裁。 - 选择
- 如果 Ceph 监控器正在选择领导机，则 Ceph 监控器处于选择状态。通常，此状态会快速变化。
- 同步
- 如果 Ceph monitor 正在与其他 Ceph 监控器同步以加入仲裁，则 Ceph monitor 处于同步状态。Ceph 监控器存储容量越小，同步过程越快。因此，如果您有一个大型存储，同步会需要更长的时间。
其它资源
- 详情请参阅 Red Hat Ceph Storage 5 管理指南中的使用 Ceph 管理套接字一节。
4.2.8. 其它资源
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 第 4.2.2 节 “Ceph 监控错误消息”。
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 第 4.2.3 节 “Ceph 日志中的通用 Ceph monitor 错误消息”。
4.3. 注入 monmap
如果 Ceph monitor 具有过时或损坏的 Ceph monitor map(monmap)，它就无法加入仲裁，因为它正在尝试访问错误的 IP 地址上的其他 Ceph monitor。
解决这个问题的最安全方法是从其他 Ceph 监控器获取并注入实际的 Ceph monitor map。
此操作将覆盖 Ceph monitor 保存的现有 Ceph monitor map。
此流程演示了如何在其他 Ceph monitor 组成仲裁或至少一个 Ceph monitor 具有正确的 Ceph monitor map 时注入 Ceph monitor map。如果所有 Ceph 监控器都损坏存储，因此也包含 Ceph monitor map，请参阅恢复 Ceph monitor 存储。
先决条件
- 访问 Ceph monitor map.
- Ceph 监控节点的根级别访问权限.
流程
如果剩余的 Ceph 监控器能够形成仲裁，请使用
ceph mon getmap命令获取 Ceph monitor map：示例
[ceph: root@host01 /]# ceph mon getmap -o /tmp/monmap
如果剩余的 Ceph 监控器无法形成仲裁，并且至少有一个 Ceph monitor 带有正确的 Ceph monitor map，请从该 Ceph 监控器复制它：
停止您要复制 Ceph monitor map 的 Ceph 监控器：
语法
systemctl stop ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
复制 Ceph monitor map：
语法
ceph-mon -i ID --extract-monmap /tmp/monmap使用您要从中复制 Ceph monitor 映射的 Ceph monitor
ID替换 ID：示例
[ceph: root@host01 /]# ceph-mon -i mon.a --extract-monmap /tmp/monmap
使用损坏或过时的 Ceph monitor map 停止 Ceph monitor：
语法
systemctl stop ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
注入 Ceph monitor map：
语法
ceph-mon -i ID --inject-monmap /tmp/monmap使用 Ceph monitor 的
ID替换为损坏或过期的 Ceph monitor map：示例
[root@mon ~]# ceph-mon -i mon.host01 --inject-monmap /tmp/monmap
启动 Ceph 监控器：
语法
systemctl start ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
如果您从另一个 Ceph 监控器复制了 Ceph monitor map，则也启动该 Ceph monitor：
语法
systemctl start ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
其它资源
4.4. 替换失败的 monitor
当 Ceph 监控器有损坏的存储时，您可以替换存储集群中的 monitor。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 能够形成仲裁。
- Ceph 监控节点的根级别访问权限.
流程
从 Monitor 主机，删除 Monitor 存储（默认位于
/var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME）：rm -rf /var/lib/ceph/mon/CLUSTER_NAME-SHORT_HOST_NAME
指定 monitor 主机的简短主机名和集群名称。例如，要从名为
remote的集群中删除在host1上运行的 monitor 存储：[root@mon ~]# rm -rf /var/lib/ceph/mon/remote-host1
从 monitor map 中删除 monitor(
monmap)：ceph mon remove SHORT_HOST_NAME --cluster CLUSTER_NAME
指定 monitor 主机的简短主机名和集群名称。例如，要从名为
remote的集群中移除host1上运行的 monitor：[ceph: root@host01 /]# ceph mon remove host01 --cluster remote
- 排除故障并修复与 monitor 主机底层文件系统或硬件相关的问题。
其它资源
- 有关详细信息，请参阅 Ceph monitor 超出 仲裁数。
4.5. 压缩 monitor 存储
当 monitor 存储的大小增大时，您可以对其进行压缩：
-
使用
ceph inform 命令动态使用。 -
ceph-mon 守护进程启动后。 -
在
ceph-mon守护进程没有运行时，使用ceph-monstore-tool。当前面提到的方法无法压缩 monitor 存储或者 monitor 超出仲裁并且其日志包含Caught signal (Bus error)错误信息时，可使用此方法。
当集群不处于 active+clean 状态或重新平衡过程中，监控存储大小更改。因此，在完成重新平衡时，压缩 monitor 存储。此外，确保 PG 处于 active+clean 状态。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- Ceph 监控节点的根级别访问权限.
流程
在
ceph-mon守护进程运行时压缩 monitor 存储：语法
ceph tell mon.HOST_NAME compact将
HOST_NAME替换为运行ceph-mon的主机的短主机名。不确定时使用 hostname -s命令。示例
[ceph: root@host01 /]# ceph tell mon.host01 compact
将以下参数添加到 Ceph 配置的
[mon]部分下：[mon] mon_compact_on_start = true
重启
ceph-mon守护进程：语法
systemctl restart ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
确保 monitor 创建了仲裁：
[ceph: root@host01 /]# ceph mon stat
如果需要，在其他 monitor 上重复这些步骤。
注意在您开始之前，请确保已安装了
ceph-test软件包。验证具有大存储
的 ceph-mon守护进程未在运行。如果需要，请停止 后台程序。语法
systemctl status ceph-FSID@DAEMON_NAME systemctl stop ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service [root@mon ~]# systemctl stop ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
紧凑 monitor 存储：
语法
ceph-monstore-tool /var/lib/ceph/CLUSTER_FSID/mon.HOST_NAME compact
使用 monitor 主机的短主机名替换
HOST_NAME。示例
[ceph: root@host01 /]# ceph-monstore-tool /var/lib/ceph/b404c440-9e4c-11ec-a28a-001a4a0001df/mon.host01 compact
再次启动
ceph-mon：语法
systemctl start ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
其它资源
- 请参阅 Ceph Monitor 存储太大
- 请参阅 Ceph Monitor 超出仲裁数
4.6. 为 Ceph Manager 打开端口
ceph-mgr 守护进程从与 ceph-osd 守护进程相同的端口范围的 OSD 接收 PG 信息。如果没有打开这些端口，集群将从 HEALTH_OK 状态变为 HEALTH_WARN，并且指出 PG 为 unknown 并显示为 unknown 状态的 PG 数量。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 对 Ceph Manager 的 root 级别访问权限。
流程
要解决这种情况，对于运行
ceph-mgr守护进程的每个主机，打开端口6800-7300。示例
[root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp [root@ceph-mgr] # firewall-cmd --add-port 6800-7300/tcp --permanent
-
重新启动
ceph-mgr守护进程。
4.7. 恢复 Ceph 监控存储
Ceph Monitor 将 cluster map 存储在键值存储中，如 RocksDB。如果存储在 monitor 上损坏，monitor 会意外终止，无法再次启动。Ceph 日志可能包括以下错误：
Corruption: error in middle of record Corruption: 1 missing files; e.g.: /var/lib/ceph/mon/mon.0/store.db/1234567.ldb
Red Hat Ceph Storage 集群至少使用三个 Ceph 监控器，以便在出现故障时将其替换为另一个 Ceph。然而，在某些情况下，所有 Ceph 监控器可能会损坏存储。例如，当 Ceph 监控节点配置错误的磁盘或文件系统设置时，断电可能会破坏底层文件系统。
如果所有 Ceph 监控上都存在损坏，则可以使用名为 ceph-monstore-tool 和 ceph-objectstore-tool 的实用程序，通过 OSD 节点上存储的信息来恢复它。
这些步骤无法恢复以下信息：
- 元数据守护进程服务器(MDS)密钥环和映射
放置组设置：
-
使用
ceph pg set_full_ratio命令设置完整比率 -
使用
ceph pg set_nearfull_ratio 命令设置的 nearfull比率
-
使用
切勿从旧备份恢复 Ceph 监控存储。使用下列步骤从当前集群状态重建 Ceph monitor 存储，并从中恢复。
4.7.1. 使用 BlueStore 时恢复 Ceph monitor 存储
如果 Ceph monitor 存储在所有 Ceph 监控上损坏并且您使用 BlueStore 后端，请按照以下步骤操作。
在容器化环境中，此方法需要附加 Ceph 存储库并首先恢复到非容器化 Ceph monitor。
这个过程可能会导致数据丢失。如果您不确定这个过程中的任何步骤，请联系红帽技术支持以获取恢复过程的帮助。
先决条件
- 所有 OSD 容器都已停止。
- 根据 Ceph 节点上的角色，启用 Ceph 存储库。
-
ceph-test和rsync软件包安装在 OSD 和 monitor 节点上。 -
ceph-mon软件包安装在 monitor 节点上。 -
ceph-osd软件包安装在 OSD 节点上。
流程
使用 Ceph 数据挂载所有磁盘到临时位置。对所有 OSD 节点重复此步骤。
使用
ceph-volume命令列出数据分区：示例
[ceph: root@host01 /]# ceph-volume lvm list
将数据分区挂载到临时位置：
语法
mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-$i
恢复 SELinux 上下文：
语法
for i in {OSD_ID}; do restorecon /var/lib/ceph/osd/ceph-$i; done使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。
将所有者和组更改为
ceph:ceph：语法
for i in {OSD_ID}; do chown -R ceph:ceph /var/lib/ceph/osd/ceph-$i; done使用 OSD 节点上以空格分隔的 Ceph OSD ID 列表替换 OSD_ID。
重要由于一个程序错误会导致
update-mon-db命令为 monitor 数据库使用额外的db和db.slow目录，因此您还必须复制这些目录。要做到这一点：准备容器外部的临时位置，以挂载和访问 OSD 数据库，并提取恢复 Ceph 监控所需的 OSD map：
语法
ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev OSD-DATA --path /var/lib/ceph/osd/ceph-OSD-ID
将 OSD-DATA 替换为卷组(VG)或逻辑卷(LV)路径，并将 OSD-ID 替换为 OSD 的 ID。
在 BlueStore 数据库和
block.db之间创建一个符号链接：语法
ln -snf BLUESTORE DATABASE /var/lib/ceph/osd/ceph-OSD-ID/block.db
将 BLUESTORE-DATABASE 替换为 BlueStore 数据库和 OSD-ID 的卷组(VG)或逻辑卷(LV)路径。
从具有损坏存储的 Ceph 监控节点使用以下命令：为所有节点上的所有 OSD 重复它们。
从所有 OSD 节点收集 cluster map：
示例
[root@host01 ~]# cd /root/ [root@host01 ~]# ms=/tmp/monstore/ [root@host01 ~]# db=/root/db/ [root@host01 ~]# db_slow=/root/db.slow/ [root@host01 ~]# mkdir $ms [root@host01 ~]# for host in $osd_nodes; do echo "$host" rsync -avz $ms $host:$ms rsync -avz $db $host:$db rsync -avz $db_slow $host:$db_slow rm -rf $ms rm -rf $db rm -rf $db_slow sh -t $host <<EOF for osd in /var/lib/ceph/osd/ceph-*; do ceph-objectstore-tool --type bluestore --data-path \$osd --op update-mon-db --mon-store-path $ms done EOF rsync -avz $host:$ms $ms rsync -avz $host:$db $db rsync -avz $host:$db_slow $db_slow done设置适当的功能：
示例
[ceph: root@host01 /]# ceph-authtool /etc/ceph/ceph.client.admin.keyring -n mon. --cap mon 'allow *' --gen-key [ceph: root@host01 /]# cat /etc/ceph/ceph.client.admin.keyring [mon.] key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA== caps mon = "allow *" [client.admin] key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ== auid = 0 caps mds = "allow *" caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *"将所有
sst文件从db和db.slow目录移动到临时位置：示例
[ceph: root@host01 /]# mv /root/db/*.sst /root/db.slow/*.sst /tmp/monstore/store.db
从收集的 map 重建 monitor 存储：
示例
[ceph: root@host01 /]# ceph-monstore-tool /tmp/monstore rebuild -- --keyring /etc/ceph/ceph.client.admin
注意使用此命令后，Ceph 身份验证数据库中仅存在从 OSD 提取的密钥环和
ceph-monstore-tool命令行中指定的密钥环。您必须重新创建或导入所有其他密钥环，如客户端、Ceph 管理器和 Ceph 对象网关等，以便这些客户端可以访问集群。备份损坏的存储。对所有 Ceph 监控节点重复此步骤：
语法
mv /var/lib/ceph/mon/ceph-HOSTNAME/store.db /var/lib/ceph/mon/ceph-HOSTNAME/store.db.corrupted
使用 Ceph 监控节点的主机名替换 HOSTNAME。
替换损坏的存储。对所有 Ceph 监控节点重复此步骤：
语法
scp -r /tmp/monstore/store.db HOSTNAME:/var/lib/ceph/mon/ceph-HOSTNAME/
使用 monitor 节点的主机名替换 HOSTNAME。
更改新存储的所有者。对所有 Ceph 监控节点重复此步骤：
语法
chown -R ceph:ceph /var/lib/ceph/mon/ceph-HOSTNAME/store.db使用 Ceph 监控节点的主机名替换 HOSTNAME。
卸载所有节点上所有临时挂载的 OSD：
示例
[root@host01 ~]# umount /var/lib/ceph/osd/ceph-*
启动所有 Ceph 监控守护进程：
语法
systemctl start ceph-FSID@DAEMON_NAME
示例
[root@mon ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@mon.host01.service
确保 monitor 能够形成仲裁：
语法
ceph -s
使用 Ceph 监控节点的主机名替换 HOSTNAME。
导入 Ceph Manager 密钥环并启动所有 Ceph Manager 进程：
语法
ceph auth import -i /etc/ceph/ceph.mgr.HOSTNAME.keyring systemctl start ceph-FSID@DAEMON_NAME
示例
[root@host01 ~]# systemctl start ceph-b341e254-b165-11ed-a564-ac1f6bb26e8c@mgr.extensa003.exrqql.service
使用 Ceph 管理器节点的主机名替换 HOSTNAME。
启动所有 OSD 节点的所有 OSD 进程。对集群中的所有 OSD 重复：
语法
systemctl start ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl start ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
确保 OSD 返回到服务：
示例
[ceph: root@host01 /]# ceph -s
其它资源
- 有关将 Ceph 节点注册到内容交付网络(CDN)的详情，请参考 Red Hat Ceph Storage 安装指南中的 将 Red Hat Ceph Storage 节点注册到 CDN，并附加订阅部分。
4.8. 其它资源
- 有关网络相关问题，请参阅红帽 Ceph 存储故障排除指南 中的 第 3 章 网络问题故障排除。
第 5 章 Ceph OSD 故障排除
本章包含关于如何修复与 Ceph OSD 相关的最常见错误的信息。
5.1. 先决条件
- 验证您的网络连接。详情请参阅 对网络进行故障排除。
-
使用
ceph health命令，验证 monitor 具有仲裁。如果命令返回健康状态（HEALTH_OK、HEALTH_WARN或HEALTH_ERR），则 monitor 能够形成仲裁。如果没有，请首先解决任何 monitor 问题。详情请参阅 Ceph 监控器故障排除。如需有关ceph 健康状态的详细信息，请参阅 了解 Ceph 健康状态。 - （可选）停止重新平衡过程，以节省时间和资源。详情请参阅 停止和启动重新平衡。
5.2. 大多数常见 Ceph OSD 错误
下表列出了 ceph 运行状况详细信息 命令返回或包含在 Ceph 日志中的最常见错误消息：这些表中提供了相应部分的链接，这些部分解释了错误并指向修复问题的特定程序。
5.2.1. 先决条件
- 对 Ceph OSD 节点的根级别访问权限.
5.2.2. Ceph OSD 错误消息
常见 Ceph OSD 错误消息和可能的修复表。
| 错误消息 | 查看 |
|---|---|
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
5.2.3. Ceph 日志中的常见 Ceph OSD 错误消息
Ceph 日志中常见 Ceph OSD 错误消息的列表，以及可能的修复链接。
| 错误消息 | 日志文件 | 查看 |
|---|---|---|
|
| 主集群日志 | |
|
| 主集群日志 | |
|
| 主集群日志 | |
|
| OSD 日志 |
5.2.4. OSD 已满
ceph 运行状况详情 命令返回类似如下的错误消息：
HEALTH_ERR 1 full osds osd.3 is full at 95%
此 Means 是什么
Ceph 可以防止客户端在完整的 OSD 节点上执行 I/O 操作，以避免数据丢失。当集群达到由 mon_osd_full_ratio 参数设定的容量时，它会返回 HEALTH_ERR full osds 消息。默认情况下，此参数设置为 0.95，即集群容量的 95%。
要排除这个问题，请执行以下操作
确定使用原始存储的百分比(%RAW USED)：
ceph df
如果 %RAW USED 超过 70-75%，您可以：
- 删除不必要的数据.这是避免生产停机时间的短期解决方案。
- 通过添加新 OSD 节点来扩展集群。这是红帽推荐的长期解决方案。
其它资源
- Red Hat Ceph Storage Troubleshooting Guide 中的 Nearfull OSDs。
- 详情请参阅从完整存储集群中删除数据。
5.2.5. backfillfull OSD
ceph 运行状况详情 命令返回类似如下的错误消息：
health: HEALTH_WARN 3 backfillfull osd(s) Low space hindering backfill (add storage if this doesn't resolve itself): 32 pgs backfill_toofull
这意味着
当一个或多个 OSD 超过 backfillfull 阈值时，Ceph 会阻止数据重新平衡到这个设备。这是一个早期警告，重新平衡可能无法完成，且集群已接近满。默认的 backfullfull 阈值为 90%。
要排除这个问题，请执行以下操作
通过池检查利用率：
ceph df
如果 %RAW USED 高于 70-75%，您可以执行以下操作之一：
- 删除不必要的数据.这是避免生产停机时间的短期解决方案。
- 通过添加新 OSD 节点来扩展集群。这是红帽推荐的长期解决方案。
增加在
backfull_toofull中包含 PG 的 OSD 的backfillfull比率，以允许恢复过程继续。尽快向集群添加新存储，或删除数据以防止填充更多 OSD。语法
ceph osd set-backfillfull-ratio VALUEVALUE 的范围是 0.0 到 1.0。
示例
[ceph: root@host01/]# ceph osd set-backfillfull-ratio 0.92
其它资源
- Red Hat Ceph Storage Troubleshooting Guide 中的 Nearfull OSDs。
- 详情请参阅从完整存储集群中删除数据。
5.2.6. nearfull OSD
ceph 运行状况详情 命令返回类似如下的错误消息：
HEALTH_WARN 1 nearfull osds osd.2 is near full at 85%
此 Means 是什么
当集群达到由 mon osd nearfull ratio defaults 指定的容量时，Ceph 会返回 nearfull osds 信息。默认情况下，此参数设置为 0.85，即集群容量的 85%。
Ceph 以尽可能最佳的方式分发基于 CRUSH 层次结构的数据，但它不能保证均匀分布。数据分布不均匀和 nearfull osds 信息的主要原因是：
- OSD 在集群中的 OSD 节点之间没有平衡。也就是说，一些 OSD 节点托管的 OSD 比其他 OSD 高得多，或者 CRUSH map 中部分 OSD 的权重不足以满足其容量要求。
- PG 计数与 OSD 数量、用例、每个 OSD 目标 PG 和 OSD 利用率不同。
- 集群使用不当的 CRUSH 可调项。
- OSD 的后端存储几乎已满。
排除此问题，请执行以下操作：
- 验证 PG 计数是否足够，并在需要时增加。
- 验证您是否使用最优于集群版本的 CRUSH 可调项，如果不是，请进行调整。
- 根据利用率更改 OSD 的权重。
确定 OSD 使用的磁盘上保留多少空间。
要查看特定节点上 OSD 使用的空间量，请使用以下命令：
[ceph: root@host01 /]# ceph osd df tree
在检查大多数使用哪些 OSD (full/nearfull)后，查看将哪个磁盘用作 OSD 的底层磁盘。登录到包含 nearfull OSD 的节点，并运行以下命令：
[ceph: root@host01 /]# cephadm shell [ceph: root@host01 /]# ceph-volume lvm list
查看集群中存在的池列表：
[ceph: root@host01 /]# ceph df
- 如果需要，添加新 OSD 节点。
其它资源
- 完整 OSD
- 请参阅 Red Hat Ceph Storage 5 的 Storage Strategies 指南中的 Set an OSD’s Weight by Utilization 部分。
- 详情请查看， Red Hat Ceph Storage 5 的存储策略指南中的 CRUSH 可调项一节，以及红帽客户门户中的 How can I test the impact CRUSH map tunable modifications will have on my PG distribution across OSDs in Red Hat Ceph Storage?。
- 详情请参阅增加 PG。
5.2.7. OSD 下线
ceph 健康状况详情 命令返回类似如下的错误：
HEALTH_WARN 1/3 in osds are down
此 Means 是什么
由于服务故障或与其他 OSD 通信存在问题，其中一个 ceph-osd 进程不可用。因此，存活的 ceph-osd 守护进程会向 monitor 报告此故障。
如果 ceph-osd 守护进程未在运行，则代表底层 OSD 驱动器或文件系统已损坏，或者存在一些其他错误（如缺少密钥环）阻止守护进程启动。
在大多数情况下，网络问题会导致 ceph-osd 守护进程正在运行但依然标记为 down 时的情况。
要排除这个问题，请执行以下操作
确定哪个 OSD 处于
down 状态：[ceph: root@host01 /]# ceph health detail HEALTH_WARN 1/3 in osds are down osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080
尝试重新启动
ceph-osd守护进程。将 OSD_ID 替换为 down 的 OSD 的 ID：语法
systemctl restart ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl restart ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
-
如果您无法启动
ceph-osd，请按照ceph-osd守护进程中的步骤启动。 -
如果您能够启动
ceph-osd守护进程但已标记为down，请按照ceph-osd守护进程中的步骤运行，但仍标记为"down"。
-
如果您无法启动
ceph-osd 守护进程无法启动
- 如果您的节点包含多个 OSD（通常超过 12 倍），请验证默认最多线程数（PID 数）是否足够。有关 详细信息，请参阅增加 PID 数。
-
验证 OSD 数据和日志分区是否已正确挂载。您可以使用
ceph-volume lvm list 命令列出与 Ceph 存储群集关联的所有设备和卷，然后手动检查它们是否已正确挂载。详情请查看mount(8)手册页。 -
如果您收到错误
的密钥环：缺少密钥环，无法使用 cephx 进行身份验证错误消息，OSD 缺少密钥环。 如果您遇到
ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-1错误信息，ceph-osd守护进程不能读底层的文件系统。有关如何排除故障并修复此错误的说明，请参阅以下步骤。-
检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后，Ceph 将日志文件存储在
/var/log/ceph/CLUSTER_FSID/目录中。 -
EIO错误消息表示底层磁盘失败。为修复此问题，请替换底层 OSD 磁盘。详情请参阅 替换 OSD 驱动器。 如果日志包含任何其他
FAILED assert错误，如以下错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。FAILED assert(0 == "hit suicide timeout")
-
检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后，Ceph 将日志文件存储在
检查
dmesg输出是否有底层文件系统或磁盘的错误：dmesg
-
如果
dmesg输出包含任何SCSI error错误信息，请参阅红帽客户门户网站中的 SCSI Error Codes Solution Finder 解决方案，以确定解决问题的最佳方法。 - 或者，如果您无法修复底层文件系统，请替换 OSD 驱动器。详情请参阅 替换 OSD 驱动器。
-
如果
如果 OSD 因分段错误而出现故障，如以下 OSD，请收集必要的信息并创建一个支持问题单。有关 详细信息，请参阅联系红帽支持团队。
Caught signal (Segmentation fault)
ceph-osd 正在运行，但仍标记为 down
检查对应的日志文件，以确定故障的原因。默认情况下，Ceph 在启用了日志记录到文件后，Ceph 将日志文件存储在
/var/log/ceph/CLUSTER_FSID/目录中。如果日志中包含类似于下文的错误消息，请参阅 Flapping OSD。
wrongly marked me down heartbeat_check: no reply from osd.2 since back
- 如果您看到任何其他错误，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。
其它资源
- Flapping OSD
- 过时 PG
- 请参阅 Ceph 守护进程日志，以启用记录到文件。
5.2.8. Flapping OSD
ceph -w | grep osds 命令显示 OSD 重复为 down，然后在短时间内 再次运行 ：
ceph -w | grep osds 2022-05-05 06:27:20.810535 mon.0 [INF] osdmap e609: 9 osds: 8 up, 9 in 2022-05-05 06:27:24.120611 mon.0 [INF] osdmap e611: 9 osds: 7 up, 9 in 2022-05-05 06:27:25.975622 mon.0 [INF] HEALTH_WARN; 118 pgs stale; 2/9 in osds are down 2022-05-05 06:27:27.489790 mon.0 [INF] osdmap e614: 9 osds: 6 up, 9 in 2022-05-05 06:27:36.540000 mon.0 [INF] osdmap e616: 9 osds: 7 up, 9 in 2022-05-05 06:27:39.681913 mon.0 [INF] osdmap e618: 9 osds: 8 up, 9 in 2022-05-05 06:27:43.269401 mon.0 [INF] osdmap e620: 9 osds: 9 up, 9 in 2022-05-05 06:27:54.884426 mon.0 [INF] osdmap e622: 9 osds: 8 up, 9 in 2022-05-05 06:27:57.398706 mon.0 [INF] osdmap e624: 9 osds: 7 up, 9 in 2022-05-05 06:27:59.669841 mon.0 [INF] osdmap e625: 9 osds: 6 up, 9 in 2022-05-05 06:28:07.043677 mon.0 [INF] osdmap e628: 9 osds: 7 up, 9 in 2022-05-05 06:28:10.512331 mon.0 [INF] osdmap e630: 9 osds: 8 up, 9 in 2022-05-05 06:28:12.670923 mon.0 [INF] osdmap e631: 9 osds: 9 up, 9 in
此外，Ceph 日志包含类似于以下的错误消息：
2022-05-25 03:44:06.510583 osd.50 127.0.0.1:6801/149046 18992 : cluster [WRN] map e600547 wrongly marked me down
2022-05-25 19:00:08.906864 7fa2a0033700 -1 osd.254 609110 heartbeat_check: no reply from osd.2 since back 2021-07-25 19:00:07.444113 front 2021-07-25 18:59:48.311935 (cutoff 2021-07-25 18:59:48.906862)
此 Means 是什么
引发 OSD 的主要原因是：
- 某些存储集群操作（如清理或恢复）需要大量时间，例如，如果您在具有大型索引或大型放置组的对象上执行这些操作。通常，在完成这些操作后，flapping OSD 问题会得到解决。
-
与底层物理硬件相关的问题.在本例中，
ceph health detail命令也会返回slow requests错误信息。 - 与网络相关的问题。
Ceph OSD 无法管理存储集群的专用网络出现故障的情况，或者显著延迟位于面向公共客户端的网络上。
Ceph OSD 使用专用网络在彼此间发送心跳数据包，以代表它们处于 up 和 in 状态。如果私有存储集群网络无法正常工作，OSD 无法发送和接收心跳数据包。因此，它们互相报告为 停机到 Ceph 监控器，同时将自身标记为 up。
Ceph 配置文件中的以下参数会影响此行为：
| 参数 | 描述 | 默认值 |
|---|---|---|
|
|
OSD 等待 heartbeat 数据包返回多长时间，然后将 OSD 报告为 | 20 秒 |
|
|
在 Ceph 监控将该 OSD 标记为 | 2 |
下表显示了在默认配置中，Ceph 监控器在只有一个 OSD 三次报告了第一个 OSD 为 down 时，才会将 OSD 标记为 down。在某些情况下，如果单个主机遇到网络问题，整个群集可能会遇到 OSD 出现问题。这是因为主机上的 OSD 将报告集群中的其他 OSD 为 down。
Flanping OSD 方案不包括 OSD 进程启动时，然后立即终止的情况。
要排除这个问题，请执行以下操作
再次检查
ceph 运行状况详细信息命令的输出。如果其中包含slow requests错误信息，请参阅如何排除此问题。ceph health detail HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests 30 ops are blocked > 268435 sec 1 ops are blocked > 268435 sec on osd.11 1 ops are blocked > 268435 sec on osd.18 28 ops are blocked > 268435 sec on osd.39 3 osds have slow requests
确定哪些 OSD 标记为
down以及它们所在的节点上：ceph osd tree | grep down
- 在包含 flapping OSD 的节点上，对任何网络问题进行故障排除并修复。详情请参阅对 网络问题进行故障排除。
或者，您可以通过设置
noup和nodown标记，临时强制 monitor 停止将 OSD 标记为down和up：ceph osd set noup ceph osd set nodown
重要使用
noup和nodown标志不会修复问题的根本原因，而是仅防止 OSD 崩溃。要创建支持问题单，请参阅联系红帽支持团队部分。
Ceph OSD 节点上、网络交换机级别上的 MTU 错误配置或两者可能会引起 Fpping OSD。要解决这个问题，请在所有存储集群节点上将 MTU 设置为统一大小，包括在核心上和通过计划停机访问网络交换机。不要调优 osd heartbeat min 大小，因为更改此设置可能会隐藏网络中的问题，也不会解决实际的网络不一致。
5.2.9. 请求慢或请求被阻塞
ceph-osd 守护进程响应请求的速度非常慢，ceph health detail 命令返回类似如下的错误消息：
HEALTH_WARN 30 requests are blocked > 32 sec; 3 osds have slow requests 30 ops are blocked > 268435 sec 1 ops are blocked > 268435 sec on osd.11 1 ops are blocked > 268435 sec on osd.18 28 ops are blocked > 268435 sec on osd.39 3 osds have slow requests
此外，Ceph 日志包含类似于以下的错误消息：
2022-05-24 13:18:10.024659 osd.1 127.0.0.1:6812/3032 9 : cluster [WRN] 6 slow requests, 6 included below; oldest blocked for > 61.758455 secs
2022-05-25 03:44:06.510583 osd.50 [WRN] slow request 30.005692 seconds old, received at {date-time}: osd_op(client.4240.0:8 benchmark_data_ceph-1_39426_object7 [write 0~4194304] 0.69848840) v4 currently waiting for subops from [610]此 Means 是什么
请求速度较慢的 OSD 是每个无法在 osd_op_complaint_time 参数定义的时间内队列中每秒 I/O 操作(IOPS)服务的 OSD。默认情况下，此参数被设置为 30 秒。
造成 OSD 请求缓慢的主要原因包括：
- 与底层硬件相关的问题，如磁盘驱动器、主机、机架或网络交换机
- 与网络相关的问题。这些问题通常与闪烁的 OSD 连接。详情请参阅 Flapping OSD。
- 系统负载
下表显示了慢速请求的类型。使用 dump_historic_ops 管理 socket 命令来确定慢速请求的类型。有关管理套接字的详细信息，请参见 Red Hat Ceph Storage 5 管理指南中的使用 Ceph 管理套接字一节。
| 请求类型慢 | 描述 |
|---|---|
|
| OSD 正在等待在 PG 上获取操作的锁定。 |
|
| OSD 正在等待副本 OSD 将操作应用到日志。 |
|
| OSD 未达到任何主要操作里程碑。 |
|
| OSD 尚未复制指定次数的对象。 |
要排除这个问题，请执行以下操作
- 确定具有缓慢或块请求的 OSD 是否共享一个通用的硬件，如磁盘驱动器、主机、机架或网络交换机。
如果 OSD 共享磁盘：
使用
smartmontools实用程序检查磁盘或日志的健康状况，以确定磁盘上的任何错误。注意smartmontools程序包含在smartmontools软件包中。使用
iostat实用程序获取 OSD 磁盘上的 I/O 等待报告(%iowai)，以确定磁盘是否负载过重。注意The
iostat实用程序包含在sysstat软件包中。
如果 OSD 与另一个服务共享节点：
- 检查 RAM 和 CPU 使用率
-
使用
netstat实用程序查看网络接口控制器(NIC)上的网络统计信息，并对任何网络问题进行故障排除。如需更多信息，请参阅对 网络问题进行故障排除。
- 如果 OSD 共享机架，请检查机架的网络交换机。例如，如果您使用巨型帧，请验证路径中的 NIC 是否已设置了巨型帧。
- 如果您无法确定请求速度较慢的 OSD 共享的硬件部分，或者无法对硬件和网络问题进行故障排除和修复，请创建一个支持问题单。有关 详细信息，请参阅联系红帽支持团队。
其它资源
- 详情请参阅 Red Hat Ceph Storage Administration Guide 中的 Using the Ceph Administration Socket 部分。
5.3. 停止并启动重新平衡
当 OSD 出现故障或您停止时，CRUSH 算法会自动启动重新平衡过程，以在剩余的 OSD 之间重新分发数据。
因此，重新平衡可能需要时间和资源，因此，应考虑在故障排除期间停止重新平衡或维护 OSD。
停止的 OSD 中的放置组在故障排除和维护期间变得 降级。
先决条件
- Ceph 监控节点的根级别访问权限.
流程
登录 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
在停止 OSD 前设置
noout标志：示例
[ceph: root@host01 /]# ceph osd set noout
完成故障排除或维护后，取消设置
noout 标志来开始重新平衡：示例
[ceph: root@host01 /]# ceph osd unset noout
其它资源
- 红帽 Ceph 存储架构指南 中的 重新平衡和恢复 章节.
5.4. 替换 OSD 驱动器
Ceph 专为容错设计，这意味着它可以在 降级 状态下运行，而不丢失数据。因此，即使数据存储驱动器失败，Ceph 也能运行。在故障驱动器的上下文中，degraded 状态意味着其他 OSD 上存储的数据的额外副本将自动回填到集群中的其他 OSD。不过，如果发生这种情况，请替换失败的 OSD 驱动器，并手动重新创建 OSD。
当驱动器出现故障时，Ceph 会将该 OSD 报告为 down ：
HEALTH_WARN 1/3 in osds are down osd.0 is down since epoch 23, last address 192.168.106.220:6800/11080
Ceph 也可以因为网络或权限问题将 OSD 标记为 down。详情请参阅关闭 OSD。
现代服务器通常使用热插拔驱动器进行部署，以便您可以将失败的驱动器替换为新的驱动器，而无需关闭节点。整个流程包括这些步骤：
- 从 Ceph 集群移除 OSD。详情请参阅 从 Ceph 集群删除 OSD 过程。
- 替换驱动器。详情请查看 替换物理驱动器 部分。
- 将 OSD 添加到集群。详情请参阅 在 Ceph 集群中添加 OSD。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- Ceph 监控节点的根级别访问权限.
-
至少一个 OSD 为
down。
从 Ceph 集群删除 OSD
登录到 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
确定哪个 OSD 为
down。示例
[ceph: root@host01 /]# ceph osd tree | grep -i down ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF 0 hdd 0.00999 osd.0 down 1.00000 1.00000
将 OSD 标记为
out，供集群重新平衡其数据并将其复制到其他 OSD。语法
ceph osd out OSD_ID.示例
[ceph: root@host01 /]# ceph osd out osd.0 marked out osd.0.
注意如果 OSD 为
down，Ceph 会在 600 秒后自动将其标记为out，如果它没有根据mon_osd_down_out_interval参数从 OSD 接收任何 heartbeat 数据包。发生这种情况时，具有故障 OSD 数据副本的其他 OSD 开始回填，以确保集群中存在所需的副本数。当集群回填时，集群将处于降级状态。确保故障 OSD 正在回填。
示例
[ceph: root@host01 /]# ceph -w | grep backfill 2022-05-02 04:48:03.403872 mon.0 [INF] pgmap v10293282: 431 pgs: 1 active+undersized+degraded+remapped+backfilling, 28 active+undersized+degraded, 49 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 294 active+clean; 72347 MB data, 101302 MB used, 1624 GB / 1722 GB avail; 227 kB/s rd, 1358 B/s wr, 12 op/s; 10626/35917 objects degraded (29.585%); 6757/35917 objects misplaced (18.813%); 63500 kB/s, 15 objects/s recovering 2022-05-02 04:48:04.414397 mon.0 [INF] pgmap v10293283: 431 pgs: 2 active+undersized+degraded+remapped+backfilling, 75 active+undersized+degraded+remapped+wait_backfill, 59 stale+active+clean, 295 active+clean; 72347 MB data, 101398 MB used, 1623 GB / 1722 GB avail; 969 kB/s rd, 6778 B/s wr, 32 op/s; 10626/35917 objects degraded (29.585%); 10580/35917 objects misplaced (29.457%); 125 MB/s, 31 objects/s recovering 2022-05-02 04:48:00.380063 osd.1 [INF] 0.6f starting backfill to osd.0 from (0'0,0'0] MAX to 2521'166639 2022-05-02 04:48:00.380139 osd.1 [INF] 0.48 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'43079 2022-05-02 04:48:00.380260 osd.1 [INF] 0.d starting backfill to osd.0 from (0'0,0'0] MAX to 2513'136847 2022-05-02 04:48:00.380849 osd.1 [INF] 0.71 starting backfill to osd.0 from (0'0,0'0] MAX to 2331'28496 2022-05-02 04:48:00.381027 osd.1 [INF] 0.51 starting backfill to osd.0 from (0'0,0'0] MAX to 2513'87544
在迁移完成后，您应该可以看到放置组状态从
active+clean变为active, some degraded objects，最终变为active+clean。停止 OSD：
语法
ceph orch daemon stop OSD_ID示例
[ceph: root@host01 /]# ceph orch daemon stop osd.0
从存储集群中移除 OSD：
语法
ceph orch osd rm OSD_ID --replace
示例
[ceph: root@host01 /]# ceph orch osd rm 0 --replace
OSD_ID 会被保留。
替换物理驱动器
有关替换物理驱动器的详情，请查看硬件节点的文档。
- 如果驱动器支持热插拔，请将失败的驱动器替换为新驱动器。
- 如果驱动器不可热插拔并且节点包含多个 OSD，您可能需要关闭整个节点并替换物理驱动器。考虑阻止集群回填。详情请参阅 红帽 Ceph 存储故障排除指南 中的 停止和启动重新平衡 章节。
-
当驱动器显示在
/dev/目录下时，记下驱动器路径。 - 如果要手动添加 OSD，找到 OSD 驱动器并格式化磁盘。
将 OSD 添加到 Ceph 集群
插入新驱动器后，您可以使用以下选项来部署 OSD：
如果未设置
--unmanaged参数，Ceph 编排器将自动部署 OSD。示例
[ceph: root@host01 /]# ceph orch apply osd --all-available-devices
在所有可用设备上部署 OSD，并将
非受管参数设置为true。示例
[ceph: root@host01 /]# ceph orch apply osd --all-available-devices --unmanaged=true
将 OSD 部署到特定的设备和主机上。
示例
[ceph: root@host01 /]# ceph orch daemon add osd host02:/dev/sdb
确保 CRUSH 层次结构准确：
示例
[ceph: root@host01 /]# ceph osd tree
其它资源
- 请参阅 Red Hat Ceph Storage Operations Guide 中的 Deploying Ceph OSDs on all available devices 部分。
- 请参阅 Red Hat Ceph Storage Operations Guide 中的 Deploying Ceph OSDs on specific devices and hosts 部分。
- 请参阅《 红帽 Ceph 存储故障排除指南 》中的 故障 OSD 部分。
- 请参阅《 红帽 Ceph 存储安装指南 》。
5.5. 增加 PID 数量
如果您的节点包含 12 个 Ceph OSD，默认的最大线程数（PID 数）可能不足，特别是在恢复期间。因此，一些 ceph-osd 守护进程可能会终止并且无法再次启动。如果发生这种情况，增加允许的最大线程数。
流程
临时增加这个数字：
[root@mon ~]# sysctl -w kernel.pid.max=4194303
要永久增加这个数字，请更新 /etc/sysctl.conf 文件，如下所示：
kernel.pid.max = 4194303
5.6. 从完整存储集群中删除数据
Ceph 自动防止 OSD 上的任何 I/O 操作达到 mon_osd_full_ratio 参数指定的容量，并且返回 完整的 osds 错误消息。
这个步骤演示了如何删除不必要的数据来修复这个错误。
mon_osd_full_ratio 参数设置创建集群时 full_ratio 参数的值。之后，您无法更改 mon_osd_full_ratio 的值。要临时增加 full_ratio 值，请改为增加 set-full-ratio。
先决条件
- Ceph 监控节点的根级别访问权限.
流程
登录 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
确定
full_ratio的当前值，默认设为0.95：[ceph: root@host01 /]# ceph osd dump | grep -i full full_ratio 0.95
将
set-full-ratio的值临时增加到0.97：[ceph: root@host01 /]# ceph osd set-full-ratio 0.97
重要红帽强烈建议不要将
set-full-ratio设置为大于 0.97。将此参数设置为更高的值会使恢复过程变得更加困难。因此，您可能根本无法恢复完整的 OSD。验证您是否成功将该参数设置为
0.97：[ceph: root@host01 /]# ceph osd dump | grep -i full full_ratio 0.97
监控集群状态：
[ceph: root@host01 /]# ceph -w
旦集群将状态从
full更改为nearfull，请删除任何不必要的数据。将
full_ratio 的值设置为0.95：[ceph: root@host01 /]# ceph osd set-full-ratio 0.95
验证您是否成功将该参数设置为
0.95:[ceph: root@host01 /]# ceph osd dump | grep -i full full_ratio 0.95
其它资源
- 红帽 Ceph 存储故障排除指南中 的完整 OSD 部分.
- 《 红帽 Ceph 存储故障排除指南 》中的 nearfull OSD 部分.
第 6 章 多站点 Ceph 对象网关故障排除
本章介绍了如何修复与多站点 Ceph 对象网关配置和操作条件相关的最常见的错误。
当 bucket sync status 命令报告 bucket is behind on shards错误（即使在跨不同站点中的数据已保持一致）时，对存储桶执行额外的写入，同步 sync status 报告并显示信息 bucket is caught up with source。
6.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph 对象网关.
6.2. Ceph 对象网关的代码定义错误
Ceph 对象网关日志包含错误和警告消息，以协助对环境中条件进行故障排除。下面列出了一些常见的解决方案，并给出了建议的解决方案。
常见错误消息
data_sync: ERROR：同步操作返回错误- 这是提示较低级别 bucket 同步进程返回错误的高级别数据同步过程。此消息冗余；存储桶同步错误出现在日志中。
数据同步：ERROR: 无法同步对象： BUCKET_NAME: _OBJECT_NAME_- 进程无法通过 HTTP 从远程网关获取所需的对象，或者进程无法将该对象写入 RADOS，还会重试。
数据同步：ERROR：同步失败，退出(sync_status=2)-
低级别消息反映上述条件之一，特别是数据已被删除，然后才能进行同步，从而显示
-2 ENOENT状态。 data sync: ERROR: failure in sync, backing out (sync_status=-5)-
反映了上述条件之一的低级别消息，特别是我们未能将该对象写入 RADOS，因此显示
-5 EIO。 ERROR：获取远程数据日志信息失败：ret=11-
这是来自
libcurl的 EAGAIN通用错误代码，反映来自另一个网关的错误条件。默认情况下，它将重试。 meta sync: ERROR: 无法读取带有(2)No such file or directory 的 mdlog info- mdlog 的分片从未创建，因此无法同步。
同步错误消息
同步对象失败- 进程无法通过 HTTP 从远程网关获取此对象，或者未能将该对象写入 RADOS，还会重试。
同步存储桶实例失败：(11)资源暂时不可用- 主要和次要区域之间的连接问题。
同步存储桶实例失败：(125)操作取消- 对同一 RADOS 对象的写入之间存在一个跟踪条件。
其它资源
- 如需其他帮助，请联系红帽支持团队。
6.3. 同步多站点 Ceph 对象网关
多站点同步从其它区域读取更改日志。要从元数据和数据日志中获取同步进度的高级视图，您可以使用以下命令：
示例
[ceph: root@host01 /]# radosgw-admin sync status
此命令列出源区域后面的日志分片（若有）。
有时，您可能会在运行 radosgw-admin sync status 命令时观察恢复分片。对于数据同步，每个复制日志都有 128 个分片。如果这些复制日志事件触发的任何操作导致网络、存储或其他位置出现任何错误，则这些错误会被跟踪，以便操作可以稍后重试。虽然给定分片有需要重试的错误，radosgw-admin sync status 命令将该分片报告为 recovering。此恢复会自动发生，因此 Operator 不需要干预来解决它们。
如果以上运行的同步状态的结果返回日志分片，运行以下命令，将 X 替换为实际的 shard-id。
语法
radosgw-admin data sync status --shard-id=X --source-zone=ZONE_NAME
示例
[ceph: root@host01 /]# radosgw-admin data sync status --shard-id=27 --source-zone=us-east
{
"shard_id": 27,
"marker": {
"status": "incremental-sync",
"marker": "1_1534494893.816775_131867195.1",
"next_step_marker": "",
"total_entries": 1,
"pos": 0,
"timestamp": "0.000000"
},
"pending_buckets": [],
"recovering_buckets": [
"pro-registry:4ed07bb2-a80b-4c69-aa15-fdc17ae6f5f2.314303.1:26"
]
}
输出列出了同步旁边的存储桶，以及会因为前面的错误而重试哪些存储桶（若有）。
通过以下命令检查各个 bucket 的状态，使用 bucket ID 替换 X。
语法
radosgw-admin bucket sync status --bucket=X.
将 X 替换为存储桶的 ID 号。
结果显示哪些存储桶索引日志分片位于其源区后面。
同步中的一个常见错误是 EBUSY，这意味着同步已在进行中，通常在另一个网关上。读取写入到同步错误日志的错误，可以使用以下命令进行读取：
radosgw-admin sync error list
同步过程将重试，直到成功为止。错误仍可能发生，可能需要干预。
6.3.1. 执行多站点 Ceph 对象网关的数据同步的计数器
以下性能计数器可用于 Ceph 对象网关的多站点配置来测量数据同步：
-
poll_latency测量远程复制日志的请求延迟。 -
poll_errors测量来自轮询请求的错误数量。 -
avgtime是轮询请求的平均延迟。 -
fetch_bytes测量数据同步获取的对象数和字节数。 -
fetch_errors测量获取请求的错误数量。 -
fetch_not_modified测量同步尝试获取对象的次数，但发现它已有最新的副本。
使用 ceph --admin-daemon 命令查看性能计数器的当前指标数据：
语法
ceph --admin-daemon /var/run/ceph/ceph-client.rgw.RGW_ID.asok perf dump data-sync-from-ZONE_NAME
示例
[ceph: root@host01 /]# ceph --admin-daemon /var/run/ceph/ceph-client.rgw.host02-rgw0.103.94309060818504.asok perf dump data-sync-from-us-west
{
"data-sync-from-us-west": {
"fetch bytes": {
"avgcount": 54,
"sum": 54526039885
},
"fetch not modified": 7,
"fetch errors": 0,
"poll latency": {
"avgcount": 41,
"sum": 2.533653367,
"avgtime": 0.061796423
},
"poll errors": 0
}
}
您必须从运行守护进程的节点中运行 ceph --admin-daemon 命令。
其它资源
- 有关 性能计数器 的更多信息，请参见《 红帽 Ceph 存储管理指南》 中的 Ceph 性能计数器一章。
6.4. 在多站点 Ceph 对象网关配置中同步数据
在存储集群的多站点 Ceph 对象网关配置中，故障转移和故障恢复会导致数据同步停止。radosgw-admin sync status 命令报告数据同步在延长时间内已结束。
您可以运行 radosgw-admin data sync init 命令，来同步站点之间的数据，然后重新启动 Ceph 对象网关。此命令不涉及任何实际的对象数据，并启动指定源区的数据同步。它将使区域从源区重启完整同步。
在运行 data sync init 命令前，请联系红帽支持。 https://access.redhat.com/support/contact/technicalSupport
如果您要完全重启同步，并且如果源区域中需要同步了大量数据，那么带宽消耗较高，则必须相应地规划。
如果用户意外删除二级站点上的存储桶，您可以使用站点上的 metadata sync init 命令同步数据。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- Ceph 对象网关至少配置两个站点。
流程
检查站点之间的同步状态：
示例
[ceph: host04 /]# radosgw-admin sync status realm d713eec8-6ec4-4f71-9eaf-379be18e551b (india) zonegroup ccf9e0b2-df95-4e0a-8933-3b17b64c52b7 (shared) zone 04daab24-5bbd-4c17-9cf5-b1981fd7ff79 (primary) current time 2022-09-15T06:53:52Z zonegroup features enabled: resharding metadata sync no sync (zone is master) data sync source: 596319d2-4ffe-4977-ace1-8dd1790db9fb (secondary) syncing full sync: 0/128 shards incremental sync: 128/128 shards data is caught up with source从 second zone 同步数据：
示例
[ceph: root@host04 /]# radosgw-admin data sync init --source-zone primary
在站点重启所有 Ceph 对象网关守护进程：
示例
[ceph: root@host04 /]# ceph orch restart rgw.myrgw
第 7 章 对 Ceph iSCSI 网关（有限的可用性）进行故障排除
作为存储管理员，您可以对使用 Ceph iSCSI 网关时可能出现的大多数常见错误进行故障排除。以下是您可能遇到的一些常见错误：
- iSCSI 登录问题.
- VMware ESXi 报告各种连接失败。
- 超时错误。
该技术是有限可用性。如需更多信息，请参阅 已弃用的功能 章节。
7.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph iSCSI 网关。
- 验证网络连接。
7.2. 为丢失的连接收集信息会导致 VMware ESXi 上的存储失败
收集系统和磁盘信息有助于确定哪些 iSCSI 目标丢失连接，并可能导致存储失败。如果需要，还可以向红帽全球支持服务提供收集这些信息，以帮助您对任何 Ceph iSCSI 网关问题进行故障排除。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph iSCSI 网关，即 iSCSI 目标。
- 正在运行的 VMware ESXi 环境，即 iSCSI 启动器。
- 对 VMware ESXi 节点的根级别访问权限.
流程
在 VWware ESXi 节点上打开内核日志：
[root@esx:~]# more /var/log/vmkernel.log
从 VMware ESXi 内核日志中的以下错误消息收集信息：
示例
2022-05-30T11:07:07.570Z cpu32:66506)iscsi_vmk: iscsivmk_ConnRxNotifyFailure: Sess [ISID: 00023d000005 TARGET: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw TPGT: 3 TSIH: 0]
在此消息中，记录
ISID号、TARGET名称和 Target Portal Group Tag(TPGT)号。在本例中，有以下内容：ISID: 00023d000005 TARGET: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw TPGT: 3
示例
2022-05-30T11:07:07.570Z cpu32:66506)iscsi_vmk: iscsivmk_ConnRxNotifyFailure: vmhba64:CH:4 T:0 CN:0: Connection rx notifying failure: Failed to Receive. State=Bound
在此信息中记录适配器频道(
CH)号。在本例中，有以下内容：vmhba64:CH:4 T:0
查找 Ceph iSCSI 网关节点的远程地址：
[root@esx:~]# esxcli iscsi session connection list
示例
... vmhba64,iqn.2017-12.com.redhat.iscsi-gw:ceph-igw,00023d000003,0 Adapter: vmhba64 Target: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw 1 ISID: 00023d000003 2 CID: 0 DataDigest: NONE HeaderDigest: NONE IFMarker: false IFMarkerInterval: 0 MaxRecvDataSegmentLength: 131072 MaxTransmitDataSegmentLength: 262144 OFMarker: false OFMarkerInterval: 0 ConnectionAddress: 10.2.132.2 RemoteAddress: 10.2.132.2 3 LocalAddress: 10.2.128.77 SessionCreateTime: 03/28/18 21:45:19 ConnectionCreateTime: 03/28/18 21:45:19 ConnectionStartTime: 03/28/18 21:45:19 State: xpt_wait ...
从命令输出中，匹配
ISID值和前面收集的TARGET名称值，然后记下RemoteAddress值。在这个示例中，有以下内容：Target: iqn.2017-12.com.redhat.iscsi-gw:ceph-igw ISID: 00023d000003 RemoteAddress: 10.2.132.2
现在，您可以从 Ceph iSCSI 网关节点收集更多信息，以进一步排除此问题。
在
RemoteAddress值提及的 Ceph iSCSI 网关节点上，运行sosreport来收集系统信息：[root@igw ~]# sosreport
查找进入死状态的磁盘：
[root@esx:~]# esxcli storage nmp device list
示例
... iqn.1998-01.com.vmware:d04-nmgjd-pa-zyc-sv039-rh2288h-xnh-732d78fd-00023d000004,iqn.2017-12.com.redhat.iscsi-gw:ceph-igw,t,3-naa.60014054a5d46697f85498e9a257567c Runtime Name: vmhba64:C4:T0:L4 1 Device: naa.60014054a5d46697f85498e9a257567c 2 Device Display Name: LIO-ORG iSCSI Disk (naa.60014054a5d46697f85498e9a257567c) Group State: dead 3 Array Priority: 0 Storage Array Type Path Config: {TPG_id=3,TPG_state=ANO,RTP_id=3,RTP_health=DOWN} 4 Path Selection Policy Path Config: {non-current path; rank: 0} ...
从命令输出中，与
CH号和前面收集的TPGT编号匹配，然后记下Device值。在本例中，有以下内容：vmhba64:C4:T0 Device: naa.60014054a5d46697f85498e9a257567c TPG_id=3
使用设备名称时，您可以收集处于
死状态的每个 iSCSI 磁盘的一些附加信息。收集 iSCSI 磁盘的更多信息：
语法
esxcli storage nmp path list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_nmp_path_list.txt esxcli storage core device list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_core_device_list.txt
示例
[root@esx:~]# esxcli storage nmp path list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_nmp_path_list.txt [root@esx:~]# esxcli storage core device list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_core_device_list.txt
收集 VMware ESXi 环境的其他信息：
[root@esx:~]# esxcli storage vmfs extent list > /tmp/esxcli_storage_vmfs_extent_list.txt [root@esx:~]# esxcli storage filesystem list > /tmp/esxcli_storage_filesystem_list.txt [root@esx:~]# esxcli iscsi session list > /tmp/esxcli_iscsi_session_list.txt [root@esx:~]# esxcli iscsi session connection list > /tmp/esxcli_iscsi_session_connection_list.txt
检查潜在的 iSCSI 登录问题：
其它资源
-
请参阅红帽的知识库解决方案，了解如何为 Red Hat 全球支持服务 创建
sosreport。 - 有关 上传红帽全球支持服务的文件，请参阅红帽知识库解决方案。
- 如何在客户门户上创建红帽 支持问题单？
7.3. 检查 iSCSI 登录失败，因为未发送数据
在 iSCSI 网关节点上，您可能会在系统日志中看到通用的登录协商失败消息，默认为 /var/log/messages。
示例
Apr 2 23:17:05 osd1 kernel: rx_data returned 0, expecting 48. Apr 2 23:17:05 osd1 kernel: iSCSI Login negotiation failed.
虽然系统处于此状态，但请按照此流程中的建议开始收集系统信息。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph iSCSI 网关，即 iSCSI 目标。
- 正在运行的 VMware ESXi 环境，即 iSCSI 启动器。
- 对 Ceph iSCSI 网关节点的 root 级别访问权限。
- 对 VMware ESXi 节点的根级别访问权限.
流程
启用附加日志记录：
[root@igw ~]# echo "iscsi_target_mod +p" > /sys/kernel/debug/dynamic_debug/control [root@igw ~]# echo "target_core_mod +p" > /sys/kernel/debug/dynamic_debug/control
- 等待几分钟，以便额外的调试信息填充系统日志。
禁用附加日志：
[root@igw ~]# echo "iscsi_target_mod -p" > /sys/kernel/debug/dynamic_debug/control [root@igw ~]# echo "target_core_mod -p" > /sys/kernel/debug/dynamic_debug/control
运行
sosreport来收集系统信息：[root@igw ~]# sosreport
同时捕获 Ceph iSCSI 网关和 VMware ESXi 节点的网络流量：
语法
tcpdump -s0 -i NETWORK_INTERFACE -w OUTPUT_FILE_PATH
示例
[root@igw ~]# tcpdump -s 0 -i eth0 -w /tmp/igw-eth0-tcpdump.pcap
注意查找端口 3260 上的流量。
网络数据包捕获文件可能较大，因此在将任何文件上传到 Red Hat 全球支持服务前，压缩来自 iSCSI 目标和启动器的
tcpdump输出：语法
gzip OUTPUT_FILE_PATH示例
[root@igw ~]# gzip /tmp/igw-eth0-tcpdump.pcap
收集 VMware ESXi 环境的其他信息：
[root@esx:~]# esxcli iscsi session list > /tmp/esxcli_iscsi_session_list.txt [root@esx:~]# esxcli iscsi session connection list > /tmp/esxcli_iscsi_session_connection_list.txt
列出并收集每个 iSCSI 磁盘的更多信息：
语法
esxcli storage nmp path list -d ISCSI_DISK_DEVICE > /tmp/esxcli_storage_nmp_path_list.txt示例
[root@esx:~]# esxcli storage nmp device list [root@esx:~]# esxcli storage nmp path list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_nmp_path_list.txt [root@esx:~]# esxcli storage core device list -d naa.60014054a5d46697f85498e9a257567c > /tmp/esxcli_storage_core_device_list.txt
其它资源
-
请参阅红帽的知识库解决方案，了解如何为 Red Hat 全球支持服务 创建
sosreport。 - 有关 上传红帽全球支持服务的文件，请参阅红帽知识库解决方案。
- 如需更多信息，请参阅有关如何使用 tcpdump 捕获网络数据包 的红帽知识库解决方案。
- 如何在客户门户上创建红帽 支持问题单？
7.4. 检查 iSCSI 登录失败，因为超时或无法找到门户组
在 iSCSI 网关节点上，您可能会看到超时，或者无法在系统日志中找到目标门户组消息，默认为 /var/log/messages。
示例
Mar 28 00:29:01 osd2 kernel: iSCSI Login timeout on Network Portal 10.2.132.2:3260
或
示例
Mar 23 20:25:39 osd1 kernel: Unable to locate Target Portal Group on iqn.2017-12.com.redhat.iscsi-gw:ceph-igw
虽然系统处于此状态，但请按照此流程中的建议开始收集系统信息。
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph iSCSI 网关。
- 对 Ceph iSCSI 网关节点的 root 级别访问权限。
流程
启用等待任务转储，并将其写入文件中：
[root@igw ~]# dmesg -c ; echo w > /proc/sysrq-trigger ; dmesg -c > /tmp/waiting-tasks.txt
查看等待以下消息的任务列表：
-
iscsit_tpg_disable_portal_group -
core_tmr_abort_task -
transport_generic_free_cmd
如果这些消息显示在等待的任务列表中，则表示
tcmu-runner服务出现了某种错误。或许tcmu-runner服务没有正确重启，或者tcmu-runner服务已崩溃。-
验证
tcmu-runner服务是否正在运行：[root@igw ~]# systemctl status tcmu-runner
如果
tcmu-runner服务没有运行，在重启tcmu-runner服务前停止rbd-target-gw服务：[root@igw ~]# systemctl stop rbd-target-gw [root@igw ~]# systemctl stop tcmu-runner [root@igw ~]# systemctl start tcmu-runner [root@igw ~]# systemctl start rbd-target-gw
重要首先停止 Ceph iSCSI 网关可防止 IO 在
tcmu-runner服务停机时卡住。-
如果
tcmu-runner服务正在运行，这可能是一个新程序错误。创建一个新的红帽支持问题单。
其它资源
-
请参阅红帽的知识库解决方案，了解如何为 Red Hat 全球支持服务 创建
sosreport。 - 有关 上传红帽全球支持服务的文件，请参阅红帽知识库解决方案。
- 如何在客户门户上创建红帽 支持问题单？
7.5. timeout 命令错误
当 SCSI 命令在系统日志中失败时，Ceph iSCSI 网关可能会报告命令超时错误。
示例
Mar 23 20:03:14 igw tcmu-runner: 2018-03-23 20:03:14.052 2513 [ERROR] tcmu_rbd_handle_timedout_cmd:669 rbd/rbd.gw1lun011: Timing out cmd.
或
示例
Mar 23 20:03:14 igw tcmu-runner: tcmu_notify_conn_lost:176 rbd/rbd.gw1lun011: Handler connection lost (lock state 1)
此 Means 是什么
其他阻塞的任务可能要等待处理，从而导致 SCSI 命令超时，因为未及时收到响应。这些错误消息的另一个原因可能与不健康的 Red Hat Ceph Storage 集群相关。
要排除这个问题，请执行以下操作
- 检查是否有可能在等待的任务中可能要处理一些事情。
- 检查 Red Hat Ceph Storage 集群的运行状况。
- 从路径中的每个设备从 Ceph iSCSI 网关节点到 iSCSI 启动器节点收集系统信息。
其它资源
- 如需关于如何查看等待任务的更多详细信息，请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Checking iSCSI login failures because of a timeout or not able to find a portal group 部分。
- 有关检查 存储集群运行状况 的更多详细信息，请参阅红帽 Ceph 存储故障排除指南中 的诊断存储集群运行状况部分。
- 有关收集必要信息的更多详细信息，请参阅 Red Hat Ceph Storage Troubleshooting Guide 的 Gathering information for lost connections causing storage failures on VMware ESXi 一节。
7.6. Abort 任务错误
Ceph iSCSI 网关可能会在系统日志中报告中止的任务错误。
示例
Apr 1 14:23:58 igw kernel: ABORT_TASK: Found referenced iSCSI task_tag: 1085531
此 Means 是什么
些其他网络中断（如交换机失败或端口错误）可能会导致这种类型的错误消息。另一个可能是不健康的 Red Hat Ceph Storage 集群。
要排除这个问题，请执行以下操作
- 检查环境中是否存在网络中断。
- 检查 Red Hat Ceph Storage 集群的运行状况。
- 从路径中的每个设备从 Ceph iSCSI 网关节点到 iSCSI 启动器节点收集系统信息。
其它资源
- 有关检查 存储集群运行状况 的更多详细信息，请参阅红帽 Ceph 存储故障排除指南中 的诊断存储集群运行状况部分。
- 有关收集必要信息的更多详细信息，请参阅 Red Hat Ceph Storage Troubleshooting Guide 的 Gathering information for lost connections causing storage failures on VMware ESXi 一节。
7.7. 其它资源
第 8 章 Ceph 放置组故障排除
本节介绍修复与 Ceph 放置组(PG)相关的最常见错误。
8.1. 先决条件
- 验证您的网络连接。
- 确保 monitor 能够形成仲裁。
-
确保所有健康的 OSD 为
up和in，回填和恢复过程已完成。
8.2. 大多数常见的 Ceph 放置组错误
下表列出了 ceph 健康详情 命令返回的最常见错误消息。这些表中提供了相应部分的链接，这些部分解释了错误并指向修复问题的特定程序。
另外，您可以列出处于非最佳状态的放置组。详情请查看 第 8.3 节 “列出 PG 停留在 stale、inactive 或 unclean 状态”。
8.2.1. 先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 正在运行的 Ceph 对象网关.
8.2.2. 放置组错误消息
常见放置组错误消息和可能的修复表。
| 错误消息 | 查看 |
|---|---|
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
|
| |
8.2.3. Stale 放置组
ceph health 命令将一些放置组(PG)列为 过时的 ：
HEALTH_WARN 24 pgs stale; 3/300 in osds are down
此 Means 是什么
当 PG 的 Primary OSD 未收到 PG 执行集的 Primary OSD 或其他 OSD 报告Primary OSD 已 停机 时，monitor 会将其标记为 stale。
通常，PG 在启动存储集群后，并在 peering 进程完成前进入 过时的 状态。但是，如果 PG 处于 stale 状态的时间超过预期，这可能表示这些 PG 的 Primary OSD 为 down 或未向 monitor 报告 PG 统计信息。当存储 过时 PG 的 Primary OSD 备份 后，Ceph 会开始恢复 PG。
mon_osd_report_timeout 设置确定 OSD 将 PG 统计数据报告到 monitor 的频率。默认情况下，此参数设置为 0.5，这表示 OSD 每隔半一次报告统计信息。
要排除这个问题，请执行以下操作
确定哪些 PG 是
过时的，以及它们存储在哪些 OSD 上。错误消息包括类似以下示例的信息：示例
[ceph: root@host01 /]# ceph health detail HEALTH_WARN 24 pgs stale; 3/300 in osds are down ... pg 2.5 is stuck stale+active+remapped, last acting [2,0] ... osd.10 is down since epoch 23, last address 192.168.106.220:6800/11080 osd.11 is down since epoch 13, last address 192.168.106.220:6803/11539 osd.12 is down since epoch 24, last address 192.168.106.220:6806/11861
-
对标记为
down的 OSD 的任何问题进行故障排除。详情请参阅 关闭 OSD。
其它资源
- Red Hat Ceph Storage 5 的 管理指南中的 Monitoring Placement Group 设置 小节
8.2.4. Inconsistent placement groups
有些放置组被标记为 active + clean + 不一致，ceph 健康详情 会返回类似以下的错误消息：
HEALTH_ERR 1 pgs inconsistent; 2 scrub errors pg 0.6 is active+clean+inconsistent, acting [0,1,2] 2 scrub errors
此 Means 是什么
当 Ceph 检测到 PG 中一个或多个对象副本中的不一致时，它会将该 PG 标记为 inconsistent。最常见的不一致是：
- 对象的大小不正确。
- 恢复完成后，一个副本中的对象会丢失。
在大多数情况下，清理过程中的错误会导致 PG 中不一致。
要排除这个问题，请执行以下操作
登录 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
确定哪个 PG 处于
不一致状态：[ceph: root@host01 /]# ceph health detail HEALTH_ERR 1 pgs inconsistent; 2 scrub errors pg 0.6 is active+clean+inconsistent, acting [0,1,2] 2 scrub errors
确定 PG
不一致的原因。在 PG 中启动深度清理过程：
语法
ceph pg deep-scrub ID使用
inconsistent的 PG 的ID替换 ID，例如：[ceph: root@host01 /]# ceph pg deep-scrub 0.6 instructing pg 0.6 on osd.0 to deep-scrub
搜索
ceph -w的输出，以查找与该放置组相关的任何消息：语法
ceph -w | grep ID使用
inconsistent的 PG 的ID替换 ID，例如：[ceph: root@host01 /]# ceph -w | grep 0.6 2022-05-26 01:35:36.778215 osd.106 [ERR] 0.6 deep-scrub stat mismatch, got 636/635 objects, 0/0 clones, 0/0 dirty, 0/0 omap, 0/0 hit_set_archive, 0/0 whiteouts, 1855455/1854371 bytes. 2022-05-26 01:35:36.788334 osd.106 [ERR] 0.6 deep-scrub 1 errors
如果输出包含与以下类似的错误消息，您可以修复
不一致的PG。详情请参阅 修复不一致的 PG。语法
PG.ID shard OSD: soid OBJECT missing attr , missing attr _ATTRIBUTE_TYPE PG.ID shard OSD: soid OBJECT digest 0 != known digest DIGEST, size 0 != known size SIZE PG.ID shard OSD: soid OBJECT size 0 != known size SIZE PG.ID deep-scrub stat mismatch, got MISMATCH PG.ID shard OSD: soid OBJECT candidate had a read error, digest 0 != known digest DIGEST
如果输出包含与以下类似的错误消息，则无法安全地修复
不一致的PG，因为您可以丢失数据。在这种情况下创建一个支持问题单。有关详细信息，请参阅 联系红帽支持。PG.ID shard OSD: soid OBJECT digest DIGEST != known digest DIGEST PG.ID shard OSD: soid OBJECT omap_digest DIGEST != known omap_digest DIGEST
其它资源
- 请参阅 Red Hat Ceph Storage 故障排除指南中的 列出放置组不一致。
- 请参阅 Red Hat Ceph Storage Architecture Guide 中的 Ceph data integrity 部分。
- 请参阅 Red Hat Ceph Storage Configuration Guide 中的 Scrubbing the OSD 部分。
8.2.5. unclean PG
ceph health 命令返回类似如下的错误消息：
HEALTH_WARN 197 pgs stuck unclean
此 Means 是什么
如果 PG 未在 Ceph 配置文件中的 mon_pg_stuck_threshold 参数中指定的秒数达到 active+clean 状态，则 Ceph 会将其标记为 unclean。mon_pg_stuck_threshold 的默认值为 300 秒。
如果 PG 不清除，它将包含没有复制 osd_pool_default_size 参数中指定的次数的对象。osd_pool_default_size 的默认值为 3，这意味着 Ceph 创建三个副本。
通常，unclean 放置组代表某些 OSD 可能处于 down。
要排除这个问题，请执行以下操作
确定哪些 OSD 已
停机：[ceph: root@host01 /]# ceph osd tree
- 对 OSD 进行故障排除和修复任何问题。详情请参阅关闭 OSD。
8.2.6. 不活跃的放置组
ceph health 命令返回类似如下的错误消息：
HEALTH_WARN 197 pgs stuck inactive
此 Means 是什么
如果 PG 在 Ceph 配置文件中的 mon_pg_stuck_threshold 参数中指定的秒数中未激活，Ceph 会将它标记为不活动。mon_pg_stuck_threshold 的默认值为 300 秒。
通常，inactive 放置组代表某些 OSD 可能处于 down。
要排除这个问题，请执行以下操作
确定哪些 OSD 已
停机：# ceph osd tree
- 对 OSD 进行故障排除和修复任何问题。
其它资源
8.2.7. 放置组停机
ceph 运行状况详细信息 命令报告某些 PG 已 停机 ：
HEALTH_ERR 7 pgs degraded; 12 pgs down; 12 pgs peering; 1 pgs recovering; 6 pgs stuck unclean; 114/3300 degraded (3.455%); 1/3 in osds are down ... pg 0.5 is down+peering pg 1.4 is down+peering ... osd.1 is down since epoch 69, last address 192.168.106.220:6801/8651
此 Means 是什么
在某些情况下，peering 进程会被阻止，这会阻止放置组变得活跃且可用。通常，OSD 故障会导致对等故障。
要排除这个问题，请执行以下操作
确定什么阻塞了对等进程：
语法
ceph pg ID query
使用 缩减 的 PG 的 ID 替换 ID：
示例
[ceph: root@host01 /]# ceph pg 0.5 query
{ "state": "down+peering",
...
"recovery_state": [
{ "name": "Started\/Primary\/Peering\/GetInfo",
"enter_time": "2021-08-06 14:40:16.169679",
"requested_info_from": []},
{ "name": "Started\/Primary\/Peering",
"enter_time": "2021-08-06 14:40:16.169659",
"probing_osds": [
0,
1],
"blocked": "peering is blocked due to down osds",
"down_osds_we_would_probe": [
1],
"peering_blocked_by": [
{ "osd": 1,
"current_lost_at": 0,
"comment": "starting or marking this osd lost may let us proceed"}]},
{ "name": "Started",
"enter_time": "2021-08-06 14:40:16.169513"}
]
}
recovery_state 部分包括了为什么对等进程被阻断的信息。
其它资源
- Red Hat Ceph Storage Administration Guide 中的 Ceph OSD peering 部分。
8.2.8. Unfound objects
ceph health 命令返回类似如下的错误消息，其中包含 unfound 关键字：
HEALTH_WARN 1 pgs degraded; 78/3778 unfound (2.065%)
此 Means 是什么
当知道这些对象或它们的较新副本存在但无法找到它们时，Ceph 会将其标记为 unfound。因此，Ceph 无法恢复这样的对象，并继续恢复过程。
Situation 示例
PG 将数据存储在 osd.1 和 osd.2 上。
-
OSD.1停机. -
OSD.2处理一些写入操作。 -
OSD.1启动。 -
osd.1 和 osd.2启动之间的对等进程启动，并且osd.1上缺少的对象排队以进行恢复。 -
在 Ceph 复制新对象之前，
osd.2中断。
因此，osd.1 知道这些对象存在，但没有 OSD 具有对象的副本。
在这种情景中，Ceph 正在等待故障节点再次访问，而 未找到的对象 则阻止恢复过程。
要排除这个问题，请执行以下操作
登录 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
确定哪个放置组包含
unfound对象：[ceph: root@host01 /]# ceph health detail HEALTH_WARN 1 pgs recovering; 1 pgs stuck unclean; recovery 5/937611 objects degraded (0.001%); 1/312537 unfound (0.000%) pg 3.8a5 is stuck unclean for 803946.712780, current state active+recovering, last acting [320,248,0] pg 3.8a5 is active+recovering, acting [320,248,0], 1 unfound recovery 5/937611 objects degraded (0.001%); **1/312537 unfound (0.000%)**
列出有关 PG 的更多信息：
语法
ceph pg ID query使用包含
unfound对象的 PG 的ID替换 ID：示例
[ceph: root@host01 /]# ceph pg 3.8a5 query { "state": "active+recovering", "epoch": 10741, "up": [ 320, 248, 0], "acting": [ 320, 248, 0], <snip> "recovery_state": [ { "name": "Started\/Primary\/Active", "enter_time": "2021-08-28 19:30:12.058136", "might_have_unfound": [ { "osd": "0", "status": "already probed"}, { "osd": "248", "status": "already probed"}, { "osd": "301", "status": "already probed"}, { "osd": "362", "status": "already probed"}, { "osd": "395", "status": "already probed"}, { "osd": "429", "status": "osd is down"}], "recovery_progress": { "backfill_targets": [], "waiting_on_backfill": [], "last_backfill_started": "0\/\/0\/\/-1", "backfill_info": { "begin": "0\/\/0\/\/-1", "end": "0\/\/0\/\/-1", "objects": []}, "peer_backfill_info": [], "backfills_in_flight": [], "recovering": [], "pg_backend": { "pull_from_peer": [], "pushing": []}}, "scrub": { "scrubber.epoch_start": "0", "scrubber.active": 0, "scrubber.block_writes": 0, "scrubber.finalizing": 0, "scrubber.waiting_on": 0, "scrubber.waiting_on_whom": []}}, { "name": "Started", "enter_time": "2021-08-28 19:30:11.044020"}],may
_have_unfound部分包括 Ceph 尝试定位未找到对象的OSD：-
已探测到的状态表示 Ceph 无法找到该 OSD 中的未找到对象。 -
osd is down状态表示 Ceph 无法联系该 OSD。
-
-
对标记为
down的 OSD 进行故障排除。详情请参阅关闭 OSD。 -
如果您无法修复导致 OSD
停机的问题，请打开支持票据。有关 详细信息，请参阅联系红帽支持团队。
8.3. 列出 PG 停留在 stale、inactive 或 unclean 状态
失败后，PG 会进入 降级 或 peering 等状态。这个状态表示故障恢复过程的正常进度。
但是，如果 PG 处于这些状态之一的时间比预期长，则可能代表更大的问题。监控器报告当放置组处于不最佳状态。
Ceph 配置文件中的 mon_pg_stuck_threshold 选项决定了 PG 在多少秒之后被视为 不活动、未 清理 或 过时。
下表列出了这些状态及简短的说明：
| 状态 | 它的含义 | 大多数常见原因 | 查看 |
|---|---|---|---|
|
| PG 尚未能够服务读/写请求。 |
| |
|
| PG 包含的对象不会复制所需的次数。些情况阻止 PG 恢复。 |
| |
|
|
|
|
先决条件
- 一个正在运行的 Red Hat Ceph Storage 集群。
- 节点的根级别访问权限。
流程
登录到 Cephadm shell：
示例
[root@host01 ~]# cephadm shell
列出卡住 PG：
示例
[ceph: root@host01 /]# ceph pg dump_stuck inactive [ceph: root@host01 /]# ceph pg dump_stuck unclean [ceph: root@host01 /]# ceph pg dump_stuck stale
其它资源
- 请参阅 Red Hat Ceph Storage Administration Guide 中的 放置组状态 部分。
8.4. 列出放置组不一致
使用 rados 实用程序列出对象副本中的不一致。使用 --format=json-pretty 选项列出更详细的输出。
本节涵盖以下列表：
- 池中 PG 不一致
- 放置组中的对象不一致
- PG 中的快照设置不一致
先决条件
- 正在运行的红帽 Ceph 存储集群处于健康状态。
- 节点的根级别访问权限。
流程
列出池中所有不一致的放置组：
语法
rados list-inconsistent-pg POOL --format=json-pretty示例
[ceph: root@host01 /]# rados list-inconsistent-pg data --format=json-pretty [0.6]
使用 ID 列出 PG 中不一致的对象：
语法
rados list-inconsistent-obj PLACEMENT_GROUP_ID示例
[ceph: root@host01 /]# rados list-inconsistent-obj 0.6 { "epoch": 14, "inconsistents": [ { "object": { "name": "image1", "nspace": "", "locator": "", "snap": "head", "version": 1 }, "errors": [ "data_digest_mismatch", "size_mismatch" ], "union_shard_errors": [ "data_digest_mismatch_oi", "size_mismatch_oi" ], "selected_object_info": "0:602f83fe:::foo:head(16'1 client.4110.0:1 dirty|data_digest|omap_digest s 968 uv 1 dd e978e67f od ffffffff alloc_hint [0 0 0])", "shards": [ { "osd": 0, "errors": [], "size": 968, "omap_digest": "0xffffffff", "data_digest": "0xe978e67f" }, { "osd": 1, "errors": [], "size": 968, "omap_digest": "0xffffffff", "data_digest": "0xe978e67f" }, { "osd": 2, "errors": [ "data_digest_mismatch_oi", "size_mismatch_oi" ], "size": 0, "omap_digest": "0xffffffff", "data_digest": "0xffffffff" } ] } ] }以下字段对于决定造成不一致的原因非常重要：
-
name：副本不一致的对象名称。 -
nspace：池逻辑分割的命名空间。默认情况下是空的。 -
locator：这个键用于放置的替代对象名称。 -
snap：对象的快照 ID。对象的唯一可写版本被称为head。如果对象是克隆，则此字段包含其顺序 ID。 -
Version：副本不一致的对象的版本 ID。每个对象写入操作都会递增它。 错误：显示分片之间不一致的错误列表，但不决定哪个分片或分片不正确。请参阅shard数组以进一步调查错误。-
data_digest_mismatch：从一个 OSD 读取的副本摘要与其他 OSD 不同。 -
size_mismatch：克隆的大小或头对象与预期不匹配。 -
read_error：此错误表示磁盘错误很有可能导致不一致。
-
union_shard_error：所有特定于分片的错误的并集。这些错误连接到有故障的分片。以oi结尾的错误表示您必须将故障对象中的信息与选定对象的信息进行比较。请参阅shard数组以进一步调查错误。在上例中，存储在
osd.2上的对象副本的摘要与osd.0和osd.1上存储的副本不同。具体来说，副本摘要不是从osd.2读取的分片中计算的0xffffffff，而是0xe978e67f。此外，从osd.2读取的副本大小为 0，由osd.0和osd.1报告的大小为 968。
-
列出快照集不一致：
语法
rados list-inconsistent-snapset PLACEMENT_GROUP_ID示例
[ceph: root@host01 /]# rados list-inconsistent-snapset 0.23 --format=json-pretty { "epoch": 64, "inconsistents": [ { "name": "obj5", "nspace": "", "locator": "", "snap": "0x00000001", "headless": true }, { "name": "obj5", "nspace": "", "locator": "", "snap": "0x00000002", "headless": true }, { "name": "obj5", "nspace": "", "locator": "", "snap": "head", "ss_attr_missing": true, "extra_clones": true, "extra clones": [ 2, 1 ] } ]该命令返回以下错误：
-
ss_attr_missing：缺少一个或多个属性。属性是关于作为键值对列表编码到快照集的快照的信息。 -
ss_attr_corrupted：一个或多个属性无法解码。 -
clone_missing：缺少克隆。 -
snapset_mismatch：快照集本身不一致。 -
head_mismatch：快照集表示head存在或不存在，但清理结果报告其他。 -
无标头：缺少快照集的头部。 -
size_mismatch：克隆的大小或头对象与预期不匹配。
-
其它资源
- 红帽 Ceph 存储故障排除指南 中的 放置组部分不一致.
- Red Hat Ceph Storage Troubleshooting Guide 中的 Repairing inconsistent placement groups 部分。
8.5. 修复不一致的放置组
由于深度清理过程中出现错误，一些 PG 可以包含不一致的情况。Ceph 将这样的放置组报告为 不一致 ：
HEALTH_ERR 1 pgs inconsistent; 2 scrub errors pg 0.6 is active+clean+inconsistent, acting [0,1,2] 2 scrub errors
您只能修复某些不一致的问题。
如果 Ceph 日志包括以下错误，则不要修复 PG：
_PG_._ID_ shard _OSD_: soid _OBJECT_ digest _DIGEST_ != known digest _DIGEST_ _PG_._ID_ shard _OSD_: soid _OBJECT_ omap_digest _DIGEST_ != known omap_digest _DIGEST_
相反，打开支持问题单。有关 详细信息，请参阅联系红帽支持团队。
先决条件
- Ceph 监控节点的根级别访问权限.
流程
修复
不一致的PG：语法
ceph pg repair ID使用
不一致的PG 的ID替换 ID。
其它资源
- 请参阅 Red Hat Ceph Storage Troubleshooting Guide 中的 Inconsistent placement groups 部分。
- 请参阅 列出放置组不一致 Red Hat Ceph Storage 故障排除指南。
8.6. 增加放置组
放置组(PG)计数不足，会影响 Ceph 集群和数据分布的性能。它是 nearfull osds 错误消息的主要原因之一。
建议比率为每个 OSD 100 到 300 个 PG。当您向集群添加更多 OSD 时，这个比率可能会降低。
The pg_num 和 pgp_num 参数决定了 PG 数。这些参数为每个池配置，因此您必须单独调整每个池的 PG 数较低。
增加 PG 数量是您可以在 Ceph 集群上执行的一个最密集型进程。如果没有以缓慢和方法方式执行，这个过程可能会对性能有严重影响。旦您提高 pgp_num，您将无法停止或颠倒此进程，您必须完成该过程。考虑在业务关键处理时间分配之外增加 PG 数量，并提醒所有客户端可能会对性能造成影响。如果集群处于 HEALTH_ERR 状态，则不要更改 PG 计数。
先决条件
- 正在运行的红帽 Ceph 存储集群处于健康状态。
- 节点的根级别访问权限。
流程
减少数据重新发布和恢复对单个 OSD 和 OSD 主机的影响：
降低
osd max backfills、osd_recovery_max_active和osd_recovery_op_priority参数的值：[ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 1 --osd_recovery_op_priority 1'
禁用浅刮除和深度刮除：
[ceph: root@host01 /]# ceph osd set noscrub [ceph: root@host01 /]# ceph osd set nodeep-scrub
-
使用 Ceph Placement Groups (PGs) per Pool Calculator 来计算
pg_num和pgp_num参数的最佳值。 以较小增量增加
pg_num值，直到您达到所需的值。- 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳的值取决于池大小、OSD 数和客户端 I/O 负载。
递增
pg_num值：语法
ceph osd pool set POOL pg_num VALUE
指定池名称和新值，例如：
示例
[ceph: root@host01 /]# ceph osd pool set data pg_num 4
监控集群的状态：
示例
[ceph: root@host01 /]# ceph -s
PGs 状态将从
creating更改为active+clean。等待所有 PG 都处于active+clean状态。
以小增量增加
pgp_num值，直到您达到所需的值：- 确定启动递增值。使用一个非常低的值（2 的指数），并在您确定对集群的影响时增加这个值。最佳的值取决于池大小、OSD 数和客户端 I/O 负载。
递增
pgp_num值：语法
ceph osd pool set POOL pgp_num VALUE
指定池名称和新值，例如：
[ceph: root@host01 /]# ceph osd pool set data pgp_num 4
监控集群的状态：
[ceph: root@host01 /]# ceph -s
PGs 状态将通过
peering、wait_backfill、回填、恢复等来改变。等待所有 PG 都处于active+clean状态。
- 对 PG 数量不足的所有池重复上述步骤。
将
osd max backfills、osd_recovery_max_active和osd_recovery_op_priority设置为默认值：[ceph: root@host01 /]# ceph tell osd.* injectargs '--osd_max_backfills 1 --osd_recovery_max_active 3 --osd_recovery_op_priority 3'
启用浅刮除和深度刮除：
[ceph: root@host01 /]# ceph osd unset noscrub [ceph: root@host01 /]# ceph osd unset nodeep-scrub
其它资源
- 请参阅 Nearfull OSD
- 请参阅 Red Hat Ceph Storage Administration Guide 中的 Monitoring Placement Group Sets 部分。
8.7. 其它资源
- 详情请查看 第 3 章 网络问题故障排除。
- 有关对 Ceph 监控器最常见的错误进行故障排除的详细信息，请参阅 第 4 章 Ceph 监控器故障排除。
- 如需有关对 Ceph OSD 相关的最常见错误进行故障排除的详细信息，请参阅 第 5 章 Ceph OSD 故障排除。
- 如需有关 PG 自动扩展器的更多信息，请参阅 Red Hat Ceph Storage 策略指南中的 自动扩展放置组 部分。
第 9 章 Ceph 对象故障排除
作为存储管理员，您可以使用 ceph-objectstore-tool 实用程序执行高级别或低级对象操作。ceph-objectstore-tool 实用程序可帮助您对特定 OSD 或 PG 中对象相关的问题进行故障排除。
操作对象可能会导致无法恢复的数据丢失。在使用 ceph-objectstore-tool 实用程序前，请联络红帽支持。
9.1. 先决条件
- 验证没有与网络相关的问题。
9.2. 高级对象操作故障排除
作为存储管理员，您可以使用 ceph-objectstore-tool 实用程序来执行高级别对象操作。ceph-objectstore-tool 实用程序支持以下高级对象操作：
- 列出对象
- 列出丢失的对象
- 修复丢失的对象
操作对象可能会导致无法恢复的数据丢失。在使用 ceph-objectstore-tool 实用程序前，请联络红帽支持。
9.2.1. 先决条件
- 对 Ceph OSD 节点的根级别访问权限.
9.2.2. 列出对象
OSD 可以包含零个到多个 PG 的 PG，对放置组(PG)中的多个对象包含零。ceph-objectstore-tool 实用程序允许您列出 OSD 中存储的对象。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
识别 OSD 内的所有对象，而不考虑 PG:
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --op list示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list
识别 PG 中的所有对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op list
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op list
识别对象所属的 PG：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --op list OBJECT_ID
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op list default.region
9.2.3. 修复丢失的对象
您可以使用 ceph-objectstore-tool 实用程序列出和修复 Ceph OSD 中存储的、未找到 的对象。这个过程只适用于旧对象。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
列出所有丢失的旧对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost --dry-run示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost --dry-run
使用
ceph-objectstore-tool实用程序修复 丢失和未找到 的对象。选择适当的情况：修复所有丢失的对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost
修复 PG 中丢失的所有对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID --op fix-lost
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c --op fix-lost
使用标识符修复丢失的对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --op fix-lost OBJECT_ID
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --op fix-lost default.region
9.3. 低级对象操作故障排除
作为存储管理员，您可以使用 ceph-objectstore-tool 实用程序来执行低级对象操作。ceph-objectstore-tool 实用程序支持以下低级别对象操作：
- 操作对象的内容
- 删除对象
- 列出对象映射(OMAP)
- 处理 OMAP 标头
- 操作 OMAP 密钥
- 列出对象的属性
- 操作对象的属性键
操作对象可能会导致无法恢复的数据丢失。在使用 ceph-objectstore-tool 实用程序前，请联络红帽支持。
9.3.1. 先决条件
- 对 Ceph OSD 节点的根级别访问权限.
9.3.2. 操作对象的内容
使用 ceph-objectstore-tool 实用程序时，您可以在对象上获取或设置字节。
在对象上设置字节可能会导致无法恢复的数据丢失。要防止数据丢失，请为对象制作备份副本。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-osd@OSD_ID示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
- 通过列出 OSD 或 PG(PG)的对象来查找对象。
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
在对象中设置字节前，请进行备份和对象的工作副本：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \ OBJECT \ get-bytes > OBJECT_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \ '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ get-bytes > zone_info.default.backup [ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \ '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ get-bytes > zone_info.default.working-copy- 编辑工作复制对象文件，并相应地修改对象内容。
设置对象的字节：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \ OBJECT \ set-bytes < OBJECT_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \ '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ set-bytes < zone_info.default.working-copy
9.3.3. 删除对象
使用 ceph-objectstore-tool 实用程序删除对象。通过移除对象，其内容和引用将从放置组(PG)中删除。
对象被删除后，您就无法重新创建对象。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
删除对象：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \ OBJECT \ remove
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \ '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ remove
9.3.4. 列出对象映射
使用 ceph-objectstore-tool 实用程序列出对象映射(OMAP)的内容。输出为您提供了键列表。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
systemctl status ceph-osd@OSD_ID示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
列出对象映射：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD --pgid PG_ID \ OBJECT \ list-omap
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 --pgid 0.1c \ '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ list-omap
9.3.5. 操作对象映射标头
ceph-objectstore-tool 实用程序输出对象映射(OMAP)标头与对象的密钥关联的值。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
获取对象映射标头：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ get-omaphdr > OBJECT_MAP_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ get-omaphdr > zone_info.default.omaphdr.txt设置对象映射标头：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ get-omaphdr < OBJECT_MAP_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ set-omaphdr < zone_info.default.omaphdr.txt
9.3.6. 操作对象映射密钥
使用 ceph-objectstore-tool 实用程序更改对象映射(OMAP)密钥。您需要提供数据路径、放置组标识符(PG ID)、对象和 OMAP 中的密钥。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
获取对象映射键：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ get-omap KEY > OBJECT_MAP_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ get-omap "" > zone_info.default.omap.txt设置对象映射键：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ set-omap KEY < OBJECT_MAP_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ set-omap "" < zone_info.default.omap.txt删除对象映射键：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ rm-omap KEY
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ rm-omap ""
9.3.7. 列出对象的属性
使用 ceph-objectstore-tool 实用程序列出对象的属性。输出为您提供对象的键和值。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程.
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
列出对象的属性：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ list-attrs
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ list-attrs
9.3.8. 操作对象属性键
使用 ceph-objectstore-tool 实用程序更改对象的属性。要操作对象的属性，您需要数据路径、放置组标识符(PG ID)、对象和对象属性中的键。
先决条件
- Ceph OSD 节点的根级别访问权限.
-
停止
ceph-osd守护进程。
流程
验证适当的 OSD 是否停机：
语法
systemctl status ceph-FSID@osd.OSD_ID
示例
[root@host01 ~]# systemctl status ceph-b404c440-9e4c-11ec-a28a-001a4a0001df@osd.0.service
登录到 OSD 容器：
语法
cephadm shell --name osd.OSD_ID示例
[root@host01 ~]# cephadm shell --name osd.0
获取对象的属性：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ get-attr KEY > OBJECT_ATTRS_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ get-attr "oid" > zone_info.default.attr.txt设置对象的属性：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ set-attr KEY < OBJECT_ATTRS_FILE_NAME
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ set-attr "oid" < zone_info.default.attr.txt删除对象的属性：
语法
ceph-objectstore-tool --data-path PATH_TO_OSD \ --pgid PG_ID OBJECT \ rm-attr KEY
示例
[ceph: root@host01 /]# ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-0 \ --pgid 0.1c '{"oid":"zone_info.default","key":"","snapid":-2,"hash":235010478,"max":0,"pool":11,"namespace":""}' \ rm-attr "oid"
9.4. 其它资源
- 有关 Red Hat Ceph Storage 支持，请参阅 红帽客户门户网站。
第 10 章 对处于扩展模式的集群进行故障排除
您可以替换并删除失败的 tiebreaker 监视器。如果需要，您还可以将集群强制到恢复或健康模式。
其它资源
如需有关 以扩展模式的集群的更多信息，请参阅 Ceph 存储的 Stretch 集群。
10.1. 将 tiebreaker 替换为仲裁中的 monitor
如果您的 tiebreaker 监控器失败，您可以将其替换为仲裁中的现有监控器，并将其从集群中移除。
先决条件
- 正在运行的 Red Hat Ceph Storage 集群
- 在集群中启用了扩展模式
流程
禁用自动监控器部署：
示例
[ceph: root@host01 /]# ceph orch apply mon --unmanaged Scheduled mon update…
查看仲裁中的监控器：
示例
[ceph: root@host01 /]# ceph -s mon: 5 daemons, quorum host01, host02, host04, host05 (age 30s), out of quorum: host07
将仲裁中的监控器设置为一个新的 tiebreaker：
语法
ceph mon set_new_tiebreaker NEW_HOST示例
[ceph: root@host01 /]# ceph mon set_new_tiebreaker host02
重要如果监控器与现有非tiebreaker 监控器位于同一个位置，您会收到错误消息：
示例
[ceph: root@host01 /]# ceph mon set_new_tiebreaker host02 Error EINVAL: mon.host02 has location DC1, which matches mons host02 on the datacenter dividing bucket for stretch mode.
如果发生这种情况，请更改监控器的位置：
语法
ceph mon set_location HOST datacenter=DATACENTER
示例
[ceph: root@host01 /]# ceph mon set_location host02 datacenter=DC3
删除失败的 tiebreaker 监控器：
语法
ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force示例
[ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force Removed mon.host07 from host 'host07'
从主机移除 monitor 后，重新部署监控器：
语法
ceph mon add HOST IP_ADDRESS datacenter=DATACENTER ceph orch daemon add mon HOST
示例
[ceph: root@host01 /]# ceph mon add host07 213.222.226.50 datacenter=DC1 [ceph: root@host01 /]# ceph orch daemon add mon host07
确保仲裁中存在五个监控器：
示例
[ceph: root@host01 /]# ceph -s mon: 5 daemons, quorum host01, host02, host04, host05, host07 (age 15s)
验证一切是否已正确配置：
示例
[ceph: root@host01 /]# ceph mon dump epoch 19 fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d last_changed 2023-01-17T04:12:05.709475+0000 created 2023-01-16T05:47:25.631684+0000 min_mon_release 16 (pacific) election_strategy: 3 stretch_mode_enabled 1 tiebreaker_mon host02 disallowed_leaders host02 0: [v2:132.224.169.63:3300/0,v1:132.224.169.63:6789/0] mon.host02; crush_location {datacenter=DC3} 1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2} 2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1} 3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host07; crush_location {datacenter=DC1} 4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host03; crush_location {datacenter=DC2} dumped monmap epoch 19重新部署 monitor：
语法
ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”
示例
[ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host07" Scheduled mon update...
10.2. 使用新监控器替换 tiebreaker
如果您的 tiebreaker 监控器失败，您可以将其替换为新监控器并将其从集群中移除。
先决条件
- 正在运行的 Red Hat Ceph Storage 集群
- 在集群中启用的扩展模式
流程
在集群中添加新监控器：
手动将
crush_location添加到新监控器中：语法
ceph mon add NEW_HOST IP_ADDRESS datacenter=DATACENTER
示例
[ceph: root@host01 /]# ceph mon add host06 213.222.226.50 datacenter=DC3 adding mon.host06 at [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0]
注意新监控器必须位于与现有非tiebreaker 监视器不同的位置。
禁用自动监控器部署：
示例
[ceph: root@host01 /]# ceph orch apply mon --unmanaged Scheduled mon update…
部署新监控器：
语法
ceph orch daemon add mon NEW_HOST示例
[ceph: root@host01 /]# ceph orch daemon add mon host06
确保有 6 个监控器，其中 5 个处于仲裁状态：
示例
[ceph: root@host01 /]# ceph -s mon: 6 daemons, quorum host01, host02, host04, host05, host06 (age 30s), out of quorum: host07
将新监控器设置为一个新的 tiebreaker：
语法
ceph mon set_new_tiebreaker NEW_HOST示例
[ceph: root@host01 /]# ceph mon set_new_tiebreaker host06
删除失败的 tiebreaker 监控器：
语法
ceph orch daemon rm FAILED_TIEBREAKER_MONITOR --force示例
[ceph: root@host01 /]# ceph orch daemon rm mon.host07 --force Removed mon.host07 from host 'host07'
验证一切是否已正确配置：
示例
[ceph: root@host01 /]# ceph mon dump epoch 19 fsid 1234ab78-1234-11ed-b1b1-de456ef0a89d last_changed 2023-01-17T04:12:05.709475+0000 created 2023-01-16T05:47:25.631684+0000 min_mon_release 16 (pacific) election_strategy: 3 stretch_mode_enabled 1 tiebreaker_mon host06 disallowed_leaders host06 0: [v2:213.222.226.50:3300/0,v1:213.222.226.50:6789/0] mon.host06; crush_location {datacenter=DC3} 1: [v2:220.141.179.34:3300/0,v1:220.141.179.34:6789/0] mon.host04; crush_location {datacenter=DC2} 2: [v2:40.90.220.224:3300/0,v1:40.90.220.224:6789/0] mon.host01; crush_location {datacenter=DC1} 3: [v2:60.140.141.144:3300/0,v1:60.140.141.144:6789/0] mon.host02; crush_location {datacenter=DC1} 4: [v2:186.184.61.92:3300/0,v1:186.184.61.92:6789/0] mon.host05; crush_location {datacenter=DC2} dumped monmap epoch 19重新部署 monitor：
语法
ceph orch apply mon --placement="HOST_1, HOST_2, HOST_3, HOST_4, HOST_5”
示例
[ceph: root@host01 /]# ceph orch apply mon --placement="host01, host02, host04, host05, host06" Scheduled mon update…
10.3. 强制扩展集群到恢复或健康模式
在扩展降级模式中，集群会在断开连接的数据中心返回后自动进入恢复模式。如果没有发生这种情况，或者您想要提前启用恢复模式，您可以将扩展集群强制到恢复模式。
先决条件
- 正在运行的 Red Hat Ceph Storage 集群
- 在集群中启用的扩展模式
流程
将扩展集群强制到恢复模式：
示例
[ceph: root@host01 /]# ceph osd force_recovery_stretch_mode --yes-i-really-mean-it
注意恢复状态会使集群处于
HEALTH_WARN状态。在恢复模式中，在放置组健康后，集群应该恢复到正常扩展模式。如果没有发生这种情况，您可以将扩展集群强制进入健康模式：
示例
[ceph: root@host01 /]# ceph osd force_healthy_stretch_mode --yes-i-really-mean-it
注意如果您要在早期强制跨数据中心对等，且您要风险数据停机时间，或者您单独验证所有放置组都可以对等点，您也可以运行这个命令，即使它们没有被完全恢复。
您可能还想调用健康状态模式来删除
HEALTH_WARN状态，该状态由恢复状态生成。注意不应要求
force_recovery_stretch_mode和force_recovery_healthy_mode命令，因为它们包含在管理未预期的情况的过程中。
第 11 章 联系红帽支持服务
如果本指南中的信息没有帮助您解决问题，本章将向您阐述如何联系 Red Hat 支持服务。
11.1. 先决条件
- 红帽支持帐户.
11.2. 为红帽支持工程师提供信息
如果您无法修复与 Red Hat Ceph Storage 相关的问题，请联络红帽支持服务并提供足够数量的信息，以帮助支持工程师更快地解决遇到的问题。
先决条件
- 节点的根级别访问权限。
- 红帽支持帐户.
流程
- 在 红帽客户门户网站中创建一个支持问题单。
-
理想情况下，请将
sosreport附加到 ticket。有关详细信息，请参阅 什么是 sosreport 以及如何在 Red Hat Enterprise Linux? 解决方案中创建 sosreport。 - 如果 Ceph 守护进程失败并显示分段错误，请考虑生成人类可读的核心转储文件。详情请参阅 生成可读的内核转储文件。
11.3. 生成可读的核心转储文件
当 Ceph 守护进程意外终止分段错误时，请收集关于其故障的信息，并将其提供给红帽支持工程师。
此类信息可加快初步调查的速度。此外，支持工程师还可以将核心转储文件中的信息与红帽 Ceph 存储集群已知问题进行比较。
11.3.1. 先决条件
安装 debuginfo 软件包（如果尚未安装）。
启用以下软件仓库来安装所需的 debuginfo 软件包。
示例
[root@host01 ~]# subscription-manager repos --enable=rhceph-5-tools-for-rhel-8-x86_64-rpms [root@host01 ~]# yum --disablerepo='*' --enable=rhceph-5-tools-for-rhel-8-x86_64-debug-rpms
启用软件仓库后，您可以从这个支持的软件包列表中安装您需要的 debug info 软件包：
ceph-base-debuginfo ceph-common-debuginfo ceph-debugsource ceph-fuse-debuginfo ceph-immutable-object-cache-debuginfo ceph-mds-debuginfo ceph-mgr-debuginfo ceph-mon-debuginfo ceph-osd-debuginfo ceph-radosgw-debuginfo cephfs-mirror-debuginfo
确定安装了
gdb软件包，如果未安装，请安装它：示例
[root@host01 ~]# dnf install gdb
11.3.2. 在容器化部署中生成可读的核心转储文件
您可以为 {storage-product| 5 生成核心转储文件，它涉及捕获核心转储文件的两种情况：
- 当 Ceph 进程因为 SIGILL、SIGTRAP、SIGABRT 或 SIGSEGV 错误而意外终止时。
或
- 例如，用于调试 Ceph 进程等问题的手动消耗 CPU 周期较高，或者没有响应。
先决条件
- 对运行 Ceph 容器的容器节点的根级别访问权限。
- 安装适当的调试软件包。
-
安装 GNU Project Debugger(
gdb)软件包。 - 确保主机具有至少 8 GB RAM。如果主机上有多个守护进程，红帽建议更多 RAM。
流程
如果 Ceph 进程因为 SIGILL、SIGTRAP、SIGABRT 或 SIGSEGV 错误意外终止：
将核心模式设置为运行有故障 Ceph 进程的容器的
systemd-coredump服务：示例
[root@mon]# echo "| /usr/lib/systemd/systemd-coredump %P %u %g %s %t %c %h %e" > /proc/sys/kernel/core_pattern
观察因为 Ceph 进程导致下一个容器失败，并在
/var/lib/systemd/coredump/目录中搜索核心转储文件：示例
[root@mon]# ls -ltr /var/lib/systemd/coredump total 8232 -rw-r-----. 1 root root 8427548 Jan 22 19:24 core.ceph-osd.167.5ede29340b6c4fe4845147f847514c12.15622.1584573794000000.xz
为 Ceph Monitors 和 Ceph OSDs 手动捕获内核转储文件：
获取 MONITOR_ID 或 OSD_ID 并输入容器：
语法
podman ps podman exec -it MONITOR_ID_OR_OSD_ID bash示例
[root@host01 ~]# podman ps [root@host01 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-osd-2 bash
在容器中安装
procps-ng和gdb软件包：示例
[root@host01 ~]# dnf install procps-ng gdb
查找进程 ID：
语法
ps -aef | grep PROCESS | grep -v run将 PROCESS 替换为正在运行的进程的名称，如
ceph-mon或ceph-osd。示例
[root@host01 ~]# ps -aef | grep ceph-mon | grep -v run ceph 15390 15266 0 18:54 ? 00:00:29 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 5 ceph 18110 17985 1 19:40 ? 00:00:08 /usr/bin/ceph-mon --cluster ceph --setroot ceph --setgroup ceph -d -i 2
生成内核转储文件：
语法
gcore ID将 ID 替换为您在上一步中获得的进程的 ID，如
18110：示例
[root@host01 ~]# gcore 18110 warning: target file /proc/18110/cmdline contained unexpected null characters Saved corefile core.18110
验证核心转储文件是否已正确生成。
示例
[root@host01 ~]# ls -ltr total 709772 -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.18110
在 Ceph 监控容器外部复制内核转储文件：
语法
podman cp ceph-mon-MONITOR_ID:/tmp/mon.core.MONITOR_PID /tmp
将 MONITOR_ID 替换为 Ceph monitor 的 ID 号，并将 MONITOR_PID 替换为进程 ID 号。
为其他 Ceph 守护进程手动捕获核心转储文件：
登录到
cephadm shell：示例
[root@host03 ~]# cephadm shell
为守护进程启用
ptrace：示例
[ceph: root@host01 /]# ceph config set mgr mgr/cephadm/allow_ptrace true
重新部署守护进程服务：
语法
ceph orch redeploy SERVICE_ID示例
[ceph: root@host01 /]# ceph orch redeploy mgr [ceph: root@host01 /]# ceph orch redeploy rgw.rgw.1
退出
cephadm shell并登录到部署守护进程的主机：示例
[ceph: root@host01 /]# exit [root@host01 ~]# ssh root@10.0.0.11
获取 DAEMON_ID 并输入容器：
示例
[root@host04 ~]# podman ps [root@host04 ~]# podman exec -it ceph-1ca9f6a8-d036-11ec-8263-fa163ee967ad-rgw-rgw-1-host04 bash
安装
procps-ng和gdb软件包：示例
[root@host04 /]# dnf install procps-ng gdb
获取进程的 PID：
示例
[root@host04 /]# ps aux | grep rados ceph 6 0.3 2.8 5334140 109052 ? Sl May10 5:25 /usr/bin/radosgw -n client.rgw.rgw.1.host04 -f --setuser ceph --setgroup ceph --default-log-to-file=false --default-log-to-stderr=true --default-log-stderr-prefix=debug
收集内核转储：
语法
gcore PID示例
[root@host04 /]# gcore 6
验证核心转储文件是否已正确生成。
示例
[root@host04 /]# ls -ltr total 108798 -rw-r--r--. 1 root root 726799544 Mar 18 19:46 core.6
在容器外复制内核转储文件：
语法
podman cp ceph-mon-DAEMON_ID:/tmp/mon.core.PID /tmp
将 DAEMON_ID 替换为 Ceph 守护进程的 ID 号，并将 PID 替换为进程 ID 号。
- 将核心转储文件上传至红帽支持问题单中。详情请参阅向红帽支持工程师提供信息。
11.3.3. 其它资源
附录 A. Ceph 子系统默认日志记录级别值
各种 Ceph 子系统的默认日志记录级别值表。
| 子系统 | 日志级别 | 内存级别 |
|---|---|---|
|
| 1 | 5 |
|
| 1 | 5 |
|
| 0 | 0 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 0 | 0 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
|
| 1 | 5 |
|
| 1 | 5 |
|
| 0 | 5 |
|
| 0 | 5 |
附录 B. Ceph 集群的运行状况消息
Red Hat Ceph Storage 集群可以引发的健康信息是有限的。它们定义为具有唯一标识符的健康检查。标识符是一个制表伪可读字符串，旨在使工具能够理解健康检查，并以反应其含义的方式呈现它们。
表 B.1. Monitor
| 健康代码 | 描述 |
|---|---|
|
| 如果旧版本的 Ceph 正在任何守护进程上运行，将发出 Warn。如果检测到多个版本，它将生成一个健康错误。 |
|
| 一个或多个 Ceph 监控守护进程当前为 down。 |
|
|
运行 |
|
|
|
|
| 一个或多个 Ceph 监控器在磁盘空间上较低。 |
|
| 一个或多个 Ceph 监控器在磁盘空间上非常低。 |
|
| 一个或多个 Ceph 监控器的数据库大小非常大。 |
|
|
一个或多个客户端或守护进程连接到存储集群，在重新连接到 Ceph monitor 时，这些集群不会安全地回收其 |
|
|
Ceph 目前配置为允许客户端使用不安全的进程重新连接到监控器，以回收其之前的 |
表 B.2. Manager（管理者）
| 健康代码 | 描述 |
|---|---|
|
| 所有 Ceph 管理器守护进程目前都为 down。 |
|
| 启用的 Ceph Manager 模块无法进行依赖项检查。 |
|
| Ceph 管理器模块遇到了意外错误。通常，这意味着从模块的服务功能中引发了未处理异常。 |
表 B.3. OSD
| 健康代码 | 描述 |
|---|---|
|
| 一个或多个 OSD 已标记为 down。 |
|
| 特定 CRUSH 子树中的所有 OSD 都标记为 down，例如主机上的所有 OSD。例如，OSD_HOST_DOWN 和 OSD_ROOT_DOWN |
|
|
OSD 在 CRUSH map 层次结构中引用，但不存在。运行 |
|
|
nearfull, backfillfull, full, 或, failsafefull 的利用阈值不是升序。通过运行 |
|
|
一个或多个 OSD 已超过完整阈值，导致存储集群无法提供写入服务。通过一个小的 |
|
| 一个或多个 OSD 已超过 backfillfull 阈值，这将阻止数据重新平衡到这个设备。 |
|
| 一个或多个 OSD 已超过 nearfull 阈值。 |
|
|
设置了一个或多个感兴趣的存储集群标志。这些标志包括 full、pauserd、pausewr、noup、nodown、noin 、 nobackfill、no recover、no rebalance、no scrub、nodeep_scrub 和 notieragent。除了 full，标记可以通过 |
|
| 一个或多个 OSD 或 CRUSH 设置了感兴趣的标志。这些标志包括 noup、nodown、noin 和 noout。 |
|
| CRUSH map 使用非常旧的设置，应当更新。 |
|
|
CRUSH map 使用一种较旧的非优化方法来计算 |
|
|
一个或多个缓存池没有配置为跟踪利用率，这会阻止分层代理识别冷对象以清空并从缓存中驱除。使用 |
|
|
未设置 |
|
|
一个或多个池已达到其配额，不再允许写入。使用 |
|
|
使用 BlueStore 后端的一个或多个 OSD 被分配 db 分区，但空间已填满，因此元数据已"中断"到正常较慢的设备。使用 |
|
| 此输出给出了三个值，即 BDEV_DB 可用值：BDE V_SLOW free 和 available_from_bluestore。 |
|
|
如果 BlueStore 文件系统(BlueFS)在可用空间上运行较低，且可用 |
|
| 因为 BlueStore 在底层存储上正常工作的空间会变得碎片化。这是正常现象，但过度的碎片将导致减慢。 |
|
|
BlueStore 以每个池粒度为基础跟踪其内部使用量统计数据，一个或多个 OSD 具有 BlueStore 卷。使用 |
|
|
BlueStore 按照池跟踪 omap 空间利用率。使用 |
|
|
BlueStore 按照 PG 跟踪 omap 空间利用率。使用 |
|
| 使用 BlueStore 的一个或多个 OSD 在物理设备的大小和元数据跟踪其大小之间存在内部不一致。 |
|
|
一个或多个 OSD 无法加载 BlueStore 压缩插件。这可能是由安装中断造成的，其中 |
|
| 使用 BlueStore 的一个或多个 OSD 检测主设备上的虚假读取错误。BlueStore 通过重试磁盘读取从这些错误中恢复。 |
表 B.4. 设备健康状况
| 健康代码 | 描述 |
|---|---|
|
|
一个或多个设备应该很快失败，其中警告阈值由 |
|
|
个或多个设备应该很快失败，并根据 |
|
|
应该会很快出现太多设备失败，并且 |
表 B.5. 池和放置组
| 健康代码 | 描述 |
|---|---|
|
| 数据可用性会降低，这意味着存储集群无法为集群中的某些数据提供潜在的读写请求。 |
|
| 一些数据的数据冗余会降低，这意味着存储集群没有复制池或纠删代码片段所需的副本数。 |
|
|
由于存储集群中缺少可用空间，数据冗余可能会减少或面临风险，特别是一个或多个 PG 设置了 |
|
|
由于存储集群中缺少可用空间，数据冗余可能会减少或面临风险，特别是一个或多个 PG 设置了 |
|
|
数据清理在存储集群中发现了一些数据一致性问题，特别是一个或多个 PG 设置了不一致或 |
|
| 最近的 OSD 清理已揭示了不一致的情况。 |
|
| 当出现读取错误并存在另一个副本时，可使用它立即修复错误，以便客户端可以获取对象数据。 |
|
|
一个或多个池包括大量 omap 对象，由 |
|
|
缓存层池已接近满。使用 |
|
|
存储集群中使用的 PG 数量低于每个 OSD 的 |
|
|
一个或多个池带有值不是二的指数的 |
|
|
一个或多个池可能具有更多 PG，具体取决于池中当前存储的数据量。您可以使用 |
|
|
存储集群中使用的 PG 数量高于每个 OSD 的可配置阈值 |
|
|
一个或多个池可能具有更多 PG，具体取决于池中当前存储的数据量。您可以使用 |
|
|
个或多个池设置了 |
|
|
一个或多个池同时设置了 |
|
|
存储集群中的 OSD 数量低于 |
|
|
一个或多个池带有值小于 |
|
|
个或多个池每个 PG 的平均对象数量明显高于存储集群总体平均值。特定阈值由 |
|
|
存在一个池，其中包含一个或多个对象，但尚未标记供特定应用使用。使用 |
|
|
个或多个池已达到其配额。触发此错误条件的阈值由 |
|
|
一个或多个池正在接近配置的全度阈值。使用 |
|
| 存储群集中的一个或多个对象不存储在存储器集群希望它存储的节点上。这表明，由于最近一些存储集群更改，数据迁移尚未完成。 |
|
| 存储集群中无法找到一个或多个对象，特别是 OSD 知道对象应存在新的或更新的副本，但当前在线的 OSD 上尚未找到该对象版本的副本。 |
|
| 一个或多个 OSD 或 monitor 的请求需要很长时间进行处理。这可能代表了极端负载、存储设备缓慢或软件漏洞。 |
|
|
最近没有清理一个或多个 PG。PG 通常在由 |
|
|
最近没有对一个或多个 PG 进行深度清理。使用 |
|
| 一个或多个 PG 的快照修剪队列已超过配置的警告阈值。这表明最近删除了大量的快照，或者 OSD 无法足够快速地修剪快照，以跟上新快照删除的速度。 |
表 B.6. 其它
| 健康代码 | 描述 |
|---|---|
|
| 一个或多个 Ceph 守护进程最近已崩溃，并且该崩溃尚未被管理员确认。 |
|
| 遥测已经启用，但遥测报告的内容从那时起发生了变化，因此将不会发送遥测报告。 |
|
|
一个或多个 auth 用户具有无法被 monitor 解析的功能。使用 |
|
|
|
|
|
启用了 Dashboard 调试模式。这意味着，如果在处理 REST API 请求时出现错误，则 HTTP 错误响应包含 Python 回溯。使用 |
