2.8. 配置持久性存储

如果使用持久性存储运行集群监控，您的指标将保存在持久性卷（PV）中，并可在 Pod 重新启动或重新创建后保留。如果您需要预防指标或警报数据丢失，这是理想方案。在生产环境中，强烈建议配置持久性存储。由于 IO 需求很高，使用本地存储颇有优势。

注意

2.8.1. 持久性存储的先决条件

  • 分配充足的专用本地持久性存储，以确保磁盘不会被填满。您需要的存储量取决于 Pod 的数目。如需有关持久性存储系统要求的信息，请参阅 Prometheus 数据库存储要求。
  • 确保持久性卷 (PV) 已准备好以供持久性卷声明 (PVC) 使用，每个副本一个 PV。由于 Prometheus 有两个副本并且 Alertmanager 有三个副本，因此您需要五个 PV 来支持整个监控堆栈。PV 应该从 Local Storage Operator 中提供。如果启用了动态置备的存储，则这项要求不适用。
  • 在配置持久性卷时，使用 Filesystem 作为 volumeMode 参数的存储类型值。

  • 配置本地持久性存储。

    注意

    如果将本地卷用于持久性存储，请不要使用原始块卷，这在 LocalVolume 对象中的 volumeMode: block 描述。Prometheus 无法使用原始块卷。

2.8.2. 配置本地持久性卷声明

要让监控组件使用持久性卷 (PV)，您必须配置持久性卷声明 (PVC)。

先决条件

  • 如果要配置 OpenShift Container Platform 核心监控组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群。
    • 您已创建 cluster-monitoring-config ConfigMap 对象。

  • 如果您要配置用于监控用户定义的项目的组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群，也可以使用在 openshift-user-workload-monitoring 项目中具有 user-workload-monitoring-config-edit 角色的用户访问集群。
    • 您已创建了 user-workload-monitoring-config ConfigMap 对象。
  • 已安装 OpenShift CLI（oc）。

流程

  1. 编辑 ConfigMap 对象：

    • 为监控 OpenShift Container Platform 核心项目的组件配置 PVC：

      1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

      2. 将组件的 PVC 配置添加到 data/config.yaml 下： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    <component>:
      volumeClaimTemplate:
        spec:
          storageClassName: <storage_class>
          resources:
            requests:
              storage: <amount_of_storage>

        如需有关如何指定 volumeClaimTemplate 的信息，请参阅 Kubernetes 文档中与 PersistentVolumeClaim 相关的内容。

        以下示例配置了一个 PVC 来声明用于监控 OpenShift Container Platform 核心组件的 Prometheus 实例的本地持久性存储： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    prometheusK8s:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 40Gi

        在上例中，由 Local Storage Operator 创建的存储类称为 local-storage。

        以下示例配置了一个 PVC 来声明用于 Alertmanager 的本地持久性存储： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    alertmanagerMain:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 10Gi

    • 要为监控用户定义的项目的组件配置 PVC：

      1. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

      2. 将组件的 PVC 配置添加到 data/config.yaml 下： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    <component>:
      volumeClaimTemplate:
        spec:
          storageClassName: <storage_class>
          resources:
            requests:
              storage: <amount_of_storage>

        如需有关如何指定 volumeClaimTemplate 的信息，请参阅 Kubernetes 文档中与 PersistentVolumeClaim 相关的内容。

        以下示例配置了一个 PVC 来为监控用户定义的项目的 Prometheus 实例声明本地持久性存储： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    prometheus:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 40Gi

        在上例中，由 Local Storage Operator 创建的存储类称为 local-storage。

        以下示例配置了一个 PVC 来声明用于 Thanos Ruler 的本地持久性存储： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    thanosRuler:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 10Gi
        注意

        thanosRuler 组件的存储要求取决于要评估的规则数量以及每个规则生成的样本数量。

  2. 保存文件以使改变生效。受新配置影响的 Pod 会自动重启，并且应用新的存储配置。

    注意

    除非集群管理员为用户定义的项目启用了监控，否则应用到 user-workload-monitoring-config ConfigMap 的配置不会被激活。

    警告

    一旦将更改保存到监控配置映射，可能会重新部署相关项目中的 Pod 和其他资源。该项目中正在运行的监控进程也可能被重启。

2.8.3. 重新定义持久性存储卷的大小

OpenShift Container Platform 不支持重新定义 StatefulSet 资源使用的现有持久性存储卷的大小，即使底层 StorageClass 资源支持持久性卷大小。因此，即使为具有更大大小的现有持久性卷声明 (PVC) 更新 storage 字段，这个设置也不会传播到关联的持久性卷 (PV)。

但是，仍可使用手动过程重新定义 PV 的大小。如果要为监控组件（如 Prometheus、Thanos Ruler 或 Alertmanager）重新定义 PV 的大小，您可以更新配置该组件的相应配置映射。然后，修补 PVC 并删除 pod。Orphaning pod 立即重新创建 StatefulSet 资源，并使用新的 PVC 设置自动更新 pod 中挂载的卷大小。此过程中不会发生服务中断。

先决条件

  • 已安装 OpenShift CLI(oc)。

  • 如果要配置 OpenShift Container Platform 核心监控组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群。
    • 您已创建 cluster-monitoring-config ConfigMap 对象。
    • 至少有一个 PVC 用于 OpenShift Container Platform 核心监控组件。

  • 如果您要配置用于监控用户定义的项目的组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群，也可以使用在 openshift-user-workload-monitoring 项目中具有 user-workload-monitoring-config-edit 角色的用户访问集群。
    • 您已创建了 user-workload-monitoring-config ConfigMap 对象。
    • 至少有一个 PVC 用于监控用户定义的项目的组件。

流程

  1. 编辑 ConfigMap 对象：

    • 为监控 OpenShift Container Platform 核心项目的组件重新定义 PVC 的大小：

      1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

      2. 在 data/config.yaml 下为组件添加新存储大小： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    <component>: 1
      volumeClaimTemplate:
        spec:
          storageClassName: <storage_class> 2
          resources:
            requests:
              storage: <amount_of_storage> 3
        1
        指定核心监控组件。
        2
        指定存储类。
        3
        指定存储卷的新大小。

        以下示例配置了一个 PVC，它将监控 OpenShift Container Platform 核心组件的 Prometheus 实例的本地持久性存储设置为 100GB： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    prometheusK8s:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 100Gi

        以下示例配置了一个 PVC，将 Alertmanager 的本地持久性存储设置为 40GB： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    alertmanagerMain:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 40Gi

    • 为监控用户定义的项目的组件调整 PVC 大小：

      注意

      您可以调整监控用户定义的项目的 Thanos Ruler 和 Prometheus 实例的大小。

      1. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

      2. 在 data/config.yaml 下更新监控组件的 PVC 配置： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    <component>: 1
      volumeClaimTemplate:
        spec:
          storageClassName: <storage_class> 2
          resources:
            requests:
              storage: <amount_of_storage> 3
        1
        指定核心监控组件。
        2
        指定存储类。
        3
        指定存储卷的新大小。

        以下示例将监控用户定义的项目的 Prometheus 实例的 PVC 大小配置为 100GB： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    prometheus:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 100Gi

        以下示例将 Thanos Ruler 的 PVC 大小设置为 20GB： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    thanosRuler:
      volumeClaimTemplate:
        spec:
          storageClassName: local-storage
          resources:
            requests:
              storage: 20Gi
        注意

        thanosRuler 组件的存储要求取决于要评估的规则数量以及每个规则生成的样本数量。

  2. 保存文件以使改变生效。受新配置重启影响的 Pod 会自动重启。

    警告

    当您将更改保存到监控配置映射时，可能会重新部署相关项目中的 Pod 和其他资源。该项目中运行的监控进程也可能被重启。

  3. 使用更新的存储请求手动对每个 PVC 进行补丁。以下示例将 openshift-monitoring 命名空间中的 Prometheus 组件的存储大小调整为 100Gi： 

    $ for p in $(oc -n openshift-monitoring get pvc -l app.kubernetes.io/name=prometheus -o jsonpath='{range .items[*]}{.metadata.name} {end}'); do \
  oc -n openshift-monitoring patch pvc/${p} --patch '{"spec": {"resources": {"requests": {"storage":"100Gi"}}}}'; \
  done

  4. 使用 --cascade=orphan 参数删除底层 StatefulSet: 

    $ oc delete statefulset -l app.kubernetes.io/name=prometheus --cascade=orphan

2.8.4. 修改 Prometheus 指标数据的保留时间

默认情况下，OpenShift Container Platform 监控堆栈将 Prometheus 数据的保留时间配置为 15 天。您可以修改保留时间来更改将在多久后删除数据。

先决条件

  • 如果要配置 OpenShift Container Platform 核心监控组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群。
    • 您已创建 cluster-monitoring-config ConfigMap 对象。

  • 如果您要配置用于监控用户定义的项目的组件：

    • 您可以使用具有 cluster-admin 角色的用户访问集群，也可以使用在 openshift-user-workload-monitoring 项目中具有 user-workload-monitoring-config-edit 角色的用户访问集群。
    • 您已创建了 user-workload-monitoring-config ConfigMap 对象。
  • 已安装 OpenShift CLI（oc）。

流程

  1. 编辑 ConfigMap 对象：

    • 要修改用于监控 OpenShift Container Platform 核心项目的 Prometheus 实例的保留时间：

      1. 编辑 openshift-monitoring 项目中的 cluster-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

      2. 将保留时间配置放添加到 data/config.yaml 下： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    prometheusK8s:
      retention: <time_specification>

        将 <time_specification> 替换为一个数字，后面紧跟 ms（毫秒）、s（秒）、m（分钟）、h（小时）、d（天）、w（周）或 y（年）。

        以下示例将监控 OpenShift Container Platform 核心组件的 Prometheus 实例的保留时间设置为 24 小时： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-monitoring-config
  namespace: openshift-monitoring
data:
  config.yaml: |
    prometheusK8s:
      retention: 24h

    • 要为监控用户定义的项目的 Prometheus 实例修改保留时间：

      1. 在 openshift-user-workload-monitoring 项目中编辑 user-workload-monitoring-config ConfigMap 对象： 

        $ oc -n openshift-user-workload-monitoring edit configmap user-workload-monitoring-config

      2. 将保留时间配置放添加到 data/config.yaml 下： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    prometheus:
      retention: <time_specification>

        将 <time_specification> 替换为一个数字，后面紧跟 ms（毫秒）、s（秒）、m（分钟）、h（小时）、d（天）、w（周）或 y（年）。

        以下示例针对监控用户定义的项目的 Prometheus 实例，将保留时间设置为 24 小时： 

        apiVersion: v1
kind: ConfigMap
metadata:
  name: user-workload-monitoring-config
  namespace: openshift-user-workload-monitoring
data:
  config.yaml: |
    prometheus:
      retention: 24h

  2. 保存文件以使改变生效。受新配置影响的 Pod 会自动重启。

    注意

    除非集群管理员为用户定义的项目启用了监控，否则应用到 user-workload-monitoring-config ConfigMap 的配置不会被激活。

    警告

    一旦将更改保存到监控配置映射，可能会重新部署相关项目中的 Pod 和其他资源。该项目中正在运行的监控进程也可能被重启。

其他资源