默认情况下，产品安装中包含了可观察性（observability）功能，但不启用它。由于对持久性存储的要求，observability 服务默认不会启用。Red Hat Advanced Cluster Management 支持以下 S3 兼容、稳定的对象存储：

启用该服务后，observability-endpoint-operator 会自动部署到每个导入或创建的集群中。此控制器从 Red Hat OpenShift Container Platform Prometheus 收集数据，然后将其发送到 Red Hat Advanced Cluster Management hub 集群。

如果 hub 集群导入为 local-cluster，则在它上也会启用可观察性，并从 hub 集群收集指标。

observability 服务部署了一个 Prometheus AlertManager 实例，它允许通过第三方应用程序转发警报。它还包括一个 Grafana 实例，通过仪表板（静态）或数据探索启用数据视觉化。Red Hat Advanced Cluster Management 支持 Grafana 的版本 8.1.3。您还可以设计自己的 Grafana 仪表板。如需更多信息，请参阅指定 Grafana 仪表板。

您可以通过创建自定义 记录规则 或 警报规则来自定义可观察性服务。

有关启用可观察性的更多信息，请参阅启用可观察性服务。

默认情况下，OpenShift Container Platform 使用 Telemetry 服务向红帽发送指标数据。acm_managed_cluster_info 由 Red Hat Advanced Cluster Management 提供，包含在 Telemetry 中，但不会显示在 Red Hat Advanced Cluster Management Observe 环境概述 仪表板中。

查看框架支持的指标类型表：

从 OpenShift Container Platform 文档中了解使用遥测来收集并发送哪些指标类型。如需更多信息，请参阅 Telemetry 收集的信息。

Observability 组件需要 2701mCPU 和 11972Mi 内存来安装可观察性服务。下表是启用了 observability-addons 的五个受管集群的 pod 容量请求列表：

安装 Red Hat Advanced Cluster Management 时，必须创建以下持久性卷(PV)，以便 PVC 可以自动附加到 PVC。请注意，当没有指定默认存储类或想要使用非默认存储类来托管 PV 时，您必须在 MultiClusterObservability CR 中定义存储类。建议您使用 Block Storage，类似于 Prometheus 使用的内容。另外，alertmanager、thanos-compactor、thanos-ruler、thanos-receive-default 和 thanos-store-shard 的每个副本必须具有自己的 PV。查看下表：

注意 ：时间序列历史数据存储在对象存储中。Thanos 使用对象存储作为指标和与其相关的元数据的主存储。有关对象存储和降级的详情，请参阅启用可观察性服务

Red Hat Advanced Cluster Management 已测试并被 Red Hat OpenShift Data Foundation（以前称为 Red Hat OpenShift Container Storage）完全支持。

Red Hat Advanced Cluster Management 支持在用户提供的兼容 S3 API 的第三方对象存储中多集群可观察 Operator 的功能。

Red Hat Advanced Cluster Management 使用商业、合理的努力来帮助识别根本原因。

如果创建了相关的支持问题，且确定问题的根本原因是客户提供的兼容 S3 对象存储，则需要通过客户支持频道解决问题。

Red Hat Advanced Cluster Management 不会承诺修复客户提供的、问题的根本原因是 S3 兼容对象存储供应商的支持问题单。

请参阅 自定义可观察性 以了解如何配置可观察性服务、查看指标和其他数据。

通过创建一个 MultiClusterObservability 自定义资源（CR）实例来启用可观察性服务。在启用可观察性前，请参阅 Observability pod 容量请求以了解更多信息。

注 ：当由 Red Hat Advanced Cluster Management 管理的 OpenShift Container Platform 受管集群上启用或禁用了可观察性时，observability 端点 Operator 会添加额外的 alertmanager 配置来自动重启本地 Prometheus，以此更新 cluster-monitoring-config ConfigMap。

完成以下步骤以启用可观察服务：

完成以下步骤，使用 AWS 安全服务生成访问密钥：

另外，您还可以从 Red Hat OpenShift Container Platform 控制台启用可观察性，创建一个名为 open-cluster-management-observability 的项目。务必在 open-cluster-management-observability 项目中创建名为 multiclusterhub-operator-pull-secret 的镜像 pull-secret。

在 open-cluster-management-observability 项目中创建名为 thanos-object-storage 的对象存储 secret, 。输入对象存储 secret 详细信息，然后单击 Create。请参阅 Enabling observability 部分的第 4 步来查看 secret 的示例。

创建 MultiClusterObservability CR 实例。当您收到以下信息时，代表 OpenShift Container Platform 中已成功启用 obseravbility 服务：Observability components are deployed and running。

collect_rules:
  - group: SNOResourceUsage
    annotations:
      description: >
        By default, a SNO cluster does not collect pod and container resource metrics. Once a SNO cluster
        reaches a level of resource consumption, these granular metrics are collected dynamically.
        When the cluster resource consumption is consistently less than the threshold for a period of time,
        collection of the granular metrics stops.
    selector:
      matchExpressions:
        - key: clusterType
          operator: In
          values: ["SNO"]
    rules:
    - collect: SNOHighCPUUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster cpu usage is constantly more than 70% for 2 minutes
      expr: (1 - avg(rate(node_cpu_seconds_total{mode=\"idle\"}[5m]))) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - container_cpu_cfs_periods_total
          - container_cpu_cfs_throttled_periods_total
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate
          - node_namespace_pod_container:container_cpu_usage_seconds_total:sum_rate
    - collect: SNOHighMemoryUsage
      annotations:
        description: >
          Collects the dynamic metrics specified if the cluster memory usage is constantly more than 70% for 2 minutes
      expr: (1 - sum(:node_memory_MemAvailable_bytes:sum) / sum(kube_node_status_allocatable{resource=\"memory\"})) * 100 > 70
      for: 2m
      dynamic_metrics:
        names:
          - kube_pod_container_resource_limits
          - kube_pod_container_resource_requests
          - namespace_workload_pod:kube_pod_owner:relabel
        matches:
          - __name__="container_memory_cache",container!=""
          - __name__="container_memory_rss",container!=""
          - __name__="container_memory_swap",container!=""
          - __name__="container_memory_working_set_bytes",container!=""

collect_rules:
  - group: -SNOResourceUsage

要禁用可观察性服务，请卸载 observability 资源。在 OpenShift Container Platform 控制台导航中，选择 Operators > Installed Operators > Advanced Cluster Manager for Kubernetes。删除 MultiClusterObservability 自定义资源。

要了解更多有关如何定制可观察性的信息，请参阅定制可观察性。

搜索构架由以下组件组成：

搜索功能默认为启用。当您置备或手动导入受管集群时，也会启用搜索。如果要禁用对受管集群的搜索，请参阅修改集群的 klusterlet 附加设置以了解更多信息。

在安装 Red Hat Advanced Cluster Management 时，产品被配置为将数据持久保存到文件系统中。StatefulSet search-redisgraph 部署 Redisgraph pod，它会挂载名为 persist 的持久性卷。如果您的集群有一个定义的默认存储类，搜索组件会在默认存储类上创建一个 10Gi 的持久性卷声明（PVC）。如果集群中不存在默认存储类，搜索会在一个空目录中（emptyDir）中保存索引。

您可以通过创建 searchcustomization 自定义资源来自定义用于搜索的存储设置。搜索自定义是命名空间范围的，位于 hub 集群中安装搜索的位置。查看以下搜索自定义资源示例：

apiVersion: search.open-cluster-management.io/v1alpha1
kind: SearchCustomization
metadata:
  name: searchcustomization
  namespace: open-cluster-management
  labels:
    cluster.open-cluster-management.io/backup: ""
spec:
  persistence: true
  storageClass: gp2
  storageSize: 12Gi

运行以下命令来查看搜索自定义资源定义：

oc get crd searchcustomizations.search.open-cluster-management.io -o yaml

您可以通过在自定义 CR 中将 persistence 标签更新为 false 来禁用持久性，这会关闭将搜索索引保存到文件系统。持久性的状态可以从搜索运算符 (searchoperator) 自定义资源中检索。运行以下命令来查看搜索 operator 自定义资源： oc get searchoperator searchoperator -o yaml。

oc patch searchoperator searchoperator --type='merge' -p '{"spec":{"redisgraph_resource":{"limit_memory":"8Gi"}}}'

您可以在 搜索框中 输入任何文字，结果会包括带有这个值的任何属性（如名称或命名空间）。用户无法搜索包含空空格的值。

如需更具体的搜索结果，请在搜索中包含属性。您可以组合相关的属性值来更精确地进行搜索。例如，搜索 cluster:dev red 以接收与 dev 集群中字符串"red" 匹配的结果。

查看以下步骤以使用搜索进行查询：

要从受管集群收集 Kubernetes 对象，klusterlet-addon-search pod 在启用了搜索的所有受管集群中运行。此部署在 open-cluster-management-agent-addon 命名空间中运行。具有大量资源的受管集群可能需要更多内存才能使 klusterlet-addon-search 部署正常工作。

受管集群中的 klusterlet-addon-search pod 的资源要求可在 Red Hat Advanced Cluster Management hub 集群的 ManagedClusterAddon 自定义资源中指定。每个带有受管集群名称的受管集群都有一个命名空间。从与受管集群名称匹配的命名空间中编辑 ManagedClusterAddon 自定义资源。运行以下命令以更新 xyz 受管集群中的资源要求：

oc edit managedclusteraddon search-collector -n xyz

将资源要求作为注解附加。查看以下示例：

apiVersion: addon.open-cluster-management.io/v1alpha1
kind: ManagedClusterAddOn
metadata:
  annotations: addon.open-cluster-management.io/search_memory_limit: 2048Mi
  addon.open-cluster-management.io/search_memory_request: 512Mi

该注解会覆盖受管集群上的资源要求，并使用新资源要求自动重启 pod。

参阅Web 控制台来了解与 Hat Advanced Cluster Management for Kubernetes 控制台相关的信息。

通过在可观察性资源中添加 Prometheus 记录规则和 警报规则，为可观察性安装创建自定义规则。如需更多信息，请参阅 Prometheus 配置。

使用 Prometheus 定义自定义规则来创建警报条件，并将通知发送到外部消息服务。注：当您更新自定义规则时，observability-thanos-rule pod 会自动重启。

在 open-cluster-management-observability 命名空间中创建一个名为 thanos-ruler-custom-rules 的 ConfigMap。键必须被命名为 custom_rules.yaml，如下例所示。您可以在配置中创建多个规则。

要验证警报规则是否正常工作，启动 Grafana 仪表板，进入 Explore 页面并查询 ALERTS。只有启动警报时，Grafana 才会在 Grafana 中提供警报。

集成外部消息工具，如 email、Slack 和 PagerDuty 以接收来自 AlertManager 的通知。您必须覆盖 open-cluster-management-observability 命名空间中的 alertmanager-config secret 来添加集成，并为 AlertManager 配置路由。完成以下步骤以更新自定义接收器规则：

您的更改会在修改后立即生效。如需 AlertManager 的示例，请参阅 prometheus/alertmanager。

将指标添加到 metrics_list.yaml 文件中，用来从受管集群中收集数据。

在添加自定义指标前，请确定使用以下命令启用了 mco observability ： oc get mco observability -o yaml。在 status.conditions.message 中检查以下消息：Observability components are deployed and running

创建名为 observability-metrics-custom-allowlist.yaml 的文件，并将自定义指标名称添加到 metrics_list.yaml 参数。ConfigMap 的 YAML 可能类似以下内容：

kind: ConfigMap
apiVersion: v1
metadata:
  name: observability-metrics-custom-allowlist
data:
  metrics_list.yaml: |
    names:
      - node_memory_MemTotal_bytes
    rules:
    - record: apiserver_request_duration_seconds:histogram_quantile_90
      expr: histogram_quantile(0.90,sum(rate(apiserver_request_duration_seconds_bucket{job=\"apiserver\",
        verb!=\"WATCH\"}[5m])) by (verb,le))

使用以下命令，在 open-cluster-management-observability 命名空间中创建 observability-metrics-custom-allowlist ConfigMap：oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml。

通过 Grafana 仪表板，查询来自 Explore 页的指标数据来验证是否收集了您的自定义指标的数据。您也可以在您自己的仪表板中使用自定义指标。有关查看仪表板的更多信息，请参阅指定 Grafana 仪表板。

如果您不需要收集管理集群中的特定指标数据，从 observability-metrics-custom-allowlist.yaml 文件中删除相应的指标。当您删除指标时，不会在受管集群上收集指标数据。如前文所述，首先验证 mco observability 是否已启用。

您可以在 metrics 名称的开头使用连字符 - 将默认指标名称添加到 metrics_list.yaml 参数中。例如： -cluster_infrastructure_provider。

使用以下命令，在 open-cluster-management-observability 命名空间中创建 observability-metrics-custom-allowlist ConfigMap：oc apply -n open-cluster-management-observability -f observability-metrics-custom-allowlist.yaml。

验证特定指标是否没有从受管集群中收集。当您从 Grafana 仪表板查询指标时，指标不会显示。

您可以自定义可观察性，将指标导出到外部端点，该端点可实时支持 Prometheus Remote Write 协议。如需更多信息，请参阅 Prometheus Remote Write 协议。

apiVersion: v1
kind: Secret
metadata:
  name: victoriametrics
  namespace: open-cluster-management-observability
type: Opaque
stringData:
  ep.yaml: |
    url: http://victoriametrics:8428/api/v1/write
    http_client_config:
      basic_auth:
        username: test
        password: test

spec:
  storageConfig:
    writeStorage:
    - key: ep.yaml
      name: victoriametrics

添加 advanced 配置部分，以根据您的需要更新每个可观察性组件的保留。

编辑 MultiClusterObservability CR，使用以下命令添加 advanced 部分： oc edit mco observability -o yaml。您的 YAML 文件可能类似以下内容：

spec:
  advanced:
    retentionConfig:
      blockDuration: 2h
      deleteDelay: 48h
      retentionInLocal: 24h
      retentionResolutionRaw: 30d
      retentionResolution5m: 180d
      retentionResolution1h: 0d
    receive:
      resources:
        limits:
          memory: 4096Gi
      replicas: 3

有关可添加到高级配置中的所有参数的描述，请参阅 Observability API。

如果工作负载增加，增加可观察 pod 的副本数。从您的 hub 集群中进入到 Red Hat OpenShift Container Platform 控制台。找到 multiclusterobservability 自定义资源(CR)，并更新要更改副本的组件的 replicas 参数值。更新的 YAML 可能类似以下内容：

spec:
   advanced:
      receive:
         replicas: 6

有关 mco observability CR 中的参数的更多信息，请参阅 Observability API。

启用可观察性后，来自 OpenShift Container Platform 受管集群的警报会自动发送到 hub 集群。您可以使用 alertmanager-config YAML 文件，为警报配置外部通知系统。

查看 alertmanager-config YAML 文件示例：

global:
  slack_api_url: '<slack_webhook_url>'

route:
  receiver: 'slack-notifications'
  group_by: [alertname, datacenter, app]

receivers:
- name: 'slack-notifications'
  slack_configs:
  - channel: '#alerts'
    text: 'https://internal.myorg.net/wiki/alerts/{{ .GroupLabels.app }}/{{ .GroupLabels.alertname }}'

如果要配置代理进行警报转发，请在 alertmanager-config YAML 文件中添加以下 global 条目：

global:
  slack_api_url: '<slack_webhook_url>'
  http_config:
    proxy_url: http://****

如需更多信息，请参阅 Prometheus Alertmanager 文档。

metadata:
      annotations:
        mco-disable-alerting: "true"

添加您不想接收的警报。您可以根据警报名称、匹配标签或持续时间来静默警报。添加要静默的警报后，会创建一个 ID。您的静默警报的 ID 可能类似以下字符串 d839aca9-ed46-40be-84c4-dca8773671da。

继续读取静默警报的方法：

在全局范围内限制 Red Hat Advanced Cluster Management 警报，这不太严重。通过在 open-cluster-management-observability 命名空间中定义 alertmanager-config 中的禁止规则来限制警报。

当一组与另一组现有匹配者匹配的一组参数时，禁止规则会静默警报。为了让规则生效，目标和源警报必须具有 equal 列表中标签名称相同的标签值。您的 inhibit_rules 可能类似以下：

global:
  resolve_timeout: 1h
inhibit_rules:1
  - equal:
      - namespace
    source_match:2
      severity: critical
    target_match_re:
      severity: warning|info

如果要自定义 OpenShift Container Platform 路由认证，则必须在 alt_names 部分添加路由。要确保 OpenShift Container Platform 路由可以访问，请添加以下信息：alertmanager.apps.<domainname>, observatorium-api.apps.<domainname>, rbac-query-proxy.apps.<domainname>。

注意 ：用户负责证书轮转和更新。

 thanos.yaml: |
    type: s3
    config:
      bucket: "thanos"
      endpoint: "minio:9000"
      insecure: false
      access_key: "minio"
      secret_key: "minio123"
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          insecure_skip_verify: false

 thanos.yaml: |
    type: s3
    config:
      ...
      http_config:
        tls_config:
          ca_file: /etc/minio/certs/ca.crt
          cert_file: /etc/minio/certs/public.crt
          key_file: /etc/minio/certs/private.key
          insecure_skip_verify: false

metricObjectStorage:
      key: thanos.yaml
      name: thanos-object-storage
      tlsSecretName: tls-certs-secret

通过从 hub 集群访问 Grafana 来查看来自受管集群的数据。您可以查询特定的警报并为查询添加过滤器。

例如，对于来自单一节点集群中的 cluster_infrastructure_provider，使用以下查询表达式：cluster_infrastructure_provider{clusterType="SNO"}

注 ： 如果在单一节点受管集群中启用了可观察性，则不要设置 ObservabilitySpec.resources.CPU.limits 参数。当您设置 CPU 限制时，observability pod 会计算为受管集群的容量。如需更多信息，请参阅管理工作负载分区。

您可以禁用可观察性，在 Red Hat Advanced Cluster Management hub 集群中停止数据收集。

spec:
  imagePullPolicy: Always
  imagePullSecret: multiclusterhub-operator-pull-secret
  observabilityAddonSpec: # The ObservabilityAddonSpec defines the global settings for all managed clusters which have observability add-on enabled
    enableMetrics: false #indicates the observability addon push metrics to hub server

首先，克隆 stolostron/multicluster-observability-operator/ 存储库，以便您可以运行 tools 文件夹中的脚本。确保使用最当前的 grafana-dev 实例。

完成以下步骤以设置 Grafana 开发人员实例：

Grafana 开发人员实例已设置。

设置 Grafana 实例后，您可以设计仪表板。完成以下步骤以刷新 Grafana 控制台并设计您的仪表板：

./generate-dashboard-configmap-yaml.sh "Your Dashboard Name"
Save dashboard <your-dashboard-name> to ./your-dashboard-name.yaml

oc apply -f demo-dashboard.yaml

卸载实例时，相关资源也会被删除。运行以下命令：

./setup-grafana-dev.sh --clean
secret "grafana-dev-config" deleted
deployment.apps "grafana-dev" deleted
serviceaccount "grafana-dev" deleted
route.route.openshift.io "grafana-dev" deleted
persistentvolumeclaim "grafana-dev" deleted
oauthclient.oauth.openshift.io "grafana-proxy-client-dev" deleted
clusterrolebinding.rbac.authorization.k8s.io "open-cluster-management:grafana-crb-dev" deleted

继续阅读以查看集成的功能描述：

如需更多信息，请参阅管理 Insights PolicyReports。

您可以在受管集群中搜索具有冲突的特定 Insights PolicyReport。

登录 Red Hat Advanced Cluster Management hub 集群后，点控制台标头中的 Search 图标进入 Search 页面。输入以下查询：kind:policyreport。

注 ： PolicyReport 名称与集群名称匹配。

您还可以通过洞察策略违反和类别进一步指定查询。当您选择一个 PolicyReport 名称时，您会被重定向到关联的集群的 Details 页面。Insights 侧栏会自动显示。

如果禁用了搜索服务，且您要搜索洞察信息，请在 hub 集群中运行以下命令：

oc get policyreport --all-namespaces

您可以查看特定集群中确定的问题。

登录 Red Hat Advanced Cluster Management 集群后，从导航菜单中选择 Overview。选择一个严重性来查看与该严重性关联的 PolicyReports。您可以在 Cluster issues 概况卡中查看集群问题的详细信息和严重程度。

另外，您还可以从导航菜单中选择 Clusters。从表中选择一个受管集群来查看更多详细信息。在 Status 卡中查看确定的问题数量。

选择潜在问题的数量来查看严重性图，并推荐对问题进行补救。点漏洞的链接来查看与漏洞相关的 How to remediate 和 Reason 信息。

注 ： 在解决了这个问题后，Red Hat Advanced Cluster Management 每 30 分钟会接收 Red Hat Insights，Red Hat Insights 每两小时更新一次。

务必验证从 PolicyReport 发送警报消息的组件。进入到 Governance 页面，再选择特定的策略报告。选择 Status 选项卡，再单击 View details 链接来查看 PolicyReport YAML 文件。

找到 source 参数，该参数会通知您发送违反情况的组件。值选项为 grc 和 insights。

了解如何为 PolicyReports 创建自定义警报规则，如需更多信息，请参阅 配置 AlertManager。