流程

1. 编辑 ServiceTelemetry 对象：

   $ oc edit stf default

2. 将 backends.metrics.prometheus.enabled 参数的值设置为 true ：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     [...]
     backends:
       metrics:
         prometheus:
           enabled: true

流程

1. 列出可用的存储类：

   $ oc get storageclasses
   NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   csi-manila-ceph      manila.csi.openstack.org   Delete          Immediate              false                  20h
   standard (default)   kubernetes.io/cinder       Delete          WaitForFirstConsumer   true                   20h
   standard-csi         cinder.csi.openstack.org   Delete          WaitForFirstConsumer   true                   20h

2. 编辑 ServiceTelemetry 对象：

   $ oc edit stf default

3. 将 backends.metrics.prometheus.enabled 参数的值设置为 true，将 backends.metrics.prometheus.storage.strategy 的值设置为 persistent ：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     [...]
     backends:
       metrics:
         prometheus:
           enabled: true
           storage:
             strategy: persistent
             persistent:
               storageClass: standard-csi
               pvcStorageRequest: 50G

流程

1. 编辑 ServiceTelemetry 对象：

   $ oc edit stf default

2. 将 backends.events.elasticsearch.enabled 参数的值设置为 true ：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     [...]
     backends:
       events:
         elasticsearch:
           enabled: true

流程

1. 列出可用的存储类：

   $ oc get storageclasses
   NAME                 PROVISIONER                RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   csi-manila-ceph      manila.csi.openstack.org   Delete          Immediate              false                  20h
   standard (default)   kubernetes.io/cinder       Delete          WaitForFirstConsumer   true                   20h
   standard-csi         cinder.csi.openstack.org   Delete          WaitForFirstConsumer   true                   20h

2. 编辑 ServiceTelemetry 对象：

   $ oc edit stf default

3. 将 backends.events.elasticsearch.enabled 参数的值设置为 true，将 backends.events.elasticsearch.storage.strategy 的值设置为 persistent ：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     [...]
     backends:
       events:
         elasticsearch:
           enabled: true
           version: 7.16.1
           storage:
             strategy: persistent
             persistent:
               storageClass: standard-csi
               pvcStorageRequest: 50G

流程

1. 登录到托管 STF 的 Red Hat OpenShift Container Platform 环境。

2. 进入 service-telemetry 项目：

   $ oc project service-telemetry

3. 检索 AMQ Interconnect 路由地址：

   $ oc get routes -ogo-template='{{ range .items }}{{printf "%s\n" .spec.host }}{{ end }}' | grep "\-5671"
   default-interconnect-5671-service-telemetry.apps.infra.watch

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 在 /home/stack 目录中创建一个名为 enable-stf.yaml 的配置文件。

   重要

   将 EventPipelinePublishers 和 PipelinePublishers 设置为空列表会导致没有事件或指标数据传递给 RHOSP 遥测组件，如 Gnocchi 或 Panko。如果您需要将数据发送到其他管道，Ceilometer 轮询间隔为 30 秒，您在 ExtraConfig 中指定，可能会认为 RHOSP 遥测组件。您必须将间隔增加到较大的值，如 300，这会减少 STF 中的遥测解析。

流程

1. 以 stack 用户身份登录 undercloud 主机。
2. 在 /home/stack 目录中创建一个名为 stf-connectors.yaml 的配置文件。

3. 在 stf-connectors.yaml 文件中，配置 MetricsQdrConnectors 地址，将 overcloud 上的 AMQ Interconnect 连接到 STF 部署。您可以为此文件中的 Sensubility、Chtrace 和 collectd 配置主题地址，以匹配 STF 中的默认值。有关自定义主题和云配置的详情，请参考 第 4.3 节 “配置多个云”。

   stf-connectors.yaml

   resource_registry:
     OS::TripleO::Services::Collectd: /usr/share/openstack-tripleo-heat-templates/deployment/metrics/collectd-container-puppet.yaml
   
   parameter_defaults:
       MetricsQdrConnectors:
           - host: default-interconnect-5671-service-telemetry.apps.infra.watch
             port: 443
             role: edge
             verifyHostname: false
             sslProfile: sslProfile
   
       MetricsQdrSSLProfiles:
           - name: sslProfile
   
       CeilometerQdrEventsConfig:
           driver: amqp
           topic: cloud1-event
   
       CeilometerQdrMetricsConfig:
           driver: amqp
           topic: cloud1-metering
   
       CollectdAmqpInstances:
           cloud1-notify:
               notify: true
               format: JSON
               presettle: false
           cloud1-telemetry:
               format: JSON
               presettle: false
   
       CollectdSensubilityResultsChannel: sensubility/cloud1-telemetry

   • resource_registry 配置直接加载 collectd 服务，因为您不包含用于多个云部署的 collectd-write-qdr.yaml 环境文件。
   • 将 host 参数替换为您在 第 4.1.1 节 “检索 AMQ Interconnect 路由地址” 中检索的值。
   • 将 MetricsQdrConnectors 的主机 子参数替换为您在 第 4.1.1 节 “检索 AMQ Interconnect 路由地址” 中检索的值。
   • 设置 CeilometerQdrEventsConfig 的主题 值，以定义 Ceilometer 事件的主题。该值是云的唯一主题限定符，如 cloud1-event。
   • 设置 CeilometerQdrMetricsConfig. topic 的主题 值，以定义 Ceilometer 指标的主题。该值是云的唯一标识符，如 cloud1-metering。
   • 设置 CollectdAmqpInstances 子参数，以定义 collectd 事件的主题。部分名称是云的唯一标识符，如 cloud1-notify。
   • 设置 CollectdAmqpInstances 子参数，以定义 collectd 指标的主题。部分名称是云的唯一标识符，如 cloud1-telemetry。
   • 设置 CollectdSensubilityResultsChannel，以定义 collectd-sensubility 事件的主题。该值是云的唯一主题标识符，如 sensubility/cloud1-telemetry。

流程

1. 以 stack 用户身份登录 undercloud 主机。

2. 查找 stackrc undercloud 凭证文件：

   $ source ~/stackrc

3. 使用其他环境文件将数据收集和 AMQ Interconnect 环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /usr/share/openstack-tripleo-heat-templates/environments/metrics/ceilometer-write-qdr.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/metrics/qdr-edge-only.yaml \
    -e /home/stack/enable-stf.yaml \
    -e /home/stack/stf-connectors.yaml

   • 包含 ceilometer-write-qdr.yaml 文件，以确保 Ceilometer 遥测和事件发送到 STF。
   • 包含 qdr-edge-only.yaml 文件，以确保消息总线已启用并连接到 STF 消息总线路由器。
   • 包含 enable-stf.yaml 环境文件，以确保正确配置了默认值。
   • 包含 stf-connectors.yaml 环境文件以定义与 STF 的连接。

流程

1. 登录 overcloud 节点，如 controller-0。

2. 确保 metrics_qdr 和 collection 代理容器在节点上运行：

   $ sudo podman container inspect --format '{{.State.Status}}' metrics_qdr collectd ceilometer_agent_notification ceilometer_agent_central
   running
   running
   running
   running

   注意

   在计算节点上使用以下命令：

   $ sudo podman container inspect --format '{{.State.Status}}' metrics_qdr collectd ceilometer_agent_compute

3. 返回运行 AMQ Interconnect 的内部网络地址，例如 172.17.1.44 侦听端口 5666 ：

   $ sudo podman exec -it metrics_qdr cat /etc/qpid-dispatch/qdrouterd.conf
   
   listener {
       host: 172.17.1.44
       port: 5666
       authenticatePeer: no
       saslMechanisms: ANONYMOUS
   }

4. 返回到本地 AMQ Interconnect 的连接列表：

   $ sudo podman exec -it metrics_qdr qdstat --bus=172.17.1.44:5666 --connections
   
   Connections
     id   host                                                                  container                                                                                                  role    dir  security                            authentication  tenant
     ============================================================================================================================================================================================================================================================================================
     1    default-interconnect-5671-service-telemetry.apps.infra.watch:443      default-interconnect-7458fd4d69-bgzfb                                                                      edge    out  TLSv1.2(DHE-RSA-AES256-GCM-SHA384)  anonymous-user
     12   172.17.1.44:60290                                                     openstack.org/om/container/controller-0/ceilometer-agent-notification/25/5c02cee550f143ec9ea030db5cccba14  normal  in   no-security                         no-auth
     16   172.17.1.44:36408                                                     metrics                                                                                                    normal  in   no-security                         anonymous-user
     899  172.17.1.44:39500                                                     10a2e99d-1b8a-4329-b48c-4335e5f75c84                                                                       normal  in   no-security                         no-auth

   有四个连接：

   • 到 STF 的出站连接
   • 来自 ceilometer 的入站连接
   • 来自 collectd 的入站连接

   • 来自 qdstat 客户端的入站连接

     出站 STF 连接提供给 MetricsQdrConnectors 主机参数，是 STF 存储域的路由。其他主机是到此 AMQ Interconnect 的客户端连接的内部网络地址。

5. 要确保发送消息，列出链接，并在 deliv 列中查看发送消息的 _edge 地址：

   $ sudo podman exec -it metrics_qdr qdstat --bus=172.17.1.44:5666 --links
   Router Links
     type      dir  conn id  id    peer  class   addr                  phs  cap  pri  undel  unsett  deliv    presett  psdrop  acc  rej  rel     mod  delay  rate
     ===========================================================================================================================================================
     endpoint  out  1        5           local   _edge                      250  0    0      0       2979926  0        0       0    0    2979926 0    0      0
     endpoint  in   1        6                                              250  0    0      0       0        0        0       0    0    0       0    0      0
     endpoint  in   1        7                                              250  0    0      0       0        0        0       0    0    0       0    0      0
     endpoint  out  1        8                                              250  0    0      0       0        0        0       0    0    0       0    0      0
     endpoint  in   1        9                                              250  0    0      0       0        0        0       0    0    0       0    0      0
     endpoint  out  1        10                                             250  0    0      0       911      911      0       0    0    0       0    911    0
     endpoint  in   1        11                                             250  0    0      0       0        911      0       0    0    0       0    0      0
     endpoint  out  12       32          local   temp.lSY6Mcicol4J2Kp       250  0    0      0       0        0        0       0    0    0       0    0      0
     endpoint  in   16       41                                             250  0    0      0       2979924  0        0       0    0    2979924 0    0      0
     endpoint  in   912      1834        mobile  $management           0    250  0    0      0       1        0        0       1    0    0       0    0      0
     endpoint  out  912      1835        local   temp.9Ok2resI9tmt+CT       250  0    0      0       0        0        0       0    0    0       0    0      0

6. 要列出 RHOSP 节点到 STF 的地址，请连接到 Red Hat OpenShift Container Platform 以检索 AMQ Interconnect pod 名称并列出连接。列出可用的 AMQ Interconnect pod：

   $ oc get pods -l application=default-interconnect
   
   NAME                                    READY   STATUS    RESTARTS   AGE
   default-interconnect-7458fd4d69-bgzfb   1/1     Running   0          6d21h

7. 连接到 pod 并列出已知的连接。在本例中，有来自 RHOSP 节点的三个 边缘 连接，其连接 id 为 22, 23, 和 24。

   $ oc exec -it default-interconnect-7458fd4d69-bgzfb -- qdstat --connections
   
   2020-04-21 18:25:47.243852 UTC
   default-interconnect-7458fd4d69-bgzfb
   
   Connections
     id  host               container                                                      role    dir  security                                authentication  tenant  last dlv      uptime
     ===============================================================================================================================================================================================
     5   10.129.0.110:48498  bridge-3f5                                                    edge    in   no-security                             anonymous-user          000:00:00:02  000:17:36:29
     6   10.129.0.111:43254  rcv[default-cloud1-ceil-meter-smartgateway-58f885c76d-xmxwn]  edge    in   no-security                             anonymous-user          000:00:00:02  000:17:36:20
     7   10.130.0.109:50518  rcv[default-cloud1-coll-event-smartgateway-58fbbd4485-rl9bd]  normal  in   no-security                             anonymous-user          -             000:17:36:11
     8   10.130.0.110:33802  rcv[default-cloud1-ceil-event-smartgateway-6cfb65478c-g5q82]  normal  in   no-security                             anonymous-user          000:01:26:18  000:17:36:05
     22  10.128.0.1:51948   Router.ceph-0.redhat.local                                     edge    in   TLSv1/SSLv3(DHE-RSA-AES256-GCM-SHA384)  anonymous-user          000:00:00:03  000:22:08:43
     23  10.128.0.1:51950   Router.compute-0.redhat.local                                  edge    in   TLSv1/SSLv3(DHE-RSA-AES256-GCM-SHA384)  anonymous-user          000:00:00:03  000:22:08:43
     24  10.128.0.1:52082   Router.controller-0.redhat.local                               edge    in   TLSv1/SSLv3(DHE-RSA-AES256-GCM-SHA384)  anonymous-user          000:00:00:00  000:22:08:34
     27  127.0.0.1:42202    c2f541c1-4c97-4b37-a189-a396c08fb079                           normal  in   no-security                             no-auth                 000:00:00:00  000:00:00:00

8. 要查看网络发送的消息数量，请使用 oc exec 命令的每个地址：

   $ oc exec -it default-interconnect-7458fd4d69-bgzfb -- qdstat --address
   
   2020-04-21 18:20:10.293258 UTC
   default-interconnect-7458fd4d69-bgzfb
   
   Router Addresses
     class   addr                                phs  distrib    pri  local  remote  in           out          thru  fallback
     ==========================================================================================================================
     mobile  anycast/ceilometer/event.sample     0    balanced   -    1      0       970          970          0     0
     mobile  anycast/ceilometer/metering.sample  0    balanced   -    1      0       2,344,833    2,344,833    0     0
     mobile  collectd/notify                     0    multicast  -    1      0       70           70           0     0
     mobile  collectd/telemetry                  0    multicast  -    1      0       216,128,890  216,128,890  0     0

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 编辑默认 ServiceTelemetry 对象并使用您的配置添加 clouds 参数：

   警告

   长云名称可能会超过最大 pod 名称 63 个字符。确保 ServiceTelemetry 名称 default 和 clouds.name 的组合没有超过 19 个字符。云名称不能包含任何特殊字符，如 -。将云名称限制为字母数字(a-z、0-9)。

   主题地址没有字符限制，可以与 clouds.name 值不同。

   $ oc edit stf default

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     ...
   spec:
     ...
     clouds:
     - name: cloud1
       events:
         collectors:
         - collectorType: collectd
           subscriptionAddress: collectd/cloud1-notify
         - collectorType: ceilometer
           subscriptionAddress: anycast/ceilometer/cloud1-event.sample
       metrics:
         collectors:
         - collectorType: collectd
           subscriptionAddress: collectd/cloud1-telemetry
         - collectorType: sensubility
           subscriptionAddress: sensubility/cloud1-telemetry
         - collectorType: ceilometer
           subscriptionAddress: anycast/ceilometer/cloud1-metering.sample
     - name: cloud2
       events:
         ...

4. 保存 ServiceTelemetry 对象。

5. 验证每个智能网关正在运行。这可能需要几分钟，具体取决于智能网关的数量：

   $ oc get po -l app=smart-gateway
   NAME                                                      READY   STATUS    RESTARTS   AGE
   default-cloud1-ceil-event-smartgateway-6cfb65478c-g5q82   2/2     Running   0          13h
   default-cloud1-ceil-meter-smartgateway-58f885c76d-xmxwn   2/2     Running   0          13h
   default-cloud1-coll-event-smartgateway-58fbbd4485-rl9bd   2/2     Running   0          13h
   default-cloud1-coll-meter-smartgateway-7c6fc495c4-jn728   2/2     Running   0          13h
   default-cloud1-sens-meter-smartgateway-8h4tc445a2-mm683   2/2     Running   0          13h

流程

1. 使用您要管理 Service Telemetry Operator 的云对象列表定义您的 clouds 参数。更多信息请参阅 “clouds 参数”一节。

2. 编辑 ServiceTelemetry 对象并添加 cloudsRemoveOnMissing 参数：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     ...
   spec:
     ...
     cloudsRemoveOnMissing: true
     clouds:
       ...

3. 保存修改。

4. 验证 Operator 是否删除了智能网关。当 Operator 协调更改时可能需要几分钟时间：

   $ oc get smartgateways

流程

1. 创建新环境文件，如 hostname .yaml。

2. 在环境文件中设置 CloudDomain 参数，如下例所示：

   hostnames.yaml

   parameter_defaults:
       CloudDomain: newyork-west-04
       CephStorageHostnameFormat: 'ceph-%index%'
       ObjectStorageHostnameFormat: 'swift-%index%'
       ComputeHostnameFormat: 'compute-%index%'

3. 将新环境文件添加到您的部署中。

流程

1. 以 stack 用户身份登录 undercloud 主机。
2. 在 /home/stack 目录中创建一个名为 stf-connectors.yaml 的配置文件。

3. 在 stf-connectors.yaml 文件中，配置 MetricsQdrConnectors 地址，以连接到 overcloud 部署上的 AMQ Interconnect。配置 and CollectdSensu bilityResultsConfig , slirpQdrMetricsConfig,CollectdAmqpInstances, 和 CollectdSensubilityResultsChannel 的值，以匹配您要用于此云部署的 AMQP 地址。

   stf-connectors.yaml

   resource_registry:
     OS::TripleO::Services::Collectd: /usr/share/openstack-tripleo-heat-templates/deployment/metrics/collectd-container-puppet.yaml
   
   parameter_defaults:
       MetricsQdrConnectors:
           - host: default-interconnect-5671-service-telemetry.apps.infra.watch
             port: 443
             role: edge
             verifyHostname: false
             sslProfile: sslProfile
   
       MetricsQdrSSLProfiles:
           - name: sslProfile
   
       CeilometerQdrEventsConfig:
           driver: amqp
           topic: cloud1-event
   
       CeilometerQdrMetricsConfig:
           driver: amqp
           topic: cloud1-metering
   
       CollectdAmqpInstances:
           cloud1-notify:
               notify: true
               format: JSON
               presettle: false
           cloud1-telemetry:
               format: JSON
               presettle: false
   
       CollectdSensubilityResultsChannel: sensubility/cloud1-telemetry

   • resource_registry 配置直接加载 collectd 服务，因为您不包含用于多个云部署的 collectd-write-qdr.yaml 环境文件。
   • 将 host 参数替换为您在 第 4.1.1 节 “检索 AMQ Interconnect 路由地址” 中检索的值。
   • 将 MetricsQdrConnectors 的主机 子参数替换为您在 第 4.1.1 节 “检索 AMQ Interconnect 路由地址” 中检索的值。
   • 设置 CeilometerQdrEventsConfig 的主题 值，以定义 Ceilometer 事件的主题。该值是云的唯一主题限定符，如 cloud1-event。
   • 设置 CeilometerQdrMetricsConfig. topic 的主题 值，以定义 Ceilometer 指标的主题。该值是云的唯一标识符，如 cloud1-metering。
   • 设置 CollectdAmqpInstances 子参数，以定义 collectd 事件的主题。部分名称是云的唯一标识符，如 cloud1-notify。
   • 设置 CollectdAmqpInstances 子参数，以定义 collectd 指标的主题。部分名称是云的唯一标识符，如 cloud1-telemetry。

   • 设置 CollectdSensubilityResultsChannel，以定义 collectd-sensubility 事件的主题。该值是云的唯一主题标识符，如 sensubility/cloud1-telemetry。

     注意

     当您为 collectd 和 Ceilometer 定义主题时，您提供的值将转换为智能网关客户端用于侦听消息的完整主题。

     Ceilometer 主题值被转换为主题地址 anycast/ceilometer/<TOPIC>.sample，collectd 主题值被转换为主题地址 collectd/<TOPIC>。sensubility 的值是完整主题路径，且没有从主题值转换为主题地址。

     有关 ServiceTelemetry 对象中的云配置示例，请参阅 “clouds 参数”一节。

4. 确保 stf-connectors.yaml 文件中的命名惯例与智能网关配置中的 spec.bridge.amqpUrl 字段一致。例如，将 192.168.1.0/24 QdrEventsConfig.topic 字段配置为 cloud1-event 的值。
5. 以 stack 用户身份登录 undercloud 主机。

6. 查找 stackrc undercloud 凭证文件：

   $ source stackrc

7. 在 openstack overcloud deployment 命令中包含 stf-connectors.yaml 文件以及唯一域名环境文件 hostname.yaml，以及其他与您环境相关的环境文件：

   警告

   如果您使用 collectd-write-qdr.yaml 文件以及自定义 CollectdAmqpInstances 参数，则数据会发布到自定义和默认主题。在多个云环境中，stf-connectors.yaml 文件中的 resource_registry 参数的配置会加载 collectd 服务。

   (undercloud)$ openstack overcloud deploy --templates \
   -e [your environment files] \
   -e /usr/share/openstack-tripleo-heat-templates/environments/metrics/ceilometer-write-qdr.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/metrics/qdr-edge-only.yaml \
   -e /home/stack/hostnames.yaml \
   -e /home/stack/enable-stf.yaml \
   -e /home/stack/stf-connectors.yaml

8. 部署 Red Hat OpenStack Platform overcloud。

流程

1. 登录到托管 STF 的 Red Hat OpenShift Container Platform 环境。

2. 进入 service-telemetry 项目：

   $ oc project service-telemetry

3. 检索 AMQ Interconnect 路由地址：

   $ oc get routes -ogo-template='{{ range .items }}{{printf "%s\n" .spec.host }}{{ end }}' | grep "\-5671"
   default-interconnect-5671-service-telemetry.apps.infra.watch

流程

1. 登录到部署了 RHOSP director Operator 的 Red Hat OpenShift Container Platform 环境，并更改到托管 RHOSP 部署的项目：

   $ oc project openstack

2. 打开 heat-env-config-deploy ConfigMap CR 进行编辑：

   $ oc edit heat-env-config-deploy

3. 将 enable-stf.yaml 配置添加到 heat-env-config-deploy ConfigMap 中，保存您的编辑并关闭该文件：

   enable-stf.yaml

   apiVersion: v1
   data:
     [...]
     enable-stf.yaml: |
       parameter_defaults:
           # only send to STF, not other publishers
           EventPipelinePublishers: []
           PipelinePublishers: []
   
           # manage the polling and pipeline configuration files for Ceilometer agents
           ManagePolling: true
           ManagePipeline: true
   
           # enable Ceilometer metrics and events
           CeilometerQdrPublishMetrics: true
           CeilometerQdrPublishEvents: true
   
           # enable collection of API status
           CollectdEnableSensubility: true
           CollectdSensubilityTransport: amqp1
   
           # enable collection of containerized service metrics
           CollectdEnableLibpodstats: true
   
           # set collectd overrides for higher telemetry resolution and extra plugins
           # to load
           CollectdConnectionType: amqp1
           CollectdAmqpInterval: 5
           CollectdDefaultPollingInterval: 5
           CollectdExtraPlugins:
           - vmem
   
           # set standard prefixes for where metrics and events are published to QDR
           MetricsQdrAddresses:
           - prefix: 'collectd'
             distribution: multicast
           - prefix: 'anycast/ceilometer'
             distribution: multicast
   
           ExtraConfig:
              ceilometer::agent::polling::polling_interval: 30
              ceilometer::agent::polling::polling_meters:
              - cpu
              - disk.*
              - ip.*
              - image.*
              - memory
              - memory.*
              - network.*
              - perf.*
              - port
              - port.*
              - switch
              - switch.*
              - storage.*
              - volume.*
   
              # to avoid filling the memory buffers if disconnected from the message bus
              # note: this may need an adjustment if there are many metrics to be sent.
              collectd::plugin::amqp1::send_queue_limit: 5000
   
              # receive extra information about virtual memory
              collectd::plugin::vmem::verbose: true
   
              # provide name and uuid in addition to hostname for better correlation
              # to ceilometer data
              collectd::plugin::virt::hostname_format: "name uuid hostname"
   
              # provide the human-friendly name of the virtual instance
              collectd::plugin:ConfigMap :virt::plugin_instance_format: metadata
   
              # set memcached collectd plugin to report its metrics by hostname
              # rather than host IP, ensuring metrics in the dashboard remain uniform
              collectd::plugin::memcached::instances:
                local:
                  host: "%{hiera('fqdn_canonical')}"
                  port: 11211

流程

1. 登录到部署了 RHOSP director Operator 的 Red Hat OpenShift Container Platform 环境，并更改到托管 RHOSP 部署的项目：

   $ oc project openstack

2. 打开 heat-env-config-deploy ConfigMap 进行编辑：

   $ oc edit configmap heat-env-config-deploy

3. 将 stf-connectors.yaml 配置添加到 heat-env-config-deploy ConfigMap 中，适用于您的环境，保存您的编辑并关闭该文件：

   stf-connectors.yaml

   apiVersion: v1
   data:
     [...]
     stf-connectors.yaml: |
       resource_registry:
         OS::TripleO::Services::Collectd: /usr/share/openstack-tripleo-heat-templates/deployment/metrics/collectd-container-puppet.yaml
   
       parameter_defaults:
           MetricsQdrConnectors:
               - host: default-interconnect-5671-service-telemetry.apps.ostest.test.metalkube.org
                 port: 443
                 role: edge
                 verifyHostname: false
                 sslProfile: sslProfile
   
           MetricsQdrSSLProfiles:
               - name: sslProfile
   
           CeilometerQdrEventsConfig:
               driver: amqp
               topic: cloud1-event
   
           CeilometerQdrMetricsConfig:
               driver: amqp
               topic: cloud1-metering
   
           CollectdAmqpInstances:
               cloud1-notify:
                   notify: true
                   format: JSON
                   presettle: false
               cloud1-telemetry:
                   format: JSON
                   presettle: false
   
           CollectdSensubilityResultsChannel: sensubility/cloud1-telemetry

流程

1. 登录到部署了 RHOSP director Operator 的 Red Hat OpenShift Container Platform 环境，并更改到托管 RHOSP 部署的项目：

   $ oc project openstack

2. 打开 OpenStackConfigGenerator 自定义资源进行编辑：

   $ oc edit OpenStackConfigGenerator

3. 添加 metrics/ceilometer-write-qdr.yaml 和 metrics/qdr-edge-only.yaml 环境文件，作为 heatEnvs 参数的值。保存编辑并关闭 OpenStackConfigGenerator 自定义资源：

   注意

   如果您已经使用 director Operator 部署 Red Hat OpenStack Platform 环境，您必须删除现有 OpenStackConfigGenerator 并创建带有完整配置的新对象，才能重新生成 OpenStackConfigVersion。

   OpenStackConfigGenerator

   apiVersion: osp-director.openstack.org/v1beta1
   kind: OpenStackConfigGenerator
   metadata:
     name: default
     namespace: openstack
   spec:
     heatEnvConfigMap: heat-env-config-deploy
     heatEnvs:
     - <existing_environment_file_references>
     - metrics/ceilometer-write-qdr.yaml
     - metrics/qdr-edge-only.yaml

4. 如果您已经使用 director Operator 部署 Red Hat OpenStack Platform 环境，并生成新的 OpenStackConfigVersion，请编辑部署的 OpenStackDeploy 对象，并将 spec.configVersion 的值设置为新的 OpenStackConfigVersion 以更新 overcloud 部署。

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 使用 community-operators CatalogSource 订阅 Grafana Operator：

   警告

   社区 Operator 是尚未被红帽审查或验证的 Operator。社区 Operator 应谨慎使用，因为其稳定性未知。红帽不支持社区 Operator。

   了解更多有关红帽的第三方软件支持政策

   $ oc apply -f - <<EOF
   apiVersion: operators.coreos.com/v1alpha1
   kind: Subscription
   metadata:
     name: grafana-operator
     namespace: service-telemetry
   spec:
     channel: v4
     installPlanApproval: Automatic
     name: grafana-operator
     source: community-operators
     sourceNamespace: openshift-marketplace
   EOF

4. 验证 Operator 是否已成功启动。在命令输出中，如果 PHASE 列的值为 Succeeded，Operator 可以成功启动：

   $ oc get csv --selector operators.coreos.com/grafana-operator.service-telemetry
   
   NAME                       DISPLAY            VERSION   REPLACES                   PHASE
   grafana-operator.v4.10.1   Grafana Operator   4.10.1    grafana-operator.v4.10.0   Succeeded

5. 要启动 Grafana 实例，请创建或修改 ServiceTelemetry 对象。将 graphing.enabled 和 graphing.grafana.ingressEnabled 设置为 true。另外，还可将 graphing.grafana.baseImage 的值设置为要部署的 Grafana 工作负载容器镜像：

   $ oc edit stf default
   
   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   ...
   spec:
     ...
     graphing:
       enabled: true
       grafana:
         ingressEnabled: true
         baseImage: 'registry.redhat.io/rhel8/grafana:7'

6. 验证 Grafana 实例是否已部署：

   $ oc get pod -l app=grafana
   
   NAME                                  READY   STATUS    RESTARTS   AGE
   grafana-deployment-7fc7848b56-sbkhv   1/1     Running   0          1m

7. 验证 Grafana 数据源是否已正确安装：

   $ oc get grafanadatasources
   
   NAME                    AGE
   default-datasources     20h

8. 验证 Grafana 路由是否存在：

   $ oc get route grafana-route
   
   NAME            HOST/PORT                                          PATH   SERVICES          PORT   TERMINATION   WILDCARD
   grafana-route   grafana-route-service-telemetry.apps.infra.watch          grafana-service   3000   edge          None

流程

1. 确保具有正确的 Grafana 版本：

   $ oc get pod -l "app=grafana" -ojsonpath='{.items[0].spec.containers[0].image}'
   docker.io/grafana/grafana:7.3.10

2. 如果正在运行的镜像早于 8.1.0，请修补 ServiceTelemetry 对象以更新镜像。Service Telemetry Operator 更新 Grafana 清单，用于重启 Grafana 部署：

   $ oc patch stf/default --type merge -p '{"spec":{"graphing":{"grafana":{"baseImage":"docker.io/grafana/grafana:8.1.5"}}}}'

3. 验证新 Grafana pod 是否存在，并且 STATUS 的值为 Running：

   $ oc get pod -l "app=grafana"
   NAME                                 READY     STATUS    RESTARTS   AGE
   grafana-deployment-fb9799b58-j2hj2   1/1       Running   0          10s

4. 验证新实例是否正在运行更新的镜像：

   $ oc get pod -l "app=grafana" -ojsonpath='{.items[0].spec.containers[0].image}'
   docker.io/grafana/grafana:8.1.0

流程

1. 导入基础架构仪表板：

   $ oc apply -f https://raw.githubusercontent.com/infrawatch/dashboards/master/deploy/stf-1/rhos-dashboard.yaml
   
   grafanadashboard.integreatly.org/rhos-dashboard-1 created

2. 导入云仪表板：

   警告

   在 stf-connectors.yaml 文件中，确保将 collectd virt 插件参数 hostname_format 的值设置为 name uuid hostname，否则云仪表板上的一些面板没有显示任何信息。有关 virt 插件的更多信息，请参阅 collectd 插件。

   $ oc apply -f https://raw.githubusercontent.com/infrawatch/dashboards/master/deploy/stf-1/rhos-cloud-dashboard.yaml
   
   grafanadashboard.integreatly.org/rhos-cloud-dashboard-1 created

3. 导入云事件仪表板：

   $ oc apply -f https://raw.githubusercontent.com/infrawatch/dashboards/master/deploy/stf-1/rhos-cloudevents-dashboard.yaml
   
   grafanadashboard.integreatly.org/rhos-cloudevents-dashboard created

4. 导入虚拟机仪表板：

   $ oc apply -f https://raw.githubusercontent.com/infrawatch/dashboards/master/deploy/stf-1/virtual-machine-view.yaml
   
   grafanadashboard.integreatly.org/virtual-machine-view-1 configured

5. 导入 memcached 仪表板：

   $ oc apply -f https://raw.githubusercontent.com/infrawatch/dashboards/master/deploy/stf-1/memcached-dashboard.yaml
   
   grafanadashboard.integreatly.org/memcached-dashboard-1 created

6. 验证仪表板是否可用：

   $ oc get grafanadashboards
   
   NAME                         AGE
   memcached-dashboard-1        7s
   rhos-cloud-dashboard-1       23s
   rhos-cloudevents-dashboard   18s
   rhos-dashboard-1             29s
   virtual-machine-view-1       13s

7. 检索 Grafana 路由地址：

   $ oc get route grafana-route -ojsonpath='{.spec.host}'
   
   grafana-route-service-telemetry.apps.infra.watch

8. 在 Web 浏览器中，进入到 https://<grafana_route_address>。使用您在上一步中获得的值替换 <grafana_route_address>。
9. 要查看仪表板，请点 Dashboards 和 Manage。

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 从 STF 对象检索现有的用户名和密码：

   $ oc get stf default -o jsonpath="{.spec.graphing.grafana['adminUser','adminPassword']}"

4. 要通过 ServiceTelemetry 对象修改 Grafana 管理员用户名和密码的默认值，请使用 graphing.grafana.adminUser 和 graphing.grafana.adminPassword 参数。

   $ oc edit stf default

5. 等待 grafana pod 使用新凭证重启

   $ oc get po -l app=grafana -w

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 编辑 ServiceTelemetry 对象：

   $ oc edit stf default

4. 将 retention: 7d 添加到 backends.metrics.prometheus.storage 的 storage 部分，将保留周期增加到 7 天：

   注意

   如果您设置了较长的保留周期，从大量填充的 Prometheus 系统检索数据可能会导致查询速度缓慢。

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     ...
     backends:
       metrics:
         prometheus:
           enabled: true
           storage:
             strategy: persistent
             retention: 7d
       ...

5. 保存更改并关闭对象。

6. 等待 prometheus 使用新设置重启。

   $ oc get po -l app.kubernetes.io/name=prometheus -w

7. 通过检查 pod 中使用的命令行参数来验证新的保留设置。

   $ oc describe po prometheus-default-0 | grep retention.time
         --storage.tsdb.retention.time=24h

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 创建包含警报规则的 PrometheusRule 对象。Prometheus Operator 将规则加载到 Prometheus 中：

   $ oc apply -f - <<EOF
   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     creationTimestamp: null
     labels:
       prometheus: default
       role: alert-rules
     name: prometheus-alarm-rules
     namespace: service-telemetry
   spec:
     groups:
       - name: ./openstack.rules
         rules:
           - alert: Collectd metrics receive rate is zero
             expr: rate(sg_total_collectd_msg_received_count[1m]) == 0
   EOF

   若要更改规则，请编辑 expr 参数的值。

4. 要验证 Operator 是否将规则加载到 Prometheus 中，请使用基本身份验证针对 default-prometheus-proxy 路由运行 curl 命令：

   $ curl -k --user "internal:$(oc get secret default-prometheus-htpasswd -ogo-template='{{ .data.password | base64decode }}')" https://$(oc get route default-prometheus-proxy -ogo-template='{{ .spec.host }}')/api/v1/rules
   
   {"status":"success","data":{"groups":[{"name":"./openstack.rules","file":"/etc/prometheus/rules/prometheus-default-rulefiles-0/service-telemetry-prometheus-alarm-rules.yaml","rules":[{"state":"inactive","name":"Collectd metrics receive count is zero","query":"rate(sg_total_collectd_msg_received_count[1m]) == 0","duration":0,"labels":{},"annotations":{},"alerts":[],"health":"ok","evaluationTime":0.00034627,"lastEvaluation":"2021-12-07T17:23:22.160448028Z","type":"alerting"}],"interval":30,"evaluationTime":0.000353787,"lastEvaluation":"2021-12-07T17:23:22.160444017Z"}]}}

流程

1. 使用 oc edit 命令：

   $ oc edit prometheusrules prometheus-alarm-rules

2. 编辑 PrometheusRules 清单。
3. 保存并关闭清单。

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 编辑 STF 部署的 ServiceTelemetry 对象：

   $ oc edit stf default

4. 添加新参数 alertmanagerConfigManifest 和 Secret 对象内容，以定义 Alertmanager 的 alertmanager.yaml 配置：

   注意

   此步骤加载 Service Telemetry Operator 管理的默认模板。要验证更改是否已正确填充，请更改值，返回 alertmanager-default secret，并验证新值是否已加载到内存中。例如，将参数 global.resolve_timeout 的值从 5m 改为 10m。

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     backends:
       metrics:
         prometheus:
           enabled: true
     alertmanagerConfigManifest: |
       apiVersion: v1
       kind: Secret
       metadata:
         name: 'alertmanager-default'
         namespace: 'service-telemetry'
       type: Opaque
       stringData:
         alertmanager.yaml: |-
           global:
             resolve_timeout: 10m
           route:
             group_by: ['job']
             group_wait: 30s
             group_interval: 5m
             repeat_interval: 12h
             receiver: 'null'
           receivers:
           - name: 'null'

5. 验证配置是否已应用到 secret：

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'null'
   receivers:
   - name: 'null'

6. 针对 alertmanager-proxy 服务从 prometheus pod 运行 wget 命令，以检索状态和 configYAML 内容，并验证提供的配置是否与 Alertmanager 中的配置匹配：

   $ oc exec -it prometheus-default-0 -c prometheus -- sh -c "wget --header \"Authorization: Bearer \$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)\" https://default-alertmanager-proxy:9095/api/v1/status -q -O -"
   
   {"status":"success","data":{"configYAML":"...",...}}

7. 验证 configYAML 字段是否包含您预期的更改。

8. 要清理环境，请删除 curl pod：

   $ oc delete pod curl
   
   pod "curl" deleted

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 在名为 alertmanager.yaml 的文件中创建必要的 alertmanager 配置，例如：

   $ cat > alertmanager.yaml <<EOF
   global:
     resolve_timeout: 10m
     slack_api_url: <slack_api_url>
   receivers:
     - name: slack
       slack_configs:
       - channel: #stf-alerts
         title: |-
           ...
         text: >-
           ...
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'slack'
   EOF

4. 生成配置清单并将其添加到 STF 部署的 ServiceTelemetry 对象中：

   $ CONFIG_MANIFEST=$(oc create secret --dry-run=client generic alertmanager-default --from-file=alertmanager.yaml -o json)
   $ oc patch stf default --type=merge -p '{"spec":{"alertmanagerConfigManifest":'"$CONFIG_MANIFEST"'}}'

5. 验证配置是否已应用到 secret：

   注意

   Operator 更新每个对象会有一个短暂的延迟

   $ oc get secret alertmanager-default -o go-template='{{index .data "alertmanager.yaml" | base64decode }}'
   
   global:
     resolve_timeout: 10m
     slack_api_url: <slack_api_url>
   receivers:
     - name: slack
       slack_configs:
       - channel: #stf-alerts
         title: |-
           ...
         text: >-
           ...
   route:
     group_by: ['job']
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: 'slack'

6. 针对 alertmanager-proxy 服务从 prometheus pod 运行 wget 命令，以检索状态和 configYAML 内容，并验证提供的配置是否与 Alertmanager 中的配置匹配：

   $ oc exec -it prometheus-default-0 -c prometheus -- /bin/sh -c "wget --header \"Authorization: Bearer \$(cat /var/run/secrets/kubernetes.io/serviceaccount/token)\" https://default-alertmanager-proxy:9095/api/v1/status -q -O -"
   
   {"status":"success","data":{"configYAML":"...",...}}

7. 验证 configYAML 字段是否包含您预期的更改。

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 要启用 SNMP 陷阱，修改 ServiceTelemetry 对象：

   $ oc edit stf default

4. 设置 alerts .alertmanager.receivers.snmpTraps 参数：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   ...
   spec:
     ...
     alerting:
       alertmanager:
         receivers:
           snmpTraps:
             enabled: true
             target: 10.10.10.10

5. 确保将 target 的值设置为 SNMP 陷阱接收器的 IP 地址或主机名。

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 创建包含警报规则的 PrometheusRule 对象，以及一个包含 SNMP trap OID 覆盖值的 oid 标签：

   $ oc apply -f - <<EOF
   apiVersion: monitoring.coreos.com/v1
   kind: PrometheusRule
   metadata:
     creationTimestamp: null
     labels:
       prometheus: default
       role: alert-rules
     name: prometheus-alarm-rules-snmp
     namespace: service-telemetry
   spec:
     groups:
       - name: ./openstack.rules
         rules:
           - alert: Collectd metrics receive rate is zero
             expr: rate(sg_total_collectd_msg_received_count[1m]) == 0
             labels:
               oid: 1.3.6.1.4.1.50495.15.1.2.1
               severity: critical
   EOF

流程

1. 登录到 Red Hat OpenShift Container Platform。

2. 进入 service-telemetry 命名空间：

   $ oc project service-telemetry

3. 使用 oc 命令编辑 ServiceTelemetry 对象：

   $ oc edit stf default

4. 在 spec 部分添加 highAvailability.enabled: true ：

   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   ...
   spec:
     ...
     highAvailability:
       enabled: true

5. 保存更改并关闭对象。

流程

1. 在 spec 参数中，使用属性 observabilityStrategy: none 创建一个 ServiceTelemetry 对象。清单显示 STF 的默认部署，适合使用所有指标收集器类型从单一云接收遥测。

   $ oc apply -f - <<EOF
   apiVersion: infra.watch/v1beta1
   kind: ServiceTelemetry
   metadata:
     name: default
     namespace: service-telemetry
   spec:
     observabilityStrategy: none
   EOF

2. 删除由社区操作器管理的对象的左侧

   $ for o in alertmanager/default prometheus/default elasticsearch/elasticsearch grafana/default; do oc delete $o; done

3. 要验证所有工作负载是否都正常运行，请查看 pod 和每个 pod 的状态：

   $ oc get pods
   NAME                                                      READY   STATUS    RESTARTS   AGE
   default-cloud1-ceil-meter-smartgateway-59c845d65b-gzhcs   3/3     Running   0          132m
   default-cloud1-coll-meter-smartgateway-75bbd948b9-d5phm   3/3     Running   0          132m
   default-cloud1-sens-meter-smartgateway-7fdbb57b6d-dh2g9   3/3     Running   0          132m
   default-interconnect-668d5bbcd6-57b2l                     1/1     Running   0          132m
   interconnect-operator-b8f5bb647-tlp5t                     1/1     Running   0          47h
   service-telemetry-operator-566b9dd695-wkvjq               1/1     Running   0          156m
   smart-gateway-operator-58d77dcf7-6xsq7                    1/1     Running   0          47h

流程

1. 打开 stf-connectors.yaml 文件并添加 CollectdEnableLibpodstats 参数，来覆盖 enable-stf.yaml 中的设置。在 enable-stf.yaml 后，确保 openstack overcloud deploy 命令调用 stf-connectors.yaml ：

     CollectdEnableLibpodstats: false

2. 继续 overcloud 部署过程。更多信息请参阅 第 4.1.4 节 “部署 overcloud”。

流程

1. 打开 stf-connectors.yaml 并添加 CollectdEnableSensubility 参数，来覆盖 enable-stf.yaml 中的设置。在 enable-stf.yaml 后，确保 openstack overcloud deploy 命令调用 stf-connectors.yaml ：

   CollectdEnableSensubility: false

2. 继续 overcloud 部署过程。更多信息请参阅 第 4.1.4 节 “部署 overcloud”。

流程

1. 进入 service-telemetry 项目：

   $ oc project service-telemetry

2. 删除 Service Telemetry Operator 订阅：

   $ oc delete sub --selector=operators.coreos.com/service-telemetry-operator.service-telemetry
   
   subscription.operators.coreos.com "service-telemetry-operator" deleted

3. 删除 Service Telemetry Operator ClusterServiceVersion ：

   $ oc delete csv --selector=operators.coreos.com/service-telemetry-operator.service-telemetry
   
   clusterserviceversion.operators.coreos.com "service-telemetry-operator.v1.4.1669718959" deleted

验证

1. 验证 Service Telemetry Operator 部署是否没有运行：

   $ oc get deploy --selector=operators.coreos.com/service-telemetry-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

2. 验证 Service Telemetry Operator 订阅不存在：

   $ oc get sub --selector=operators.coreos.com/service-telemetry-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

3. 验证 Service Telemetry Operator ClusterServiceVersion 不存在：

   $ oc get csv --selector=operators.coreos.com/service-telemetry-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

流程

1. 进入 service-telemetry 项目：

   $ oc project service-telemetry

2. 删除 Smart Gateway Operator 订阅：

   $ oc delete sub --selector=operators.coreos.com/smart-gateway-operator.service-telemetry
   
   subscription.operators.coreos.com "smart-gateway-operator-stable-1.4-redhat-operators-openshift-marketplace" deleted

3. 删除 Smart Gateway Operator ClusterServiceVersion ：

   $ oc delete csv --selector=operators.coreos.com/smart-gateway-operator.service-telemetry
   
   clusterserviceversion.operators.coreos.com "smart-gateway-operator.v4.0.1669718962" deleted

验证

1. 验证 Smart Gateway Operator 部署是否没有运行：

   $ oc get deploy --selector=operators.coreos.com/smart-gateway-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

2. 验证 Smart Gateway Operator 订阅不存在：

   $ oc get sub --selector=operators.coreos.com/smart-gateway-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

3. 验证 Smart Gateway Operator ClusterServiceVersion 不存在：

   $ oc get csv --selector=operators.coreos.com/smart-gateway-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

流程

1. 删除 AMQ Certificate Manager Operator 订阅：

   $ oc delete sub --namespace openshift-operators --selector=operators.coreos.com/amq7-cert-manager-operator.openshift-operators
   
   subscription.operators.coreos.com "amq7-cert-manager-operator" deleted

2. 删除 AMQ Certificate Manager Operator ClusterServiceVersion ：

   $ oc delete csv --namespace openshift-operators --selector=operators.coreos.com/amq7-cert-manager-operator.openshift-operators
   
   clusterserviceversion.operators.coreos.com "amq7-cert-manager.v1.0.11" deleted

验证

1. 验证 AMQ Certificate Manager Operator 部署是否没有运行：

   $ oc get deploy --namespace openshift-operators --selector=operators.coreos.com/amq7-cert-manager-operator.openshift-operators
   
   No resources found in openshift-operators namespace.

2. 验证 AMQ Certificate Manager Operator 订阅不存在：

   $ oc get sub --namespace openshift-operators --selector=operators.coreos.com/amq7-cert-manager-operator.service-telemetry
   
   No resources found in openshift-operators namespace.

3. 验证 AMQ Certificate Manager Operator Cluster Service Version 不存在：

   $ oc get csv --namespace openshift-operators --selector=operators.coreos.com/amq7-cert-manager-operator.openshift-operators
   
   No resources found in openshift-operators namespace.

流程

1. 删除 Grafana Operator 订阅：

   $ oc delete sub --selector=operators.coreos.com/grafana-operator.service-telemetry
   
   subscription.operators.coreos.com "grafana-operator" deleted

2. 删除 Grafana Operator ClusterServiceVersion ：

   $ oc delete csv --selector=operators.coreos.com/grafana-operator.service-telemetry
   
   clusterserviceversion.operators.coreos.com "grafana-operator.v3.10.3" deleted

验证

1. 验证 Grafana Operator 部署没有运行：

   $ oc get deploy --selector=operators.coreos.com/grafana-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

2. 验证 Grafana Operator 订阅不存在：

   $ oc get sub --selector=operators.coreos.com/grafana-operator.service-telemetry
   
   No resources found in service-telemetry namespace.

3. 验证 Grafana Operator Cluster Service Version 不存在：

   $ oc get csv --selector=operators.coreos.com/grafana-operator.service-telemetry
   
   No resources found in service-telemetry namespace.