1.2. 配置监控堆栈

流程

1. 编辑 cluster-monitoring-config ConfigMap 对象：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 将组件的 PVC 配置放在 data/config.yaml 下：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       <component>:
         volumeClaimTemplate:
           metadata:
             name: <PVC_name_prefix>
           spec:
             storageClassName: <storage_class>
             resources:
               requests:
                 storage: <amount_of_storage>

   如需有关如何指定 volumeClaimTemplate 的信息，请参阅 Kubernetes 文档中与 PersistentVolumeClaim 相关的内容。

   例如，若要配置一个 PVC 来声明用于 Prometheus 的本地持久性存储，请使用：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         volumeClaimTemplate:
           metadata:
             name: localpvc
           spec:
             storageClassName: local-storage
             resources:
               requests:
                 storage: 40Gi

   在上例中，由 Local Storage Operator 创建的存储类称为 local-storage。

   若要配置一个 PVC 来声明用于 Alertmanager 的本地持久性存储，请使用：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       alertmanagerMain:
         volumeClaimTemplate:
           metadata:
             name: localpvc
           spec:
             storageClassName: local-storage
             resources:
               requests:
                 storage: 40Gi

3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重启，并且应用新的存储配置。

流程

1. 编辑 cluster-monitoring-config ConfigMap 对象：

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

2. 将保留时间配置放在 data/config.yaml 下：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: <time_specification>

   将 <time_specification> 替换为一个数字，后面紧跟 ms（毫秒）、s（秒）、m（分钟）、h（小时）、d（天）、w（周）或 y（年）。

   例如，若要将保留时间配置为 24 小时，请使用：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       prometheusK8s:
         retention: 24h

3. 保存文件以使改变生效。受新配置影响的 Pod 会自动重启。

流程

1. 将当前活跃的 Alertmanager 配置输出到 alertmanager.yaml 文件：

   $ oc -n openshift-monitoring get secret alertmanager-main --template='{{ index .data "alertmanager.yaml" }}' |base64 -d > alertmanager.yaml

2. 将 alertmanager.yaml 文件中的配置改为您的新配置：

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: default
     routes:
     - match:
         alertname: Watchdog
       repeat_interval: 5m
       receiver: watchdog
     - match:
         service: <your_service> 1
       routes:
       - match:
           <your_matching_rules> 2
         receiver: <receiver> 3
   receivers:
   - name: default
   - name: watchdog
   - name: <receiver>
     <receiver_configuration>

   1

   service 指定触发警报的服务。

   2

   <your_matching_rules> 指定目标警报。

   3

   receiver 指定用于该警报的接收器。

   例如，以下列表配置用于通知的 PagerDuty：

   global:
     resolve_timeout: 5m
   route:
     group_wait: 30s
     group_interval: 5m
     repeat_interval: 12h
     receiver: default
     routes:
     - match:
         alertname: Watchdog
       repeat_interval: 5m
       receiver: watchdog
     - match: service: example-app routes: - match: severity: critical receiver: team-frontend-page
   receivers:
   - name: default
   - name: watchdog
   - name: team-frontend-page pagerduty_configs: - service_key: "your-key"

   采用此配置时，由 example-app 服务触发的、严重性为 critical 的警报将使用 team-frontend-page 接收器发送；即，这些警报将传给选定人员。

3. 应用文件中的新配置：

   $ oc -n openshift-monitoring create secret generic alertmanager-main --from-file=alertmanager.yaml --dry-run -o=yaml |  oc -n openshift-monitoring replace secret --filename=-

流程

1. 配置所需的端口转发：

   $ oc -n openshift-monitoring port-forward svc/prometheus-operated 9090

2. 获取包含作用中警报规则及其属性的 JSON 对象：

   $ curl -s http://localhost:9090/api/v1/rules | jq '[.data.groups[].rules[] | select(.type=="alerting")]'

   输出示例

   [
     {
       "name": "ClusterOperatorDown",
       "query": "cluster_operator_up{job=\"cluster-version-operator\"} == 0",
       "duration": 600,
       "labels": {
         "severity": "critical"
       },
       "annotations": {
         "message": "Cluster operator {{ $labels.name }} has not been available for 10 mins. Operator may be down or disabled, cluster will not be kept up to date and upgrades will not be possible."
       },
       "alerts": [],
       "health": "ok",
       "type": "alerting"
     },
     {
       "name": "ClusterOperatorDegraded",
       ...