第 8 章 更新集群日志记录

在将 OpenShift Container Platform 集群从 4.4 升级到 4.5 后，您可以将 OpenShift Elasticsearch Operator 和 Cluster Logging Operator 从 4.4 更新至 4.5。

Cluster logging 4.5 引入了新的 Elasticsearch 版本 Elasticsearch 6.8.1 以及增强的安全插件 Open Distro for Elasticsearch。新的 Elasticsearch 版本引入了一个新的 Elasticsearch 数据模型，其中 Elasticsearch 数据只能根据类型（基础架构、应用程序和审核）进行索引。之前，数据按类型（设备和应用程序）和项目进行索引。

重要

由于新的数据模型，更新不会将现有的自定义 Kibana 索引模式和视觉化迁移到新版本。您必须重新创建 Kibana 索引模式和视觉化，以便在更新后匹配新索引。

由于这些更改，您不需要将 cluster logging 更新至 4.5。但是，当您升级到 OpenShift Container Platform 4.6 时,您必须及时将集群日志记录更新至 4.6。

8.1. 更新集群日志记录

升级 OpenShift Container Platform 集群后，您可以通过更改 OpenShift Elasticsearch Operator 和 Cluster Logging Operator 的订阅将集群日志记录从 4.5 更新至 4.6。

更新时：

  • 您必须在更新 Cluster Logging Operator 前更新 OpenShift Elasticsearch Operator。

  • 您必须更新 OpenShift Elasticsearch Operator 和 Cluster Logging Operator。

    当 OpenShift Elasticsearch Operator 已更新但 Cluster Logging Operator 尚未更新时，不能使用 Kibana。

    如果在 OpenShift Elasticsearch Operator 前更新 Cluster Logging Operator，则 Kibana 不会更新，并且不会创建 Kibana 自定义资源（CR）。这个问题的临时解决方案是删除 Cluster Logging Operator pod。当 Cluster Logging Operator pod 重新部署时，会创建 Kibana CR。

重要

如果您的集群日志记录版本早于 4.5，则必须将集群日志记录升级到 4.5，然后才能升级到 4.6。

先决条件

  • 将 OpenShift Container Platform 集群从 4.5 更新至 4.6。

  • 确保集群日志记录具有健康状态：

    • 所有 pod 都为 Ready 状态。
    • Elasticsearch 集群处于健康状态。
  • 备份 Elasticsearch 和 Kibana 数据。

流程

  1. 更新 OpenShift Elasticsearch Operator:

    1. 在 Web 控制台中，点 Operators → Installed Operators。
    2. 选择 openshift-operators-redhat 项目。
    3. 点 OpenShift Elasticsearch Operator。
    4. 点 Subscription → Channel。
    5. 在 Change Subscription Update Channel 窗口，,选择 4.6 并点 Save。

    6. 等待几秒钟，然后点 Operators → Installed Operators。

      OpenShift Elasticsearch Operator 显示为 4.6。例如： 

      OpenShift Elasticsearch Operator
4.6.0-202007012112.p0 provided
by Red Hat, Inc

      等待 Status 的值变为 Succeeded。

  2. 更新 Cluster Logging Operator：

    1. 在 Web 控制台中，点 Operators → Installed Operators。
    2. 选择 openshift-logging 项目。
    3. 点 Cluster Logging Operator。
    4. 点 Subscription → Channel。
    5. 在 Change Subscription Update Channel 窗口，,选择 4.6 并点 Save。

    6. 等待几秒钟，然后点 Operators → Installed Operators。

      Cluster Logging Operator 显示为 4.6。例如： 

      Cluster Logging
4.6.0-202007012112.p0 provided
by Red Hat, Inc

      等待 Status 的值变为 Succeeded。

  3. 检查日志记录组件：

    1. 确保所有 Elasticsearch pod 都处于 Ready 状态： 

      $ oc get pod -n openshift-logging --selector component=elasticsearch

      输出示例

      NAME                                            READY   STATUS    RESTARTS   AGE
elasticsearch-cdm-1pbrl44l-1-55b7546f4c-mshhk   2/2     Running   0          31m
elasticsearch-cdm-1pbrl44l-2-5c6d87589f-gx5hk   2/2     Running   0          30m
elasticsearch-cdm-1pbrl44l-3-88df5d47-m45jc     2/2     Running   0          29m

    2. 确保 Elasticsearch 集群健康： 

      $ oc exec -n openshift-logging -c elasticsearch elasticsearch-cdm-1pbrl44l-1-55b7546f4c-mshhk -- es_cluster_health
      {
  "cluster_name" : "elasticsearch",
  "status" : "green",
}
...

    3. 确保创建了 Elasticsearch cron 任务： 

      $ oc project openshift-logging
      $ oc get cronjob
      NAME                     SCHEDULE       SUSPEND   ACTIVE   LAST SCHEDULE   AGE
curator                  30 3,9,15,21 * * * False 0        <none>          20s
elasticsearch-im-app     */15 * * * *   False     0        <none>          56s
elasticsearch-im-audit   */15 * * * *   False     0        <none>          56s
elasticsearch-im-infra   */15 * * * *   False     0        <none>          56s

    4. 检查日志存储是否已更新至 4.6，并且索引是绿色的： 

      $ oc exec -c elasticsearch <any_es_pod_in_the_cluster> -- indices

      验证输出是否包含 app-00000x、infra-00000x、audit-00000x、.security 索引。

      例 8.1. 带有绿色状态索引的输出示例

      Tue Jun 30 14:30:54 UTC 2020
health status index                                                                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   infra-000008                                                          bnBvUFEXTWi92z3zWAzieQ   3 1       222195            0        289            144
green  open   infra-000004                                                          rtDSzoqsSl6saisSK7Au1Q   3 1       226717            0        297            148
green  open   infra-000012                                                          RSf_kUwDSR2xEuKRZMPqZQ   3 1       227623            0        295            147
green  open   .kibana_7                                                             1SJdCqlZTPWlIAaOUd78yg   1 1            4            0          0              0
green  open   infra-000010                                                          iXwL3bnqTuGEABbUDa6OVw   3 1       248368            0        317            158
green  open   infra-000009                                                          YN9EsULWSNaxWeeNvOs0RA   3 1       258799            0        337            168
green  open   infra-000014                                                          YP0U6R7FQ_GVQVQZ6Yh9Ig   3 1       223788            0        292            146
green  open   infra-000015                                                          JRBbAbEmSMqK5X40df9HbQ   3 1       224371            0        291            145
green  open   .orphaned.2020.06.30                                                  n_xQC2dWQzConkvQqei3YA   3 1            9            0          0              0
green  open   infra-000007                                                          llkkAVSzSOmosWTSAJM_hg   3 1       228584            0        296            148
green  open   infra-000005                                                          d9BoGQdiQASsS3BBFm2iRA   3 1       227987            0        297            148
green  open   infra-000003                                                          1-goREK1QUKlQPAIVkWVaQ   3 1       226719            0        295            147
green  open   .security                                                             zeT65uOuRTKZMjg_bbUc1g   1 1            5            0          0              0
green  open   .kibana-377444158_kubeadmin                                           wvMhDwJkR-mRZQO84K0gUQ   3 1            1            0          0              0
green  open   infra-000006                                                          5H-KBSXGQKiO7hdapDE23g   3 1       226676            0        295            147
green  open   infra-000001                                                          eH53BQ-bSxSWR5xYZB6lVg   3 1       341800            0        443            220
green  open   .kibana-6                                                             RVp7TemSSemGJcsSUmuf3A   1 1            4            0          0              0
green  open   infra-000011                                                          J7XWBauWSTe0jnzX02fU6A   3 1       226100            0        293            146
green  open   app-000001                                                            axSAFfONQDmKwatkjPXdtw   3 1       103186            0        126             57
green  open   infra-000016                                                          m9c1iRLtStWSF1GopaRyCg   3 1        13685            0         19              9
green  open   infra-000002                                                          Hz6WvINtTvKcQzw-ewmbYg   3 1       228994            0        296            148
green  open   infra-000013                                                          KR9mMFUpQl-jraYtanyIGw   3 1       228166            0        298            148
green  open   audit-000001                                                          eERqLdLmQOiQDFES1LBATQ   3 1            0            0          0              0

    5. 验证日志收集器是否已更新至 4.6: 

      $ oc get ds fluentd -o json | grep fluentd-init

      验证输出是否包含 fluentd-init 容器： 

      "containerName": "fluentd-init"

    6. 使用 Kibana CRD 验证日志可视化工具是否已更新至 4.6: 

      $ oc get kibana kibana -o json

      验证输出是否包含具有 ready 状态的 Kibana Pod：

      例 8.2. 带有就绪 Kibana pod 的输出示例

      [
{
"clusterCondition": {
"kibana-5fdd766ffd-nb2jj": [
{
"lastTransitionTime": "2020-06-30T14:11:07Z",
"reason": "ContainerCreating",
"status": "True",
"type": ""
},
{
"lastTransitionTime": "2020-06-30T14:11:07Z",
"reason": "ContainerCreating",
"status": "True",
"type": ""
}
]
},
"deployment": "kibana",
"pods": {
"failed": [],
"notReady": []
"ready": []
},
"replicaSets": [
"kibana-5fdd766ffd"
],
"replicas": 1
}
]

    7. 验证 Curator 更新至 4.6: 

      $ oc get cronjob -o name
      cronjob.batch/curator
cronjob.batch/elasticsearch-im-app
cronjob.batch/elasticsearch-im-audit
cronjob.batch/elasticsearch-im-infra

      验证输出是否包含 elasticsearch-im-* 索引。

更新后的任务

如果使用 Log Forwarding API 转发日志，在 OpenShift Elasticsearch Operator 和 Cluster Logging Operator 完全更新至 4.6 后，您必须将 LogForwarding 自定义资源（CR）替换为 ClusterLogForwarder CR。