17.9. 使用 PolicyGenTemplate 资源进行高级受管集群配置

流程

1. 根据您的具体要求，将以下 PolicyGenTemplate 应用到 group-du-3node-ranGen.yaml、group-du-sno-ranGen.yaml 或 group-du-standard-ranGen.yaml 文件：

   1. 在 .sourceFiles 中，添加 PtpOperatorConfig CR 文件来配置传输主机：

      - fileName: PtpOperatorConfigForEvent.yaml
        policyName: "config-policy"
        spec:
          daemonNodeSelector: {}
          ptpEventConfig:
            enableEventPublisher: true
            transportHost: http://ptp-event-publisher-service-NODE_NAME.openshift-ptp.svc.cluster.local:9043

      注意

      在 OpenShift Container Platform 4.12 或更高版本中，在使用带有 PTP 事件的 HTTP 传输时，您不需要在 PtpOperatorConfig 资源中设置 transportHost 字段。

   2. 为 PTP 时钟类型和接口配置 linuxptp 和 phc2sys。例如，将以下小节添加到 .sourceFiles 中：

      - fileName: PtpConfigSlave.yaml 1
        policyName: "config-policy"
        metadata:
          name: "du-ptp-slave"
        spec:
          profile:
          - name: "slave"
            interface: "ens5f1" 2
            ptp4lOpts: "-2 -s --summary_interval -4" 3
            phc2sysOpts: "-a -r -m -n 24 -N 8 -R 16" 4
          ptpClockThreshold: 5
            holdOverTimeout: 30 #secs
            maxOffsetThreshold: 100  #nano secs
            minOffsetThreshold: -100 #nano secs

      1

      可以是 PtpConfigMaster.yaml、PtpConfigSlave.yaml 或 PtpConfigSlaveCvl.yaml 之一，具体取决于您的要求。PtpConfigSlaveCvl.yaml 为 Intel E810 Columbiaville NIC 配置 linuxptp 服务。对于基于 group-du-sno-ranGen.yaml 或 group-du-3node-ranGen.yaml 的配置，请使用 PtpConfigSlave.yaml。

      2

      特定于设备的接口名称。

      3

      您必须将 --summary_interval -4 值附加到 .spec.sourceFiles.spec.profile 中的 ptp4lOpts 中，以启用 PTP fast 事件。

      4

      所需的 phc2sysOpts 值。-m 将消息输出到 stdout。linuxptp-daemon DaemonSet 解析日志并生成 Prometheus 指标。

      5

      可选。如果 ptpClockThreshold 小节不存在，则默认值用于 ptpClockThreshold 字段。小节显示默认的 ptpClockThreshold 值。ptpClockThreshold 值配置 PTP master 时钟在触发 PTP 事件前的时长。holdOverTimeout 是在 PTP master clock 断开连接时，PTP 时钟事件状态更改为 FREERUN 前的时间值（以秒为单位）。maxOffsetThreshold 和 minOffsetThreshold 设置以纳秒为单位，它们与 CLOCK_REALTIME (phc2sys) 或 master 偏移 (ptp4l) 的值进行比较。当 ptp4l 或 phc2sys 偏移值超出这个范围时，PTP 时钟状态被设置为 FREERUN。当偏移值在这个范围内时，PTP 时钟状态被设置为 LOCKED。

2. 将任何其他必要的更改和文件与自定义站点存储库合并。
3. 将更改推送到站点配置存储库，以使用 GitOps ZTP 将 PTP 快速事件部署到新站点。

流程

1. 将以下 YAML 添加到 common-ranGen.yaml 文件中的 .spec.sourceFiles 中，以配置 AMQP Operator：

   #AMQ interconnect operator for fast events
   - fileName: AmqSubscriptionNS.yaml
     policyName: "subscriptions-policy"
   - fileName: AmqSubscriptionOperGroup.yaml
     policyName: "subscriptions-policy"
   - fileName: AmqSubscription.yaml
     policyName: "subscriptions-policy"

2. 根据您的具体要求，将以下 PolicyGenTemplate 应用到 group-du-3node-ranGen.yaml、group-du-sno-ranGen.yaml 或 group-du-standard-ranGen.yaml 文件：

   1. 在 .sourceFiles 中，添加 PtpOperatorConfig CR 文件，该文件将 AMQ 传输主机配置为 config-policy ：

      - fileName: PtpOperatorConfigForEvent.yaml
        policyName: "config-policy"
        spec:
          daemonNodeSelector: {}
          ptpEventConfig:
            enableEventPublisher: true
            transportHost: "amqp://amq-router.amq-router.svc.cluster.local"

   2. 为 PTP 时钟类型和接口配置 linuxptp 和 phc2sys。例如，将以下小节添加到 .sourceFiles 中：

      - fileName: PtpConfigSlave.yaml 1
        policyName: "config-policy"
        metadata:
          name: "du-ptp-slave"
        spec:
          profile:
          - name: "slave"
            interface: "ens5f1" 2
            ptp4lOpts: "-2 -s --summary_interval -4" 3
            phc2sysOpts: "-a -r -m -n 24 -N 8 -R 16" 4
          ptpClockThreshold: 5
            holdOverTimeout: 30 #secs
            maxOffsetThreshold: 100  #nano secs
            minOffsetThreshold: -100 #nano secs

      1

      可以是 PtpConfigMaster.yaml、PtpConfigSlave.yaml 或 PtpConfigSlaveCvl.yaml，具体取决于您的要求。PtpConfigSlaveCvl.yaml 为 Intel E810 Columbiaville NIC 配置 linuxptp 服务。对于基于 group-du-sno-ranGen.yaml 或 group-du-3node-ranGen.yaml 的配置，请使用 PtpConfigSlave.yaml。

      2

      特定于设备的接口名称。

      3

      您必须将 --summary_interval -4 值附加到 .spec.sourceFiles.spec.profile 中的 ptp4lOpts 中，以启用 PTP fast 事件。

      4

      所需的 phc2sysOpts 值。-m 将消息输出到 stdout。linuxptp-daemon DaemonSet 解析日志并生成 Prometheus 指标。

      5

      可选。如果 ptpClockThreshold 小节不存在，则默认值用于 ptpClockThreshold 字段。小节显示默认的 ptpClockThreshold 值。ptpClockThreshold 值配置 PTP master 时钟在触发 PTP 事件前的时长。holdOverTimeout 是在 PTP master clock 断开连接时，PTP 时钟事件状态更改为 FREERUN 前的时间值（以秒为单位）。maxOffsetThreshold 和 minOffsetThreshold 设置以纳秒为单位，它们与 CLOCK_REALTIME (phc2sys) 或 master 偏移 (ptp4l) 的值进行比较。当 ptp4l 或 phc2sys 偏移值超出这个范围时，PTP 时钟状态被设置为 FREERUN。当偏移值在这个范围内时，PTP 时钟状态被设置为 LOCKED。

3. 将以下 PolicyGenTemplate 更改应用到您的特定站点 YAML 文件，如 example-sno-site.yaml ：

   1. 在 .sourceFiles 中，添加 Interconnect CR 文件，该文件将 AMQ 路由器配置为 config-policy ：

      - fileName: AmqInstance.yaml
        policyName: "config-policy"

4. 将任何其他必要的更改和文件与自定义站点存储库合并。
5. 将更改推送到站点配置存储库，以使用 GitOps ZTP 将 PTP 快速事件部署到新站点。

流程

1. 通过在 common-ranGen.yaml 文件中的 spec.sourceFiles 中添加以下 YAML 来配置 Bare Metal Event Relay Operator：

   # Bare Metal Event Relay operator
   - fileName: BareMetalEventRelaySubscriptionNS.yaml
     policyName: "subscriptions-policy"
   - fileName: BareMetalEventRelaySubscriptionOperGroup.yaml
     policyName: "subscriptions-policy"
   - fileName: BareMetalEventRelaySubscription.yaml
     policyName: "subscriptions-policy"

2. 将 HardwareEvent CR 添加到特定组配置文件中的 spec.sourceFiles，例如在 group-du-sno-ranGen.yaml 文件中：

   - fileName: HardwareEvent.yaml 1
     policyName: "config-policy"
     spec:
       nodeSelector: {}
       transportHost: "http://hw-event-publisher-service.openshift-bare-metal-events.svc.cluster.local:9043"
       logLevel: "info"

   1

   每个基板管理控制器 (BMC) 只需要一个 HardwareEvent CR。

   注意

   在 OpenShift Container Platform 4.12 或更高版本中，当将 HTTP 传输用于裸机事件时，您不需要在 HardwareEvent 自定义资源 (CR) 中设置 transportHost 字段。

3. 将任何其他必要的更改和文件与自定义站点存储库合并。
4. 将更改推送到站点配置存储库，以使用 GitOps ZTP 将裸机事件部署到新站点。

5. 运行以下命令来创建 Redfish Secret：

   $ oc -n openshift-bare-metal-events create secret generic redfish-basic-auth \
   --from-literal=username=<bmc_username> --from-literal=password=<bmc_password> \
   --from-literal=hostaddr="<bmc_host_ip_addr>"

流程

1. 要配置 AMQ Interconnect Operator 和 Bare Metal Event Relay Operator，请将以下 YAML 添加到 common-ranGen.yaml 文件中的 spec.sourceFiles 中：

   # AMQ interconnect operator for fast events
   - fileName: AmqSubscriptionNS.yaml
     policyName: "subscriptions-policy"
   - fileName: AmqSubscriptionOperGroup.yaml
     policyName: "subscriptions-policy"
   - fileName: AmqSubscription.yaml
     policyName: "subscriptions-policy"
   # Bare Metal Event Rely operator
   - fileName: BareMetalEventRelaySubscriptionNS.yaml
     policyName: "subscriptions-policy"
   - fileName: BareMetalEventRelaySubscriptionOperGroup.yaml
     policyName: "subscriptions-policy"
   - fileName: BareMetalEventRelaySubscription.yaml
     policyName: "subscriptions-policy"

2. 将 Interconnect CR 添加到站点配置文件中的 .spec.sourceFiles 中，例如 example-sno-site.yaml 文件：

   - fileName: AmqInstance.yaml
     policyName: "config-policy"

3. 将 HardwareEvent CR 添加到特定组配置文件中的 spec.sourceFiles，例如在 group-du-sno-ranGen.yaml 文件中：

   - fileName: HardwareEvent.yaml
     policyName: "config-policy"
     spec:
       nodeSelector: {}
       transportHost: "amqp://<amq_interconnect_name>.<amq_interconnect_namespace>.svc.cluster.local" 1
       logLevel: "info"

   1

   transportHost URL 由现有的 AMQ Interconnect CR 名称和命名空间组成。例如，在 transportHost: "amq-router.amq-router.svc.cluster.local" 中，AMQ Interconnect name 和 namespace 都被设置为 amq-router。

   注意

   每个基板管理控制器 (BMC) 仅需要一个 HardwareEvent 资源。

4. 在 Git 中提交 PolicyGenTemplate 更改，然后将更改推送到您的站点配置存储库，以使用 GitOps ZTP 将裸机事件监控部署到新站点。

5. 运行以下命令来创建 Redfish Secret：

   $ oc -n openshift-bare-metal-events create secret generic redfish-basic-auth \
   --from-literal=username=<bmc_username> --from-literal=password=<bmc_password> \
   --from-literal=hostaddr="<bmc_host_ip_addr>"

流程

1. 将以下 YAML 添加至用于安装受管集群的 SiteConfig CR 中描述主机磁盘分区：

   nodes:
       rootDeviceHints:
         wwn: "0x62cea7f05c98c2002708a0a22ff480ea"
       diskPartition:
         - device: /dev/disk/by-id/wwn-0x62cea7f05c98c2002708a0a22ff480ea 1
           partitions:
             - mount_point: /var/imageregistry
               size: 102500 2
               start: 344844 3

   1

   此设置取决于硬件。设置可以是序列号或设备名称。该值必须与为 rootDeviceHints 设置的值匹配。

   2

   size 的最小值是 102500 MiB。

   3

   start 的最小值为 25000 MiB。size 和 start 的总和不能超过磁盘大小，否则安装将失败。

2. 保存 SiteConfig CR 并将其推送到站点配置存储库。

流程

1. 在适当的 PolicyGenTemplate CR 中配置存储类、持久性卷声明、持久性卷和镜像 registry 配置。例如，要配置单个站点，请将以下 YAML 添加到文件 example-sno-site.yaml 中：

   sourceFiles:
     # storage class
     - fileName: StorageClass.yaml
       policyName: "sc-for-image-registry"
       metadata:
         name: image-registry-sc
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100" 1
     # persistent volume claim
     - fileName: StoragePVC.yaml
       policyName: "pvc-for-image-registry"
       metadata:
         name: image-registry-pvc
         namespace: openshift-image-registry
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
       spec:
         accessModes:
           - ReadWriteMany
         resources:
           requests:
             storage: 100Gi
         storageClassName: image-registry-sc
         volumeMode: Filesystem
     # persistent volume
     - fileName: ImageRegistryPV.yaml 2
       policyName: "pv-for-image-registry"
       metadata:
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
     - fileName: ImageRegistryConfig.yaml
       policyName: "config-for-image-registry"
       complianceType: musthave
       metadata:
         annotations:
           ran.openshift.io/ztp-deploy-wave: "100"
       spec:
         storage:
           pvc:
             claim: "image-registry-pvc"

   1

   根据您要在站点、通用或组级别配置镜像 registry，为 ztp-deploy-wave 设置适当的值。ZTP-deploy-wave: "100" 适用于开发或测试，因为它允许您将引用的源文件分组到一起。

   2

   在 ImageRegistryPV.yaml 中，确保将 spec.local.path 字段设置为 /var/imageregistry，以匹配 SiteConfig CR 中为 mount_point 字段设置的值。

   重要

   不要为 - fileName: ImageRegistryConfig.yaml 配置设置 complianceType: mustonlyhave。这可能导致 registry pod 部署失败。

2. 提交 Git 中的 PolicyGenTemplate 更改，然后推送到由 GitOps ZTP Argo CD 应用程序监控的 Git 存储库。

流程

1. 创建描述一组主机的 NIC 的 ConfigMap 资源。例如：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: sriovdata
     namespace: ztp-site
     annotations:
       argocd.argoproj.io/sync-options: Replace=true 1
   data:
     example-sno-du_fh-numVfs: "8"
     example-sno-du_fh-pf: ens1f0
     example-sno-du_fh-priority: "10"
     example-sno-du_fh-vlan: "140"
     example-sno-du_mh-numVfs: "8"
     example-sno-du_mh-pf: ens3f0
     example-sno-du_mh-priority: "10"
     example-sno-du_mh-vlan: "150"

   1

   只有在 ConfigMap 大于 1 MiB 时，才需要 argocd.argoproj.io/sync-options 注解。

   注意

   ConfigMap 必须位于同一命名空间中，其策略带有 hub 模板替换的策略。

2. 在 Git 中提交 ConfigMap CR，然后推送到由 Argo CD 应用程序监控的 Git 存储库。

3. 创建一个使用模板从 ConfigMap 对象拉取所需数据的 site PGT CR。例如：

   apiVersion: ran.openshift.io/v1
   kind: PolicyGenTemplate
   metadata:
     name: "site"
     namespace: "ztp-site"
   spec:
     remediationAction: inform
     bindingRules:
       group-du-sno: ""
     mcp: "master"
     sourceFiles:
       - fileName: SriovNetwork.yaml
         policyName: "config-policy"
         metadata:
           name: "sriov-nw-du-fh"
         spec:
           resourceName: du_fh
           vlan: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_fh-vlan" .ManagedClusterName) | toInt hub}}'
       - fileName: SriovNetworkNodePolicy.yaml
         policyName: "config-policy"
         metadata:
           name: "sriov-nnp-du-fh"
         spec:
           deviceType: netdevice
           isRdma: true
           nicSelector:
             pfNames:
             - '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_fh-pf" .ManagedClusterName) | autoindent hub}}'
           numVfs: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_fh-numVfs" .ManagedClusterName) | toInt hub}}'
           priority: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_fh-priority" .ManagedClusterName) | toInt hub}}'
           resourceName: du_fh
       - fileName: SriovNetwork.yaml
         policyName: "config-policy"
         metadata:
           name: "sriov-nw-du-mh"
         spec:
           resourceName: du_mh
           vlan: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_mh-vlan" .ManagedClusterName) | toInt hub}}'
       - fileName: SriovNetworkNodePolicy.yaml
         policyName: "config-policy"
         metadata:
           name: "sriov-nnp-du-mh"
         spec:
           deviceType: vfio-pci
           isRdma: false
           nicSelector:
             pfNames:
             - '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_mh-pf" .ManagedClusterName)  hub}}'
           numVfs: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_mh-numVfs" .ManagedClusterName) | toInt hub}}'
           priority: '{{hub fromConfigMap "ztp-site" "sriovdata" (printf "%s-du_mh-priority" .ManagedClusterName) | toInt hub}}'
           resourceName: du_mh

4. 在 Git 中提交站点 PolicyGenTemplate CR，并推送到由 ArgoCD 应用程序监控的 Git 存储库。

   注意

   对引用的 ConfigMap CR 的后续更改不会自动同步到应用的策略。您需要手动同步新的 ConfigMap 更改来更新现有的 PolicyGenTemplate CR。请参阅 "Syncing new ConfigMap changes to existing PolicyGenTemplate CR"。

流程

1. 创建描述一组集群主机的 VLAN ID 的 ConfigMap CR。例如：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: site-data
     namespace: ztp-group
     annotations:
       argocd.argoproj.io/sync-options: Replace=true 1
   data:
     site-1-vlan: "101"
     site-2-vlan: "234"

   1

   只有在 ConfigMap 大于 1 MiB 时，才需要 argocd.argoproj.io/sync-options 注解。

   注意

   ConfigMap 必须位于同一命名空间中，其策略带有 hub 模板替换的策略。

2. 在 Git 中提交 ConfigMap CR，然后推送到由 Argo CD 应用程序监控的 Git 存储库。

3. 创建一个组 PGT CR，它使用 hub 模板从 ConfigMap 对象拉取所需的 VLAN ID。例如，将以下 YAML 片断添加到组 PGT CR 中：

   - fileName: SriovNetwork.yaml
       policyName: "config-policy"
       metadata:
         name: "sriov-nw-du-mh"
         annotations:
           ran.openshift.io/ztp-deploy-wave: "10"
       spec:
         resourceName: du_mh
         vlan: '{{hub fromConfigMap "" "site-data" (printf "%s-vlan" .ManagedClusterName) | toInt hub}}'

4. 在 Git 中提交组 PolicyGenTemplate CR，然后推送到由 Argo CD 应用程序监控的 Git 存储库。

   注意

   对引用的 ConfigMap CR 的后续更改不会自动同步到应用的策略。您需要手动同步新的 ConfigMap 更改来更新现有的 PolicyGenTemplate CR。请参阅 "Syncing new ConfigMap changes to existing PolicyGenTemplate CR"。

流程

1. 更新 ConfigMap CR 的内容，并应用 hub 集群中的更改。

2. 要将更新的 ConfigMap CR 的内容同步到部署的策略中，请执行以下操作之一：

   1. 选项 1：删除现有策略。ArgoCD 使用 PolicyGenTemplate CR 立即重新创建已删除的策略。例如，运行以下命令：

      $ oc delete policy <policy_name> -n <policy_namespace>

   2. 选项 2：在每次更新 ConfigMap 时，每次更新 ConfigMap 时，将特殊注解 policy.open-cluster-management.io/trigger-update 应用到策略。例如：

      $ oc annotate policy <policy_name> -n <policy_namespace> policy.open-cluster-management.io/trigger-update="1"

      注意

      您必须应用更新的策略才能使更改生效。如需更多信息，请参阅重新处理的特殊注解。

3. 可选：如果存在，删除包含策略的 ClusterGroupUpdate CR。例如：

   $ oc delete clustergroupupgrade <cgu_name> -n <cgu_namespace>

   1. 创建新的 ClusterGroupUpdate CR，其中包含要应用更新的 ConfigMap 更改的策略。例如，将以下 YAML 添加到文件 cgr-example.yaml 中：

      apiVersion: ran.openshift.io/v1alpha1
      kind: ClusterGroupUpgrade
      metadata:
        name: <cgr_name>
        namespace: <policy_namespace>
      spec:
        managedPolicies:
          - <managed_policy>
        enable: true
        clusters:
        - <managed_cluster_1>
        - <managed_cluster_2>
        remediationStrategy:
          maxConcurrency: 2
          timeout: 240

   2. 应用更新的策略：

      $ oc apply -f cgr-example.yaml