9.2. 配置镜像 registry 设置

流程

1. 编辑 image.config.openshift.io/cluster CR:

   $ oc edit image.config.openshift.io/cluster

   以下是一个带有允许列表的 image.config.openshift.io/cluster CR 示例：

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       allowedRegistries: 2
       - example.com
       - quay.io
       - registry.redhat.io
       - reg1.io/myrepo/myapp:latest
       - image-registry.openshift-image-registry.svc:5000
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。

   2

   指定 registry 以及该 registry 中的存储库（可选）用于镜像拉取（pull）和推送（push）操作。阻止所有其他 registry。

   注意

   可以设置 allowedRegistries 参数或 blockedRegistries 参数，但不能同时设置这两个参数。

   Machine Config Operator（MCO）会监控 image.config.openshift.io/cluster 资源以了解对 registry 的任何更改。当 MCO 检测到更改时，它会排空节点，应用更改，并对节点进行 uncordon 处理。节点返回 Ready 状态后，允许的 registry 列表用于更新每个节点上的 /host/etc/containers/policy.json 文件中的镜像签名策略。

2. 要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：

   $ cat /host/etc/containers/policy.json

   以下策略表示，仅允许来自 example.com、quay.io 和 registry.redhat.io registry 中的镜像拉取和推送镜像：

   例 9.1. 镜像签名策略文件示例

   {
      "default":[
         {
            "type":"reject"
         }
      ],
      "transports":{
         "atomic":{
            "example.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "image-registry.openshift-image-registry.svc:5000":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "insecure.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "quay.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "reg4.io/myrepo/myapp:latest":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "registry.redhat.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         },
         "docker":{
            "example.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "image-registry.openshift-image-registry.svc:5000":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "insecure.com":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "quay.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "reg4.io/myrepo/myapp:latest":[
               {
                  "type":"insecureAcceptAnything"
               }
            ],
            "registry.redhat.io":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         },
         "docker-daemon":{
            "":[
               {
                  "type":"insecureAcceptAnything"
               }
            ]
         }
      }
   }

流程

1. 编辑 image.config.openshift.io/cluster CR:

   $ oc edit image.config.openshift.io/cluster

   以下是一个带有块列表的 image.config.openshift.io/cluster CR 示例：

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       blockedRegistries: 2
       - untrusted.com
       - reg1.io/myrepo/myapp:latest
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。

   2

   指定 registry，并可选择性地指定 registry 中的存储库，以使它们不应该用于镜像拉取（pull）和推送（push）操作。允许所有其他 registry。

   注意

   可以设置 blockedRegistries registry 或 allowedRegistries registry，但不能同时设置这两个 registry。

   Machine Config Operator（MCO）会监控 image.config.openshift.io/cluster 资源以了解对 registry 的任何更改。当 MCO 检测到更改时，它会排空节点，应用更改，并对节点进行 uncordon 处理。节点返回 Ready 状态后，在每个节点上的 /etc/containers/registries.conf 文件中会显示对被阻断的 registry 的更改。

2. 要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：

   $ cat /host/etc/containers/registries.conf

   以下示例显示，在进行镜像拉取和推送时，不使用 untrusted.com：

   输出示例

   unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
   
   [[registry]]
     prefix = ""
     location = "untrusted.com"
     blocked = true

流程

1. 编辑 image.config.openshift.io/cluster CR:

   $ oc edit image.config.openshift.io/cluster

   以下是一个带有不安全 registry 列表的 image.config.openshift.io/cluster CR 示例：

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     registrySources: 1
       insecureRegistries: 2
       - insecure.com
       - reg4.io/myrepo/myapp:latest
       allowedRegistries:
       - example.com
       - quay.io
       - registry.redhat.io
       - insecure.com 3
       - reg4.io/myrepo/myapp:latest
       - image-registry.openshift-image-registry.svc:5000
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。

   2

   指定不安全的 registry。您可以在该 registry 中指定存储库。

   3

   确保将任何不安全的 registry 包含在 allowedRegistries 列表中。

   注意

   当定义 allowedRegistries 参数时，除非明确列出，否则所有 registry （包括 registry.redhat.io 和 quay.io registry 和默认的 OpenShift 镜像 registry）都会被阻断。如果使用参数，为了避免 pod 失败，将所有 registry（包括 registry.redhat.io 和 quay.io registry）和 internalRegistryHostname 添加到 allowedRegistries 列表中，因为环境中有效负载镜像需要它们。对于断开连接的集群，还应添加镜像的 registry。

   Machine Config Operator（MCO）会监控 image.config.openshift.io/cluster CR 是否有对 registry 的更改，然后在检测到更改时排空并取消记录节点。节点返回 Ready 状态后，改为在每个节点的 /etc/containers/registries.conf 文件中列出的不安全和受阻 registry。

2. 要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：

   $ cat /host/etc/containers/registries.conf

   以下示例表示来自 insecure.com registry 的镜像是不安全的，并允许进行镜像拉取和推送。

   输出示例

   unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
   
   [[registry]]
     prefix = ""
     location = "insecure.com"
     insecure = true

流程

1. 编辑 image.config.openshift.io/cluster 自定义资源：

   $ oc edit image.config.openshift.io/cluster

   以下是 image.config.openshift.io/cluster CR 示例：

   apiVersion: config.openshift.io/v1
   kind: Image
   metadata:
     annotations:
       release.openshift.io/create-only: "true"
     creationTimestamp: "2019-05-17T13:44:26Z"
     generation: 1
     name: cluster
     resourceVersion: "8302"
     selfLink: /apis/config.openshift.io/v1/images/cluster
     uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
   spec:
     allowedRegistriesForImport:
       - domainName: quay.io
         insecure: false
     additionalTrustedCA:
       name: myconfigmap
     registrySources:
       containerRuntimeSearchRegistries: 1
       - reg1.io
       - reg2.io
       - reg3.io
       allowedRegistries: 2
       - example.com
       - quay.io
       - registry.redhat.io
       - reg1.io
       - reg2.io
       - reg3.io
       - image-registry.openshift-image-registry.svc:5000
   ...
   status:
     internalRegistryHostname: image-registry.openshift-image-registry.svc:5000

   1

   指定用于镜像简短名称的 registry。您应该只使用带有内部或私有 registry 的镜像短名称，以减少可能的安全问题。

   2

   确保在 containerRuntimeSearchRegistries 下列出的任何 registry 都包含在 allowedRegistries 列表中。

   注意

   当定义 allowedRegistries 参数时，除非明确列出，否则所有 registry （包括 registry.redhat.io 和 quay.io registry 和默认的 OpenShift 镜像 registry）都会被阻断。如果使用此参数，为了避免 pod 失败，请将所有 registry（包括 registry.redhat.io 和 quay.io registry）和 internalRegistryHostname 添加到 allowedRegistries 列表中，因为环境中有效负载镜像需要它们。对于断开连接的集群，还应添加镜像的 registry。

2. 要检查是否已添加 registry，当节点返回到 Ready 状态时，请在节点上使用以下命令：

   $ cat /host/etc/containers/registries.conf.d/01-image-searchRegistries.conf

   输出示例

   unqualified-search-registries = ['reg1.io', 'reg2.io', 'reg3.io']

1. 配置其他CA：

   $ oc create configmap registry-config --from-file=<external_registry_address>=ca.crt -n openshift-config

   $ oc edit image.config.openshift.io cluster

   spec:
     additionalTrustedCA:
       name: registry-config

流程

1. 通过以下方法配置已镜像的存储库：

   • 按照 Red Hat Quay 存储库镜像中所述，使用 Red Hat Quay 来设置已镜像的存储库。使用 Red Hat Quay 有助于您将镜像从一个存储库复制到另一存储库，并可随着时间的推移重复自动同步这些存储库。

   • 使用 skopeo 等工具手动将镜像从源目录复制到已镜像的存储库。

     例如：在 Red Hat Enterprise Linux（RHEL 7 或 RHEL 8）系统上安装 skopeo RPM 软件包后，使用 skopeo 命令，如下例所示：

     $ skopeo copy \
     docker://registry.access.redhat.com/ubi9/ubi-minimal:latest@sha256:5cf... \
     docker://example.io/example/ubi-minimal

     在本例中，您有一个名为 example.io 的容器镜像 registry，其中包含一个名为 example 的镜像存储库，您要将 ubi9/ubi-minimal 镜像从 registry.access.redhat.com 复制到其中。创建该 registry 后，您可将 OpenShift Container Platform 集群配置为将源存储库的请求重定向到已镜像的存储库。

2. 登录您的 OpenShift Container Platform 集群。

3. 根据需要，创建一个 ImageDigestMirrorSet 或 ImageTagMirrorSet CR，将源和镜像(mirror)替换为您自己的 registry、存储库对和镜像：

   apiVersion: config.openshift.io/v1 1
   kind: ImageDigestMirrorSet 2
   metadata:
     name: ubi9repo
   spec:
     imageDigestMirrors: 3
     - mirrors:
       - example.io/example/ubi-minimal 4
       - example.com/example/ubi-minimal 5
       source: registry.access.redhat.com/ubi9/ubi-minimal 6
       mirrorSourcePolicy: AllowContactingSource 7
     - mirrors:
       - mirror.example.com/redhat
       source: registry.redhat.io/openshift4 8
       mirrorSourcePolicy: AllowContactingSource
     - mirrors:
       - mirror.example.com
       source: registry.redhat.io 9
       mirrorSourcePolicy: AllowContactingSource
     - mirrors:
       - mirror.example.net/image
       source: registry.example.com/example/myimage 10
       mirrorSourcePolicy: AllowContactingSource
     - mirrors:
       - mirror.example.net
       source: registry.example.com/example 11
       mirrorSourcePolicy: AllowContactingSource
     - mirrors:
       - mirror.example.net/registry-example-com
       source: registry.example.com 12
       mirrorSourcePolicy: AllowContactingSource

   1

   指明此 CR 要使用的 API。这必须是 config.openshift.io/v1。

   2

   根据 pull 类型指示对象类型：

   • ImageDigestMirrorSet ：提取摘要引用镜像。
   • ImageTagMirrorSet ：提取标签引用镜像。

   3

   表示镜像拉取方法的类型，请执行以下任一方法：

   • imageDigestMirrors：用于 ImageDigestMirrorSet CR。
   • imageTagMirrors：用于 ImageTagMirrorSet CR。

   4

   指明镜像 registry 和存储库的名称。

   5

   可选：指定每个目标仓库的二级镜像存储库。如果一个镜像停机，则目标仓库可以使用另一个镜像。

   6

   指明 registry 和存储库源，这是在镜像拉取规格中引用的存储库。

   7

   可选：如果镜像拉取失败，则指示回退策略：

   • AllowContactingSource：允许继续尝试从源存储库拉取镜像。这是默认值。
   • NeverContactSource: 防止继续尝试从源存储库拉取镜像。

   8

   可选：指示 registry 中的命名空间，它允许您使用该命名空间中的任何镜像。如果您使用 registry 域作为源，则对象将应用到 registry 中的所有存储库。

   9

   可选：指示一个 registry，它允许您使用该 registry 中的任何镜像。如果指定了 registry 名称，对象将应用到源 registry 中的所有存储库到镜像 registry。

   10

   从 mirror mirror.example.net/image@sha256:.. 拉取镜像 registry.example.com/example/myimage@sha256:…​。

   11

   从 mirror mirror.example.net/image@sha256:…​ 的源 registry 命名空间中拉取镜像 registry.example.com/example/image@sha256:…​。

   12

   从 mirror registry example.net/registry-example-com/myimage@sha256:…​ 中拉取镜像 registry.example.com/myimage@sha256。ImageContentSourcePolicy 资源会应用到源 registry 中的所有仓库到到 mirror registry mirror.example.net/registry-example-com。

4. 创建新对象：

   $ oc create -f registryrepomirror.yaml

   创建对象后，Machine Config Operator (MCO) 会限制节点，因为新的设置被部署到每个节点。MCO 只为 ImageTagMirrorSet 对象重启节点。MCO 不会为 ImageDigestMirrorSet 对象重启节点。当节点被取消封锁时，集群开始使用已镜像的存储库向源存储库发出请求。

5. 要检查是否应用了镜像的配置设置，请在其中一个节点上执行以下操作。

   1. 列出您的节点：

      $ oc get node

      输出示例

      NAME                           STATUS                     ROLES    AGE  VERSION
      ip-10-0-137-44.ec2.internal    Ready                      worker   7m   v1.26.0
      ip-10-0-138-148.ec2.internal   Ready                      master   11m  v1.26.0
      ip-10-0-139-122.ec2.internal   Ready                      master   11m  v1.26.0
      ip-10-0-147-35.ec2.internal    Ready                      worker   7m   v1.26.0
      ip-10-0-153-12.ec2.internal    Ready                      worker   7m   v1.26.0
      ip-10-0-154-10.ec2.internal    Ready                      master   11m  v1.26.0

   2. 启动调试过程以访问节点：

      $ oc debug node/ip-10-0-147-35.ec2.internal

      输出示例

      Starting pod/ip-10-0-147-35ec2internal-debug ...
      To use host binaries, run `chroot /host`

   3. 将您的根目录改为 /host ：

      sh-4.2# chroot /host

   4. 检查 /etc/containers/registries.conf 文件，确保已完成更改：

      sh-4.2# cat /etc/containers/registries.conf

      以下输出代表了一个 registry.conf 文件，其中应用了 ImageDigestMirrorSet 对象和一个 ImageTagMirrorSet 对象。最后的两个条目分别标记为 digest-only 和 tag-only。

      输出示例

      unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
      short-name-mode = ""
      
      [[registry]]
        prefix = ""
        location = "registry.access.redhat.com/ubi9/ubi-minimal" 1
      
        [[registry.mirror]]
          location = "example.io/example/ubi-minimal" 2
          pull-from-mirror = "digest-only" 3
      
        [[registry.mirror]]
          location = "example.com/example/ubi-minimal"
          pull-from-mirror = "digest-only"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com"
      
        [[registry.mirror]]
          location = "mirror.example.net/registry-example-com"
          pull-from-mirror = "digest-only"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com/example"
      
        [[registry.mirror]]
          location = "mirror.example.net"
          pull-from-mirror = "digest-only"
      
      [[registry]]
        prefix = ""
        location = "registry.example.com/example/myimage"
      
        [[registry.mirror]]
          location = "mirror.example.net/image"
          pull-from-mirror = "digest-only"
      
      [[registry]]
        prefix = ""
        location = "registry.redhat.io"
      
        [[registry.mirror]]
          location = "mirror.example.com"
          pull-from-mirror = "digest-only"
      
      [[registry]]
        prefix = ""
        location = "registry.redhat.io/openshift4"
      
        [[registry.mirror]]
          location = "mirror.example.com/redhat"
          pull-from-mirror = "digest-only"
      [[registry]]
        prefix = ""
        location = "registry.access.redhat.com/ubi9/ubi-minimal"
        blocked = true 4
      
        [[registry.mirror]]
          location = "example.io/example/ubi-minimal-tag"
          pull-from-mirror = "tag-only" 5

      1

      指明在 pull spec 中引用的存储库。

      2

      指明该存储库的镜像。

      3

      表示从 mirror 的镜像拉取是一个摘要引用镜像。

      4

      表示为此存储库设置了 NeverContactSource 参数。

      5

      表示从 mirror 的镜像拉取是一个标签引用镜像。

   5. 从源拉取镜像到节点，并检查是否通过 mirror 解析。

      sh-4.2# podman pull --log-level=debug registry.access.redhat.com/ubi9/ubi-minimal@sha256:5cf...

流程

1. 使用以下命令，将一个或多个 ImageContentSourcePolicy YAML 文件转换为 ImageDigestMirrorSet YAML 文件：

   $ oc adm migrate icsp <file_name>.yaml <file_name>.yaml <file_name>.yaml --dest-dir <path_to_the_directory>

   其中：

   <file_name>

   指定源 ImageContentSourcePolicy YAML 的名称。您可以列出多个文件名。

   --dest-dir

   可选：指定输出 ImageDigestMirrorSet YAML 的目录。如果未设置，则会将该文件写入当前目录中。

   例如，以下命令可将 icsp.yaml 和 icsp-2.yaml 文件转换，并将新的 YAML 文件保存到 idms-files 目录中。

   $ oc adm migrate icsp icsp.yaml icsp-2.yaml --dest-dir idms-files

   输出示例

   wrote ImageDigestMirrorSet to idms-files/imagedigestmirrorset_ubi8repo.5911620242173376087.yaml
   wrote ImageDigestMirrorSet to idms-files/imagedigestmirrorset_ubi9repo.6456931852378115011.yaml

2. 运行以下命令来创建 CR 对象：

   $ oc create -f <path_to_the_directory>/<file-name>.yaml

   其中：

   <path_to_the_directory>

   如果使用 --dest-dir 标志，请指定目录的路径。

   <file_name>

   指定 ImageDigestMirrorSet YAML 的名称。