Language:
Format:

9.2. 配置镜像设置

您可以通过编辑 image.config.openshift.io/cluster 自定义资源（CR）来配置镜像 registry 设置。Machine Config Operator (MCO) 会监控 image.config.openshift.io/cluster 以了解对 registry 的任何更改，并在检测到更改时重启节点。

流程

编辑 image.config.openshift.io/cluster 自定义资源：
```
$ oc edit image.config.openshift.io/cluster
```
以下是 image.config.openshift.io/cluster CR 示例：
```
apiVersion: config.openshift.io/v1
kind: Image 1
metadata:
  annotations:
    release.openshift.io/create-only: "true"
  creationTimestamp: "2019-05-17T13:44:26Z"
  generation: 1
  name: cluster
  resourceVersion: "8302"
  selfLink: /apis/config.openshift.io/v1/images/cluster
  uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
spec:
  allowedRegistriesForImport: 2
    - domainName: quay.io
      insecure: false
  additionalTrustedCA: 3
    name: myconfigmap
  registrySources:4
    allowedRegistries:
    - example.com
    - quay.io
    - registry.redhat.io
    insecureRegistries:
    - insecure.com
status:
  internalRegistryHostname: image-registry.openshift-image-registry.svc:5000
```
1
Image：包含有关如何处理镜像的集群范围信息。规范且唯一有效的名称是 cluster。
2
allowedRegistriesForImport：限制普通用户可从中导入镜像的容器镜像 registry。将此列表设置为您信任包含有效镜像且希望应用程序能够从中导入的 registry。有权从 API 创建镜像或 ImageStreamMappings 的用户不受此策略的影响。通常只有集群管理员具有适当权限。
3
additionalTrustedCA：引用包含 ImageStream import、pod image pull、openshift-image-registry pullthrough 和构建期间应受信任的额外 CA 的 ConfigMap。该 ConfigMap 的命名空间为 openshift-config。ConfigMap 的格式是使用 registry 主机名作为键，使用 PEM 证书作为值，用于每个要信任的额外 registry CA。
4
registrySources：包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。例如，是否允许不安全的访问。它不包含内部集群 registry 的配置。本例列出了 allowedRegistries，用于定义允许使用的 registry。列出的 registry 中的一个是不安全的。

要检查是否应用了更改，请列出您的节点：

$ oc get nodes

输出示例

NAME                                       STATUS                     ROLES    AGE   VERSION
ci-ln-j5cd0qt-f76d1-vfj5x-master-0         Ready                         master   98m   v1.19.0+7070803
ci-ln-j5cd0qt-f76d1-vfj5x-master-1         Ready,SchedulingDisabled      master   99m   v1.19.0+7070803
ci-ln-j5cd0qt-f76d1-vfj5x-master-2         Ready                         master   98m   v1.19.0+7070803
ci-ln-j5cd0qt-f76d1-vfj5x-worker-b-nsnd4   Ready                         worker   90m   v1.19.0+7070803
ci-ln-j5cd0qt-f76d1-vfj5x-worker-c-5z2gz   NotReady,SchedulingDisabled   worker   90m   v1.19.0+7070803
ci-ln-j5cd0qt-f76d1-vfj5x-worker-d-stsjv   Ready                         worker   90m   v1.19.0+7070803

9.2.1. 添加特定的 registry

您可以通过编辑 image.config.openshift.io/cluster 自定义资源（CR）来添加允许镜像拉取（pull）和推送（push）操作的 registry 列表。OpenShift Container Platform 会将对此 CR 的更改应用到集群中的所有节点。

在拉取或推送镜像时，容器运行时会搜索 image.config.openshift.io/cluster CR 的 registrySources 参数中列出的 registry。如果您在 allowedRegistries 参数下创建了 registry 列表，则容器运行时仅搜索这些 registry。不在列表中的 registry 会被阻断。

警告

当定义 allowedRegistries 参数时，除非明确列出，否则所有 registry（包括 registry.redhat.io 和 quay.io registry）都会被阻断,。如果使用这个参数，为了避免 pod 失败，将 registry.redhat.io 和 quay.io 添加到 allowedRegistries 列表中，因为环境中的 payload 镜像需要它们。对于断开连接的集群，还应添加镜像的 registry。

流程

编辑 image.config.openshift.io/cluster CR:
```
$ oc edit image.config.openshift.io/cluster
```
以下是一个带有允许列表的 image.config.openshift.io/cluster CR 示例：
```
apiVersion: config.openshift.io/v1
kind: Image
metadata:
  annotations:
    release.openshift.io/create-only: "true"
  creationTimestamp: "2019-05-17T13:44:26Z"
  generation: 1
  name: cluster
  resourceVersion: "8302"
  selfLink: /apis/config.openshift.io/v1/images/cluster
  uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
spec:
  registrySources: 1
    allowedRegistries: 2
    - example.com
    - quay.io
    - registry.redhat.io
status:
  internalRegistryHostname: image-registry.openshift-image-registry.svc:5000
```
1
registrySources：包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。
2
allowedRegistries：用于镜像拉取（pull）和推送（push）操作的 registry。阻止所有其他 registry。
注意
可以设置 allowedRegistries 参数或 blockedRegistries 参数，但不能同时设置这两个参数。
Machine Config Operator (MCO) 会监控 image.config.openshift.io/cluster CR 以了解对 registry 的任何更改，并在检测到更改时重启节点。对允许的 registry 的更改会在每个节点上的 /host/etc/containers/policy.json 文件中创建或更新镜像签名策略。

要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：

$ cat /host/etc/containers/policy.json

以下策略表示，仅允许来自 example.com、quay.io 和 registry.redhat.io registry 中的镜像拉取和推送镜像：

例 9.1. 镜像签名策略文件示例

{
	"default": [{
		"type": "reject"
	}],
	"transports": {
		"atomic": {
			"example.com": [{
				"type": "insecureAcceptAnything"
			}],
			"quay.io": [{
				"type": "insecureAcceptAnything"
			}],
			"registry.redhat.io": [{
				"type": "insecureAcceptAnything"
			}]
		},
		"docker": {
			"example.com": [{
				"type": "insecureAcceptAnything"
			}],
			"quay.io": [{
				"type": "insecureAcceptAnything"
			}],
			"registry.redhat.io": [{
				"type": "insecureAcceptAnything"
			}]
		},
		"docker-daemon": {
			"": [{
				"type": "insecureAcceptAnything"
			}]
		}
	}
}

注意

如果您的集群使用 registrySources.insecureRegistries 参数，请确保将任何不安全的 registry 包含在允许的列表中。

例如：

spec:
  registrySources:
    insecureRegistries:
    - insecure.com
    allowedRegistries:
    - example.com
    - quay.io
    - registry.redhat.io
    - insecure.com

9.2.2. 阻塞特定的 registry

您可以通过编辑 image.config.openshift.io/cluster 自定义资源（CR）来阻塞 registry。OpenShift Container Platform 会将对此 CR 的更改应用到集群中的所有节点。

在拉取或推送镜像时，容器运行时会搜索 image.config.openshift.io/cluster CR 的 registrySources 参数中列出的 registry。如果您在 blockedRegistries 参数下创建了 registry 列表，则容器运行时不会搜索这些 registry。允许所有其他 registry。

流程

编辑 image.config.openshift.io/cluster CR:
```
$ oc edit image.config.openshift.io/cluster
```
以下是一个带有块列表的 image.config.openshift.io/cluster CR 示例：
```
apiVersion: config.openshift.io/v1
kind: Image
metadata:
  annotations:
    release.openshift.io/create-only: "true"
  creationTimestamp: "2019-05-17T13:44:26Z"
  generation: 1
  name: cluster
  resourceVersion: "8302"
  selfLink: /apis/config.openshift.io/v1/images/cluster
  uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
spec:
  registrySources: 1
    blockedRegistries: 2
    - untrusted.com
status:
  internalRegistryHostname: image-registry.openshift-image-registry.svc:5000
```
1
registrySources：包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。
2
指定不用于镜像拉取（pull）和推送（push）操作的 registry。允许所有其他 registry。
注意
可以设置 blockedRegistries registry 或 allowedRegistries registry，但不能同时设置这两个 registry。
Machine Config Operator (MCO) 会监控 image.config.openshift.io/cluster CR 以了解对 registry 的任何更改，并在检测到更改时重启节点。对受阻 registry 的更改会出现在每个节点上的 /etc/containers/registries.conf 文件中。

要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：

$ cat /host/etc/containers/registries.conf

以下示例显示，在进行镜像拉取和推送时，不使用 untrusted.com：

输出示例

unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]

[[registry]]
  prefix = ""
  location = "untrusted.com"
  blocked = true

9.2.3. 允许不安全的 registry

您可以通过编辑 image.config.openshift.io/cluster 自定义资源（CR）来添加不安全的 registry。OpenShift Container Platform 会将对此 CR 的更改应用到集群中的所有节点。

没有使用有效 SSL 证书或不需要 HTTPS 连接的 registry 被视为是不安全的 registry。

警告

应避免使用不安全的外部 registry，以减少可能的安全性风险。

流程

编辑 image.config.openshift.io/cluster CR:
```
$ oc edit image.config.openshift.io/cluster
```
以下是一个带有不安全 registry 列表的 image.config.openshift.io/cluster CR 示例：
```
apiVersion: config.openshift.io/v1
kind: Image
metadata:
  annotations:
    release.openshift.io/create-only: "true"
  creationTimestamp: "2019-05-17T13:44:26Z"
  generation: 1
  name: cluster
  resourceVersion: "8302"
  selfLink: /apis/config.openshift.io/v1/images/cluster
  uid: e34555da-78a9-11e9-b92b-06d6c7da38dc
spec:
  registrySources: 1
    insecureRegistries: 2
    - insecure.com
    allowedRegistries:
    - example.com
    - quay.io
    - registry.redhat.io
    - insecure.com 3
status:
  internalRegistryHostname: image-registry.openshift-image-registry.svc:5000
```
1
registrySources：包含用于决定容器运行时在访问构建和 pod 的镜像时应如何处理个别 registry 的配置。它不包含内部集群 registry 的配置。
2
指定不安全的 registry。
3
确保将任何不安全的 registry 包含在 allowedRegistries 列表中。
注意
当定义 allowedRegistries 参数时，除非明确列出，否则所有 registry（包括 registry.redhat.io 和 quay.io registry）都会被阻断,。如果使用这个参数，为了避免 pod 失败，将 registry.redhat.io 和 quay.io 添加到 allowedRegistries 列表中，因为环境中的 payload 镜像需要它们。
Machine Config Operator (MCO) 会监控 image.config.openshift.io/cluster CR 以了解对 registry 的任何更改，并在检测到更改时重启节点。对不安全和受阻 registry 的更改都出现在每个节点的 /etc/containers/registries.conf 文件中。
要检查 registry 是否已添加到策略文件中，请在节点上使用以下命令：
```
$ cat /host/etc/containers/registries.conf
```
以下示例表示来自 insecure.com registry 的镜像是不安全的，并允许进行镜像拉取和推送。
输出示例
```
unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]

[[registry]]
  prefix = ""
  location = "insecure.com"
  insecure = true
```

9.2.4. 为镜像 registry 访问配置额外的信任存储

Image.config.openshift.io/cluster 自定资源可包含对 ConfigMap 的引用，该 ConfigMap 包含要在镜像 registry 访问期间被信任的额外证书颁发机构。

先决条件

CA必须经过PEM编码。

流程

您可以在openshift-config命名空间中创建ConfigMap，并在 image.config.openshift.io 子定义资源中的 AdditionalTrustedCA 中使用其名称，以提供与外部 registry 联系时可以被信任的额外CA。

对于每个要信任的额外 registry CA，ConfigMap 键是带有要信任此 CA 的端口的 registry 主机的名称，值是经 base64 编码的证书。

Image registry CA ConfigMap 示例

apiVersion: v1
kind: ConfigMap
metadata:
  name: my-registry-ca
data:
  registry.example.com: |
    -----BEGIN CERTIFICATE-----
    ...
    -----END CERTIFICATE-----
  registry-with-port.example.com..5000: | 1
    -----BEGIN CERTIFICATE-----
    ...
    -----END CERTIFICATE-----

1: 如果 registry 带有端口，如 registry-with-port.example.com:5000，: 需要被 .. 替换。

您可以按照以下过程配置其他CA。

配置其他CA：

$ oc create configmap registry-config --from-file=<external_registry_address>=ca.crt -n openshift-config
$ oc edit image.config.openshift.io cluster
spec:
  additionalTrustedCA:
    name: registry-config

9.2.5. 配置镜像 registry 存储库镜像

通过设置容器 registry 存储库镜像，您可以：

配置 OpenShift Container Platform 集群，以便重定向从源镜像 registry 上的存储库拉取（pull）镜像的请求，并通过已镜像 (mirror) 的镜像 registry 上的存储库来解决该请求。
为每个目标存储库识别多个已镜像 (mirror)的存储库，以确保如果一个镜像停止运作，仍可使用其他镜像。

OpenShift Container Platform 中存储库镜像的属性包括：

镜像拉取（pull）可应对 registry 停机的问题
受限网络中的集群可以从关键位置（如 quay.io）拉取镜像，并让位于公司防火墙后的 registry 提供请求的镜像。
发出镜像拉取（pull）请求时尝试特定 registry 顺序，通常最后才会尝试持久性 registry。
您所输入的镜像信息会添加到 OpenShift Container Platform 集群中每个节点上的 /etc/containers/registries.conf 文件中。
当节点从源存储库中请求镜像时，它会依次尝试每个已镜像的存储库，直到找到所请求的内容。如果所有镜像均失败，集群则会尝试源存储库。如果成功，镜像则会被拉取（pull）至节点中。

可通过以下方式设置存储库镜像：

安装 OpenShift Container Platform 时：通过拉取（pull） OpenShift Container Platform 所需的容器镜像，然后将这些镜像放至公司防火墙后，即可将 OpenShift Container Platform 安装到受限网络中的数据中心。详情请参阅镜像 OpenShift Container Platform 的镜像存储库。
安装 OpenShift Container Platform 后：即使没有在 OpenShift Container Platform 安装期间配置镜像 (mirror)，之后您仍可使用 ImageContentSourcePolicy 对象进行配置。

以下流程提供安装后镜像配置，您可在此处创建 ImageContentSourcePolicy 对象来识别：

您希望镜像 (mirror) 的容器镜像存储库的源
您希望为其提供从源存储库请求的内容的每个镜像存储库的单独条目。

先决条件

使用具有 cluster-admin 角色的用户访问集群。

流程

通过以下方法配置已镜像的存储库：
- 按照 Red Hat Quay 存储库镜像中所述，使用 Red Hat Quay 来设置已镜像的存储库。使用 Red Hat Quay 有助于您将镜像从一个存储库复制到另一存储库，并可随着时间的推移重复自动同步这些存储库。
- 使用 skopeo 等工具手动将镜像从源目录复制到已镜像的存储库。
  例如：在 Red Hat Enterprise Linux（RHEL 7 或 RHEL 8）系统上安装 skopeo RPM 软件包后，使用 skopeo 命令，如下例所示：
```
$ skopeo copy \
docker://registry.access.redhat.com/ubi8/ubi-minimal@sha256:5cfbaf45ca96806917830c183e9f37df2e913b187adb32e89fd83fa455ebaa6 \
docker://example.io/example/ubi-minimal
```
  在本例中，您有一个名为 example.io 的容器镜像 registry，其中包含一个名为 example 的镜像存储库，您希望将 ubi8/ubi-minimal 镜像从 registry.access.redhat.com 复制到此镜像存储库。创建该 registry 后，您可将 OpenShift Container Platform 集群配置为将源存储库的请求重定向到已镜像的存储库。
登录您的 OpenShift Container Platform 集群。

创建 ImageContentSourcePolicy 文件（如：registryrepomirror.yaml），将源和镜像 (mirror) 替换为您自己的 registry、存储库对和镜像中的源和镜像：

apiVersion: operator.openshift.io/v1alpha1
kind: ImageContentSourcePolicy
metadata:
  name: ubi8repo
spec:
  repositoryDigestMirrors:
  - mirrors:
    - example.io/example/ubi-minimal 1
    source: registry.access.redhat.com/ubi8/ubi-minimal 2
  - mirrors:
    - example.com/example/ubi-minimal
    source: registry.access.redhat.com/ubi8/ubi-minimal

1: 指明镜像 registry 和存储库的名称
2: 指明包含所镜像内容的 registry 和存储库

创建新的 ImageContentSourcePolicy 对象：
```
$ oc create -f registryrepomirror.yaml
```
创建 ImageContentSourcePolicy 对象后，新的设置将部署到每个节点，集群开始使用已镜像的存储库来响应源存储库请求。

要检查是否应用了已镜像的配置设置，在其中一个节点上执行以下内容。

列出您的节点：

$ oc get node

输出示例

NAME                           STATUS                     ROLES    AGE  VERSION
ip-10-0-137-44.ec2.internal    Ready                      worker   7m   v1.17.1
ip-10-0-138-148.ec2.internal   Ready                      master   11m  v1.17.1
ip-10-0-139-122.ec2.internal   Ready                      master   11m  v1.17.1
ip-10-0-147-35.ec2.internal    Ready,SchedulingDisabled   worker   7m   v1.17.1
ip-10-0-153-12.ec2.internal    Ready                      worker   7m   v1.17.1
ip-10-0-154-10.ec2.internal    Ready                      master   11m  v1.17.1

您可以发现，在应用更改时每个 worker 节点上的调度都会被禁用。

启动调试过程以访问节点：

$ oc debug node/ip-10-0-147-35.ec2.internal

输出示例

Starting pod/ip-10-0-147-35ec2internal-debug ...
To use host binaries, run `chroot /host`

访问节点的文件：
```
sh-4.2# chroot /host
```

检查 /etc/containers/registries.conf 文件，确保已完成更改：

sh-4.2# cat /etc/containers/registries.conf

输出示例

unqualified-search-registries = ["registry.access.redhat.com", "docker.io"]
[[registry]]
  location = "registry.access.redhat.com/ubi8/"
  insecure = false
  blocked = false
  mirror-by-digest-only = true
  prefix = ""

  [[registry.mirror]]
    location = "example.io/example/ubi8-minimal"
    insecure = false

  [[registry.mirror]]
    location = "example.com/example/ubi8-minimal"
    insecure = false

将镜像摘要从源拉取到节点，并检查是否通过镜像解析。ImageContentSourcePolicy 对象仅支持镜像摘要，不支持镜像标签。
```
sh-4.2# podman pull --log-level=debug registry.access.redhat.com/ubi8/ubi-minimal@sha256:5cfbaf45ca96806917830c183e9f37df2e913b187adb32e89fd83fa455ebaa6
```

存储库镜像故障排除

如果存储库镜像流程未按规定工作，请使用以下有关存储库镜像如何工作的信息协助排查问题。

首个工作镜像用于提供拉取（pull）的镜像。
只有在无其他镜像工作时，才会使用主 registry。
从系统上下文，Insecure 标志用作回退。
最近更改了 /etc/containers/registries 文件的格式。现在它是第 2 版，采用 TOML 格式。

Select Your Language

9.2. 配置镜像设置

9.2.1. 添加特定的 registry

9.2.2. 阻塞特定的 registry

9.2.3. 允许不安全的 registry

9.2.4. 为镜像 registry 访问配置额外的信任存储

9.2.5. 配置镜像 registry 存储库镜像

Quick Links

Help

Site Info

Related Sites

About

Red Hat legal and privacy links

Red Hat legal and privacy links

Language and Page Formatting Options

9.2. 配置镜像设置

9.2.1. 添加特定的 registry

9.2.2. 阻塞特定的 registry

9.2.3. 允许不安全的 registry

9.2.4. 为镜像 registry 访问配置额外的信任存储

9.2.5. 配置镜像 registry 存储库镜像

Quick Links

Help

Site Info

Related Sites

Systems Status

About

Red Hat legal and privacy links

Red Hat legal and privacy links