管理 Red Hat Quay
前言
部署 Red Hat Quay registry 后，可以通过许多方式进一步配置和管理该部署。这里涵盖的主题包括：
- 高级 Red Hat Quay 配置
- 设置通知以提醒您新的 Red Hat Quay 发行版本
- 保护使用 SSL/TLS 证书的连接
- 将操作日志存储定向到 Elasticsearch
- 使用 Clair 配置镜像安全扫描
- 使用 Container Security Operator 扫描 pod 镜像
- 将 Red Hat Quay 与 Quay Bridge Operator 集成
- 使用存储库镜像镜像镜像
- 将 Red Hat Quay 镜像与 BitTorrent 服务共享
- 使用 LDAP 验证用户
- 为 Prometheus 和 Grafana 指标启用 Quay
- 设置 geo-replication
- Red Hat Quay 故障排除
有关 Red Hat Quay 配置字段的完整列表，请参阅 Configure Red Hat Quay 页面。
第 1 章 高级 Red Hat Quay 配置
您可以使用以下接口之一在初始部署后配置 Red Hat Quay：
-
Red Hat Quay Config Tool。使用这个工具，在以配置模式运行 Quay 容器时，提供用于配置 Red Hat
Quay集群的基于 Web 的界面。建议您配置 Red Hat Quay 服务。 -
编辑
config.yaml。config.yaml文件包含 Red Hat Quay 集群的大部分配置信息。可以直接编辑config.yaml文件，但建议只用于通过 Config Tool 不提供的高级性能优化和性能功能。 - Red Hat Quay API。可以通过 API 配置一些 Red Hat Quay 功能。
本节中的内容论述了如何使用上述每个接口以及如何使用高级功能配置部署。
1.1. 使用 Red Hat Quay Config Tool 修改 Red Hat Quay
Red Hat Quay Config Tool 通过在配置模式下运行 Quay 容器以及常规的 Red Hat Quay 服务来提供。
使用以下部分从 Red Hat Quay Operator 运行 Config Tool，或者从命令行界面(CLI)在主机系统上运行 Config Tool。
1.1.1. 从 Red Hat Quay Operator 运行配置工具
在 OpenShift Container Platform 上运行 Red Hat Quay Operator 时，可以使用 Config Tool。使用以下步骤访问 Red Hat Quay Config Tool。
先决条件
- 您已在 OpenShift Container Platform 上部署了 Red Hat Quay Operator。
流程。
-
在 OpenShift 控制台中，选择 Red Hat Quay 项目，如
quay-enterprise。 在导航窗格中，选择 Networking → Routes。您应该看到到 Red Hat Quay 应用程序和 Config Tool 的路由，如下图所示：
-
选择到 Config Tool 的路由，例如
example-quayecosystem-quay-config。Config Tool UI 应该在浏览器中打开。 选择 此集群的修改配置 来启动 Config Tool 设置，例如：
- 进行所需的更改，然后选择 Save Configuration Changes。
- 点 Continue Editing，或者选择 Next 来继续。
-
出现提示时，选择 Download Configuration。这将下载您的新
config.yaml的 tarball，以及与 Red Hat Quay 设置一起使用的任何证书和密钥。config.yaml可用于对您的配置进行高级更改，或者将其用作将来的参考。 - 选择 Go to deployment rollout → Populate configuration to deployments。等待 Red Hat Quay Pod 重启以使更改生效。
1.1.2. 从命令行运行配置工具
如果您从主机系统运行 Red Hat Quay，您可以使用以下步骤在初始部署后更改配置。
先决条件
-
已安装
podman或docker。
-
已安装
- 在配置模式中启动 Red Hat Quay。
在第一个
Quay节点上输入以下命令：$ podman run --rm -it --name quay_config -p 8080:8080 \ -v path/to/config-bundle:/conf/stack \ registry.redhat.io/quay/quay-rhel8:v3.8.5 config <my_secret_password>注意要修改现有配置捆绑包，您可以将配置目录挂载到
Quay容器中。-
当 Red Hat Quay 配置工具启动时，打开浏览器并进入配置文件中使用的 URL 和端口，例如
quay-server.example.com:8080。 - 输入您的用户名和密码。
- 根据需要修改 Red Hat Quay 集群。
1.1.3. 使用 TLS 证书部署配置工具
您可以通过将环境变量传递给运行时变量来部署带有安全 TLS 证书的配置工具。这样可确保对数据库和存储后端的凭证等敏感数据受到保护。
公钥和私钥必须包含您在其上部署配置工具的路由的有效主题备用名称(SAN)。
可以使用 CONFIG_TOOL_PRIVATE_KEY 和 CONFIG_TOOL_PUBLIC_KEY 来指定路径。
如果您从容器运行部署，CONFIG_TOOL_PRIVATE_KEY 和 CONFIG_TOOL_PUBLIC_KEY 值容器内的证书位置。例如：
$ podman run --rm -it --name quay_config -p 7070:8080 \
-v ${PRIVATE_KEY_PATH}:/tls/localhost.key \
-v ${PUBLIC_KEY_PATH}:/tls/localhost.crt \
-e CONFIG_TOOL_PRIVATE_KEY=/tls/localhost.key \
-e CONFIG_TOOL_PUBLIC_KEY=/tls/localhost.crt \
-e DEBUGLOG=true \
-ti config-app:dev1.2. 使用 API 修改 Red Hat Quay
1.3. 编辑 config.yaml 文件以修改 Red Hat Quay
可通过直接编辑 config.yaml 文件来实现通过 Config Tool 不提供的一些高级配置功能。Red Hat Quay 配置的 Schema中描述了可用的设置
以下示例是您可以在 config.yaml 文件中直接更改的设置。
1.3.1. 在 Red Hat Quay 登录中添加名称和公司
通过设置以下字段，用户首次登录时会提示您输入其名称和公司。这是一个可选字段，但可以为您提供有关 Red Hat Quay 用户的额外数据。
--- FEATURE_USER_METADATA: true ---
1.3.2. 禁用 TLS 协议
您可以更改 SSL_PROTOCOLS 设置，以删除 Red Hat Quay 实例中不支持的 SSL 协议。例如，要从默认的 SSL_PROTOCOLS:['TLSv1','TLSv1.1','TLSv1.2'] 中删除 TLS v1 支持，请将其改为以下内容：
--- SSL_PROTOCOLS : ['TLSv1.1','TLSv1.2'] ---
1.3.3. 速率限制 API 调用
将 FEATURE_RATE_LIMITS 参数添加到 config.yaml 文件会导致 nginx 将特定 API 调用限制为 30-per-second。如果没有设置 FEATURE_RATE_LIMITS，API 调用将每秒限制为 300 秒，从而使其无限。
当您必须确保可用资源不会面临流量时，速率限制非常重要。
有些命名空间可能需要无限访问，例如，如果它们对 CI/CD 很重要并且具有优先权。在这种情况下，这些命名空间可能会放在使用 NON_RATE_LIMITED_NAMESPACES 的 config.yaml 文件中的列表中。
1.3.4. 调整数据库连接池
Red Hat Quay 由很多不同的进程组成，它们都在同一个容器中运行。很多进程与数据库交互。
使用 DB_CONNECTION_POOLING 参数时，与数据库交互的每个进程都会包含一个连接池。这些每个进程连接池被配置为最多 20 个连接。当负载过重时，可以为 Red Hat Quay 容器中的每个进程填充连接池。在某些部署和负载下，这可能需要分析以确保 Red Hat Quay 不会超过数据库配置的最大连接数。
随着时间的推移，连接池将释放闲置连接。要立即发布所有连接，必须重启 Red Hat Quay。
通过将 DB_CONNECTION_POOLING 设置为 true 或 false，可以切换数据库连接池。例如：
--- DB_CONNECTION_POOLING: true ---
启用 DB_CONNECTION_POOLING 时，您可以使用 config.yaml 中的 DB_CONNECTION_ARGS 更改连接池的最大大小。例如：
--- DB_CONNECTION_ARGS: max_connections: 10 ---
1.3.4.1. 数据库连接参数
您可以在 config.yaml 文件中自定义 Red Hat Quay 数据库连接设置。它们取决于您的部署的数据库驱动程序，例如，用于 Postgres 的 psycopg2，以及 MySQL 的 pymysql。您还可以传递 Peewee 连接池机制使用的参数。例如：
--- DB_CONNECTION_ARGS: max_connections: n # Max Connection Pool size. (Connection Pooling only) timeout: n # Time to hold on to connections. (Connection Pooling only) stale_timeout: n # Number of seconds to block when the pool is full. (Connection Pooling only) ---
1.3.4.2. 数据库 SSL 配置
DB_CONNECTION_ARGS 字段中定义的一些键值对是通用的，另一些则特定于数据库。特别是，SSL 配置取决于您部署的数据库。
1.3.4.2.1. PostgreSQL SSL 连接参数
以下 YAML 显示了一个 PostgreSQL SSL 配置示例：
--- DB_CONNECTION_ARGS: sslmode: verify-ca sslrootcert: /path/to/cacert ---
sslmode 参数决定是否与服务器协商安全 SSL TCP/IP 连接的优先级。sslmode 参数有六个模式：
- Disabl ： 仅尝试非 SSL 连接。
- Allow ：首先测试非 SSL 连接。出现故障时，尝试 SSL 连接。
- 首选: Default。首先尝试 SSL 连接。失败时，尝试非 SSL 连接。
-
需要 ：仅尝试 SSL 连接。如果存在 root CA 文件，请使用与指定
verify-ca相同的方式验证连接。 - verify-ca ：仅尝试 SSL 连接，并验证服务器证书是否由信任证书颁发机构(CA)发布。
- verify-full ：仅尝试 SSL 连接。验证服务器证书是否由信任 CA 发布，并且请求的服务器主机名是否与证书中的匹配。
有关 PostgreSQL 有效参数的更多信息，请参阅 数据库连接控制功能。
1.3.4.2.2. MySQL SSL 连接参数
以下 YAML 显示了一个 MySQL SSL 配置示例：
---
DB_CONNECTION_ARGS:
ssl:
ca: /path/to/cacert
---有关 MySQL 有效连接参数的更多信息，请参阅使用 URI-Like Strings 或 Key-Value Pairs 连接到服务器。
1.3.4.3. HTTP 连接数
您可以使用环境变量指定同时 HTTP 连接的数量。环境变量可以指定为整个组件，也可以指定特定组件。每个进程的默认值为 50 个并行连接。请参阅以下 YAML 示例以了解环境变量；
--- WORKER_CONNECTION_COUNT_REGISTRY=n WORKER_CONNECTION_COUNT_WEB=n WORKER_CONNECTION_COUNT_SECSCAN=n WORKER_CONNECTION_COUNT=n ---
为特定组件指定计数将覆盖 WORKER_CONNECTION_COUNT 配置字段中设置的值。
1.3.4.4. 动态进程计数
要估算动态大小的进程的数量，默认使用以下计算。
Red Hat Quay 从整个机器查询可用的 CPU 数量。使用 kubernetes 或其他非虚拟机制应用的任何限制都不会影响此行为。Red Hat Quay 根据节点上的处理器总数计算其计算。列出的默认值只是目标，但不应超过最大值或低于最小值。
以下每个进程数量都可以使用以下指定的环境变量覆盖：
registry - 提供 HTTP 端点来处理 registry 操作
- minimum: 8
- 最大：64
- 默认：$CPU_COUNT x 4
- 环境变量：WORKER_COUNT_REGISTRY
Web - 为基于 Web 的界面提供 HTTP 端点
- 最小值： 2
- 最大： 32
- 默认： $CPU_COUNT x 2
- Environment_variable: WORKER_COUNT_WEB
secscan - 与 Clair 进行交互
- 最小值： 2
- maximum: 4
- 默认： $CPU_COUNT x 2
- 环境变量：WORKER_COUNT_SECSCAN
1.3.4.5. 环境变量
Red Hat Quay 允许使用环境变量覆盖默认行为。下表列出了并描述了每个变量及其预期的值。
表 1.1. worker 计数环境变量
| 变量 | 描述 | 值 |
|---|---|---|
| WORKER_COUNT_REGISTRY |
指定处理 | 8 到 64 之间的整数 |
| WORKER_COUNT_WEB | 指定处理容器中的 UI/Web 请求的进程数量。 | 2 到 32 之间的整数 |
| WORKER_COUNT_SECSCAN | 指定处理安全扫描（如 Clair）集成的进程数量。 | 2 到 4 之间的整数 |
| DB_CONNECTION_POOLING | 切换数据库连接池。 | "true" 或 "false" |
1.3.4.6. 关闭连接池
具有大量用户活动的 Red Hat Quay 部署可定期达到 2k 最大数据库连接限制。在这些情况下，Red Hat Quay 默认启用的连接池可能会导致数据库连接数量指数高，并要求您关闭连接池。
如果关闭连接池不足以防止达到 2k 数据库连接限制，则需要执行额外的步骤来处理问题。如果发生这种情况，您可能需要增加最大数据库连接以更好地适合您的工作负载。
第 2 章 使用配置 API
配置工具公开 4 个端点，可用于构建、验证、捆绑包和部署配置。config-tool API 记录在 https://github.com/quay/config-tool/blob/master/pkg/lib/editor/API.md。在本节中，您将了解如何使用 API 来检索当前配置，以及如何验证您所做的任何更改。
2.1. 检索默认配置
如果您第一次运行配置工具，且没有现有配置，您可以检索默认配置。以配置模式启动容器：
$ sudo podman run --rm -it --name quay_config \ -p 8080:8080 \ registry.redhat.io/quay/quay-rhel8:v3.8.5 config secret
使用配置 API 的配置端点获取默认值：
$ curl -X GET -u quayconfig:secret http://quay-server:8080/api/v1/config | jq
返回的值是 JSON 格式的默认配置：
{
"config.yaml": {
"AUTHENTICATION_TYPE": "Database",
"AVATAR_KIND": "local",
"DB_CONNECTION_ARGS": {
"autorollback": true,
"threadlocals": true
},
"DEFAULT_TAG_EXPIRATION": "2w",
"EXTERNAL_TLS_TERMINATION": false,
"FEATURE_ACTION_LOG_ROTATION": false,
"FEATURE_ANONYMOUS_ACCESS": true,
"FEATURE_APP_SPECIFIC_TOKENS": true,
....
}
}2.2. 检索当前配置
如果您已经配置和部署了 Quay registry，停止容器并重启它，将现有配置载入为卷：
$ sudo podman run --rm -it --name quay_config \ -p 8080:8080 \ -v $QUAY/config:/conf/stack:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5 config secret
使用 API 的配置端点获取当前的配置：
$ curl -X GET -u quayconfig:secret http://quay-server:8080/api/v1/config | jq
返回的值是 JSON 格式的当前配置，包括数据库和 Redis 配置数据：
{
"config.yaml": {
....
"BROWSER_API_CALLS_XHR_ONLY": false,
"BUILDLOGS_REDIS": {
"host": "quay-server",
"password": "strongpassword",
"port": 6379
},
"DATABASE_SECRET_KEY": "4b1c5663-88c6-47ac-b4a8-bb594660f08b",
"DB_CONNECTION_ARGS": {
"autorollback": true,
"threadlocals": true
},
"DB_URI": "postgresql://quayuser:quaypass@quay-server:5432/quay",
"DEFAULT_TAG_EXPIRATION": "2w",
....
}
}2.3. 使用 API 验证配置
您可以通过将配置发布到 config/validate 端点来验证配置：
curl -u quayconfig:secret --header 'Content-Type: application/json' --request POST --data '
{
"config.yaml": {
....
"BROWSER_API_CALLS_XHR_ONLY": false,
"BUILDLOGS_REDIS": {
"host": "quay-server",
"password": "strongpassword",
"port": 6379
},
"DATABASE_SECRET_KEY": "4b1c5663-88c6-47ac-b4a8-bb594660f08b",
"DB_CONNECTION_ARGS": {
"autorollback": true,
"threadlocals": true
},
"DB_URI": "postgresql://quayuser:quaypass@quay-server:5432/quay",
"DEFAULT_TAG_EXPIRATION": "2w",
....
}
} http://quay-server:8080/api/v1/config/validate | jq
返回的值是包含配置中发现的错误的数组。如果配置有效，则返回空数组 []。
2.4. 确定必填字段
您可以通过将空配置结构发布到 config/validate 端点来确定必填字段：
curl -u quayconfig:secret --header 'Content-Type: application/json' --request POST --data '
{
"config.yaml": {
}
} http://quay-server:8080/api/v1/config/validate | jq返回的值是一个数组，表示需要哪些字段：
[
{
"FieldGroup": "Database",
"Tags": [
"DB_URI"
],
"Message": "DB_URI is required."
},
{
"FieldGroup": "DistributedStorage",
"Tags": [
"DISTRIBUTED_STORAGE_CONFIG"
],
"Message": "DISTRIBUTED_STORAGE_CONFIG must contain at least one storage location."
},
{
"FieldGroup": "HostSettings",
"Tags": [
"SERVER_HOSTNAME"
],
"Message": "SERVER_HOSTNAME is required"
},
{
"FieldGroup": "HostSettings",
"Tags": [
"SERVER_HOSTNAME"
],
"Message": "SERVER_HOSTNAME must be of type Hostname"
},
{
"FieldGroup": "Redis",
"Tags": [
"BUILDLOGS_REDIS"
],
"Message": "BUILDLOGS_REDIS is required"
}
]第 3 章 获取 Red Hat Quay 发行通知
要保持最新的 Red Hat Quay 版本和其他与 Red Hat Quay 相关的更改，您可以 在红帽客户门户网站中 注册以更新通知。注册通知后，您将收到通知，以便当您有新的 Red Hat Quay 版本、更新文档或其他 Red Hat Quay 预测时知道的通知。
- 使用您的红帽客户帐户凭证 登录到红帽客户门户网站。
-
选择您的用户名（从右上）查看 Red Hat Account 和 Customer Portal 选择：
- 选择 Notifications。此时会出现您的配置集活动页面。
- 选择 Notifications 选项卡。
- 选择 Manage Notifications。
- 选择 Follow，然后从下拉菜单中选择 Products。
-
在 Products 旁边的下拉列表中，搜索并选择 Red Hat Quay:
- 选择 Ice NOTIFICATION 按钮。下一步，当有 Red Hat Quay 产品更改时（如新版本）会收到通知。
第 4 章 使用 SSL 保护到 Red Hat Quay 的连接
4.1. 使用 SSL 简介
要使用 自签名证书 配置 Red Hat Quay，您需要创建一个证书颁发机构(CA)，然后生成所需的密钥和证书文件。
以下示例假设您已使用 DNS 或其他命名机制配置了服务器主机名 quay-server.example.com，如在 /etc/hosts 文件中添加条目：
$ cat /etc/hosts ... 192.168.1.112 quay-server.example.com
4.2. 创建证书颁发机构并签署证书
在此流程结束时，您将分别有一个名为 ssl.cert 和 ssl.key 的证书文件和主密钥文件。
4.2.1. 创建证书颁发机构
生成 root CA 密钥：
$ openssl genrsa -out rootCA.key 2048
生成 root CA 证书：
$ openssl req -x509 -new -nodes -key rootCA.key -sha256 -days 1024 -out rootCA.pem
输入将合并到证书请求中的信息，包括服务器主机名，例如：
Country Name (2 letter code) [XX]:IE State or Province Name (full name) []:GALWAY Locality Name (eg, city) [Default City]:GALWAY Organization Name (eg, company) [Default Company Ltd]:QUAY Organizational Unit Name (eg, section) []:DOCS Common Name (eg, your name or your server's hostname) []:quay-server.example.com
4.2.2. 为证书签名
生成服务器密钥：
$ openssl genrsa -out ssl.key 2048
生成签名请求：
$ openssl req -new -key ssl.key -out ssl.csr
输入将合并到证书请求中的信息，包括服务器主机名，例如：
Country Name (2 letter code) [XX]:IE State or Province Name (full name) []:GALWAY Locality Name (eg, city) [Default City]:GALWAY Organization Name (eg, company) [Default Company Ltd]:QUAY Organizational Unit Name (eg, section) []:DOCS Common Name (eg, your name or your server's hostname) []:quay-server.example.com
创建配置文件
openssl.cnf，指定服务器主机名，例如：openssl.cnf
[req] req_extensions = v3_req distinguished_name = req_distinguished_name [req_distinguished_name] [ v3_req ] basicConstraints = CA:FALSE keyUsage = nonRepudiation, digitalSignature, keyEncipherment subjectAltName = @alt_names [alt_names] DNS.1 = quay-server.example.com IP.1 = 192.168.1.112
使用配置文件生成证书
ssl.cert：$ openssl x509 -req -in ssl.csr -CA rootCA.pem -CAkey rootCA.key -CAcreateserial -out ssl.cert -days 356 -extensions v3_req -extfile openssl.cnf
4.3. 使用命令行配置 SSL
配置 SSL 时的另一个选项是使用命令行界面。
将证书文件和主密钥文件复制到您的配置目录中，确保分别命名为
ssl.cert和ssl.key：$ cp ~/ssl.cert $QUAY/config $ cp ~/ssl.key $QUAY/config $ cd $QUAY/config
编辑
config.yaml文件，并指定您希望 Quay 处理 TLS：config.yaml
... SERVER_HOSTNAME: quay-server.example.com ... PREFERRED_URL_SCHEME: https ...
停止
Quay容器并重启 registry：$ sudo podman rm -f quay $ sudo podman run -d --rm -p 80:8080 -p 443:8443 \ --name=quay \ -v $QUAY/config:/conf/stack:Z \ -v $QUAY/storage:/datastorage:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5
4.4. 使用 UI 配置 SSL
本节使用 Quay UI 配置 SSL。要使用命令行界面配置 SSL，请查看以下部分。
以配置模式启动
Quay容器：$ sudo podman run --rm -it --name quay_config -p 80:8080 -p 443:8443 registry.redhat.io/quay/quay-rhel8:v3.8.5 config secret
-
在 Server Configuration 部分中，选择
Red Hat Quay handle TLSfor TLS。上传之前创建的证书文件和私钥文件，确保 Server Hostname 与创建证书时使用的值匹配。验证并下载更新的配置。 停止
Quay容器，然后重启 registry：$ sudo podman rm -f quay $ sudo podman run -d --rm -p 80:8080 -p 443:8443 \ --name=quay \ -v $QUAY/config:/conf/stack:Z \ -v $QUAY/storage:/datastorage:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5
4.5. 使用命令行测试 SSL 配置
使用
podman login命令尝试登录到启用了 SSL 的 Quay registry：$ sudo podman login quay-server.example.com Username: quayadmin Password: Error: error authenticating creds for "quay-server.example.com": error pinging docker registry quay-server.example.com: Get "https://quay-server.example.com/v2/": x509: certificate signed by unknown authority
Podman 不信任自签名证书。作为临时解决方案，请使用
--tls-verify选项：$ sudo podman login --tls-verify=false quay-server.example.com Username: quayadmin Password: Login Succeeded!
后续小节将 Podman 配置为信任 root 证书颁发机构(CA)。
4.6. 使用浏览器测试 SSL 配置
当您尝试访问 Quay registry 时，在这种情况下，浏览器会警告潜在的风险：https://quay-server.example.com
继续登录屏幕，浏览器会通知您连接不安全：
以下部分介绍了将系统配置为信任 root 证书颁发机构(CA)。
4.7. 配置 podman 以信任证书颁发机构
Podman 使用两个路径来查找 CA 文件，即 /etc/containers/certs.d/ 和 /etc/docker/certs.d/。
将 root CA 文件复制到这些位置之一，其准确路径由服务器主机名决定，并将文件命名为
ca.crt：$ sudo cp rootCA.pem /etc/containers/certs.d/quay-server.example.com/ca.crt
另外，如果您使用 Docker，您可以将 root CA 文件复制到等同的 Docker 目录中：
$ sudo cp rootCA.pem /etc/docker/certs.d/quay-server.example.com/ca.crt
在登录到 registry 时，您应该不再需要使用 --tls-verify=false 选项：
$ sudo podman login quay-server.example.com Username: quayadmin Password: Login Succeeded!
4.8. 将系统配置为信任证书颁发机构
将 root CA 文件复制到整合的系统范围信任存储中：
$ sudo cp rootCA.pem /etc/pki/ca-trust/source/anchors/
更新系统范围的信任存储配置：
$ sudo update-ca-trust extract
您可以使用
trust list命令来确保 Quay 服务器已配置：$ trust list | grep quay label: quay-server.example.com现在，当您通过
https://quay-server.example.com访问 registry 时，锁定图标会显示连接安全：
要从系统范围的信任中删除 root CA，请删除该文件并更新配置：
$ sudo rm /etc/pki/ca-trust/source/anchors/rootCA.pem $ sudo update-ca-trust extract $ trust list | grep quay $
如需更多信息，请参阅 使用共享系统证书 一章中的 RHEL 8 文档。
第 5 章 在 Red Hat Quay Container 中添加 TLS 证书
要将自定义 TLS 证书添加到 Red Hat Quay，请在 Red Hat Quay config 目录下创建一个名为 extra_ca_certs/ 的新目录。将任何所需的特定于站点的 TLS 证书复制到这个新目录中。
5.1. 在 Red Hat Quay 中添加 TLS 证书
查看添加到容器中的证书
$ cat storage.crt -----BEGIN CERTIFICATE----- MIIDTTCCAjWgAwIBAgIJAMVr9ngjJhzbMA0GCSqGSIb3DQEBCwUAMD0xCzAJBgNV [...] -----END CERTIFICATE-----
创建 certs 目录并复制证书
$ mkdir -p quay/config/extra_ca_certs $ cp storage.crt quay/config/extra_ca_certs/ $ tree quay/config/ ├── config.yaml ├── extra_ca_certs │ ├── storage.crt
使用
podman ps获取Quay容器的CONTAINER ID：$ sudo podman ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS 5a3e82c4a75f <registry>/<repo>/quay:v3.8.5 "/sbin/my_init" 24 hours ago Up 18 hours 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 443/tcp grave_keller
使用该 ID 重启容器：
$ sudo podman restart 5a3e82c4a75f
检查复制到容器命名空间中的证书：
$ sudo podman exec -it 5a3e82c4a75f cat /etc/ssl/certs/storage.pem -----BEGIN CERTIFICATE----- MIIDTTCCAjWgAwIBAgIJAMVr9ngjJhzbMA0GCSqGSIb3DQEBCwUAMD0xCzAJBgNV
5.2. 在 Kubernetes 上部署时添加证书
在 Kubernetes 上部署时，Red Hat Quay 将作为卷挂载到 secret 中来存储配置资产。不幸的是，这目前会破坏超级用户面板的上传证书功能。
要解决这个错误，可在部署 Red Hat Quay 后 将 base64 编码证书添加到 secret 中。以下是如何：
首先使用 base64 编码证书内容：
$ cat ca.crt -----BEGIN CERTIFICATE----- MIIDljCCAn6gAwIBAgIBATANBgkqhkiG9w0BAQsFADA5MRcwFQYDVQQKDA5MQUIu TElCQ09SRS5TTzEeMBwGA1UEAwwVQ2VydGlmaWNhdGUgQXV0aG9yaXR5MB4XDTE2 MDExMjA2NTkxMFoXDTM2MDExMjA2NTkxMFowOTEXMBUGA1UECgwOTEFCLkxJQkNP UkUuU08xHjAcBgNVBAMMFUNlcnRpZmljYXRlIEF1dGhvcml0eTCCASIwDQYJKoZI [...] -----END CERTIFICATE----- $ cat ca.crt | base64 -w 0 [...] c1psWGpqeGlPQmNEWkJPMjJ5d0pDemVnR2QNCnRsbW9JdEF4YnFSdVd3PT0KLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo=
使用
kubectl工具编辑 quay-enterprise-config-secret。$ kubectl --namespace quay-enterprise edit secret/quay-enterprise-config-secret
为证书添加一个条目，并在条目下粘贴完整的 base64 编码字符串：
custom-cert.crt: c1psWGpqeGlPQmNEWkJPMjJ5d0pDemVnR2QNCnRsbW9JdEF4YnFSdVd3PT0KLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo=
-
最后，回收所有 Red Hat Quay Pod。使用
kubectl delete删除所有 Red Hat Quay Pod。Red Hat Quay Deployment 将自动使用新证书数据调度替代 pod。
第 6 章 为 Elasticsearch 配置操作日志存储
默认情况下，过去三个使用日志存储在 Red Hat Quay 数据库中，并通过 Web UI 在机构和存储库级别公开。需要适当的管理特权才能查看日志条目。对于具有大量日志记录操作的部署，您现在可以将使用日志存储在 Elasticsearch 中，而不是 Red Hat Quay 数据库后端。要做到这一点，您需要提供自己的 Elasticsearch 堆栈，因为它没有包括在 Red Hat Quay 中作为可定制的组件。
启用 Elasticsearch 日志记录可以在 Red Hat Quay 部署或使用 Red Hat Quay Config Tool 部署后完成。生成的配置存储在 config.yaml 文件中。配置之后，通过 Web UI 为存储库和机构提供相同的使用日志访问。
以下是如何配置操作日志存储，使其从默认的 Red Hat Quay 数据库更改为使用 Elasticsearch：
- 获取 Elasticsearch 帐户。
- 打开 Red Hat Quay Config Tool （在 Red Hat Quay 部署期间或之后）。
滚动到 Action Log Storage Configuration 设置，再选择 Elasticsearch 而不是 Database。下图显示了出现的 Elasticsearch 设置：
为您的 Elasticsearch 实例填写以下信息：
- Elasticsearch hostname ：提供 Elasticsearch 服务的系统的主机名或 IP 地址。
- Elasticsearch port ：在您刚才输入的主机上提供 Elasticsearch 服务的端口号。请注意，该端口必须可从所有运行 Red Hat Quay registry 的系统访问。默认值为 TCP 端口 9200。
- Elasticsearch access key ：如果需要可以访问 Elastic 搜索服务所需的访问密钥。
- Elasticsearch secret key ：如果需要可以访问 Elastic 搜索服务所需的 secret 密钥。
- AWS 区域 ：如果您在 AWS 上运行，请设置 AWS 区域（否则，将它留空）。
- 索引前缀 ：选择要附加到日志条目的前缀。
logs Producer ：选择 Elasticsearch （默认）或 Kinesis 以将日志定向到 AWS 上的中间 Kinesis 流。您需要设置自己的管道，将日志从 Kinesis 发送到 Elasticsearch （如 Logstash）。下图显示了 Kinesis 需要填写的其他字段：
如果选择 Elasticsearch 作为 Logs Producer，则不需要进一步配置。如果您选择了 Kinesis，请填写以下内容：
- 流名称 ：Kinesis 流的名称。
- AWS access key ：获取对 Kinesis 流的访问权限所需的 AWS 访问密钥的名称（如果需要）。
- AWS secret key ：如果需要可以访问 Kinesis 流所需的 AWS secret 密钥的名称。
- AWS 区域 ：AWS 区域。
- 完成后，保存配置。Config Tool 检查您的设置。如果连接到 Elasticsearch 或 Kinesis 服务存在问题，您会看到错误，并准备继续编辑。否则，日志记录将在集群使用新配置重启后开始定向到 Elasticsearch 配置。
第 7 章 Clair for Red Hat Quay
Clair v4 (Clair)是一个开源应用程序，它利用静态代码分析来解析镜像内容和报告影响内容的漏洞。Clair 与 Red Hat Quay 打包，并可用于独立和 Operator 部署。它可以在高度可扩展的配置中运行，其中组件可根据企业环境单独扩展。
7.1. Clair 安全漏洞数据库
Clair 使用以下漏洞数据库来报告您的镜像中的问题：
- Ubuntu Oval 数据库
- Debian Oval 数据库
- Red Hat Enterprise Linux (RHEL) Oval 数据库
- Dan Oval 数据库
- Oracle Oval 数据库
- alpine SecDB 数据库
- VMware Photon OS 数据库
- Amazon Web Services (AWS) UpdateInfo
- Pyup.io (Python)数据库
有关 Clair 如何使用不同数据库进行安全映射的详情，请参考 ClairCore严重性映射。
7.2. 在独立的 Red Hat Quay 部署上设置 Clair
对于独立的 Red Hat Quay 部署，您可以手动设置 Clair。
流程
在 Red Hat Quay 安装目录中，为 Clair 数据库数据创建新目录：
$ mkdir /home/<user-name>/quay-poc/postgres-clairv4
输入以下命令为
postgres-clairv4文件设置适当的权限：$ setfacl -m u:26:-wx /home/<user-name>/quay-poc/postgres-clairv4
输入以下命令部署 Clair Postgres 数据库：
$ sudo podman run -d --name postgresql-clairv4 \ -e POSTGRESQL_USER=clairuser \ -e POSTGRESQL_PASSWORD=clairpass \ -e POSTGRESQL_DATABASE=clair \ -e POSTGRESQL_ADMIN_PASSWORD=adminpass \ -p 5433:5433 \ -v /home/<user-name>/quay-poc/postgres-clairv4:/var/lib/pgsql/data:Z \ registry.redhat.io/rhel8/postgresql-13:1-109
为您的 Clair 部署安装 Postgres
uuid-ossp模块：$ podman exec -it postgresql-clairv4 /bin/bash -c 'echo "CREATE EXTENSION IF NOT EXISTS \"uuid-ossp\"" | psql -d clair -U postgres'
输出示例
CREATE EXTENSION
注意Clair 要求将
uuid-ossp扩展添加到其 Postgres 数据库中。对于具有适当权限的用户，Clair 将自动添加扩展。如果用户没有正确的权限，则必须在启动 Clair 前添加扩展。如果没有扩展，当 Clair 尝试启动时会显示以下错误：
ERROR: Please load the "uuid-ossp" 扩展。(SQLSTATE 42501).如果
Quay容器正在运行，并在配置模式中重启它，将现有配置载入为卷：$ sudo podman run --rm -it --name quay_config \ -p 80:8080 -p 443:8443 \ -v $QUAY/config:/conf/stack:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.2 config secret
- 登录到配置工具，再单击 UI 的 Security Scanner 部分中的 Enable Security Scanning。
-
使用
quay-server系统上尚未使用的端口设置 Clair 的 HTTP 端点，例如8081。 使用 Generate PSK 按钮创建预共享密钥(PSK)。
安全扫描器 UI
-
验证并下载 Red Hat Quay 的
config.yaml文件，然后停止运行配置编辑器的Quay容器。 将新配置捆绑包提取到 Red Hat Quay 安装目录中，例如：
$ tar xvf quay-config.tar.gz -d /home/<user-name>/quay-poc/
为您的 Clair 配置文件创建一个文件夹，例如：
$ mkdir /etc/opt/clairv4/config/
进入 Clair 配置文件夹：
$ cd /etc/opt/clairv4/config/
创建 Clair 配置文件，例如：
http_listen_addr: :8081 introspection_addr: :8088 log_level: debug indexer: connstring: host=quay-server.example.com port=5433 dbname=clair user=clairuser password=clairpass sslmode=disable scanlock_retry: 10 layer_scan_concurrency: 5 migrations: true matcher: connstring: host=quay-server.example.com port=5433 dbname=clair user=clairuser password=clairpass sslmode=disable max_conn_pool: 100 run: "" migrations: true indexer_addr: clair-indexer notifier: connstring: host=quay-server.example.com port=5433 dbname=clair user=clairuser password=clairpass sslmode=disable delivery_interval: 1m poll_interval: 5m migrations: true auth: psk: key: "MTU5YzA4Y2ZkNzJoMQ==" iss: ["quay"] # tracing and metrics trace: name: "jaeger" probability: 1 jaeger: agent_endpoint: "localhost:6831" service_name: "clair" metrics: name: "prometheus"有关 Clair 的配置格式的更多信息，请参阅 Clair 配置参考。
使用容器镜像启动 Clair，从您创建的文件中挂载在配置中：
$ sudo podman run -d --name clairv4 \ -p 8081:8081 -p 8088:8088 \ -e CLAIR_CONF=/clair/config.yaml \ -e CLAIR_MODE=combo \ -v /etc/opt/clairv4/config:/clair:Z \ registry.redhat.io/quay/clair-rhel8:v3.8.5
注意也有可能运行多个 Clair 容器，但对于单一容器以外的部署场景，我们强烈建议使用 Kubernetes 或 OpenShift Container Platform 等容器编配器。
7.3. OpenShift Container Platform 上的 Clair
要在 OpenShift Container Platform 上的 Red Hat Quay 部署上设置 Clair v4 (Clair)，建议使用 Red Hat Quay Operator。默认情况下，Red Hat Quay Operator 将安装和升级 Clair 部署，以及您的 Red Hat Quay 部署并自动配置 Clair。
7.4. 测试 Clair
使用以下步骤在一个独立 Red Hat Quay 部署或基于 OpenShift Container Platform Operator 的部署中测试 Clair。
先决条件
- 您已部署了 Clair 容器镜像。
流程
输入以下命令拉取示例镜像：
$ podman pull ubuntu:20.04
输入以下命令将镜像标记到 registry：
$ sudo podman tag docker.io/library/ubuntu:20.04 <quay-server.example.com>/<user-name>/ubuntu:20.04
输入以下命令将镜像推送到 Red Hat Quay registry：
$ sudo podman push --tls-verify=false quay-server.example.com/quayadmin/ubuntu:20.04
- 通过 UI 登录您的 Red Hat Quay 部署。
- 单击存储库名称，如 quayadmin/ubuntu。
在导航窗格中，点 Tags。
报告概述
点镜像报告（如 45 个介质 ）以显示更详细的报告：
报告详情
第 8 章 将 Red Hat Quay 与 Quay Bridge Operator 集成
使用 Quay Bridge Operator，您可以将 OpenShift Container Platform 中的集成容器 registry 替换为 Red Hat Quay registry。通过这样做，集成的 OpenShift Container Platform registry 成为一个高度可用的企业级 Red Hat Quay registry，它带有基于角色的访问控制(RBAC)功能。
Quay Bridge Operator 的主要目标是在新的 Red Hat Quay registry 中复制集成的 OpenShift Container Platform registry 的功能。Quay Bridge Operator 启用的功能包括：
- 将 OpenShift Container Platform 命名空间作为 Red Hat Quay 机构同步。
- 为每个默认命名空间服务帐户创建机器帐户。
-
为每个创建的机器帐户创建 secret，并将每个机器人 secret 与服务帐户关联为
Mountable和Image Pull Secret。 - 同步 OpenShift Container Platform 镜像流作为 Red Hat Quay 存储库。
- 自动重写使用镜像流输出到 Red Hat Quay 的新构建。
- 构建完成后自动导入镜像流标签。
通过以下流程，您将启用 Red Hat Quay 和 OpenShift Container Platform 集群间的双向通信。
8.1. 为 Quay Bridge Operator 设置 Red Hat Quay
在此过程中，您将创建一个专用的 Red Hat Quay 组织，并从该机构中创建的新应用程序生成 OAuth 令牌，以便在 OpenShift Container Platform 中与 Quay Bridge Operator 搭配使用。
流程
- 通过 Web UI 登录 Red Hat Quay。
- 选择要配置外部应用的机构。
- 在导航窗格中，选择 Applications。
-
选择 Create New Application 并为新应用程序输入一个名称，例如
openshift。 -
在 OAuth Applications 页面中，选择您的应用程序，例如
openshift。 - 在导航窗格中，选择 Generate Token。
选择以下字段：
- 管理机构
- 管理软件仓库
- 创建软件仓库
- 查看所有可见的软件仓库
- 对任何可访问的软件仓库的读/写
- 管理用户
- 阅读用户信息
- 查看分配的权限。
- 选择 Authorize Application，然后选择 Authorize Application 来确认授权。
保存生成的访问令牌。
重要从 Red Hat Quay 3.7 开始，没有令牌管理。您无法列出令牌、删除令牌或修改令牌。生成的访问令牌仅显示一次，在关闭页面后无法重新探测。
8.2. 在 OpenShift Container Platform 上安装 Quay Bridge Operator
在此过程中，您将在 OpenShift Container Platform 上安装 Quay Bridge Operator。
先决条件
- 您已设置了 Red Hat Quay 并获得访问令牌。
- 具有集群管理员权限的 OpenShift Container Platform 4.6 或更高版本环境。
流程
- 打开 Web 控制台的 Administrator 视角，并进入导航窗格中的 Operators → OperatorHub。
-
搜索
Quay Bridge Operator，点 Quay Bridge Operator 标题，然后点 Install。 - 选择要安装的版本，如 stable-3.7，然后单击 Install。
- 安装完成后，点 View Operator 进入 Quay Bridge Operator 的 Details 页面。另外，您可以点击 Installed Operators → Red Hat Quay Bridge Operator 进入 Details 页面。
8.3. 为 OAuth 令牌创建 OpenShift Container Platform secret
在此过程中，您将添加之前获取的访问令牌，以便与 Red Hat Quay 部署通信。访问令牌将作为 secret 存储在 OpenShift Container Platform 中。
先决条件
- 您已设置了 Red Hat Quay 并获得访问令牌。
- 您已在 OpenShift Container Platform 上部署了 Quay Bridge Operator。
- 具有集群管理员权限的 OpenShift Container Platform 4.6 或更高版本环境。
- 已安装 OpenShift CLI（oc）。
流程
在
openshift-operators命名空间中创建一个包含访问令牌的 secret：$ oc create secret -n openshift-operators generic <secret-name> --from-literal=token=<access_token>
8.3.1. 创建 QuayIntegration 自定义资源
在此过程中，您要创建一个 QuayIntegration 自定义资源，该资源可通过 Web 控制台或命令行完成。
先决条件
- 您已设置了 Red Hat Quay 并获得访问令牌。
- 您已在 OpenShift Container Platform 上部署了 Quay Bridge Operator。
- 具有集群管理员权限的 OpenShift Container Platform 4.6 或更高版本环境。
- 可选：已安装了 OpenShift CLI (oc)。
8.3.1.1. 可选：使用 CLI 创建 QuayIntegration 自定义资源
按照以下步骤，使用命令行创建 QuayIntegration 自定义资源。
流程
创建
quay-integration.yaml：$ touch quay-integration.yaml
使用以下配置进行
QuayIntegration自定义资源的最小部署：apiVersion: quay.redhat.com/v1 kind: QuayIntegration metadata: name: example-quayintegration spec: clusterID: openshift 1 credentialsSecret: namespace: openshift-operators name: quay-integration2 quayHostname: https://<QUAY_URL> 3 insecureRegistry: false 4有关所有配置字段的列表，请参阅"quayIntegration 配置字段"。
创建
QuayIntegration自定义资源：$ oc create -f quay-integration.yaml
8.3.1.2. 可选：使用 Web 控制台创建 QuayIntegration 自定义资源
按照以下步骤，使用 Web 控制台创建 QuayIntegration 自定义资源。
流程
- 打开 Web 控制台的 Administrator 视角，并导航到 Operators → Installed Operators。
- 点 Red Hat Quay Bridge Operator。
- 在 Quay Bridge Operator 的 Details 页面中，点 Quay Integration API 卡上的 Create Instance。
在 Create QuayIntegration 页面中，在 Form view 或 YAML 视图中输入以下所需信息：
-
名称 ：将引用
QuayIntegration自定义资源对象的名称。 -
集群 ID ：与此集群关联的 ID。这个值在整个生态系统中应该是唯一的。如果未指定，则默认为
openshift。 - credentials secret ：请参阅包含之前创建的令牌的 secret 的命名空间和名称。
Quay 主机名 ： Quay registry 的主机名。
有关所有配置字段的列表，请参阅"quayIntegration 配置字段"。
-
名称 ：将引用
创建 QuayIntegration 自定义资源后，您的 OpenShift Container Platform 集群将链接到 Red Hat Quay 实例。Red Hat Quay registry 中的机构应该为 OpenShift Container Platform 环境的相关命名空间创建。
8.4. QuayIntegration 配置字段
以下配置字段可用于 QuayIntegration 自定义资源：
| Name | 描述 | 模式 |
|---|---|---|
|
allowlistNamespaces | 要包含的命名空间列表。 | 数组 |
|
clusterID | 与此集群关联的 ID。 | 字符串 |
|
credentialsSecret.key | 包含与 Quay registry 通信的凭证的 secret。 | 对象 |
|
denylistNamespaces | 要排除的命名空间列表。 | 数组 |
|
insecureRegistry | 是否跳过 Quay registry 的 TLS 验证 | 布尔值 |
|
quayHostname | Quay registry 的主机名。 | 字符串 |
|
scheduledImageStreamImport | 是否启用镜像流导入。 | 布尔值 |
第 9 章 仓库镜像
9.1. 仓库镜像
Red Hat Quay 存储库镜像可让您将来自外部容器 registry 或其他本地 registry 的镜像镜像到 Red Hat Quay 集群中。使用存储库镜像，您可以根据存储库名称和标签将镜像同步到 Red Hat Quay。
在启用了存储库镜像的 Red Hat Quay 集群中，您可以执行以下操作：
- 从外部 registry 选择要镜像的存储库
- 添加凭证以访问外部 registry
- 识别要同步的特定容器镜像存储库名称和标签
- 设置同步存储库的时间间隔
- 检查同步的当前状态
要使用镜像功能，您需要执行以下操作：
- 在 Red Hat Quay 配置文件中启用存储库镜像
- 运行存储库镜像 worker
- 创建已镜像的存储库
所有存储库镜像配置均可使用配置工具 UI 或 Red Hat Quay API 执行。
9.2. 与 geo-replication 相比的存储库镜像
Red Hat Quay geo-replication 在数据库共享时在 2 个或多个不同的存储后端之间镜像整个镜像存储后端数据，例如，一个具有两个不同的 blob 存储端点的 Red Hat Quay registry。geo-replication 的主要用例包括：
- 加快对地理分散设置的二进制 Blob 的访问
- 确保镜像内容在区域之间是相同的
存储库镜像将所选存储库或存储库的子集从一个 registry 同步到另一个 registry。registry 有所不同，每个 registry 都有单独的数据库和单独的镜像存储。
镜像的主要用例包括：
- 在不同数据中心或区域中的独立 registry 部署，其中整个内容的某些子集应在数据中心和区域间共享
- 从外部 registry 自动同步或镜像所选（允许）上游存储库到本地 Red Hat Quay 部署
存储库镜像和地理复制可以同时使用。
表 9.1. Red Hat Quay 仓库镜像和地理复制比较
| 功能/能力 | geo-replication | 仓库镜像 |
|---|---|---|
| 旨在做什么？ | 共享的全局 registry | 不同的 registry |
| 复制或镜像尚未完成时会发生什么？ | 使用远程副本（下下） | 没有提供镜像 |
| 是否可以访问这两个区域中的所有存储后端？ | 是（所有 Red Hat Quay 节点） | 否（区分存储） |
| 用户是否可以将镜像从两个站点推送到同一存储库吗？ | 是 | 否 |
| 所有 registry 内容和配置是否适用于所有区域（共享数据库）？ | 是 | 否 |
| 用户可以选择要镜像的独立命名空间或存储库吗？ | 否 | 是 |
| 用户可以应用过滤器来同步规则？ | 否 | 是 |
| 每个区域中允许的独立/不同的角色访问控制配置 | 否 | 是 |
9.3. 使用存储库镜像
以下列表显示 Red Hat Quay 存储库镜像的特性和限制：
- 使用存储库镜像，您可以镜像整个存储库，或有选择限制同步哪些镜像。过滤器可以基于以逗号分隔的标签列表、一系列标签，或者通过 Unix shell 风格的通配符来识别标签。如需更多信息，请参阅 通配符 文档。
- 当将存储库设置为 mirror 时，您无法手动将其他镜像添加到该存储库中。
- 由于已镜像的存储库基于您设置的存储库和标签，因此它将只保存由存储库和标签对表示的内容。例如，如果您更改了标签，以便存储库中的某些镜像不再匹配，则这些镜像将被删除。
- 只有指定的机器机器才能将镜像推送到已镜像的存储库，并取代存储库上设置的任何基于角色的访问控制权限。
- 镜像可以被配置为在失败时回滚，或者以 最佳为先运行。
- 使用已镜像的存储库时，具有读取权限 的用户可以从存储库拉取镜像，但不能将镜像推送到存储库。
- 可以使用您创建的镜像存储库的 Repositories → Mirrors 选项卡在 Red Hat Quay 用户界面中执行已镜像存储库的设置。
- 镜像以设定的间隔同步，但也可以根据需要同步。
9.4. 镜像配置 UI
以配置模式启动
Quay容器，再选中 Enable Repository Mirroring 复选框。如果要要求 HTTPS 通信并在镜像过程中验证证书，请选择 HTTPS 和证书验证复选框。
-
验证并下载
配置文件，然后使用更新的配置文件在 registry 模式中重新启动 Quay。
9.5. 镜像配置字段
表 9.2. 镜像配置
| 字段 | 类型 | 描述 |
|---|---|---|
| FEATURE_REPO_MIRROR | 布尔值 |
启用或禁用存储库镜像 |
| REPO_MIRROR_INTERVAL | Number |
检查存储库镜像候选者之间的秒数 |
| REPO_MIRROR_SERVER_HOSTNAME | 字符串 |
替换 |
| REPO_MIRROR_TLS_VERIFY | 布尔值 |
需要 HTTPS 并在镜像过程中验证 Quay registry 的证书。 |
| REPO_MIRROR_ROLLBACK | 布尔值 |
当设置为
默认 ： |
9.6. 镜像 worker
使用以下步骤启动存储库镜像 worker。
流程
如果您还没有使用
/root/ca.crt证书配置 TLS 通信，请输入以下命令以使用repomirror选项启动Quaypod：$ sudo podman run -d --name mirroring-worker \ -v $QUAY/config:/conf/stack:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5 repomirror
如果您使用
/root/ca.crt证书配置了 TLS 通信，请输入以下命令来启动存储库镜像 worker：$ sudo podman run -d --name mirroring-worker \ -v $QUAY/config:/conf/stack:Z \ -v /root/ca.crt:/etc/pki/ca-trust/source/anchors/ca.crt:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5 repomirror
9.7. 创建已镜像的存储库
本节中显示的步骤假设您已在 Red Hat Quay 集群的配置中启用了存储库镜像，并部署了镜像 worker。
从外部容器 registry 镜像存储库时，创建一个新的私有存储库。通常，名称与目标存储库相同，如 quay-rhel8 ：
9.7.1. 存储库镜像设置
在 Settings 选项卡中，将 Repository State 设置为
Mirror：
在 Mirror 选项卡中，输入连接到外部 registry 的详情，以及标签、调度和访问信息：
在以下字段中输入详情：
-
registry 位置： 您要镜像的外部存储库，如
registry.redhat.io/quay/quay-rhel8 - tags： 此字段是必需的。您可以输入以逗号分隔的各个标签或标签模式列表。（详情请参阅 Tag Patterns 部分。）
- 开始日期： 镜像开始的日期。默认使用当前的日期和时间。
- 同步间隔 ： 默认为每 24 小时同步一次。您可以根据小时或天更改。
- robot User： 创建一个新的机器人帐户，或选择一个现有的机器人帐户来进行镜像。
- 用户名 ： 用于访问您要镜像的存储库的外部 registry 的用户名。
- Password ： 与用户名关联的密码。请注意，密码不能包含需要转义字符(\)的字符。
-
registry 位置： 您要镜像的外部存储库，如
9.7.2. 高级设置
- 在 Advanced Settings 部分中，根据需要配置 TLS 和代理：
- 验证 TLS： 如果要需要 HTTPS 并验证证书，并与目标远程 registry 通信时，请检查此框。
- HTTP 代理： 根据需要识别访问远程站点所需的 HTTP 代理服务器。
- HTTPS 代理： 如果需要，请识别访问远程站点所需的 HTTPS 代理服务器。
- 无代理： 不需要代理的位置列表
9.7.3. 现在同步
要执行即时镜像操作，请按存储库镜像选项卡上的 Sync Now 按钮。日志在 Usage Logs 标签页中可用：
镜像完成后，镜像将显示在 Tags 选项卡中：
以下是已完成的仓库镜像屏幕示例：
9.8. 用于镜像的事件通知
存储库镜像有三个通知事件：
- 存储库镜像已启动
- 存储库镜像成功
- Repository Mirror Unsuccessful
事件可以在每个存储库的 Settings 选项卡中配置，并且支持电子邮件、Slack、Quay UI 和 Webhook 等所有现有通知方法。
9.9. 镜像标签模式
必须至少输入一个标签。下表引用可能的镜像标签模式。
9.9.1. 模式语法
| pattern | 描述 |
| * | 匹配所有字符 |
| ? | 匹配任何单个字符 |
| [seq] | 匹配顺序中 的任何字符 |
| [!seq] | 匹配任何不在顺序 中的字符 |
9.9.2. 标签模式示例
| Pattern 示例 | 匹配示例 |
| v3* | v32, v3.1, v3.2, v3.2-4beta, v3.3 |
| v3.* | v3.1、v3.2、v3.2-4beta |
| v3.? | v3.1, v3.2, v3.3 |
| v3.[12] | v3.1, v3.2 |
| v3.[12]* | v3.1、v3.2、v3.2-4beta |
| v3.[!1]* | v3.2, v3.2-4beta, v3.3 |
9.10. 使用已镜像的存储库
创建已镜像的存储库后，您可以使用该存储库的方法。从 Repositories 页面中选择您的镜像存储库，并执行以下操作：
- 启用/禁用存储库 ：选择左列中的镜像按钮，然后切换 Enabled 复选框来临时启用或禁用存储库。
检查镜像日志 ：要确保已镜像的存储库正常工作，您可以检查镜像日志。为此，请选择左侧栏中的 Usage Logs 按钮。例如：
- 现在同步镜像 ：要立即同步存储库中的镜像，请选择 Sync Now 按钮。
- 更改凭证 ：要更改用户名和密码，请从 Credentials 行选择 DELETE。然后，选择 None 并添加在提示时登录到外部 registry 所需的用户名和密码。
- 取消镜像 ：要停止镜像，这样可保持当前镜像可用，但停止新的镜像同步，请选择 CANCEL 按钮。
设置机器人权限 ：Red Hat Quay 机器人帐户命名为 token，用于保存用于访问外部存储库的凭证。通过将凭证分配给机器机器，该机器可以在需要访问同一外部 registry 的多个已镜像存储库中使用。
您可以通过转至 Account Settings 来为存储库分配现有机器机器，然后在左列中选择立即登录帐户图标。对于 robot 帐户，选择 REPOSITORIES 列下的链接。在弹出窗口中，您可以：
- 检查将哪些存储库分配给该机器机器。
-
从此图中显示的 PERMISSION 字段中为该机器分配读取、写入或管理权限：
更改机器凭证 ：stratots 可以保存凭证，如 Kubernetes secret、Docker 登录信息和 Mesos 捆绑包。要更改机器凭证，请在 robot's account 窗口中选择 Options gear，然后选择 View Credentials。为外部存储库添加适当的凭据，供机器者需要访问。
- 检查并更改常规设置 ：从镜像存储库页面的左列中选择 Settings 按钮（齿轮图标）。在生成的页面中，您可以更改与已镜像存储库关联的设置。特别是，您可以更改 User 和 Iceot 权限，以指定哪些用户和机器机器可以从存储库读取或写入到存储库。
9.11. 仓库镜像建议
存储库镜像的最佳实践包括：
- 仓库镜像 pod 可以在任何节点上运行。这意味着您可以在已在运行 Red Hat Quay 的节点上运行镜像。
- 存储库镜像调度到数据库中，并批量运行。因此，存储库 worker 会检查每个存储库镜像配置文件，并在下一次同步需要时读取。更多镜像 worker 意味着可以同时镜像更多存储库。例如，运行 10 个镜像 worker 表示用户可以并行运行 10 个镜像 Operator。如果用户只有 2 个带有 10 个镜像配置的 worker，则只能执行 2 个 operator。
镜像 pod 的最佳数量取决于以下条件：
- 要镜像的存储库总数
- 存储库中的镜像和标签数量以及更改的频率
并行批处理
例如，如果用户正在镜像具有 100 标签的存储库，则镜像将由一个 worker 完成。用户必须考虑需要并行镜像的软件仓库数量，并基于该 worker 数量。
同一存储库中的多个标签无法并行镜像。
第 10 章 IPv6 和双栈部署
您的独立 Red Hat Quay 部署现在可以在只支持 IPv6 的位置提供，如 Telco 和 Edge 环境。也支持双栈网络，以便 Red Hat Quay 部署可以同时侦听 IPv4 和 IPv6。
有关已知限制列表，请参阅 IPv6 限制
10.1. 启用 IPv6 协议系列
使用以下步骤在独立 Red Hat Quay 部署中启用 IPv6 支持。
先决条件
- 您已将 Red Hat Quay 更新至 3.8。
- 您的主机和容器软件平台(Docker、Podman)必须配置为支持 IPv6。
流程
在部署的
config.yaml文件中，添加FEATURE_LISTEN_IP_VERSION参数并将其设置为IPv6，例如：--- FEATURE_GOOGLE_LOGIN: false FEATURE_INVITE_ONLY_USER_CREATION: false FEATURE_LISTEN_IP_VERSION: IPv6 FEATURE_MAILING: false FEATURE_NONSUPERUSER_TEAM_SYNCING_SETUP: false ---
- 启动或重启您的 Red Hat Quay 部署。
输入以下命令检查您的部署是否侦听 IPv6：
$ curl <quay_endpoint>/health/instance {"data":{"services":{"auth":true,"database":true,"disk_space":true,"registry_gunicorn":true,"service_key":true,"web_gunicorn":true}},"status_code":200}
在部署的 config.yaml 中启用 IPv6 后，所有 Red Hat Quay 功能都可以正常使用，只要您的环境被配置为使用 IPv6，且不受 ipv6-limitations[current limitations] 禁止。
如果您的环境配置为 IPv4，但 FEATURE_LISTEN_IP_VERSION 配置字段被设置为 IPv6，Red Hat Quay 将无法部署。
10.2. 启用双栈协议系列
使用以下步骤在独立 Red Hat Quay 部署上启用双栈(IPv4 和 IPv6)支持。
先决条件
- 您已将 Red Hat Quay 更新至 3.8。
- 您的主机和容器软件平台(Docker、Podman)必须配置为支持 IPv6。
流程
在部署的
config.yaml文件中，添加FEATURE_LISTEN_IP_VERSION参数并将其设置为双栈，例如：--- FEATURE_GOOGLE_LOGIN: false FEATURE_INVITE_ONLY_USER_CREATION: false FEATURE_LISTEN_IP_VERSION: dual-stack FEATURE_MAILING: false FEATURE_NONSUPERUSER_TEAM_SYNCING_SETUP: false ---
- 启动或重启您的 Red Hat Quay 部署。
输入以下命令检查您的部署是否在侦听这两个频道：
对于 IPv4，输入以下命令：
$ curl --ipv4 <quay_endpoint> {"data":{"services":{"auth":true,"database":true,"disk_space":true,"registry_gunicorn":true,"service_key":true,"web_gunicorn":true}},"status_code":200}对于 IPv6，输入以下命令：
$ curl --ipv6 <quay_endpoint> {"data":{"services":{"auth":true,"database":true,"disk_space":true,"registry_gunicorn":true,"service_key":true,"web_gunicorn":true}},"status_code":200}
在部署的 config.yaml 中启用了双栈后，所有 Red Hat Quay 功能都可以正常使用，只要您的环境是为双栈配置的。
10.3. IPv6 和 dua-stack 限制
目前，尝试使用通用 Azure Blob 存储配置配置 Red Hat Quay 部署无法在 IPv6 单堆栈环境中工作。因为 Azure Blob 存储的端点不支持 IPv6，所以这个问题还没有临时解决方案。
如需更多信息，请参阅 PROJQUAY-4433。
目前，尝试使用 Amazon S3 CloudFront 配置 Red Hat Quay 部署不适用于 IPv6 单堆栈环境。由于 Amazon S3 CloudFront 的端点不支持 IPv6，所以这个问题还没有临时解决方案。
如需更多信息，请参阅 PROJQUAY-4470。
- 目前，当在 IPv6 单堆栈环境中部署 Red Hat Quay 时，OpenShift Data Foundation (ODF)不被支持。因此，在 IPv6 环境中使用 ODF。计划在以后的 OpenShift Data Foundation 版本中修复这个限制。
第 11 章 Red Hat Quay 的 LDAP 身份验证设置
轻量级目录访问协议(LDAP)是一个开放、厂商中立的行业标准应用程序协议，用于通过互联网协议(IP)网络访问和维护分布式目录信息服务。Red Hat Quay 支持使用 LDAP 作为身份提供程序。
11.1. 启用 LDAP 前的注意事项
11.1.1. 现有的 Quay 部署
当您为已经配置了用户的现有 Quay 部署启用 LDAP 时，用户名之间可能会出现冲突。在启用 LDAP 之前，请考虑在 Quay 中手动创建特定用户 alice 的情况。如果 LDAP 目录中也存在用户名 ，则 Quay 会在 alice 首次使用 LDAP 登录时创建新用户 alice alice-1，并将 LDAP 凭据映射到此帐户。这可能不希望出于一致性的原因，建议您在启用 LDAP 之前从 Quay 中删除任何可能冲突的本地帐户名称。
11.1.2. 手动创建用户和 LDAP 身份验证
为 LDAP 配置 Quay 时，如果配置选项 FEATURE_USER_CREATION 设置为 true，则首次登录时会在 Quay 数据库中自动创建 LDAP 验证的用户。如果此选项设为 false，则 LDAP 用户的自动创建用户将失败，且不允许用户登录。在这种情况下，超级用户需要首先创建所需的用户帐户。相反，如果将 FEATURE_USER_CREATION 设置为 true，这也意味着用户仍然可以从 Quay 登录屏幕创建一个帐户，即使 LDAP 中有等效的用户。
11.2. 设置 LDAP 配置
在配置工具中，找到 Authentication 部分并从下拉菜单中选择 "LDAP"。根据需要更新 LDAP 配置字段。
- 以下是 config.yaml 文件中生成的条目的示例：
AUTHENTICATION_TYPE: LDAP
11.2.1. 完整的 LDAP URI
- 完整的 LDAP URI，包括 ldap:// 或 ldaps:// 前缀。
- 以 ldaps:// 开头的 URI 将利用提供的 SSL 证书进行 TLS 设置。
- 以下是 config.yaml 文件中生成的条目的示例：
LDAP_URI: ldaps://ldap.example.org
11.2.2. 团队同步
- 如果启用，超级用户的机构管理员可以将团队设置为与 LDAP 中的后备组同步。
- 重新同步持续时间是必须重新同步团队的期间。必须以持续时间字符串形式表示：30m、1h、1d。
- （可选）允许非超级用户在机构管理员的机构下启用和管理团队同步。
- 以下是 config.yaml 文件中生成的条目示例：
FEATURE_TEAM_SYNCING: true TEAM_RESYNC_STALE_TIME: 60m FEATURE_NONSUPERUSER_TEAM_SYNCING_SETUP: true
11.2.3. 基本和专用可辨识名称
- 一个可辨识名称路径，它组成了查找所有 LDAP 记录的基本路径。示例： dc=my,dc=domain,dc=com
- 可选的可辨识名称路径列表，该路径组成次要基本路径，以查找所有用户 LDAP 记录（相对于上面定义的基本 DN）。如果用户没有通过主相对 DN 找到，则会尝试这些路径。
- 用户随机 DN 相对于 BaseDN。示例： ou=NYC not ou=NYC,dc=example,dc=org
- 如果存在多个机构单元，则可能会输入多个"二级用户级 DN"，其中用户对象位于其中。只需在机构单元中输入，然后单击 Add 按钮来添加多个 RDN。示例： ou=Users,ou=NYC 和 ou=Users,ou=SFO
- "User Relative DN"使用子树范围进行搜索。例如，如果您的机构在用户 OU 下有 Organizational Units NYC 和 SFO (ou=SFO,ou=Users, ou=NYC,ou=Users)，如果 User Relative DN 设置为 Users (ou=Users)，Red Hat Quay 可以在 NYC 和 SFO 机构单元下验证用户。
- 以下是 config.yaml 文件中生成的条目示例：
LDAP_BASE_DN: - dc=example - dc=com LDAP_USER_RDN: - ou=users LDAP_SECONDARY_USER_RDNS: - ou=bots - ou=external
11.2.4. 其他用户过滤器
- 如果指定，则用于所有用户查找查询的额外过滤器。请注意，过滤器中使用的所有可辨识名称都必须是 完整路径 ；基本 DN 不会被自动添加。必须 嵌套在 parens 中。示例：(& (someFirstField=someValue) (someOtherField=someOtherValue))
- 以下是 config.yaml 文件中生成的条目的示例：
LDAP_USER_FILTER: (memberof=cn=developers,ou=groups,dc=example,dc=com)
11.2.4.1. 启用 LDAP_RESTRICTED_USER_FILTER 配置字段
LDAP_RESTRICTED_USER_FILTER 配置字段是 LDAP_USER_FILTER 配置字段的子集。配置后，当 Red Hat Quay 使用 LDAP 作为其身份验证提供程序时，可以将轻量级目录访问协议(LDAP)用户配置为受限用户。
使用以下步骤在 Red Hat Quay 部署中启用 LDAP 受限用户。
先决条件
- 您的 Red Hat Quay 部署使用 LDAP 作为其身份验证提供程序。
-
您已在
config.yaml文件中配置了LDAP_USER_FILTER字段。
流程
在部署的
config.yaml文件中，添加LDAP_RESTRICTED_USER_FILTER参数，并指定受限用户组，例如members：--- AUTHENTICATION_TYPE: LDAP --- LDAP_ADMIN_DN: uid=<name>,ou=Users,o=<organization_id>,dc=<example_domain_component>,dc=com LDAP_ADMIN_PASSWD: ABC123 LDAP_ALLOW_INSECURE_FALLBACK: false LDAP_BASE_DN: - o=<organization_id> - dc=<example_domain_component> - dc=com LDAP_EMAIL_ATTR: mail LDAP_UID_ATTR: uid LDAP_URI: ldap://<example_url>.com LDAP_USER_FILTER: (memberof=cn=developers,ou=Users,o=<example_organization_unit>,dc=<example_domain_component>,dc=com) LDAP_RESTRICTED_USER_FILTER: (<filterField>=<value>) LDAP_USER_RDN: - ou=<example_organization_unit> - o=<organization_id> - dc=<example_domain_component> - dc=com- 启动或重启您的 Red Hat Quay 部署。
启用 LDAP_RESTRICTED_USER_FILTER 功能后，您的 LDAP Red Hat Quay 用户会受到读取和写入内容的限制，并创建机构。
11.2.5. 管理员 DN
- 管理员帐户的可辨识名称和密码。此帐户必须能够登录并查看所有用户帐户的记录。示例： uid=admin,ou=employees,dc=my,dc=domain,dc=com
- 密码将存储在 config.yaml 中的 纯文本 中，因此强烈建议设置专用帐户或使用密码哈希。
- 以下是 config.yaml 文件中生成的条目示例：
LDAP_ADMIN_DN: cn=admin,dc=example,dc=com LDAP_ADMIN_PASSWD: changeme
11.2.6. UID 和邮件属性
- UID 属性是 LDAP 用户记录中用作用户名的属性字段 的名称。通常 "uid"。
- mail 属性是 LDAP 用户记录中的属性字段的名称，用于存储用户电子邮件地址。通常"邮件"。
- 其中一个可以在登录过程中使用。
- 登录的用户名必须存在于 User Relative DN 中。
- sAMAccountName 是 Microsoft Active Directory 设置的 UID 属性。
- 以下是 config.yaml 文件中生成的条目示例：
LDAP_UID_ATTR: uid LDAP_EMAIL_ATTR: mail
11.2.7. 验证
配置完成后，单击"保存配置更改"按钮以验证配置。
在继续之前，所有验证都必须成功，或者可以选择"Continue Editing"按钮来执行其他配置。
11.3. 常见问题
无效凭证
管理员 DN 或管理员 DN 密码值不正确
超级用户 %USERNAME% 的验证失败：用户名找不到远程身份验证系统中没有该用户，或者 LDAP auth 配置错误。
Red Hat Quay 可以通过 Administrator DN 字段中指定的用户名/密码连接到 LDAP 服务器，但不能在 User Relative DN 路径中找到当前使用 UID 属性或邮件属性字段登录的用户。当前登录用户都没有用户相关 DN 路径，或者 Administrator DN 用户没有搜索/读取此 LDAP 路径的权限。
11.4. 将 LDAP 用户配置为超级用户
配置 LDAP 后，您可以使用有效的 LDAP 用户名和密码登录到 Red Hat Quay 实例。系统将提示您确认您的 Red Hat Quay 用户名，如下图所示：
要将超级用户特权附加到 LDAP 用户，请使用用户名修改 config.yaml 文件。例如：
SUPER_USERS: - testadmin
使用更新的 config.yaml 文件重启 Red Hat Quay 容器。下次登录时，该用户将具有超级用户特权。
11.5. 启用 LDAP_SUPERUSER_FILTER 配置字段
配置 LDAP_SUPERUSER_FILTER 字段后，如果 Red Hat Quay 使用 LDAP 作为其身份验证提供程序，Red Hat Quay 可将轻量级目录访问协议(LDAP)用户配置为超级用户。
使用以下步骤在 Red Hat Quay 部署中启用 LDAP 超级用户。
先决条件
- 您的 Red Hat Quay 部署使用 LDAP 作为其身份验证提供程序。
-
您已在
config.yaml文件中配置了LDAP_USER_FILTER字段。
流程
在部署的
config.yaml文件中，添加LDAP_SUPERUSER_FILTER参数，并添加您要配置为超级用户的组，例如root：--- AUTHENTICATION_TYPE: LDAP --- LDAP_ADMIN_DN: uid=<name>,ou=Users,o=<organization_id>,dc=<example_domain_component>,dc=com LDAP_ADMIN_PASSWD: ABC123 LDAP_ALLOW_INSECURE_FALLBACK: false LDAP_BASE_DN: - o=<organization_id> - dc=<example_domain_component> - dc=com LDAP_EMAIL_ATTR: mail LDAP_UID_ATTR: uid LDAP_URI: ldap://<example_url>.com LDAP_USER_FILTER: (memberof=cn=developers,ou=Users,o=<example_organization_unit>,dc=<example_domain_component>,dc=com) LDAP_SUPERUSER_FILTER: (<filterField>=<value>) LDAP_USER_RDN: - ou=<example_organization_unit> - o=<organization_id> - dc=<example_domain_component> - dc=com- 启动或重启您的 Red Hat Quay 部署。
启用 LDAP_SUPERUSER_FILTER 功能后，您的 LDAP Red Hat Quay 用户具有超级用户特权。以下选项可供超级用户使用：
- 管理用户
- 管理机构
- 管理服务密钥
- 查看更改日志
- 查询用量日志
- 创建全局可见的用户信息
第 12 章 Red Hat Quay 中的 Prometheus 和 Grafana 指标
Red Hat Quay 会在每个实例上导出 Prometheus- 和 Grafana 兼容的端点，以便轻松监控和警报。
12.1. 公开 Prometheus 端点
12.1.1. 独立 Red Hat Quay
当使用 podman run 启动 Quay 容器时，公开指标端口 9091 ：
$ sudo podman run -d --rm -p 80:8080 -p 443:8443 -p 9091:9091\ --name=quay \ -v $QUAY/config:/conf/stack:Z \ -v $QUAY/storage:/datastorage:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5
现在，指标将可用：
$ curl quay.example.com:9091/metrics
有关配置 Prometheus 和 Grafana 以监控 Quay 存储库计数的详情，请参阅使用 Prometheus 和 Grafana 监控 Quay。
12.1.2. Red Hat Quay Operator
确定 quay-metrics 服务的集群 IP：
$ oc get services -n quay-enterprise NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE example-registry-clair-app ClusterIP 172.30.61.161 <none> 80/TCP,8089/TCP 18h example-registry-clair-postgres ClusterIP 172.30.122.136 <none> 5432/TCP 18h example-registry-quay-app ClusterIP 172.30.72.79 <none> 443/TCP,80/TCP,8081/TCP,55443/TCP 18h example-registry-quay-config-editor ClusterIP 172.30.185.61 <none> 80/TCP 18h example-registry-quay-database ClusterIP 172.30.114.192 <none> 5432/TCP 18h example-registry-quay-metrics ClusterIP 172.30.37.76 <none> 9091/TCP 18h example-registry-quay-redis ClusterIP 172.30.157.248 <none> 6379/TCP 18h
连接到集群，并使用 quay-metrics 服务的集群 IP 和端口访问指标：
$ oc debug node/master-0
sh-4.4# curl 172.30.37.76:9091/metrics
# HELP go_gc_duration_seconds A summary of the pause duration of garbage collection cycles.
# TYPE go_gc_duration_seconds summary
go_gc_duration_seconds{quantile="0"} 4.0447e-05
go_gc_duration_seconds{quantile="0.25"} 6.2203e-05
...12.1.3. 将 Prometheus 设置为消耗指标
Prometheus 需要一种方式来访问集群中运行的所有 Red Hat Quay 实例。在典型的设置中，这通过在名为 DNS 条目中列出所有 Red Hat Quay 实例来实现，然后提供给 Prometheus。
12.1.4. Kubernetes 下的 DNS 配置
可将简单的 Kubernetes 服务配置为 为 Prometheus 提供 DNS 条目。
12.1.5. 手动集群的 DNS 配置
SkyDNS 是不使用 Kubernetes 时管理此 DNS 记录的简单解决方案。SkyDNS 可以在 etcd 集群上运行。您可以在 etcd 存储中添加和删除集群中的每个 Red Hat Quay 实例的条目。SkyDNS 将定期从那里读取它们，并相应地更新 Quay 实例列表。
12.2. 指标简介
Red Hat Quay 提供了有助于监控 registry 的指标，包括常规 registry 使用的指标、上传、下载、垃圾回收和身份验证。
12.2.1. 常规 registry 统计
常规 registry 统计可指示 registry 的增长量。
| 指标名称 | 描述 |
|---|---|
| quay_user_rows | 数据库中的用户数 |
| quay_robot_rows | 数据库中的机器人帐户数 |
| quay_org_rows | 数据库中的机构数量 |
| quay_repository_rows | 数据库中的存储库数 |
| quay_security_scanning_unscanned_images_remaining_total | 未被最新安全扫描程序扫描的镜像数 |
指标输出示例
# HELP quay_user_rows number of users in the database
# TYPE quay_user_rows gauge
quay_user_rows{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="65",process_name="globalpromstats.py"} 3
# HELP quay_robot_rows number of robot accounts in the database
# TYPE quay_robot_rows gauge
quay_robot_rows{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="65",process_name="globalpromstats.py"} 2
# HELP quay_org_rows number of organizations in the database
# TYPE quay_org_rows gauge
quay_org_rows{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="65",process_name="globalpromstats.py"} 2
# HELP quay_repository_rows number of repositories in the database
# TYPE quay_repository_rows gauge
quay_repository_rows{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="65",process_name="globalpromstats.py"} 4
# HELP quay_security_scanning_unscanned_images_remaining number of images that are not scanned by the latest security scanner
# TYPE quay_security_scanning_unscanned_images_remaining gauge
quay_security_scanning_unscanned_images_remaining{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 5
12.2.2. 队列项
队列项目 指标提供有关 Quay 用来管理工作的多个队列的信息。
| 指标名称 | 描述 |
|---|---|
| quay_queue_items_available | 特定队列中的项目数 |
| quay_queue_items_locked | 正在运行的项目数 |
| quay_queue_items_available_unlocked | 等待处理的项目数 |
指标标签
queue_name ： 队列的名称。其中之一：
- exportactionlogs ： 排队请求以导出操作日志。这些日志随后会被处理并放入存储中。然后，通过电子邮件将链接发送到请求者。
- namespacegc： 要收集的垃圾命名空间
- 通知： 要发送存储库通知队列
- repositorygc： 要收集垃圾收集的队列存储库
- secscanv4： 特定于 Clair V4 的通知队列
- dockerfilebuild: Quay docker 构建队列
- Imagestoragereplication ： 要在多个存储间复制排队 Blob
- chunk_cleanup ： 需要删除队列 Blob 段。这仅适用于某些存储实施，如 Swift。
例如，queue labelled repositorygc 包含由存储库垃圾回收 worker 标记的存储库。对于带有 queue_name 标签为 repositorygc 的指标：
- quay_queue_items_locked 是当前删除的存储库数。
- quay_queue_items_available_unlocked 是 worker 等待处理的存储库数量。
指标输出示例
# HELP quay_queue_items_available number of queue items that have not expired
# TYPE quay_queue_items_available gauge
quay_queue_items_available{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="63",process_name="exportactionlogsworker.py",queue_name="exportactionlogs"} 0
...
# HELP quay_queue_items_available_unlocked number of queue items that have not expired and are not locked
# TYPE quay_queue_items_available_unlocked gauge
quay_queue_items_available_unlocked{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="63",process_name="exportactionlogsworker.py",queue_name="exportactionlogs"} 0
...
# HELP quay_queue_items_locked number of queue items that have been acquired
# TYPE quay_queue_items_locked gauge
quay_queue_items_locked{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="63",process_name="exportactionlogsworker.py",queue_name="exportactionlogs"} 0
12.2.3. 垃圾回收指标
这些指标显示从垃圾回收(gc)中删除多少个资源。它们显示 gc worker 运行的次数，以及已删除的命名空间、存储库和 Blob 数量。
| 指标名称 | 描述 |
|---|---|
| quay_gc_iterations_total | GCWorker 的迭代数 |
| quay_gc_namespaces_purged_total | NamespaceGCWorker 清除的命名空间数量 |
| quay_gc_repos_purged_total | RepositoryGCWorker 或 NamespaceGCWorker 清除的存储库数量 |
| quay_gc_storage_blobs_deleted_total | 删除的存储 Blob 数量 |
指标输出示例
# TYPE quay_gc_iterations_created gauge
quay_gc_iterations_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189714e+09
...
# HELP quay_gc_iterations_total number of iterations by the GCWorker
# TYPE quay_gc_iterations_total counter
quay_gc_iterations_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
# TYPE quay_gc_namespaces_purged_created gauge
quay_gc_namespaces_purged_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189433e+09
...
# HELP quay_gc_namespaces_purged_total number of namespaces purged by the NamespaceGCWorker
# TYPE quay_gc_namespaces_purged_total counter
quay_gc_namespaces_purged_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
....
# TYPE quay_gc_repos_purged_created gauge
quay_gc_repos_purged_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.631782319018925e+09
...
# HELP quay_gc_repos_purged_total number of repositories purged by the RepositoryGCWorker or NamespaceGCWorker
# TYPE quay_gc_repos_purged_total counter
quay_gc_repos_purged_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
# TYPE quay_gc_storage_blobs_deleted_created gauge
quay_gc_storage_blobs_deleted_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189059e+09
...
# HELP quay_gc_storage_blobs_deleted_total number of storage blobs deleted
# TYPE quay_gc_storage_blobs_deleted_total counter
quay_gc_storage_blobs_deleted_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
12.2.3.1. 多部分上传指标
多部分上传指标显示上传到存储的 Blob 数量(S3、Rados、GoogleCloudStorage、RHOCS)。当 Quay 无法正确将 Blob 上传到存储中时，这有助于识别问题。
| 指标名称 | 描述 |
|---|---|
| quay_multipart_uploads_started_total | 将多部分上传到启动的 Quay 存储的数量 |
| quay_multipart_uploads_completed_total | 上传到完成的 Quay 存储的多部分数 |
指标输出示例
# TYPE quay_multipart_uploads_completed_created gauge
quay_multipart_uploads_completed_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823308284895e+09
...
# HELP quay_multipart_uploads_completed_total number of multipart uploads to Quay storage that completed
# TYPE quay_multipart_uploads_completed_total counter
quay_multipart_uploads_completed_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
# TYPE quay_multipart_uploads_started_created gauge
quay_multipart_uploads_started_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823308284352e+09
...
# HELP quay_multipart_uploads_started_total number of multipart uploads to Quay storage that started
# TYPE quay_multipart_uploads_started_total counter
quay_multipart_uploads_started_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
12.2.4. 镜像拉取(pull)/拉取指标
有多个与推送和拉取镜像相关的指标。
12.2.4.1. 镜像拉取(pull)总数
| 指标名称 | 描述 |
|---|---|
| quay_registry_image_pulls_total | 从 registry 下载的镜像数量。 |
指标标签
- 协议： 使用的 registry 协议（应该始终为 v2）
- ref: ref 用于拉取 - 标签、清单
- status： 请求的 http 返回码
12.2.4.2. 镜像拉取(pull)的镜像拉取(pull)
| 指标名称 | 描述 |
|---|---|
| quay_registry_image_pulled_estimated_bytes_total | 从 registry 下载的字节数 |
指标标签
- 协议： 使用的 registry 协议（应该始终为 v2）
12.2.4.3. 镜像推送总数
| 指标名称 | 描述 |
|---|---|
| quay_registry_image_pushes_total | 从 registry 上传的镜像数量。 |
指标标签
- 协议： 使用的 registry 协议（应该始终为 v2）
- pstatus： 请求的 http 返回码
- pmedia_type ： 上传的清单类型
12.2.4.4. 推送的镜像字节
| 指标名称 | 描述 |
|---|---|
| quay_registry_image_pushed_bytes_total | 上传到 registry 的字节数 |
指标输出示例
# HELP quay_registry_image_pushed_bytes_total number of bytes pushed to the registry
# TYPE quay_registry_image_pushed_bytes_total counter
quay_registry_image_pushed_bytes_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="221",process_name="registry:application"} 0
...
12.2.5. 身份验证指标
身份验证指标提供身份验证请求数，按 type 标记，以及它是否成功。例如，此指标可用于监控失败的基本身份验证请求。
| 指标名称 | 描述 |
|---|---|
| quay_authentication_attempts_total | 跨 registry 和 API 的身份验证尝试次数 |
指标标签
auth_kind ： 使用的 auth 类型，包括：
- 基本的
- oauth
- credentials
- 成功： true 或 false
指标输出示例
# TYPE quay_authentication_attempts_created gauge
quay_authentication_attempts_created{auth_kind="basic",host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="221",process_name="registry:application",success="True"} 1.6317843039374158e+09
...
# HELP quay_authentication_attempts_total number of authentication attempts across the registry and API
# TYPE quay_authentication_attempts_total counter
quay_authentication_attempts_total{auth_kind="basic",host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="221",process_name="registry:application",success="True"} 2
...
第 13 章 Red Hat Quay 配额管理和强制
使用 Red Hat Quay 3.7 时，用户可以通过建立配置的存储配额限制来报告存储消耗和包含 registry 增长的功能。现在，内部 Quay 用户具有以下功能来管理其环境的容量限制：
- 配额报告： 有了此功能，超级用户可以跟踪其所有组织的存储消耗。另外，用户可以跟踪其分配的机构的存储消耗。
- 配额管理： 有了此功能，超级用户可以为 Red Hat Quay 用户定义软和硬检查。软检查告知用户是否有机构的存储消耗达到其配置的阈值。硬检查可防止用户在存储消耗达到配置的限制时推送到 registry。
这些功能一起允许 Quay registry 的服务所有者来定义服务级别协议，并支持健康的资源预算。
13.1. 配额管理配置
现在，在 FEATURE_QUOTA_MANAGEMENT 属性下支持配额管理，默认关闭。要启用配额管理，请将 config.yaml 中的功能标记设置为 true ：
FEATURE_QUOTA_MANAGEMENT: true
在 Red Hat Quay 3.7 中，创建、更新和删除配额需要超级用户权限。虽然可以为用户和机构设置配额，但您无法使用 Red Hat Quay UI 重新配置 用户配额，且必须使用 API。
13.1.1. 默认配额
要指定应用于每个机构和用户的系统范围默认存储配额，请使用 DEFAULT_SYSTEM_REJECT_QUOTA_BYTES 配置标志。
表 13.1. 默认配额配置
| 字段 | 类型 | 描述 |
|---|---|---|
| DEFAULT_SYSTEM_REJECT_QUOTA_BYTES | 字符串 |
适用于所有机构和用户的配额大小。 |
如果您为机构或用户配置了特定的配额，然后删除那个配额，则系统范围的默认配额将应用（如果已设置了）。同样，如果您为机构或用户配置了特定的配额，然后修改系统范围的默认配额，则更新的系统范围默认设置将覆盖任何特定的设置。
13.2. 配额管理架构
RepositorySize 数据库表包含机构中 Red Hat Quay 存储库的存储消耗，以字节为单位。机构的所有存储库大小总和定义了 Red Hat Quay 机构的当前存储大小。初始化镜像推送时，用户的机构存储会被验证，以检查它是否超过配置的配额限制。如果镜像推送超过定义的配额限制，则会出现软或硬检查：
- 对于软检查，会通知用户。
- 对于硬检查，会停止推送。
如果存储消耗在配置的配额限制中，则允许推送继续进行。
镜像标签删除遵循类似的流，其中删除关联的镜像标签和清单之间的链接。另外，在删除镜像清单后，仓库大小会在 RepositorySize 表中重新计算和更新。
13.3. 在 Red Hat Quay UI 中建立配额
以下流程描述了如何报告存储消耗并建立存储配额限制。
先决条件
- Red Hat Quay registry。
- 超级用户帐户。
- 有足够的存储来满足配额限制的需求。
流程
创建新机构或选择一个现有组织。最初，没有配置配额，如 Organization Settings 选项卡中可以看到：
以超级用户身份登录 registry，再导航到 Super User Admin Panel 上的 Manage Organizations 选项卡。点击您要为其创建存储配额限制的机构的 Options 图标：
单击 Configure Quota，再输入初始配额，例如 10 MB。然后点 Apply 和 Close ：
检查在超级用户面板的 Manage Organizations 选项卡中是否显示 0 (10 MB )：
所消耗的配额信息也可直接在 Organization 页面中可用：
初始消耗的配额
要将配额增加到 100MB，请导航到超级用户面板上的 Manage Organizations 选项卡。单击 Options 图标，再选择 Configure Quota，将配额设置为 100 MB。点 Apply，然后点 Close ：
从命令行将示例镜像推送到机构：
示例命令
$ podman pull ubuntu:18.04 $ podman tag docker.io/library/ubuntu:18.04 example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:18.04 $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:18.04
在超级用户面板中，会显示每个机构消耗的配额：
Organization 页面显示镜像使用的配额的总比例：
第一个镜像使用的总配额
拉取、标签和推送第二个镜像，如
nginx：示例命令
$ podman pull nginx $ podman tag docker.io/library/nginx example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/nginx $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/nginx
Organization 页面显示该机构中每个存储库使用的配额的总比例：
每个软件仓库使用的总配额
创建 拒绝 和警告 限制：
从超级用户面板中，导航到 Manage Organizations 选项卡。单击机构的 Options 图标，然后选择 Configure Quota。在 Quota Policy 部分，将 Action 类型设置为 Reject，将 Quota Threshold 设置为 80 并点 Add Limit ：
要创建 警告 限制，请选择 Warning 作为 Action 类型，将 Quota Threshold 设置为 70，然后点 Add Limit ：
点配额弹出窗口中的 Close。这些限制可在 Organization 页面的 Settings 选项卡中查看，但不能编辑：
推送超过拒绝限制的镜像：
由于拒绝限制(80%)已设置为当前存储库大小（～83%），因此会自动拒绝下一个推送。
镜像拉取示例
$ podman pull ubuntu:20.04 $ podman tag docker.io/library/ubuntu:20.04 example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:20.04 $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:20.04
超过配额时的输出示例
Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0002] failed, retrying in 1s ... (1/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0005] failed, retrying in 1s ... (2/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0009] failed, retrying in 1s ... (3/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace
超过限制时，会在 UI 中显示通知：
配额通知
13.4. 使用 Red Hat Quay API 建立配额
首次创建机构时，它不会应用配额。使用 /api/v1/organization/{organization}/quota 端点：
示例命令
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota | jq
输出示例
[]
13.4.1. 设置配额
要为机构设置配额，请将数据 POST 到 /api/v1/organization/{orgname}/quota endpoint: .Sample 命令
$ curl -k -X POST -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' -d '{"limit_bytes": 10485760}' https://example-registry-quay-quay-enterprise.apps.docs.quayteam.org/api/v1/organization/testorg/quota | jq输出示例
"Created"
13.4.2. 查看配额
要查看应用的配额，GET 数据来自 /api/v1/organization/{orgname}/quota 端点：
示例命令
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota | jq
输出示例
[
{
"id": 1,
"limit_bytes": 10485760,
"default_config": false,
"limits": [],
"default_config_exists": false
}
]
13.4.3. 修改配额
要更改现有配额，在这个实例中，此实例中从 10 MB 改为 100 MB，PUT 数据到 /api/v1/organization/{orgname}/quota/{quota_id} 端点：
示例命令
$ curl -k -X PUT -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' -d '{"limit_bytes": 104857600}' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota/1 | jq
输出示例
{
"id": 1,
"limit_bytes": 104857600,
"default_config": false,
"limits": [],
"default_config_exists": false
}
13.4.4. 推送镜像
要查看消耗的存储，请将各种镜像推送到机构。
13.4.4.1. Pushing ubuntu:18.04
从命令行将 ubuntu:18.04 推送到机构：
示例命令
$ podman pull ubuntu:18.04 $ podman tag docker.io/library/ubuntu:18.04 example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:18.04 $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:18.04
13.4.4.2. 使用 API 查看配额使用情况
要查看消耗的存储，GET 数据来自 /api/v1/repository 端点：
示例命令
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' 'https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/repository?last_modified=true&namespace=testorg&popularity=true&public=true"a=true' | jq
输出示例
{
"repositories": [
{
"namespace": "testorg",
"name": "ubuntu",
"description": null,
"is_public": false,
"kind": "image",
"state": "NORMAL",
"quota_report": {
"quota_bytes": 27959066,
"configured_quota": 104857600
},
"last_modified": 1651225630,
"popularity": 0,
"is_starred": false
}
]
}
13.4.4.3. 推送另一个镜像
拉取、标签和推送第二个镜像，如
nginx：示例命令
$ podman pull nginx $ podman tag docker.io/library/nginx example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/nginx $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/nginx
要查看机构中存储库的配额报告，请使用 /api/v1/repository 端点：
示例命令
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' 'https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/repository?last_modified=true&namespace=testorg&popularity=true&public=true"a=true'
输出示例
{ "repositories": [ { "namespace": "testorg", "name": "ubuntu", "description": null, "is_public": false, "kind": "image", "state": "NORMAL", "quota_report": { "quota_bytes": 27959066, "configured_quota": 104857600 }, "last_modified": 1651225630, "popularity": 0, "is_starred": false }, { "namespace": "testorg", "name": "nginx", "description": null, "is_public": false, "kind": "image", "state": "NORMAL", "quota_report": { "quota_bytes": 59231659, "configured_quota": 104857600 }, "last_modified": 1651229507, "popularity": 0, "is_starred": false } ] }要查看机构详情中的配额信息，请使用 /api/v1/organization/{orgname} 端点：
示例命令
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' 'https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg' | jq
输出示例
{ "name": "testorg", ... "quotas": [ { "id": 1, "limit_bytes": 104857600, "limits": [] } ], "quota_report": { "quota_bytes": 87190725, "configured_quota": 104857600 } }
13.4.5. 使用配额限制拒绝推送
如果镜像推送超过定义的配额限制，则会出现软或硬检查：
- 对于软检查 或警告，用户会收到通知。
- 对于硬检查 或拒绝，推送将被终止。
13.4.5.1. 设置拒绝和警告限制
要设置 拒绝和警告 限制，请将数据 POST 到 /api/v1/organization/{orgname}/quota/{quota_id}/limit 端点：
reject limit 命令示例
$ curl -k -X POST -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' -d '{"type":"Reject","threshold_percent":80}' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota/1/limit
警告限制命令示例
$ curl -k -X POST -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' -d '{"type":"Warning","threshold_percent":50}' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota/1/limit
13.4.5.2. 查看拒绝和警告限制
要查看 拒绝和警告 限制，请使用 /api/v1/organization/{orgname}/quota 端点：
查看配额限制
$ curl -k -X GET -H "Authorization: Bearer <token>" -H 'Content-Type: application/json' https://example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/api/v1/organization/testorg/quota | jq
配额限制的输出示例
[
{
"id": 1,
"limit_bytes": 104857600,
"default_config": false,
"limits": [
{
"id": 2,
"type": "Warning",
"limit_percent": 50
},
{
"id": 1,
"type": "Reject",
"limit_percent": 80
}
],
"default_config_exists": false
}
]
13.4.5.3. 超过拒绝限制时推送镜像
在本例中，拒绝限制(80%)已被设置为当前存储库大小(~83%)，因此下一个推送会自动被拒绝。
从命令行将示例镜像推送到机构：
镜像拉取示例
$ podman pull ubuntu:20.04 $ podman tag docker.io/library/ubuntu:20.04 example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:20.04 $ podman push --tls-verify=false example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org/testorg/ubuntu:20.04
超过配额时的输出示例
Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0002] failed, retrying in 1s ... (1/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0005] failed, retrying in 1s ... (2/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB WARN[0009] failed, retrying in 1s ... (3/3). Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace Getting image source signatures Copying blob d4dfaa212623 [--------------------------------------] 8.0b / 3.5KiB Copying blob cba97cc5811c [--------------------------------------] 8.0b / 15.0KiB Copying blob 0c78fac124da [--------------------------------------] 8.0b / 71.8MiB Error: Error writing blob: Error initiating layer upload to /v2/testorg/ubuntu/blobs/uploads/ in example-registry-quay-quay-enterprise.apps.docs.gcp.quaydev.org: denied: Quota has been exceeded on namespace
13.4.5.4. 超过限制的通知
超过限制时，会出现通知：
配额通知
13.5. 配额管理限制
配额管理可帮助组织维护资源消耗。配额管理的一个限制是计算对推送结果的资源消耗，导致计算成为推送的关键路径的一部分。如果没有这种情况，使用数据可能会偏移。
最大存储配额大小取决于所选的数据库：
表 13.2. worker 计数环境变量
| 变量 | Description |
|---|---|
| Postgres | 8388608 TB |
| MySQL | 8388608 TB |
| SQL Server | 16777216 TB |
第 14 章 geo-replication
从客户端或用户的角度来看，geo-replication 允许多个地理分布式 Red Hat Quay 部署作为单个 registry 工作。它在全局分布式 Red Hat Quay 设置中显著提高推送和拉取性能。镜像数据在后台异步复制，且对客户端进行透明故障转移和重定向。
使用 Red Hat Quay 3.7 时，独立和 Operator 部署中支持部署带有区域复制的 Red Hat Quay。
14.1. 地理复制功能
- 配置 geo-replication 时，容器镜像推送将写入该 Red Hat Quay 实例的首选存储引擎。这通常是区域内最接近的存储后端。
- 在初始推送后，镜像数据将在后台复制到其他存储引擎。
- 复制位置列表是可配置的，它们可以不同存储后端。
- 镜像拉取(pull)将始终使用最接近的存储引擎来最大程度提高性能。
- 如果复制还没有完成，则拉取将使用源存储后端。
14.2. 地区复制要求和限制
- 在地理复制设置中，Red Hat Quay 要求所有区域都可以读取和写入所有其他区域对象存储。对象存储必须可以被所有其他区域访问。
- 如果一个地理复制站点的对象存储系统失败，该站点的 Red Hat Quay 部署必须被关闭，以便客户端由全局负载均衡器重定向到具有完整存储系统的剩余站点。否则，客户端将遇到拉取和推送失败。
- Red Hat Quay 没有内部感知连接的对象存储系统的健康状态或可用性。如果一个站点的对象存储系统不可用，则其余站点或站点没有自动重定向到剩余的存储系统或系统。
- geo-replication 是异步的。永久丢失站点的丢失会导致在该站点的对象存储系统中保存的数据丢失，但还没有在失败时复制到剩余的站点。
因此，所有元数据和 Red Hat Quay 配置都会在所有区域间共享。
geo-replication 不会复制数据库。如果停机，启用了 geo-replication 的 Red Hat Quay 不会切换到另一个数据库。
- 单个 Redis 缓存在整个 Red Hat Quay 设置间共享，需要被所有 Red Hat Quay pod 访问。
-
所有区域应当使用相同的配置，但存储后端除外，这些后端可以使用
QUAY_DISTRIBUTED_STORAGE_PREFERENCE环境变量明确进行配置。 - geo-replication 需要每个地区中的对象存储。它不适用于本地存储。
- 每个区域必须能够访问每个区域中的每个存储引擎，这需要一个网络路径。
- 或者，也可以使用存储代理选项。
- 整个存储后端（如所有 blob）都会被复制。存储库镜像(mirror)可以仅限于机构、存储库或镜像。
- 所有 Red Hat Quay 实例都必须通过负载均衡器共享相同的入口点。
- 所有 Red Hat Quay 实例都必须具有相同的超级用户集合，因为它们在通用配置文件中定义。
-
geo-replication 需要将 Clair 配置设置为
unmanaged。非受管 Clair 数据库允许 Red Hat Quay Operator 在地理复制环境中工作，其中 Red Hat Quay Operator 的多个实例必须与同一数据库通信。如需更多信息，请参阅高级 Clair 配置。 - geo-Replication 需要 SSL/TSL 证书和密钥。如需更多信息，请参阅使用 SSL/TSL 保护到 Red Hat Quay 的连接。
如果无法满足上述要求，您应该使用两个或多个不同的 Red Hat Quay 部署，并利用存储库镜像功能。
14.3. 使用独立 Red Hat Quay 进行区域复制
在以下镜像中，Red Hat Quay 在两个独立的区域独立运行，一个通用数据库和通用 Redis 实例。本地化镜像存储在每个区域中提供，镜像拉取是从最接近的可用存储引擎提供的。容器镜像推送被写入 Red Hat Quay 实例的首选存储引擎，然后在后台复制到其他存储引擎。
如果 Clair 在一个集群中失败，例如 US 集群，则美国用户不会在 Red Hat Quay for the second cluster (EU)中看到漏洞报告。这是因为所有 Clair 实例都有相同的状态。当 Clair 失败时，通常是因为集群中的问题。
地理复制架构
14.3.1. 启用存储复制 - 独立 Quay
使用以下步骤在 Red Hat Quay 上启用存储复制。
流程
- 在 Red Hat Quay 配置编辑器中，找到 Registry Storage 部分。
- 点 Enable Storage Replication。
- 添加每个要复制数据的存储引擎。必须列出要使用的所有存储引擎。
如果需要将所有镜像完整复制到所有存储引擎，请在每个存储引擎配置下点 Replicate to storage engine。这样可确保所有镜像都复制到该存储引擎。
注意要启用每个命名空间的复制，请联络 Red Hat Quay 支持。
- 完成后，点 Save Configuration Changes。Red Hat Quay 重启后将生效。
在为 geo-replication 添加存储并在存储引擎 中启用复制后，您必须在所有存储中同步现有镜像数据。要做到这一点，您必须在容器中
oc exec(alternative,docker exec或kubectl exec)，并输入以下命令：# scl enable python27 bash # python -m util.backfillreplication
注意这是在添加新存储后同步内容的一个时间操作。
14.3.2. 使用存储首选项运行 Red Hat Quay
- 将 config.yaml 复制到所有运行 Red Hat Quay 的机器
对于每个地区中的每个计算机，添加一个
QUAY_DISTRIBUTED_STORAGE_PREFERENCE环境变量，其中包含机器正在运行的区域的首选存储引擎。例如，对于在 Europe 中运行的机器，且主机上的 config 目录来自
$QUAY/config：$ sudo podman run -d --rm -p 80:8080 -p 443:8443 \ --name=quay \ -v $QUAY/config:/conf/stack:Z \ -e QUAY_DISTRIBUTED_STORAGE_PREFERENCE=europestorage \ registry.redhat.io/quay/quay-rhel8:v3.8.5
注意指定的环境变量的值必须与配置面板中定义的位置 ID 的名称匹配。
- 重启所有 Red Hat Quay 容器
14.4. 使用 Red Hat Quay Operator 进行 geo-replication
在上例中，Red Hat Quay Operator 部署在两个独立区域，带有通用数据库和通用 Redis 实例。本地化镜像存储在每个区域中提供，镜像拉取是从最接近的可用存储引擎提供的。容器镜像推送被写入 Quay 实例的首选存储引擎，然后在后台复制到其他存储引擎。
因为 Operator 现在单独管理 Clair 安全扫描程序及其数据库，所以可以利用 geo-replication 设置，以便不管理 Clair 数据库。相反，会使用外部共享数据库。Red Hat Quay 和 Clair 支持 PostgreSQL 的多个供应商和供应商，可在 Red Hat Quay 3.x 测试列表中找到。另外，Operator 还支持可注入部署的自定义 Clair 配置，允许用户使用外部数据库的连接凭证配置 Clair。
14.4.1. 在 Openshift 中设置 geo-replication
流程
部署 Quay postgres 实例：
- 登录到数据库
为 Quay 创建数据库
CREATE DATABASE quay;
在数据库中启用 pg_trm 扩展
\c quay; CREATE EXTENSION IF NOT EXISTS pg_trgm;
部署 Redis 实例：
注意- 如果云供应商有自己的服务，则可能无法部署 Redis 实例。
- 如果您使用 Builders，则需要部署 Redis 实例。
- 为 Redis 部署虚拟机
- 确保可以从运行 Quay 的集群访问它
- 必须打开端口 6379/TCP
在实例内运行 Redis
sudo dnf install -y podman podman run -d --name redis -p 6379:6379 redis
创建两个对象存储后端，每个集群一个
理想情况下，一个对象存储桶将接近 1st 集群（主集群），另一个则运行更接近第 2 个集群（从集群）。
- 使用相同的配置捆绑包部署集群，使用环境变量覆盖来为单个集群选择适当的存储后端
- 配置负载均衡器，为集群提供单一入口点
14.4.1.1. 配置
config.yaml 文件在集群间共享，其中包含通用 PostgreSQL、Redis 和存储后端的详情：
config.yaml
SERVER_HOSTNAME: <georep.quayteam.org or any other name> 1 DB_CONNECTION_ARGS: autorollback: true threadlocals: true DB_URI: postgresql://postgres:password@10.19.0.1:5432/quay 2 BUILDLOGS_REDIS: host: 10.19.0.2 port: 6379 USER_EVENTS_REDIS: host: 10.19.0.2 port: 6379 DISTRIBUTED_STORAGE_CONFIG: usstorage: - GoogleCloudStorage - access_key: GOOGQGPGVMASAAMQABCDEFG bucket_name: georep-test-bucket-0 secret_key: AYWfEaxX/u84XRA2vUX5C987654321 storage_path: /quaygcp eustorage: - GoogleCloudStorage - access_key: GOOGQGPGVMASAAMQWERTYUIOP bucket_name: georep-test-bucket-1 secret_key: AYWfEaxX/u84XRA2vUX5Cuj12345678 storage_path: /quaygcp DISTRIBUTED_STORAGE_DEFAULT_LOCATIONS: - usstorage - eustorage DISTRIBUTED_STORAGE_PREFERENCE: - usstorage - eustorage FEATURE_STORAGE_REPLICATION: true
创建 configBundleSecret ：
$ oc create secret generic --from-file config.yaml=./config.yaml georep-config-bundle
在每个集群中，设置 configBundleSecret 并使用 QUAY_DISTRIBUTED_STORAGE_PREFERENCE 环境变量覆盖来为该集群配置适当的存储：
两个部署之间的 config.yaml 文件都必须匹配。如果更改一个集群，还必须在另一个集群中更改它。
美国集群
apiVersion: quay.redhat.com/v1
kind: QuayRegistry
metadata:
name: example-registry
namespace: quay-enterprise
spec:
configBundleSecret: georep-config-bundle
components:
- kind: objectstorage
managed: false
- kind: route
managed: true
- kind: tls
managed: false
- kind: postgres
managed: false
- kind: clairpostgres
managed: false
- kind: redis
managed: false
- kind: quay
managed: true
overrides:
env:
- name: QUAY_DISTRIBUTED_STORAGE_PREFERENCE
value: usstorage
- kind: mirror
managed: true
overrides:
env:
- name: QUAY_DISTRIBUTED_STORAGE_PREFERENCE
value: usstorage
+
由于 TLS 是非受管的，并且路由被管理，所以您必须使用 config 工具或直接在配置捆绑包中提供证书。如需更多信息，请参阅配置 TLS 和路由。
俄罗斯集群
apiVersion: quay.redhat.com/v1
kind: QuayRegistry
metadata:
name: example-registry
namespace: quay-enterprise
spec:
configBundleSecret: georep-config-bundle
components:
- kind: objectstorage
managed: false
- kind: route
managed: true
- kind: tls
managed: false
- kind: postgres
managed: false
- kind: clairpostgres
managed: false
- kind: redis
managed: false
- kind: quay
managed: true
overrides:
env:
- name: QUAY_DISTRIBUTED_STORAGE_PREFERENCE
value: eustorage
- kind: mirror
managed: true
overrides:
env:
- name: QUAY_DISTRIBUTED_STORAGE_PREFERENCE
value: eustorage
+
由于 TLS 是非受管的，并且路由被管理，所以您必须使用 config 工具或直接在配置捆绑包中提供证书。如需更多信息，请参阅配置 TLS 和路由。
14.4.2. 用于区域复制的混合存储
Red Hat Quay geo-replication 支持使用不同的和多个复制目标，例如在公共云上使用 AWS S3 存储并在内部使用 Ceph 存储。这导致从所有 Red Hat Quay pod 和集群节点授予对所有存储后端的访问权限的关键要求。因此，建议您使用以下方法：
- 用于防止内部存储的可见性的 VPN，或者
- 令牌对，仅允许访问 Red Hat Quay 使用的指定存储桶
这会导致 Red Hat Quay 的公共云实例可以访问内部存储，但网络将被加密、受保护的，并使用 ACL，从而满足安全要求。
如果您无法实现这些安全措施，最好部署两个不同的 Red Hat Quay registry，并使用存储库镜像作为 geo-replication 的替代选择。
第 15 章 备份和恢复由 Red Hat Quay Operator 管理的 Red Hat Quay
在 OpenShift Container Platform 上由 Red Hat Quay Operator 管理时，请使用本节中的内容备份和恢复 Red Hat Quay。
15.1. 备份 Red Hat Quay
此流程描述了如何使用 Red Hat Quay Operator 创建在 OpenShift Container Platform 上部署的 Red Hat Quay 备份
先决条件
-
使用 Red Hat Quay Operator 在 OpenShift Container Platform 上健康的 Red Hat Quay 部署（状态条件
Available设置为true） -
组件
quay、postgres和objectstorage设置为managed: true -
如果组件
明确设置为managed: true，则组件clairpostgres也被设置为managed: true（从 Red Hat Quay Operator v3.7 或更高版本开始）
如果您的部署包含部分非受管数据库或存储组件，且您使用 Postgres 或 S3 兼容对象存储的外部服务来运行 Red Hat Quay 部署，则必须引用服务提供商或厂商文档来创建数据的备份。您可以参阅本指南中描述的工具作为如何备份外部 Postgres 数据库或对象存储的起点。
15.1.1. Red Hat Quay 配置备份
通过导出
QuayRegistry自定义资源来备份它：$ oc get quayregistry <quay-registry-name> -n <quay-namespace> -o yaml > quay-registry.yaml
编辑生成的
quayregistry.yaml并删除 status 部分和以下 metadata 字段：metadata.creationTimestamp metadata.finalizers metadata.generation metadata.resourceVersion metadata.uid
备份受管密钥 secret：
注意如果您正在运行早于 Red Hat Quay 3.7.0 的版本，可以跳过这一步。首次部署 Quay 时会自动生成一些 secret。它们存储在
QuayRegistry资源命名空间中名为 <quay-registry-name>-quay-registry-managed-secret-keys的 secret 中。$ oc get secret -n <quay-namespace> <quay-registry-name>-quay-registry-managed-secret-keys -o yaml > managed-secret-keys.yaml
编辑生成的
managed-secret-keys.yaml文件，并删除条目metadata.ownerReferences。您的managed-secret-keys.yaml文件应类似如下：apiVersion: v1 kind: Secret type: Opaque metadata: name: <quayname>-quay-registry-managed-secret-keys namespace: <quay-namespace> data: CONFIG_EDITOR_PW: <redacted> DATABASE_SECRET_KEY: <redacted> DB_ROOT_PW: <redacted> DB_URI: <redacted> SECRET_KEY: <redacted> SECURITY_SCANNER_V4_PSK: <redacted>
data属性下的所有信息都应保持不变。备份当前的 Quay 配置：
$ oc get secret -n <quay-namespace> $(oc get quayregistry <quay-registry-name> -n <quay-namespace> -o jsonpath='{.spec.configBundleSecret}') -o yaml > config-bundle.yaml备份挂载到 Quay pod 中的
/conf/stack/config.yaml文件：$ oc exec -it quay-pod-name -- cat /conf/stack/config.yaml > quay-config.yaml
15.1.2. 缩减 Red Hat Quay 部署
此步骤需要创建 Red Hat Quay 部署状态的一致性备份。不要省略这一步，包括 Postgres 数据库和/或 S3 兼容对象存储由外部服务提供的（由 Operator 管理）的设置中。
对于 Operator 版本 3.7 及更新版本： 通过禁用自动扩展并覆盖 Red Hat Quay、mirror worker 和 Clair 的副本数来缩减 Red Hat Quay 部署。您的
QuayRegistry资源应类似如下：apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: name: registry namespace: ns spec: components: … - kind: horizontalpodautoscaler managed: false 1 - kind: quay managed: true overrides: 2 replicas: 0 - kind: clair managed: true overrides: replicas: 0 - kind: mirror managed: true overrides: replicas: 0 …对于 Operator 版本 3.6 及更早版本 ：首先缩减 Red Hat Quay Operator，然后扩展受管 Red Hat Quay 资源，从而缩减 Red Hat Quay 部署：
$ oc scale --replicas=0 deployment $(oc get deployment -n <quay-operator-namespace>|awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/quay-app/ {print $1}') -n <quay-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/quay-mirror/ {print $1}') -n <quay-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/clair-app/ {print $1}') -n <quay-namespace>等待
registry-quay-app、registry-quay-mirror和registry-clair-apppod （取决于您设置为由 Red Hat Quay Operator 管理的组件）消失。您可以运行以下命令来检查其状态：$ oc get pods -n <quay-namespace>
输出示例：
$ oc get pod quay-operator.v3.7.1-6f9d859bd-p5ftc 1/1 Running 0 12m quayregistry-clair-postgres-7487f5bd86-xnxpr 1/1 Running 1 (12m ago) 12m quayregistry-quay-app-upgrade-xq2v6 0/1 Completed 0 12m quayregistry-quay-config-editor-6dfdcfc44f-hlvwm 1/1 Running 0 73s quayregistry-quay-database-859d5445ff-cqthr 1/1 Running 0 12m quayregistry-quay-redis-84f888776f-hhgms 1/1 Running 0 12m
15.1.3. Red Hat Quay 管理的数据库备份
如果您的 Red Hat Quay 部署配置了外部（未协调） Postgres 数据库，请参阅您的厂商文档来了解如何创建这些数据库的一致性备份。
识别 Quay PostgreSQL pod 名称：
$ oc get pod -l quay-component=postgres -n <quay-namespace> -o jsonpath='{.items[0].metadata.name}'输出示例：
quayregistry-quay-database-59f54bb7-58xs7
获取 Quay 数据库名称：
$ oc -n <quay-namespace> rsh $(oc get pod -l app=quay -o NAME -n <quay-namespace> |head -n 1) cat /conf/stack/config.yaml|awk -F"/" '/^DB_URI/ {print $4}' quayregistry-quay-database下载备份数据库：
$ oc exec quayregistry-quay-database-59f54bb7-58xs7 -- /usr/bin/pg_dump -C quayregistry-quay-database > backup.sql
15.1.3.1. Red Hat Quay 受管对象存储备份
本节中的说明适用于以下配置：
- 独立多云对象网关配置
- OpenShift Data Foundation 存储要求 Red Hat Quay Operator 通过 ObjectStorageBucketClaim API 从中置备 S3 对象存储存储桶
如果您的 Red Hat Quay 部署配置了外部（未授权）对象存储，请参阅您的厂商文档来了解如何创建 Quay 存储桶内容副本。
解码并导出
AWS_ACCESS_KEY_ID：$ export AWS_ACCESS_KEY_ID=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_ACCESS_KEY_ID}' |base64 -d)解码并导出
AWS_SECRET_ACCESS_KEY_ID：$ export AWS_SECRET_ACCESS_KEY=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_SECRET_ACCESS_KEY}' |base64 -d)创建新目录并将所有 Blob 复制到其中：
$ mkdir blobs $ aws s3 sync --no-verify-ssl --endpoint https://$(oc get route s3 -n openshift-storage -o jsonpath='{.spec.host}') s3://$(oc get cm -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.BUCKET_NAME}') ./blobs
15.1.4. 扩展 Red Hat Quay 部署备份
对于 Operator 版本 3.7 及更新版本： 根据需要重新启用自动扩展（如果需要），并删除 Quay、镜像 worker 和 Clair 的副本覆盖来扩展 Red Hat Quay 部署。您的
QuayRegistry资源应类似如下：apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: name: registry namespace: ns spec: components: … - kind: horizontalpodautoscaler managed: true 1 - kind: quay 2 managed: true - kind: clair managed: true - kind: mirror managed: true …对于 Operator 版本 3.6 及更早版本： 再次扩展 Red Hat Quay Operator，扩展 Red Hat Quay 部署：
$ oc scale --replicas=1 deployment $(oc get deployment -n <quay-operator-namespace> | awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>检查 Red Hat Quay 部署的状态：
$ oc wait quayregistry registry --for=condition=Available=true -n <quay-namespace>
输出示例：
apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: ... name: registry namespace: <quay-namespace> ... spec: ... status: - lastTransitionTime: '2022-06-20T05:31:17Z' lastUpdateTime: '2022-06-20T17:31:13Z' message: All components reporting as healthy reason: HealthChecksPassing status: 'True' type: Available
15.2. 恢复 Red Hat Quay
当 Red Hat Quay Operator 管理数据库时，这个过程用于恢复 Red Hat Quay。它应在执行 Red Hat Quay registry 备份后执行。如需更多信息，请参阅 备份 Red Hat Quay。
先决条件
- Red Hat Quay 使用 Red Hat Quay Operator 在 OpenShift Container Platform 上部署。
- 按照 Backing up Red Hat Quay 部分的说明创建了由 Red Hat Quay Operator 管理的 Red Hat Quay 配置的备份
- 您的 Red Hat Quay 数据库已被备份。
- Red Hat Quay 使用的对象存储桶已被备份。
-
组件
quay、postgres和objectstorage设置为managed: true -
如果将组件
冲突设置为managed: true，则组件clairpostgres也被设置为managed: true（从 Red Hat Quay Operator v3.7 或更高版本开始） - 在 OpenShift Container Platform 集群上的目标命名空间中没有由 Red Hat Quay Operator 管理的 Red Hat Quay 部署
如果您的部署包含部分非受管数据库或存储组件，且您使用 Postgres 或 S3 兼容对象存储的外部服务来运行 Red Hat Quay 部署，您必须在恢复 Red Hat Quay 之前从备份中恢复其数据。
15.2.1. 从备份中恢复 Red Hat Quay 及其配置
这些说明假设您遵循 备份 Red Hat Quay 指南中的过程，并使用相同的名称创建备份文件。
从备份中恢复备份的 Red Hat Quay 配置和生成的密钥：
$ oc create -f ./config-bundle.yaml $ oc create -f ./managed-secret-keys.yaml
重要如果您从服务器收到 Error 错误(AlreadyExists)：在创建 "./config-bundle.yaml": secrets "config-bundle-secret" already exists 时出错，您必须使用$ oc delete Secret config-bundle-secret -n <quay-namespace>重新创建它，并使用$ oc create -f ./config-bundle.yaml重新创建它。恢复
QuayRegistry自定义资源：$ oc create -f ./quay-registry.yaml
检查 Red Hat Quay 部署的状态并等待它可用：
$ oc wait quayregistry registry --for=condition=Available=true -n <quay-namespace>
15.2.2. 缩减 Red Hat Quay 部署
对于 Operator 版本 3.7 及更新版本： 通过禁用自动扩展并覆盖 Quay、镜像 worker 和 Clair （如果受管）的副本数来缩减 Red Hat Quay 部署。您的
QuayRegistry资源应类似如下：apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: name: registry namespace: ns spec: components: … - kind: horizontalpodautoscaler managed: false 1 - kind: quay managed: true overrides: 2 replicas: 0 - kind: clair managed: true overrides: replicas: 0 - kind: mirror managed: true overrides: replicas: 0 …对于 Operator 版本 3.6 及更早版本： 首先缩减 Red Hat Quay Operator，然后扩展受管 Red Hat Quay 资源来缩减 Red Hat Quay 部署：
$ oc scale --replicas=0 deployment $(oc get deployment -n <quay-operator-namespace>|awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/quay-app/ {print $1}') -n <quay-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/quay-mirror/ {print $1}') -n <quay-namespace> $ oc scale --replicas=0 deployment $(oc get deployment -n <quay-namespace>|awk '/clair-app/ {print $1}') -n <quay-namespace>等待
registry-quay-app、registry-quay-mirror和registry-clair-apppod （取决于您设置为由 Operator 管理的组件）消失。您可以运行以下命令来检查其状态：$ oc get pods -n <quay-namespace>
输出示例：
registry-quay-config-editor-77847fc4f5-nsbbv 1/1 Running 0 9m1s registry-quay-database-66969cd859-n2ssm 1/1 Running 0 6d1h registry-quay-redis-7cc5f6c977-956g8 1/1 Running 0 5d21h
15.2.3. 恢复 Red Hat Quay 数据库
识别您的 Quay 数据库 pod:
$ oc get pod -l quay-component=postgres -n <quay-namespace> -o jsonpath='{.items[0].metadata.name}'输出示例：
quayregistry-quay-database-59f54bb7-58xs7
通过从本地环境复制到 pod 来上传备份：
$ oc cp ./backup.sql -n <quay-namespace> registry-quay-database-66969cd859-n2ssm:/tmp/backup.sql
为数据库打开远程终端：
$ oc rsh -n <quay-namespace> registry-quay-database-66969cd859-n2ssm
输入 psql ：
bash-4.4$ psql
您可以运行以下命令来列出数据库：
postgres=# \l
输出示例：
List of databases Name | Owner | Encoding | Collate | Ctype | Access privileges ----------------------------+----------------------------+----------+------------+------------+----------------------- postgres | postgres | UTF8 | en_US.utf8 | en_US.utf8 | quayregistry-quay-database | quayregistry-quay-database | UTF8 | en_US.utf8 | en_US.utf8 |丢弃数据库：
postgres=# DROP DATABASE "quayregistry-quay-database";
输出示例：
DROP DATABASE
退出 postgres CLI 以重新输入 bash-4.4:
\q
将 PostgreSQL 数据库重定向到备份数据库：
sh-4.4$ psql < /tmp/backup.sql
退出 bash：
sh-4.4$ exit
15.2.4. 恢复 Red Hat Quay 对象存储数据
导出
AWS_ACCESS_KEY_ID：$ export AWS_ACCESS_KEY_ID=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_ACCESS_KEY_ID}' |base64 -d)导出
AWS_SECRET_ACCESS_KEY：$ export AWS_SECRET_ACCESS_KEY=$(oc get secret -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.AWS_SECRET_ACCESS_KEY}' |base64 -d)运行以下命令，将所有 Blob 上传到存储桶：
$ aws s3 sync --no-verify-ssl --endpoint https://$(oc get route s3 -n openshift-storage -o jsonpath='{.spec.host}') ./blobs s3://$(oc get cm -l app=noobaa -n <quay-namespace> -o jsonpath='{.items[0].data.BUCKET_NAME}')
15.2.5. 扩展 Red Hat Quay 部署
对于 Operator 版本 3.7 及更新版本： 根据需要重新启用自动扩展（如果需要），并删除 Quay、镜像 worker 和 Clair 的副本覆盖来扩展 Red Hat Quay 部署。您的
QuayRegistry资源应类似如下：apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: name: registry namespace: ns spec: components: … - kind: horizontalpodautoscaler managed: true 1 - kind: quay 2 managed: true - kind: clair managed: true - kind: mirror managed: true …对于 Operator 版本 3.6 及更早版本： 再次扩展 Red Hat Quay Operator，扩展 Red Hat Quay 部署：
$ oc scale --replicas=1 deployment $(oc get deployment -n <quay-operator-namespace> | awk '/^quay-operator/ {print $1}') -n <quay-operator-namespace>检查 Red Hat Quay 部署的状态：
$ oc wait quayregistry registry --for=condition=Available=true -n <quay-namespace>
输出示例：
apiVersion: quay.redhat.com/v1 kind: QuayRegistry metadata: ... name: registry namespace: <quay-namespace> ... spec: ... status: - lastTransitionTime: '2022-06-20T05:31:17Z' lastUpdateTime: '2022-06-20T17:31:13Z' message: All components reporting as healthy reason: HealthChecksPassing status: 'True' type: Available
第 16 章 将独立 Quay 部署迁移到 Red Hat Quay Operator 管理的部署
以下流程允许您备份独立 Red Hat Quay 部署，并将其迁移到 OpenShift Container Platform 上的 Red Hat Quay Operator。
16.1. 备份独立 Red Hat Quay 部署
流程
备份独立部署的 Quay
config.yaml：$ mkdir /tmp/quay-backup $ cp /path/to/Quay/config/directory/config.yaml /tmp/quay-backup
创建独立 Quay 部署所使用的数据库的备份：
$ pg_dump -h DB_HOST -p 5432 -d QUAY_DATABASE_NAME -U QUAY_DATABASE_USER -W -O > /tmp/quay-backup/quay-database-backup.sql
- 如果还没有安装 AWS CLI。
创建
~/.aws/目录：$ mkdir ~/.aws/
从独立部署的 Quay
config.yaml获取access_key和secret_key：$ grep -i DISTRIBUTED_STORAGE_CONFIG -A10 /tmp/quay-backup/config.yaml
输出示例：
DISTRIBUTED_STORAGE_CONFIG: minio-1: - RadosGWStorage - access_key: ########## bucket_name: quay hostname: 172.24.10.50 is_secure: false port: "9000" secret_key: ########## storage_path: /datastorage/registry将 Quay
config.yaml文件中的access_key和secret_key存储在~/.aws目录中：$ touch ~/.aws/credentials
可选：检查您的
access_key和secret_key是否已存储：$ cat > ~/.aws/credentials << EOF [default] aws_access_key_id = ACCESS_KEY_FROM_QUAY_CONFIG aws_secret_access_key = SECRET_KEY_FROM_QUAY_CONFIG EOF
输出示例：
aws_access_key_id = ACCESS_KEY_FROM_QUAY_CONFIG aws_secret_access_key = SECRET_KEY_FROM_QUAY_CONFIG
注意如果
aws cli没有从'~/.aws/credentials 文件中自动收集access_key和secret_key，您可以通过运行aws 配置并手动输入凭证来配置它们。在
quay-backup目录中，创建一个bucket_backup目录：$ mkdir /tmp/quay-backup/bucket-backup
从 S3 存储备份所有 Blob：
$ aws s3 sync --no-verify-ssl --endpoint-url https://PUBLIC_S3_ENDPOINT:PORT s3://QUAY_BUCKET/ /tmp/quay-backup/bucket-backup/
注意PUBLIC_S3_ENDPOINT可以从DISTRIBUTED_STORAGE_CONFIG中的hostname下的 Quayconfig.yaml文件中读取。如果端点不安全，请在端点 URL 中使用http而不是https。
此时，您应该拥有本地存储的所有 Quay 数据、blob、数据库和 config.yaml 文件的完整备份。在以下部分中，您要将独立部署备份迁移到 OpenShift Container Platform 上的 Red Hat Quay。
16.2. 使用备份的独立内容迁移到 OpenShift Container Platform。
先决条件
-
您的独立 Red Hat Quay 数据、blob、数据库和
config.yaml已备份。 - Red Hat Quay 使用 Quay Operator 在 OpenShift Container Platform 上部署。
-
将所有组件设置为
managed的QuayRegistry。
本文档中的步骤使用以下命名空间： quay-enterprise。
缩减 Red Hat Quay Operator：
$ oc scale --replicas=0 deployment quay-operator.v3.6.2 -n openshift-operators
缩减应用程序和镜像部署：
$ oc scale --replicas=0 deployment QUAY_MAIN_APP_DEPLOYMENT QUAY_MIRROR_DEPLOYMENT
将数据库 SQL 备份复制到 Quay PostgreSQL 数据库实例：
$ oc cp /tmp/user/quay-backup/quay-database-backup.sql quay-enterprise/quayregistry-quay-database-54956cdd54-p7b2w:/var/lib/pgsql/data/userdata
从 Operator 创建的
config.yaml文件获取数据库密码：$ oc get deployment quay-quay-app -o json | jq '.spec.template.spec.volumes[].projected.sources' | grep -i config-secret
输出示例：
"name": "QUAY_CONFIG_SECRET_NAME"
$ oc get secret quay-quay-config-secret-9t77hb84tb -o json | jq '.data."config.yaml"' | cut -d '"' -f2 | base64 -d -w0 > /tmp/quay-backup/operator-quay-config-yaml-backup.yaml
cat /tmp/quay-backup/operator-quay-config-yaml-backup.yaml | grep -i DB_URI
输出示例：
postgresql://QUAY_DATABASE_OWNER:PASSWORD@DATABASE_HOST/QUAY_DATABASE_NAME
在数据库 pod 中执行 shell：
# oc exec -it quay-postgresql-database-pod -- /bin/bash
输入 psql ：
bash-4.4$ psql
丢弃数据库：
postgres=# DROP DATABASE "example-restore-registry-quay-database";
输出示例：
DROP DATABASE
创建新数据库并设置与相同名称的所有者：
postgres=# CREATE DATABASE "example-restore-registry-quay-database" OWNER "example-restore-registry-quay-database";
输出示例：
CREATE DATABASE
连接到数据库：
postgres=# \c "example-restore-registry-quay-database";
输出示例：
You are now connected to database "example-restore-registry-quay-database" as user "postgres".
为 Quay 数据库创建
pg_trmg扩展：example-restore-registry-quay-database=# create extension pg_trgm ;
输出示例：
CREATE EXTENSION
退出 postgres CLI 以重新输入 bash-4.4:
\q
为您的 PostgreSQL 部署设置密码：
bash-4.4$ psql -h localhost -d "QUAY_DATABASE_NAME" -U QUAY_DATABASE_OWNER -W < /var/lib/pgsql/data/userdata/quay-database-backup.sql
输出示例：
SET SET SET SET SET
退出 bash 模式：
bash-4.4$ exit
为 Red Hat Quay Operator 创建新的配置捆绑包。
$ touch config-bundle.yaml
在您的新
config-bundle.yaml中，包括 registry 所需的所有信息，如 LDAP 配置、密钥和其他旧 registry 有的修改。运行以下命令，将secret_key移到config-bundle.yaml中：$ cat /tmp/quay-backup/config.yaml | grep SECRET_KEY > /tmp/quay-backup/config-bundle.yaml
注意您必须手动复制所有 LDAP、OIDC 和其他信息，并将其添加到 /tmp/quay-backup/config-bundle.yaml 文件中。
在 OpenShift 集群中创建配置捆绑包 secret：
$ oc create secret generic new-custom-config-bundle --from-file=config.yaml=/tmp/quay-backup/config-bundle.yaml
扩展 Quay pod:
$ oc scale --replicas=1 deployment quayregistry-quay-app deployment.apps/quayregistry-quay-app scaled
扩展镜像 pod：
$ oc scale --replicas=1 deployment quayregistry-quay-mirror deployment.apps/quayregistry-quay-mirror scaled
对
QuayRegistryCRD 进行补丁，使其包含对新自定义配置捆绑包的引用：$ oc patch quayregistry QUAY_REGISTRY_NAME --type=merge -p '{"spec":{"configBundleSecret":"new-custom-config-bundle"}}'注意如果 Quay 返回一个
500个内部服务器错误，您可能需要将DISTRIBUTED_STORAGE_CONFIG的位置更新为默认值。在
/.aws/目录中创建一个新的 AWScredentials.yaml，并从 Operator 创建的config.yaml文件包含access_key和secret_key：$ touch credentials.yaml
$ grep -i DISTRIBUTED_STORAGE_CONFIG -A10 /tmp/quay-backup/operator-quay-config-yaml-backup.yaml
$ cat > ~/.aws/credentials << EOF [default] aws_access_key_id = ACCESS_KEY_FROM_QUAY_CONFIG aws_secret_access_key = SECRET_KEY_FROM_QUAY_CONFIG EOF
注意如果
aws cli没有从'~/.aws/credentials 文件中自动收集access_key和secret_key，您可以通过运行aws 配置并手动输入凭证来配置它们。记录 NooBaa 的公共可用端点：
$ oc get route s3 -n openshift-storage -o yaml -o jsonpath="{.spec.host}{'\n'}"将备份数据同步到 NooBaa 后端存储：
$ aws s3 sync --no-verify-ssl --endpoint-url https://NOOBAA_PUBLIC_S3_ROUTE /tmp/quay-backup/bucket-backup/* s3://QUAY_DATASTORE_BUCKET_NAME
将 Operator 扩展至 1 个 pod：
$ oc scale –replicas=1 deployment quay-operator.v3.6.4 -n openshift-operators
Operator 将使用提供的自定义配置捆绑包，并协调所有 secret 和部署。OpenShift Container Platform 上的新 Quay 部署应包含旧部署具有的所有信息。所有镜像都应可拉取。
第 17 章 在独立部署中备份和恢复 Red Hat Quay
使用本节中的内容在独立部署中备份和恢复 Red Hat Quay。
17.1. 在独立部署中备份 Red Hat Quay
此流程描述了如何在独立部署中创建 Red Hat Quay 备份。
流程
创建临时备份目录，如
quay-backup：$ mkdir /tmp/quay-backup
以下示例命令表示 Red Hat Quay 启动的本地目录，例如
/opt/quay-install：$ podman run --name quay-app \ -v /opt/quay-install/config:/conf/stack:Z \ -v /opt/quay-install/storage:/datastorage:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5
运行以下命令，切换到容器中的 bind-mounts 到
/conf/stack的目录，如/opt/quay-install：$ cd /opt/quay-install
输入以下命令将 Red Hat Quay 部署的内容压缩到
quay-backup目录中的存档中：$ tar cvf /tmp/quay-backup/quay-backup.tar.gz *
输出示例：
config.yaml config.yaml.bak extra_ca_certs/ extra_ca_certs/ca.crt ssl.cert ssl.key
输入以下命令备份 Quay 容器服务：
$ podman inspect quay-app | jq -r '.[0].Config.CreateCommand | .[]' | paste -s -d ' ' - /usr/bin/podman run --name quay-app \ -v /opt/quay-install/config:/conf/stack:Z \ -v /opt/quay-install/storage:/datastorage:Z \ registry.redhat.io/quay/quay-rhel8:v3.8.5
输入以下命令将
conf/stack/config.yaml文件的内容重定向到临时quay-config.yaml文件：$ podman exec -it quay cat /conf/stack/config.yaml > /tmp/quay-backup/quay-config.yaml
输入以下命令获取位于临时
quay-config.yaml中的DB_URI：$ grep DB_URI /tmp/quay-backup/quay-config.yaml
输出示例：
$ postgresql://<username>:test123@172.24.10.50/quay
输入以下命令将 PostgreSQL 内容提取到备份 .sql 文件中的临时备份目录中：
$ pg_dump -h 172.24.10.50 -p 5432 -d quay -U <username> -W -O > /tmp/quay-backup/quay-backup.sql
输入以下命令输出
DISTRIBUTED_STORAGE_CONFIG的内容：DISTRIBUTED_STORAGE_CONFIG: default: - S3Storage - s3_bucket: <bucket_name> storage_path: /registry s3_access_key: <s3_access_key> s3_secret_key: <s3_secret_key> host: <host_name>使用在第 7 步中获取的
access_key凭证导出AWS_ACCESS_KEY_ID：$ export AWS_ACCESS_KEY_ID=<access_key>
使用在第 7 步中获取的
secret_key导出AWS_SECRET_ACCESS_KEY：$ export AWS_SECRET_ACCESS_KEY=<secret_key>
将
quay存储桶从DISTRIBUTED_STORAGE_CONFIG的主机名同步到/tmp/quay-backup/blob-backup/目录：$ aws s3 sync s3://<bucket_name> /tmp/quay-backup/blob-backup/ --source-region us-east-2
输出示例：
download: s3://<user_name>/registry/sha256/9c/9c3181779a868e09698b567a3c42f3744584ddb1398efe2c4ba569a99b823f7a to registry/sha256/9c/9c3181779a868e09698b567a3c42f3744584ddb1398efe2c4ba569a99b823f7a download: s3://<user_name>/registry/sha256/e9/e9c5463f15f0fd62df3898b36ace8d15386a6813ffb470f332698ecb34af5b0d to registry/sha256/e9/e9c5463f15f0fd62df3898b36ace8d15386a6813ffb470f332698ecb34af5b0d
建议您在同步 quay 存储桶后删除 quay-config.yaml 文件，因为它包含敏感信息。quay-config.yaml 文件不会丢失，因为它在 quay-backup.tar.gz 文件中备份。
17.2. 在独立部署中恢复 Red Hat Quay
此流程描述了如何在独立部署中恢复 Red Hat Quay。
先决条件
- 您已备份了 Red Hat Quay 部署。
流程
在 Red Hat Quay 容器中创建一个将 bind-mount 到
/conf/stack的新目录：$ mkdir /opt/new-quay-install
将 在独立部署中备份 Red Hat Quay 中创建的临时备份目录的内容复制到在第 1 步中创建的
new-quay-install1目录中：$ cp /tmp/quay-backup/quay-backup.tar.gz /opt/new-quay-install/
输入以下命令进入
new-quay-install目录：$ cd /opt/new-quay-install/
提取 Red Hat Quay 目录的内容：
$ tar xvf /tmp/quay-backup/quay-backup.tar.gz *
输出示例：
config.yaml config.yaml.bak extra_ca_certs/ extra_ca_certs/ca.crt ssl.cert ssl.key
输入以下命令从备份
config.yaml文件中重新调用DB_URI：$ grep DB_URI config.yaml
输出示例：
postgresql://<username>:test123@172.24.10.50/quay
运行以下命令来进入 PostgreSQL 数据库服务器：
$ sudo postgres
输入以下命令，输入 psql 并在 IANA10.50 中创建一个新数据库，以恢复 quay 数据库，如
example_restore_registry_quay_database：$ psql "host=172.24.10.50 port=5432 dbname=postgres user=<username> password=test123" postgres=> CREATE DATABASE example_restore_registry_quay_database;
输出示例：
CREATE DATABASE
运行以下命令连接到数据库：
postgres=# \c "example-restore-registry-quay-database";
输出示例：
You are now connected to database "example-restore-registry-quay-database" as user "postgres".
运行以下命令，为 Quay 数据库创建
pg_trmg扩展：example_restore_registry_quay_database=> CREATE EXTENSION IF NOT EXISTS pg_trgm;
输出示例：
CREATE EXTENSION
输入以下命令退出 postgres CLI：
\q
运行以下命令，将数据库备份导入到您的新数据库：
$ psql "host=172.24.10.50 port=5432 dbname=example_restore_registry_quay_database user=<username> password=test123" -W < /tmp/quay-backup/quay-backup.sql
输出示例：
SET SET SET SET SET
在重启 Red Hat Quay 部署前，将
config.yaml中的DB_URI从postgresql://<username>:test123@172.24.10.50/quay更新至postgresql://<username>:test123@172.24.10.50/example-restore-registry-quay-database。注意DB_URI 格式为 DB_
URI postgresql://<login_user_name>:<login_user_password>@<postgresql_host>/<quay_database>。如果您要从一个 PostgreSQL 服务器移动到另一个 PostgreSQL 服务器，请同时更新 <login_user_name>、<login_user_password>和<postgresql_host> 的值。在
/opt/new-quay-install目录中，打印DISTRIBUTED_STORAGE_CONFIG捆绑包的内容：$ cat config.yaml | grep DISTRIBUTED_STORAGE_CONFIG -A10
输出示例：
DISTRIBUTED_STORAGE_CONFIG: default: DISTRIBUTED_STORAGE_CONFIG: default: - S3Storage - s3_bucket: <bucket_name> storage_path: /registry s3_access_key: <s3_access_key> s3_secret_key: <s3_secret_key> host: <host_name>注意在重启 Red Hat Quay 部署前，必须更新
/opt/new-quay-install中的DISTRIBUTED_STORAGE_CONFIG。使用第 13 步中获取的
access_key凭证导出AWS_ACCESS_KEY_ID：$ export AWS_ACCESS_KEY_ID=<access_key>
使用在第 13 步中获取的
secret_key导出AWS_SECRET_ACCESS_KEY：$ export AWS_SECRET_ACCESS_KEY=<secret_key>
输入以下命令创建新的 s3 存储桶：
$ aws s3 mb s3://<new_bucket_name> --region us-east-2
输出示例：
$ make_bucket: quay
输入以下命令将所有 Blob 上传到新的 s3 存储桶：
$ aws s3 sync --no-verify-ssl \ --endpoint-url <example_endpoint_url> 1 /tmp/quay-backup/blob-backup/. s3://quay/- 1
- Red Hat Quay registry 端点必须在备份和恢复前相同。
输出示例：
upload: ../../tmp/quay-backup/blob-backup/datastorage/registry/sha256/50/505edb46ea5d32b5cbe275eb766d960842a52ee77ac225e4dc8abb12f409a30d to s3://quay/datastorage/registry/sha256/50/505edb46ea5d32b5cbe275eb766d960842a52ee77ac225e4dc8abb12f409a30d upload: ../../tmp/quay-backup/blob-backup/datastorage/registry/sha256/27/27930dc06c2ee27ac6f543ba0e93640dd21eea458eac47355e8e5989dea087d0 to s3://quay/datastorage/registry/sha256/27/27930dc06c2ee27ac6f543ba0e93640dd21eea458eac47355e8e5989dea087d0 upload: ../../tmp/quay-backup/blob-backup/datastorage/registry/sha256/8c/8c7daf5e20eee45ffe4b36761c4bb6729fb3ee60d4f588f712989939323110ec to s3://quay/datastorage/registry/sha256/8c/8c7daf5e20eee45ffe4b36761c4bb6729fb3ee60d4f588f712989939323110ec ...
在重启 Red Hat Quay 部署前，更新 config.yaml 中的存储设置：
DISTRIBUTED_STORAGE_CONFIG: default: DISTRIBUTED_STORAGE_CONFIG: default: - S3Storage - s3_bucket: <new_bucket_name> storage_path: /registry s3_access_key: <s3_access_key> s3_secret_key: <s3_secret_key> host: <host_name>
第 18 章 Red Hat Quay 垃圾回收
18.1. 关于 Red Hat Quay 垃圾回收
Red Hat Quay 包括自动和持续的镜像垃圾回收。垃圾回收通过删除可占用量磁盘空间（如悬停或未标记的镜像、存储库和 Blob）的对象（包括层和清单）来有效地将资源用于活跃对象。Red Hat Quay 执行垃圾回收可减少您组织的环境中的停机时间。
18.2. 在实践中 Red Hat Quay 垃圾回收
目前，所有垃圾回收都会发生不好地发生；没有命令来手动运行垃圾回收。Red Hat Quay 提供跟踪不同垃圾回收 worker 状态的指标。
对于命名空间和存储库垃圾回收，会根据相应队列的大小跟踪进度。命名空间和存储库垃圾回收 worker 需要全局锁定才能正常工作。因此，出于性能原因，一次只能运行一个 worker。
Red Hat Quay 在命名空间和存储库间共享 Blob，以便节省磁盘空间。例如，如果推送了相同的镜像，则仅存储该镜像的一个副本。
标签可以与已在 Red Hat Quay 中的某个位置存储的不同镜像共享其层。在这种情况下，blob 将保留在存储中，因为删除共享 Blob 会导致其他镜像不可用。
blob 过期时间独立于时间机器。如果您将标签推送到 Red Hat Quay，且时间机器被设置为 0 秒，然后您立即删除标签，垃圾回收会删除与该标签相关的标签，但不会在达到 blob 过期时间前删除 blob 存储。
垃圾回收镜像的工作方式与命名空间或仓库上的垃圾回收不同。垃圾回收工作者不会处理项目队列，而是主动搜索带有不活跃或过期标签的存储库来清理。垃圾回收 worker 的每个实例都会获得一个存储库锁定，这样可为每个存储库生成一个 worker。
- 在 Red Hat Quay 中，不活跃或过期的标签是没有标签的清单，因为最后一个标签已被删除或过期。清单存储有关如何为每个标签组成镜像并存储在数据库中的信息。当标签被删除并从 Time Machine 分配的时间时，Red Hat Quay 垃圾收集未连接到 registry 中任何其他清单的 Blob。如果特定的 Blob 连接到清单，则会将其保存在存储中，且仅与要删除的清单的连接才会被删除。
- 已过期的镜像将在分配时间后消失，但仍存储在 Red Hat Quay 中。镜像被完全删除或收集的时间取决于您的机构的 Time Machine 设置。除非另有指定，垃圾回收的默认时间为 14 天。在这段时间之前，标签可以指向已过期或删除的镜像。
对于每种垃圾回收，Red Hat Quay 会为每个垃圾回收 worker 删除的每个表删除的行数提供指标。下图显示了 Red Hat Quay 如何使用相同的指标监控垃圾回收的示例：
18.2.1. 测量存储重新声明
Red Hat Quay 无法跟踪垃圾回收所释放的空间。目前，这一点的最佳指示是检查提供的指标中已删除多少 Blob。
Red Hat Quay 指标中的 UploadedBlob 表跟踪与存储库关联的各种 Blob。上传 Blob 时，在 PUSH_TEMP_TAG_EXPIRATION_SEC 参数指定的时间之前不会收集它。这是为了避免永久删除属于持续推送的 Blob。例如，如果将垃圾回收设置为频繁运行，且在一小时的 span 并删除标签，则相关的 Blob 可能会立即清理。相反，假设由 PUSH_TEMP_TAG_EXPIRATION_SEC 参数指定的时间已通过，相关的 Blob 将被删除在同一存储库上运行的垃圾回收。
18.3. 垃圾回收配置字段
以下配置字段可用于自定义垃圾回收所收集的内容，以及垃圾回收的频率：
| Name | 描述 | 模式 |
|---|---|---|
| FEATURE_GARBAGE_COLLECTION |
是否为镜像标签启用垃圾回收。默认值为 | 布尔值 |
| FEATURE_NAMESPACE_GARBAGE_COLLECTION |
是否为命名空间启用垃圾回收。默认值为 | 布尔值 |
| FEATURE_REPOSITORY_GARBAGE_COLLECTION |
是否为存储库启用垃圾回收。默认值为 | 布尔值 |
| GARBAGE_COLLECTION_FREQUENCY | 垃圾回收 worker 运行的频率（以秒为单位）。只影响垃圾回收 worker。默认值为 30 秒。 | 字符串 |
| PUSH_TEMP_TAG_EXPIRATION_SEC | 上传后不会收集 Blob 的秒数。此功能可防止垃圾回收清理尚未引用的 Blob，但仍用作持续推送的一部分。 | 字符串 |
| TAG_EXPIRATION_OPTIONS | 有效标签过期值列表。 | 字符串 |
| DEFAULT_TAG_EXPIRATION | 标签机器过期时间。 | 字符串 |
| CLEAN_BLOB_UPLOAD_FOLDER | 自动清理 S3 多部分上传中保留的过时的 Blob。默认情况下，每小时清理超过 2 天的 Blob 文件。 | 布尔值
+ 默认： |
18.4. 禁用垃圾回收
镜像标签、命名空间和存储库的垃圾回收功能存储在 config.yaml 文件中。这些功能默认为 true。
在个别情况下，您可能想要禁用垃圾回收，例如，控制何时执行垃圾回收。您可以通过将 GARBAGE_COLLECTION 功能设置为 false 来禁用垃圾回收。禁用后，不会删除悬停或未标记的镜像、存储库、命名空间、层和清单。这可能会增加环境的停机时间。
没有命令来手动运行垃圾回收。相反，您可以禁用，然后重新启用垃圾回收功能。
18.5. 垃圾回收和配额管理
Red Hat Quay 在 3.7 中引入了配额管理。通过配额管理，用户可以通过建立配置的存储配额限制来报告存储消耗并包含 registry 增长。
从 Red Hat Quay 3.7 开始，垃圾回收会重新声明在删除后分配给镜像、存储库和 Blob 的内存。因为垃圾回收功能会在删除后回收内存，所以在环境磁盘空间中存储的内容和报告配额管理作为总消耗量之间有一个差异。当前没有解决此问题的方法。
18.6. 实践中的垃圾回收
使用以下步骤检查 Red Hat Quay 日志以确保垃圾回收正常工作。
流程
输入以下命令来确保垃圾回收正常工作：
$ sudo podman logs <container_id>
输出示例：
gcworker stdout | 2022-11-14 18:46:52,458 [63] [INFO] [apscheduler.executors.default] Job "GarbageCollectionWorker._garbage_collection_repos (trigger: interval[0:00:30], next run at: 2022-11-14 18:47:22 UTC)" executed successfully
- 删除镜像标签。
输入以下命令以确保标签已被删除：
$ podman logs quay-app
输出示例：
gunicorn-web stdout | 2022-11-14 19:23:44,574 [233] [INFO] [gunicorn.access] 192.168.0.38 - - [14/Nov/2022:19:23:44 +0000] "DELETE /api/v1/repository/quayadmin/busybox/tag/test HTTP/1.0" 204 0 "http://quay-server.example.com/repository/quayadmin/busybox?tab=tags" "Mozilla/5.0 (X11; Linux x86_64; rv:102.0) Gecko/20100101 Firefox/102.0"
18.7. Red Hat Quay 垃圾回收指标
以下指标显示垃圾回收删除了多少个资源。这些指标显示垃圾回收 worker 运行的次数以及删除了命名空间、存储库和 Blob 的数量。
| 指标名称 | 描述 |
|---|---|
| quay_gc_iterations_total | GCWorker 的迭代数 |
| quay_gc_namespaces_purged_total | NamespaceGCWorker 清除的命名空间数量 |
| quay_gc_repos_purged_total | RepositoryGCWorker 或 NamespaceGCWorker 清除的存储库数量 |
| quay_gc_storage_blobs_deleted_total | 删除的存储 Blob 数量 |
指标输出示例
# TYPE quay_gc_iterations_created gauge
quay_gc_iterations_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189714e+09
...
# HELP quay_gc_iterations_total number of iterations by the GCWorker
# TYPE quay_gc_iterations_total counter
quay_gc_iterations_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
# TYPE quay_gc_namespaces_purged_created gauge
quay_gc_namespaces_purged_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189433e+09
...
# HELP quay_gc_namespaces_purged_total number of namespaces purged by the NamespaceGCWorker
# TYPE quay_gc_namespaces_purged_total counter
quay_gc_namespaces_purged_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
....
# TYPE quay_gc_repos_purged_created gauge
quay_gc_repos_purged_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.631782319018925e+09
...
# HELP quay_gc_repos_purged_total number of repositories purged by the RepositoryGCWorker or NamespaceGCWorker
# TYPE quay_gc_repos_purged_total counter
quay_gc_repos_purged_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
# TYPE quay_gc_storage_blobs_deleted_created gauge
quay_gc_storage_blobs_deleted_created{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 1.6317823190189059e+09
...
# HELP quay_gc_storage_blobs_deleted_total number of storage blobs deleted
# TYPE quay_gc_storage_blobs_deleted_total counter
quay_gc_storage_blobs_deleted_total{host="example-registry-quay-app-6df87f7b66-9tfn6",instance="",job="quay",pid="208",process_name="secscan:application"} 0
...
第 19 章 Red Hat Quay 故障排除
常见故障模式和恢复最佳实践。
第 20 章 Red Hat Quay 配置的 schema
大多数 Red Hat Quay 配置信息都存储在 config.yaml 文件中，该文件是在首次部署 Red Hat Quay 时使用浏览器的配置工具创建的。
Red Hat Quay Configuration Guide 中描述了配置选项。