流程

1. 允许列出用于安装和下载软件包和工具的以下 URL：

   域	端口	功能
   registry.redhat.io	443	提供核心容器镜像。
   quay.io	443	提供核心容器镜像。
   .quay.io	443	提供核心容器镜像。
   sso.redhat.com	443	必需。https://console.redhat.com/openshift 站点使用 sso.redhat.com 中的身份验证下载 pull secret，并使用 Red Hat SaaS 解决方案来简化订阅、集群清单、销售报告等的监控。
   quay-registry.s3.amazonaws.com	443	提供核心容器镜像。
   ocm-quay-production-s3.s3.amazonaws.com	443	提供核心容器镜像。
   quayio-production-s3.s3.amazonaws.com	443	提供核心容器镜像。
   cart-rhcos-ci.s3.amazonaws.com	443	提供 Red Hat Enterprise Linux CoreOS (RHCOS)镜像。
   openshift.org	443	提供 Red Hat Enterprise Linux CoreOS (RHCOS)镜像。
   registry.access.redhat.com [1]	443	托管存储在 Red Hat Ecosytem Catalog 中的所有容器镜像。另外，registry 提供了对 odo CLI 工具的访问，可帮助开发人员在 OpenShift 和 Kubernetes 上进行构建。
   registry.connect.redhat.com	443	所有第三方镜像和认证 Operator 都需要。
   console.redhat.com	443	必需。允许集群和 OpenShift Console Manager 之间的交互以启用功能，如调度升级。
   sso.redhat.com	443	https://console.redhat.com/openshift 站点使用来自 sso.redhat.com的身份验证
   pull.q1w2.quay.rhcloud.com	443	当 quay.io 不可用时，提供核心容器镜像作为回退。
   .q1w2.quay.rhcloud.com	443	当 quay.io 不可用时，提供核心容器镜像作为回退。
   www.okd.io	443	openshift.org 站点通过 www.okd.io 重定向。
   www.redhat.com	443	sso.redhat.com 站点通过 www.redhat.com 重定向。
   aws.amazon.com	443	iam.amazonaws.com 和 sts.amazonaws.com 站点通过 aws.amazon.com 重定向。
   catalog.redhat.com	443	registry.access.redhat.com 和 https://registry.redhat.io 站点通过 catalog.redhat.com 重定向。
   dvbwgdztaeq9o.cloudfront.net [2]	443	ROSA 用于带有管理的 OIDC 配置的 STS 实现。
   time-a-g.nist.gov	123 [3]	允许 FedRAMP 的 NTP 流量。
   time-a-wwv.nist.gov	123 [3]	允许 FedRAMP 的 NTP 流量。
   time-a-b.nist.gov	123 [3]	允许 FedRAMP 的 NTP 流量。

   1. 在防火墙环境中，确保 access.redhat.com 资源位于允许列表中。此资源托管容器客户端在从 registry.access.redhat.com 中拉取镜像时验证镜像所需的签名存储。
   2. 如果 cloudfront.net 前面有一个主要云前端中断需要重定向资源，则字母数字字符的字符串可能会改变。
   3. TCP 和 UDP 端口。

   当您将 quay.io 等站点添加到允许列表中时，请不要将通配符条目（如 .quay.io ）添加到您的 denylist 中。在大多数情况下，镜像 registry 使用内容交付网络（CDN）来提供镜像。如果防火墙阻止访问，那么当初始下载请求重定向到一个主机名（如 cdn01.quay.io ）时，则不能下载镜像。

   当您在允许列表中添加通配符条目（如 .quay.io ）时，将涵盖 CDN 主机名，如 cdn01.quay.io。

2. 将以下遥测 URL 列入允许列表：

   域	端口	功能
   cert-api.access.redhat.com	443	遥测是必需的。
   api.access.redhat.com	443	遥测是必需的。
   infogw.api.openshift.com	443	遥测是必需的。
   console.redhat.com	443	遥测(telemetry)和 Red Hat Insights 需要。
   cloud.redhat.com/api/ingress	443	遥测(telemetry)和 Red Hat Insights 需要。
   observatorium-mst.api.openshift.com	443	受管 OpenShift 遥测需要。
   observatorium.api.openshift.com	443	受管 OpenShift 遥测需要。

   受管集群需要让红帽能够更快速地对问题做出反应，更好地支持客户，并更好地了解产品升级对集群的影响。有关红帽如何使用远程健康监控数据的更多信息，请参阅附加资源部分 关于远程健康监控 的信息。

3. 允许以下 Amazon Web Services (AWS) API URls：

   域	端口	功能
   .amazonaws.com	443	需要此项以访问 AWS 服务和资源。

   或者，如果您选择不为 Amazon Web Services (AWS) API 使用通配符，则必须允许列出以下 URL：

   域	端口	功能
   ec2.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   events.<aws_region>.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   iam.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   route53.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   sts.amazonaws.com	443	用于在 AWS 环境中安装和管理集群，用于配置为使用 AWS STS 的全局端点。
   sts.<aws_region>.amazonaws.com	443	用于在 AWS 环境中安装和管理集群，用于配置为使用 AWS STS 的区域端点的集群。如需更多信息，请参阅 AWS STS 区域端点。
   tagging.us-east-1.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。此端点始终为 us-east-1，无论集群要部署到的区域。
   ec2.<aws_region>.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   elasticloadbalancing.<aws_region>.amazonaws.com	443	用于在 AWS 环境中安装和管理集群。
   servicequotas.<aws_region>.amazonaws.com	443	必需。用于确认用于部署该服务的配额。
   tagging.<aws_region>.amazonaws.com	443	允许以标签的形式分配 AWS 资源的元数据。

4. 将以下 OpenShift URL 列入允许列表：

   域	端口	功能
   mirror.openshift.com	443	用于访问镜像安装内容和镜像。此站点也是发行版本镜像签名的来源，但 Cluster Version Operator (CVO)只需要一个可正常工作的源。
   storage.googleapis.com/openshift-release (推荐)	443	mirror.openshift.com/ 的替代站点。用于下载集群用来从 quay.io 中拉取哪些镜像的平台发行版本签名。
   api.openshift.com	443	用于检查集群是否有可用的更新。

5. 将以下站点可靠性工程(SRE)和管理 URL 列入允许：

   域	端口	功能
   api.pagerduty.com	443	集群内 alertmanager 使用此警报发送警报，通知 Red Hat SRE 要对其执行操作的事件通知。
   events.pagerduty.com	443	集群内 alertmanager 使用此警报发送警报，通知 Red Hat SRE 要对其执行操作的事件通知。
   api.deadmanssnitch.com	443	Red Hat OpenShift Service on AWS 用来发送定期 ping 的警报服务，以指示集群是否可用并在运行。
   nosnch.in	443	Red Hat OpenShift Service on AWS 用来发送定期 ping 的警报服务，以指示集群是否可用并在运行。
   .osdsecuritylogs.categoriescloud.com OR inputs1.osdsecuritylogs.categoriescloud.com inputs2.osdsecuritylogs.mvapichcloud.com inputs4.osdsecuritylogs.categoriescloud.com inputs5.osdsecuritylogs.categoriescloud.com inputs6.osdsecuritylogs.categoriescloud.com inputs7 .osdsecuritylogs.splunkcloud.cominputs8.osdsecuritylogs.zFCPcloud.com inputs9.osdsecuritylogs.12 inputs10.osdsecuritylogs.osdsecuritylogs.osdsecuritylogs11 inputs10.osdsecuritylogs.osdsecuritycom inputs10.osdsecuritylogs.osdsecuritycominputs.osdsecuritylogs.osd.osdsecuritylogs.osdsecuritycominputs5.osdsecuritylogs.com inputs10.osdsecuritylogs.cominputs10.osdsecuritylogs.osdsecuritylogs.osdsecuritylogs.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs10.osdsecuritylogs.cominputs8.osdsecuritylogs.cominputs9.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs10.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs10.osdsecuritylogs.cominputs5.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs10.osdsecuritylogs.cominputs10.osdsecuritylogs.com inputs10.osdsecuritylogs.com inputs10.osdsecuritylogs.osd.osdsecuritylogs.com inputs1.osdsecuritylogs.cominputs1.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs1.osdsecuritylogs.com inputs1.osdsecuritylogs.cominputs.osdsecuritylogs.osd.osdsecuritylogs.com inputs4.osdsecuritylogs.com inputs5.osdsecuritylogs.cominputs5.osdsecuritylogs.cominputs10.osdsecuritylogs.com inputs10.osdsecuritylogs.com inputs4.osdsecuritylogs.cominputs8.osdsecuritylogs.cominputs8.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs5.osdsecuritylogs.com inputs6.osdsecuritylogs.cominputs6.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs6.osdsecuritylogs.com inputs6.osdsecuritylogs.cominputs	9997	splunk-forwarder-operator 使用为一个日志转发端点，供 Red Hat SRE 用于基于日志的警报。
   http-inputs-osdsecuritylogs.splunkcloud.com	443	必需。splunk-forwarder-operator 使用为一个日志转发端点，供 Red Hat SRE 用于基于日志的警报。
   sftp.access.redhat.com (Recommended)	22	must-gather-operator 使用的 SFTP 服务器上传诊断日志，以帮助排除集群中的问题。

6. 将以下 URL 列入允许的可选第三方内容：

   域	端口	功能
   registry.connect.redhat.com	443	所有第三方镜像和认证操作器都需要。
   rhc4tp-prod-z8cxf-image-registry-us-east-1-evenkyleffocxqvofrk.s3.dualstack.us-east-1.amazonaws.com	443	提供对托管在 registry.connect.redhat.com上的容器镜像的访问
   oso-rhc4tp-docker-registry.s3-us-west-2.amazonaws.com	443	对于 Sonatype Nexus, F5 Big IP operator 是必需的。

7. 如果您不允许为 Amazon Web Services (AWS) API 通配符，还必须允许用于内部 OpenShift registry 的 S3 存储桶。要检索该端点，在集群成功置备后运行以下命令：

   $ oc -n openshift-image-registry get pod -l docker-registry=default -o json | jq '.items[].spec.containers[].env[] | select(.name=="REGISTRY_STORAGE_S3_BUCKET")'

   S3 端点应采用以下格式：

   '<cluster-name>-<random-string>-image-registry-<cluster-region>-<random-string>.s3.dualstack.<cluster-region>.amazonaws.com'.

8. 将提供构建所需语言或框架资源的任何站点列入允许列表。
9. 允许允许任何依赖于 OpenShift 中使用的语言和框架的出站 URL。如需防火墙或代理上允许的推荐 URL 列表，请参阅 OpenShift 出站 URL。

1. 这里的 pod 数量是 test pod 的数量。实际的 pod 数量取决于应用程序的内存、CPU 和存储要求。
2. 当有大量活跃的项目时，如果键空间增长过大并超过空间配额，etcd 的性能将会受到影响。强烈建议您定期维护 etcd 存储（包括整理碎片）来释放 etcd 存储。
3. 系统中有一些控制循环，它们必须对给定命名空间中的所有对象进行迭代，以作为对一些状态更改的响应。在单一命名空间中有大量给定类型的对象可使这些循环的运行成本变高，并降低对给定状态变化的处理速度。限制假设系统有足够的 CPU 、内存和磁盘来满足应用程序的要求。
4. 每个服务端口和每个服务后端在 iptables 中都有对应条目。给定服务的后端数量会影响端点对象的大小，这会影响到整个系统发送的数据大小。

1. io1 磁盘用于 4.10 之前的版本中的 control plane/etcd 节点。
2. 基础架构节点用于托管监控组件，因为 Prometheus 可以根据使用情况模式声明大量内存。
3. 工作负载节点专用于运行性能和可扩展工作负载生成器。

流程

1. 登录到您要使用的 Amazon Web Services (AWS)帐户。

   建议您使用专用 AWS 帐户来运行生产环境集群。如果使用 AWS Organizations，您可以使用您所在机构的 AWS 帐户或创建一个新账户。

   如果您使用 AWS 机构，且您需要有一个服务控制策略 (SCP) 应用于您计划使用的 AWS 帐户，则这些策略必须比集群所需的角色和策略更严格。

2. 在 AWS 管理控制台中启用 ROSA 服务。

   1. 登录您的 AWS 帐户。
   2. 要启用 ROSA，请转至 ROSA 服务 并选择 Enable OpenShift。

3. 安装和配置 AWS CLI。

   1. 按照 AWS 命令行界面文档为您的操作系统 安装和配置 AWS CLI。

      在 .aws/credentials 文件中指定正确的 aws_access_key_id 和 aws_secret_access_key。请参阅 AWS 文档中的 AWS 配置基础知识。

   2. 设置默认 AWS 区域。

      注意

      您可以使用环境变量设置默认的 AWS 区域。

      ROSA 服务以以下优先级顺序评估区域：

      1. 使用 --region 标志运行 rosa 命令时指定的区域。
      2. AWS_DEFAULT_REGION 环境变量中设置的区域。请参阅 AWS 文档中的配置 AWS CLI 的环境变量。
      3. AWS 配置文件中设置的默认区域。请参阅 AWS 文档中的使用 aws 配置的快速配置。

   3. 可选：使用名为 profile 的 AWS CLI 设置和凭证配置 AWS CLI 设置和凭证。ROSA 按照以下优先级顺序评估 AWS 命名配置集：

      1. 使用 --profile 标志运行 rosa 命令时指定的配置集。
      2. 在 AWS_PROFILE 环境变量中设置的配置集。请参阅 AWS 文档中的 名称配置集。

   4. 运行以下命令查询 AWS API 来验证 AWS CLI 是否已正确安装和配置：

      $ aws sts get-caller-identity

4. 安装最新版本的 ROSA CLI (rosa)。

   1. 为您的操作系统下载 ROSA CLI 的最新版本。

   2. 可选：命名您下载到 rosa 的文件，并使文件可执行。本文档使用 rosa 参考可执行文件。

      $ chmod +x rosa

   3. 可选：在路径中添加 rosa。

      $ mv rosa /usr/local/bin/rosa

   4. 输入以下命令验证您的安装：

      $ rosa

      输出示例

      Command line tool for Red Hat OpenShift Service on AWS.
      For further documentation visit https://access.redhat.com/documentation/zh-cn/red_hat_openshift_service_on_aws
      
      Usage:
        rosa [command]
      
      Available Commands:
        completion  Generates completion scripts
        create      Create a resource from stdin
        delete      Delete a specific resource
        describe    Show details of a specific resource
        download    Download necessary tools for using your cluster
        edit        Edit a specific resource
        grant       Grant role to a specific resource
        help        Help about any command
        init        Applies templates to support Red Hat OpenShift Service on AWS
        install     Installs a resource into a cluster
        link        Link a ocm/user role from stdin
        list        List all resources of a specific type
        login       Log in to your Red Hat account
        logout      Log out
        logs        Show installation or uninstallation logs for a cluster
        revoke      Revoke role from a specific resource
        uninstall   Uninstalls a resource from a cluster
        unlink      UnLink a ocm/user role from stdin
        upgrade     Upgrade a resource
        verify      Verify resources are configured correctly for cluster install
        version     Prints the version of the tool
        whoami      Displays user account information
      
      Flags:
            --color string   Surround certain characters with escape sequences to display them in color on the terminal. Allowed options are [auto never always] (default "auto")
            --debug          Enable debug mode.
        -h, --help           help for rosa
      
      Use "rosa [command] --help" for more information about a command.

   5. 为 ROSA CLI 生成命令完成脚本。以下示例为 Linux 机器生成 Bash 完成脚本：

      $ rosa completion bash | sudo tee /etc/bash_completion.d/rosa

   6. 提供脚本，以从现有终端中启用 rosa 命令完成。以下示例在 Linux 机器上提供 rosa 的 Bash 完成脚本：

      $ source /etc/bash_completion.d/rosa

5. 使用 ROSA CLI 登录您的红帽帐户。

   1. 输入以下命令。

      $ rosa login

   2. 将 <my_offline_access_token& gt; 替换为您的令牌。

      输出示例

      To login to your Red Hat account, get an offline access token at https://console.redhat.com/openshift/token/rosa
      ? Copy the token and paste it here: <my-offline-access-token>

      输出持续示例

      I: Logged in as '<rh-rosa-user>' on 'https://api.openshift.com'

6. 验证您的 AWS 帐户是否有部署 ROSA 集群所需的配额。

   $ rosa verify quota [--region=<aws_region>]

   输出示例

   I: Validating AWS quota...
   I: AWS quota ok

   注意

   有时，AWS 配额因区域而异。如果您收到任何错误，请尝试不同的区域。

   如果需要提高配额，进入 AWS 管理控制台，并为失败的服务请求配额增加。

   在配额检查成功后，继续下一步。

7. 为集群部署准备 AWS 帐户：

   1. 运行以下命令，以验证您的红帽和 AWS 凭证是否已正确设置。检查 AWS 帐户 ID、默认区域和 ARN 是否与您所期望的内容匹配。您可以安全地忽略以 OpenShift Cluster Manager 开始的行。

      $ rosa whoami

      输出示例

      AWS Account ID:               000000000000
      AWS Default Region:           us-east-1
      AWS ARN:                      arn:aws:iam::000000000000:user/hello
      OCM API:                      https://api.openshift.com
      OCM Account ID:               1DzGIdIhqEWyt8UUXQhSoWaaaaa
      OCM Account Name:             Your Name
      OCM Account Username:         you@domain.com
      OCM Account Email:            you@domain.com
      OCM Organization ID:          1HopHfA2hcmhup5gCr2uH5aaaaa
      OCM Organization Name:        Red Hat
      OCM Organization External ID: 0000000

8. 通过 ROSA (rosa) CLI 安装 OpenShift CLI (oc)、版本 4.7.9 或更高版本。

   1. 输入这个命令下载 oc CLI 的最新版本：

      $ rosa download openshift-client

   2. 下载 oc CLI 后，解压它并将其添加到您的路径中。

   3. 输入这个命令来验证 oc CLI 是否已正确安装：

      $ rosa verify openshift-client

流程

1. 运行以下命令，检查 AWS 帐户是否有现有的角色和策略：

   $ rosa list account-roles

2. 在终端中，运行以下命令来导出 Red Hat OpenShift Cluster Manager 令牌。这个值必须包含完整的 OpenShift Cluster Manager 令牌：

   $ export RHCS_TOKEN="<your_offline_token>"

   您可以运行以下命令来验证您的令牌是否已保存：

   $ echo $RHCS_TOKEN

   您在命令行中看到您的令牌。

3. 可选：您可以通过运行以下命令来指定自己的 account-role 前缀来附加您创建的角色：

   注意

   如果没有指定 account-role 前缀，则使用 account-role- 格式生成前缀，后跟一个字符串为四个随机字符。

   $ export TF_VAR_account_role_prefix=<account_role_prefix>

4. 使用以下代码模板在本地创建 Terraform 文件：

   注意

   这些文件在当前目录中创建。确保您位于要运行 Terraform 的目录中。

   1. main.tf 文件调用 Red Hat Cloud Services Terraform 供应商，它允许您在 Terraform 中使用 OpenShift 服务。运行以下命令来创建 main.tf 文件：

      $ cat<<-EOF>main.tf
        #
        # Copyright (c) 2022 Red Hat, Inc.
        #
        # Licensed under the Apache License, Version 2.0 (the "License");
        # you may not use this file except in compliance with the License.
        # You may obtain a copy of the License at
        #
        #   http://www.apache.org/licenses/LICENSE-2.0
        #
        # Unless required by applicable law or agreed to in writing, software
        # distributed under the License is distributed on an "AS IS" BASIS,
        # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
        # See the License for the specific language governing permissions and
        # limitations under the License.
        #
      
        terraform {
          required_providers {
            aws = {
              source  = "hashicorp/aws"
              version = ">= 4.20.0"
            }
            rhcs = {
              version = "1.4.0"
              source  = "terraform-redhat/rhcs"
            }
          }
        }
      
        data "rhcs_policies" "all_policies" {}
      
        data "rhcs_versions" "all" {}
      
        module "create_account_roles" {
          source  = "terraform-redhat/rosa-sts/aws"
          version = "0.0.15"
      
          create_operator_roles = false
          create_oidc_provider  = false
          create_account_roles  = true
      
          account_role_prefix    = var.account_role_prefix
          rosa_openshift_version = var.openshift_version
          account_role_policies  = data.rhcs_policies.all_policies.account_role_policies
          operator_role_policies = data.rhcs_policies.all_policies.operator_role_policies
          all_versions           = data.rhcs_versions.all
          tags                   = var.tags
        }
      EOF

   2. 您可以在 output.tf 文件中定义帐户角色前缀结构。此输出定义允许您指定各种生成的角色是如何构建的。运行以下命令来创建 output.tf 文件：

      $ cat<<-EOF>output.tf
        output "account_role_prefix" {
          value = module.create_account_roles.account_role_prefix
        }
      EOF

   3. variables.tf 允许您指定您要选择变量的值。如果您之前为 account_role_prefix 导出了一个变量，请将此变量的默认值留空。在两个带有不同值的位置设置变量可能会导致意外的结果。运行以下命令来创建 variables.tf 文件：

      重要

      如果 OpenShift Cluster Manager 令牌没有存储在安全位置，请不要将 OpenShift Cluster Manager 令牌包含在此文件中。

      $ cat<<-EOF>variables.tf
        variable "openshift_version" {
          type = string
          default = "4.13"
          description = "Enter the desired OpenShift version as X.Y. This version should match what you intend for your ROSA cluster. For example, if you plan to create a ROSA cluster using '4.13.10', then this version should be '4.13'. You can see the supported versions of OpenShift by running 'rosa list version'."
        }
      
        variable "account_role_prefix" {
          type    = string
          default = ""
          description = "Your account roles are prepended with whatever value you enter here. The default value in the ROSA CLI is 'ManagedOpenshift-' before all of your account roles."
        }
      
        variable "tags" { 1
          type        = map
          default     = null
          description = "(Optional) List of AWS resource tags to apply."
        }
      EOF

      1

      tags 参数使用字符串变量的映射。它采用的格式类似以下示例：

      variable "tags" {
        type    = "map"
        default = {
          "us-east-1" = "image-1234"
          "us-west-2" = "image-4567"
        }
      }

5. 在您保存这些 Terraform 文件的目录，运行以下命令设置 Terraform 以创建这些资源：

   $ terraform init

6. 可选： 运行以下命令确认您复制的 Terraform 代码是否正确：

   $ terraform validate

   输出示例

   Success! The configuration is valid.

7. 可选： 运行以下命令测试 Terraform 模板并创建可重复使用的 Terraform 计划文件：

   $ terraform plan -out account-roles.tfplan

8. 运行以下命令使用 Terraform 构建帐户范围内的 IAM 角色：

   $ terraform apply "account-roles.tfplan"

   注意

   如果您首先使用了 terraform plan 命令，您可以在此处提供您创建的 account-roles.tf 文件。否则，Terraform 会在应用所需结果前临时创建此计划。