流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Administration → Custom Resource Definitions。
2. 在 Custom Resource Definitions 页面中点 ClusterLogging。
3. 在 Custom Resource Definition Overview 页面上，从 Actions 菜单中选择 View Instances，或者点击 Instances 选项卡。

4. 在 Cluster Logging 页面上，点击 Create Cluster Logging。

   您可能需要刷新页面来加载数据。

5. 在 YAML 中，将 storageClassName 替换为使用 provisioner openshift-storage.rbd.csi.ceph.com 的 storageclass。在下例中，storageclass 的名称为 ocs-storagecluster-ceph-rbd ：

   apiVersion: "logging.openshift.io/v1"
   kind: "ClusterLogging"
   metadata:
     name: "instance"
     namespace: "openshift-logging"
   spec:
     managementState: "Managed"
     logStore:
       type: "elasticsearch"
       elasticsearch:
         nodeCount: 3
         storage:
           storageClassName: ocs-storagecluster-ceph-rbd
           size: 200G # Change as per your requirement
         redundancyPolicy: "SingleRedundancy"
     visualization:
       type: "kibana"
       kibana:
         replicas: 1
     curation:
       type: "curator"
       curator:
         schedule: "30 3 * * *"
     collection:
       logs:
         type: "fluentd"
         fluentd: {}

   如果 OpenShift Container Storage 节点带有污点，您必须添加容限，以启用为日志调度 daemonset pod。

   spec:
   [...]
     collection:
       logs:
         fluentd:
           tolerations:
           - effect: NoSchedule
             key: node.ocs.openshift.io/storage
             value: 'true'
         type: fluentd

6. 点击 Save。

验证步骤

1. 验证持久卷声明是否已绑定到 elasticsearch Pod。

   1. 进入 Storage → Persistent Volume Claims。
   2. 将 Project 下拉菜单设置为 openshift-logging。

   3. 验证持久卷声明是否可见，状态为 Bound，附加到 elasticsearch-* pod。

      图 6.1. 创建并绑定集群日志记录

      

2. 验证是否在使用新集群日志记录。

   1. 点 Workload → Pods。
   2. 将项目设置为 openshift-logging。
   3. 验证新的 elasticsearch-* Pod 的状态是否为 Running。
   4. 点新的 elasticsearch-* Pod 查看 pod 详情。
   5. 向下滚动到 Volumes，再验证 elasticsearch 卷是否具有与新持久性卷声明匹配的 Type，如 elasticsearch-elasticsearch-cdm-9r624biv-3。
   6. 点 Persistent Volume Claim 名称，然后在 PersistentVolumeClaim Overview 页面中验证存储类名称。

流程

1. 导航到 Compute → Machine Sets。
2. 在您要添加节点的机器集中，选择 Edit Machine Count。
3. 添加节点数量，然后点 Save。
4. 点 Compute → Nodes 并确认新节点是否处于 Ready 状态。

5. 将 OpenShift Container Storage 标签应用到新节点。

   1. 对于新节点，Action menu (⋮) → Edit Labels。
   2. 添加 cluster.ocs.openshift.io/openshift-storage 并点 Save。

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。
3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Backing Store 选项卡。

4. 单击 Create Backing Store。

   图 10.1. 创建后端存储页面

   

5. 在 Create New Backing Store 页面中执行以下操作：

   1. 输入后端存储名称。
   2. 选择 Provider。
   3. 选择 Region。
   4. 输入 端点.这是可选的。

   5. 从下拉列表中选择一个 Secret，或创建自己的 secret。另外，您也可以切换到 Credentials 视图来填写所需的 secret。

      有关创建 OCP secret 的更多信息，请参阅 Openshift Container Platform 文档中的创建 secret 部分。

      每个后备存储都需要不同的机密。有关为特定后备存储创建 secret 的更多信息，请参阅 第 10.4.2 节 “使用 MCG 命令行界面为混合或多云添加存储资源” 并按照使用 YAML 添加存储资源的步骤进行操作。

      注意

      此菜单与 Google Cloud 和本地 PVC 以外的所有供应商相关。

   6. 输入 Target bucket。目标 bucket 是托管在远程云服务的容器存储。它允许您创建一个连接，告诉 MCG 它可以将此存储桶用于系统。
6. 单击 Create Backing Store。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的后备存储，或者单击 Backing Store 选项卡来查看所有后备存储。

流程

1. 在 Multicloud Object Gateway (MCG) 命令行界面中，运行以下命令：

   noobaa backingstore create s3-compatible rgw-resource --access-key=<RGW ACCESS KEY> --secret-key=<RGW SECRET KEY> --target-bucket=<bucket-name> --endpoint=<RGW endpoint>

   1. 要获取 <RGW ACCESS KEY> 和 <RGW SECRET KEY>，请使用您的 RGW 用户 secret 名称运行以下命令：

      oc get secret <RGW USER SECRET NAME> -o yaml -n openshift-storage

   2. 解码 Base64 中的访问密钥 ID 和访问密钥，并保留它们。
   3. 将 <RGW USER ACCESS KEY> 和 <RGW USER SECRET ACCESS KEY> 替换为上一步中的相应已解码数据。
   4. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。

   5. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

      输出结果类似如下：

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "rgw-resource"
      INFO[0002] ✅ Created: Secret "backing-store-secret-rgw-resource"

1. 创建 CephObjectStore 用户。这还会创建一个包含 RGW 凭证的 secret：

   apiVersion: ceph.rook.io/v1
   kind: CephObjectStoreUser
   metadata:
     name: <RGW-Username>
     namespace: openshift-storage
   spec:
     store: ocs-storagecluster-cephobjectstore
     displayName: "<Display-name>"

   1. 将 <RGW-Username> 和 <Display-name> 替换为唯一的用户名和显示名称。

2. 为 S3-Compatible 后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <backingstore-name>
     namespace: openshift-storage
   spec:
     s3Compatible:
       endpoint: <RGW endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       signatureVersion: v4
       targetBucket: <RGW-bucket-name>
     type: s3-compatible

   1. 将 <backingstore-secret-name> 替换为上一步中使用 CephObjectStore 创建的 secret 的名称。
   2. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。
   3. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

流程

1. 在 OpenShift Storage 控制台中，点击 Storage → Overview → Object 选项卡 → Multicloud Object Gateway 链接。

2. 选择左侧的资源选项卡，突出显示下方。从填充的列表中，选择 Add Cloud Resource。

   

3. 选择 Add new connection。

   

4. 选择相关的原生云供应商或 S3 兼容选项并填写详情。

   

5. 选择新创建的连接并将其映射到现有存储桶。

   
6. 重复这些步骤，根据需要创建任意数量的后备存储。

流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。
3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Bucket Class 选项卡。
4. 点 Create Bucket Class。

5. 在 Create new Bucket Class 页面中，执行以下操作：

   1. 选择 bucket 类类型，再输入 bucket 类名称。

      1. 选择 BucketClass 类型。选择以下选项之一：

         • 命名空间

           数据存储在 NamespaceStores 中，无需执行重复数据删除、压缩或加密。

         • 标准（Standard）

           数据将由多云对象网关(MCG)使用，用于重复数据删除、压缩和加密。

           默认选择 Standard。

      2. 输入 Bucket Class Name。
      3. 点 Next。

   2. 在放置策略中，选择 Tier 1 - Policy Type 并单击 Next。您可以根据要求选择任一选项。

      • Spread 允许在选定资源之间分散数据。
      • Mirror 允许在选定资源中完全重复数据。
      • 单击 Add Tier 以添加另一个策略层。

   3. 如果您选择了 Tier 1 - Policy Type as Spread，请从可用列表中选择 Backing Store 资源，然后单击 Next。或者，您也可以创建新的后备存储。

      注意

      当在上一步中将 Policy Type 选择为 Mirror 时，您需要选择 atleast 2 后备存储。

   4. 检查并确认 Bucket 类设置。
   5. 点 Create Bucket Class。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的 Bucket Class 或点击 Bucket Class 选项卡来查看所有 Bucket 类。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → Installed Operators。
3. 点 OpenShift Container Storage Operator。
4. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Bucket Class 选项卡。
5. 点击您要编辑的 Bucket 类旁边的操作菜单(⋮)。
6. 点 Edit Bucket Class。
7. 您将被重定向到 YAML 文件，在此文件中进行必要的更改并点 Save。

流程

1. 点 Operators → Installed Operators 查看已安装的 Operator。
2. 点 OpenShift Container Storage Operator。
3. 单击 Bucket Class 选项卡。

4. 点击您要编辑的 Bucket 类旁边的操作菜单(⋮)。

   
5. 点 Edit Bucket Class Resources。

6. 在 Edit Bucket Class Resources 页面中，通过添加后备存储到存储桶类或从存储桶类中删除后备存储来编辑存储桶类资源。您还可以编辑使用一或两个分层和不同的放置策略创建的 bucket 类资源。

   • 要将后备存储添加到 bucket 类，请选择后备存储的名称。

   • 要从存储桶类中删除后备存储，请清除后备存储的名称。

     
7. 点击 Save。

流程

1. 在 OpenShift 控制台中，点击 Storage → Overview 并点 Object 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点 Accounts 并选择要添加连接的帐户。
4. 单击 My Connections。

5. 单击 Add Connection。

   1. 输入 连接名称。
   2. 默认情况下，您的云提供程序会在 服务 下拉菜单中显示。更改选择以使用其他提供程序。
   3. 默认情况下，您的云供应商的默认端点会在 Endpoint 字段中显示。如果需要，输入替代端点。
   4. 输入您的云供应商访问密钥。
   5. 输入此云供应商的 Secret 密钥。
   6. 点击 Save。

流程

1. 在 OpenShift 控制台中，点击 Storage → Overview 并点 Object 选项卡。
2. 点击 Multicloud Storage Gateway，并在出现提示时登录。
3. 点击 Resources，然后点击 Namespace Resources 选项卡。

4. 点 Create Namespace Resource。

   1. 在 Target Connection 中，选择要用于此命名空间的存储供应商的连接。

      如果需要添加新连接，请点击 Add New Connection 并输入您的供应商详情。如需更多信息，请参阅 第 10.5.1 节 “在 Multicloud 对象网关中添加供应商连接”。

   2. 在 Target Bucket 中，选择要用作目标的存储桶的名称。
   3. 输入命名空间资源的 Resource Name。
   4. 点击 Create。

流程

1. 在 OpenShift 控制台中，点击 Storage → Overview 并点 Object 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点击 Buckets，然后点击 Namespace Buckets 选项卡。

4. 点 Create Namespace Bucket。

   1. 在 Choose Name 选项卡中，指定命名空间存储桶的名称，再单击 Next。

   2. 在 Set Placement 标签页中：

      1. 在 Read Policy 下，选中命名空间存储桶应该从中读取数据的每个命名空间资源的复选框。
      2. 在 Write Policy 下，指定命名空间存储桶应将数据写入的命名空间资源。
      3. 点 Next。
   3. 对于生产环境，不要对 Set Caching Policy 选项卡进行更改。此选项卡作为开发预览提供，对其支持有相关的限制。
   4. 点击 Create。

1. 在 MCG 命令行界面中，运行以下命令来创建带有镜像策略的存储桶类：

   $ noobaa bucketclass create placement-bucketclass mirror-to-aws --backingstores=azure-resource,aws-resource --placement Mirror

2. 将新创建的存储桶类设置为一个新的存储桶声明，生成一个新的存储桶，该存储桶将在两个位置之间进行镜像：

   $ noobaa obc create  mirrored-bucket --bucketclass=mirror-to-aws

1. 应用以下 YAML。

   apiVersion: noobaa.io/v1alpha1
   kind: BucketClass
   metadata:
     labels:
       app: noobaa
     name: <bucket-class-name>
     namespace: openshift-storage
   spec:
     placementPolicy:
       tiers:
       - backingStores:
         - <backing-store-1>
         - <backing-store-2>
         placement: Mirror

2. 将以下行添加到标准 Object Bucket Claim (OBC) 中：

   additionalConfig:
     bucketclass: mirror-to-aws

   有关 OBCs 的更多信息，请参阅 第 10.8 节 “对象 Bucket 声明”。

1. 在 OpenShift Storage 控制台中，点击 Storage → Overview → Object 选项卡 → Multicloud Object Gateway 链接。

2. 在 NooBaa 页面中，单击左侧的存储 buckets 图标。您将看到存储桶列表：

   
3. 点击您要更新的存储桶。

4. 点击 Edit Tier 1 Resources:

   

5. 选择 Mirror 并检查您要用于这个存储桶的相关资源。在以下示例中，在 RGW 和 AWS-backingstore 中被镜像的 noobaa-default-backing-store 间的数据会被镜像：

   
6. 点击 Save。

1. 以 JSON 格式创建 bucket 策略。请参见以下示例：

   {
       "Version": "NewVersion",
       "Statement": [
           {
               "Sid": "Example",
               "Effect": "Allow",
               "Principal": [
                       "john.doe@example.com"
               ],
               "Action": [
                   "s3:GetObject"
               ],
               "Resource": [
                   "arn:aws:s3:::john_bucket"
               ]
           }
       ]
   }

   bucket 策略的可用元素与访问权限有关。

   如需了解如何使用这些元素控制访问权限的元素和示例，请参阅 AWS 访问策略语言概述。

   如需存储桶策略的更多示例，请参阅 AWS Bucket 策略示例。

   有关创建 S3 用户的说明，请参阅 第 10.7.3 节 “在 Multicloud 对象网关中创建 AWS S3 用户”。

2. 使用 AWS S3 客户端，使用 put-bucket-policy 命令将存储桶策略应用到 S3 存储桶：

   # aws --endpoint ENDPOINT --no-verify-ssl s3api put-bucket-policy --bucket MyBucket --policy BucketPolicy

   使用 S3 端点替换 ENDPOINT

   将 MyBucket 替换为存储桶来设置策略

   将 BucketPolicy 替换为存储桶策略 JSON 文件

   如果您使用默认自签名证书，请添加 --no-verify-ssl

   例如：

   # aws --endpoint https://s3-openshift-storage.apps.gogo44.noobaa.org --no-verify-ssl s3api put-bucket-policy -bucket MyBucket --policy file://BucketPolicy

   如需有关 put-bucket-policy 命令的更多信息，请参阅有关 put-bucket-policy 的 AWS CLI 命令参考。

流程

1. 在 OpenShift Storage 控制台中，导航到 Storage → Overview → Object 选项卡 → 选择 Multicloud Object Gateway 链接：

   

2. 在 Accounts 选项卡下，点 Create Account:

   

3. 选择 S3 Access Only，提供 帐户名称，例如 john.doe@example.com。点 Next:

   

4. 选择 S3 默认放置，例如 noobaa-default-backing-store。选择 Buckets Permissions。可以选择特定的存储桶或所有存储桶。点 Create：

   

流程

1. 在应用程序 YAML 中添加以下行：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <obc-name>
   spec:
     generateBucketName: <obc-bucket-name>
     storageClassName: openshift-storage.noobaa.io

   这些行是对象 Bucket 声明本身。

   1. 将 <obc-name> 替换为唯一的对象 Bucket Claim 名称。
   2. 将 <obc-bucket-name> 替换为 Object Bucket Claim 的唯一存储桶名称。

2. 您可以在 YAML 文件中添加更多行来自动使用 Object Bucket Claim。以下示例是存储桶声明结果之间的映射，这是一个带有凭证数据和 secret 的配置映射。此特定作业将从 NooBaa 声明 Object Bucket，这将创建一个存储桶和帐户。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: testjob
   spec:
     template:
       spec:
         restartPolicy: OnFailure
         containers:
           - image: <your application image>
             name: test
             env:
               - name: BUCKET_NAME
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_NAME
               - name: BUCKET_HOST
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_HOST
               - name: BUCKET_PORT
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_PORT
               - name: AWS_ACCESS_KEY_ID
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_ACCESS_KEY_ID
               - name: AWS_SECRET_ACCESS_KEY
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_SECRET_ACCESS_KEY

   1. 将 <obc-name> 的所有实例替换为您的对象 Bucket Claim 名称。
   2. 将 <your application image> 替换为您的应用程序镜像。

3. 应用更新的 YAML 文件：

   # oc apply -f <yaml.file>

   1. 将 <yaml.file> 替换为 YAML 文件的名称。

4. 要查看新配置映射，请运行以下命令：

   # oc get cm <obc-name>

   1. 将 obc-name 替换为对象 Bucket Claim 的名称。

      您可以在输出中预期以下环境变量：

      • BUCKET_HOST - 要在应用程序中使用的端点

      • BUCKET_PORT - 应用程序可用的端口

        • 端口与 BUCKET_HOST 相关。例如，如果 BUCKET_HOST 是 https://my.example.com，BUCKET_PORT 为 443，则对象服务的端点将是 https://my.example.com:443。
      • BUCKET_NAME - 请求或生成的存储桶名称
      • AWS_ACCESS_KEY_ID - 作为凭据一部分的访问密钥
      • aws_SECRET_ACCESS_KEY - 属于凭据的 Secret 访问密钥

流程

1. 使用命令行界面生成新 bucket 和凭据的详细信息。运行以下命令：

   # noobaa obc create <obc-name> -n openshift-storage

   将 <obc-name> 替换为一个唯一的对象 Bucket Claim 名称，例如 myappobc。

   另外，您可以使用 --app-namespace 选项指定创建 Object Bucket Claim 配置映射和 secret 的命名空间，如 myapp-namespace。

   输出示例：

   INFO[0001] ✅ Created: ObjectBucketClaim "test21obc"

   MCG 命令行界面已创建了必要的配置，并已向 OpenShift 告知新的 OBC。

2. 运行以下命令来查看对象 Bucket 声明：

   # oc get obc -n openshift-storage

   输出示例：

   NAME        STORAGE-CLASS                 PHASE   AGE
   test21obc   openshift-storage.noobaa.io   Bound   38s

3. 运行以下命令，以查看新对象 Bucket 声明的 YAML 文件：

   # oc get obc test21obc -o yaml -n openshift-storage

   输出示例：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     generation: 2
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     resourceVersion: "40756"
     selfLink: /apis/objectbucket.io/v1alpha1/namespaces/openshift-storage/objectbucketclaims/test21obc
     uid: 64f04cba-f662-11e9-bc3c-0295250841af
   spec:
     ObjectBucketName: obc-openshift-storage-test21obc
     bucketName: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     generateBucketName: test21obc
     storageClassName: openshift-storage.noobaa.io
   status:
     phase: Bound

4. 在 openshift-storage 命名空间内，您可以找到配置映射和 secret 来使用此 Object Bucket Claim。CM 和 secret 的名称与 Object Bucket Claim 的名称相同。查看 secret：

   # oc get -n openshift-storage secret test21obc -o yaml

   输出示例：

   Example output:
   apiVersion: v1
   data:
     AWS_ACCESS_KEY_ID: c0M0R2xVanF3ODR3bHBkVW94cmY=
     AWS_SECRET_ACCESS_KEY: Wi9kcFluSWxHRzlWaFlzNk1hc0xma2JXcjM1MVhqa051SlBleXpmOQ==
   kind: Secret
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40751"
     selfLink: /api/v1/namespaces/openshift-storage/secrets/test21obc
     uid: 65117c1c-f662-11e9-9094-0a5305de57bb
   type: Opaque

   该机密为您提供了 S3 访问凭据。

5. 查看配置映射：

   # oc get -n openshift-storage cm test21obc -o yaml

   输出示例：

   apiVersion: v1
   data:
     BUCKET_HOST: 10.0.171.35
     BUCKET_NAME: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     BUCKET_PORT: "31242"
     BUCKET_REGION: ""
     BUCKET_SUBREGION: ""
   kind: ConfigMap
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40752"
     selfLink: /api/v1/namespaces/openshift-storage/configmaps/test21obc
     uid: 651c6501-f662-11e9-9094-0a5305de57bb

   配置映射包含应用的 S3 端点信息。

流程

1. 登录 OpenShift Web 控制台。
2. 在左侧导航栏中，点击 Storage → Object Bucket Claims。

3. 点击 Create Object Bucket Claim:

   

4. 输入对象存储桶声明的名称，并根据您的部署（内部或外部）从下拉菜单中选择适当的存储类：

   内部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)
   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

   外部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-external-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)

   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

     注意

     RGW OBC 存储类仅可用于全新安装的 OpenShift Container Storage 版本 4.5。它不适用于从以前的 OpenShift Container Storage 发行版本升级的集群。

5. 点击 Create。

   创建 OBC 后，您会被重定向到其详情页面：

   

流程

1. 在左侧导航栏中，点击 Storage → Object Bucket Claims。
2. 点击您创建的 OBC 旁边的操作菜单(⋮)。

3. 从下拉菜单中选择 Attach to Deployment。

   

4. 从 Deployment Name 列表中选择所需的部署，然后点 Attach:

   

1. 登录 OpenShift Web 控制台。

2. 在左侧导航栏中，点击 Storage → Object Buckets:

   

   您还可以导航到特定 OBC 的详细信息页面，再单击 Resource 链接来查看该 OBC 的对象存储桶。

3. 选择您要查看详细信息的对象 bucket。您可以导航到对象存储桶的详情页面：

   

流程

1. 在左侧导航栏中，点击 Storage → Object Bucket Claims。

2. 点击您要删除的 Object Bucket Claim 旁边的操作菜单(⋮)。

   

3. 从菜单中选择 Delete Object Bucket Claim。

   
4. 单击 Delete。

流程

1. 创建 NamespaceStore 资源。NamespaceStore 代表一个底层存储，用作 Multicloud Object Gateway 命名空间存储桶中数据的读取或写入目标。在 MCG 命令行界面中运行以下命令：

   noobaa namespacestore create aws-s3 <namespacestore> --access-key <AWS ACCESS KEY> --secret-key <AWS SECRET ACCESS KEY> --target-bucket <bucket-name>

   1. 将 <namespacestore> 替换为命名空间存储的名称。
   2. 将 <AWS ACCESS KEY> 和 <AWS SECRET ACCESS KEY> 替换为您为此创建的 AWS 访问密钥 ID 和 secret 访问密钥。

   3. 将 <bucket-name> 替换为现有的 AWS 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。

      您还可以通过应用 YAML 来添加存储资源。首先使用凭证创建 secret：

      apiVersion: v1
      kind: Secret
      metadata:
        name: <namespacestore-secret-name>
      type: Opaque
      data:
        AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
        AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

      您必须使用 Base64 提供并编码您自己的 AWS 访问密钥 ID 和 secret 访问密钥，并使用结果代替 <AWS ACCESS KEY ID ENCODED IN BASE64> 和 <AWS SECRET ACCESS KEY ENCODED IN BASE64>。

      使用一个唯一的名称替换 <namespacestore-secret-name>。

      然后应用以下 YAML:

      apiVersion: noobaa.io/v1alpha1
      kind: NamespaceStore
      metadata:
        finalizers:
        - noobaa.io/finalizer
        labels:
          app: noobaa
        name: <namespacestore>
        namespace: openshift-storage
      spec:
        awsS3:
          secret:
            name: <namespacestore-secret-name>
            namespace: <namespace-secret>
          targetBucket: <target-bucket>
        type: aws-s3

   4. 将 <namespacestore> 替换为唯一的名称。
   5. 将 <namespacestore-secret-name> 替换为上一步中创建的 secret。
   6. 将 <namespace-secret> 替换为用于在上一步中创建 secret 的命名空间。
   7. 将 <target-bucket> 替换为您为命名空间存储创建的 AWS S3 存储桶。

2. 运行以下命令来创建存储桶类：

   noobaa bucketclass create namespace-bucketclass cache <my-cache-bucket-class> --backingstores <backing-store> --hub-resource <namespacestore>

   1. 将 <my-cache-bucket-class> 替换为唯一的存储桶类名称。
   2. 将 <backing-store> 替换为相关的后备存储。您可以在此字段中列出一个或多个以逗号分开的后备存储。
   3. 将 <namespacestore> 替换为上一步中创建的命名空间存储。

3. 运行以下命令，以使用 Object Bucket Claim 资源创建 bucket，该资源使用第 2 步中定义的 bucket 类。

   noobaa obc create <my-bucket-claim> my-app --bucketclass <custom-bucket-class>

   1. 将 <my-bucket-claim> 替换为唯一名称。
   2. 将 <custom-bucket-class> 替换为在第 2 步中创建的 bucket 类的名称。

流程

1. 创建 NamespaceStore 资源。NamespaceStore 代表一个底层存储，用作 Multicloud Object Gateway 命名空间存储桶中数据的读取或写入目标。在 MCG 命令行界面中运行以下命令：

   noobaa namespacestore create ibm-cos <namespacestore> --endpoint <IBM COS ENDPOINT> --access-key <IBM ACCESS KEY> --secret-key <IBM SECRET ACCESS KEY> --target-bucket <bucket-name>

   1. 将 <namespacestore> 替换为 NamespaceStore 的名称。
   2. 将 <IBM ACCESS KEY>、、<IBM SECRET ACCESS KEY>、<IBM COS ENDPOINT> 替换为 IBM 访问密钥 ID、机密访问密钥和对应于现有 IBM 存储桶位置的适当区域端点。

   3. 将 <bucket-name> 替换为现有的 IBM 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。

      您还可以通过应用 YAML 来添加存储资源。首先，使用凭证创建一个 secret：

      apiVersion: v1
      kind: Secret
      metadata:
        name: <namespacestore-secret-name>
      type: Opaque
      data:
        IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
        IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

      您必须使用 Base64 提供和编码您自己的 IBM COS 访问密钥 ID 和 secret 访问密钥，并使用结果代替 <IBM COS ACCESS KEY ID ENCODED IN BASE64> 和 <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>`。

      使用一个唯一的名称替换 <namespacestore-secret-name>。

      然后应用以下 YAML:

      apiVersion: noobaa.io/v1alpha1
      kind: NamespaceStore
      metadata:
        finalizers:
        - noobaa.io/finalizer
        labels:
          app: noobaa
        name: <namespacestore>
        namespace: openshift-storage
      spec:
        s3Compatible:
          endpoint: <IBM COS ENDPOINT>
          secret:
            name: <backingstore-secret-name>
            namespace: <namespace-secret>
          signatureVersion: v2
          targetBucket: <target-bucket>
        type: ibm-cos

   4. 将 <namespacestore> 替换为唯一的名称。
   5. 将 <IBM COS ENDPOINT> 替换为适当的 IBM COS 端点。
   6. 将 <backingstore-secret-name> 替换为上一步中创建的 secret。
   7. 将 <namespace-secret> 替换为用于在上一步中创建 secret 的命名空间。
   8. 将 <target-bucket> 替换为您为命名空间存储创建的 AWS S3 存储桶。

2. 运行以下命令来创建存储桶类：

   noobaa bucketclass create namespace-bucketclass cache <my-bucket-class> --backingstores <backing-store> --hubResource <namespacestore>

   1. 将 <my-bucket-class> 替换为唯一的存储桶类名称。
   2. 将 <backing-store> 替换为相关的后备存储。您可以在此字段中列出一个或多个以逗号分开的后备存储。
   3. 将 <namespacestore> 替换为上一步中创建的命名空间存储。

3. 运行以下命令，以使用 Object Bucket Claim 资源创建 bucket，该资源使用第 2 步中定义的 bucket 类。

   noobaa obc create <my-bucket-claim> my-app --bucketclass <custom-bucket-class>

   1. 将 <my-bucket-claim> 替换为唯一名称。
   2. 将 <custom-bucket-class> 替换为在第 2 步中创建的 bucket 类的名称。

流程

1. 在 Multicloud Object Gateway 用户界面的 Overview 页面中，点 Add Storage Resources:

   

2. 在窗口中点击 Deploy Kubernetes Pool：

   

3. 在 Create Pool 步骤中，为将来安装的节点创建目标池。

   

4. 在 Configure 步骤中，配置请求的 pod 数以及每个 PV 的大小。对于每个新 pod，会创建一个 PV。

   
5. 在 Review 步骤中，您可以找到新池的详细信息，再选择要使用的部署方法：本地或外部部署。如果选择了本地部署，Kubernetes 节点将在集群内部署。如果选择了外部部署，您将获得 YAML 文件，供外部运行。

6. 所有节点都会分配给您在第一步中选择的池，并可在 Resources → Storage resources → Resource name 下找到：

   

流程

1. 使用 cluster-admin 角色登录 OpenShift Container Platform 集群。

2. 查找 auth.json 文件。

   当您使用 podman 或 docker 登录 registry 时，会生成此文件。它位于以下位置之一：

   • ~/.docker/auth.json
   • /run/user/<UID>/containers/auth.json
   • /var/run/containers/<UID>/auth.json

3. 获取您唯一的红帽 registry pull secret，并将其粘贴到 auth.json 文件中。它看起来类似于：

   {
       "auths": {
           "cloud.openshift.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "quay.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.connect.redhat.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.redhat.io": {
               "auth": "*****************",
               "email": "user@example.com"
           }
       }
     }

4. 使用设置的适当详情导出环境变量。

   $ export AUTH_FILE="<location_of_auth.json>"
   $ export MIRROR_REGISTRY_DNS="<your_registry_url>:<port>"

5. 使用 podman 登录镜像 registry，并将凭据存储在 ${AUTH_FILE} 中。

   $ podman login ${MIRROR_REGISTRY_DNS} --tls-verify=false --authfile ${AUTH_FILE}

   这会将镜像 registry 添加到 auth.json 文件中。

   {
       "auths": {
           "cloud.openshift.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "quay.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.connect.redhat.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.redhat.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "<mirror_registry>": {
               "auth": "*****************",
           }
       }
     }

流程

1. 为 redhat-operators 构建目录。

   使用与目标 OpenShift Container Platform 集群主版本和次版本匹配的标签，将 --from 设置为 ose-operator-registry 基础镜像。

   $ oc adm catalog build --appregistry-org redhat-operators \
     --from=registry.redhat.io/openshift4/ose-operator-registry:v4.7 \
     --to=${MIRROR_REGISTRY_DNS}/olm/redhat-operators:v2 \
     --registry-config=${AUTH_FILE} \
     --filter-by-os="linux/amd64" --insecure

   注意

   对于 IBM Power Systems 和 IBM Z 基础架构，请分别将 filter-by-os 的值指定为 linux/ppc64le 和 linux/s390x。

2. 为 redhat-operators 镜像目录。

   这是一个漫长的操作，可能需要 1 到 5 个小时。确保镜像主机上有 100 GB 的可用磁盘空间。

   $ oc adm catalog mirror ${MIRROR_REGISTRY_DNS}/olm/redhat-operators:v2 \
   ${MIRROR_REGISTRY_DNS} --registry-config=${AUTH_FILE} --insecure

流程

1. 检查此文件的内容是否有如下所示的镜像映射：

   spec:
     repositoryDigestMirrors:
       - mirrors:
         - <your_registry>/ocs4
         source: registry.redhat.io/ocs4
       - mirrors:
         - <your_registry>/rhceph
         source: registry.redhat.io/rhceph
       - mirrors:
         - <your_registry>/openshift4
         source: registry.redhat.io/openshift4
       - mirrors:
         - <your_registry>/rhscl
         source: registry.redhat.io/rhscl

2. 在 imageContentSourcePolicy.yaml 文件的末尾添加任何缺少的条目。

3. 将 imageContentSourcePolicy.yaml 文件应用到集群。

   $ oc apply -f ./[output dir]/imageContentSourcePolicy.yaml

   更新镜像内容源策略后，需要更新并重新引导集群中的所有节点（master、infra 和 worker）。此过程通过 Machine Config Pool operator 自动处理，最多需要 30 分钟，尽管确切经过的时间可能因 OpenShift 集群中的节点数量而异。您可以使用 oc get mcp 命令或 oc get node 命令来监控更新过程。

流程

1. 重新创建 CatalogSource 对象来引用红帽操作器的目录镜像。

   注意

   确保您已使用正确的版本（即 v2）镜像了正确的目录源。

   在 redhat-operator-catalogsource.yaml 文件中保存以下内容，记住将 <your_registry> 替换为您的镜像 registry URL：

   apiVersion: operators.coreos.com/v1alpha1
   kind: CatalogSource
   metadata:
     name: redhat-operators
     namespace: openshift-marketplace
   spec:
     sourceType: grpc
     icon:
       base64data: PHN2ZyBpZD0iTGF5ZXJfMSIgZGF0YS1uYW1lPSJMYXllciAxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgMCAxOTIgMTQ1Ij48ZGVmcz48c3R5bGU+LmNscy0xe2ZpbGw6I2UwMDt9PC9zdHlsZT48L2RlZnM+PHRpdGxlPlJlZEhhdC1Mb2dvLUhhdC1Db2xvcjwvdGl0bGU+PHBhdGggZD0iTTE1Ny43Nyw2Mi42MWExNCwxNCwwLDAsMSwuMzEsMy40MmMwLDE0Ljg4LTE4LjEsMTcuNDYtMzAuNjEsMTcuNDZDNzguODMsODMuNDksNDIuNTMsNTMuMjYsNDIuNTMsNDRhNi40Myw2LjQzLDAsMCwxLC4yMi0xLjk0bC0zLjY2LDkuMDZhMTguNDUsMTguNDUsMCwwLDAtMS41MSw3LjMzYzAsMTguMTEsNDEsNDUuNDgsODcuNzQsNDUuNDgsMjAuNjksMCwzNi40My03Ljc2LDM2LjQzLTIxLjc3LDAtMS4wOCwwLTEuOTQtMS43My0xMC4xM1oiLz48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik0xMjcuNDcsODMuNDljMTIuNTEsMCwzMC42MS0yLjU4LDMwLjYxLTE3LjQ2YTE0LDE0LDAsMCwwLS4zMS0zLjQybC03LjQ1LTMyLjM2Yy0xLjcyLTcuMTItMy4yMy0xMC4zNS0xNS43My0xNi42QzEyNC44OSw4LjY5LDEwMy43Ni41LDk3LjUxLjUsOTEuNjkuNSw5MCw4LDgzLjA2LDhjLTYuNjgsMC0xMS42NC01LjYtMTcuODktNS42LTYsMC05LjkxLDQuMDktMTIuOTMsMTIuNSwwLDAtOC40MSwyMy43Mi05LjQ5LDI3LjE2QTYuNDMsNi40MywwLDAsMCw0Mi41Myw0NGMwLDkuMjIsMzYuMywzOS40NSw4NC45NCwzOS40NU0xNjAsNzIuMDdjMS43Myw4LjE5LDEuNzMsOS4wNSwxLjczLDEwLjEzLDAsMTQtMTUuNzQsMjEuNzctMzYuNDMsMjEuNzdDNzguNTQsMTA0LDM3LjU4LDc2LjYsMzcuNTgsNTguNDlhMTguNDUsMTguNDUsMCwwLDEsMS41MS03LjMzQzIyLjI3LDUyLC41LDU1LC41LDc0LjIyYzAsMzEuNDgsNzQuNTksNzAuMjgsMTMzLjY1LDcwLjI4LDQ1LjI4LDAsNTYuNy0yMC40OCw1Ni43LTM2LjY1LDAtMTIuNzItMTEtMjcuMTYtMzAuODMtMzUuNzgiLz48L3N2Zz4=
       mediatype: image/svg+xml
     image: <your_registry>/olm/redhat-operators:v2
     displayName: Redhat Operators Catalog
     publisher: Red Hat

2. 使用 redhat-operator-catalogsource.yaml 文件创建一个目录源：

   $ oc apply -f redhat-operator-catalogsource.yaml

3. 验证新的 redhat-operator pod 是否正在运行。

   $ oc get pod -n openshift-marketplace | grep redhat-operators

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → Installed Operators
3. 选择 openshift-storage 项目。
4. 点 OpenShift Container Storage operator 名称。
5. 单击 Subscription 选项卡，再单击 Approval 下的链接。
6. 选择 Automatic(default) 并点 Save。

7. 根据 Upgrade Status 执行以下操作之一：

   • 升级状态 显示 需要批准。

     注意

     如果频道中已检测到新的 OpenShift Container Storage 版本，且更新时已将批准策略从 Manual 改为 Automatic，则 升级状态 会显示为需要批准。

     1. 单击 Install Plan 链接。
     2. 在 InstallPlan Details 页面中点 Preview Install Plan。
     3. 检查安装计划并点 Approve。
     4. 等待 Status 从 Unknown 更改为 Created。
     5. 点 Operators → Installed Operators
     6. 选择 openshift-storage 项目。
     7. 等待 Status 更改为 Up to date

   • 升级状态 不需要 批准 ：

     1. 等待更新启动。这可能需要长达 20 分钟。
     2. 点 Operators → Installed Operators
     3. 选择 openshift-storage 项目。
     4. 等待 Status 更改为 Up to date

验证步骤

1. 在 OpenShift Web 控制台中，导航到 Storage → Overview → Object 选项卡。

   • 在 Status 卡中，验证 Object Service 和 Data Resiliency 是否都处于 Ready 状态（绿色勾选）。

2. 在 OpenShift Web 控制台中，导航到 Storage → Overview → Block and File 选项卡。

   • 在 Status 卡中，验证 Storage Cluster 和 Data Resiliency 是否有绿色勾号标记。

3. 点 Operators → Installed Operators → OpenShift Container Storage Operator。在 Storage Cluster 下，验证集群服务状态是否为 Ready。

   注意

   从 OpenShift Container Storage 版本 4.7 更新至 4.8 后，此处的 Version 字段仍将显示 4.7。这是因为 ocs-operator 不会更新此字段中代表的字符串。

4. 确保所有 OpenShift Container Storage Pod（包括 Operator Pod）在 openshift-storage 命名空间中 处于 Running 状态。

   要查看 pod 的状态，请点击 Workloads → Pods。从 Project 下拉列表中，选择 openshift-storage。

5. 如果验证步骤失败，请联系红帽支持。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → Installed Operators
3. 选择 openshift-storage 项目。
4. 点 OpenShift Container Storage operator 名称。
5. 单击 Subscription 选项卡，再单击 Approval 下的链接。
6. 选择 Manual，然后单击 Save。
7. 等待 Upgrade Status 更改为 Upgrading。
8. 如果 Upgrade Status 显示 需要批准，请单击 require approval。
9. 在 InstallPlan Details 页面中点 Preview Install Plan。
10. 检查安装计划并点 Approve。
11. 等待 Status 从 Unknown 更改为 Created。
12. 点 Operators → Installed Operators
13. 选择 openshift-storage 项目。
14. 等待 Status 更改为 Up to date

验证步骤

1. 在 OpenShift Web 控制台中，导航到 Storage → Overview → Object 选项卡。

   • 在 Status 卡中，验证 Object Service 和 Data Resiliency 是否都处于 Ready 状态（绿色勾选）。

2. 在 OpenShift Web 控制台中，导航到 Storage → Overview → Block and File 选项卡。

   • 在 Status 卡中，验证 Storage Cluster 和 Data Resiliency 是否有绿色勾号标记。

3. 点 Operators → Installed Operators → OpenShift Container Storage Operator。在 Storage Cluster 下，验证集群服务状态是否为 Ready。

   注意

   从 OpenShift Container Storage 版本 4.7 更新至 4.8 后，此处的 Version 字段仍将显示 4.7。这是因为 ocs-operator 不会更新此字段中代表的字符串。

4. 确保所有 OpenShift Container Storage Pod（包括 Operator Pod）在 openshift-storage 命名空间中 处于 Running 状态。

   要查看 pod 的状态，请点击 OpenShift Web 控制台左侧窗格中的 Workloads → Pods。从 Project 下拉列表中，选择 openshift-storage。

5. 如果验证步骤失败，请联系红帽支持。