流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。

3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Backing Store 选项卡。

   图 4.1. 带有后备存储标签的 OpenShift Container Storage Operator 页

   

4. 单击 Create Backing Store。

   图 4.2. 创建后端存储页面

   

5. 在 Create New Backing Store 页面中执行以下操作：

   1. 输入后端存储名称。
   2. 选择 Provider。
   3. 选择 Region。
   4. 输入 端点.这是可选的。

   5. 从下拉列表中选择一个 Secret，或创建自己的 secret。另外，您也可以切换到 Credentials 视图来填写所需的 secret。

      有关创建 OCP secret 的更多信息，请参阅 Openshift Container Platform 文档中的创建 secret 部分。

      每个后备存储都需要不同的机密。有关为特定后备存储创建 secret 的更多信息，请参阅 第 4.2 节 “使用 MCG 命令行界面为混合或多云添加存储资源” 并按照使用 YAML 添加存储资源的步骤进行操作。

      注意

      此菜单与 Google Cloud 和本地 PVC 以外的所有供应商相关。

   6. 输入 Target bucket。目标 bucket 是托管在远程云服务的容器存储。它允许您创建一个连接，告诉 MCG 它可以将此存储桶用于系统。
6. 单击 Create Backing Store。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的后备存储，或者单击 Backing Store 选项卡来查看所有后备存储。

流程

1. 在 Multicloud Object Gateway (MCG) 命令行界面中，运行以下命令：

   noobaa backingstore create s3-compatible rgw-resource --access-key=<RGW ACCESS KEY> --secret-key=<RGW SECRET KEY> --target-bucket=<bucket-name> --endpoint=<RGW endpoint>

   1. 要获取 <RGW ACCESS KEY> 和 <RGW SECRET KEY>，请使用您的 RGW 用户 secret 名称运行以下命令：

      oc get secret <RGW USER SECRET NAME> -o yaml

   2. 解码 Base64 中的访问密钥 ID 和访问密钥，并保留它们。
   3. 将 <RGW USER ACCESS KEY> 和 <RGW USER SECRET ACCESS KEY> 替换为上一步中的相应已解码数据。
   4. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。

   5. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

      输出结果类似如下：

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "rgw-resource"
      INFO[0002] ✅ Created: Secret "backing-store-secret-rgw-resource"

1. 创建 CephObjectStore 用户。这还会创建一个包含 RGW 凭证的 secret：

   apiVersion: ceph.rook.io/v1
   kind: CephObjectStoreUser
   metadata:
     name: <RGW-Username>
     namespace: openshift-storage
   spec:
     store: ocs-storagecluster-cephobjectstore
     displayName: "<Display-name>"

   1. 将 <RGW-Username> 和 <Display-name> 替换为唯一的用户名和显示名称。

2. 为 S3-Compatible 后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <backingstore-name>
     namespace: openshift-storage
   spec:
     s3Compatible:
       endpoint: <RGW endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       signatureVersion: v4
       targetBucket: <RGW-bucket-name>
     type: s3-compatible

   1. 将 <backingstore-secret-name> 替换为上一步中使用 CephObjectStore 创建的 secret 的名称。
   2. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。
   3. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

流程

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 选择左侧的资源选项卡，突出显示下方。从填充的列表中，选择 Add Cloud Resource：

   

3. 选择 Add new connection：

   

4. 选择相关的原生云供应商或 S3 兼容选项并填写详情：

   

5. 选择新创建的连接并将其映射到现有存储桶：

   
6. 重复这些步骤，根据需要创建任意数量的后备存储。

流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。

3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Bucket Class 选项卡。

   图 4.3. 带有 Bucket Class 选项卡的 OpenShift Container Storage Operator 页

   
4. 点 Create Bucket Class。

5. 在 Create new Bucket Class 页面中，执行以下操作：

   1. 输入 Bucket Class Name 并点 Next。

      图 4.4. Create Bucket Class 页

      

   2. 在放置策略中，选择 Tier 1 - Policy Type 并单击 Next。您可以根据要求选择任一选项。

      • Spread 允许在选定资源之间分散数据。
      • Mirror 允许在选定资源中完全重复数据。

      • 单击 Add Tier 以添加另一个策略层。

        图 4.5. 第 1 层 - 策略类型选择页面

        

   3. 如果您选择了 Tier 1 - Policy Type as Spread，请从可用列表中选择 Backing Store 资源，然后单击 Next。或者，您也可以创建新的后备存储。

      图 4.6. 第 1 层 - 后端存储选择页面

      

1. 检查并确认 Bucket 类设置。

   图 4.7. bucket 类设置查看页面

   
2. 点 Create Bucket Class。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的 Bucket Class 或点击 Bucket Class 选项卡来查看所有 Bucket 类。

流程

1. 在 OpenShift 控制台中，点击 Home → Overview，然后点击 Object Service 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点 Accounts 并选择要添加连接的帐户。
4. 单击 My Connections。

5. 单击 Add Connection。

   1. 输入 连接名称。
   2. 默认情况下，您的云提供程序会在 服务 下拉菜单中显示。更改选择以使用其他提供程序。
   3. 默认情况下，您的云供应商的默认端点会在 Endpoint 字段中显示。如果需要，输入替代端点。
   4. 输入您的云供应商访问密钥。
   5. 输入此云供应商的 Secret 密钥。
   6. 点 Save。

流程

1. 在 OpenShift 控制台中，点 Home → Overview 并点 Object Service 选项卡。
2. 点击 Multicloud Storage Gateway，并在出现提示时登录。
3. 点击 Resources，然后点击 Namespace Resources 选项卡。

4. 点 Create Namespace Resource。

   1. 在 Target Connection 中，选择要用于此命名空间的存储供应商的连接。

      如果需要添加新连接，请点击 Add New Connection 并输入您的供应商详情。如需更多信息，请参阅 第 5.1 节 “在 Multicloud 对象网关中添加供应商连接”。

   2. 在 Target Bucket 中，选择要用作目标的存储桶的名称。
   3. 输入命名空间资源的 Resource Name。
   4. 点击 Create。

流程

1. 在 OpenShift 控制台中，点击 Home → Overview，然后点击 Object Service 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点击 Buckets，然后点击 Namespace Buckets 选项卡。

4. 点 Create Namespace Bucket。

   1. 在 Choose Name 选项卡中，指定命名空间存储桶的名称，再单击 Next。

   2. 在 Set Placement 标签页中：

      1. 在 Read Policy 下，选中命名空间存储桶应该从中读取数据的每个命名空间资源的复选框。
      2. 在 Write Policy 下，指定命名空间存储桶应将数据写入的命名空间资源。
      3. 点 Next。
   3. 对于生产环境，不要对 Set Caching Policy 选项卡进行更改。此选项卡作为开发预览提供，对其支持有相关的限制。
   4. 点击 Create。

1. 在 MCG 命令行界面中，运行以下命令来创建带有镜像策略的存储桶类：

   $ noobaa bucketclass create mirror-to-aws --backingstores=azure-resource,aws-resource --placement Mirror

2. 将新创建的存储桶类设置为一个新的存储桶声明，生成一个新的存储桶，该存储桶将在两个位置之间进行镜像：

   $ noobaa obc create  mirrored-bucket --bucketclass=mirror-to-aws

1. 应用以下 YAML。此 YAML 是一个混合示例，在本地 Ceph 存储和 AWS 之间镜像数据：

   apiVersion: noobaa.io/v1alpha1
   kind: BucketClass
   metadata:
     name: hybrid-class
     labels:
       app: noobaa
   spec:
     placementPolicy:
       tiers:
         - tier:
             mirrors:
               - mirror:
                   spread:
                     - cos-east-us
               - mirror:
                   spread:
                     - noobaa-test-bucket-for-ocp201907291921-11247_resource

2. 将以下行添加到标准 Object Bucket Claim (OBC) 中：

   additionalConfig:
     bucketclass: mirror-to-aws

   有关 OBCs 的更多信息，请参阅 第 8 章 对象 Bucket 声明。

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 点击左侧的存储 桶 图标。您将看到存储桶列表：

   
3. 点击您要更新的存储桶。

4. 点击 Edit Tier 1 Resources:

   

5. 选择 Mirror 并检查您要用于这个存储桶的相关资源。在以下示例中，我们将 prem Ceph RGW 上的数据镜像到 AWS:

   
6. 点 Save。

1. 以 JSON 格式创建 bucket 策略。请参见以下示例：

   {
       "Version": "NewVersion",
       "Statement": [
           {
               "Sid": "Example",
               "Effect": "Allow",
               "Principal": [
                       "john.doe@example.com"
               ],
               "Action": [
                   "s3:GetObject"
               ],
               "Resource": [
                   "arn:aws:s3:::john_bucket"
               ]
           }
       ]
   }

   bucket 策略有许多可用的元素。有关这些元素的详情以及如何使用它们的示例，请参阅 AWS 访问策略语言概述。

   如需存储桶策略的更多示例，请参阅 AWS Bucket 策略示例。

   有关创建 S3 用户的说明，请参阅 第 7.3 节 “在 Multicloud 对象网关中创建 AWS S3 用户”。

2. 使用 AWS S3 客户端，使用 put-bucket-policy 命令将存储桶策略应用到 S3 存储桶：

   # aws --endpoint ENDPOINT --no-verify-ssl s3api put-bucket-policy --bucket MyBucket --policy BucketPolicy

   使用 S3 端点替换 ENDPOINT

   将 MyBucket 替换为存储桶来设置策略

   将 BucketPolicy 替换为存储桶策略 JSON 文件

   如果您使用默认自签名证书，请添加 --no-verify-ssl

   例如：

   # aws --endpoint https://s3-openshift-storage.apps.gogo44.noobaa.org --no-verify-ssl s3api put-bucket-policy -bucket MyBucket --policy file://BucketPolicy

   如需有关 put-bucket-policy 命令的更多信息，请参阅有关 put-bucket-policy 的 AWS CLI 命令参考。

流程

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 在 Accounts 选项卡下，点 Create Account:

   

3. 选择 S3 Access Only，提供 帐户名称，例如 john.doe@example.com。点 Next:

   

4. 选择 S3 默认放置，例如 noobaa-default-backing-store。选择 Buckets Permissions。可以选择特定的存储桶或所有存储桶。点 Create：

   

流程

1. 在应用程序 YAML 中添加以下行：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <obc-name>
   spec:
     generateBucketName: <obc-bucket-name>
     storageClassName: openshift-storage.noobaa.io

   这些行是对象 Bucket 声明本身。

   1. 将 <obc-name> 替换为唯一的对象 Bucket Claim 名称。
   2. 将 <obc-bucket-name> 替换为 Object Bucket Claim 的唯一存储桶名称。

2. 您可以在 YAML 文件中添加更多行来自动使用 Object Bucket Claim。以下示例是存储桶声明结果之间的映射，这是一个带有凭证数据和 secret 的配置映射。此特定作业将从 NooBaa 声明 Object Bucket，这将创建一个存储桶和帐户。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: testjob
   spec:
     template:
       spec:
         restartPolicy: OnFailure
         containers:
           - image: <your application image>
             name: test
             env:
               - name: BUCKET_NAME
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_NAME
               - name: BUCKET_HOST
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_HOST
               - name: BUCKET_PORT
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_PORT
               - name: AWS_ACCESS_KEY_ID
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_ACCESS_KEY_ID
               - name: AWS_SECRET_ACCESS_KEY
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_SECRET_ACCESS_KEY

   1. 将 <obc-name> 的所有实例替换为您的对象 Bucket Claim 名称。
   2. 将 <your application image> 替换为您的应用程序镜像。

3. 应用更新的 YAML 文件：

   # oc apply -f <yaml.file>

   1. 将 <yaml.file> 替换为 YAML 文件的名称。

4. 要查看新配置映射，请运行以下命令：

   # oc get cm <obc-name>

   1. 将 obc-name 替换为对象 Bucket Claim 的名称。

      您可以在输出中预期以下环境变量：

      • BUCKET_HOST - 要在应用程序中使用的端点

      • BUCKET_PORT - 应用程序可用的端口

        • 端口与 BUCKET_HOST 相关。例如，如果 BUCKET_HOST 是 https://my.example.com，BUCKET_PORT 为 443，则对象服务的端点将是 https://my.example.com:443。
      • BUCKET_NAME - 请求或生成的存储桶名称
      • AWS_ACCESS_KEY_ID - 作为凭据一部分的访问密钥
      • aws_SECRET_ACCESS_KEY - 属于凭据的 Secret 访问密钥

流程

1. 使用命令行界面生成新 bucket 和凭据的详细信息。运行以下命令：

   # noobaa obc create <obc-name> -n openshift-storage

   将 <obc-name> 替换为一个唯一的对象 Bucket Claim 名称，例如 myappobc。

   另外，您可以使用 --app-namespace 选项指定创建 Object Bucket Claim 配置映射和 secret 的命名空间，如 myapp-namespace。

   输出示例：

   INFO[0001] ✅ Created: ObjectBucketClaim "test21obc"

   MCG 命令行界面已创建了必要的配置，并已向 OpenShift 告知新的 OBC。

2. 运行以下命令来查看对象 Bucket 声明：

   # oc get obc -n openshift-storage

   输出示例：

   NAME        STORAGE-CLASS                 PHASE   AGE
   test21obc   openshift-storage.noobaa.io   Bound   38s

3. 运行以下命令，以查看新对象 Bucket 声明的 YAML 文件：

   # oc get obc test21obc -o yaml -n openshift-storage

   输出示例：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     generation: 2
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     resourceVersion: "40756"
     selfLink: /apis/objectbucket.io/v1alpha1/namespaces/openshift-storage/objectbucketclaims/test21obc
     uid: 64f04cba-f662-11e9-bc3c-0295250841af
   spec:
     ObjectBucketName: obc-openshift-storage-test21obc
     bucketName: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     generateBucketName: test21obc
     storageClassName: openshift-storage.noobaa.io
   status:
     phase: Bound

4. 在 openshift-storage 命名空间内，您可以找到配置映射和 secret 来使用此 Object Bucket Claim。CM 和 secret 的名称与 Object Bucket Claim 的名称相同。查看 secret：

   # oc get -n openshift-storage secret test21obc -o yaml

   输出示例：

   Example output:
   apiVersion: v1
   data:
     AWS_ACCESS_KEY_ID: c0M0R2xVanF3ODR3bHBkVW94cmY=
     AWS_SECRET_ACCESS_KEY: Wi9kcFluSWxHRzlWaFlzNk1hc0xma2JXcjM1MVhqa051SlBleXpmOQ==
   kind: Secret
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40751"
     selfLink: /api/v1/namespaces/openshift-storage/secrets/test21obc
     uid: 65117c1c-f662-11e9-9094-0a5305de57bb
   type: Opaque

   该机密为您提供了 S3 访问凭据。

5. 查看配置映射：

   # oc get -n openshift-storage cm test21obc -o yaml

   输出示例：

   apiVersion: v1
   data:
     BUCKET_HOST: 10.0.171.35
     BUCKET_NAME: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     BUCKET_PORT: "31242"
     BUCKET_REGION: ""
     BUCKET_SUBREGION: ""
   kind: ConfigMap
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40752"
     selfLink: /api/v1/namespaces/openshift-storage/configmaps/test21obc
     uid: 651c6501-f662-11e9-9094-0a5305de57bb

   配置映射包含应用的 S3 端点信息。

流程

1. 登录 OpenShift Web 控制台。
2. 在左侧导航栏中，点击 Storage → Object Bucket Claims。

3. 点击 Create Object Bucket Claim:

   

4. 输入对象存储桶声明的名称，并根据您的部署（内部或外部）从下拉菜单中选择适当的存储类：

   内部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)
   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

   外部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-external-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)

   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

     注意

     RGW OBC 存储类仅可用于全新安装的 OpenShift Container Storage 版本 4.5。它不适用于从以前的 OpenShift Container Storage 发行版本升级的集群。

5. 点击 Create。

   创建 OBC 后，您会被重定向到其详情页面：

   

流程

1. 在左侧导航栏中，点击 Storage → Object Bucket Claims。
2. 点击您创建的 OBC 旁边的操作菜单(⋮)。

3. 从下拉菜单中选择 Attach to Deployment。

   

4. 从 Deployment Name 列表中选择所需的部署，然后点 Attach:

   

1. 登录 OpenShift Web 控制台。

2. 在左侧导航栏中，点击 Storage → Object Buckets:

   

   您还可以导航到特定 OBC 的详细信息页面，再单击 Resource 链接来查看该 OBC 的对象存储桶。

3. 选择您要查看详细信息的对象 bucket。您可以导航到对象存储桶的详情页面：

   

流程

1. 在左侧导航栏中，点击 Storage → Object Bucket Claims。

2. 点击您要删除的 Object Bucket Claim 旁边的操作菜单(⋮)。

   

3. 从菜单中选择 Delete Object Bucket Claim。

   
4. 点击 Delete。

流程

1. 在 Multicloud Object Gateway 用户界面的 Overview 页面中，点 Add Storage Resources:

   

2. 在窗口中点击 Deploy Kubernetes Pool：

   

3. 在 Create Pool 步骤中，为将来安装的节点创建目标池。

   

4. 在 Configure 步骤中，配置请求的 pod 数以及每个 PV 的大小。对于每个新 pod，会创建一个 PV。

   
5. 在 Review 步骤中，您可以找到新池的详细信息，再选择要使用的部署方法：本地或外部部署。如果选择了本地部署，Kubernetes 节点将在集群内部署。如果选择了外部部署，您将获得 YAML 文件，供外部运行。

6. 所有节点都会分配给您在第一步中选择的池，并可在 Resources → Storage resources → Resource name 下找到：