流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword… 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。
4. 点击 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 频道为 stable-4.8。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略为 Automatic。
6. 点击 Install。

流程

1. 在 Web 控制台中，点 Operators → OperatorHub。
2. 在 Filter by keyword 框中滚动或输入关键字以搜索 OpenShift Container Storage Operator。
3. 在 OpenShift Container Storage operator 页中点 Install。

4. 在 Install Operator 页面中，默认选择以下所需选项：

   1. 将 Channel 更新为 stable-4.8。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果 Namespace openshift-storage 不存在，它会在 Operator 安装过程中创建。
   4. 将 Approval Strategy 选为 Automatic 或 Manual。

   5. 点击 Install。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择了 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才可将 Operator 更新至新版本。

流程

1. 登录 OpenShift Web 控制台。
2. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

3. 从 Project 下拉列表中，选择 openshift-storage。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 4.1 “对应 OpenShift Container 存储集群的 Pod”。

4. 单击 Running 和 Completed 选项卡，以验证 pod 正在运行并处于已完成状态。

   表 4.1. 对应 OpenShift Container 存储集群的 Pod

   组件	对应的 pod
   OpenShift Container Storage Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocs-metrics-exporter-*
   Rook-ceph Operator	rook-ceph-operator-* （任何 worker 节点上有 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) NooBaa-db-* （任意存储节点上的 1 个 pod） noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （5 个 pod 分布到 3 个区域，每个数据中心区域 2 个，1 个在仲裁区域内）
   MGR	rook-ceph-mgr-* （任何存储节点 2 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （2 个 pod 分布到 2 个数据中心区域）
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* （2 个 pod 分布到 2 个数据中心区域）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-* （每个存储节点 1 个 pod，1 个 pod 在仲裁区域上）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-ocs-deviceset-* （每个设备 1 个 pod）

流程

1. 点 Storage → Overview，点 Block and File 选项卡。
2. 在 Status 卡 中，验证 Storage Cluster 和 Data Resiliency 具有绿色勾号标记。
3. 在 Details 卡 中，验证是否显示集群信息。

流程

1. 在 OpenShift Web 控制台中点 Storage → Overview，然后点击 Object 选项卡。
2. 在 Status 卡 中，验证 Object Service 和 Data Resiliency 都处于 Ready 状态（绿色钩号）。
3. 在 Details 卡 中，验证是否显示了 Multicloud 对象网关信息。

流程

1. 从 OpenShift Web 控制台点 Storage → Storage Classes。

2. 验证是否在创建 OpenShift Container Storage 集群时创建了以下存储类：

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io
   • ocs-storagecluster-ceph-rgw

1. 创建一个新项目

   oc new-project my-shared-storage

2. 部署名为 file-uploader 的 PHP 应用程序示例：

   oc new-app openshift/php:7.2-ubi8~https://github.com/christianh814/openshift-php-upload-demo --name=file-uploader

   输出示例：

   Found image 4f2dcc0 (9 days old) in image stream "openshift/php" under tag "7.2-ubi8" for "openshift/php:7.2-
   ubi8"
   
   Apache 2.4 with PHP 7.2
   -----------------------
   PHP 7.2 available as container is a base platform for building and running various PHP 7.2 applications and frameworks. PHP is an HTML-embedded scripting language. PHP attempts to make it easy for developers to write dynamically generated web pages. PHP also offers built-in database integration for several commercial and non-commercial database management systems, so writing a database-enabled webpage with PHP is fairly simple. The most common
   use of PHP coding is probably as a replacement for CGI scripts.
   
   Tags: builder, php, php72, php-72
   
   * A source build using source code from https://github.com/christianh814/openshift-php-upload-demo will be cr
   eated
   * The resulting image will be pushed to image stream tag "file-uploader:latest"
   * Use 'oc start-build' to trigger a new build
   
   --> Creating resources ...
       imagestream.image.openshift.io "file-uploader" created
       buildconfig.build.openshift.io "file-uploader" created
       deployment.apps "file-uploader" created
       service "file-uploader" created
   --> Success
       Build scheduled, use 'oc logs -f buildconfig/file-uploader' to track its progress.
   
       Application is not exposed. You can expose services to the outside world by executing one or more of the commands below:
        'oc expose service/file-uploader'
   
       Run 'oc status' to view your app.

3. 查看构建日志并等待应用程序部署：

   oc logs -f bc/file-uploader -n my-shared-storage

   输出示例：

   Cloning "https://github.com/christianh814/openshift-php-upload-demo" ...
   
       [...]
       Generating dockerfile with builder image image-registry.openshift-image-regis
   try.svc:5000/openshift/php@sha256:d97466f33999951739a76bce922ab17088885db610c
   0e05b593844b41d5494ea
   STEP 1: FROM image-registry.openshift-image-registry.svc:5000/openshift/php@s
   ha256:d97466f33999951739a76bce922ab17088885db610c0e05b593844b41d5494ea
   STEP 2: LABEL "io.openshift.build.commit.author"="Christian Hernandez <christ
   ian.hernandez@yahoo.com>"       "io.openshift.build.commit.date"="Sun Oct 1 1
   7:15:09 2017 -0700"       "io.openshift.build.commit.id"="288eda3dff43b02f7f7
   b6b6b6f93396ffdf34cb2"       "io.openshift.build.commit.ref"="master"       "
   io.openshift.build.commit.message"="trying to modularize"       "io.openshift
   .build.source-location"="https://github.com/christianh814/openshift-php-uploa
   d-demo"       "io.openshift.build.image"="image-registry.openshift-image-regi
   stry.svc:5000/openshift/php@sha256:d97466f33999951739a76bce922ab17088885db610
   c0e05b593844b41d5494ea"
   STEP 3: ENV OPENSHIFT_BUILD_NAME="file-uploader-1"     OPENSHIFT_BUILD_NAMESP
   ACE="my-shared-storage"     OPENSHIFT_BUILD_SOURCE="https://github.com/christ
   ianh814/openshift-php-upload-demo"     OPENSHIFT_BUILD_COMMIT="288eda3dff43b0
   2f7f7b6b6b6f93396ffdf34cb2"
   STEP 4: USER root
   STEP 5: COPY upload/src /tmp/src
   STEP 6: RUN chown -R 1001:0 /tmp/src
   STEP 7: USER 1001
   STEP 8: RUN /usr/libexec/s2i/assemble
   ---> Installing application source...
   => sourcing 20-copy-config.sh ...
   ---> 17:24:39     Processing additional arbitrary httpd configuration provide
   d by s2i ...
   => sourcing 00-documentroot.conf ...
   => sourcing 50-mpm-tuning.conf ...
   => sourcing 40-ssl-certs.sh ...
   STEP 9: CMD /usr/libexec/s2i/run
   STEP 10: COMMIT temp.builder.openshift.io/my-shared-storage/file-uploader-1:3
   b83e447
   Getting image source signatures
   
   [...]

   当您看到 Push successful 后，命令提示符会从 tail 模式返回。

1. 为了让我们的应用程序区了解，我们需要在应用部署配置中添加 pod 放置规则。运行以下命令并查看下方所示的输出：在下一步中，我们将修改 Deployment 以使用拓扑区域标签，如以下输出中的 Start 和 End 部分所示。

   $ oc get deployment file-uploader -o yaml -n my-shared-storage | less

   输出示例：

   [...]
   spec:
     progressDeadlineSeconds: 600
     replicas: 4
     revisionHistoryLimit: 10
     selector:
       matchLabels:
         deployment: file-uploader
     strategy:
       rollingUpdate:
         maxSurge: 25%
         maxUnavailable: 25%
       type: RollingUpdate
     template:
       metadata:
         annotations:
           openshift.io/generated-by: OpenShiftNewApp
         creationTimestamp: null
         labels:
           deployment: file-uploader
         spec:  # <-- Start inserted lines after here
           containers:  # <-- End inserted lines before here
           - image: image-registry.openshift-image-registry.svc:5000/my-shared-storage/file-uploader@sha256:a458ea62f990e431ad7d5f84c89e2fa27bdebdd5e29c5418c70c56eb81f0a26b
             imagePullPolicy: IfNotPresent
             name: file-uploader
   [...]

2. 编辑部署并在开始和末尾添加以下新行，如上所示：

   $ oc edit deployment file-uploader -n my-shared-storage

   [...]
         spec:
           topologySpreadConstraints:
             - labelSelector:
                 matchLabels:
                   deployment: file-uploader
               maxSkew: 1
               topologyKey: topology.kubernetes.io/zone
               whenUnsatisfiable: DoNotSchedule
             - labelSelector:
                 matchLabels:
                   deployment: file-uploader
               maxSkew: 1
               topologyKey: kubernetes.io/hostname
               whenUnsatisfiable: ScheduleAnyway
           nodeSelector:
             node-role.kubernetes.io/worker: ""
           containers:
   [...]

   输出示例：

   deployment.apps/file-uploader edited

3. 将部署扩展为零 个 Pod，然后重新扩展到 四个 Pod。这是必要的，因为部署在 Pod 的放置方面发生了变化。

   oc scale deployment file-uploader --replicas=0 -n my-shared-storage

   输出示例：

   deployment.apps/file-uploader scaled

   然后返回到 4 个 Pod。

   $ oc scale deployment file-uploader --replicas=4 -n my-shared-storage

   输出示例：

   deployment.apps/file-uploader scaled

4. 验证这四个 Pod 分布到 datacenter1 和 datacenter2 区域中的四个节点上。

   $ oc get pods -o wide -n my-shared-storage | egrep '^file-uploader'| grep -v build | awk '{print $7}' | sort | uniq -c

   输出示例：

      1 perf1-mz8bt-worker-d2hdm
      1 perf1-mz8bt-worker-k68rv
      1 perf1-mz8bt-worker-ntkp8
      1 perf1-mz8bt-worker-qpwsr

   $ oc get nodes -L topology.kubernetes.io/zone | grep datacenter | grep -v master

   输出示例：

   perf1-mz8bt-worker-d2hdm   Ready    worker   35d   v1.20.0+5fbfd19   datacenter1
   perf1-mz8bt-worker-k68rv   Ready    worker   35d   v1.20.0+5fbfd19   datacenter1
   perf1-mz8bt-worker-ntkp8   Ready    worker   35d   v1.20.0+5fbfd19   datacenter2
   perf1-mz8bt-worker-qpwsr   Ready    worker   35d   v1.20.0+5fbfd19   datacenter2

5. 使用浏览器中的 file-uploader Web 应用上传新文件。

   1. 查找创建的路由：

      $ oc get route file-uploader -n my-shared-storage -o jsonpath --template="http://{.spec.host}{'\n'}"

      这将返回一个类似此路由的路由。

      输出示例：

      http://file-uploader-my-shared-storage.apps.cluster-ocs4-abdf.ocs4-abdf.sandbox744.opentlc.com

   2. 使用上述路由将浏览器指向 Web 应用。您的路由会有所不同。

      Web 应用只需列出所有上传的文件，并且能够上传新文件并下载现有数据。现在，还没有任何内容。

   3. 从本地计算机中选择一个任意文件并将其上传到应用程序。

      图 5.1. 基于 PHP 的简单文件上传工具

      
   4. 单击 已上传文件列表，以查看所有当前上传的文件的列表。