1. 删除 PV：

   $ oc delete <pv-name>

   外部基础架构（如 AWS EBS、GCE PD、Azure Disk 或 Cinder 卷）中的关联的存储资产在 PV 被删除后仍然存在。

2. 清理相关存储资产中的数据。
3. 删除关联的存储资产。另外，若要重复使用同一存储资产，请使用存储资产定义创建新 PV。

1. 列出集群中的持久性卷：

   $ oc get pv

   输出示例

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim3    manual                     3s

2. 选择一个持久性卷并更改其重新声明策略：

   $ oc patch pv <your-pv-name> -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}'

3. 验证您选择的持久性卷是否具有正确的策略：

   $ oc get pv

   输出示例

   NAME                                       CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM             STORAGECLASS     REASON    AGE
    pvc-b6efd8da-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim1    manual                     10s
    pvc-b95650f8-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Delete          Bound     default/claim2    manual                     6s
    pvc-bb3ca71d-b7b5-11e6-9d58-0ed433a7dd94   4Gi        RWO           Retain          Bound     default/claim3    manual                     3s

   在前面的输出中，绑定到声明 default/claim3 的卷现在具有 Retain 重新声明策略。当用户删除声明 default/claim3 时，这个卷不会被自动删除。

1. ReadWriteOnce（RWO）卷不能挂载到多个节点上。如果节点失败，系统不允许将附加的 RWO 卷挂载到新节点上，因为它已经分配给了故障节点。如果因此遇到多附件错误消息，可以恢复或删除失败的节点，使卷可供其他节点使用。
2. 为依赖 AWS EBS 的 pod 使用重新创建的部署策略。

流程

1. 通过创建一个包含以下内容的 configmap.yaml 文件，定义包含环境变量的 OpenShift Container Platform ConfigMap：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: efs-provisioner
   data:
     file.system.id: <file-system-id> 1
     aws.region: <aws-region> 2
     provisioner.name: openshift.org/aws-efs 3
     dns.name: "" 4

   1

   定义 Amazon Web Services (AWS) EFS 文件系统 ID。

   2

   EFS 文件系统的 AWS 区域，比如 us-east-1。

   3

   关联的存储类的置备程序名称。

   4

   用来指定 EFS 卷所在的新 DNS 名称的一个可选参数。如果没有提供 DNS 名称，则置备程序将在 <file-system-id>.efs.<aws-region>.amazonaws.com中搜索 EFS 卷。

2. 在文件被配置后，运行以下命令在集群中创建该文件：

   $ oc create -f configmap.yaml -n <namespace>

流程

1. 创建一个 efs-provisioner 服务帐户：

   $ oc create serviceaccount efs-provisioner

2. 创建定义所需权限的文件 clusterrole.yaml ：

   kind: ClusterRole
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: efs-provisioner-runner
   rules:
     - apiGroups: [""]
       resources: ["persistentvolumes"]
       verbs: ["get", "list", "watch", "create", "delete"]
     - apiGroups: [""]
       resources: ["persistentvolumeclaims"]
       verbs: ["get", "list", "watch", "update"]
     - apiGroups: ["storage.k8s.io"]
       resources: ["storageclasses"]
       verbs: ["get", "list", "watch"]
     - apiGroups: [""]
       resources: ["events"]
       verbs: ["create", "update", "patch"]
     - apiGroups: ["security.openshift.io"]
       resources: ["securitycontextconstraints"]
       verbs: ["use"]
       resourceNames: ["hostmount-anyuid"]

3. 创建一个文件 clusterrolebinding.yaml，该文件定义一个集群角色绑定把定义的角色和服务帐户进行绑定：

   kind: ClusterRoleBinding
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: run-efs-provisioner
   subjects:
     - kind: ServiceAccount
       name: efs-provisioner
       namespace: default 1
   roleRef:
     kind: ClusterRole
     name: efs-provisioner-runner
     apiGroup: rbac.authorization.k8s.io

   1

   运行 EFS provisioner pod 的命名空间。如果 EFS 置备程序不在 default 命名空间中运行，则必须更新这个值。

4. 创建一个文件 role.yaml，它定义了具有所需权限的角色：

   kind: Role
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: leader-locking-efs-provisioner
   rules:
     - apiGroups: [""]
       resources: ["endpoints"]
       verbs: ["get", "list", "watch", "create", "update", "patch"]

5. 创建一个文件 rolebinding.yaml，它定义了一个角色绑定将这个角色和服务帐户进行绑定：

   kind: RoleBinding
   apiVersion: rbac.authorization.k8s.io/v1
   metadata:
     name: leader-locking-efs-provisioner
   subjects:
     - kind: ServiceAccount
       name: efs-provisioner
       namespace: default 1
   roleRef:
     kind: Role
     name: leader-locking-efs-provisioner
     apiGroup: rbac.authorization.k8s.io

   1

   运行 EFS provisioner pod 的命名空间。如果 EFS 置备程序不在 default 命名空间中运行，则必须更新这个值。

6. 在 OpenShift Container Platform 集群中创建资源：

   $ oc create -f clusterrole.yaml,clusterrolebinding.yaml,role.yaml,rolebinding.yaml

流程

1. 通过创建包含以下内容的 storageclass.yaml 来定义包含环境变量的 OpenShift Container Platform 配置映射：

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: aws-efs
   provisioner: openshift.org/aws-efs
   parameters:
     gidMin: "2048" 1
     gidMax: "2147483647" 2
     gidAllocate: "true" 3

   1

   定义卷分配的最小组群 ID (GID)。这是一个可选参数。默认值为 2048。

   2

   定义卷分配的最大 GID。这是一个可选参数。默认值为 2147483647。

   3

   指定是否为卷分配 GID。它是一个可选参数。如果为 false，则动态置备的卷不会分配 GID，这将允许所有用户对创建的卷进行读和写操作。默认值为 true。

2. 在文件被配置后，运行以下命令在集群中创建该文件：

   $ oc create -f storageclass.yaml

流程

1. 通过创建包含以下内容的 provisioner.yaml 文件定义 EFS 置备程序：

   kind: Pod
   apiVersion: v1
   metadata:
     name: efs-provisioner
   spec:
     serviceAccount: efs-provisioner
     containers:
       - name: efs-provisioner
         image: quay.io/external_storage/efs-provisioner:latest
         env:
           - name: PROVISIONER_NAME
             valueFrom:
               configMapKeyRef:
                 name: efs-provisioner
                 key: provisioner.name
           - name: FILE_SYSTEM_ID
             valueFrom:
               configMapKeyRef:
                 name: efs-provisioner
                 key: file.system.id
           - name: AWS_REGION
             valueFrom:
               configMapKeyRef:
                 name: efs-provisioner
                 key: aws.region
           - name: DNS_NAME
             valueFrom:
               configMapKeyRef:
                 name: efs-provisioner
                 key: dns.name
                 optional: true
         volumeMounts:
           - name: pv-volume
             mountPath: /persistentvolumes
     volumes:
       - name: pv-volume
         nfs:
           server: <file-system-id>.efs.<region>.amazonaws.com 1
           path: / 2

   1

   包含 EFS 卷的 DNS 名称。必须为 pod 更新此字段以发现 EFS 卷。

   2

   EFS 卷的挂载路径。每个持久性卷都是作为 EFS 卷的独立子目录创建的。如果这个 EFS 卷是用于 OpenShift Container Platform 以外的其他项目，那么建议您在 EFS 上为集群手动创建一个独立的 OpenShift Container Platform 子目录，以防止数据被其他项目访问。指定不存在的目录会导致错误。

2. 在文件被配置后，运行以下命令在集群中创建该文件：

   $ oc create -f provisioner.yaml

流程 (UI)

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在接下来的页面中定义所需选项。

   1. 从列表中选择您创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式来决定所创建存储声明的读写访问权限。

   4. 定义存储声明的大小。

      注意

      虽然您必须输入大小，但每个访问 EFS 卷的 pod 都有无限存储。定义一个值，比如 1Mi，它会提醒您存储大小是无限的。

4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程 (CLI)

1. 另外，您可以通过创建一个包含以下内容的 pvc.yaml 文件来定义 EFS 持久性卷声明：

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: efs-claim 1
     namespace: test-efs
     annotations:
       volume.beta.kubernetes.io/storage-provisioner: openshift.org/aws-efs
     finalizers:
       - kubernetes.io/pvc-protection
   spec:
     accessModes:
       - ReadWriteOnce 2
     resources:
       requests:
         storage: 5Gi 3
     storageClassName: aws-efs 4
     volumeMode: Filesystem

   1

   PVC 的唯一名称。

   2

   决定所创建 PVC 的读写访问权限的访问模式。

   3

   定义 PVC 的大小。

   4

   EFS 置备程序存储类的名称。

2. 在文件被配置后，运行以下命令在集群中创建该文件：

   $ oc create -f pvc.yaml

流程

1. 在 OpenShift Container Platform 控制台中点击 Storage→ Storage Classes。
2. 在存储类概述中，点击 Create Storage Class。

3. 在出现的页面中定义所需选项。

   1. 输入一个名称来指代存储类。
   2. 输入描述信息（可选）。
   3. 选择 reclaim 策略。
   4. 从下拉列表中选择 kubernetes.io/aws-ebs。
   5. 根据需要为存储类输入附加参数。
4. 点 Create 创建存储类。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 在 OpenShift Container Platform 控制台中点击 Storage→ Storage Classes。
2. 在存储类概述中，点击 Create Storage Class。

3. 在出现的页面中定义所需选项。

   1. 输入一个名称来指代存储类。
   2. 输入描述信息（可选）。
   3. 选择 reclaim 策略。

   4. 从下拉列表中选择 kubernetes.io/azure-disk 。

      1. 输入存储帐户类型。这与您的 Azure 存储帐户 SKU 层对应。有效选项为 Premium_LRS、Standard_LRS、StandardSSD_LRS 和 UltraSSD_LRS。

      2. 输入帐户类型。有效选项为 shared、dedicated 和 managed.

         重要

         红帽仅在存储类中支持使用 kind: Managed。

         使用 Shared 和 Dedicated 时，Azure 会创建非受管磁盘，而 OpenShift Container Platform 为机器 OS（root）磁盘创建一个受管磁盘。但是，因为 Azure Disk 不允许在节点上同时使用受管和非受管磁盘，所以使用 Shared 或 Dedicated 创建的非受管磁盘无法附加到 OpenShift Container Platform 节点。

   5. 根据需要为存储类输入附加参数。
4. 点 Create 创建存储类。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 创建包含 Azure File 凭证的 Secret 对象：

   $ oc create secret generic <secret-name> --from-literal=azurestorageaccountname=<storage-account> \ 1
     --from-literal=azurestorageaccountkey=<storage-account-key> 2

   1

   Azure File 存储帐户名称。

   2

   Azure File 存储帐户密钥。

2. 创建引用您创建的 Secret 对象的 PersistentVolume 对象：

   apiVersion: "v1"
   kind: "PersistentVolume"
   metadata:
     name: "pv0001" 1
   spec:
     capacity:
       storage: "5Gi" 2
     accessModes:
       - "ReadWriteOnce"
     storageClassName: azure-file-sc
     azureFile:
       secretName: <secret-name> 3
       shareName: share-1 4
       readOnly: false

   1

   持久性卷的名称。

   2

   此持久性卷的大小。

   3

   包含 Azure File 共享凭证的 secret 名称。

   4

   Azure File 共享的名称。

3. 创建映射到您创建的持久性卷的 PersistentVolumeClaim 对象：

   apiVersion: "v1"
   kind: "PersistentVolumeClaim"
   metadata:
     name: "claim1" 1
   spec:
     accessModes:
       - "ReadWriteOnce"
     resources:
       requests:
         storage: "5Gi" 2
     storageClassName: azure-file-sc 3
     volumeName: "pv0001" 4

   1

   持久性卷声明的名称。

   2

   持久性卷声明的大小。

   3

   用于置备持久性卷的存储类的名称。指定 PersistentVolume 定义中使用的存储类。

   4

   引用 Azure File 共享的现有 PersistentVolume 对象的名称。

1. 确保可执行文件存在于集群中的所有节点上。
2. 将可执行文件放在卷插件路径: /etc/kubernetes/kubelet-plugins/volume/exec/<vendor>～<driver>/<driver>。

流程

1. 在 OpenShift Container Platform 控制台中点击 Storage→ Storage Classes。
2. 在存储类概述中，点击 Create Storage Class。

3. 在出现的页面中定义所需选项。

   1. 输入一个名称来指代存储类。
   2. 输入描述信息（可选）。
   3. 选择 reclaim 策略。
   4. 从下拉列表中选择 kubernetes.io/gce-pd。
   5. 根据需要为存储类输入附加参数。
4. 点 Create 创建存储类。

流程

1. 在 OpenShift Container Platform 控制台中，点击 Storage → Persistent Volume Claims。
2. 在持久性卷声明概述页中，点 Create Persistent Volume Claim。

3. 在出现的页面中定义所需选项。

   1. 从下拉菜单中选择之前创建的存储类。
   2. 输入存储声明的唯一名称。
   3. 选择访问模式。这决定了所创建存储声明的读写权限。
   4. 定义存储声明的大小。
4. 点击 Create 创建持久性卷声明，并生成一个持久性卷。

流程

1. 定义持久性卷（PV）的名称。创建包含 PersistentVolume 对象定义的 pv.yaml 文件：

     apiVersion: v1
     kind: PersistentVolume
     metadata:
       name: task-pv-volume 1
       labels:
         type: local
     spec:
       storageClassName: manual 2
       capacity:
         storage: 5Gi
       accessModes:
         - ReadWriteOnce 3
       persistentVolumeReclaimPolicy: Retain
       hostPath:
         path: "/mnt/data" 4

   1

   卷的名称。持久性卷声明或 pod 识别它的名称。

   2

   用于将持久性卷声明请求绑定到这个持久性卷。

   3

   这个卷可以被一个单一的节点以 read-write 的形式挂载。

   4

   配置文件指定卷在集群节点的 /mnt/data 中。

2. 从该文件创建 PV：

   $ oc create -f pv.yaml

3. 定义持久性卷声明（PVC）。创建包含 PersistentVolumeClaim 对象定义的 pvc.yaml 文件：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: task-pvc-volume
   spec:
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi
     storageClassName: manual

4. 从文件创建 PVC：

   $ oc create -f pvc.yaml

流程

1. 创建 local-storage 项目：

   $ oc new-project local-storage

2. 可选：允许在基础架构节点上创建本地存储。

   您可能希望使用 Local Storage Operator 在基础架构节点上创建卷来支持一些组件，如日志记录和监控。

   您必须调整默认节点选择器，以便 Local Storage Operator 包含基础架构节点，而不只是 worker 节点。

   要阻止 Local Storage Operator 继承集群范围的默认选择器，请输入以下命令：

   $ oc annotate project local-storage openshift.io/node-selector=''

1. 登陆到 OpenShift Container Platform Web 控制台。
2. 导航至 Operators → OperatorHub。
3. 在过滤器框中键入 Local Storage 以查找 Local Storage Operator。
4. 点击 Install。
5. 在 Create Operator Subscription 页面中，选择 A specific namespace on the cluster。从下拉菜单中选择 local-storage。
6. 将 Update Channel 和 Approval Strategy 的值调整为所需的值。
7. 点 Subscribe.

使用 CLI

1. 通过 CLI 安装 Local Storage Operator。

   1. 创建对象 YAML 文件，为 Local Storage Operator 定义 Operator 组和订阅，如 local-storage.yaml:

      local-storage 示例

      apiVersion: operators.coreos.com/v1alpha2
      kind: OperatorGroup
      metadata:
        name: local-operator-group
        namespace: local-storage
      spec:
        targetNamespaces:
          - local-storage
      ---
      apiVersion: operators.coreos.com/v1alpha1
      kind: Subscription
      metadata:
        name: local-storage-operator
        namespace: local-storage
      spec:
        channel: <channel_version> 1
        installPlanApproval: Automatic 2
        name: local-storage-operator
        source: redhat-operators
        sourceNamespace: openshift-marketplace

      1

      此字段可以被编辑，以匹配选择的 OpenShift Container Platform 的发行版本。

      2

      安装计划的用户批准策略。

2. 输入以下命令来创建 Local Storage Operator 对象：

   $ oc apply -f local-storage.yaml

   在此阶段，Operator Lifecycle Manager (OLM) 已可以了解 Local Storage Operator。Operator 的 ClusterServiceVersion (CSV) 应出现在目标命名空间中，由 Operator 提供的 API 应可用于创建。

3. 通过检查是否创建了所有 pod 和 Local Storage Operator 来验证本地存储安装：

   1. 检查是否已创建所有必需的 pod:

      $ oc -n local-storage get pods
      NAME                                      READY   STATUS    RESTARTS   AGE
      local-storage-operator-746bf599c9-vlt5t   1/1     Running   0          19m

   2. 检查 ClusterServiceVersion (CSV) YAML 清单，查看 local-storage 项目中是否有 Local Storage Operator:

      $ oc get csvs -n local-storage
      NAME                                         DISPLAY         VERSION               REPLACES   PHASE
      local-storage-operator.4.2.26-202003230335   Local Storage   4.2.26-202003230335              Succeeded

流程

1. 创建本地卷资源。这必须定义本地卷的节点和路径。

   注意

   不要在同一设备中使用不同的存储类名称。这样做可创建多个持久性卷 (PV)。

   例如：Filesystem

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-140-183
             - ip-10-0-158-139
             - ip-10-0-164-33
     storageClassDevices:
       - storageClassName: "local-sc"
         volumeMode: Filesystem 3
         fsType: xfs 4
         devicePaths: 5
           - /path/to/device 6

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。这个示例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   4

   第一次挂载本地卷时所创建的文件系统。

   5

   包含要从中选择的本地存储设备列表的路径。

   6

   将这个值替换为您的到 LocalVolume 资源的实际本地磁盘文件路径，如 /dev/xvdg。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

   例如：Block

   apiVersion: "local.storage.openshift.io/v1"
   kind: "LocalVolume"
   metadata:
     name: "local-disks"
     namespace: "local-storage" 1
   spec:
     nodeSelector: 2
       nodeSelectorTerms:
       - matchExpressions:
           - key: kubernetes.io/hostname
             operator: In
             values:
             - ip-10-0-136-143
             - ip-10-0-140-255
             - ip-10-0-144-180
     storageClassDevices:
       - storageClassName: "localblock-sc"
         volumeMode: Block  3
         devicePaths: 4
           - /path/to/device 5

   1

   安装了 Local Storage Operator 的命名空间。

   2

   可选：包含附加了本地存储卷的节点列表的节点选择器。这个示例使用从 oc get node 获取的节点主机名。如果没有定义值，则 Local Storage Operator 会尝试在所有可用节点上查找匹配的磁盘。

   3

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   4

   包含要从中选择的本地存储设备列表的路径。

   5

   将这个值替换为您的到 LocalVolume 资源的实际本地磁盘文件路径，如 /dev/xvdg。当置备程序已被成功部署时，会为这些本地磁盘创建 PV。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建本地卷资源：

   $ oc create -f <local-volume>.yaml

3. 验证置备程序是否已创建，并且创建了对应的守护进程集：

   $ oc get all -n local-storage
   
   NAME                                          READY   STATUS    RESTARTS   AGE
   pod/local-disks-local-provisioner-h97hj       1/1     Running   0          46m
   pod/local-disks-local-provisioner-j4mnn       1/1     Running   0          46m
   pod/local-disks-local-provisioner-kbdnx       1/1     Running   0          46m
   pod/local-disks-local-diskmaker-ldldw         1/1     Running   0          46m
   pod/local-disks-local-diskmaker-lvrv4         1/1     Running   0          46m
   pod/local-disks-local-diskmaker-phxdq         1/1     Running   0          46m
   pod/local-storage-operator-54564d9988-vxvhx   1/1     Running   0          47m
   
   NAME                              TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)     AGE
   service/local-storage-operator    ClusterIP   172.30.49.90     <none>        60000/TCP   47m
   
   NAME                                           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
   daemonset.apps/local-disks-local-provisioner   3         3         3       3            3           <none>          46m
   daemonset.apps/local-disks-local-diskmaker     3         3         3       3            3           <none>          46m
   
   NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
   deployment.apps/local-storage-operator   1/1     1            1           47m
   
   NAME                                                DESIRED   CURRENT   READY   AGE
   replicaset.apps/local-storage-operator-54564d9988   1         1         1       47m

   注意所需和当前的守护进程设定进程数。如果需要的数目是 0，这表示标签选择器无效。

4. 验证持久性卷是否已创建：

   $ oc get pv
   
   NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
   local-pv-1cec77cf   100Gi      RWO            Delete           Available           local-sc                88m
   local-pv-2ef7cd2a   100Gi      RWO            Delete           Available           local-sc                82m
   local-pv-3fa1c73    100Gi      RWO            Delete           Available           local-sc                48m

流程

1. 使用对应的存储类创建 PVC:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: local-pvc-name 1
   spec:
     accessModes:
     - ReadWriteOnce
     volumeMode: Filesystem 2
     resources:
       requests:
         storage: 100Gi 3
     storageClassName: local-sc 4

   1

   PVC 的名称。

   2

   PVC 的类型。默认为 Filesystem。

   3

   PVC 可用的存储量。

   4

   声明所需的存储类的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建 PVC：

   $ oc create -f <local-pvc>.yaml

流程

1. 在资源规格中包含定义的声明。以下示例在 Pod 内声明 PVC：

   apiVersion: v1
   kind: Pod
   spec:
     ...
     containers:
       volumeMounts:
       - name: localpvc 1
         mountPath: "/data" 2
     volumes:
     - name: localpvc
       persistentVolumeClaim:
         claimName: localpvc 3

   1

   要挂载的卷的名称。

   2

   卷在 Pod 内的挂载路径。

   3

   要使用的现有 PVC 的名称。

2. 通过指定您刚才创建的文件，在 OpenShift Container Platform 集群中创建资源：

   $ oc create -f <local-pod>.yaml

1. 修改定义 Pod 的 YAML 文件并添加 LocalVolume 规格,如下例所示：

     apiVersion: "local.storage.openshift.io/v1"
     kind: "LocalVolume"
     metadata:
       name: "local-disks"
       namespace: "local-storage"
     spec:
       tolerations:
         - key: localstorage 1
           operator: Equal 2
           value: "localstorage" 3
       storageClassDevices:
           - storageClassName: "localblock-sc"
             volumeMode: Block 4
             devicePaths: 5
               - /dev/xvdg

   1

   指定添加到节点的键。

   2

   指定 Equal 运算符，以要求 key/value 参数匹配。如果运算符是 Exists，系统会检查键是否存在并忽略它的值。如果运算符是 Equal，则键和值必须匹配。

   3

   指定污点节点的 local 值。

   4

   定义本地卷类型的卷模式，可以是 Filesystem 或 Block。

   5

   包含要从中选择的本地存储设备列表的路径。

流程

1. 为 PV 创建对象定义：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv0001 1
   spec:
     capacity:
       storage: 5Gi 2
     accessModes:
     - ReadWriteOnce 3
     nfs: 4
       path: /tmp 5
       server: 172.17.0.2 6
     persistentVolumeReclaimPolicy: Retain 7

   1

   卷的名称。这是各个 oc <command> pod 命令中的 PV 标识。

   2

   为这个卷分配的存储量。

   3

   虽然这看上去象是设置对卷的访问控制，但它实际上被用作标签并用来将 PVC 与 PV 匹配。当前，还不能基于 accessModes 强制访问规则。

   4

   使用的卷类型，在这个示例里是 nfs 插件。

   5

   NFS 服务器导出的路径。

   6

   NFS 服务器的主机名或 IP 地址。

   7

   PV 的 reclaim 策略。它决定了在卷被释放后会发生什么。

   注意

   每个 NFS 卷都必须由集群中的所有可调度节点挂载。

2. 确定创建了 PV：

   $ oc get pv
   NAME     LABELS    CAPACITY     ACCESSMODES   STATUS      CLAIM  REASON    AGE
   pv0001   <none>    5Gi          RWO           Available                    31s

3. 创建绑定至新 PV 的持久性卷声明：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: nfs-claim1
   spec:
     accessModes:
       - ReadWriteOnce 1
     resources:
       requests:
         storage: 5Gi 2

   1

   如前面对 PV 提供的一样， accessModes 不会强制实现安全控制，而是作为标签来把一个 PV 和一个 PVC 进行匹配。

   2

   此声明会寻找提供 5Gi 或更高容量的 PV。

4. 确认创建了持久卷声明：

   $ oc get pvc
   NAME         STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   nfs-claim1   Bound    pv0001   5Gi        RWO            gp2            2m

流程

1. 创建虚拟机磁盘。在静态置备 VMware vSphere 卷前，必须手动创建虚拟机磁盘 (VMDK)。可使用以下任一方法：

   • 使用 vmkfstools 创建。通过 Secure Shel (SSH) 访问 ESX，然后使用以下命令创建 VMDK 卷：

     $ vmkfstools -c <size> /vmfs/volumes/<datastore-name>/volumes/<disk-name>.vmdk

   • 使用 vmware-diskmanager 创建：

     $ shell vmware-vdiskmanager -c -t 0 -s <size> -a lsilogic <disk-name>.vmdk

2. 创建引用 VMDK 的持久性卷。创建包含 PersistentVolume 对象定义的 pv1.yaml 文件：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv1 1
   spec:
     capacity:
       storage: 1Gi 2
     accessModes:
       - ReadWriteOnce
     persistentVolumeReclaimPolicy: Retain
     vsphereVolume: 3
       volumePath: "[datastore1] volumes/myDisk"  4
       fsType: ext4  5

   1

   卷的名称。持久性卷声明或 pod 识别它的名称。

   2

   为这个卷分配的存储量。

   3

   使用的卷类型，vsphereVolume 表示 vSphere 卷。此标签用于将 vSphere VMDK 卷挂载到 Pod 中。卸载卷时会保留卷内容。卷类型支持 VMFS 和 VSAN 数据存储。

   4

   要使用的现有 VMDK 卷。如果使用 vmkfstools，在卷定义中数据存储名称必须放在方括号 [] 内，如前面所示。

   5

   要挂载的文件系统类型。例如： ext4、xfs 或者其他文件系统。

   重要

   在格式化并置备卷后更改 fsType 参数的值可能会导致数据丢失和 pod 故障。

3. 从文件创建 PersistentVolume 对象：

   $ oc create -f pv1.yaml

4. 创建一个映射到您在上一步中创建的持久性卷声明。创建包含 PersistentVolumeClaim 对象定义的 pvc1.yaml 文件：

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc1 1
   spec:
     accessModes:
       - ReadWriteOnce 2
     resources:
      requests:
        storage: "1Gi" 3
     volumeName: pv1 4

   1

   代表持久性卷声明的唯一名称。

   2

   持久性卷声明的访问模式。使用 ReadWriteOnce 时，单个节点可以通过读写权限挂载这个卷。

   3

   持久性卷声明的大小。

   4

   现有持久性卷的名称。

5. 从文件创建 PersistentVolumeClaim 对象：

   $ oc create -f pvc1.yaml

1. 停止使用持久性卷的应用程序。
2. 克隆持久性卷。
3. 重启应用程序。
4. 创建克隆的卷的备份。
5. 删除克隆的卷。

1. 使用以下 YAML 描述的 VolumeSnapshotClass 对象创建一个文件：

   volumesnapshotclass.yaml

   apiVersion: snapshot.storage.k8s.io
   kind: VolumeSnapshotClass 1
   metadata:
     name: csi-hostpath-snap
   driver: hostpath.csi.k8s.io
   deletionPolicy: Delete

   1

   允许您指定属于卷快照的不同属性。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshotclass.yaml

3. 创建 VolumeSnapshot 对象：

   volumesnapshot-dynamic.yaml

   apiVersion: snapshot.storage.k8s.io
   kind: VolumeSnapshot
   metadata:
     name: mysnap
   spec:
     volumeSnapshotClassName: csi-hostpath-snap 1
     source:
       persistentVolumeClaimName: myclaim 2

   1

   卷快照对特定类的请求。如果 volumeSnapshotClassName 为空，则不创建快照。

   2

   绑定到持久性卷的 PersistentVolumeClaim 对象的名称。这指定了您要对什么创建快照。动态置备快照需要这个信息。

4. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshot-dynamic.yaml

1. 除了以上定义卷快照类外，还需要提供 volumeSnapshotContentName 参数的值作为快照的源。

   volumesnapshot-manual.yaml

   apiVersion: snapshot.storage.k8s.io
   kind: VolumeSnapshot
   metadata:
     name: snapshot-demo
   spec:
     source:
       volumeSnapshotContentName: mycontent 1

   1

   预置备快照需要 volumeSnapshotContentName 参数。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f volumesnapshot-manual.yaml

1. 运行以下命令显示所创建的卷快照详情：

   $ oc describe volumesnapshot mysnap

   以下示例显示有关 mysnap 卷快照的详细信息：

   volumesnapshot.yaml

   apiVersion: snapshot.storage.k8s.io
   kind: VolumeSnapshot
   metadata:
     name: mysnap
   spec:
     source:
       persistentVolumeClaimName: myclaim
     volumeSnapshotClassName: csi-hostpath-snap
   status:
     boundVolumeSnapshotContentName: snapcontent-1af4989e-a365-4286-96f8-d5dcd65d78d6 1
     creationTime: "2020-01-29T12:24:30Z" 2
     readyToUse: true 3
     restoreSize: 500Mi

   1

   指向控制器创建的实际存储内容的指针。

   2

   创建快照的时间。快照包含在这个指定时间点上可用的卷内容。

   3

   如果该值设为 true，则快照可用来恢复为一个新 PVC。
   如果该值设为 false，则创建快照。但是，存储后端需要执行额外的任务来使快照可用，以便将其恢复为新卷。例如: Amazon Elastic Block Store 数据可能被移到不同的、更低成本的位置，这个过程可能需要几分钟时间。

2. 要验证卷快照是否已创建，请运行以下命令：

   $ oc get volumesnapshotcontent

   显示指向实际内容的指针。如果 boundVolumeSnapshotContentName 字段已被填充，则代表一个 VolumeSnapshotContent 对象已存在，快照被创建。

3. 要验证快照是否已就绪，请确认 VolumeSnapshot 带有 readyToUse: true。

1. 指定 VolumeSnapshotClass 对象中所需的删除策略，如下例所示：

   volumesnapshot.yaml

   apiVersion: snapshot.storage.k8s.io
   kind: VolumeSnapshotClass
   metadata:
     name: csi-hostpath-snap
   driver: hostpath.csi.k8s.io
   deletionPolicy: Delete 1

   1

   如果设置了 Delete 值，则会删除底层快照，以及 VolumeSnapshotContent 对象。如果设置了 Retain 值，则基本快照和 VolumeSnapshotContent 对象仍保留。
   如果设置了 Retain 值，并且 VolumeSnapshot 对象被删除而没有删除对应的 VolumeSnapshotContent 对象，则内容将保留。快照本身也保留在存储后端中。

流程

1. 在 PVC 上指定 VolumeSnapshot 数据源，如下所示：

   pvc-restore.yaml

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: myclaim-restore
   spec:
     storageClassName: csi-hostpath-sc
     dataSource:
       name: mysnap 1
       kind: VolumeSnapshot 2
       apiGroup: snapshot.storage.k8s.io 3
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 1Gi

   1

   VolumeSnapshot 对象的名称，代表作为源的快照。

   2

   必须设置为 VolumeSnapshot 的值。

   3

   必须设置为 snapshot.storage.k8s.io 的值 。

2. 运行以下命令来创建一个 PVC：

   $ oc create -f pvc-restore.yaml

3. 运行以下命令验证恢复的 PVC 是否已创建：

   $ oc get pvc

   此时会显示两个不同的 PVC。

1. 使用以下 YAML 描述的 PersistentVolumeClaim 对象创建并保存一个文件：

   pvc-clone.yaml

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: pvc-1-clone
     namespace: mynamespace
   spec:
     storageClassName: csi-cloning 1
     accessModes:
       - ReadWriteOnce
     resources:
       requests:
         storage: 5Gi
     dataSource:
       kind: PersistentVolumeClaim
       name: pvc-1

   1

   置备存储后端的存储类的名称。可以使用默认存储类，storageClassName 在 spec 中可以忽略 。

2. 运行以下命令，创建上一步中保存的对象：

   $ oc create -f pvc-clone.yaml

   一个新的 PVC pvc-1-clone 被创建 。

3. 运行以下命令验证卷克隆是否已创建并就绪：

   $ oc get pvc pvc-1-clone

   pvc-1-clone 显示的状态为 Bound。

   现在，您已准备好使用新克隆的 PVC 来配置 pod。

4. 使用 YAML 描述的 Pod 对象创建并保存文件。例如：

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
       - name: myfrontend
         image: dockerfile/nginx
         volumeMounts:
         - mountPath: "/var/www/html"
           name: mypd
     volumes:
       - name: mypd
         persistentVolumeClaim:
           claimName: pvc-1-clone 1

   1

   在 CSI 卷克隆操作中创建的克隆 PVC。

   创建的 Pod 对象现在可以使用、克隆、快照或删除独立于它的原始 dataSource 的克隆 PVC。

流程

1. 定义允许创建和查看 secret 的 ClusterRole 对象：

   apiVersion: rbac.authorization.k8s.io/v1
   kind: ClusterRole
   metadata:
   #  name: system:azure-cloud-provider
     name: <persistent-volume-binder-role> 1
   rules:
   - apiGroups: ['']
     resources: ['secrets']
     verbs:     ['get','create']

   1

   要查看并创建 secret 的集群角色名称。

2. 将集群角色添加到服务帐户：

   $ oc adm policy add-cluster-role-to-user <persistent-volume-binder-role> system:serviceaccount:kube-system:persistent-volume-binder

3. 创建 Azure File StorageClass 对象：

   kind: StorageClass
   apiVersion: storage.k8s.io/v1
   metadata:
     name: <azure-file> 1
   provisioner: kubernetes.io/azure-file
   parameters:
     location: eastus 2
     skuName: Standard_LRS 3
     storageAccount: <storage-account> 4
   reclaimPolicy: Delete
   volumeBindingMode: Immediate

   1

   存储类的名称。持久性卷声明使用此存储类来置备关联的持久性卷。

   2

   Azure 存储帐户的位置，如 eastus。默认为空，表示将在 OpenShift Container Platform 集群的位置创建新的 Azure 存储帐户。

   3

   Azure 存储帐户的 SKU 层，如 Standard_LRS。默认为空，表示将使用 Standard_LRS SKU 创建新的 Azure 存储帐户。

   4

   Azure 存储帐户的名称。如果提供了存储帐户，则忽略 skuName 和 location。如果没有提供存储帐户，则存储类会为任何与定义的 skuName 和 location 匹配的帐户搜索与资源组关联的存储帐户。