4.11. 故障排除

流程

• 在 YAML 文件中设置 cpu 和 memory 资源请求：

  Velero 文件示例

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  ...
  configuration:
    velero:
      podConfig:
        resourceAllocations: 1
          requests:
            cpu: 200m
            memory: 256Mi

  1

  列出的 resourceAllocations 用于平均使用。

流程

• 在 YAML 文件中设置 cpu 和 memory 资源请求：

  Restic 文件示例

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  ...
  configuration:
    restic:
      podConfig:
        resourceAllocations: 1
          requests:
            cpu: 1000m
            memory: 16Gi

  1

  列出的 resourceAllocations 用于平均使用。

• 对总 PV 数据使用量大于 500GB 的 Restic 备份。

• 如果备份超时并显示以下错误：

  level=error msg="Error backing up item" backup=velero/monitoring error="timed out waiting for all PodVolumeBackups to complete"

流程

• 编辑 DataProtectionApplication CR 清单中的 spec.configuration.restic.timeout 块的值，如下例所示：

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      restic:
        timeout: 1h
  # ...

• 对总 PV 数据使用量大于 1TB 的备份。当在将备份标记为完成前，Velero 尝试清理或删除 Container Storage Interface (CSI)快照时使用此参数作为超时值。

  • 这个清理过程的一个子任务会尝试修补 VSC，此超时可用于该任务。
• 要创建或确保一个备份存储库已准备好用于 Restic 或 Kopia 的基于文件系统的备份。
• 在从备份中恢复自定义资源 (CR) 或资源前，检查集群中的 Velero CRD 是否可用。

流程

• 编辑 DataProtectionApplication CR 清单的 spec.configuration.velero.resourceTimeout 块中的值，如下例所示：

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      velero:
        resourceTimeout: 10m
  # ...

• 如果创建 VolumeSnapshotBackups (VSBs) 和 VolumeSnapshotRestores (VSR)，则会在 10 分钟后超时。
• 对于总 PV 数据使用量超过 500GB 的大型环境。设置 1h 的超时时间。
• 使用 VolumeSnapshotMover (VSM) 插件。
• 只适用于 OADP 1.1.x。

流程

• 编辑 DataProtectionApplication CR 清单的 spec.features.dataMover.timeout 块中的值，如下例所示：

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    features:
      dataMover:
        timeout: 10m
  # ...

• 使用 CSI 插件。
• 对于非常大型的存储卷，进行快照的时间可能会超过 10 分钟。如果在日志中出现超时信息，请调整此超时设置。

流程

• 编辑 Backup CR 清单的 spec.csiSnapshotTimeout 块中的值，如下例所示：

  apiVersion: velero.io/v1
  kind: Backup
  metadata:
   name: <backup_name>
  spec:
   csiSnapshotTimeout: 10m
  # ...

• 只有 Data Mover 1.2.x。
• 要指定一个特定备份或恢复应等待异步操作完成的时间长度。在 OADP 功能上下文中，这个值用于涉及 Container Storage Interface (CSI) Data Mover 功能的异步操作。
• 当使用 defaultItemOperationTimeout 在 Data Protection Application (DPA) 中定义 defaultItemOperationTimeout 时，它适用于备份和恢复操作。您可以使用 itemOperationTimeout 来只定义这些 CR 的备份过程或恢复过程，如以下 "Item operation timeout - restore" 和 "Item operation timeout - backup" 部分所述。

流程

• 编辑 DataProtectionApplication CR 清单的 spec.configuration.velero.defaultItemOperationTimeout 块中的值，如下例所示：

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      velero:
        defaultItemOperationTimeout: 1h
  # ...

• 只有 Data Mover 1.2.x。
• 对于 Data Mover，上传到 BackupStorageLocation 或从其中下载。如果在达到超时时没有完成恢复操作，它将标记为失败。如果因为存储卷太大出现超时并导致数据 Data Mover 操作失败，则可能需要增加这个超时设置。

流程

• 编辑 Restore CR 清单的 Restore.spec.itemOperationTimeout 块中的值，如下例所示：

  apiVersion: velero.io/v1
  kind: Restore
  metadata:
   name: <restore_name>
  spec:
   itemOperationTimeout: 1h
  # ...

• 只有 Data Mover 1.2.x。
• 对于 Data Mover，上传到 BackupStorageLocation 或从其中下载。如果在达到超时时没有完成备份操作，它将标记为失败。如果因为存储卷太大出现超时并导致数据 Data Mover 操作失败，则可能需要增加这个超时设置。

流程

• 编辑 Backup CR 清单的 Backup.spec.itemOperationTimeout 块中的值，如下例所示：

  apiVersion: velero.io/v1
  kind: Backup
  metadata:
   name: <backup_name>
  spec:
   itemOperationTimeout: 1h
  # ...

解决方案

• 运行以下命令，从命名空间中删除相关的 Restic 存储库：

  $ oc delete resticrepository openshift-adp <name_of_the_restic_repository>

  在以下错误日志中，mysql-persistent 是有问题的 Restic 存储库。存储库的名称会出现在其说明中。

   time="2021-12-29T18:29:14Z" level=info msg="1 errors
   encountered backup up item" backup=velero/backup65
   logSource="pkg/backup/backup.go:431" name=mysql-7d99fc949-qbkds
   time="2021-12-29T18:29:14Z" level=error msg="Error backing up item"
   backup=velero/backup65 error="pod volume backup failed: error running
   restic backup, stderr=Fatal: unable to open config file: Stat: The
   specified key does not exist.\nIs there a repository at the following
   location?\ns3:http://minio-minio.apps.mayap-oadp-
   veleo-1234.qe.devcluster.openshift.com/mayapvelerooadp2/velero1/
   restic/mysql-persistent\n: exit status 1" error.file="/remote-source/
   src/github.com/vmware-tanzu/velero/pkg/restic/backupper.go:184"
   error.function="github.com/vmware-tanzu/velero/
   pkg/restic.(*backupper).BackupPodVolumes"
   logSource="pkg/backup/backup.go:435" name=mysql-7d99fc949-qbkds

• logs_since，默认值为 72h
• request_timeout，默认值为 0s

先决条件

• 可以使用具有 cluster-admin 权限的账户访问 OpenShift Container Platform 集群。
• 您已创建了集群监控配置映射。

验证

• 使用 OpenShift Container Platform Web 控制台的 Administrator 视角确认新服务监控器处于 Up 状态：

  1. 进入到 Observe → Targets 页面。
  2. 确保没有选择 Filter，或选择了 User source，并在 Text 搜索字段中输入 openshift-adp。

  3. 验证服务监控器的 Status 的状态是否为 Up。

     图 4.1. OADP 指标目标

     

验证

• 在触发 Alert 后，您可以使用以下方法查看它：

  • 在 Developer 视角中，选择 Observe 菜单。

  • 在 Observe → Alerting 菜单下的 Administrator 视角中，在 Filter 框中选择 User。否则，默认只会显示 Platform Alerts。

    图 4.2. OADP 备份失败警报

    

流程

• 进入到 Observe → Metrics 页面：

  • 如果使用 Developer 视角，请按照以下步骤执行：

    1. 选择 Custom query，或者点 Show PromQL 链接。
    2. 输入查询并点 Enter。

  • 如果使用 Administrator 视角，请在文本字段中输入表达式，然后选择 Run Queries。

    图 4.3. OADP 指标查询