4.11. トラブルシューティング

手順

• YAML ファイルで CPU および memory リソースのリクエストを設定します。

  Velero ファイルの例

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  ...
  configuration:
    velero:
      podConfig:
        resourceAllocations: 1
          requests:
            cpu: 200m
            memory: 256Mi

  1

  リストされている resourceAllocations は、平均使用量です。

手順

• YAML ファイルで CPU および memory リソースのリクエストを設定します。

  Restic ファイルの例

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  ...
  configuration:
    restic:
      podConfig:
        resourceAllocations: 1
          requests:
            cpu: 1000m
            memory: 16Gi

  1

  リストされている resourceAllocations は、平均使用量です。

• PV データの使用量の合計が 500GB を超える Restic バックアップの場合。

• バックアップが次のエラーでタイムアウトになる場合:

  level=error msg="Error backing up item" backup=velero/monitoring error="timed out waiting for all PodVolumeBackups to complete"

手順

• 次の例のように、DataProtectionApplication CR マニフェストの spec.configuration.restic.timeout ブロックの値を編集します。

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      restic:
        timeout: 1h
  # ...

• 合計 PV データ使用量が 1TB を超えるバックアップの場合。このパラメーターは、バックアップを完了としてマークする前に、Velero が Container Storage Interface (CSI) スナップショットをクリーンアップまたは削除しようとするときのタイムアウト値として使用されます。

  • このクリーンアップのサブタスクは VSC にパッチを適用しようとします。このタイムアウトはそのタスクに使用できます。
• Restic または Kopia のファイルシステムベースのバックアップのバックアップリポジトリーを作成または準備できるようにするため。
• カスタムリソース (CR) またはバックアップからリソースを復元する前に、クラスター内で Velero CRD が利用可能かどうかを確認します。

手順

• 次の例のように、DataProtectionApplication CR マニフェストの spec.configuration.velero.resourceTimeout ブロックの値を編集します。

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      velero:
        resourceTimeout: 10m
  # ...

• VolumeSnapshotBackups (VSB) および VolumeSnapshotRestores (VSR) を作成する場合は、10 分後にタイムアウトします。
• 合計 PV データ使用量が 500GB を超える大規模環境向け。1h のタイムアウトを設定します。
• VolumeSnapshotMover (VSM) プラグインを使用します。
• OADP 1.1.x のみ。

手順

• 次の例のように、DataProtectionApplication CR マニフェストの spec.features.dataMover.timeout ブロックの値を編集します。

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    features:
      dataMover:
        timeout: 10m
  # ...

• CSI プラグイン。
• スナップショットの作成に 10 分以上かかる可能性がある非常に大規模なストレージボリュームの場合。ログにタイムアウトが見つかった場合は、このタイムアウトを調整します。

手順

• 次の例のように、Backup CR マニフェストの spec.csiSnapshotTimeout ブロックの値を編集します。

  apiVersion: velero.io/v1
  kind: Backup
  metadata:
   name: <backup_name>
  spec:
   csiSnapshotTimeout: 10m
  # ...

• Data Mover 1.2.x のみ。
• 特定のバックアップまたは復元が非同期アクションの完了を待機する時間を指定します。OADP 機能のコンテキストでは、この値は、Container Storage Interface (CSI) Data Mover 機能に関連する非同期アクションに使用されます。
• defaultItemOperationTimeout が、defaultItemOperationTimeout を使用して Data Protection Application (DPA) に定義されている場合、バックアップおよび復元操作の両方に適用されます。itemOperationTimeout では、以下の Item operation timeout - restore セクションおよび Item operation timeout - backup セクションで説明されているように、バックアップのみを定義するか、これらの CR の復元のみを定義できます。

手順

• 次の例のように、DataProtectionApplication CR マニフェストの spec.configuration.velero.defaultItemOperationTimeout ブロックの値を編集します。

  apiVersion: oadp.openshift.io/v1alpha1
  kind: DataProtectionApplication
  metadata:
   name: <dpa_name>
  spec:
    configuration:
      velero:
        defaultItemOperationTimeout: 1h
  # ...

• Data Mover 1.2.x のみ。
• Data Mover の場合は、BackupStorageLocation にアップロードおよびダウンロードします。タイムアウトに達しても復元アクションが完了しない場合、失敗としてマークされます。ストレージボリュームのサイズが大きいため、タイムアウトの問題が原因で Data Mover の操作が失敗する場合は、このタイムアウト設定を増やす必要がある場合があります。

手順

• 次の例のように、Restore CR マニフェストの Restore.spec.itemOperationTimeout ブロックの値を編集します。

  apiVersion: velero.io/v1
  kind: Restore
  metadata:
   name: <restore_name>
  spec:
   itemOperationTimeout: 1h
  # ...

• Data Mover 1.2.x のみ。
• Data Mover の場合は、BackupStorageLocation にアップロードおよびダウンロードします。タイムアウトに達してもバックアップアクションが完了しない場合は、失敗としてマークされます。ストレージボリュームのサイズが大きいため、タイムアウトの問題が原因で Data Mover の操作が失敗する場合は、このタイムアウト設定を増やす必要がある場合があります。

手順

• 次の例のように、Backuo CR マニフェストの Backup.spec.itemOperationTimeout ブロックの値を編集します。

  apiVersion: velero.io/v1
  kind: Backup
  metadata:
   name: <backup_name>
  spec:
   itemOperationTimeout: 1h
  # ...

解決方法

• 次のコマンドを実行して、関連する Restic リポジトリーを namespace から削除します。

  $ oc delete resticrepository openshift-adp <name_of_the_restic_repository>

  次のエラーログでは、mysql-persistent が問題のある Restic リポジトリーです。わかりやすくするために、リポジトリーの名前は斜体で表示されます。

   time="2021-12-29T18:29:14Z" level=info msg="1 errors
   encountered backup up item" backup=velero/backup65
   logSource="pkg/backup/backup.go:431" name=mysql-7d99fc949-qbkds
   time="2021-12-29T18:29:14Z" level=error msg="Error backing up item"
   backup=velero/backup65 error="pod volume backup failed: error running
   restic backup, stderr=Fatal: unable to open config file: Stat: The
   specified key does not exist.\nIs there a repository at the following
   location?\ns3:http://minio-minio.apps.mayap-oadp-
   veleo-1234.qe.devcluster.openshift.com/mayapvelerooadp2/velero1/
   restic/mysql-persistent\n: exit status 1" error.file="/remote-source/
   src/github.com/vmware-tanzu/velero/pkg/restic/backupper.go:184"
   error.function="github.com/vmware-tanzu/velero/
   pkg/restic.(*backupper).BackupPodVolumes"
   logSource="pkg/backup/backup.go:435" name=mysql-7d99fc949-qbkds

• logs_since、デフォルト値は 72h
• request_timeout、デフォルト値は 0s

前提条件

• cluster-admin 権限を持つアカウントを使用して OpenShift Container Platform クラスターにアクセスできる。
• クラスター監視 config map が作成されました。

検証

• OpenShift Container Platform Web コンソールの Administrator パースペクティブを使用して、新しいサービスモニターが Up 状態であることを確認します。

  1. Observe → Targets ページに移動します。
  2. Filter が選択されていないこと、または User ソースが選択されていることを確認し、Text 検索フィールドに openshift-adp と入力します。

  3. サービスモニターの Status のステータスが Up であることを確認します。

     図4.1 OADP メトリックのターゲット

     

検証

• アラートがトリガーされた後は、次の方法でアラートを表示できます。

  • Developer パースペクティブで、Observe メニューを選択します。

  • Observe → Alerting メニューの下の Administrator パースペクティブで、Filter ボックスの User を選択します。それ以外の場合、デフォルトでは Platform アラートのみが表示されます。

    図4.2 OADP バックアップ失敗アラート

    

手順

• Observe → Metrics ページに移動します。

  • Developer パースペクティブを使用している場合は、次の手順に従います。

    1. Custom query を選択するか、Show PromQL リンクをクリックします。
    2. クエリーを入力し、Enter をクリックします。

  • Administrator パースペクティブを使用している場合は、テキストフィールドに式を入力し、Run Queries を選択します。

    図4.3 OADP メトリッククエリー