Red Hat OpenShift 4 で CRI-O ストレージをクリーンアップする方法

Issue

• 注記: これは、CRI-O が新しいワークロードを作成できない場合にのみ使用する必要があります。Pod の起動遅延に対する万能な解決策として扱うべきではありません。
  • 特に、Error reserving ctr name %s for id %s: name is reserved という形式のエラーが発生している場合には、この解決策を使用すべきではありません。これらのエラーは、ノード上のボトルネックが原因で発生します。すべての Pod を削除して再作成すると、問題が悪化するだけとなる可能性があります。
• CRI-O 一時ストレージを消去するにはどうすればよいですか?
• kubelet サービスがノード上で継続的に再起動しています。

• ノードは、コンテナーまたは CRI-O エラーのある Pod を実行できません。これには以下が含まれますが、これらに限定されません。

  • コンテナー関連のエラーにより Pod サンドボックスが失敗する

    Failed to create pod sandbox: rpc error: code = Unknown desc = failed to mount container XXX: error recreating the missing symlinks: error reading name of symlink for XXX: open /var/lib/containers/storage/overlay/XXX/link: no such file or directory
    

  • コンテナーの作成が can't stat lower layer というエラーで失敗する

    can't stat lower layer ...  because it does not exist.  Going through storage to recreate the missing symlinks.
    

  • コンテナーストレージの問題による CRI-O 障害

    Failed to remove storage directory: unlinkat /var/lib/containers/storage/overlay-containers/586f92c81c4576e97be1091af010449e04feedaed726d28b8eb840ff87ec10c8/userdata/shm: device or resource busy
    

  • CRI-O は SIG ABRT によって継続的に強制終了され、診断手順セクションの例に似たスタックトレースを生成する

  • イメージのコミットエラーのため、イメージをプルできない

    Failed to pull image "registry.redhat.io/ocs4/cephcsi-rhel8@sha256:bf274db28eb745135995c598c7c938509b1a22e4d526956c66eef4416af919c6": rpc error: code = Unknown desc = Error committing the finished image: error adding layer with blob "sha256:2c2be27b4878555a6af9e39d5494444d6152e2a94aafff5d7132c515c373dcf5": error creating layer with ID "a5a1f55d627a5893af066519c6113c122becb8627cb9aca8e299138e406a46e1": Stat /var/lib/containers/storage/overlay/0c51fae87c95e09f4dfccee417713913004c97821d72473d07faeba9c4132761: no such file or directory