Azure 上のノードからディスクが適切に削除されず、Azure 上の OpenShift Container Platform 4 の永続ボリュームでデータが破損する
Issue
-
アプリケーションで再デプロイ後にボリューム上のデータが失われたことが報告されます。確認すると、以下のイベントが報告されています。
MountVolume.MountDevice failed for volume "pvc-aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa": azureDisk - mountDevice:FormatAndMount failed with format of disk "/dev/disk/azure/scsi1/lun0" failed: type:("ext4") target:("/var/lib/kubelet/plugins/kubernetes.io/azure-disk/mounts/mAAAAAAAAAA") options:("defaults") errcode:(exit status 1) output:(mke2fs 1.45.6 (20-Mar-2020) Discarding device blocks: 4096/6553600 failed - Remote I/O error Creating filesystem with 6553600 4k blocks and 1638400 inodes Filesystem UUID: bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb Superblock backups stored on blocks: 32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 4096000 Allocating group tables: 0/200 done Writing inode tables: 0/200 done Creating journal (32768 blocks): done Writing superblocks and filesystem accounting information: 0/200 mkfs.ext4: Input/output error while writing out and closing file system -
アプリケーションの再デプロイ中に、Azure で実行中に OpenShift - Node 上の以前のボリュームが正しく切断されなかったため、アプリケーションの永続ボリュームが破損します。
- Azure 上の OpenShift ノードからディスクをデタッチすると、ディスクは
storvscによって削除されず、代わりにInvalid packet lenis found in the Nodesjournalというメッセージが表示されます。 - (Azure) ハイパーバイザーからディスクをデタッチするときに、
storvscはハイパーバイザーによって送信されたvmbusイベントの処理に失敗し、SCSI バスの再スキャンとノード内のディスクの削除を続行する代わりに、Invalid packet lenというメッセージのみを無作為に出力します。
Environment
- Red Hat OpenShift Container Platform (RHOCP) before 4.13
- Microsoft Azure
Subscriber exclusive content
A Red Hat subscription provides unlimited access to our knowledgebase, tools, and much more.