RHEL7: クラスターノードが再起動後に "ハング" し、xfs_bmbt_read_verify で XFS ファイルシステムのメタデータ破損が検出される

Issue

システムが "ハング" または応答しなくなりました。これは頻繁に発生しています。少なくとも 1 回は、xfs とクラスタースタックの対話動作が原因で発生したと思われます。

システムは再起動後に約 3 時間稼働していましたが、その後、次の xfs メタデータ破損エラーが発生しました。xfs_log_force エラーは、マシンが再起動されるまで繰り返されました。破損したファイルシステムは /var/log でした。

[ 4227.296765] XFS (dm-6): Metadata corruption detected at xfs_bmbt_read_verify+0x79/0xc0 [xfs], block 0xafce8
[ 4227.296852] XFS (dm-6): Unmount and run xfs_repair
[ 4227.296890] XFS (dm-6): First 64 bytes of corrupted metadata buffer:
[ 4227.296939] ffff8807dd402000: 30 2e 30 30 20 20 20 20 20 30 2e 30 35 20 20 20  0.00     0.05   
[ 4227.297049] ffff8807dd402010: 20 30 2e 30 30 20 20 20 20 31 2e 31 35 20 20 20   0.00    1.15   
[ 4227.297112] ffff8807dd402020: 20 20 30 2e 30 30 20 20 20 20 32 31 2e 34 35 20    0.00    21.45 
[ 4227.297173] ffff8807dd402030: 20 20 20 33 37 2e 33 30 20 20 20 20 20 30 2e 30     37.30     0.0
[ 4227.297225] XFS (dm-6): metadata I/O error: block 0xafce8 ("xfs_trans_read_buf_map") error 117 numblks 8
[ 4227.297278] XFS (dm-6): xfs_do_force_shutdown(0x1) called from line 370 of file fs/xfs/xfs_trans_buf.c.  Return address = 0xffffffffa02579d6
[ 4227.298361] XFS (dm-6): I/O Error Detected. Shutting down filesystem
[ 4227.298396] XFS (dm-6): Please umount the filesystem and rectify the problem(s)
[ 4234.297491] XFS (dm-6): xfs_log_force: error -5 returned.
[ 4264.400771] XFS (dm-6): xfs_log_force: error -5 returned.
[ 4294.504139] XFS (dm-6): xfs_log_force: error -5 returned.
[ 4324.607493] XFS (dm-6): xfs_log_force: error -5 returned.