인텔® 제온® 프로세서 E5, 인텔® 제온® 프로세서 E5 v2 또는 인텔® 제온® 프로세서 E7 v2 와 레드햇 엔터프라이즈 리눅스 6 커널의 특정 버전에서 시스템이 중단 / 무응답 또는 커널 패닉이 발생합니다

Diagnostic Steps

• /proc/cpuinfo을 확인합니다. 다음과 같이, CPU 제품군, 모델 이름을 검색합니다.

...
cpu family      : 6
model           : 45
model name      : Intel(R) Xeon(R) CPU E5-2650L 0 @ 1.80GHz
...

다음 증상의 조합이 이 문제의 특징으로 알려져 있습니다.

• 이 문제에 영향을 주는 시스템은 콘솔 및 '/var/log/messages'에 다음과 같은 일련의 메시지가 기록 될 수 있습니다. 콜 트레이스에서 'do_execve()', 'sched_exec()' 및 'wait_for_completion()' 함수를 확인하십시오.

INFO: task bash:12543 blocked for more than 120 seconds.
"echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
bash          D 0000000000000012     0 12543  12542 0x00000084
ffff880c343b3ce8 0000000000000082 ffff880c343b3d98 ffffffffffffffe9
ffff880c343b3c88 ffffffffa00c9129 ffff880c343f4aa0 0000010100000015
ffff880c343f5058 ffff880c343b3fd8 000000000000fb88 ffff880c343f5058
Call Trace:
[<ffffffffa00c9129>] ? ext4_check_acl+0x29/0x90 [ext4]
[<ffffffffa008fbf0>] ? ext4_file_open+0x0/0x130 [ext4]
[<ffffffff8150ea05>] schedule_timeout+0x215/0x2e0
[<ffffffff8117e514>] ? nameidata_to_filp+0x54/0x70
[<ffffffff81277379>] ? cpumask_next_and+0x29/0x50
[<ffffffff8150e683>] wait_for_common+0x123/0x180
[<ffffffff81063310>] ? default_wake_function+0x0/0x20
[<ffffffff8150e79d>] wait_for_completion+0x1d/0x20
[<ffffffff8106513c>] sched_exec+0xdc/0xe0
[<ffffffff8118a0a0>] do_execve+0xe0/0x2c0
[<ffffffff810095ea>] sys_execve+0x4a/0x80
[<ffffffff8100b4ca>] stub_execve+0x6a/0xc0

만일, 시스템이 중단 된 것처럼 보일 때, 혹은 vmcore (강제 크래시 덤프)을 취득한 경우는 crash 유틸리티를 사용하여 실행 큐와 커널 'cyc2ns_offset' 테이블을 확인합니다.

• 실행 큐는 조정되기 때문에 적어도 실시간 우선 순위 실행 큐 중 하나에는 예약 할 수 없는 'migration' 스레드가 포함됩니다. 이렇게 하면 차단 된 작업이 'migration' 스레드의 서비스를 계속 기다리고 버리기 때문에 위에 표시되는 'task ... blocked for more than ... seconds' 메시지가 발생합니다.

crash> runq
...
CPU 1 RUNQUEUE: ffff88002be36700
  CURRENT: PID: 0      TASK: ffff88013d523540  COMMAND: "swapper"
  RT PRIO_ARRAY: ffff88002be36888
     [  0] PID: 7      TASK: ffff88013d905500  COMMAND: "migration/1"
     [  0] PID: 10     TASK: ffff88013d522ae0  COMMAND: "watchdog/1"
...
crash> pd ((struct rq *)0xffff88002be36700)->rt.rt_throttled
$1 = 1

• CPU0에 포함 된 'cyc2ns_offset' 테이블 항목은 나머지 테이블 항목과는 다릅니다. 나머지 항목은 일반적으로 003이 포함됩니다 (10bit가 지워집니다).

crash> px cyc2ns_offset
PER-CPU DATA TYPE:
  unsigned long long per_cpu__cyc2ns_offset;
PER-CPU ADDRESSES:
  [0]: ffff88002be0cb40
  [1]: ffff88002be2cb40
  [2]: ffff88002be4cb40
  [3]: ffff88002be6cb40

crash> rd -x 0xffff88002be0cb40
ffff88002be0cb40:  fffa751c3c9e4b76
crash> rd -x 0xffff88002be2cb40
ffff88002be2cb40:  003a751c3c9e4b76
crash> rd -x 0xffff88002be4cb40
ffff88002be4cb40:  003a751c3c9e4b76
crash> rd -x 0xffff88002be6cb40
ffff88002be6cb40:  003a751c3c9e4b76

매우 드문 상황에서 find_busiest_group() 함수 내에서 0으로 나누는 문제의 대부분을 해결하는 패치 (BZ # 785959)가 RHEL6.3과 RHEL6.4 커널에 포함되어 있는데도 불구하고,이 버그로 인해 나누기가 발생합니다.

PID: 0      TASK: ffff881034a45500  CPU: 5   COMMAND: "swapper"
 #0 [ffff8800456a38f0] machine_kexec at ffffffff81035d6b
 #1 [ffff8800456a3950] crash_kexec at ffffffff810c0d42
 #2 [ffff8800456a3a20] oops_end at ffffffff81511870
 #3 [ffff8800456a3a50] die at ffffffff8100f19b
 #4 [ffff8800456a3a80] do_trap at ffffffff815110d4
 #5 [ffff8800456a3ae0] do_divide_error at ffffffff8100cf7f
 #6 [ffff8800456a3b80] divide_error at ffffffff8100bdfb
    [exception RIP: find_busiest_group+1372]
    RIP: ffffffff81059abc  RSP: ffff8800456a3c30  RFLAGS: 00010246
    RAX: 0000000000000000  RBX: ffff8800456a3e34  RCX: 0000000000000000
    RDX: 0000000000000000  RSI: 0000000000000000  RDI: ffff880045616700
    RBP: ffff8800456a3da0   R8: 0000000000000000   R9: 0000000000000040
    R10: 0000000000000000  R11: 0000000000000000  R12: 00000000ffffff01
    R13: 0000000000016700  R14: ffffffffffffffff  R15: 0000000000000000
    ORIG_RAX: ffffffffffffffff  CS: 0010  SS: 0018
 #7 [ffff8800456a3da8] rebalance_domains at ffffffff81063536
 #8 [ffff8800456a3e78] run_rebalance_domains at ffffffff81063a1c
 #9 [ffff8800456a3ec8] __do_softirq at ffffffff81076fd1
#10 [ffff8800456a3f38] call_softirq at ffffffff8100c1cc
#11 [ffff8800456a3f50] do_softirq at ffffffff8100de05
#12 [ffff8800456a3f70] irq_exit at ffffffff81076db5
#13 [ffff8800456a3f80] scheduler_ipi at ffffffff8105b3de
#14 [ffff8800456a3fa0] smp_reschedule_interrupt at ffffffff8102df6a
#15 [ffff8800456a3fb0] reschedule_interrupt at ffffffff8100bd73
--- <IRQ stack> ---
...

어떤 프로세스에서 cpu soft lockup 이 발생할 가능성도 있습니다.

BUG: soft lockup - CPU#0 stuck for 67s! [migration/0:5]
BUG: soft lockup - CPU#0 stuck for 67s! [migration/0:5]
BUG: soft lockup - CPU#0 stuck for 67s! [migration/0:5]