Linux 系統死機根因全景分析：從硬體排查到核心級除錯技術

Linux 死機通常歸為兩大類：硬體故障與軟體/核心問題。本文構建系統性排查框架，涵蓋硬體壓測、核心熱鍵捕獲、串口控制台、啟動參數調優等進階技術，助你從表象穿透到根因。

一、硬體層面排查清單

1. CPU 超頻回歸：即使平時穩定，高負載下隱性不穩定會觸發死機。Linux 某些負載能榨乾硬體潛力，Windows 卻可能倖免
2. 電源充足性驗證：高負載持續滿載測試，確保電源輸出穩定
3. 記憶體壓測：跑 memtest86 多輪次（建議 8+ Pass），排除記憶體位元翻轉
4. BIOS 重置預設：排除錯誤時序/電壓設定。伺服器可用廠商專屬監測工具（iDRAC、iLO、IMM 等）

二、軟體/核心層面：獲取死機瞬間的核心資訊

若硬體無礙，必須在死機發生時捕獲核心狀態。三種遞增深度的方案：

方案 1：Magic SysRq 熱鍵（鍵盤尚存響應時）

前置啟用：

echo 1 > /proc/sys/kernel/sysrq
setterm -blank 0  # 關閉字元模式螢幕保護，便於記錄

死機時按鍵組合（按住 Alt+SysRq 再按字母）：

• Alt+SysRq+T：導出所有進程堆疊回溯
• Alt+SysRq+M：導出記憶體分配資訊
• Alt+SysRq+W：導出當前 CPU 寄存器狀態

完整熱鍵表見 /usr/src/linux/Documentation/sysrq.txt。

方案 2：擴充主控台顯示 + 串口控制台（鍵盤已死）

步驟 1：擴充主控台解析度
編輯 /boot/grub/menu.lst，kernel 行尾加 vga=0x305（80x25 文字模式，顯示更多行）：

kernel /boot/vmlinuz-2.4.21-9.30AXsmp ro root=LABEL=/1 vga=0x305

步驟 2：啟用串口控制台雙輸出
同檔 kernel 行尾加 console=ttyS0 console=tty1：

kernel /boot/vmlinuz-2.4.21-9.30AXsmp ro root=LABEL=/1 console=ttyS0 console=tty1

步驟 3：調整 klogd 級別
編輯 /etc/sysconfig/syslog：

KLOGD_OPTIONS="-x -c 7"

步驟 4：客戶端驗證與記錄

1. 串口直連線連接客戶機（監控端）與伺服器（被監控端）
2. 客戶機：cat /dev/ttyS0 → 應見 hi（伺服器 echo hi > /dev/ttyS0）
3. 伺服器觸發測試：echo w > /proc/sysrq-trigger（導出堆疊）、modprobe loop（導出模組載入日誌）
4. 均正常 → 客戶機執行 cat /dev/ttyS0 | tee /tmp/result 持久化記錄
5. 死機發生時，/tmp/result 即保留完整核心日誌

三、常見死機根因總結表

四、實戰建議

• 生產環境預先啟用 SysRq 與串口控制台，事發時才配置已晚
• 建立硬體基線壓測報告（CPU/記憶體/磁碟/網路），異常時快速對比
• 核心升級前保留至少一個穩定版核心（參考 /etc/yum.conf installonly_limit）
• 死機現場拍照/記錄/保存串口日誌，勿急於重啟銷毀證據

死機不可怕，可怕的是無證據、無章法。建立「硬體基線→核心可觀測→配置最小化」三重防線，將死機從「懸案」轉化為「可解案件」。