AIX 系統斷電後 HACMP 無法啟動：磁碟識別錯亂完整排查與修復實錄

AIX 系統因 UPS 故障導致資料庫小型機與存儲陣列同時斷電，重啟後 HACMP 叢集服務無法啟動。核心原因在於存儲多路徑軟體未安裝，導致斷電後磁碟裝置路徑識別錯亂（hdisk 編號漂移）、PVID 遺失、VG 匯入失敗。本文記錄完整排查過程、關鍵指令與根本解決方案。

故障現象

• 原磁碟 hdisk0-hdisk11，重啟後變 hdisk2-hdisk9 消失，後續出現 hdisk12+。
• importvg 報錯：0516-082 lqueryvg: Unable to access a special device file、0516-1140 importvg: Unable to read the volume group descriptor area。
• 新識別磁碟無 PVID，chdev -l hdiskX -a pv=yes 失敗。
• 兩節點磁碟順序不一致（同屬 datavg 的磁碟在節點 1/2 對應不同 hdisk）。

排查與修復關鍵步驟

1. 清除錯誤裝置定義並重新掃描

# 移除所有錯誤的 hdisk
for i in 2 3 4 5 6 7 8 9 10 11 12 ...; do
    rmdev -Rdl hdisk$i
done

# 移除 FC 介面卡定義（強制重新掃描拓撲）
for i in 0 1 2 3; do
    rmdev -Rdl fcs$i
done

# 重新配置裝置
cfgmgr -v

執行後所有磁碟重新出現 PVID，但兩節點 hdisk 編號仍不一致（存儲多路徑缺失導致路徑枚舉順序非確定性）。

2. 統一兩節點 VG 磁碟組成

節點 2 正常，以節點 2 為基準：

# 節點 2
varyonvg datavg
lspv -p datavg  # 記錄正確 hdisk 清單與順序

# 節點 1：將多餘/錯位磁碟從 VG 移除
# 先遷移資料避免遺失
migratepv -l hdisk9 hdisk2  # 將 hdisk9 資料遷移至 hdisk2
reducevg datavg hdisk9      # 移除 hdisk9

# 確認兩節點 datavg 組成一致
lsvg -p datavg

3. 重新匯入 VG 並恢復權限

# 節點 1
importvg -y datavg hdisk2  # 以正確磁碟匯入
# 設定裸裝置權限給 Oracle
chown oracle:dba /dev/rdatavg/*
chmod 660 /dev/rdatavg/*

4. 啟動 HACMP 驗證

# 節點 1
smitty hacmp
# 選擇 Start Cluster Services
# datavg 應可正常並發啟動

# 節點 2 若仍異常，重複清除裝置→cfgmgr 流程

根本原因分析

永久解決方案：安裝存儲多路徑軟體

• IBM SDDPCM (Subsystem Device Driver Path Control Module)：AIX 原生多路徑，支援 IBM 存儲。
• EMC PowerPath：EMC 存儲專用。
• Hitachi HDLM：Hitachi 存儲專用。
• Veritas DMP (Dynamic Multi-Pathing)：通用多路徑，支援多廠牌。

安裝多路徑後：

• 單一 LUN 僅呈現一個 hdiskpower / hdisk 裝置。
• PVID 綁定於多路徑裝置，不隨路徑變化。
• 路徑故障自動切換，不影響上層 VG/LV。
• 兩節點看到相同的多路徑裝置名稱，VG 組成天然一致。

最佳實踐建議

1. 共享 VG 使用大容量 LUN：減少 LUN 數量，降低 hdisk 順序不一致風險。
2. 部署前驗證多路徑：lspath、mpio_get_config 確認所有路徑 Active/Optimized。
3. HACMP 資源組依賴 VG：確保 vg_varyon 事件正確配置。
4. 定期演練斷電恢復：模擬 UPS 故障，驗證自動恢復流程。

總結

AIX 斷電後 HACMP 啟動失敗，表象為磁碟識別錯亂，本質為缺少存儲多路徑軟體。透過 rmdev/cfgmgr 重建裝置、migratepv/reducevg 統一 VG 組成可暫時恢復，但唯有安裝並正確配置多路徑軟體，才能從根本消除路徑枚舉非確定性，保障叢集高可用性。