Linux 系統崩潰後數據庫災難恢復實戰指南

Linux 服務器因內核恐慌、硬件故障、電源中斷等原因崩潰，導致數據庫（如 Oracle、MySQL）無法正常啟動。本文詳述從救援模式啟動、掃描 LVM 卷、掛載文件系統、備份核心數據文件到重建數據庫的完整流程，助您將損失降至最低。

故障現象與初步判斷

• 遠程 SSH 斷開，控制台顯示 no such file or directory、kernel panic 或進入 dracut 救援 Shell。
• 數據庫進程消失，應用報錯無法連接數據庫。
• 文件系統可能損壞（ext4/xfs 日志不一致），LVM 元數據可能受損。

核心恢復流程（以 Oracle + LVM 為例）

1. 進入救援模式

使用系統安裝光盤（ISO）或 USB 啟動，選擇 Troubleshooting → Rescue a CentOS/RHEL system，或在 GRUB 菜單編輯內核參數添加 systemd.unit=rescue.target。

掛載根文件系統至 /mnt/sysimage（救援模式通常自動掛載）。

2. 掃描並激活 LVM 卷組

# 掃描所有物理卷
vgscan

# 查看卷組信息
vgdisplay

# 激活目標卷組（假設名為 vg_oracle）
vgchange -ay vg_oracle

# 查看邏輯卷
lvdisplay

3. 掛載邏輯卷備份數據

# 創建掛載點
mkdir -p /mnt/recovery

# 掛載數據文件所在邏輯卷（如 lv_oradata）
mount /dev/vg_oracle/lv_oradata /mnt/recovery

# 確認關鍵文件存在
ls -l /mnt/recovery/oradata/

4. 備份核心數據文件

將數據文件（.dbf、.ctl、.log）、參數文件（spfile/pfile）、密碼文件（orapw*）通過網絡（scp/rsync）或移動硬盤拷貝至安全存儲：

# 示例：使用 rsync 備份至備份服務器
rsync -avz /mnt/recovery/oradata/ backup-user@backup-server:/backup/oradata_$(date +%F)/

# 同時備份備份控制文件、归档日志（如有）

5. 修復或重裝操作系統

• 輕度文件系統損壞：在救援模式下對相關分區執行 fsck -y /dev/vg_oracle/lv_oradata（xfs 使用 xfs_repair）。
• 嚴重損壞/內核模塊缺失：重新安裝 OS，保留數據分區（安裝時選擇不格式化 LVM 卷）。

6. 恢復數據庫

1. 安裝相同版本 Oracle 軟件（含補丁集）。
2. 創建實例（DBCA 或手動），指定備份的控制文件、數據文件路徑。
3. 以 STARTUP MOUNT 掛載數據庫，執行 RECOVER DATABASE 恢復。
4. ALTER DATABASE OPEN RESETLOGS 打開數據庫。
5. 驗證數據一致性，導出關鍵業務數據對比。

MySQL/PostgreSQL 關鍵差異點

• MySQL：備份 datadir（默認 /var/lib/mysql）、ibdata1、ib_logfile*、.frm/.ibd 文件。恢復時同版本安裝 MySQL，替換 datadir，執行 innodb_force_recovery 如需強制啟動。
• PostgreSQL：備份 PGDATA 目錄（含 base/、global/、pg_wal/）。恢復同版本 PG，替換數據目錄，檢查 postgresql.conf、pg_hba.conf。

災後總結與預防建議

1. 備份是核心：定期全量+增量備份，異地存儲，定期演練恢復。
2. 啟用數據庫級備份工具：Oracle RMAN、MySQL XtraBackup、PG Base Backup + WAL-G。
3. 文件系統層面快照：LVM 快照、ZFS 快照、云盤快照，實現秒級 RPO。
4. 監控與告警：磁盤空間、I/O 延遲、內核錯誤、數據庫心跳全方位監控。
5. 文檔化恢復流程：將本文流程根據實際環境定制為 SOP，定期演練。

系統崩潰不可避免，但通過規範的備份策略與熟練的恢復演練，能將 RTO（恢復時間目標）和 RPO（恢復點目標）控制在業務可接受範圍內。切記：備份未驗證恢復，等於沒有備份！