Linux 服務器效能調優實戰：NFS 進程數調優解決負載週期性飆高之謎

一台配置強悍的檔案伺服器（64 GB 記憶體、2 顆 12 核 CPU、外掛存儲），系統負載卻每隔一段時間週期性飆升至 40-50，而 top/vmstat/iostat/ifstat/sar 顯示 CPU、記憶體、磁碟、網路均極度閒置。本文複盤這一經典「負載高但資源閒」案例，揭示 NFS 服務執行緒數不足導致請求排隊、進程進入不可中斷睡眠 (D 狀態) 推高負載的根因，並給出生產級調優參數與驗證方法。

一、現象描述與初步排查

• 環境：NFS 伺服器匯出存儲卷，~100 位開發人員通過客戶端掛載進行日常開發（編譯、IDE 索引、Git 操作）。
• 症狀：負載 (load average) 週期性飆升至 40-50，持續數分鐘後自動回落；期間 top 顯示 %idle > 90%、%iowait < 5%、記憶體充裕、無 Swap、網路流量平穩。
• 關鍵觀察：ps aux | grep nfsd 僅見 8 條 nfsd 執行緒（預設值）。

二、根因分析：NFS 執行緒饑餓 → D 狀態堆積 → 負載虛高

機制鏈路

1. 客戶端並發發起 NFS 請求（讀/寫/查找/獲取屬性）。
2. 伺服器端 nfsd 執行緒池固定為 8 條，無法並行處理百人並發。
3. 請求在 socket 接收佇列排隊，客戶端進程進入 不可中斷睡眠 (D 狀態) 等待回應。
4. Linux load average 統計包含 R (Running) + D (Uninterruptible Sleep) 進程數。
5. 大量 D 狀態進程堆積 → load average 飆升，但 CPU 實際閒置。

驗證命令

# 觀察 D 狀態進程數
ps aux | awk '$8 ~ /D/ {count++} END {print "D state processes:", count}'

# 或
watch -n 1 'ps aux | grep -c " D "'

負載高峰期將觀測到數十上百個 D 狀態 nfsd 相關進程（實為客戶端進程在 nfs_wait_request 等待）。

三、調優方案：增加 nfsd 執行緒數

修改啟動參數

# RHEL/CentOS 7/8
vim /etc/sysconfig/nfs
# 修改或新增
RPCNFSDCOUNT=160  # 建議：CPU 核心數 × 6-8，此處 24 核 × 6 ≈ 160

# Debian/Ubuntu
vim /etc/default/nfs-kernel-server
RPCNFSDCOUNT=160

重啟服務生效

systemctl restart nfs-server
# 或
systemctl restart nfs-kernel-server

# 驗證
ps aux | grep -c nfsd
# 應見 ~160 條 nfsd 執行緒

四、調優後效果驗證

• 負載穩定：load average 長期維持在 2-5 區間（正常並發水平）。
• D 狀態消失：ps aux | grep D 僅見零星核心執行緒。
• 客戶端響應：編譯、IDE 索引、Git 操作延遲顯著降低，無卡頓投訴。
• 資源佔用：nfsd 執行緒記憶體佔用極低（每條 ~KB 級），160 條總佔用 < 10 MB，CPU 佔用近乎為零（多為睡眠等待請求）。

五、NFS 效能調優完整參數表

六、延伸：為什麼「負載高但資源閒」會誤導排查？

load average 定義為「可運行佇列平均長度」，Linux 將 D 狀態 (TASK_UNINTERRUPTIBLE) 進程計入可運行佇列（因為它們佔用資源且不可殺死）。傳統認知「負載高 = CPU 壓力大」在這裡失效。正確判讀：

• load 高 + %idle 高 + %iowait 低 → 大量 D 狀態 → 等待外部資源 (NFS/磁碟/鎖/網路)。
• load 高 + %user/%sys 高 → 真 CPU 瓶頸。
• load 高 + %iowait 高 → 磁碟/存儲子系統瓶頸。

七、自動化巡檢腳本

#!/bin/bash
# check_nfsd_threads.sh
EXPECTED=160
ACTUAL=$(ps aux | grep -c '\[nfsd\]')
LOAD1=$(uptime | awk -F'load average: ' '{print $2}' | awk -F', ' '{print $1}')
D_COUNT=$(ps aux | awk '$8 ~ /^D/ {c++} END {print c+0}')

echo "=== NFSd Thread Health Check ==="
echo "Expected threads: $EXPECTED"
echo "Actual threads:   $ACTUAL"
echo "Load 1min:        $LOAD1"
echo "D-state processes: $D_COUNT"

if [ $ACTUAL -lt $EXPECTED ]; then
    echo "⚠️  WARNING: nfsd threads below expected!"
    exit 1
elif [ $D_COUNT -gt 50 ]; then
    echo "⚠️  WARNING: High D-state count, possible NFS congestion!"
    exit 1
else
    echo "✅ OK"
    exit 0
fi

此案例深刻說明：服務層配置往往比硬體資源更決定效能上限。將 NFS 執行緒數納入基線配置標準、自動化巡檢與變更管理，避免「配置強但參數弱」的低級錯誤重演。