Linux 高併發 Socket 調優全攻略：文件描述符、端口範圍、連接追蹤、內核參數與 I/O 模型五大維度優化

支撐十萬級甚至百萬級並發 TCP 連接，單靠業務代碼優化遠不夠，必須從作業系統層面系統性打通「文件描述符上限 → 本地端口範圍 → 連接追蹤表 → TCP 協議棧參數 → 網路 I/O 模型」五大瓶頸。本文匯總生產環境驗證的完整調優清單，涵蓋 ulimit/limits.conf/pam_limits、ip_local_port_range/ip_conntrack_max、sysctl.conf 核心參數模板、epoll/io_uring 程式模型選擇，並附帶驗證腳本與常見坑點。

一、突破單進程文件描述符限制

現狀與痛點

• 預設 ulimit -n = 1024，扣除標準輸入/輸出/錯誤、監聽 socket、unix domain socket 等，實際可用 ~1010。
• 高併發服務（如 WebSocket 伺服器、代理、即時通訊）輕易耗盡。

三級配置生效鏈路

1. 用戶級硬/軟限制 (/etc/security/limits.conf)：

* soft nofile 102400
* hard nofile 102400
root soft nofile 102400
root hard nofile 102400

2. PAM 模組載入 (/etc/pam.d/login、/etc/pam.d/sshd、/etc/pam.d/system-auth)：

session required pam_limits.so

3. 系統級上限 (/proc/sys/fs/file-max、/etc/sysctl.conf)：

fs.file-max = 2000000
fs.nr_open = 2000000  # 單進程理論上限 (內核 2.6.25+)

生效驗證：重新登入 Shell 或重啟服務，ulimit -n 應顯示 102400。systemd 服務 需在 Unit 檔添加 LimitNOFILE=102400。

二、擴展本地端口範圍 (ip_local_port_range)

痛點

客戶端發起連接需佔用一個本地臨時端口（預設 32768-60999，約 2.8 萬個）。單 IP 高併發短連接場景極易耗盡，報錯 EADDRNOTAVAIL: Cannot assign requested address。

調優配置

# /etc/sysctl.conf
net.ipv4.ip_local_port_range = 1024 65535
# 理論可用 ~6.4 萬端口，配合 SO_REUSEPORT 可更高

生效：sysctl -p。注意：最小值 ≥ 1024，最大值 ≤ 65535。

三、擴大連接追蹤表 (nf_conntrack / ip_conntrack)

痛點

Netfilter 連接追蹤表預設 65536 條目，高併發時滿表導致新連接 SYN_RECV 掛起、最終超時，現象為 connect() 卡住無報錯。dmesg 顯示 nf_conntrack: table full, dropping packet。

調優配置

# /etc/sysctl.conf
net.netfilter.nf_conntrack_max = 2000000
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 30
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 30
# 內核 4.7+ 建議同時設置
net.nf_conntrack_max = 2000000

記憶體估算：每條目 ~300-400 Bytes，200 萬條 ≈ 600-800 MB，確保主機記憶體充足。

四、TCP 協議棧核心參數模板 (sysctl.conf)

# /etc/sysctl.conf —— 高併發生產級模板（參考 Varnish/SunOne/Cloudflare 最佳實踐）
# 連接隊列與建立
net.core.somaxconn = 262144              # listen() backlog 上限，配合應用 listen(fd, 262144)
net.ipv4.tcp_max_syn_backlog = 262144    # SYN 接收隊列
net.ipv4.tcp_syncookies = 1              # 防 SYN Flood
net.ipv4.tcp_synack_retries = 2          # SYN+ACK 重試次數
net.ipv4.tcp_syn_retries = 2             # SYN 重試次數
net.ipv4.tcp_max_orphans = 262144        # 孤兒連接上限

# 快速回收與復用
net.ipv4.tcp_tw_reuse = 1                # 開啟 TIME_WAIT 復用 (客戶端/負載均衡端極其重要)
net.ipv4.tcp_tw_recycle = 0              # 禁用快速回收 (NAT 環境下會導致連接失敗，內核 4.12+ 已移除)
net.ipv4.tcp_fin_timeout = 10            # FIN_WAIT2 超時縮短 (預設 60s)

# 緩衝區優化（動態調整，單位：bytes）
net.core.rmem_max = 16777216             # 接收緩衝區最大
net.core.wmem_max = 16777216             # 發送緩衝區最大
net.ipv4.tcp_rmem = 4096 87380 16777216  # min, default, max
net.ipv4.tcp_wmem = 4096 65536 16777216

# 窗口擴展與選項
net.ipv4.tcp_window_scaling = 1          # 啟用窗口縮放 (RFC 1323)
net.ipv4.tcp_sack = 1                    # 選擇性確認
net.ipv4.tcp_timestamps = 1              # 時間戳 (配合 PAWS 防序列號繞回)
net.ipv4.tcp_no_metrics_save = 1         # 不緩存連接指標，避免舊指標誤判新連接

# 網路設備佇列
net.core.netdev_max_backlog = 30000      # 封包處理佇列

# 其它
net.ipv4.tcp_slow_start_after_idle = 0   # 閒置後不重置慢啟動
net.ipv4.tcp_mtu_probing = 1             # 啟用 MTU 探測
net.ipv4.tcp_abort_on_overflow = 0       # 接收佇列滿時發 RST (0=丟棄, 1=RST)

生效：sysctl -p + sysctl -w net.ipv4.route.flush=1 或重啟網路服務。

五、選擇高併發 I/O 模型：epoll / io_uring

程式碼層面關鍵點

• 非阻塞 + epoll ET：fcntl(fd, F_SETFL, O_NONBLOCK)，epoll_ctl(..., EPOLLIN | EPOLLET)，讀寫循環直到 EAGAIN。
• SO_REUSEPORT：多進程/執行緒共享監聽 socket，內核負載均衡分發 accept()，消除單進程瓶頸（內核 3.9+）。
• TCP_FASTOPEN：減少 1-RTT 建立延遲（需客戶端/伺服端同開）。
• 零拷貝：sendfile()/splice()/copy_file_range() 避免用戶態/核心態拷貝。

六、驗證腳本：一鍵檢查調優生效狀態

#!/bin/bash
# check_tcp_tuning.sh
echo "=== File Descriptor Limits ==="
ulimit -n
cat /proc/sys/fs/file-max
cat /proc/sys/fs/nr_open

echo -e "\n=== Port Range & Conntrack ==="
sysctl net.ipv4.ip_local_port_range
sysctl net.netfilter.nf_conntrack_max
sysctl net.nf_conntrack_max 2>/dev/null || true

echo -e "\n=== Key TCP Parameters ==="
for p in somaxconn tcp_max_syn_backlog tcp_syncookies tcp_tw_reuse tcp_fin_timeout \
         tcp_rmem tcp_wmem rmem_max wmem_max netdev_max_backlog; do
    sysctl net.core.$p 2>/dev/null || sysctl net.ipv4.$p 2>/dev/null
done

echo -e "\n=== Current Conntrack Usage ==="
cat /proc/sys/net/netfilter/nf_conntrack_count 2>/dev/null || echo "N/A"

echo -e "\n=== Socket States Summary ==="
ss -s
echo "TIME_WAIT count: $(ss -tan state time-wait | wc -l)"
echo "ESTAB count:     $(ss -tan state established | wc -l)"

七、常見坑點避雷指南

八、總結：五大維度調優清單

1. ✅ 文件描述符：limits.conf + pam_limits + fs.file-max + systemd LimitNOFILE → 100k+。
2. ✅ 本地端口：ip_local_port_range = 1024 65535 → 6.4萬+。
3. ✅ 連接追蹤：nf_conntrack_max = 2M + 縮短超時 → 避免表滿。
4. ✅ TCP 協議棧：sysctl.conf 模板 → 隊列、緩衝、快速回收、窗口擴展。
5. ✅ I/O 模型：epoll ET + SO_REUSEPORT (現狀最穩) → 演進至 io_uring (未來標準)。

將上述清單納入基線映像、CI/CD 部署前檢查、壓測驗收指標，讓高併發能力成為可預期、可度量、可復製的工程成果，而非臨時抱佛腳的運氣遊戲。