Linux 大檔案高效分發實戰：tee + FIFO 串聯傳輸鏈，突破帶寬瓶頸

單點對多點傳輸大檔案時，來源端頻寬易成瓶頸。利用 tee + 名稱管道 (FIFO) + netcat + pigz (平行 gzip) 建立「傳輸鏈」，每節點同時接收、解壓、儲存並轉發下一節點，大幅提升分發效率。本文詳細拆解架構原理、指令組合、效能實測數據。

傳統方式痛點

• 循序傳輸：來源 → 目標1 完成後 → 目標2... 時間呈線性增長
• 並行傳輸：來源同時對多目標傳輸，受限於來源上傳頻寬總和，單節點速度下降

傳輸鏈架構原理

來源端                    節點1 (末端)              節點2              節點3 (首端)
tar cv files | pigz | nc 節點3:1234  ←  nc -l 1234 | pigz -d | tar xvf -
                                                          ↑
                                                    tee myfifo
                                                          ↓
                                                    nc 節點2:1234

每個中繼節點：nc -l 1234 | tee myfifo | pigz -d | tar xvf - 同時將壓縮資料流「分流」給下一節點 (經 FIFO) 並自行解壓儲存。

實戰部署步驟

步驟 1：末端節點 (最後接收者，僅接收儲存)

# 假設 IP 192.168.1.10，監聽 port 1234
nc -l 1234 | pigz -d | tar xvf -

步驟 2：中繼節點 (由末端往前依序啟動)

# 節點2 (IP 192.168.1.20)
mkfifo myfifo
nc 192.168.1.10 1234 < myfifo | nc -l 1234 | tee myfifo | pigz -d | tar xvf -

# 節點1 (IP 192.168.1.30)
mkfifo myfifo
nc 192.168.1.20 1234 < myfifo | nc -l 1234 | tee myfifo | pigz -d | tar xvf -

關鍵：tee myfifo 將資料同時寫入 FIFO (供下游節點讀取) 與標準輸出 (接管道解壓儲存)。

步驟 3：來源端啟動傳輸

tar cv large_directory | pigz | nc 192.168.1.30 1234

工具選擇說明

• pigz：平行 gzip，多核心並行壓縮/解壓，比 gzip 快 3-8 倍
• netcat (nc)：極簡 TCP 傳輸，無加密開銷，延遲極低
• tee + FIFO：單一資料流「一讀多用」，零拷貝分流
• tar：封存目錄結構、權限、屬性

效能實測數據 (作者環境)

• 傳統 1對1 複製：基準 100%
• 傳輸鏈每節點損耗：3%-10% (相對 1對1)
• 整體分發時間：比循序傳輸快 N 倍 (N=節點數)，比並行傳輸快 2-3 倍

進階優化建議

• 生產環境建議加入 pv (Pipe Viewer) 監控傳輸進度：tar cv ... | pigz | pv | nc ...
• 大量節點可撰寫腳本自動產生啟動指令
• 跨機房傳輸建議加入 ssh 隧道或使用 rsync 斷點續傳
• 檔案完整性驗證：傳輸前後對比 sha256sum

適用場景與限制

總結

「傳輸鏈」模式將單點頻寬瓶頸轉化為管道流水線，配合 pigz 多核壓縮，是大檔案叢集分發的利器。掌握 nc + tee + FIFO + pigz 組合，能在無額外軟體依賴下實現高效分發。