Linux Shell 多線程編程實戰：從基礎後台並發到可控線程池模型

Shell 腳本天生單線程，但通過後台任務（&）、命名管道（FIFO）與文件描述符技巧，可實現高效的並發控制與線程池模型。本文由淺入深，演示從無序並發到固定併發數的完整進化路徑，並給出生產級模板。

一、基礎並發：後台任務 + wait

核心機制

• command &：將命令放入後台執行，Shell 立即繼續執行下一條指令。
• wait：阻塞當前 Shell，直到所有後台子進程結束。
• { ... } &：將代碼塊作為整體放入後台，實現邏輯分組並發。

範例：並發啟動多組 Docker 容器

pairs=5
port=9080
port_m=27017

for ((i=1; i<=pairs; i++)); do
    mongo="mongo_00$i"
    acmeair_web="acmeair_web_00$i"
    {
        docker run --name "$mongo" -d -p "$port_m":27017 mymongodb
        docker run -d -p "$port":9080 --name "$acmeair_web" --link "${mongo}:mongo" acmeair/web
    } &
    ((port++))
    ((port_m++))
done
wait
echo "All $pairs pairs started."

缺點：併發數完全由外層循環決定（此處 5），無法動態控制，大量任務時會耗盡系統資源（PID、端口、內存）。

二、進階模型：命名管道實現固定大小線程池

原理圖解

FIFO 文件 <---> 文件描述符 6
初始：向 FD6 寫入 N 個換行符（令牌）
任務啟動：read -u6  消耗 1 個令牌 → 執行任務
任務結束：echo >&6   歸還 1 個令牌
無令牌時 read 阻塞 → 自然限制併發數

生產級模板（併發數 15，總任務 50）

#!/bin/bash
set -euo pipefail

MAX_THREADS=15
TOTAL_TASKS=50
FIFO_FILE="/tmp/$$.fifo"

# 1. 創建 FIFO 並綁定 FD6
mkfifo "$FIFO_FILE"
exec 6<>"$FIFO_FILE"
rm -f "$FIFO_FILE"  # 刪除文件實體，FD6 仍持有引用

# 2. 預填充令牌
for ((i=0; i&6
done

# 3. 任務分發循環
for ((i=0; i&6  # 歸還令牌
    } &
done

# 4. 等待所有後台任務完成
wait

# 5. 清理
exec 6>&-
echo "All $TOTAL_TASKS tasks completed with max $MAX_THREADS concurrent."

關鍵點解析

三、錯誤處理與健壯性增強

{
    # 任務主體
    docker run ... && {
        echo "subprocess finished"
    } || {
        echo "ERROR: task $task_id failed" >&2
        # 可選：記錄失敗任務 ID 供重試
        echo "$task_id" >> /tmp/failed_tasks.txt
    }
    echo >&6
} &

• 使用 set -euo pipefail 開啟嚴格模式。
• 關鍵命令後檢查 $? 或用 && / || 鏈式處理。
• 失敗任務記錄到文件，腳本結束後可二次重試。

四、進階變體：xargs 並發（簡單場景首選）

# 將任務列表寫入文件或管道，xargs -P 控制併發
seq 1 50 | xargs -P 15 -I {} bash -c '
    task_id={}
    echo "Task $task_id start"
    sleep $((RANDOM % 3 + 1))
    echo "Task $task_id done"
'

優點：一行命令搞定，無需管理 FIFO。
局限：複雜邏輯難寫、錯誤處理弱、無法動態調整併發數。

五、性能調優建議

• CPU 密集型：MAX_THREADS=$(nproc) 或 $(nproc --all)。
• IO 密集型：可適當設為 2-4 倍 CPU 核心數（如 15-30）。
• 避免 Fork 炸彈：嚴禁在循環中直接 command & 無限制，必須用令牌池或 xargs -P。
• 資源清理：腳本退出時（含 trap 捕獲信號）務必 exec 6>&- 關閉 FD，wait 回收子進程。

六、總結

建議：日常運維首選 xargs -P；核心業務腳本採用 FIFO 模板；大規模數據處理引入 GNU Parallel。掌握多線程模型，讓 Shell 腳本突破單線程瓶頸，承擔更重的自動化使命。