Linux 文本處理利器：sort 與 uniq 完整參數與實戰範例

前言

sort 與 uniq 是 Shell 管線中處理結構化文本的黃金搭檔：sort 負責多鍵值、多規則排序，uniq 負責去重與計數。掌握兩者參數組合，能以一行指令完成資料清洗、日誌統計、CSV 分析等任務。本文系統整理參數、排序邏輯、實戰管線範例。

一、sort 核心參數速查

二、uniq 核心參數速查

三、關鍵原則：uniq 必須配合 sort

uniq 僅比較相鄰行，因此輸入必須先排序：

# 錯誤：未排序直接 uniq，非相鄰重複行不會被去除
uniq data.txt

# 正確：先排序再去重
sort data.txt | uniq
# 或
sort -u data.txt

四、實戰管線範例

1. 統計日誌中 IP 存取次數 Top 10

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10

2. CSV 第 3 欄數值排序，第 1 欄去重保留最大值

# 假設 CSV：id,score,name
sort -t',' -k3,3nr -k1,1 data.csv | sort -t',' -k1,1 --unique

3. 合併多個已排序日誌檔（不重新排序）

sort -m access.log.1 access.log.2 access.log.3 > access.log.merged

4. 版本號自然排序

echo -e "1.2.9\n1.2.10\n1.10.1\n2.0.0" | sort -V
# 輸出：1.2.9, 1.2.10, 1.10.1, 2.0.0

5. 忽略大小寫去重並計數

sort -f names.txt | uniq -ic

6. 處理 NUL 結尾檔名（安全處理含空白/換行檔名）

find /var/log -type f -name '*.log' -print0 | sort -z | uniq -z | xargs -0 rm -f

7. 自定義欄位分隔符的多鍵排序

# /etc/passwd 格式：user:x:uid:gid:desc:home:shell
# 按 uid 數值排序，uid 相同按 gid 排序
sort -t':' -k3,3n -k4,4n /etc/passwd

五、效能調優提示

• 大檔案：sort -S 50% --parallel=4 -T /tmp/bigsort bigfile.txt（指定記憶體、並行、臨時目錄）。
• 已知部分有序：sort -m 合併比全量排序快數量級。
• LC_ALL=C：export LC_ALL=C 關閉 locale 排序規則，純位元組比較，速度提升 3-10 倍。

六、總結

sort 的 -k/-t/-n/-V 覆蓋 95% 排序需求；uniq 的 -c/-d/-u/-f 覆蓋 95% 去重統計需求。記住「先排序再 uniq」、「善用 LC_ALL=C 加速」，即可在命令列完成企業級文本分析。