Linux Awk 命令進階實戰：數據分析、報表生成與腳本化編程全解析

Awk (Aho, Weinberger, Kernighan) 是一門圍繞「模式-動作」範式設計的數據驅動腳本語言，擅長列式數據切分、聚合統計、報表格式化、關聯數組建模，是日志分析、CSV/TSV 處理、系統巡檢報表的首選工具。

核心執行流程

1. 讀取一行記錄（默認以換行符分隔，RS 可調）。
2. 按字段分隔符 (FS/-F) 切分為 $1、$2...$NF，$0 為整行。
3. 按腳本順序檢查每個模式，匹配則執行對應動作。
4. 循環直到 EOF，執行 END 塊。

調用方式與選項

awk '程序' 文件...
awk -f 程序文件 文件...
awk -F ':' '程序' /etc/passwd   # 指定字段分隔符
awk -v var=value '程序'         # 傳遞外部變量
awk 'BEGIN{...} 模式{動作} ... END{...}'  # 完整結構

內置變量速查

模式類型與動作語句

動作語句：{stmt; stmt; ...} 支援 C 風格語法：變量賦值、算術/字符串運算、if/else、for/while、break/continue、next/nextfile、exit、函數調用、print/printf、系統命令 system()、管道 cmd | getline。

進階實戰範例

1. CSV/TSV 列統計與報表

# sales.csv: Date,Product,Qty,Price
awk -F, '
BEGIN { OFS="\t"; print "Product", "Total_Qty", "Total_Amount", "Avg_Price" }
NR>1 { qty[$2]+=$3; amt[$2]+=$3*$4; cnt[$2]++ }
END {
    for (p in qty) {
        avg = amt[p] / qty[p]
        printf "%s\t%d\t%.2f\t%.2f\n", p, qty[p], amt[p], avg
    }
}' sales.csv

2. 日志分析：Top 10 URL + 狀態碼分布

# nginx access.log: $1=IP $7=URL $9=Status
awk '
{ url[$7]++; status[$9]++; total++ }
END {
    print "=== Top 10 URLs ==="
    n=0
    for (u in url) { urls[++n]=u; cnt[n]=url[u] }
    # 簡單冒泡排序 (小數據量)
    for (i=1;i<=n;i++) for (j=i+1;j<=n;j++) if (cnt[i]

awk '!seen[$1]++' file1.txt file2.txt file3.txt > merged_unique.txt

# 統計每小時每狀態碼請求數
awk '
{ hour[strftime("%H",$1)]++; code_hour[$9","strftime("%H",$1)]++ }
END {
    for (h in hour) {
        for (c in code_hour) { split(c,a,","); if (a[2]==h) printf "Hour %s | Status %s | Count %d\n", h, a[1], code_hour[c] }
    }
}' access.log

awk -F: 'BEGIN{printf "%-20s %5s %5s %s\n","User","UID","GID","Shell"} {printf "%-20s %5d %5d %s\n",$1,$3,$4,$7}' /etc/passwd