glibc (ptmalloc) 內存暴增問題分析與解決

問題現象

運行特定分配釋放模式的測試程序後，雖然程序已釋放所有內存給 glibc，但 glibc 未將內存歸還給作業系統，導致進程驻留內存持續偏高。

測試代碼關鍵邏輯

int alloc_time = 4000;
char *a[alloc_time], *b[alloc_time];
for (i=0; i=0; i--) {
    free(a[i]);
    free(b[i]);
}

ptmalloc 內存管理機制深度解析

核心數據結構

• Chunk：內存管理基本單元，包含大小、標誌位、前向/後向指針（空閒時）。
• Bins (箱子)：分級管理空閒 chunk。
  • Fastbins：10 個定長隊列，管理 < 80B 小塊，不清除使用位，不合併相鄰塊，極速分配/釋放。
  • Small Bins：前 64 隊列，定長（間隔 8B），雙向鏈表，FIFO。
  • Large Bins：後 64 隊列，不定長，按大小降序排列。
  • Unsorted Bin：單一隊列緩衝區，釋放塊優先進入，分配時優先檢查，滿足則直接返回，否則分發至對應 bins。
• Top Chunk：堆頂未劃分區域，最後手段分配來源。
• Mmap 區域：大塊（>128KB）直接映射，釋放時 munmap 歸還 OS。

為何內存不歸還 OS？

1. 交替分配模式：大小塊交替，釋放時小塊進 fastbins（使用位仍為 1），大塊試圖合併但相鄰小塊使用位為 1 導致合併失敗。
2. Fastbins 不合併：使用位為 1 阻止合併，且大小 < 64KB 不觸發 malloc_consolidate（fastbins 清理合併）。
3. Top Chunk 無法收縮：堆收縮需從 top chunk 開始，若 top chunk 下方有未釋放塊（即使是空閒但被 fastbins 持有），數十 GB 空閒內存也無法歸還。

解決方案

在釋放循環後，額外分配並釋放一個較大塊（如 2000B）：

char *p = malloc(2000);
free(p);

原理：分配 2000B 觸發 malloc_consolidate，清空 fastbins 並合併相鄰塊，最終形成巨大 top chunk，滿足收縮閾值（>128KB），調用 sbrk 縮減堆，內存歸還 OS。

最佳實踐建議

• 避免長生命週期大塊與頻繁小塊交替分配模式。
• 釋放順序盡量遵循「後分配先釋放」，利於 top chunk 合併。
• 不可關閉 M_MMAP_THRESHOLD 動態調整機制。
• 長期運行、大量不定期分配釋放的服務，考慮使用內存池或專用分配器（jemalloc, tcmalloc）。