Linux 系統下 Hadoop DFS 常用命令完整操作指南

Hadoop 分散式檔案系統（HDFS）是大數據生態的核心儲存組件，而 hadoop dfs 命令（新版多為 hdfs dfs）是操作 HDFS 的主要介面。命令參數眾多且難以記憶，本文整理了最常用的操作指令，涵蓋目錄管理、檔案上傳下載、權限查看、資料合併與叢集狀態檢查等實戰場景，方便開發與運維人員快速查閱。

目錄與檔案基本操作

• 建立目錄： hadoop dfs -mkdir /home
• 上傳檔案或目錄到 HDFS：
  • 單一檔案：hadoop dfs -put hello /
  • 整個目錄：hadoop dfs -put hellodir/ /
• 查看目錄內容： hadoop dfs -ls /
• 建立空檔案： hadoop dfs -touchz /361way
• 刪除檔案： hadoop dfs -rm /361way
• 遞迴刪除目錄： hadoop dfs -rmr /home （新版建議用 -rm -r）
• 重命名/移動： hadoop dfs -mv /hello1 /hello2
• 檢視檔案內容： hadoop dfs -cat /hello

進階資料處理與下載

• 合併下載： 將指定目錄下所有內容合併成單一檔案並下載到本地
  hadoop dfs -getmerge /hellodir wa
• 查看檔案/目錄大小： hadoop dfs -du /
• 複製到本地： hadoop dfs -copyToLocal /home localdir

叢集管理與監控

• 查看 DFS 叢集狀態報表： hadoop dfsadmin -report
  可檢視節點狀態、剩餘空間、區塊資訊等關鍵指標。
• 查看正在運行的 Java 進程： jps
  輔助確認 NameNode、DataNode、ResourceManager 等關鍵進程是否存活。

小提醒

Hadoop 2.x 版本後，官方建議改用 hdfs dfs 取代 hadoop dfs，兩者語法相容。實際生產環境中請根據叢集版本選擇對應命令。熟練掌握上述指令組合，能大幅提升 HDFS 日常運維與開發除錯效率。