-
StackOverflow 文件
-
hadoop 教程
-
Hadoop 命令
-
Hadoop v1 命令
1.列印 Hadoop 版本
hadoop version
2.列出 HDFS 中根目錄的內容
hadoop fs -ls /
3.報告使用的空間量和
在當前安裝的檔案系統上可用
hadoop fs -df hdfs:/
4.計算目錄,檔案和位元組數
與指定檔案模式匹配的路徑
hadoop fs -count hdfs:/
5.執行 DFS 檔案系統檢查實用程式
hadoop fsck – /
6.執行群集平衡實用程式
hadoop balancer
7.在下面建立一個名為 hadoop
的新目錄
HDFS 中的/ user / training 目錄。既然你是
當前使用 training
使用者 ID 登入
/ user / training 是 HDFS 中的主目錄
hadoop fs -mkdir /user/training/hadoop
8.從本地目錄新增示例文字檔案
將 data
命名為你在 HDFS 中建立的新目錄
在上一步中
hadoop fs -put data/sample.txt /user/training/hadoop
9.在 HDFS 中列出此新目錄的內容
hadoop fs -ls /user/training/hadoop
10.將名為 retail
的整個本地目錄新增到
HDFS 中的/ user / training 目錄
hadoop fs -put data/retail /user/training/hadoop
11.由於/ user / training 是 HDFS 中的主目錄
任何沒有絕對路徑的命令都是
解釋為相對於該目錄。下一個
因此命令將列出你的主目錄,和
應該顯示你剛剛新增的專案
hadoop fs -ls
12.檢視此目錄在 HDFS 中佔用的空間大小
hadoop fs -du -s -h hadoop/retail
13.從零售目錄中刪除檔案客戶
hadoop fs -rm hadoop/retail/customers
14.確保此檔案不再位於 HDFS 中
hadoop fs -ls hadoop/retail/customers
15.使用萬用字元從 retail
目錄中刪除所有檔案
hadoop fs -rm hadoop/retail/*
16.清空垃圾桶
hadoop fs -expunge
17.最後,刪除整個零售目錄和所有
其內容在 HDFS 中
hadoop fs -rm -r hadoop/retail
18.再次列出 hadoop 目錄
hadoop fs -ls hadoop
19.從本地目錄新增 purchases.txt 檔案
將“/ home / training /”命名為你在 HDFS 中建立的 hadoop 目錄
hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/
20.檢視文字檔案 purchases.txt 的內容
它出現在你的 hadoop 目錄中
hadoop fs -cat hadoop/purchases.txt
21.從 HDFS 目錄中的 hadoop
目錄中新增 purchases.txt 檔案
到本地目錄中的 data
目錄
hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data
22. cp 用於在 HDFS 中存在的目錄之間複製檔案
hadoop fs -cp /user/training/*.txt /user/training/hadoop
23.’-get’命令可以替代地用於’-copyToLocal’命令
hadoop fs -get hadoop/sample.txt /home/training/
24.將檔案“purchases.txt”的最後一千位元組顯示到 stdout
hadoop fs -tail hadoop/purchases.txt
25. HDFS 中的預設檔案許可權為 666
使用’-chmod’命令更改檔案的許可權
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt
26.所有者和組的預設名稱是培訓,培訓
使用’-chown’同時更改所有者名稱和組名稱
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt
27.組的預設名稱是訓練
使用’-chgrp’命令更改組名
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt
28.將目錄從一個位置移動到另一個位置
hadoop fs -mv hadoop apache_hadoop
29.檔案的預設複製因子是 3
使用’-setrep’命令更改檔案的複製因子
hadoop fs -setrep -w 2 apache_hadoop/sample.txt
30.將目錄從群集中的一個節點複製到另一個節點
使用’-distcp’命令進行復制
-overwrite 選項覆蓋現有檔案
-update 命令用於同步兩個目錄
hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop
31.使名稱節點離開安全模式的命令
hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave
32.列出所有 hadoop 檔案系統 shell 命令
hadoop fs
33.獲取 hdfs 配額值以及當前使用的名稱和位元組數
hadoop fs -count -q [-h] [-v] <directory>...<directory>
34.最後但並非最不重要的是,總是尋求幫助!
hadoop fs -help