Hadoop v1 命令

1.列印 Hadoop 版本

hadoop version

2.列出 HDFS 中根目錄的內容

hadoop fs -ls /

3.報告使用的空間量和

在當前安裝的檔案系統上可用

hadoop fs -df hdfs:/

4.計算目錄,檔案和位元組數

與指定檔案模式匹配的路徑

hadoop fs -count hdfs:/

5.執行 DFS 檔案系統檢查實用程式

hadoop fsck – /

6.執行群集平衡實用程式

hadoop balancer

7.在下面建立一個名為 hadoop 的新目錄

HDFS 中的/ user / training 目錄。既然你是

當前使用 training 使用者 ID 登入

/ user / training 是 HDFS 中的主目錄

hadoop fs -mkdir /user/training/hadoop

8.從本地目錄新增示例文字檔案

data 命名為你在 HDFS 中建立的新目錄

在上一步中

hadoop fs -put data/sample.txt /user/training/hadoop

9.在 HDFS 中列出此新目錄的內容

hadoop fs -ls /user/training/hadoop

10.將名為 retail 的整個本地目錄新增到

HDFS 中的/ user / training 目錄

hadoop fs -put data/retail /user/training/hadoop

11.由於/ user / training 是 HDFS 中的主目錄

任何沒有絕對路徑的命令都是

解釋為相對於該目錄。下一個

因此命令將列出你的主目錄,和

應該顯示你剛剛新增的專案

hadoop fs -ls

12.檢視此目錄在 HDFS 中佔用的空間大小

hadoop fs -du -s -h hadoop/retail

13.從零售目錄中刪除檔案客戶

hadoop fs -rm hadoop/retail/customers

14.確保此檔案不再位於 HDFS 中

hadoop fs -ls hadoop/retail/customers

15.使用萬用字元從 retail 目錄中刪除所有檔案

hadoop fs -rm hadoop/retail/*

16.清空垃圾桶

hadoop fs -expunge

17.最後,刪除整個零售目錄和所有

其內容在 HDFS 中

hadoop fs -rm -r hadoop/retail

18.再次列出 hadoop 目錄

hadoop fs -ls hadoop

19.從本地目錄新增 purchases.txt 檔案

將“/ home / training /”命名為你在 HDFS 中建立的 hadoop 目錄

hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/

20.檢視文字檔案 purchases.txt 的內容

它出現在你的 hadoop 目錄中

hadoop fs -cat hadoop/purchases.txt

21.從 HDFS 目錄中的 hadoop 目錄中新增 purchases.txt 檔案

到本地目錄中的 data 目錄

hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data

22. cp 用於在 HDFS 中存在的目錄之間複製檔案

hadoop fs -cp /user/training/*.txt /user/training/hadoop

23.’-get’命令可以替代地用於’-copyToLocal’命令

hadoop fs -get hadoop/sample.txt /home/training/

24.將檔案“purchases.txt”的最後一千位元組顯示到 stdout

hadoop fs -tail hadoop/purchases.txt

25. HDFS 中的預設檔案許可權為 666

使用’-chmod’命令更改檔案的許可權

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt

26.所有者和組的預設名稱是培訓,培訓

使用’-chown’同時更改所有者名稱和組名稱

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt

27.組的預設名稱是訓練

使用’-chgrp’命令更改組名

hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt

28.將目錄從一個位置移動到另一個位置

hadoop fs -mv hadoop apache_hadoop

29.檔案的預設複製因子是 3

使用’-setrep’命令更改檔案的複製因子

hadoop fs -setrep -w 2 apache_hadoop/sample.txt

30.將目錄從群集中的一個節點複製到另一個節點

使用’-distcp’命令進行復制

-overwrite 選項覆蓋現有檔案

-update 命令用於同步兩個目錄

hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop

31.使名稱節點離開安全模式的命令

hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave

32.列出所有 hadoop 檔案系統 shell 命令

hadoop fs

33.獲取 hdfs 配額值以及當前使用的名稱和位元組數

hadoop fs -count -q [-h] [-v] <directory>...<directory>

34.最後但並非最不重要的是,總是尋求幫助!

hadoop fs -help