-
StackOverflow 文档
-
hadoop 教程
-
Hadoop 命令
-
Hadoop v1 命令
1.打印 Hadoop 版本
hadoop version
2.列出 HDFS 中根目录的内容
hadoop fs -ls /
3.报告使用的空间量和
在当前安装的文件系统上可用
hadoop fs -df hdfs:/
4.计算目录,文件和字节数
与指定文件模式匹配的路径
hadoop fs -count hdfs:/
5.运行 DFS 文件系统检查实用程序
hadoop fsck – /
6.运行群集平衡实用程序
hadoop balancer
7.在下面创建一个名为 hadoop
的新目录
HDFS 中的/ user / training 目录。既然你是
当前使用 training
用户 ID 登录
/ user / training 是 HDFS 中的主目录
hadoop fs -mkdir /user/training/hadoop
8.从本地目录添加示例文本文件
将 data
命名为你在 HDFS 中创建的新目录
在上一步中
hadoop fs -put data/sample.txt /user/training/hadoop
9.在 HDFS 中列出此新目录的内容
hadoop fs -ls /user/training/hadoop
10.将名为 retail
的整个本地目录添加到
HDFS 中的/ user / training 目录
hadoop fs -put data/retail /user/training/hadoop
11.由于/ user / training 是 HDFS 中的主目录
任何没有绝对路径的命令都是
解释为相对于该目录。下一个
因此命令将列出你的主目录,和
应该显示你刚刚添加的项目
hadoop fs -ls
12.查看此目录在 HDFS 中占用的空间大小
hadoop fs -du -s -h hadoop/retail
13.从零售目录中删除文件客户
hadoop fs -rm hadoop/retail/customers
14.确保此文件不再位于 HDFS 中
hadoop fs -ls hadoop/retail/customers
15.使用通配符从 retail
目录中删除所有文件
hadoop fs -rm hadoop/retail/*
16.清空垃圾桶
hadoop fs -expunge
17.最后,删除整个零售目录和所有
其内容在 HDFS 中
hadoop fs -rm -r hadoop/retail
18.再次列出 hadoop 目录
hadoop fs -ls hadoop
19.从本地目录添加 purchases.txt 文件
将“/ home / training /”命名为你在 HDFS 中创建的 hadoop 目录
hadoop fs -copyFromLocal /home/training/purchases.txt hadoop/
20.查看文本文件 purchases.txt 的内容
它出现在你的 hadoop 目录中
hadoop fs -cat hadoop/purchases.txt
21.从 HDFS 目录中的 hadoop
目录中添加 purchases.txt 文件
到本地目录中的 data
目录
hadoop fs -copyToLocal hadoop/purchases.txt /home/training/data
22. cp 用于在 HDFS 中存在的目录之间复制文件
hadoop fs -cp /user/training/*.txt /user/training/hadoop
23.’-get’命令可以替代地用于’-copyToLocal’命令
hadoop fs -get hadoop/sample.txt /home/training/
24.将文件“purchases.txt”的最后一千字节显示到 stdout
hadoop fs -tail hadoop/purchases.txt
25. HDFS 中的默认文件权限为 666
使用’-chmod’命令更改文件的权限
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chmod 600 hadoop/purchases.txt
26.所有者和组的默认名称是培训,培训
使用’-chown’同时更改所有者名称和组名称
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chown root:root hadoop/purchases.txt
27.组的默认名称是训练
使用’-chgrp’命令更改组名
hadoop fs -ls hadoop/purchases.txt
sudo -u hdfs hadoop fs -chgrp training hadoop/purchases.txt
28.将目录从一个位置移动到另一个位置
hadoop fs -mv hadoop apache_hadoop
29.文件的默认复制因子是 3
使用’-setrep’命令更改文件的复制因子
hadoop fs -setrep -w 2 apache_hadoop/sample.txt
30.将目录从群集中的一个节点复制到另一个节点
使用’-distcp’命令进行复制
-overwrite 选项覆盖现有文件
-update 命令用于同步两个目录
hadoop fs -distcp hdfs://namenodeA/apache_hadoop hdfs://namenodeB/hadoop
31.使名称节点离开安全模式的命令
hadoop fs -expunge
sudo -u hdfs hdfs dfsadmin -safemode leave
32.列出所有 hadoop 文件系统 shell 命令
hadoop fs
33.获取 hdfs 配额值以及当前使用的名称和字节数
hadoop fs -count -q [-h] [-v] <directory>...<directory>
34.最后但并非最不重要的是,总是寻求帮助!
hadoop fs -help