Hadoop常用命令集合

1、mkdir

创建文件夹； 使用方法

hadoop fs -mkdir /path #创建单个文件夹 hadoop fs -mkdir -p /path #递归创建多个文件夹

2、ls、lsr

查看文件或文件夹信息； 使用方法

hadoop fs -ls /path hadoop fs -lsr /path #递归查看文件或文件夹信息

3、 mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。 使用方法

hadoop fs -mv /path /url #前面是原路径，后面是目标路径

4、put、copyFromLocal

从本地文件系统中复制单个或多个源路径（空格分隔）到目标文件系统。也支持从标准输入中读取输入写入目标文件系统； 使用方法

hadoop fs -put /path/file /path #前面是文件名，后面是文件需要上传到的目标路径 hadoop fs -copyFromLocal /path/file /path #限定一个文件

5、rm、rmr

rm只能删除指定的文件。不能删除文件夹; rmr递归删除文件夹，即可删除含有其他文件或文件夹的文件夹； 使用方法

hadoop fs -rm /path/file #删除指定文件 hadoop fs -rmr /path/file #递归删除

6、tail

将文件尾部1K字节的内容输出到stdout； 使用方法

hadoop fs -tail [-f] /path/file

7、test

-e 检查文件是否存在。如果存在则返回0。 -z 检查文件是否是0字节。如果是则返回0。 -d 如果路径是个目录，则返回1，否则返回0。 使用方法

hadoop fs -test -e /path/file hadoop fs -test -z /path/file hadoop fs -test -d /path/file

8、text

将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream； 使用方法

hadoop fs -text /path

9、touchz

创建一个0字节的空文件。 使用方法

hadoop -touchz file

10、cat

输出指定文件的内容； 使用方法

hadoop fs -cat /path/file

11、chgrp

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。 使用方法

hadoop fs -chgrp [-R] group /path

12、chmod

改变文件的权限。使用 -R 将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户； 使用方法

hadoop fs -chmod [-R] ugo+rwx /path

13、chown

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户； 使用方法

hadoop fs -chown [-R] [OWNER][:[GROUP]] /path

14、get、copyToLocal

复制文件到本地文件系统。可用-ignorecrc选项复制 CRC 校验失败的文件。使用-crc选项复制文件以及 CRC 信息

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst> #前面是hdfs中的路径，后面是本机路径 hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst> #限制一次一个文件

15、getmerge

接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件。addnl是可选的，用于指定在每个文件结尾添加一个换行符。 使用方法

hadoop fs -getmerge <src> <localdst> [addnl]

16、cp

将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录； 使用方法

hadoop fs -cp /path1 /path2 #前面是原路径，后面是目标路径

17、du、dus

查看文件大小； 使用方法

hadoop fs -du /path/file #若是文件夹路径，则输出该文件夹中所有文件大小 hadoop fs -dus /path/file1 /path/file2 #查看多个文件大小