Hadoop - 命令参考

“$ HADOOP_HOME / bin / hadoop fs”中有更多的命令比这里演示的更多,尽管这些基本的操作会让你开始。运行不带附加参数的./bin/hadoopdfs将列出可以使用FsShell系统运行的所有命令。此外, $ HADOOP_HOME / bin / hadoop fs -helpcommandName将显示相关操作的简短使用情况摘要,如果卡住了。

下面显示了所有操作的表格。以下约定用于参数:

  1. "<path>" means any file or directory name.
  2. "<path>..." means one or more file or directory names.
  3. "<file>" means any filename.
  4. "<src>" and "<dest>" are path names in a directed operation.
  5. "<localSrc>" and "<localDest>" are paths as above, but on the local file system.

所有其他文件和路径名称都是指HDFS内的对象。

1ls
列出path指定的目录内容,显示每个条目的名称,权限,所有者,大小和修改日期。
2 lsr
行为与-ls相似,但递归显示路径的所有子目录中的条目。
3du
显示所有匹配路径的文件的磁盘使用情况(以字节为单位); 用完整的HDFS协议前缀报告文件名。
4dus <路径>
像-du一样,但会打印路径中所有文件/目录的磁盘使用情况摘要。
5mv
将HDFS中由src指示的文件或目录移动到dest。
6cp
在HDFS中将由src标识的文件或目录复制到dest。
7rm
删除由路径标识的文件或空目录。
8rmr <路径>
删除路径标识的文件或目录。递归删除任何子条目(即路径的文件或子目录)。
9put
在DFS中将文件或目录从localSrc标识的本地文件系统复制到dest。
10copyFromLocal
与输入相同
11moveFromLocal
将文件或目录从localSrc标识的本地文件系统复制到HDFS中的dest,然后在成功时删除本地副本。
12get [-crc]
将由src标识的HDFS中的文件或目录复制到localDest标识的本地文件系统路径。
13getmerge
检索与HDFS中的路径src匹配的所有文件,并将它们复制到由localDest标识的本地文件系统中的单个合并文件。
14cat
在标准输出中显示文件名的内容。
15copyToLocal
与-get相同
16moveToLocal
像-get一样工作,但会成功删除HDFS副本。
17mkdir
在HDFS中创建一个名为path的目录。创建缺少的路径中的任何父目录(例如,Linux中的mkdir -p)。
18setrep [-R] [-w] rep
为由代表路径标识的文件设置目标复制因子。(实际的复制因子会随着时间的推移向目标移动)
19touchz
在包含当前时间的路径中创建一个文件作为时间戳。如果文件已经存在于路径中,则失败,除非文件已经大小为0。
20test -[ezd]
如果路径存在,则返回1; 长度为零; 或者是一个目录,否则为0。
21stat [format]
打印有关路径的信息。格式是以块(%b),文件名(%n),块大小(%o),复制(%r)和修改日期(%y,%Y)接受文件大小的字符串。
22tail [-f]
显示stdout上文件的最后1KB。
23chmod [-R] mode,mode,… …
更改与path标识的一个或多个对象关联的文件权限….使用R递归执行更改。mode是一个3位八进制模式,或{augo} +/-{rwxX}。假设没有指定范围并且不应用umask。
24chown [-R] [owner][:[group]] …
设置拥有的用户和/或组由路径标识的文件或目录….如果指定了-R,则递归地设置所有者。
25chgrp [-R] group …
为由路径标识的文件或目录设置拥有组….如果指定了-R,则递归地设置组。
26help
返回上面列出的其中一个命令的使用情况信息。您必须省略cmd中的前导' - '字符。