Hadoop - 命令参考 Hadoop - HDFS操作 Hadoop MapReduce “$ HADOOP_HOME / bin / hadoop fs” 中有更多的命令比这里演示的更多,尽管这些基本的操作会让你开始。运行不带附加参数的./bin/hadoop dfs将列出可以使用FsShell系统运行的所有命令。此外, $ HADOOP_HOME / bin / hadoop fs -help commandName将显示相关操作的简短使用情况摘要,如果卡住了。 下面显示了所有操作的表格。以下约定用于参数: "<path>" means any file or directory name. "<path>..." means one or more file or directory names. "<file>" means any filename. "<src>" and "<dest>" are path names in a directed operation. "<localSrc>" and "<localDest>" are paths as above, but on the local file system. 所有其他文件和路径名称都是指HDFS内的对象。 1 ls 列出path指定的目录内容,显示每个条目的名称,权限,所有者,大小和修改日期。 2 lsr 行为与-ls相似,但递归显示路径的所有子目录中的条目。 3 du 显示所有匹配路径的文件的磁盘使用情况(以字节为单位); 用完整的HDFS协议前缀报告文件名。 4 dus <路径> 像-du一样,但会打印路径中所有文件/目录的磁盘使用情况摘要。 5 mv 将HDFS中由src指示的文件或目录移动到dest。 6 cp 在HDFS中将由src标识的文件或目录复制到dest。 7 rm 删除由路径标识的文件或空目录。 8 rmr <路径> 删除路径标识的文件或目录。递归删除任何子条目(即路径的文件或子目录)。 9 put 在DFS中将文件或目录从localSrc标识的本地文件系统复制到dest。 10 copyFromLocal 与输入相同 11 moveFromLocal 将文件或目录从localSrc标识的本地文件系统复制到HDFS中的dest,然后在成功时删除本地副本。 12 get [-crc] 将由src标识的HDFS中的文件或目录复制到localDest标识的本地文件系统路径。 13 getmerge 检索与HDFS中的路径src匹配的所有文件,并将它们复制到由localDest标识的本地文件系统中的单个合并文件。 14 cat 在标准输出中显示文件名的内容。 15 copyToLocal 与-get相同 16 moveToLocal 像-get一样工作,但会成功删除HDFS副本。 17 mkdir 在HDFS中创建一个名为path的目录。 创建缺少的路径中的任何父目录(例如,Linux中的mkdir -p)。 18 setrep [-R] [-w] rep 为由代表路径标识的文件设置目标复制因子。(实际的复制因子会随着时间的推移向目标移动) 19 touchz 在包含当前时间的路径中创建一个文件作为时间戳。如果文件已经存在于路径中,则失败,除非文件已经大小为0。 20 test -[ezd] 如果路径存在,则返回1; 长度为零; 或者是一个目录,否则为0。 21 stat [format] 打印有关路径的信息。格式是以块(%b),文件名(%n),块大小(%o),复制(%r)和修改日期(%y,%Y)接受文件大小的字符串。 22 tail [-f] 显示stdout上文件的最后1KB。 23 chmod [-R] mode,mode,... ... 更改与path标识的一个或多个对象关联的文件权限....使用R递归执行更改。mode是一个3位八进制模式,或{augo} +/- {rwxX}。假设没有指定范围并且不应用umask。 24 chown [-R] [owner][:[group]] ... 设置拥有的用户和/或组由路径标识的文件或目录....如果指定了-R,则递归地设置所有者。 25 chgrp [-R] group ... 为由路径标识的文件或目录设置拥有组....如果指定了-R,则递归地设置组。 26 help 返回上面列出的其中一个命令的使用情况信息。您必须省略cmd中的前导' - '字符。 Hadoop - HDFS操作 Hadoop MapReduce