hadoop的shell命令总结（实践总结）

1、 hadoop的shell命令总结（实践总结）hadoop的shell命令-ls 查看命令查看该路径下的件和录,只看层hdfs dfs -ls hdfs:/192.168.10.101:8020/!-这192.168.10.101 是博主运的hdfs中的namenode所在节点,8020是namenode接受datanode的跳反馈信0 2020-06-12 14:19 hdfs:/192.168.10.101:8020/data0 2020-06-12 08:52 hdfs:/192.168.10.101:8020/datasource0 2020-06-12 14:23 hdfs:/192

2、.168.10.101:8020/output0 2020-06-12 12:47 hdfs:/192.168.10.101:8020/output10 2020-06-12 01:16 hdfs:/192.168.10.101:8020/start_mulu0 2020-06-12 01:14 hdfs:/192.168.10.101:8020/tmp86424 2018-04-18 09:39 file:/usr/local/hadoop/LICENSE.txt14978 2018-04-18 09:39 file:/usr/local/hadoop/NOTICE.txt1366 2018

3、-04-18 09:39 file:/usr/local/hadoop/README.txt194 2020-06-12 21:04 file:/usr/local/hadoop/bin20 2020-06-12 00:29 file:/usr/local/hadoop/etc106 2018-04-18 09:39 file:/usr/local/hadoop/include20 2018-04-18 09:39 file:/usr/local/hadoop/lib-mkdir 创建录hdfs dfs -mkdir 路径 创建单个录 (路径可以为多个参数)hdfs dfs -mkdir -p

4、 路径 同时创建多级录 (路径可以为多个参数)-put 上传件hdfs dfs -put 需上传件路径 的地件路径-copyFromLocal 将本地件复制到hdfs中hdfs dfs -copyFromLocal 源路径 标路径 将本地件拷贝到hdfs中,源路径可以有多个-copyToLocal 将hdfs中的件拷贝到本地hdfs dfs -copyToLocal 源路径 标路径 将hdfs件或录拷贝本地,这可以有多个源路径-get 下载件 hdfs dfs -get -ignoreCrc hdfs 件系统的件路径 本地的路径 复制件和CRC校验失败的件。hdfs dfsd -get -cr

5、c hdfs 件系统的件路径 本地的路径 复制件和CRC-moveFromLocal 将本地件移动到hdfs中hdfs dfs -moveFromLocal 源件路径 标件路径 将本地的件或录移动到hdfs中的相应路径(源件可以有多个)-moveToLocal 功能尚未实现-du 查看件或录的hdfs dfs -du -s 路径 显当前路径下的总的件或者录的hdfs dfs -du -h 路径 以类能够理解的式显每个件和录的-df 显件系统的容量，可空间和已空间。如果件系统具有多个分区，并且未指定到特定分区的路径，则将显根分区的状态。hdfs dfs -df 显根分区(根路径)的状态hdfs

6、dfs -df 分区路径 显该分区的容量,可空间和已空间hdfs dfs -df -h 分区路径 以类能够理解的式显分区的容量,可空间和已空间-find 在hdfs中查找符合筛选条件的件hdfs dfs -find 路径 -name/-iname 筛选的表达式 -print/-print0 -iname 写不区分 -print打印条信息换 -print0 所有信息在中进显hdfs dfs -find / -name s* -print 将筛选出来的件信息个件的形式进打印.如果是-print0则所有信息将在进输出/start_mulu/tmp/hadoop-yarn/stagingroothdp

7、01 # hdfs dfs -find / -name s* -print0/salary.txt/start_mulu/tmp/hadoop-yarn/staging roothdp01 #-cp 在hdfs件系统中,从源路径复制件到标路径(注意全程都是在hdfs系统中)hdfs dfs -cp 源路径 标路径 复制件 (这源路径可以是多个)-mv 在hdfs系统中,将源路径下的件或录移动到标路径hdfs dfs -mv 源路径 标路径 (源路径可以有多个)-appendToFile 将本地件中的内容追加到hdfs的件中(注意是追加不是覆盖)hdfs dfs -appendToFile 源路

8、径件 标件路径 源件可以是多个hdfs dfs -appendToFile - 标件路径 (当源件路径为 - 时,标件中追加的内容将从校准输中进读取,ctrl + c 结束读取)-cat 查看hdfs件中的内容hdfs dfs -cat 标路径件-count 在hdfs件系统中统计当前路径下总的录数,件数,以及件总 121166 /test-chgrp 在hdfs系统中,修改件或录的组hdfs dfs -chgrp 修改后的组 需要修改的组的路径 (只修改当前路径的件或录)hdfs dfs -chgrp -R 修改后的组 需要修改的组的路径 (递归修改当前路径下的所有件和录的组)-chmod

9、在hdfs系统中修改件或录的权限hdfs dfs -chmod 修改后的权限 需要修改全限的件或录路径 (只修改当前路径下的件或录的权限,这的权限三个数字表,如777表件拥有者,同组的户,以及其他户都具有可读,可写,可执权限)hdfs dfs -chmod -R 修改后的权限 需要修改权限的件或路径 递归修改该路径下的所有件和录的权限-chown 在hdfs中 可以同时修改件或录的拥有者和组,也可以单独修改拥有者hdfs dfs -chown 修改后的拥有者 件路径只修改组-getmerge 将hdfs中的多个件或录合并到本地的个件中,件可以是不存在的hdfs dfs -getmerge 源件

10、或录的路径 合并后的本地件路径 (源件路径可以有多个,合并后的件如果之前存在就直接覆盖,如果不存在则会创建)-rm 删除指定路径下的所有件和录hdfs dfs -rm 路径hdfs dfs -rm -r 路径 可以删除指定路径下的件和录hdfs dfs -rm -f 路径 当路径不存在时,不会抛出异常roothdp01 # hdfs dfs -rm /llldfldlfs 删除个不存在的件时,会抛出异常rm: /llldfldlfs: No such file or directoryroothdp01 # hdfs dfs -rm -f /llldfldlfs -f 选项在删除不存在的件时,

11、不会出现异常roothdp01 #-rmdir 删除空录hdfs dfs -rmdir 录路径roothdp01 # hdfs dfs -rmdir /test1rmdir: /test1: Directory is not empty - 因为不是空件夹,所以报错roothdp01 # hdfs dfs -rmdir -ignore-fail-on-non-empty /test1 -ignore-fail-on-non-empty 在录为空状态时不在提错误,但也不会删除roothdp01 # hdfs dfs -rmdir /test3 - 空录完成删除-stat 将指定路径下的件和录信息

12、以指定的格式显(只显当前路径,如是个录,那么只显这个录,是个件就显这个件信息) 格式接受件块（b），类型（F）,所有者的组名（g）,名称（n）,块（o）,复制（r）,户名所有者（u），修改期（y，Y）,y将UTC期显为“ yyyy-MM-dd HH：mm：ss”，并且Y显1970年11UTC以来的毫秒数,如果未指定格式，则默认使y。directory supergroup output root 0 2020-06-12 06:23:36-tail 在hdfs中显件的最后1k的内容 显件最后1k的内容,然后会进阻塞状态,如果这个件有新的内容加,会继续显roothdp01 # hdfs dfs

13、-tail /kkk 会显/kkk件最后1k的内容,命令执结束roothdp01 # hdfs dfs -tail -f /kkk 显1k的内容后进阻塞,然后另外个虚拟机执下的命令roothdp02 # hdfs dfs -appendToFile ./aaa /kkk 向/kkk件中追加了内容接着在hdp01的虚拟机中会显更才追加的内容-touchz 创建长度为0的件-rw-r-r- 3 root supergroup0 2020-06-13 02:51 /gggg - 可以看到件的是0字节-truncate 将指定路径下的件变成指定长度()roothdp01 # hdfs dfs -ls

14、/anaconda-ks.cfg - 先查看下件为1000字节1000 2020-06-13 02:56 /anaconda-ks.cfgroothdp01 # hdfs dfs -truncate 10000 /anaconda-ks.cfg 当然你会发现其实直接写hdfs dfs回车也是可以出现哪些命令的,只是和-help相,少了每个选项的含义hdfs dfs -help显所有的hdfs dfs 命令hdfs dfs -help ls显-ls的相关命令,指定命令的时候前的 - 不要加roothdp01 # hdfs dfs -help ls-ls -d -h -R . :and file entries are of the form:-d Directories are listed as plain files.-h Formats the sizes of files in a human-readable fashion rather than a numberof bytes.-usage 显命令的法hdfs dfs -usage显所有命令的法roothdp01 # hdfs dfs -usag