《大数据离线分析技术》课件-16.HDFS的SHELL操作

HDFS的SHELL操作大数据离线分析教学目标1.了解HDFS的Shell2.掌握HDFS常用Shell命令1.HDFS的Shell介绍

HDFS（HadoopDistributedFileSystem）的Shell操作是与Hadoop集群交互最直接的方式。它的命令语法与Linux系统的Shell命令非常相似，通过hdfsdfs或hadoopfs前缀来调用。HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令也类似于Linux的shell对文件的操作，如ls、mkdir、rm等2.HDFS常用Shell命令所有FSshell命令都将路径URL作为参数。URL格式为scheme://authority/path。对于HDFS，该scheme是hdfs，对于本地FS，该scheme是file。scheme和authority是可选的。如果未指定，则使用配置中指定的默认方案基础语法结构在命令行中，访问HDFS主要使用以下两种格式：推荐方式：hdfsdfs-<command>[arguments]通用方式：hadoopfs-<command>[arguments]3.HDFS常用Shell命令#远程文件系统hdfsdfs-lshdfs://namenode:host/parent/child#本地文件系统hdfsdfs-lsfile:///root/#未指定schema时，由于core-site.xml中的fs.defaultFS中有配置，所以我们可以不加schema就能远程访问hdfshdfsdfs-ls/parent/child3.HDFS常用Shell命令Hadoop提供了文件系统的shell命令行客户端，使用方法如下：hdfsdfs<arg>Shell命令选项：选项名称使用格式含义-ls-ls<路径>查看指定路径的当前目录结构-lsr-lsr<路径>递归查看指定路径的目录结构(包含子集)-du-du<路径>统计目录下个文件大小-dus-dus<路径>汇总统计目录下文件(夹)大小-count-count[-q]<路径>统计文件(夹)数量-mv-mv<源路径><目的路径>移动-cp-cp<源路径><目的路径>复制3.HDFS常用Shell命令选项名称使用格式含义-rm-rm[-skipTrash]<路径>删除文件/空白文件夹-rmr-rmr[-skipTrash]<路径>递归删除-put-put<多个linux上的文件><hdfs路径>上传文件-copyFromLocal-copyFromLocal<多个linux上的文件><hdfs路径>从本地复制-moveFromLocal-moveFromLocal<多个linux上的文件><hdfs路径>从本地移动-get-get<源路径><linux路径>从hdfs中获取文件到本地-getmerge-getmerge<源路径><linux路径>合并到本地-cat-cat<hdfs路径>查看文件内容-text-text<hdfs路径>查看文件内容-copyToLocal-copyToLocal[-ignoreCrc][-crc][hdfs源路径][linux目的路径]从本地复制-mkdir-mkdir<hdfs路径>创建空白文件夹-setrep-setrep[-R][-w]<副本数><路径>修改副本数量-touchz-touchz<文件路径>创建空白文件4.Shell命令概览#格式：hdfsdfs-lsURI#作用：类似于Linux的ls命令，显示文件列表#显示根路径下的文件列表hdfsdfs-ls/显示文件列表：-ls#创建单级文件目录hdfsdfs-mkdir/dir1hdfsdfs-mkdir/dir2创建文件夹：-mkdir#创建文件echo“HelloWorld”>>/root/1.txt#将本地文件上传到hdfshdfsdfs-put/root/1.txt/dir1文件上传：-put#作用：将文件拷贝到本地文件系统。

hdfsdfs-get/2.txt/export/data文件下载：-get4.Shell命令概览#将a.txt文件从dir1目录下移动到dir2目录下hdfsdfs-mv/dir1/a.txt/dir2文件移动：-mv#合并多个文件并将合并后的文件下载hdfsdfs-getmerge/aaa/log.*./log.sumhdfsdfs-getmergea.txtb.txt./abc.txt文件合并：-getmerge#删除文件

hdfsdfs-rm/2.txt#删除整个目录hdfsdfs-rm-r/dir1文件删除：-rm#将1.txt复制到dir2目录下，命名为2.txthdfsdfs-cp/dir1/1.txt/dir2/2.txt文件复制：-cp小结1.Shell是与系统交互的软件，分为图形界面Shell和命令行式Shell。2.文件系统（FS