Hadoop基本文件系统操作.doc

一、 Hadoop基本文件系统操作 操作Hadoop文件系统命令格式：hadoop fs 命令参数 URI 需要说明的是URI的格式： 模式:/namenode:namenodeport/path URI的模式有两种，如果是HDFS文件系统，模式是hdfs:/namenode:namenodeport。一个HDFS文件或目录/user/yarn，可以表示成hdfs:/namenode:namenodeport/user/yarn。也可以使用简洁的写法如/user/yarn，因为hdfs:/namenode:namenodeport在配置文件中做了默认配置。如果是本地文件系统，模式是file:/。如：/home/yarn可以表示成file:/home/yarn。 没有特别说明，本书的所有测试就在伪分布式模式下进行，下面用命令行操作文件系统，例如：读取文件，创建目录，移动文件，删除数据，列出索引目录等等。 通过命令hadoop fs -help可以看到命令详细帮助文件。 准备工作：在/home/yarn目录下创建文本文件fs.txt文件。 命令： cd /home/yarnvi fs.txt 文件内容：1 I study Hadoop2 I study HDFS3 I study MapReduce4 I study YARN 保存后退出。 put命令：把本地文件上传到HDFS。第一个参数是本地文件系统的路径，第二个参数是HDFS分布式文件系统的路径。hadoop fs -put 本地文件路径 HDFS文件路径 如：本地文件路径和HDFS文件路径都是完整路径hadoop fs -put /home/yarn/fs.txt hdfs:/YARN:9000/user/yarn/fs.txt 本地文件路径可以是相对路径：如：当前目录是/homt/yarnhadoop fs -put fs.txt hdfs:/ YARN:9000/user/yarn/fs.txt如：当前路径是homehadoop fs -put yarn/fs.txt hdfs:/ YARN:9000/user/yarn/fs.txt HDFS文件路径可以缺省hdfs:/YARN:9000，在core-site.xml文件中有如下配置： fs.defaultFS hdfs:/YARN:9000/ 如：hadoop fs -put /home/yarn/fs.txt /user/yarn/fs.txt如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径hadoop fs -put /home/yarn/fs.txt fs.txtget命令：从HDFS上下载文件到本地hadoop fs -get HDFS文件路径 本地文件路径如：从HDFS上下载文件到本地，使用完整路径hadoop fs -get hdfs:/YARN:9000/user/yarn/fs.txt /home/yarn/fs.txt如：HDFS文件路径可以缺省hdfs:/YARN:9000hadoop fs -get /user/yarn/fs.txt /home/yarn/fs.txt如：也可以省略/user/yarn/，HDFS默认当前用户的默认路径hadoop fs -get fs.txt /home/yarn/fs.txt如：本地路径可以使用相对路径，当前目录/home/yarn，下载文件到/home/yarn目录下hadoop fs -get /user/yarn/fs.txt fs.txt如：可以使用下面方式，路径前面加上file:/hadoop fs -get /user/yarn/fs.txt file:/home/yarn/fs.txt如：可以使用完全完整路径hadoop fs -get hdfs:/YARN:9000/user/yarn/fs.txt file:/home/yarn/fs.txt如：当前目录/home，下载文件到/home/yarn/目录下hadoop fs -get /user/yarn/fs.txt yarn/fs.txtmkdir命令：在HDFS文件系统上创建目录hadoop fs -mkdir 目录名称 如：创建目录hadoop fs -mkdir hdfs:/YARN:9000/user/yarn/testdir如：省略hdfs:/YARN:9000hadoop fs -mkdir /user/yarn/testdir如：使用默认路径，当前用户HDFS文件系统路径/user/yarnhadoop fs -mkdir testdir如：创建多级目录，-p参数可以创建多级目录，当父目录不存在时首先创建父目录hadoop fs -mkdir -p dir1/dir2/dir3ls命令：显示HDFS文件目录结构或文件的基本信息hadoop fs -ls 显示的目录名称如：显示文件的基本信息hadoop fs -ls /user/yarn/fs.txt显示结果：-rw-r-r- 1 hadoop supergroup 102 2015-09-20 18:17 /user/yarn/fs.txt如：使用完整路径，显示HDFS文件系统/user/yarn/目录下的文件hadoop fs -ls hdfs:/YARN:9000/user/yarn/如：省略hdfs:/YARN:9000，显示/user/yarn/目录下的文件hadoop fs -ls /user/yarn/如：显示当前用户默认工作目录/user/yarn，可以省略/user/yarnhadoop fs -ls .如：显示本地文件系统目录下的所有文件hadoop fs -ls file:/如：显示本地文件系统目录下的文件hadoop fs -ls file:/home/yarn如：递归显示dir1目录下的所有文件和目录hadoop fs -ls -R /user/yarn/dir1cat命令：将指定路径文件的内容输出到标准输出(控制台)命令格式：hadoop fs -cat URI URI 使用方式：hadoop fs -cat hdfs:/host1:port1/file1 hdfs:/host2:port2/file2 hadoop fs -cat file:/file3 /user/yarn/file4 如：查看/user/yarn/fs.txt文件内容hadoop fs -cat hdfs:/YARN:9000/user/yarn/fs.txt如：省略hdfs:/YARN:9000hadoop fs -cat /user/yarn/fs.txt如：显示当前用户默认工作目录：/home/yarnhadoop fs -cat fs.txt如：可以显示本地文件内容hadoop fs -cat file:/home/yarn/fs.txtrm命令： 删除HDFS文件系统文件或目录hadoop fs -rm 文件名称如：删除/user/yarn/目录下的文件fs.txthadoop fs -rm hdfs:/YARN:9000/user/yarn/fs.txt如：省略hdfs:/YARN:9000，删除/user/yarn/目录下的文件fs.txthadoop fs -rm /user/yarn/fs.txt如：删除当前用户默认目录下的文件，删除/user/yarn/目录下的文件fs.txthadoop fs -rm fs.txt如：删除本地文件系统下的文件hadoop fs -rm file:/home/yarn/fs.txt如：删除目录或非空目录hadoop fs -rm -r /user/yarn/testdir cp命令：将文件从源路径复制到目标路径，可以是目录或文件。命令允许有多个源路径，目标路径必须是一个目录。hadoop fs -cp 源文件名称 目标URI如：将testdir1目录整个复制到testdir2目录下hadoop fs -cp /user/yarn/testdir1 /user/yarn/testdir2如：将fs.txt文件复制到testdir2目录下hadoop fs -cp /user/yarn/fs.txt /user/yarn/testdir2下面的使用的完整路径，执行结果同上hadoop fs -cp hdfs:/YARN:9000/user/yarn/fs.txt hdfs:/YARN:9000/user/yarn/testdir2如：将多个源目录文件拷贝到一个目录内。注意：当多个源拷贝时，目标必须是目录hadoop fs -cp /user/yarn/testdir1/fs.txt /user/yarn/testdir2 /user/yarn/targetdirmv命令：将文件从源路径移动到目标路径hadoop fs -mv 目录/文件 目标目录/文件如：将fs.txt文件更名为fs_bak.txthadoop fs -mv /user/yarn/fs.txt /user/yarn/fs_bak.txt如：将fs.txt文件移动到testdir1目录下hadoop fs -mv /user/yarn/fs.txt /user/yarn/testdir1如：将testdir1目录及其目录内的文件移动到testdir2目录下hadoop fs -mv /user/yarn/testdir1 /user/yarn/testdir2hadoop fs -ls /hadoop fs -mkdir p /user/hadoophadoop fs mkdir p /user/yarnhadoop fs -ls -R /hadoop fs ls hadoop fs mkdir /user/yarn/inputhadoop fs mkdir outputhadoop fs ls -cd /home/yarnmkdir mapreducecd mapreducevi test01.txt-I study HadoopI study MapReduceI study HDFShadoop fs put file:/home/yarn/mapreduce/test01.txt hdfs:/YARN/9000/user/yarn/inputhadoop fs put /home/yarn/mapreduce/test01.txt inputhadoop fs ls Rhadoop fs ls inputhadoop fs rm input/test01.txthadoop fs ls inputhadoop fs ls R /cd /home/yarnhadoop fs put mapreduce/test01.txt inputhadoop fs ls inputcd /usr/local/hadoop/datalscd pidlscat 1234cd .cd namenodelscd currentlscd .cd datanodelscd currentlscd BP-624284914-127.0.0.1-1456380288678cd currentcd /home/yarnmkdir bakhadoop fs pu