Hadoop大数据开发基础与案例实战（微课版）课件 4.5HDFS API操作

Hadoop大数据项目开发——HDFSAPI操作05目录content02删除文件引入依赖06移动或重命名文件01搭建客户端环境03上传文件下载文件04搭建HDFS客户端环境步骤1：将Windows操作系统下的Hadoop压缩包解压到E盘，文件夹名为hadoop。步骤2：配置HADOOP_HOME环境变量，如下所示：搭建HDFS客户端环境步骤3：配置Path环境变量，如下所示：搭建HDFS客户端环境步骤4：创建一个Maven工程，创建Maven工程过程如下所示，输入所建Maven工程的名称。搭建HDFS客户端环境HDFSAPI准备环境完成之后，编写Java代码，实现HDFS功能。引入依赖在编写代码之前，需要引入开发HDFSAPI客户端相应的依赖，如下所示：<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency></dependencies>HDFS文件上传将Windows系统上本地E盘下面report.txt文件上传到HDFS集群，源代码如下所示：该参数为：副本数和文件块大小；(默认副本数量为3，块大小为128M）FileSystem.get构造一个访问HDFS系统的客户端对象：第一个参数为URI:名称节点所在的节点；第二个参数为客户端特别指定的：例如文件备份数量和块大小等；第三个参数为客户端的身份，该参数值为用户名。copyFromLocalFile实现上传一个文件到HDFS上，在该方法中指定待上传的文件及其位置，以及将要上传至HDFS上的位置。HDFS文件上传参数既可以在代码中设置，也可以在Hadoop集群中设置；那么参数优先级是怎么样的呢？优先级排序：客户端代码>ClassPath>xxx-site.xml>xxx-default.xmlHDFS文件上传将HDFS集群上的report.txt文件下载到Windows系统的E盘下面，源代码编写如下所示：HDFS下载文件HDFS下载文件连接HDFS的源码与文件上传的源码一致；copyToLocalFile实现了将HDFS上的文件下载到本地Windows系统：第一个参数指是否将原文件删除；第二参数指要下载的文件路径；第三个参数指将文件下载到的路径；最后一个参数是否开启文件校验。删除HDFS集群上的文件，源代码编写如下所示：HDFS文件删除delete：删除HDFS文件系统上指定文件的内容：第一个参数表示要删除的文件名；第二参数表示是否递归删除。将HDFS集群上文件名进行更改和移动，源代码编写如下所示：HDFS文件名更改和移动rename：文件移动和重命名：第一个参数为要移动或者重命名的文件；第二个参数为移动后或者重命名后的文件。本节介绍了HDFSAPI的编写，包括Windows本地文件上传，将HDFS上文件下载到Wi