《大数据离线分析技术》课件-17.HDFSJAVA API

HDFSJAVAAPI大数据离线分析教学目标1.掌握HDFSJAVAAPI的常用操作2.理解HDFS读写流程1.HDFS初始化在使用HDFS提供的API之前，需要先进行HDFS初始化操作。初始化HDFS时会加载HDFS的配置文件，HDFS使用到的配置文件主要为core-site.xml和hdfs-site.xml两个文件。初始化代码样例如下。privatevoidinit()throwsIOException{conf=newConfiguration();//confpathforcore-site.xmlandhdfs-site.xmlconf.addResource(newPath(PATH_TO_HDFS_SITE_XML));conf.addResource(newPath(PATH_TO_CORE_SITE_XML));fSystem=FileSystem.get(conf);}2.创建目录如果要在HDFS文件系统中创建目录，需要FileSystem实例的exists方法判断该目录是否已经存在：如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。创建目录代码样例如下。privatebooleancreatePath(finalPathdirPath)throwsIOException{if(!fSystem.exists(dirPath)){fSystem.mkdirs(dirPath);}returntrue;}3.写文件通过调用FileSystem实例的create方法获取写文件的输出流。通常获得输出流之后，可以直接对这个输出流进行写入操作，将内容写入HDFS的指定文件中。写完文件后，需要调用close方法关闭输出流。privatevoidcreateAndWrite()throwsIOException{finalStringcontent="HelloHDFS!";FSDataOutputStreamout=null;try{out=fSystem.create(newPath(DEST_PATH+File.separator+FILE_NAME));out.write(content.getBytes());out.hsync();}finally{out.close();}}4.追加文件内容对于已经在HDFS中存在的文件，可以追加指定的内容，以增量的形式在该文件现有内容的后面追加。通过调用FileSystem实例的append方法获取追加写入的输出流。然后使用该输出流将待追加内容添加到HDFS的指定文件后面。追加完指定的内容后，需要调用close方法关闭输出流。privatevoidappend()throwsIOException{finalStringcontent="HelloHello";FSDataOutputStreamout=null;try{out=fSystem.append(newPath(DEST_PATH+File.separator+FILE_NAME));out.write(content.getBytes());out.hsync();}finally{out.close();}}5.读文件读文件即为获取HDFS上某个指定文件的内容。通过调用FileSystem实例的open方法获取读取文件的输入流。然后使用该输入流读取HDFS的指定文件的内容。读完文件后，需要调用close方法关闭输入流。读文件代码样例如下。6.删除目录通过调用delete方法删除HDFS上某个指定目录。delete方法第二个参数代表是否递归删除目录下面的所有目录。如果该参数为false，而目录下还存在文件或者子目录，则删除目录操作会失败。privatebooleandeletePath(finalPathdirPath)throwsIOException{if(!fSystem.exists(dirPath)){returnfalse;}//fSystem.delete(dirPath,true);returnfSystem.delete(dirPath,true);}7.删除文件通过调用delete方法删除HDFS上某个指定文件。重要:待删除的文件会被直接删除，且无法恢复，因此，请谨慎使用删除文件操作。privatevoiddeleteFile()throwsIOException{PathbeDeletedPath=newPath(DEST_PATH+File.separator+FILE_NAME);if(fSystem.delete(beDeletedPath,true)){LOG.info("successtodeletethefile");}else{LOG.warn("failedtodeletethefile");}}8.API核心操作JAVA操作得到FileSystem操作对象后，即可实现HDFS的文件夹管理、文件上传下载、判断、复制、遍历、删除等常见操作小结1.HDFS初始化需要加载core-site.xml和hdfs-site.xml配置文件