实验3-熟悉常用的HDFS操作-答案

实验2熟悉常用的HDFS操作1实验目的了解HDFS在Hadoop体系结构中的作用熟练使用HDFS操作中常用的shell指令熟悉HDFS操作中常用的Java API。2实验平台操作系统： LinuxHadoop版本：以上JDK版本：以上Java IDE:Eclipse3实验内容和要求1 .编程实现以下指定功能，利用Hadoop提供的shell命令来完成相同的任务提示：1 )某些shell命令的参数路径只有本地路径或HDFS路径。2 )如果shell命令的参数是本地路径或HDFS路径，请注意区别。 请注意，请指定路径前缀，或区分相对和绝对路径，以确保正确的行为3 )具体命令的说明包括教材和(1)向hdfs上载任意的文本文件，如果hdfs中已经存在指定的文件，则指定用户是追加还是复盖已有文件的末尾shell命令：检查文件中是否存在：/hdfs dfs -test -e (执行此语句不会输出结果，必须继续输入命令) echo $ 。附加命令：/HDFS DFS-append to文件霸盖命令1:/HD fsdfs-copy from local-f霸盖命令2:/hdfs dfs -cp -f也可以使用以下命令来实现：(下列代码可以视为一行代码，在终端输入第一行代码后，直到输入fi才会实际执行。)if $ (./HDFS DFS -测试- e；then $ (./HDFS DFS -应用到文件；else $ (./HD fsdfs-copy from local-f；联邦调查局Java代码：import .* .公共类hdf SAPI ；/*判断路径是否存在*/publicstaticbooleantest (配置conf，字符串路径) throws io exception ；文件系统fs=(conf )返回(新路径)以下/*将文件复制到指定路径*如果路径已经存在，则复盖*/publicationstaticvoidconcopyfromlocalfile (配置conf，字符串本地文件路径，字符串远程文件路径) throwsioexception；文件系统fs=(conf )路径本地路径=新路径(本地文件路径)pathremotepath=new path (远程文件路径)/*第一个参数指示是否删除源文件，第二个参数指示是否复盖*/(假，真，本地路径，远程路径)()；以下/*附件的内容*/publicaticationvoiappendtofile (配置conf，字符串本地文件路径，字符串远程文件路径) throwsioexception；文件系统fs=(conf )pathremotepath=new path (远程文件路径)/*创建文件读取流*/fileinputstreamin=new文件输入(本地文件路径)/*创建文件输出流，并将输出内容添加到文件末尾*/fsdataoutputstreamout=(远程路径)/*读写文件的内容*/数据=新字节 1024 ；int read=-1；while (读=(data ) )0) 111000000000000000000000006(数据，0，读取)以下()；()；()；以下/*主函数*/publicstaticvoidmain (string args ) 配置conf=new配置()；(， )；stringlocalfilepath=/home/Hadoop/； 灬 else 不存在。以下/*处理*/PS (！ 将fileExists) )(2)HDFS DFS -测试- e；then $(./hdfs dfs -copyToLocal ./；else $(./hdfs dfs -copyToLocal ./；联邦调查局Java代码：import .* .公共类hdf SAPI ；/*将文件下载到本地*确定本地路径是否已经存在，如果存在，则自动重新命名*/publicationstaticvoidcopytolocal (配置conf，字符串远程文件路径，字符串本地文件路径) throwsioexception；文件系统fs=(conf )pathremotepath=new path (远程文件路径)文件f=新文件(本地文件路径)/*如果文件名存在，则自动重新命名(文件名为_0、_1、 */将if () )已经存在。整数I=0；while (true) f=新文件(本地文件路径 _ () )；PS (！ () ) 1。 2本地文件路径=本地文件路径 _ ()；break；以下以下将名称更改为“3360”本地文件路径以下(3)hdfs dfs -catJava代码：import .* .公共类hdf SAPI ；/*读取文件的内容*/publicationstativoidchat (配置conf，stringremotefilepath ) throwsioexception；文件系统fs=(conf )pathremotepath=new path (远程文件路径)fsdatainputstreamin=(远程路径)bufferedreaderd=newbufferedreader (in ) )；字符串线=空；while (line=() )！=空值)以下()；()；()；以下/*主函数*/publicstaticvoidmain (string args ) 配置conf=new配置()；(， )；stringremotefilepath=/user/Hadoop/；(4)hdfs dfs -ls -hJava代码：import .* .导入级hdf SAPI ；/*显示指定文件的信息*/publicstaticvoils (配置conf，stringremotefilepath ) throwsioexception；文件系统fs=(conf )pathremotepath=new path (远程文件路径)filestatus filestat ses=(远程路径)for (filestat USS : filestat ses )？“路径： ().toString ()；权限： ().toString ()；大小： ()；/*返回时间戳，并转换为日期格式*。长时间=()；简单数据格式=newsimpledateformat ( yyyy-mm-ddhh : mm : ss )；String date=(timeStamp )“时间： date；以下()；以下/*主函数*/publicstaticvoidmain (string args ) 配置conf=new配置()；(， )；stringremotefilepath=/user/Hadoop/；(5)HDFS DFS-ls-r-h /用户/硬件Java代码：import .* .导入级hdf SAPI ；/*显示指定文件夹中所有文件的信息(递归)*/publicationstaticvoilsdir (配置conf，stringremoteir ) throwsioexception；文件系统fs=(conf )Path dirPath=new Path(remoteDir )/*递归检索目录中的所有文件*/remoteiteratorremoteiterator=(dirpath，true )；/*输出各文件的信息*/while () )FileStatus s=()；“路径： ().toString ()；权限： ().toString ()；大小： ()；/*返回时间戳，并转换为日期格式*。长时间=()；简单数据格式=newsimpledateformat ( yyyy-mm-ddhh : mm : ss )；String date=(timeStamp )时间： date；以下()；以下/*主函数*/publicstaticvoidmain (string args ) 配置conf=new配