任务2.2 测试Hadoop平台

测试Hadoop平台任务描述在部署好Hadoop分布式平台后，小数还需要对其进行测试，以确保部署的完整性。MapReduce作为Hadoop的核心组件，可用于测试Hadoop平台的运行状况。本任务将通过向Hadoop集群提交MapReduce任务并观察其结果，以此来验证Hadoop的功能是否正常。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3现有一份某社交网站在2024年某一天的原始日志文件email_log.txt，共800万行记录，部分数据如下。上传日志文件至HDFSMan_Cl@org.lyjo_rosa@BoarderMailerotica.husha.dono@com.twrobisloa@PeopleWebpro.aem_em@Carl_Hen@HotepMailweb.lkAxelHubbard@LoadMaillevanger.noda_foster@co.jp上传日志文件email_log.txt至HDFS的流程如下。上传日志文件至HDFS使用Xftp8远程传输工具将本地计算机中的用户日志文件email_log.txt上传至master虚拟机的/opt/data目录。注意：若master虚拟机不存在/opt/data/目录，则需先通过“mkdir-p/opt/data/”命令创建。上传日志文件至Linux在master虚拟机启动Hadoop集群。执行HDFS命令，创建/dfstest目录，用于存放日志文件。创建/dfstest目录在master虚拟机上传日志文件至HDFS的/dfstest目录。上传日志文件至HDFS通过浏览器登录“http://master:9870”查看HDFS的监控界面，单击网页中的“Utilities”，在下拉菜单中选择“Browsethefilesystem”。查看HDFS上的数据在跳转后的“BrowseDirectory”页面中，依次选择“dfstest”→“email_log.txt”→“Headthefile(first32K)”，查看HDFS的/dfstest目录下email_log.txt文件的内容。查看HDFS上的数据目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3使用“hadoopjar”命令对email_log.txt日志文件中的数据进行登录次数的统计。运行MapReduce任务使用的“hadoopjar”命令的常用参数说明如下表。运行MapReduce任务参数参数说明$HADOOP_HOME指/etc/profile文件中设置的环境变量，此处为/opt/module/hadoop-3.1.3目录hadoop-mapreduce-examples-3.1.3.jarHadoop官方提供的示例程序包，其中包括词频统计模块（wordcount）wordcount程序包中的主类名称/dfstest/email_log.txtHDFS上的输入文件名称/dfstest/outputHDFS上的输出文件目录目录1运行MapReduce任务上传日志文件至HDFS2查看集群状态3在集群运行MapReduce任务的过程中时，可通过浏览器登录“http://master:8088”查看YARN的监控界面。MapReduce任务的状态是“RUNNING”，表示该任务正在执行中。查看集群状态任务执行完成后，可以通过HDFSShell命令查看统计结果。在HDFS的/dfstest/output/目录，可看到生成两个新文件。_SUCCESS文件：表示任务执行完成。part-r-00000文件：任务执行完成后产生的结果文件。查看集群状态在浏览器上登录“http://master:9870”，查看HDF