《大数据技术实战案例教程》课件实验报告模板及评分标准

实验报告课程名称大数据技术原理及应用批阅签名院系*************专业*************班级*************学号*************姓名***实验名称*************实验地点*************实验成绩指导教师***学年学期20**～20**学年第*学期

实验报告填写要求1.实验报告填表说明（1）实验名称：要求与实验大纲、授课计划中的实验名称保持一致。（2）实验学时：要求与实验大纲、授课计划中完成该实验所需学时保持一致。（3）实验类型：是指演示型、验证型、综合型、设计型。演示型：教师操作，学生观察，验证理论、说明原理和方法。验证型：按实验指导书（教材）要求，由学生通过操作验证所学理论，加深对理论知识的理解，掌握基本实验知识、方法、技能、数据处理等。综合型：实验内容涉及本课程的综合知识或相关课程的知识，运用多种知识、多种方法，按要求或自拟实验方案进行实验。主要培养学生综合运用所学知识、实验方法和实验技能，以培养其分析、解决问题的能力。设计型：给定实验目的、要求和实验条件，学生自己设计实验方案并加以实现的实验。学生独立完成从查阅资料、拟定实验方案、实验方法和步骤（或系统分析和设计）、选择仪器设备（或自行设计制作）进行实验并完成实验全过程，形成实验报告，培养学生自主实验的能力。2.实验报告评分标准《大数据技术原理及应用》共有8个实验16学时，关于各实验的说明如表1所示，实验报告评分标准如表2所示。表1《大数据技术原理及应用》实验列表序号实验名称实验内容学时实验类型实验要求1实验1部署全分布模式Hadoop集群1.规划部署。2.准备机器。3.准备软件环境：配置静态IP；修改主机名；编辑域名映射；安装和配置Java；安装和配置SSH免密登录。4.获取和安装Hadoop。5.配置全分布模式Hadoop集群。6.关闭防火墙。7.格式化文件系统。8.启动和验证Hadoop。9.关闭Hadoop。2综合型必修2实验2HDFS实战1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.查看HDFSWebUI界面。3.练习HDFSShell文件系统命令和系统管理命令。4.在Hadoop集群主节点上搭建HDFS开发环境Eclipse。5.创建Java项目HDFSExample，在其下建立新包com.xijing.hdfs，使用HDFSJavaAPI编写HDFS文件操作程序，实现上传本地文件到HDFS的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。6.使用HDFSJavaAPI编写HDFS文件操作程序，实现查看上传文件在HDFS集群中位置的功能，采用本地执行和集群执行的两种执行方式测试，观察结果。7.关闭全分布模式Hadoop集群。2设计型必修3实验3MapReduce编程1.启动全分布模式Hadoop集群，守护进程包括NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager和JobHistoryServer。2.在Eclipse下创建Java项目MapReduceExample，在其下建立新包com.xijing.mapreduce，编写MapReduce程序，已知某个超市的结算记录，从左往右各字段的含义依次是会员编号、结算时间、消费金额和用户身份，要求计算出会员和非会员的平均消费金额。最后打包成JAR形式并在Hadoop集群上运行该MR-App，查看运行结果。3.分别在自编MapReduce程序运行过程中和运行结束后练习MapReduceShell常用命令。4.分别在自编MapReduce程序运行过程中和运行结束后查看MapReduceWebUI界面。5.关闭Hadoop集群。2设计型必修4实验4部署ZooKeeper集群和实战ZooKeeper1.规划ZooKeeper集群。2.部署ZooKeeper集群。3.启动ZooKeeper集群。4.验证ZooKeeper集群。5.使用ZooKeeperShell客户端命令。6.关闭ZooKeeper集群。2综合型必修5实验5部署本地模式Hive和Hive实战1.规划Hive。2.在Linux下安装和配置MySQL，部署本地模式Hive。3.验证Hive。4.使用HiveQL语句完成海量结构化数据的离线分析。2设计型必修6实验6Flume实战1.规划Flume。2.安装和配置Flume。3.验证Flume。4.编写Agent属性文件，并使用FlumeShell命令进行实时日志收集。2综合型必修7实验7Kafka实战1.规划Kafka集群。2.部署Kafka集群。3.启动Kafka集群。4.验证Kafka集群。5.使用KafkaShell命令。6.关闭Kafka集群。2综合型必修8实验8Spark集群部署和基本编程1.规划Spark集群。2.部署Spark集群。3.启动Spark集群。4.验证Spark集群。5.使用SparkShell命令“pyspark”进行交互式编程，使用Python语言编写代码，实现对HDFS文件的英文词频统计，并按词频降序排序，最后输出结果，要求通过终端和SparkWebUI观察该应用程序的运行过程。6.使用Python语言编写SparkStreaming独立应用程序，将Flume作为SparkStreaming输入源，实现对Flume消息的实时词频统计。要求从终端上不断给FlumeSource（netcat类型）发送各种消息，Flume把消息汇集到Sink（avro类型），由Sink把消息推送给SparkStreaming。7.关闭Spark集群。2设计型必修9实验9FlinkStandalone集群部署和基本编程1.规划FlinkStandalone集群。2.部署FlinkStandalone集群。3.启动FlinkStandalone集群。4.验证FlinkStandalone集群。5.使用DataSetAPI采用Scala语言编写Flink批处理程序，实现对内容为英文字符的HDFS文件的数据读取，统计单词词频，并将处理结果输出到HDFS文件中。。6.使用DataStreamAPI采用Scala语言编写Flink流处理程序，采用Socket数据源，由Socket服务器端不断向客户端Flink流处理程序发送数据流（内容为英文字符），使统计单词词频，要求使用滚动窗口实现且窗口大小为5s（即每隔5秒对数据流进行一次切分），并将处理结果输出到终端上。7.关闭FlinkStandalone集群。0设计型选修合计学时16表2《大数据技术原理及应用》实验报告评分标准项目指标满分报告格式撰写格式规范，字体统一，图表清晰，实验名称、类型、学时、日期、目的、环境填写完整。10实验原理原理叙述正确、完整、清晰。20实验步骤及结果实验内容明确，实验步骤条理清晰，文笔流畅，前后一致，图片质量高。实验结果正确、完整，图片清晰、规范，且结果中应能看出确实为个人实验成果。50总结与思考阐述个人在本次实验中的收获，列举出现的问题和解决方案，以及尚未解决的问题。20学号姓名班级实验名称与实验指导书中“实验名称”保持一致实