防灾科技学院《大数据技术与开发》2025-2026学年第二学期期末试卷B卷_第1页
防灾科技学院《大数据技术与开发》2025-2026学年第二学期期末试卷B卷_第2页
防灾科技学院《大数据技术与开发》2025-2026学年第二学期期末试卷B卷_第3页
防灾科技学院《大数据技术与开发》2025-2026学年第二学期期末试卷B卷_第4页
防灾科技学院《大数据技术与开发》2025-2026学年第二学期期末试卷B卷_第5页
已阅读5页,还剩3页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

(第2页)制卷人签名制卷人签名:制卷日期:审核人签名::审核日期:………………………………………………装……订……线…………………防灾科技学院《大数据技术与开发》2025——2026学年第二学期期末试卷(B卷)学院专业/班级学号姓名题号一二三四五六七八总分阅卷教师得分………………一、单项选择题(本大题共15小题,每小题2分,共30分)1.下列选项中,不属于大数据"4V"特征的是()A.数据规模巨大(Volume)B.处理速度快(Velocity)C.数据类型多样(Variety)D.数据价值密度高(Value)2.HDFS默认的数据副本系数为()A.1B.2C.3D.43.Hadoop2.x中HDFS默认的数据块大小为()A.32MBB.64MBC.128MBD.256MB4.HDFS中负责管理文件系统命名空间、维护元数据的节点是()A.DataNodeB.NameNodeC.SecondaryNameNodeD.NodeManager5.MapReduce计算框架中,对中间结果按键排序、分组并传输给Reduce端的过程称为()A.SplitB.ShuffleC.CombineD.Commit6.HBase属于下列哪种类型的数据库()A.关系型数据库B.文档型数据库C.列族式存储数据库D.图数据库7.下列Spark算子中,属于行动算子的是()A.mapB.flatMapC.filterD.count8.YARN中负责整个集群资源管理与调度的是()A.NodeManagerB.ResourceManagerC.ApplicationMasterD.Container9.Hive作为构建在Hadoop之上的数据仓库工具,其本质是将HQL语句转换为()执行A.Shell脚本B.Java图形界面程序C.MapReduce等分布式作业D.C语言程序10.Kafka中保证消息有序性的基本单位是()A.主题B.分区C.消费者组D.Broker节点11.关于Kafka与Zookeeper的关系,下列描述正确的是()A.Zookeeper负责存储Kafka的消息数据B.Zookeeper负责Kafka集群的元数据管理与Broker协调C.Zookeeper负责消息的消费与投递D.二者之间没有任何依赖关系12.SparkCore的核心数据抽象是()A.DataFrameB.RDDC.DStreamD.Table13.下列Spark算子中,会产生宽依赖的是()A.mapB.filterC.unionD.groupByKey14.Scala语言中,定义不可变变量使用的关键字是()A.varB.valC.defD.let15.Sqoop工具的主要功能是()A.在关系型数据库与HDFS、Hive、HBase之间进行数据迁移B.分布式海量日志采集C.实时流式数据处理D.集群资源监控与告警二、判断题(本大题共10小题,每小题1分,共10分。正确的打"√",错误的打"×")1.HDFS采用主从结构,NameNode为主节点,DataNode为从节点。()2.HDFS为高吞吐量设计,适合存储海量小文件。()3.MapReduce的Map任务默认将中间结果写入本地磁盘。()4.Spark基于内存计算,其作业执行过程用DAG有向无环图表示。()5.HBase中RowKey按字典序排序存储,设计时应注意避免数据热点。()6.Hive适合低延迟的实时在线联机查询。()7.Kafka中的消息会持久化到磁盘,并可通过配置设置消息保留时间。()8.RDD一旦创建,其内容不可变,只能通过转换算子生成新的RDD。()9.Scala中用var声明的变量在首次赋值之后不允许再次修改。()10.治理数据倾斜问题时,可对热点键添加随机前缀(加盐)进行打散处理。()三、填空题(本大题共10小题,每空1分,共10分)1.大数据的"4V"特征包括规模性、多样性、高速性和________。2.HDFS的体系结构采用________结构,由一个主节点和多个从节点组成。3.MapReduce框架中,________阶段负责对Map的输出结果进行排序、分组并传输给Reduce。4.HBase通过________唯一标识一行数据,数据按其字典序存放。5.Spark中的转换算子具有________特性,只有遇到行动算子才会真正触发计算。6.Scala中使用关键字________定义函数。7.Hive的元数据(表结构、分区信息等)默认存储在________数据库中。8.Kafka分区中的每条消息都被分配一个单调递增的________,消费者依据它定位消息。9.为保证数据可靠性,HDFS采用________机制将同一数据块存储在多个DataNode上。10.SparkStreaming将实时数据流切分成micro-batch,抽象为________进行批处理。四、简答题(本大题共4小题,每小题5分,共20分)1.简述HDFS文件写入(写数据)的基本流程,说明客户端、NameNode、DataNode三者的交互过程。2.简述MapReduce作业从提交到输出结果的整体工作流程,并说明Combiner的作用及其使用限制。3.简述Spark与MapReduce在中间结果处理方式和执行模型上的主要区别。4.简述HBase的系统架构组成,并说明HMaster、RegionServer、Zookeeper各自的职责。五、计算题(本大题共2小题,每小题10分,共20分)1.某高校防灾监测集群每日采集的传感器原始日志数据量D=300 GB,需上传至HDFS长期保存。已知HDFS块大小B=128 (1)写出数据块总数的计算公式,并计算该批数据在HDFS中形成的数据块总数N;(3分)(2)计算全部数据(含副本)占用的总存储空间S(单位:GB);(2分)(3)写出元数据总量的计算公式,并计算NameNode需维护的元数据总量M(单位:MB,结果保留两位小数);(3分)(4)结合本题计算结果,简述HDFS不适合存储海量小文件的原因。(2分)2.某搜索系统对4个网页P1、P2、P3、P4构建的链接关系为:P1分别链接到P2和P3;P2链接到P3;P3链接到P1;P(1)写出PageRank的迭代计算公式,并说明公式中各符号的含义;(4分)(2)按上述链接关系计算第一轮迭代后各网页的PR值(结果保留4位小数)。(6分)六、程序设计题(本大题共1小题,共10分)某网站服务器日志文件weblog.txt已存储于HDFS,路径为hdfs://master:9000/data/weblog.txt,每行记录以空格分隔,依次为IP地址、请求URL、访问时间,示例如下表:IP地址请求URL访问时间1/index.html2025-06-1808:30:151/course/bigdata.html2025-06-1808:31:06/index.html2025-06-1809:12:44/lab/spark.html2025-06-1810:05:36/news/list.html2025-06-1810:22:09现需使用Scala语言编写SparkCore程序,统计每个IP的访问次数,并按访问次数降序输出前3名。程序框架如下:importorg.apache.spark.{SparkConf,SparkContext}

objectIPCount{

defmain(args:Array[String]):Unit={

valconf=newSparkConf().setAppName("IPCount").setMaster("local[]")

valsc=newSparkContext(conf)

vallines=sc.textFile("hdfs://master:9000/data/weblog.txt")

valips=lines.map(line=>line.split("")(0))//提取IP列

valresult=ips.①(ip=>(ip,1))//映射为键值对

.②(_+_)//按IP累加访问次数

.③(x=>x._2,ascending=false)//按访问次数降序排序

va

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论