2026年大数据技术与应用考试试题及答案

2026年大数据技术与应用考试试题及答案一、单项选择题（每题1分，共20分）1.大数据通常被概括为"4V"特征，其中"Velocity"指的是大数据的哪一特征？A.数据量大B.数据类型多样C.处理速度快D.价值密度低2.Hadoop生态系统中，负责分布式存储的核心组件是？A.MapReduceB.HDFSC.YARND.Hive3.HDFS默认的副本因子（ReplicationFactor）是？A.1B.2C.3D.44.MapReduce编程模型主要适合处理哪种类型的计算任务？A.实时流式计算B.大规模离线批处理C.图计算D.交互式即席查询5.Spark相比HadoopMapReduce最主要的优势是？A.完全替代HDFS存储B.基于内存计算，迭代效率更高C.不需要集群管理D.仅支持Scala语言6.Hive本质上是一个？A.分布式文件系统B.数据库管理系统C.数据仓库工具，将SQL转换为MapReduce/Spark作业D.资源调度框架7.Kafka在流数据处理平台中主要承担的角色是？A.数据采集B.消息队列与数据缓冲C.数据清洗D.数据可视化8.ZooKeeper在分布式集群中的主要作用是？A.数据存储B.提供协调服务，如命名、配置管理、分布式锁C.数据挖掘D.数据采集9.Flume主要用于？A.批量导入关系型数据库B.海量日志数据的采集、聚合和传输C.分布式计算D.数据仓库建模10.数据仓库中，ETL是指？A.抽取、转换、加载B.存储、管理、分析C.采集、清洗、可视化D.连接、查询、统计11.下列算法中，属于无监督学习的是？A.决策树B.K均值聚类C.Logistic回归D.随机森林12.Spark中的RDD（弹性分布式数据集）主要特点是？A.可变、可更新B.不可变、可分区、可容错C.仅存储在磁盘D.只能由外部数据创建13.HBase是一种典型的？A.关系型数据库B.列族式NoSQL数据库C.文档数据库D.图数据库14.在YARN架构中，负责应用程序作业调度与任务监控的组件是？A.ResourceManagerB.NodeManagerC.NameNodeD.DataNode15.下列哪项不属于数据清洗的常见操作？A.缺失值处理B.去重C.异常值检测D.数据可视化展示16.Flink相比Storm的一个突出优势是？A.不支持事件时间处理B.提供了精确一次（Exactly-once）语义的状态管理C.只能使用Java开发D.不能与Kafka集成17.数据可视化中，最适合展示地理空间信息分布的是？A.柱状图B.折线图C.地图D.饼图18.在数据生命周期管理中，通常位于第一步的是？A.数据归档与销毁B.数据采集C.数据分析D.数据共享19.大数据环境下，常用的分布式协调锁实现依赖于？A.HDFSB.ZooKeeperC.HiveD.Flume20.下列哪项不是评估大数据系统性能的常用指标？A.吞吐量B.延迟C.容错性D.数据颜色二、多项选择题（每题2分，共20分）1.大数据的"4V"特征包括哪些？A.Volume（大体量）B.Velocity（高速）C.Variety（多样）D.Value（价值）2.HDFS架构中，主要包含哪些角色？A.NameNodeB.DataNodeC.SecondaryNameNodeD.ResourceManager3.MapReduce作业执行过程中，涉及的阶段包括？A.MapB.ShuffleC.ReduceD.Visualize4.Spark提供的核心组件包括？A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlib5.Hive数据仓库的优点包括？A.支持SQL类查询B.可处理海量数据C.支持事务的强一致性修改D.良好的扩展性6.常用的NoSQL数据库类型包括？A.键值型B.文档型C.列族型D.图型7.Kafka中的基本概念包括？A.BrokerB.TopicC.PartitionD.ConsumerGroup8.数据挖掘的常用任务包括？A.分类B.聚类C.关联规则挖掘D.异常检测9.数据质量评价的常见维度包括？A.准确性B.完整性C.一致性D.及时性10.以下属于大数据计算框架的是？A.HadoopMapReduceB.SparkC.FlinkD.HBase三、判断题（每题1分，共10分）1.大数据处理必须先统一格式后才能存储。2.HDFS中的NameNode负责存储实际文件内容。3.Spark中的Transformation操作是惰性执行的，只有遇到Action时才会真正触发计算。4.MapReduce适合处理小文件，因为其设计对大量小文件非常高效。5.数据仓库通常使用星型模型或雪花型模型进行建模。6.Kafka通过多个副本保障数据可靠性，但副本数越大，写入性能通常越低。7.数据可视化只是将数据美观地呈现，不需要关注数据准确性。8.Flink支持事件时间（EventTime）处理，能够处理乱序数据。9.大数据安全仅指防止黑客攻击，不涉及用户隐私保护。10.数据挖掘过程中，数据预处理通常会占整个项目很大比例的工作量。四、简答题（每题5分，共20分）1.简述HDFS中文件写入的基本流程。2.简述SparkStreaming与Flink在实时计算模型上的主要区别。3.简述数据仓库与操作型数据库（OLTP）在面向目标上的区别。4.简述决策树算法中信息增益的计算思路。五、综合应用题（每题15分，共30分）1.给定一张电商用户购物数据集，请计算数据集按"是否购买"划分的信息熵；再计算按"会员等级"（高/低）划分后的信息增益，并判断选择该属性划分是否优于不划分。数据集样本如下：用户编号会员等级是否购买1高是2高是3低否4低否5高是6低是E按"会员等级"划分：-等级高：3个样本，全是"是"，熵为0；-等级低：3个样本，"是"1个，"否"2个，熵为−1划分后加权熵：E信息增益：G信息增益大于0，说明按会员等级划分可以降低数据不确定性，优于不划分。解析：本题考察信息熵和信息增益的计算。计算时可以先按类别统计概率，再按属性分支统计各分支的熵，最后加权求和。注意对数以2为底。2.某电商平台每日产生数亿条用户行为日志，包括浏览、点击、收藏、加购、支付等事件。你作为大数据工程师，需要设计一套实时用户行为分析系统，实现对热门商品、实时销售、用户画像等指标的秒级更新。请回答以下问题：(1)画出系统整体架构，并注明每层使用的典型技术组件；(2)说明日志采集、消息缓冲、实时计算、结果存储各环节的技术选型及理由；(3)若要计算"最近5分钟热门商品TOP10"，简要说明实现思路。参考答案与解析一、单项选择题1.答案：C解析："Velocity"对应数据产生和处理的速度，即"高速性"。2.答案：B3.答案：C4.答案：B解析：MapReduce以批处理为核心，不适合低延迟实时计算。5.答案：B6.答案：C7.答案：B8.答案：B9.答案：B10.答案：A11.答案：B12.答案：B13.答案：B14.答案：A15.答案：D16.答案：B17.答案：C18.答案：B19.答案：B20.答案：D二、多项选择题1.答案：ABCD2.答案：ABC解析：ResourceManager属于YARN的组件，不属于HDFS核心架构。3.答案：ABC4.答案：ABCD5.答案：ABD解析：Hive不支持行级更新，主要面向批量查询，ACID事务支持较弱。6.答案：ABCD7.答案：ABCD8.答案：ABCD9.答案：ABCD10.答案：ABC解析：HBase是分布式存储系统，不是计算框架。三、判断题1.答案：错误解析：大数据允许多样化数据以原始形式存储，后续按需对数据进行清洗和转换，即"读时模式"。2.答案：错误解析：NameNode只存储元数据，实际文件数据存储在DataNode中。3.答案：正确4.答案：错误解析：MapReduce对小文件处理效率低，会产生大量任务开销，通常需合并小文件。5.答案：正确6.答案：正确7.答案：错误8.答案：正确9.答案：错误10.答案：正确四、简答题1.答案：(1)客户端调用DistributedFileSystem.create()向NameNode请求创建文件；(2)NameNode检查权限和路径是否合法，成功后返回输出流；(3)客户端将数据分块，写入第一个DataNode；(4)数据块按管道方式依次复制到下一个DataNode，形成副本链路；(5)所有副本写入完成后，客户端关闭流，NameNode提交元数据。2.答案：SparkStreaming采用微批处理（Micro-batch）模型，将数据流按时间窗口切分为小批量RDD，延迟通常在秒级；Flink采用真正的流处理（TrueStreaming）模型，逐条处理数据，延迟可达毫秒级，并支持事件时间与状态管理。3.答案：操作型数据库面向事务处理，强调增删改查的实时性与一致性，服务日常业务；数据仓库面向分析决策，整合历史数据，以查询和汇总为主，通常采用批量加载，数据是主题化、集成化、相对稳定的。4.答案：信息增益=划分前数据集的信息熵−划分后各子集信息熵的加权和。信息熵公式为Entrop五、综合应用题1.答案：共有6个样本，其中"是"出现4次，"否"出现2次。数据集信息熵为：2.答案：(1)整体架构分层如下：•数据采集层：使用Flume/Filebeat/KafkaConnect收集Web/App日志；•消息缓冲层：使用Kafka作为消息队列，解耦生产与消费，支持高吞吐和持久化；•实时计算层：使用Flink或SparkStreaming进行流处理；•结果存储层：使用Redis存储实时排行榜和计数器，MySQL/ClickHouse存储明细与汇总结果；•应用展示层：通过Web服务对接数据可视化大屏。(2)技术选型及理由：•Flume/Filebeat：轻量、可靠，适合日志文件采集；•Kafka：高吞吐、低延迟、可分区扩容，并支持多副本容错；•Flink：真正流式处理，支持事件时间、水位线，可精确处理乱序数据，适合秒级计算；•Redis：基于内存的高速读写，适合维护实时计数器与TopN列表；•ClickHouse：列式存储，适合海量明细数据的快速聚合查询。(3)"最近5分钟热门商品TOP10"实现思路：•在Flink中设置5