2026年大数据技术应用基础知识试题(附答案)

2026年大数据技术应用基础知识试题(附答案)一、单项选择题（每题2分，共30分）1.下列哪项不属于大数据5V特征的标准定义？A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Value（增值）2.在Hadoop生态中，负责资源管理和任务调度的组件是？A.HDFSB.YARNC.MapReduceD.HBase3.以下哪种存储系统适合非结构化日志数据的海量存储？A.MySQLB.HBaseC.HDFSD.Redis4.Spark中RDD（弹性分布式数据集）的核心特性不包括？A.不可变B.可分区C.支持细粒度写操作D.自动容错5.数据清洗的主要目的是？A.减少数据量B.消除数据中的噪声和不一致C.提升数据存储效率D.增加数据维度6.Kafka作为消息队列，其核心设计目标是？A.高吞吐、低延迟的实时数据流处理B.支持复杂的SQL查询C.提供强一致性的事务支持D.实现内存级别的键值存储7.以下哪项是实时数据处理框架Flink的核心抽象？A.DatasetB.RDDC.DataStreamD.DataFrame8.数据仓库（DataWarehouse）的典型应用场景是？A.实时交易处理B.历史数据的多维分析C.非结构化数据存储D.内存中的临时数据计算9.以下哪种技术属于NoSQL数据库中的列族存储？A.MongoDBB.CassandraC.RedisD.Neo4j10.在大数据分析中，特征工程的主要任务是？A.训练机器学习模型B.从原始数据中提取有价值的特征C.可视化分析结果D.优化数据存储结构11.边缘计算在大数据采集中的主要作用是？A.将所有数据集中到云端处理B.在数据产生源头就近处理部分数据C.替代传统的数据采集设备D.提升数据传输的网络带宽12.以下哪项是HBase的主键设计原则？A.随机分布以避免热点B.按时间顺序递增以提升写入效率C.尽可能使用长字符串作为主键D.每个主键必须包含所有列的信息13.数据湖（DataLake）与数据仓库的主要区别在于？A.数据湖仅存储结构化数据B.数据仓库支持更灵活的数据格式C.数据湖在存储阶段不强制模式（Schema-on-Read）D.数据仓库不支持历史数据保留14.分布式计算中，数据倾斜（DataSkew）的典型表现是？A.所有节点的计算负载均衡B.部分节点处理的数据量远大于其他节点C.数据传输延迟显著降低D.计算任务的并行度自动提升15.以下哪种技术用于大数据场景下的实时指标计算？A.Hive离线计算B.SparkStreaming微批处理C.HBase批量读写D.Flink实时流处理二、填空题（每空2分，共20分）1.大数据技术体系通常包括数据采集、存储、________、分析、可视化五个核心环节。2.HDFS默认的块大小是________MB。3.Spark的核心组件包括DriverProgram、________和Executor。4.Kafka的消息存储单元称为________，其通过多副本机制保证数据可靠性。5.数据清洗中处理缺失值的常用方法包括删除记录、________和插值法。6.分布式文件系统的关键设计目标是________和高容错性。7.实时数据处理框架Flink的时间类型包括事件时间（EventTime）、摄入时间（IngestionTime）和________。8.数据仓库的分层结构通常包括ODS（操作数据存储层）、DWD（明细数据层）、DWS（汇总数据层）和________（应用数据层）。9.NoSQL数据库中的键值存储典型代表是________。10.大数据安全的核心问题包括数据隐私保护、________和访问控制。三、简答题（每题8分，共40分）1.简述Hadoop与Spark在计算模型上的主要差异。2.列举数据倾斜的三种常见处理方法，并说明其适用场景。3.对比批处理与流处理的特点，说明实时大数据分析为何更倾向于使用流处理技术。4.说明Kafka在大数据架构中的角色，及其与Flink、SparkStreaming的协作方式。5.数据湖与数据仓库的融合趋势体现在哪些方面？请结合实际场景举例说明。四、应用题（每题15分，共30分）1.某电商平台需构建用户行为分析系统，目标是实时监控用户点击、加购、下单等行为，并支持离线分析用户购物偏好。请设计该系统的大数据技术方案，要求涵盖数据采集、存储、处理（实时+离线）、分析模块，并说明各环节的技术选型及理由。2.某企业日志数据（格式为JSON，日均产生量500GB）存在大量重复记录、时间戳错位、关键字段缺失等问题。请设计一个日志数据清洗与处理流程，包括预处理步骤、技术工具选型（如Spark、Flink、Hive等），并说明如何验证清洗后数据的质量。答案一、单项选择题1.D2.B3.C4.C5.B6.A7.C8.B9.B10.B11.B12.A13.C14.B15.D二、填空题1.处理2.1283.ClusterManager4.分区（Partition）5.填充默认值6.高吞吐量7.处理时间（ProcessingTime）8.ADS9.Redis10.数据脱敏三、简答题1.主要差异：计算模型：HadoopMapReduce基于“分而治之”的批处理模型，任务需经历“map→shuffle→reduce”阶段，适合离线批量处理；Spark基于RDD的内存计算模型，支持DAG（有向无环图）执行计划，允许数据在内存中迭代计算，避免多次磁盘IO。适用场景：Hadoop适合大规模离线计算（如日志统计）；Spark支持批处理、流处理（SparkStreaming）、图计算等多场景，实时性和迭代效率更高。延迟：MapReduce任务延迟通常分钟级，Spark任务延迟可降至秒级甚至亚秒级（如SparkSQL）。2.数据倾斜处理方法：加盐哈希：对倾斜键添加随机前缀，将数据分散到多个任务，适用于分组聚合类操作（如GROUPBY），但需后续去盐合并结果。过滤异常值：识别并过滤导致倾斜的异常数据（如刷单用户），适用于异常值不影响分析目标的场景。调整并行度：增加倾斜分区的并行任务数，提升处理能力，适用于数据分布不均但无明显异常值的场景。3.批处理与流处理对比：批处理：处理静态数据集，按固定批次（如每日）处理，延迟高（分钟/小时级），适合历史数据统计；流处理：处理持续到达的数据流，逐条或按短窗口处理，延迟低（秒/毫秒级），适合实时监控、实时推荐等场景。实时分析需基于最新数据（如实时订单量、用户实时行为），流处理可避免等待批次完成，直接处理实时事件，满足低延迟需求。4.Kafka的角色：作为高吞吐的分布式消息队列，承担大数据架构中的“数据流管道”，负责缓存、传输实时数据流（如用户行为日志、传感器数据）。协作方式：Kafka作为数据源，Flink/SparkStreaming从Kafka消费数据，进行实时计算（如窗口聚合、过滤）；计算结果可写回Kafka供其他系统消费，或写入存储系统（如HBase、ClickHouse）；Kafka的分区机制支持与流处理框架的并行消费，提升处理能力。5.融合趋势体现：数据存储层：数据湖存储多类型原始数据（结构化、半结构化、非结构化），数据仓库基于湖中的清洗数据构建结构化数据集（如通过DeltaLake、Hudi等湖仓一体技术）；分析场景：支持从湖中的原始数据直接进行探索性分析（Schema-on-Read），同时利用仓库的结构化数据进行确定性报表（Schema-on-Write）；典型场景：金融行业中，数据湖存储原始交易日志、客户沟通记录（文本/语音），数据仓库存储清洗后的交易明细，融合后可同时支持实时风险监控（湖数据）和历史盈利分析（仓库数据）。四、应用题1.电商用户行为分析系统方案：数据采集：使用Flume（日志文件）+Kafka（埋点数据）。Flume适合服务器日志的稳定采集，Kafka用于APP端实时埋点数据（点击、加购等）的高吞吐接收，支持削峰填谷。数据存储：实时数据：Kafka（短期缓存，保留7天）+HBase（高频查询的实时指标，如当前在线用户数）；离线数据：HDFS（存储原始日志，长期归档）+Hive（结构化明细数据，支持离线SQL分析）+ClickHouse（汇总数据，加速多维查询）。实时处理：Flink作为流处理引擎，消费Kafka数据，计算实时指标（如5分钟内各商品点击量），结果写入HBase供前端展示；离线处理：Spark批处理作业每日处理HDFS中的日志，进行用户画像建模（如购物偏好、复购率），结果写入Hive和ClickHouse；分析模块：Superset或Tableau进行可视化，支持实时监控看板（Flink+HBase数据）和离线报表（Hive+ClickHouse数据）。2.日志数据清洗与处理流程：预处理步骤：①去重：通过Spark批处理作业，基于日志ID或时间戳+用户ID组合键，使用dropDuplicates()方法去除重复记录；②时间戳修复：使用Flink流处理，对时间戳错位的记录（如早于系统时间或明显异常），通过前后记录的时间戳线性插值修复；③缺失值处理：关键字段（如用户ID、事件类型）缺失的记录标记为“无效”，非关键字段（如页面来源）使用该用户历史行为的众数填充；④格式校验：通过正则表达式校验JSON字段完整性，不符合格式的记录写入错误日志队列（如Kafka）供人工核查。技术工具选型：批处理去重、缺失值填充：Spark（处理历史日志，支持大规模数据并行计算）；实时时间戳修复：Flink（低延迟处理实时日志流，支持