2025年大数据技术应用基础知识考试试题及答案

2025年大数据技术应用基础知识考试试题及答案一、单项选择题（每题2分，共40分）1.以下哪项不属于大数据的“5V”特征？A.Volume（大量）B.Variety（多样）C.Velocity（高速）D.Validity（有效）答案：D2.Hadoop生态中，负责资源管理和任务调度的组件是？A.HDFSB.YARNC.MapReduceD.HBase答案：B3.Spark中，RDD（弹性分布式数据集）的主要特性不包括？A.不可变B.可分区C.支持精确的血统（Lineage）D.存储结构化数据答案：D4.以下哪种数据库适用于实时写入、海量数据存储的场景？A.关系型数据库（如MySQL）B.键值存储数据库（如Redis）C.文档型数据库（如MongoDB）D.列式数据库（如HBase）答案：D5.数据清洗过程中，处理“年龄字段出现-5”的问题属于？A.缺失值处理B.异常值处理C.重复值处理D.不一致值处理答案：B6.实时数据处理框架Flink的核心抽象是？A.DataStreamB.RDDC.DataFrameD.Dataset答案：A7.数据湖（DataLake）与数据仓库（DataWarehouse）的主要区别在于？A.数据湖存储结构化数据，数据仓库存储非结构化数据B.数据湖支持实时处理，数据仓库仅支持批量处理C.数据湖在存储阶段不强制模式（Schema-on-Read），数据仓库在存储前定义模式（Schema-on-Write）D.数据湖仅用于分析，数据仓库用于事务处理答案：C8.Kafka中，消费者组（ConsumerGroup）的主要作用是？A.提高消息生产速率B.实现消息的广播和负载均衡C.保证消息的持久化存储D.管理主题（Topic）的分区答案：B9.以下哪项不是分布式文件系统HDFS的设计目标？A.处理大规模数据集B.运行在低成本硬件上C.支持低延迟的实时访问D.提供高容错性答案：C10.数据倾斜（DataSkew）在分布式计算中的典型表现是？A.部分节点计算资源空闲，部分节点负载过高B.所有节点计算时间一致C.数据存储在单个节点上D.网络传输延迟显著降低答案：A11.以下哪种技术可用于解决大数据的隐私保护问题？A.数据脱敏（DataMasking）B.数据抽样（DataSampling）C.数据聚合（DataAggregation）D.数据可视化（DataVisualization）答案：A12.关于SparkShuffle过程，以下描述错误的是？A.Shuffle是数据重新分区的过程B.Shuffle会导致大量磁盘I/O和网络传输C.Spark3.0之后通过UnsafeShuffle优化了内存使用D.Shuffle仅发生在转换操作（Transformation）中答案：D13.以下哪项属于非结构化数据？A.数据库表中的用户年龄B.传感器实时采集的温度数值C.社交媒体中的用户评论D.财务系统中的交易记录答案：C14.大数据平台架构中，数据治理（DataGovernance）的核心目标是？A.提高数据处理速度B.确保数据的质量、一致性和可追溯性C.减少存储成本D.优化查询性能答案：B15.以下哪个工具通常用于大数据的实时可视化？A.HiveB.TableauC.FlinkD.HBase答案：B16.分布式计算中，CAP定理指的是？A.一致性（Consistency）、可用性（Availability）、分区容错性（PartitionTolerance）B.计算（Compute）、存储（Storage）、网络（Network）C.成本（Cost）、准确性（Accuracy）、性能（Performance）D.连接（Connection）、聚合（Aggregation）、处理（Processing）答案：A17.关于HBase的RowKey设计，以下建议错误的是？A.避免RowKey单调递增（如时间戳）B.RowKey长度越短越好C.保证RowKey的散列性以减少热点D.使用自然主键（如用户ID）直接作为RowKey答案：D18.数据仓库的分层架构中，ODS（操作数据存储层）的主要作用是？A.存储经过清洗、转换的明细数据B.直接面向业务查询的聚合数据C.原始数据的临时存储，保留原始格式D.存储历史归档数据答案：C19.以下哪项属于大数据分析中的预测性分析（PredictiveAnalytics）？A.统计过去一年的销售总额B.识别用户的购买模式（如关联规则）C.预测下个月的销售额D.展示各区域的销售分布热力图答案：C20.边缘计算（EdgeComputing）与大数据中心的协同场景中，边缘节点的主要作用是？A.存储所有原始数据B.执行实时性要求高的简单计算C.替代大数据中心的全部计算任务D.仅负责数据传输答案：B二、填空题（每题2分，共20分）1.大数据处理的典型流程包括数据采集、________、数据存储、数据处理与分析、数据可视化。答案：数据清洗2.HDFS默认的块（Block）大小是________MB。答案：1283.Spark中，将RDD持久化到内存的操作是________（填写方法名）。答案：persist(StorageLevel.MEMORY_ONLY)或cache()（注：cache()是persist的简化版，默认内存存储）4.Kafka的消息传输语义中，“至少一次”（AtLeastOnce）通过________机制实现。答案：生产者确认（ProducerACK）与消费者手动提交偏移量（OffsetCommit）5.数据湖的典型存储格式是________（如Parquet、ORC等）。答案：列式存储格式（或具体填写Parquet/ORC）6.分布式系统中，ZooKeeper的核心功能是________、配置管理和命名服务。答案：分布式协调（或分布式锁、选举）7.数据脱敏的常见方法包括匿名化、________、泛化等。答案：掩码（或乱序、加密）8.Flink中，窗口（Window）的类型主要有时间窗口（TimeWindow）和________。答案：事件窗口（EventWindow）或计数窗口（CountWindow）9.关系型数据库与NoSQL数据库的本质区别在于是否遵循________模型。答案：关系（或关系数据）10.大数据平台的三层架构通常包括基础设施层（IaaS）、平台层（PaaS）和________。答案：应用层（SaaS）三、简答题（每题8分，共40分）1.简述Hadoop生态中HBase与Hive的主要区别。答案：HBase是基于HDFS的分布式列式数据库，支持实时随机读写，适用于海量非结构化/半结构化数据的实时访问（如日志、用户行为记录）；Hive是基于Hadoop的数仓工具，通过HiveQL将SQL转换为MapReduce任务，适用于离线批量处理和复杂查询（如汇总、报表提供）。两者的核心差异在于：HBase是数据库（OLTP），Hive是数仓工具（OLAP）；HBase支持实时操作，Hive处理离线任务；HBase存储列式数据，Hive通常存储行式或列式文件（如Parquet）。2.说明SparkRDD的血统（Lineage）机制及其作用。答案：血统机制指RDD通过记录父RDD的转换操作（如map、filter）形成的依赖链。作用包括：（1）容错：当RDD分区丢失时，可通过血统重新计算丢失数据，避免全量重算；（2）优化：通过分析血统链，Spark执行引擎可提供最优的执行计划（如合并连续的窄依赖操作）；（3）不可变保障：RDD的不可变性由血统机制维护，确保数据处理的可追溯性。3.数据清洗的主要步骤及常见技术有哪些？答案：主要步骤包括：（1）缺失值处理：删除、填充（均值/中位数/模式）、插值；（2）异常值处理：统计方法（如Z-score、IQR）识别并修正/删除；（3）重复值处理：去重（基于主键或特征）；（4）不一致值处理：统一格式（如日期格式）、纠正错误（如地区名称拼写）；（5）数据标准化：归一化（Min-Max）、标准化（Z-score）。常见技术工具包括Pandas（Python）、SparkDataFrame、Kettle（ETL工具）等。4.对比实时数据处理（如Flink）与批量数据处理（如HadoopMapReduce）的适用场景及优缺点。答案：实时处理适用于低延迟、需即时响应的场景（如实时推荐、监控告警），优点是延迟低（毫秒级），能处理流数据；缺点是资源消耗较高，复杂状态管理难度大。批量处理适用于离线分析（如日报提供、历史趋势分析），优点是处理量大、资源利用率高，支持复杂计算；缺点是延迟高（分钟到小时级），无法处理实时需求。5.列举大数据在智慧城市中的3个典型应用场景，并说明其技术实现关键点。答案：（1）智能交通：通过路侧传感器、摄像头采集交通流量数据，用Flink实时分析拥堵情况，结合GIS系统动态调整信号灯。关键点：多源数据融合（结构化的传感器数据与非结构化的图像数据）、低延迟计算。（2）环境监测：部署空气质量传感器，用Kafka收集实时数据，HBase存储历史数据，通过机器学习模型预测污染扩散。关键点：分布式存储的可扩展性、模型实时更新。（3）公共安全：分析视频监控、手机信令等数据，用Spark进行异常行为识别（如聚集人群）。关键点：非结构化数据（视频）的特征提取、隐私保护（如人脸脱敏）。四、综合应用题（每题10分，共20分）1.某电商平台需分析用户行为数据（如点击、加购、下单），设计一个端到端的大数据处理流程，要求包含数据采集、存储、处理、分析环节，并说明各环节的技术选型及原因。答案：（1）数据采集：通过埋点工具（如GoogleAnalytics、神策）在APP/网页端收集用户行为日志（JSON格式），使用Flume或Kafka收集实时流数据。选择Kafka的原因：高吞吐量、支持消息持久化，可作为流数据的缓冲区。（2）数据存储：实时数据暂存于Kafka，历史数据存储至HDFS（冷数据）和HBase（热数据，支持用户行为的实时查询）；结构化的用户信息（如用户ID、注册时间）存储于MySQL（关系型数据），分析型数据存储于Hive数据仓库（基于Parquet格式，列式存储优化查询）。（3）数据处理：实时处理用Flink，完成用户会话识别（如30分钟无操作视为会话结束）、实时转化率计算；离线处理用Spark，对历史数据进行用户分群（RFM模型）、关联规则挖掘（如“购买A商品的用户80%会购买B”）。（4）数据分析与应用：通过Tableau或Superset可视化用户行为漏斗（点击→加购→下单转化率），将分析结果用于推荐系统（如向加购用户推送优惠券）和运营策略调整（如优化高流失环节页面）。2.某企业日志数据（每天约500GB，格式为文本，包含时间戳、用户ID、访问URL、响应状态码）需分析“用户访问模式”（如高频访问时段、热门页面、异常访问IP），请设计技术方案，包括数据预处理、核心分析步骤及工具选择。答案：（1）数据预处理：清洗：用Spark处理日志，过滤无效记录（如状态码500的错误请求）、填充缺失的用户ID（通过会话ID关联）；结构化：将文本日志解析为结构化数据（时间戳→DateTime类型，URL→提取路径），存储为Parquet格式（HDFS）；脱敏：对用户ID进行哈希处理（如SHA-256），隐藏敏感信息。（2）核心分析步骤：高频访问时段：用SparkSQL按小时分组统计访问量，找出峰值时段；热门页面：对URL路径进行词频统计（MapReduce或Spark），取Top1