2026年数据技术a试题(附答案)

2026年数据技术a试题(附答案)一、单项选择题（共15题，每题2分，共30分）1.以下哪种数据库管理系统（DBMS）属于列式存储架构？A.MySQLB.PostgreSQLC.HBaseD.Redis答案：C2.在大数据处理中，Flink与SparkStreaming的核心区别在于？A.Flink基于微批处理，SparkStreaming基于事件驱动B.Flink支持流批一体，SparkStreaming仅支持批处理C.Flink的时间语义更丰富（事件时间、处理时间），SparkStreaming默认基于处理时间D.Flink使用RDD作为核心抽象，SparkStreaming使用DStream答案：C3.数据仓库（DataWarehouse）与数据湖（DataLake）的关键差异是？A.数据仓库存储结构化数据，数据湖存储非结构化数据B.数据仓库支持实时写入，数据湖仅支持批量写入C.数据仓库需提前定义Schema，数据湖采用“读时模式”（Schema-on-Read）D.数据仓库用于OLTP，数据湖用于OLAP答案：C4.以下哪项不是数据清洗的常见操作？A.处理缺失值B.标准化数据格式（如日期统一为“YYYY-MM-DD”）C.对连续型变量进行分箱（Binning）D.识别并删除重复记录答案：C（分箱属于特征工程）5.在机器学习中，若模型在训练集上准确率95%，测试集上准确率60%，最可能的原因是？A.欠拟合B.过拟合C.数据不平衡D.特征维度不足答案：B6.以下哪项是HadoopHDFS的设计目标？A.支持低延迟的随机访问B.存储小文件（<100MB）C.运行在普通商用硬件上D.提供强一致性保证答案：C7.关系型数据库的ACID特性中，“I”指的是？A.原子性（Atomicity）B.一致性（Consistency）C.隔离性（Isolation）D.持久性（Durability）答案：C8.以下哪种算法属于无监督学习？A.逻辑回归（LogisticRegression）B.K-均值聚类（K-Means）C.随机森林（RandomForest）D.支持向量机（SVM）答案：B9.实时数据处理中，“窗口（Window）”的主要作用是？A.限制数据存储时长B.将无限流数据划分为有限的处理单元C.过滤无效数据D.减少数据传输量答案：B10.数据治理的核心目标不包括？A.提升数据质量B.确保数据安全合规C.最大化数据存储容量D.建立数据资产目录答案：C11.以下哪项是SparkRDD的特性？A.不可变（Immutable）B.支持实时更新C.仅存储在内存中D.直接提供SQL查询接口答案：A12.在数据湖的分层架构中，“黄金层（GoldLayer）”通常存储？A.原始未处理数据B.清洗后结构化数据C.面向分析的聚合数据D.实时数据流答案：C13.特征工程中，对类别型特征“用户性别（男/女/其他）”进行编码时，最适合的方法是？A.标准化（Z-Score）B.独热编码（One-HotEncoding）C.对数变换（LogTransformation）D.分箱（Binning）答案：B14.以下哪种技术用于解决分布式系统中的“脑裂（SplitBrain）”问题？A.租约（Lease）机制B.一致性哈希（ConsistentHashing）C.分片（Sharding）D.缓存击穿（CacheStampede）答案：A15.联邦学习（FederatedLearning）的核心优势是？A.提升模型训练速度B.保护数据隐私（无需集中数据）C.降低计算资源需求D.支持跨模态数据融合答案：B二、填空题（共10空，每空2分，共20分）1.分布式文件系统HDFS的默认块（Block）大小是________。答案：128MB2.关系型数据库中，通过________语句实现数据的增删改查操作。答案：DML（数据操作语言）3.大数据处理框架中，________是Hadoop的分布式计算引擎，负责执行MapReduce任务。答案：YARN（资源调度器）4.数据清洗中，处理缺失值的常见方法包括删除记录、________和插值法（如均值填充）。答案：保留缺失值（或“视为独立类别”）5.机器学习中，________评估指标适用于正负样本极不平衡的场景（如欺诈检测），综合考虑了召回率和精确率。答案：F1值6.Spark的________机制通过记录RDD的依赖关系（血统）实现容错，避免了频繁的检查点存储。答案：Lineage（血统）7.实时流处理中，________时间指数据实际发生的时间（如用户点击行为的发生时刻），而非系统处理的时间。答案：事件（Event）8.数据仓库的典型架构模式包括________（如基于星型模型）和总线架构。答案：维度建模9.特征工程中，________是指通过现有特征组合或变换提供新特征（如“消费金额/订单数”）。答案：特征构造（或“特征提供”）10.数据治理的关键组件包括元数据管理、数据质量监控、________和数据生命周期管理。答案：数据安全（或“权限管理”）三、简答题（共5题，每题8分，共40分）1.简述OLTP与OLAP的主要区别。答案：OLTP（在线事务处理）面向业务交易，特点是高并发、短事务、实时写入（如电商下单），数据模型为规范化关系表，关注事务的ACID特性；OLAP（在线分析处理）面向决策分析，特点是大规模查询、复杂聚合（如销售趋势分析），数据模型为维度建模（星型/雪花模型），关注查询效率和多维分析能力。2.说明SparkRDD的持久化（Persistence）与检查点（Checkpoint）的区别。答案：持久化通过将RDD缓存到内存或磁盘（如MEMORY_ONLY、MEMORY_AND_DISK）加速重复计算，依赖Lineage恢复数据；检查点则将RDD写入可靠存储（如HDFS），切断Lineage链，适用于长依赖的RDD（如多次转换后的结果），提升容错可靠性，但存储开销更大。3.数据湖的“三层架构”通常包含哪些层？各层的作用是什么？答案：①原始层（BronzeLayer）：存储原始未处理数据（如日志、CSV、JSON），保留原始格式和元数据；②清洗层（SilverLayer）：对原始数据进行清洗、去重、结构化处理，提供一致性高的数据集；③黄金层（GoldLayer）：基于Silver层数据进行聚合、关联，提供面向具体业务场景的分析数据（如用户画像、销售报表）。4.简述特征工程中“特征选择”的目的及常用方法。答案：目的是从原始特征中筛选出对模型预测最有效的特征，降低维度、减少计算开销、避免过拟合。常用方法包括：①过滤法（如卡方检验、信息增益）；②包裹法（如递归特征消除RFE）；③嵌入法（如L1正则化自动选择特征）；④基于模型重要性（如随机森林的特征重要性评分）。5.数据治理中，如何定义“数据质量”？常见的评估维度有哪些？答案：数据质量指数据满足业务需求的程度。常见评估维度包括：①准确性（数据与真实值的一致程度）；②完整性（关键字段无缺失）；③一致性（同一数据在不同系统中的表示统一）；④及时性（数据在需要时可用）；⑤唯一性（无重复记录）；⑥有效性（数据符合业务规则，如日期格式正确）。四、综合题（共1题，20分）某电商公司计划构建用户行为分析系统，需处理用户点击、下单、支付等行为数据（日均数据量约500GB，实时性要求：支付成功后10分钟内更新用户消费统计）。请设计该系统的技术方案，要求包括：数据采集、存储、处理、分析应用四个环节的技术选型及关键设计点。答案：（1）数据采集：技术选型：使用埋点SDK（如GoogleAnalytics、神策）采集前端行为数据，服务器端通过日志收集工具（如Flume）采集支付、下单等后端日志；实时数据流通过Kafka消息队列缓冲（利用Kafka的高吞吐量和持久化特性）。关键设计点：确保埋点事件的完整性（覆盖点击、加购、支付全链路），Kafka分区数与消费者数量匹配（避免瓶颈），设置合理的消息保留策略（如7天）。（2）数据存储：技术选型：原始数据存储至HDFS（冷数据）和HBase（热数据，支持实时查询）；清洗后结构化数据存储于Hive数据仓库（支持离线分析）；实时计算结果存储于Redis（缓存）或ClickHouse（列式数据库，支持快速聚合查询）。关键设计点：HDFS设置合适的副本数（如3副本）保证可靠性；HBase表设计时优化RowKey（如按用户ID哈希分片，避免热点）；ClickHouse采用分区表（按日期分区）提升查询效率。（3）数据处理：实时处理：使用Flink进行流处理（事件时间窗口，窗口大小5分钟），计算支付成功用户的实时消费金额、订单数等指标；离线处理：通过SparkSQL对Hive数据进行ETL（清洗缺失值、过滤异常IP），提供用户行为宽表。关键设计点：Flink设置Watermark处理延迟数据（允许最多延迟2分钟），使用状态后端（如RocksDB）存储用户历史消费数据；Spark任务优化（如开启推测执行、调整并行度）。（4）分析应用：实时应用：通过Redis缓存实时消费指标，供前端页面（如“