大数据2026年评估试题及答案

大数据2026年评估试题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.维护文件系统元数据C.执行Map任务D.执行Reduce任务答案：B1.2下列哪一项不是Kafka的核心组件A.ProducerB.ConsumerC.ZooKeeperD.Hive答案：D1.3在SparkSQL中，DataFrame与RDD的本质区别是A.存储位置不同B.是否经过Catalyst优化C.是否支持PythonAPID.是否支持YARN答案：B1.4使用HBaserowkey设计时，为避免热点应优先采用A.顺序递增数字B.哈希前缀+时间戳C.纯时间戳D.固定长度字符串答案：B1.5Flink的Checkpoint机制基于A.两阶段提交B.Chandy-Lamport算法C.Paxos算法D.Raft算法答案：B1.6在数据湖架构中，DeltaLake提供的“时间旅行”功能依赖A.元数据日志B.内存快照C.外部索引D.副本集答案：A1.7若某Hive表分区字段为dt且采用ORC格式，执行ALTERTABLEDROPPARTITION(dt<'2025-01-01')后，数据文件A.立即物理删除B.仅元数据删除，文件保留C.移入.Trash目录并延迟删除D.转为隐藏文件答案：C1.8在ClickHouse中，最适合高并发点查的引擎是A.MergeTreeB.SummingMergeTreeC.MemoryD.Log答案：C1.9某电商实时大屏要求秒级延迟，最合理的端到端架构是A.Sqoop+Hive+MySQLB.Flume+HDFS+PrestoC.Kafka+Flink+RedisD.SparkBatch+TiDB答案：C1.10关于数据血缘，下列描述正确的是A.仅记录表级依赖B.无法捕获字段级变换C.可结合AST解析SQLD.与数据质量无关答案：C2.多项选择题（每题3分，共15分；多选少选均不得分）2.1下列属于FlinkExactly-Once语义实现依赖的技术有A.Barrier对齐B.幂等SinkC.事务性SinkD.异步快照答案：A、B、C、D2.2导致Hive表小文件过多的原因包括A.动态分区插入B.Reduce数量过多C.文本格式存储D.频繁实时追加答案：A、B、D2.3在数据治理体系中，主数据管理（MDM）的核心功能有A.唯一标识解析B.数据清洗C.版本管理D.实时流控答案：A、B、C2.4关于数据湖仓一体（LakeHouse）特性，正确的有A.支持ACID事务B.存算分离C.仅支持批处理D.SchemaEvolution答案：A、B、D2.5以下指标可用于衡量数据质量维度“及时性”的有A.数据延迟时间B.SLA违约次数C.记录缺失率D.业务可用时间窗口答案：A、B、D3.填空题（每空2分，共20分）3.1在Spark中，一个Stage的边界由________操作触发。答案：Shuffle3.2HDFS默认块大小为________MB（Hadoop3.x）。答案：1283.3Kafkaconsumer通过________参数控制消费位置重置策略。答案：auto.offset.reset3.4在MySQLbinlog同步到Kafka的场景中，常用开源组件为________。答案：Debezium3.5数据质量规则“字段值必须在枚举列表内”属于________约束类型。答案：域完整性3.6ClickHouse中，用于近似去重的函数为________。答案：uniqCombined3.7若某ORC文件Stripe大小为256MB，则读取一行需至少________次磁盘寻址。答案：13.8在数据资产目录中，业务术语与技术元数据的映射称为________。答案：语义关联3.9根据GDPR，数据主体行使“被遗忘权”时，系统需在________天内完成删除。答案：303.10使用Python调用OpenCSW接口获取Hive元数据，需依赖的库为________。答案：hive-metastore4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1Spark的Broadcast变量一旦创建即不可修改。答案：√4.2HBase中列族数量越多，随机读性能越高。答案：×4.3FlinkCEP库支持在事件流中检测复杂模式。答案：√4.4数据湖只能建在对象存储之上，不能建在HDFS。答案：×4.5HiveLLAP可提高交互式查询性能。答案：√4.6ORC文件中的IndexData采用位图索引。答案：×4.7在数据治理中，数据Owner对数据质量负最终责任。答案：√4.8Kafka的Topic一旦创建，分区数不可增加。答案：×4.9使用Z-Score方法检测异常值要求数据服从正态分布。答案：√4.10DeltaLake的VACUUM命令默认保留7天内文件快照。答案：√5.简答题（封闭型，每题6分，共18分）5.1简述FlinkCheckpoint与Savepoint的三点差异。答案：1.触发方式：Checkpoint由Flink自动周期触发，Savepoint需手动触发。2.生命周期：Checkpoint默认完成后自动删除，Savepoint长期保留直至用户删除。3.一致性保证：Checkpoint用于故障恢复，Savepoint用于计划内版本升级、迁移或A/B测试。5.2说明数据倾斜在SparkSQL中的典型表现及两种根因。答案：表现：某Task处理数据量远大于其他Task，导致长尾任务，整体Stage耗时增加。根因1：分组键分布不均，如按用户ID分组时大V用户记录过多。根因2：Join时关联键存在热点，如事实表与维表关联，维表中某条记录被大量匹配。5.3列举数据资产目录中技术元数据的四项核心内容。答案：1.物理表结构（字段名、类型、注释）2.存储格式与压缩算法3.分区策略与分区键4.数据文件路径与大小6.简答题（开放型，每题8分，共16分）6.1某省政务大数据中心计划构建“一网统管”实时指标库，日均数据量2TB，峰值QPS50万，需支持秒级回刷30天历史。请给出技术选型理由及核心架构图文字描述。答案：技术选型：Kafka+Flink+Iceberg+StarRocks。理由：Kafka承担高吞吐消息总线；Flink提供Exactly-Once流计算；Iceberg作为数据湖仓统一存储，支持增量回刷与并发写；StarRocks提供毫秒级多维分析。架构：1.采集层：省厅局数据库通过Debezium入Kafka，日志经Filebeat+Logstash入Kafka。2.计算层：Flink双流Join打宽表，写Iceberg分区表（dt,hour）。3.服务层：StarRocks通过IcebergCatalog秒级同步，对外提供JDBC/HTTP查询。4.回刷：FlinkBatchOverwrite模式重写指定分区，Iceberg原子提交。5.治理：ApacheAtlas+DataHub构建血缘，Griffin跑质量规则。6.2讨论数据主权跨境流动评估框架应包含的五个维度，并给出可量化指标示例。答案：维度1：合规性——数据出境审批通过率；指标：年度审批通过次数/申请次数。维度2：安全性——加密覆盖率；指标：跨境传输字段中AES-256加密比例。维度3：主体权利——数据主体投诉率；指标：每百万条记录投诉量。维度4：经济影响——数据流动带来GDP占比；指标：跨境数据服务出口额/省GDP。维度5：技术可控——国产化组件使用率；指标：核心链路中非开源国外软件节点数/总节点数。7.计算题（共20分）7.1某电商公司使用Flink实时计算GMV，订单流A格式(orderId,userId,amount,eventTime)，退款流B格式(orderId,refundAmount,eventTime)。要求输出1分钟滚动窗口GMV，定义GMV=sum(amount)-sum(refundAmount)。已知A流峰值5万条/秒，B流峰值1万条/秒，平均amount=200元，refundAmount=120元，Flink并行度设为200，Checkpoint30s一次，存储到HDFS。请计算：(1)每秒需状态后端存储更新量（字节）；（8分）(2)每次Checkpoint产生的状态快照大小（MB），假设RocksDB增量比20%。（8分）(3)若使用SSD磁盘作为RocksDB本地盘，需预留多少IOPS才能满足写需求，假设每次更新需2个IO。（4分）答案：(1)订单流状态：5×10⁴×(8+8+8+8)=1.6×10⁶B/s退款流状态：1×10⁴×(8+8+8)=0.24×10⁶B/s合计：1.84×10⁶B/s≈1.75MB/s(2)30s累积状态：1.75×30=52.5MB增量快照：52.5×20%=10.5MB(3)每秒更新次数：6×10⁴每次更新2IO→1.2×10⁵IOPS考虑合并写放大系数0.5，实际需6×10⁴IOPS8.分析题（共15分）8.1某市卫健委构建“健康一码通”数据湖，汇聚医院、疾控、医保、交通、通信等数据。发现近期“黄码”误判率升高至3%，技术排查发现通信行程数据延迟2小时。请：(1)给出延迟根因分析流程图（文字描述节点与判定条件）；（7分）(2)提出降低误判率到0.5%以内的三项可落地措施，并说明验证方法。（8分）答案：(1)流程图文字描述：Start→采集层延迟监控（Flume+Kafkalag）>阈值？→是→定位Topic分区Leader节点负载→CPU>80%？→是→扩容分区并调优压缩算法；否→网络带宽>90%？→是→升带宽；否→下游Flink反压？→是→调大并行度；否→数据源本身延迟→联系运营商提升API频次→End。(2)措施：a.通信数据由T+1改为T+5min准实时，通过KafkaConnect削峰，验证：对比API延迟分布P99<5min。b.建立多源交叉验证模型，当通信数据缺失时用医保出行记录补位，验证：抽样1000例，补位后误判率降至0.4%。c.引入延迟惩罚系数，模型评分下调延迟>30min的记录权重30%，验证：A/B测试，实验组误判率0.45%，对照组2.8%。9.综合设计题（共26分）9.1背景：某大型车企拟在2026年推出自动驾驶订阅服务，需构建车端-云端一体化数据平台，每日采集车端传感器数据300TB，包含摄像头、激光雷达、CAN总线日志；法规要求关键数据境内存储，用户隐私数据脱敏后可用于算法训练；需支持PB级模型训练、毫秒级OTA召回、以及售后质量追溯。请完成：(1)设计端到端数据架构，画出核心组件并说明数据流动路径；（10分）(2)给出数据分类分级方案，说明每类数据的存储周期、加密等级、脱敏策略；（8分）(3)设计一套数据质量指标体系，至少包含6个一级指标并给出量化公式；（8分）答案：(1)架构：车端：ROS2+MQTT→5G多路冗余→边缘节点（KubeEdge）。边缘：使用ApacheNiFi做协议解析、时序对齐，写入本地MinIO（S3协议），30s批量上传。云端：原始数据湖：IcebergonOSS，按VIN+日期分区，压缩ZSTD。元数据：HiveMetastore+DataHub。训练加速：Fluid+Alluxio缓存热分区。实时召回：Kafka→Flink→RedisCluster，提供毫秒级信号。追溯：Trino交互查询，Impala批量报表。(2)分类分级：A类关键运行数据（刹车、转向）：存储周期10年，AES-256，国密SM4，脱敏仅时间扰动±1s。B类隐私数据（人脸、车牌）：存储周期3年，AES-256，使用GAN合成替换。C类诊断日志：存储周期1年，AES-128，哈希化VIN后四位。D类脱敏训练数据：永久，无加密，开放给AI平台。(3)质量指标：1.完整性R1=(实际记录数/期望记录数)×100%2.及时性R2=1−avg(delay)/max(delaythreshold)3.一致性R3=1−(冲突记录/总关联记录)4.准确性R4=1−(误差样本/校验样本)5.唯一性R5=1−(重复主键/总主键)6.可用性R6=在线时长/统计周期时长综合得分：W=0.25R1+0.2R2+0.2R3+0.15R4+0.1R5+0.1R6，目标W>95。10.论述题（共20分）10.1结合《数据要素×”三年行动计划（2025—2027）》与欧盟DataGovernanceAct，论述我国大数据交易场所应如何建立可信数据跨境流通机制，要求从制度、技术、生态三方面展开，每方面至少三点，总字数不少于600字。