2026年(大数据科学与应用)对应科目试题及答案

2026年(大数据科学与应用)对应科目试题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.执行Reduce任务答案：B1.2下列哪种存储格式最适合于列式分析型查询A.JSONB.AvroC.ParquetD.SequenceFile答案：C1.3SparkSQL中，Dataset与DataFrame最核心的差异是A.存储位置不同B.是否类型安全C.是否支持SQLD.是否支持流处理答案：B1.4在Kafka0.10+中，消费者偏移量默认保存在A.ZooKeeperB.本地文件C.__consumer_offsetstopicD.HDFS答案：C1.5若某电商网站日活1000万，平均每人产生200条日志，每条日志约0.5KB，则原始日志日增量约为A.100GBB.500GBC.1TBD.5TB答案：C1.6使用BloomFilter进行数据去重时，出现假阳性是指A.把重复数据误判为不重复B.把不重复数据误判为重复C.把重复数据误判为重复D.把不重复数据误判为不重复答案：B1.7在Flink中，下列哪个算子必然触发全局排序A.keyByB.windowC.partitionCustomD.sortPartition答案：D1.8若LSTM网络用于时间序列预测，其记忆单元中控制“遗忘”的门控信号来自A.当前输入xt与上一时刻输出ht−1B.仅当前输入xtC.仅上一时刻细胞状态Ct−1D.随机噪声答案：A1.9在HBase中，Region分裂的触发条件之一是A.文件数达到阈值B.存储文件大小超过设定上限C.列族数量超过上限D.ZooKeeper会话超时答案：B1.10根据GDPR，数据主体行使“被遗忘权”时，数据控制者必须在收到请求后多少天内完成删除A.7天B.15天C.30天D.90天答案：C2.多项选择题（每题3分，共15分；每题至少有两个正确答案，多选少选均不得分）2.1下列属于Hadoop3.x新特性的有A.YARN联邦B.ErasureCodingC.NameNodeHAD.支持GPU调度答案：A、B、D2.2在SparkStreaming中，以下操作会导致shuffle的有A.reduceByKeyB.groupByKeyC.mapD.join答案：A、B、D2.3关于数据湖与数据仓库，正确的说法有A.数据湖采用“读时模式”B.数据仓库通常采用“写时模式”C.数据湖主要存储结构化数据D.数据仓库强调事务一致性答案：A、B、D2.4以下哪些指标可用于评估二分类模型在不均衡样本下的性能A.AUC-ROCB.F1-scoreC.AccuracyD.AUC-PR答案：A、B、D2.5在ClickHouse中，以下列类型属于稀疏索引的有A.MergeTreeB.ReplacingMergeTreeC.SummingMergeTreeD.Memory答案：A、B、C3.填空题（每空2分，共20分）3.1在PageRank算法中，阻尼系数d通常取值为________。答案：0.853.2若某Spark任务提交参数为--executor-memory4g--executor-cores2，则每个executor可同时运行________个task。答案：23.3在Kafka中，保证单个partition内消息有序的前提是生产者采用________发送策略。答案：按key分区且同步发送3.4使用HBaserowkey设计避免热点时，最常用的技术是在rowkey前添加________。答案：散列前缀或随机前缀3.5在FlinkCEP库中，模式序列“a.timesOrMore(3)”表示事件a连续出现________次及以上。答案：33.6若某Hive表存储为ORC格式，使用________参数可开启字典编码，进一步压缩字符串列。答案：orc.dictionary.key.threshold3.7在Pythonpandas中，对DataFramedf按列col降序排序并取前10行代码为________。答案：df.sort_values('col',ascending=False).head(10)3.8在TensorFlow2.x中，设置全局随机种子保证可重复性的API为________。答案：tf.random.set_seed3.9根据CAP理论，HBase在发生网络分区时优先保证________和分区容错性。答案：一致性3.10在Airflow中，任务实例状态为________时表示调度已提交但尚未执行。答案：queued4.简答题（每题8分，共24分）4.1（封闭型）简述MapReduce中“数据本地性”优化的三级优先级，并说明每种本地性对执行效率的影响。答案：（1）节点本地性（node-local）：任务与数据在同一DataNode，无需网络IO，效率最高；（2）机架本地性（rack-local）：任务与数据在同一机架不同节点，需经过交换机，效率次之；（3）离架本地性（off-rack）：任务与数据在不同机架，需跨核心交换机，网络开销最大，效率最低。4.2（开放型）某视频平台每日新增上亿条用户行为日志，需实时统计过去5分钟各频道同时在线用户数（UV）。请给出技术选型、核心流程与exactly-once保障措施，并说明窗口划分的触发机制。答案：技术选型：ApacheFlink+Kafka+Redis。核心流程：（1）日志经KafkaTopic按频道分区；（2）FlinkSource并行消费，采用EventTime语义，watermark间隔1秒；（3）keyBy(channel)后调用5分钟滑动窗口，滑动步长1分钟；（4）窗口内使用HashSet去重，窗口触发时输出频道-UV；（5）Sink到RedisHash，key设计为channel:window_end。Exactly-once：启用Flinkcheckpoint，状态后端为RocksDB，checkpoint间隔30秒，Kafkaproducer采用两阶段提交；RedisSink利用幂等SETNX。窗口触发：采用EventTimeTrigger，当watermark≥window_end时触发计算，允许延迟30秒，延迟数据通过侧输出流重算并更新Redis。4.3（封闭型）列出Hive中常见的四种文件格式，并从压缩率、列式存储支持、模式演化三个维度对比其优劣。答案：TextFile：压缩率低（可配GZIP），非列式，模式演化简单；SequenceFile：压缩率中等，非列式，模式演化需重写；ORC：压缩率高，原生列式，支持模式演化（新增列）；Parquet：压缩率高，原生列式，支持模式演化（新增/删除列）。5.计算题（每题10分，共20分）5.1某电商公司使用ALS算法训练隐语义模型，已知用户规模500万，商品规模200万，隐式反馈矩阵稀疏度为0.1%，隐特征维度f=50。（1）计算原始矩阵的存储空间（假设用float32稠密存储）；（2）若采用矩阵分解存储用户隐因子矩阵P与商品隐因子矩阵Q，计算压缩比；（3）若训练时采用分块SGD，每块样本量1万，内存中需同时保留P、Q及采样后的评分三元组，估算一次mini-batch所需内存（忽略开销，单位MB）。答案：（1）稠密矩阵元素数=5×10^6×2×10^6=10^13，float32占4字节，总空间=4×10^13B≈37.25TB；（2）P大小=5×10^6×50×4B≈1GB，Q大小=2×10^6×50×4B≈0.4GB，总分解存储≈1.4GB，压缩比=37.25TB/1.4GB≈26607；（3）一次mini-batch样本1万，三元组（u,i,r）每元组12字节，共120kB；需读取对应的用户隐因子50×4×1万=2MB，商品隐因子50×4×1万=2MB；总内存≈4.12MB。5.2给定ClickHouse表采用MergeTree引擎，按(dt,user_id)分区，每批次写入1000万行，每行平均200字节，dt取值连续30天。（1）估算未压缩数据总量；（2）若LZ4压缩率4:1，求磁盘占用；（3）若查询条件为dt=’2026-06-01’且user_id=12345，利用稀疏索引需读取多少mark文件（已知每8192行一个mark，user_id列走.bf二级索引，假阳性率1%）；（4）若改为dtbetween’2026-06-01’and’2026-06-07’，估算需扫描数据量。答案：（1）1000万×200×30=60GB；（2）60GB/4=15GB；（3）单分区行数1000万，mark数=1000万/8192≈1221；user_id二级索引BloomFilter假阳性率1%，需读取1221×1%≈12个mark；（4）7天共7×1000万=7000万行，压缩后扫描7000万/4=约3.5GB。6.综合分析题（21分）6.1背景：某市政府构建城市级交通大数据平台，汇聚出租车GPS、地铁闸机、公交IC卡、高速收费站、天气、节假日事件等数据，日均增量2TB，保留3年。需求包括：（1）实时计算任意路段当前5分钟平均车速；（2）离线分析任意OD对（起点-终点）在节假日与非节假日出行量差异；（3）支持突发事件下，回溯任意车辆精确轨迹，延迟<2秒；（4）保证数据合规，敏感字段脱敏。问题：a.设计整体架构，给出各层技术选型与理由（8分）；b.给出路段实时车速计算完整链路，包括数据源、解析、维表关联、窗口、容错、结果存储（6分）；c.说明如何实现OD分析中的节假日标记与数据倾斜优化（4分）；d.给出敏感字段脱敏策略，并说明如何在即席查询中保持分析可用性（3分）。答案：a.架构：采集层：Kafka+Flume+MQTT（车载终端）；消息层：Kafka集群，GPStopic按车辆哈希分区；流计算：Flink集群，checkpoint到HDFS，状态RocksDB；批计算：SparkonYARN，调度Airflow；存储：热数据：Kafka保留3天；温数据：ClickHouse按(dt,road_id)分区，SSD盘；冷数据：HDFS存ORC，ErasureCoding，NameNode联邦；轨迹索引：HBase+Phoenix，rowkey=vehicle_id+timestamp逆序；查询：Superset+Grafana，API网关限流；安全：Ranger+Kerberos，字段级脱敏，审计日志入Elasticsearch。b.实时车速链路：1）KafkaGPS流，JSON格式，含vehicle_id,longitude,latitude,speed,timestamp；2）FlinkSource并行度与Kafka分区一致；3）异步关联维表（路段静态信息），维表存储在RedisCluster，采用LRU缓存；4）地理匹配：使用GEOHASH+内存R树，将GPS点映射至路段road_id；5）keyBy(road_id)后定义5分钟滚动窗口，聚合计算平均车速=sum(speed)/count；6）窗口结果Sink到ClickHouse，表结构(road_id,window_start,window_end,avg_speed,vehicle_count)；7）容错：checkpoint30秒，开启exactly-once，Kafkaproducer两阶段提交；8）延迟数据：允许迟到30秒，侧输出流更新ClickHouse。c.OD分析优化：节假日标记：离线维表holiday_dim(date,is_holiday,holiday_type)每日更新，Spark广播join；数据倾斜：采样找出热点OD