2026年互联网大数据技术与应用考试真题及答案

2026年互联网大数据技术与应用考试真题及答案1.单项选择题（每题2分，共20分）1.1在HDFS中，NameNode的主要职责是A.存储实际数据块B.管理文件系统元数据C.执行Map任务D.执行Reduce任务答案：B1.2下列哪一项不是Kafka的核心组件A.ProducerB.ConsumerC.BrokerD.JobTracker答案：D1.3SparkRDD的懒执行特性是指A.任务提交后立即执行B.遇到行动算子时才真正执行C.数据立即写入磁盘D.数据立即写入内存答案：B1.4在ClickHouse中，最适合做高基数去重的函数是A.uniqExactB.uniqCombinedC.uniqHLL12D.countDistinct答案：B1.5Flink的Checkpoint机制基于A.两阶段提交协议B.分布式快照算法C.Paxos算法D.Raft算法答案：B1.6若某电商表user_order(order_id,user_id,sku_id,amt,dt)按dt做分区，按user_id做分桶，最可能优化的查询场景是A.统计每天销售额B.查询某用户最近30天订单C.查询某商品每天销量D.查询某天所有订单明细答案：B1.7在AWSS3中，以下哪种存储类别适合保存一年访问一次的日志A.S3StandardB.S3Intelligent-TieringC.S3GlacierDeepArchiveD.S3OneZone-IA答案：D1.8使用HBaseRowKey设计时，为避免热点应优先采用A.自增LongB.哈希前缀+时间戳C.逆序域名D.时间戳+自增Long答案：B1.9在数据湖Iceberg中，实现行级更新依赖的核心数据结构是A.ManifestFileB.DeltaLogC.AvroFileD.SequenceFile答案：B1.10某推荐系统采用Wide&Deep模型，其中Deep部分的主要作用是A.增强记忆能力B.增强泛化能力C.降低计算量D.加速推理答案：B2.多项选择题（每题3分，共15分，每题至少两个正确答案，多选少选均不得分）2.1关于HiveonSpark与HiveonTez对比，正确的有A.两者均使用YARN作为资源管理器B.HiveonSpark支持RDD缓存C.HiveonTez的DAG模型可减少落盘D.HiveonSpark默认使用MapReduce执行引擎答案：A、B、C2.2下列属于FlinkTimeCharacteristics的有A.ProcessingTimeB.IngestionTimeC.EventTimeD.WindowTime答案：A、B、C2.3在TensorFlowExtended(TFX)生态中，可用于数据验证的组件有A.TensorFlowDataValidationB.TransformC.ExampleGenD.SchemaGen答案：A、D2.4以下做法能够降低Kafka集群的磁盘压力A.开启压缩并选择snappyB.提高replica数量C.调小log.retention.bytesD.使用KafkaJumboPageCache答案：A、C2.5关于数据仓库StarSchema与SnowflakeSchema，正确的有A.Star的查询性能通常优于SnowflakeB.Snowflake维度表进一步范式化C.Star占用存储空间一定小于SnowflakeD.Snowflake维度层级更清晰答案：A、B、D3.填空题（每空2分，共20分）3.1在Spark中，________算子用于将RDD[(K,V)]根据K进行聚合，并返回RDD[(K,Iterable<V>)]。答案：groupByKey3.2HDFS默认块大小为________MB（Hadoop3.x）。答案：1283.3在PostgreSQL中，创建支持JSONB类型字段的索引，可使用________索引类型以加速@>操作符。答案：GIN3.4FlinkCEP库中，模式序列“a+”表示________。答案：一个或多个连续的a事件3.5在数据治理框架ApacheAtlas中，________类型用于描述数据血缘的输入输出关系。答案：Process3.6若某Parquet文件采用PLAIN_DICTIONARY编码，则其字典页上限为________条值。答案：2^323.7在ClickHouse的MergeTree引擎中，________子句可指定采样键，实现近似查询加速。答案：SAMPLEBY3.8使用Airflow调度时，若task_id为t1，下游任务通过________运算符与t1建立依赖。答案：>>3.9在Redis中，实现HyperLogLog去重的命令是________。答案：PFADD3.10在AWSGlueDataCatalog中，表分区的元数据存储在________服务中。答案：Glue4.判断题（每题1分，共10分，正确写“T”，错误写“F”）4.1SparkSQL的join操作一定会触发shuffle。答案：F4.2Kafka的consumergrouprebalance由coordinator负责。答案：T4.3HBase中列族数量越多，性能越好。答案：F4.4在数据湖格式DeltaLake中，时间旅行可通过VERSIONASOF语法实现。答案：T4.5使用Zookeeper的ephemeral节点可实现服务注册中心的自动摘除。答案：T4.6Flink的KeyedState只能在RichFunction中使用。答案：T4.7在Hive中，ORC文件格式支持ACID事务的前提是表必须为分桶表。答案：T4.8在MySQL8.0中，窗口函数ROW_NUMBER()与RANK()结果总一致。答案：F4.9使用ElasticSearch的dynamicmapping时，首次写入的文档字段类型决定mapping。答案：T4.10在数据仓库中，事实表的粒度越细，可回答的业务问题越少。答案：F5.简答题（封闭型，每题6分，共18分）5.1简述Spark3.0AdaptiveQueryExecution(AQE)的三大优化点。答案：1)动态合并分区：运行时检测小分区，自动合并减少task数；2)动态切换join策略：根据实际数据量自动选择BroadcastHashJoin而非SortMergeJoin；3)动态优化倾斜join：检测到数据倾斜后，自动拆分大分区，引入随机前缀避免长尾task。5.2说明Flink实现Exactly-Once语义的两阶段提交步骤。答案：1)预提交阶段：JobManager触发checkpoint，所有算子完成本地快照并向外系统写入“预提交”状态；2)提交阶段：当checkpointbarrier成功对齐且所有sink完成预提交，JobManager通知sink执行正式commit；3)若任一节点失败，回滚至最近一次成功的checkpoint，已预提交但未commit的数据被丢弃，保证端到端Exactly-Once。5.3列举三种常见的数据倾斜场景及对应缓解方案。答案：1)Map端倾斜：使用两阶段聚合（加盐局部聚合+全局聚合）；2)Join端倾斜：将热点key提取到广播变量，走map端join；3)Reduce端倾斜：自定义分区器，对热点key再哈希二次分区，或开启SparkAQE自动拆分。6.简答题（开放型，每题8分，共16分）6.1某短视频公司日活1亿，需在5分钟内完成实时推荐模型特征回填。请设计一套基于Flink的实时特征计算链路，要求：支持事件乱序、可回溯、可水平扩展，并说明状态存储选型与故障恢复策略。答案：采用FlinkSQL+DataStream混合模式：1)Source：Kafka多分区分流，开启EventTime+WaterMark，允许3分钟乱序；2)状态存储：使用RocksDBStateBackend+增量checkpoint，HDFS持久化，checkpoint间隔30s；3)特征计算：滑动窗口统计用户30分钟观看次数，使用WindowedOperator+MapState存储中间结果；去重统计曝光视频，使用ValueState+TTL(1h)防止内存膨胀；4)输出：双写到RedisCluster（低延迟）与Iceberg表（可回溯），Iceberg按event_time分区；5)故障恢复：开启FlinkHAZookeeper+Kubernetesoperator，checkpoint失败率超过5%自动重启job；6)水平扩展：keyBy(user_id%1024)保证并发度1024，可随Kafka分区线性扩容。6.2某电商大促期间，Hive表ods_order_dt按天分区，单分区数据量达800GB，ORC格式。业务方需频繁跑“近7天销售额”SQL，但每次耗时15分钟。请给出不迁移平台前提下的优化方案，并评估效果。答案：1)构建物化视图：使用Hive3.0的MaterializedView，预聚合近7天销售额，刷新间隔1小时；2)列裁剪+索引：对amt、dt、sku_id建立ORC级别的BloomFilter，减少stripe扫描；3)分区合并：将7天小文件通过insertoverwrite合并为64MB块，降低NN压力；4)缓存加速：开启HiveLLAP，将热分区常驻内存，实测查询降至40秒；5)压缩升级：将snappy改为zstd，压缩率提升30%，磁盘IO减少25%，整体耗时降至90秒；6)资源调优：TezAM容器内存提升至8GB，并行度由200调至400，CPU利用率提升35%。7.计算题（共2题，每题10分，共20分）7.1某Kafka集群共6台broker，单盘2TBSATA，每台12盘，副本因子3，平均峰值写入速率500MB/s，保留7天。计算所需最小磁盘数，并评估是否够用。答案：单盘有效容量=2TB×0.9(预留)=1.8TB=1800GB单台有效容量=12×1800=21600GB集群有效容量=6×21600=129600GB日写入量=500MB/s×86400s=43200GB7日总量=43200×7=302400GB考虑副本因子3，实际存储=302400×3=907200GB所需最小磁盘数=907200/1800=504块现有72块，缺口432块，故不够用。7.2使用SparkALS训练推荐模型，已知用户量1亿，商品量500万，隐式反馈，rank=200，alpha=1.0，lambda=0.01。估算存储userFeatures与itemFeatures的内存占用（float32）。答案：userFeatures矩阵：1e8×200×4B=80GBitemFeatures矩阵：5e6×200×4B=4GB总计=84GB考虑RDD对象开销+索引约20%，总内存≈84×1.2=100.8GB，需至少128GBexecutor内存。8.综合分析题（共2题，每题15分，共30分）8.1某金融公司计划搭建实时反欺诈平台，要求99.9%可用性、200ms内返回结果、日处理消息20TB。现有技术栈：Kafka、Flink、RedisCluster、ClickHouse、SpringBoot。请给出端到端架构图，说明流量走向、各组件职责、容量规划与降级策略。答案：架构：1)采集层：APP→Nginx→Kafka(12节点，10分片，副本2)，峰值入流量300kmsg/s，单条2KB；2)计算层：Flink(128slot)消费Kafka，复杂规则+机器学习模型（PMML），状态RocksDB+增量checkpoint；3)缓存层：RedisCluster(100主+100从，每主10GB)，存储用户画像与黑灰名单，命中率95%；4)存储层：ClickHouse(12分片×2副本)，写入本地表，用于事后分析，峰值写入5MB/s；5)服务层：SpringBoot(50实例)通过gRPC调用FlinkCEP结果，P99延迟150ms；容量规划：Kafka日吞吐=300k×2KB×86400≈20TB，磁盘需保留3天，副本2，需磁盘=20TB×3×2/0.7≈171TB，每台broker14TB×12=168TB，满足；降级：Redis故障→走本地Caffeine缓存，命中率降至70%，延迟升至300ms；Flink故障→切换离线规则引擎，延迟升至2s，可用性保持99.9%。8.2某市政府开放数据平台需整合公安、交通、气象、卫健委等30个委办局数据，总量3PB，结构化占60%，半结构化30%，非结构化10%。要求：统一元数据、数据血缘可追溯、敏感数据脱敏、支持即席查询<10秒。请给出数据湖落地方案，含技术选型、数据建模、安全合规、成本估算。答案：技术选型：1)存储：阿里云OSS(标准+IA+冷)分级，数据湖格式Iceberg；2)计算：EMRSpark+Presto，弹性伸缩；3)元数据：DataWork