中国联通大数据工程师笔试题库及答案

2026年中国联通大数据工程师笔试题库及答案一、单选题（共5题，每题2分）1.题干：在Hadoop生态系统中，HDFS主要用于存储大规模数据集，其设计特点不包括以下哪项？A.高吞吐量B.高容错性C.低延迟访问D.数据局部性优化答案：C解析：HDFS通过块级存储和副本机制实现高吞吐量和容错性，但设计上优先保证高吞吐量而非低延迟访问。低延迟访问更适合SSD或内存数据库。2.题干：以下哪种算法不属于聚类算法？A.K-MeansB.DBSCANC.AprioriD.HierarchicalClustering答案：C解析：Apriori算法属于关联规则挖掘算法，用于发现数据项之间的频繁项集，而其余三项均为聚类算法。3.题干：在Spark中，以下哪个操作属于RDD的转换操作？A.`mapPartitions`B.`reduceByKey`C.`filter`D.`collect`答案：C解析：`filter`是转换操作（返回新的RDD），而`mapPartitions`、`reduceByKey`属于有状态转换，`collect`属于动作操作。4.题干：中国联通5G网络中，时延敏感型业务（如AR/VR）对网络的要求不包括以下哪项？A.低时延（1-10ms）B.高带宽（10Gbps以上）C.高可靠性（99.999%）D.高频谱效率答案：D解析：时延敏感型业务优先要求低时延和高可靠性，高频谱效率更适用于大连接场景（如物联网）。5.题干：在数据预处理中，处理缺失值的方法不包括以下哪项？A.删除缺失值B.均值/中位数填充C.KNN插值D.特征编码答案：D解析：特征编码（如One-Hot）用于处理分类变量，其余三项均为缺失值处理方法。二、多选题（共4题，每题3分）1.题干：在Flink中，以下哪些属于其核心特性？A.有状态计算B.支持事件时间处理C.低延迟流处理D.严格容错机制答案：A、B、C、D解析：Flink支持有状态计算、事件时间处理、低延迟流处理，并具备分布式快照实现严格容错。2.题干：中国联通大数据应用场景中，以下哪些属于物联网数据分析范畴？A.智能车联网流量预测B.工业设备故障诊断C.城市交通信号优化D.5G网络用户行为分析答案：A、B、C解析：D属于传统用户行为分析，前三项均涉及物联网设备数据。3.题干：在SparkSQL中，以下哪些函数属于聚合函数？A.`count`B.`avg`C.`collect_list`D.`first`答案：A、B、D解析：`collect_list`属于窗口函数，其余均为聚合函数。4.题干：在数据仓库设计中，星型模型包含哪些核心组件？A.事实表B.维度表C.聚集表D.索引表答案：A、B解析：星型模型包含事实表和维度表，聚集表属于雪花模型扩展。三、判断题（共5题，每题2分）1.题干：MapReduce框架在处理大规模数据时，其Map阶段和Reduce阶段可以并行执行。答案：正确解析：Map阶段在不同节点并行执行，Reduce阶段按Key聚合，存在数据依赖但可部分并行。2.题干：中国联通的“大连接”战略主要针对低功耗广域网（LPWAN）技术。答案：正确解析：LPWAN（如NB-IoT、Cat.1）支持海量物联网设备连接。3.题干：Hive中的HiveQL默认使用MapReduce执行查询。答案：正确解析：早期Hive依赖MapReduce，当前已支持Tez和Spark，但默认仍为MapReduce。4.题干：机器学习中的过拟合会导致模型在训练集上表现良好，但在测试集上表现差。答案：正确解析：过拟合模型学习到噪声，泛化能力弱。5.题干：中国联通的5G网络支持网络切片技术，可隔离不同业务场景的QoS需求。答案：正确解析：网络切片是5G关键特性，为垂直行业提供定制化网络服务。四、简答题（共3题，每题5分）1.题干：简述Hadoop生态系统中YARN的职责及其优势。答案：-职责：YARN（YetAnotherResourceNegotiator）负责资源管理和任务调度，将MapReduce框架解耦为资源管理器和任务执行器。-优势：支持多种计算框架（如Spark、Flink），提升资源利用率，降低单点故障风险。2.题干：中国联通大数据平台中，如何实现实时数据与离线数据的融合分析？答案：-实时数据：通过Flink或Kafka+SparkStreaming采集，存入HDFS或Redis。-离线数据：使用Hive或DeltaLake存储，通过SparkSQL统一处理。-融合方式：基于时间戳或业务ID关联，使用Join操作整合分析。3.题干：在数据挖掘中，特征工程的主要步骤有哪些？答案：-数据清洗：处理缺失值、异常值。-特征提取：如PCA降维。-特征构造：组合或衍生新特征。-特征选择：过滤冗余特征（如L1正则化）。五、编程题（共2题，每题10分）1.题干：使用Python（Pandas）实现以下功能：-读取CSV文件，筛选出年龄大于30且收入高于50000的记录。-统计每个城市的人数分布，并按人数降序排列。答案：pythonimportpandasaspd读取数据df=pd.read_csv('data.csv')筛选条件filtered=df[(df['age']>30)&(df['income']>50000)]城市分布统计city_counts=df['city'].value_counts().sort_values(ascending=False)print(city_counts)2.题干：使用SparkSQL实现以下功能：-读取JSON文件，创建DataFrame。-添加一列`age_group`，根据年龄分段（<20:"青年",20-40:"中年",>40:"老年"）。答案：pythonfrompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportwhenspark=SparkSession.builder.appName("example").getOrCreate()读取JSONdf=spark.read.json("data.json")添加年龄分段df=df.withColumn("age_group",when(df["age"]<20,"青年")\.when(df["age"].between(20,40),"中年")\.otherwise("老年"))df.show()六、综合分析题（共1题，15分）题干：中国联通某省分公司计划建设智慧交通大数据平台，需支持以下需求：1.实时采集路口摄像头流量数据（每5分钟1条记录）。2.离线存储历史交通数据（每日汇总至Hive）。3.分析拥堵模式（如连续3小时车流量下降超过30%），并生成预警。问题：-设计数据架构，说明各组件选型及原因。-描述实时与离线数据融合的流程。-编写SparkSQL实现拥堵检测逻辑。答案：1.数据架构设计：-实时采集：使用Kafka采集摄像头数据，推送到Flink实时处理。-离线存储：将Flink结果存入HDFS，通过Hive建表分析历史数据。-计算引擎：Flink（实时）+Spark（离线）。-优势：Flink低延迟处理交通流，Spark支持复杂SQL分析。2.数据融合流程：-实时数据：Kafka->Flink->HDFS（Append模式）。-离线数据：Hive表关联HDFS数据，通过SparkSQLJoin操作。3.SparkSQL拥堵检测：sqlWITHtrafficAS(SELECTtimestamp,site_id,COUNT()ASflowFROMraw_dataGROUPBYtimestamp,site_id)SELECTsite_id,timestamp,flowFROMtraffict1WHEREflow<0.7(SELECTflo