2026中国联通大数据考试及答案

2026中国联通大数据考试及答案一、单项选择题（每题1分，共20分）1.在大数据技术体系中，Hadoop的核心组件包括（）。A.HDFS和MapReduceB.Spark和FlinkC.Hive和PigD.Kafka和Zookeeper2.HDFS默认副本数是多少？A.1B.2C.3D.43.下列数据库中，属于关系型数据库的是（）。A.HBaseB.MongoDBC.MySQLD.Cassandra4.在Spark中，下列哪个操作属于行动（Action）操作？A.mapB.filterC.countD.groupByKey5.数据仓库区别于传统数据库的主要特征不包括（）。A.面向主题B.集成C.非易失D.实时更新6.在Hive中，将一行数据拆分为多行的函数是（）。A.collect_listB.explodeC.concatD.row_number7.下列文件格式中，属于列式存储格式的是（）。A.ParquetB.AvroC.SequenceFileD.JSON8.大数据数据质量管理中，"数据及时性"指的是（）。A.数据没有缺失B.数据准确反映真实世界C.数据在规定时间内到达并可用D.数据格式统一9.在联通大数据平台中，常用于实时日志采集的工具是（）。A.FlumeB.SqoopC.DataXD.Oozie10.在MapReduce中，排序与合并发生在哪个阶段？A.Map端输入B.Shuffle阶段C.Reduce阶段输出D.作业提交阶段11.下列哪个算法属于无监督学习算法？A.决策树B.K-meansC.逻辑回归D.支持向量机12.在数据治理体系中，用于描述数据属性、含义、来源、关系的信息是（）。A.主数据B.元数据C.参考数据D.数据血缘13.根据个人信息保护相关要求，用户手机号码属于（）。A.一般个人信息B.敏感个人信息C.公开信息D.匿名化信息14.在数据仓库分层架构中，ODS层的主要作用是（）。A.存放面向业务分析的维度模型B.存放应用集市数据C.贴源存储，保持与业务系统一致D.存放最终报表结果15.下列哪种方式可有效缓解Spark数据倾斜？A.提高并行度，增加分区数B.对大key加随机前缀后分两阶段聚合C.将所有数据都广播到每个节点D.关闭动态资源分配16.在中国联通大数据平台中，用于批量数据同步的工具不推荐使用（）。A.SqoopB.DataXC.FlumeD.Kettle17.下列不属于数据可视化常用工具的是（）。A.EChartsB.TableauC.SupersetD.Zookeeper18.在SparkSQL中，对查询结果进行缓存以提升后续计算性能的方法是（）。A.persist()B.cacheFile()C.count()D.collect()19.关于Flink与SparkStreaming的区别，下列说法正确的是（）。A.SparkStreaming是真正的实时流处理B.Flink是基于微批处理的流计算框架C.Flink支持事件时间处理和精确一次语义D.SparkStreaming支持事件时间处理20.在用户画像建模中，给用户打标签的过程属于（）。A.数据采集B.数据存储C.数据加工与特征工程D.数据可视化二、多项选择题（每题2分，共20分）1.大数据的"4V"特征通常包括（）。A.Volume（数据量大）B.Velocity（速度快）C.Variety（多样性）D.Value（价值密度低）E.Vulnerability（脆弱性）2.在HDFS写入过程中，可能涉及的角色有（）。A.ClientB.NameNodeC.DataNodeD.ResourceManagerE.NodeManager3.下列属于数据仓库维度建模方法的是（）。A.星型模型B.雪花模型C.事实星座模型D.ER建模E.瀑布模型4.下列哪些工具或框架可以用于大数据任务调度？（）A.AzkabanB.DolphinSchedulerC.OozieD.HiveE.Atlas5.常见的数据脱敏方法包括（）。A.数据替换B.数据掩码C.数据加密D.数据泛化E.数据删除6.在Spark中，与RDD相比，DataFrame的优势包括（）。A.提供Schema信息B.内置Catalyst优化器C.支持SQL查询D.支持Java序列化E.只能用于批处理7.中国联通大数据平台的典型数据源包括（）。A.BSS/OSS系统数据B.信令数据C.互联网日志D.客服录音文本E.气象卫星原始数据8.下列属于数据质量问题常见类型的有（）。A.数据缺失B.数据重复C.数据不一致D.数据噪声E.数据美观9.下列关于Hive和HBase的区别，说法正确的有（）。A.Hive适合复杂分析，HBase适合实时查询B.Hive基于SQL封装MapReduce，HBase是列式NoSQL数据库C.HBase支持原生二级索引D.Hive支持事务的ACID特性E.两者都不能处理半结构化数据10.在联通大数据安全管理中，防止数据泄露的措施包括（）。A.权限管控B.数据加密C.访问审计D.数据脱敏E.共享账号三、判断题（每题1分，共10分）1.HDFS设计为存储大量小文件，因此适合所有大数据场景。2.Spark比MapReduce速度快的主要原因之一是尽可能在内存中完成计算。3.Hive默认支持行级更新和删除操作。4.元数据是描述其他数据的数据。5.在分布式系统中，CAP定理指出一致性、可用性和分区容错性三者最多同时满足两个。6.Flink提供了精确一次（Exactly-once）语义支持。7.数据仓库中的数据应当是易失的，每次分析查询都会覆盖原有数据。8.数据脱敏可以完全避免隐私泄露。9.Parquet文件支持谓词下推，可以大幅减少扫描的数据量。10.中国联通大数据平台必须将所有数据存储在私有云上，不能使用任何开源技术。四、简答题（每题5分，共20分）1.简述HDFS读取文件的基本流程。2.简述数据仓库分层架构中DWD层和DWS层的主要作用与区别。3.简述MapReduce中Combiner的作用及其与Reducer的关系。4.简述数据治理的定义，并列出至少四项核心工作内容。五、案例分析题（每题15分，共30分）1.某省联通分公司要分析用户套餐外流量使用情况，以支撑大流量包精准推荐。现有数据分散在三个系统：用户基本信息表（userid,age,gender,city,planid）、套餐表（planid,planname,flowquota,price）、流量使用月表（userid,month,total_flow）。请设计一套数据处理与分析方案，包括数据采集、存储、清洗、分析建模，以及最终输出的关键指标。2.某实时风控场景中，需要基于用户位置信令数据，对疑似"代理拨号"或"养卡"行为进行预警。数据以流式方式产生，平台使用Flink进行实时处理。请说明实时数据接入后在Flink中的主要处理步骤，并列举至少三种可用于识别异常行为的特征，以及如何评估预警效果。参考答案与解析一、单项选择题1.答案：A解析：Hadoop的核心是分布式存储HDFS和分布式计算框架MapReduce。Spark、Flink是独立计算引擎，Hive、Pig构建在Hadoop之上，Kafka是消息队列，Zookeeper是协调服务。2.答案：C解析：HDFS默认副本因子为3，兼顾容错与存储成本。3.答案：C解析：MySQL是典型的关系型数据库；HBase、Cassandra是列族数据库，MongoDB是文档数据库，均属于NoSQL。4.答案：C解析：count会触发实际计算并返回结果，是Action；map、filter、groupByKey都是转换操作，返回新的RDD。5.答案：D解析：数据仓库是面向主题、集成、相对稳定（非易失）、反映历史变化的；不要求实时更新。6.答案：B解析：explode是UDTF（用户定义表生成函数），用于将数组或Map拆分为多行；collect_list是聚合函数，实现行转列。7.答案：A解析：Parquet和ORC是常见的列式存储格式，适用于分析型查询；Avro、SequenceFile、JSON为行式存储。8.答案：C解析：及时性强调数据获取和处理的时效性；准确性对应B，完整性对应A，一致性对应D。9.答案：A解析：Flume是分布式日志采集系统，适合流式日志收集；Sqoop和DataX用于离线批量数据传输，Oozie用于工作流调度。10.答案：B解析：Shuffle阶段包含分区、排序、溢写合并、拉取合并等步骤。11.答案：B解析：K-means聚类在无标签数据上学习，是无监督学习；其他三个均为有监督分类算法。12.答案：B解析：元数据是"关于数据的数据"，描述数据的结构、属性、来源等；血缘是元数据的一种特殊关系视图。13.答案：B解析：手机号可单独识别特定自然人，属于敏感个人信息，处理时需遵循更严格的安全要求。14.答案：C解析：ODS（贴源层）用于将源系统数据几乎不加工地同步存储，保留原始明细；DWD层做清洗和维度建模，DWS层汇总，ADS层应用。15.答案：B解析：对倾斜key加盐拆分再聚合是常用手段。仅提高并行度往往不能解决单key数据量过大的问题。16.答案：C解析：Flume面向流式日志采集，不适合大批量结构化数据的稳定同步；Sqoop、DataX、Kettle均可用于批量异构数据同步。17.答案：D解析：Zookeeper是分布式协调服务，不是可视化工具。18.答案：A解析：persist()可指定存储级别缓存DataFrame/Dataset；cache()是persist(MEMORYANDDISK)的简写。19.答案：C解析：Flink是原生的流处理引擎，支持事件时间、Watermark和端到端精确一次；SparkStreaming本质是微批处理。20.答案：C解析：标签是结构化、语义化、可应用的特征，画像建模依赖对原始数据的清洗、加工、特征构建，属于数据加工与特征工程环节。二、多项选择题1.答案：ABCD解析：经典4V为Volume、Velocity、Variety、Value；Veracity（真实性）是后来扩展的5V内容。2.答案：ABC解析：写入文件时Client向NameNode请求，并流式写入DataNode；ResourceManager和NodeManager属于YARN资源管理。3.答案：ABC解析：维度建模包括星型、雪花和事实星座（星座模型）；ER建模常用于三范式，瀑布模型是软件工程模型。4.答案：ABC解析：Azkaban、DolphinScheduler、Oozie都是工作流调度工具；Hive是数据仓库工具，Atlas是元数据治理工具。5.答案：ABCD解析：替换、掩码、加密、泛化均为常用脱敏手段；数据删除会破坏数据完整性，不属于脱敏。6.答案：ABC解析：DataFrame带Schema，利用Catalyst优化查询，并可执行SQL；Java序列化是RDD的特性，DataFrame同样可用于流处理。7.答案：ABCD解析：联通平台主要汇聚电信运营数据，包括业务支撑系统（BSS）、运营支撑系统（OSS）、信令、日志、客服等；气象卫星数据非运营商核心数据源。8.答案：ABCD解析：缺失、重复、不一致、噪声都是典型数据质量问题；美观不属于数据质量评估维度。9.答案：AB解析：HBase不支持原生二级索引，Hive默认不保证ACID；两者均可处理半结构化数据，因此C、D、E均错误。10.答案：ABCD解析：权限、加密、审计、脱敏是基本安全措施；共享账号会削弱安全控制，属于违规行为。三、判断题1.答案：错误解析：HDFS适合大文件，海量小文件会占用大量NameNode内存，降低读写效率。2.答案：正确3.答案：错误解析：Hive默认面向批量分析，不支持行级更新；需借助事务表或重写数据实现。4.答案：正确5.答案：正确6.答案：正确7.答案：错误解析：数据仓库中的数据是相对稳定的，面向历史分析，不会因查询而修改。8.答案：错误解析：脱敏降低泄露风险，但若脱敏不当或与外部数据关联，仍可能重新识别用户，无法做到绝对安全。9.答案：正确10.答案：错误解析：可以基于开源技术栈（如Hadoop、Spark）构建，也支持混合云部署。四、简答题1.答案：（1）客户端调用FileSystem.open()并发送路径给NameNode；（2）NameNode返回文件的数据块位置列表（包含副本所在DataNode）；（3）客户端根据就近原则选择DataNode，并从最近的副本读取数据块；（4）读完一个块后，继续请求下一批块位置，直到读完全部数据；（5）客户端关闭输入流，完成读取。解析：读取流程体现了"移动计算比移动数据更经济"的思路，NameNode只负责元数据管理，不承担数据流传输。2.答案：DWD（明细数据层）对ODS层数据进行清洗、脱敏、标准化和维度退化，保留最细粒度的事实明细，供下游灵活分析。DWS（汇总数据层）在DWD基础上按主题进行轻度汇总，生成宽表或聚合指标，提升查询性能。区别：DWD是明细粒度的整合模型，DWS是面向分析主题的汇总模型；DWS的数据量通常远小于DWD。解析：分层设计使数据职责清晰，既能追溯明细，又能快速输出指标。3.答案：Combiner是在Map端执行的本地聚合器，对同一Map任务的输出先做局部合并，从而减少Shuffle阶段传输到Reduce的数据量。Combiner与Reducer的逻辑通常相同，但不是所有业务都可以使用，例如求平均值时不能直接使用同一Reducer逻辑。Combiner必须在Map端重复执行时仍能保持语义正确。解析：Combiner是一种优化手段，其运行次数不确定，因此要求局部合并结果与全局合并结果等价。4.答案：数据治理是组织对数据资产管理行使权力和控制的活动集合，涵盖数据标准、数据质量、数据安全、元数据、主数据、数据生命周期等管理领域。核心工作内容：（1）制定和执行数据标准；（2）开展数据质量管理，建立监控与改进机制；（3）实施元数据管理，记录数据血缘；（4）构建数据安全与隐私保护体系；（5）建立数据管理组织与流程规范。解析：数据治理不是一次性工具部署，而是持续的机制建设，目标是提升数据可用性、一致性和安全性。五、案例分析题1.答案：（1）数据采集：通过Sqoop或DataX将业务库数据定时同步到大数据平台HDFS，采用全量加增量方式；实时要求不高时可每晚批量同步。（2）数据存储：数据落入Hive数仓的ODS层，保留原始数据；再进入DWD层生成明细表，关联user、plan、flow三张表，得到"用户套餐流量明细表"，含字段：userid、age、city、planid、flowquota、totalflow、月份等。（3）数据清洗：•过滤userid为空、totalflow为负等异常记录；•对日期格式、城市编码统一标准化；•对重复记录进行去重。（4）指标计算与特征构建：•计算套餐外流量useextra=max(totalflow-flow_quota,0)；•计算近3个月平均流量、超出次数、超出比例等派生特征；•按城市、年龄段汇总流量超套用户数、人