2022年云南省大数据公司笔试题及答案

2022年云南省大数据公司笔试题及答案

一、单项选择题（总共10题，每题2分）1.以下不属于Hadoop生态核心组件的是？A.HDFSB.YARNC.SparkD.MapReduce2.数据湖（DataLake）通常存储的数据类型是？A.高度结构化的清洗数据B.原始的、多格式数据C.经过ETL的业务数据D.实时交易数据3.以下哪种数据库属于文档型NoSQL？A.HBaseB.RedisC.MongoDBD.Cassandra4.Spark的核心计算抽象是？A.DataFrameB.DatasetC.RDDD.DataSet5.ETL过程中“T”指的是？A.抽取（Extract）B.转换（Transform）C.加载（Load）D.传输（Transfer）6.数据倾斜（DataSkew）主要会导致分布式计算中的什么问题？A.内存溢出B.任务执行时间不均C.网络延迟D.存储不足7.Kafka的主要用途是？A.分布式文件存储B.实时消息队列C.关系型数据库D.机器学习框架8.以下哪种技术属于数据脱敏方法？A.哈希加密B.数据压缩C.索引优化D.分区存储9.监督学习算法的典型应用是？A.聚类分析B.异常检测C.图像分类D.关联规则挖掘10.数据治理的核心目标是？A.提升数据存储容量B.确保数据质量与合规性C.优化数据传输速度D.增加数据采集维度二、填空题（总共10题，每题2分）1.Hadoop的分布式文件系统是________。2.Spark的两种主要部署模式是Standalone和________。3.数据仓库（DataWarehouse）的四大特性是面向主题、集成性、稳定性和________。4.Kafka的基本概念包括生产者、消费者和________。5.NoSQL数据库主要分为键值型、列族型、文档型和________四大类。6.ETL流程的三个步骤是抽取、________和加载。7.数据湖常用的存储格式包括Parquet和________。8.数据脱敏的常见技术有掩码、匿名化和________。9.分布式系统的CAP理论指的是一致性、可用性和________。10.机器学习中，过拟合的常见解决方法包括正则化、增加数据量和________。三、判断题（总共10题，每题2分）1.Hadoop是一个实时计算框架。（）2.数据仓库主要支持OLTP（在线事务处理）操作。（）3.NoSQL数据库适合存储结构化程度高的关系型数据。（）4.Kafka是一种分布式消息队列系统。（）5.数据湖通常存储经过清洗和结构化的业务数据。（）6.Spark的RDD（弹性分布式数据集）是不可变的。（）7.数据倾斜会导致分布式任务中部分节点运行缓慢甚至失败。（）8.数据脱敏等同于数据加密，两者可以互换使用。（）9.无监督学习需要标注好的训练数据。（）10.数据治理仅涉及技术层面的工具和平台建设。（）四、简答题（总共4题，每题5分）1.简述Hadoop生态中的主要组件及其核心功能。2.数据仓库与数据湖的主要区别有哪些？3.简述ETL的主要流程及关键挑战。4.列举大数据在智慧城市中的至少4个应用场景。五、讨论题（总共4题，每题5分）1.分析分布式计算中数据倾斜的原因及常见解决策略。2.讨论数据安全与隐私保护在大数据应用中的重要性及主要措施。3.对比Spark与HadoopMapReduce的优势，并说明其适用场景。4.论述数据治理对企业数据资产化的作用。答案一、单项选择题1.C2.B3.C4.C5.B6.B7.B8.A9.C10.B二、填空题1.HDFS2.YARN3.时变性4.主题（Topic）5.图型6.转换7.ORC8.泛化9.分区容错性10.早停法三、判断题1.×2.×3.×4.√5.×6.√7.√8.×9.×10.×四、简答题1.Hadoop生态核心组件包括：HDFS（分布式文件存储）、YARN（资源管理与任务调度）、MapReduce（分布式计算框架）、Hive（基于Hadoop的数据仓库工具，支持类SQL查询）、HBase（列式存储的NoSQL数据库）、ZooKeeper（分布式协调服务）。各组件协同实现海量数据的存储、计算与管理。2.主要区别：数据形态（数据仓库存储结构化清洗数据，数据湖存储原始多格式数据）；处理顺序（数据仓库先清洗后分析，数据湖先存储后处理）；应用场景（数据仓库支持确定性业务分析，数据湖支持探索性分析）；技术架构（数据仓库依赖ETL，数据湖依赖元数据管理）。3.ETL流程：抽取（从数据源获取数据）、转换（清洗、整合、标准化数据）、加载（将处理后的数据存入目标库）。关键挑战包括数据质量（缺失、重复）、跨系统一致性（格式差异）、性能瓶颈（海量数据处理效率）、实时性要求（需平衡延迟与准确性）。4.应用场景：智能交通（实时路况分析与调度）、智能安防（视频监控与异常行为识别）、公共服务（政务数据共享与一站式办理）、环境监测（空气质量与水资源实时预警）、能源管理（电网负荷预测与优化）。五、讨论题1.数据倾斜原因：部分Key数据量远大于其他Key（如热点ID），导致计算任务分配不均。解决策略：预处理（过滤或聚合热点Key）、加盐分散（为Key添加随机前缀）、调整并行度（增加热点分区的计算资源）、使用Combiner（本地聚合减少传输量）、切换计算框架（如Spark的CoGroup优化）。2.重要性：大数据应用涉及大量个人与企业敏感信息，泄露可能导致法律风险与信任危机；合规性（如GDPR、《数据安全法》）要求必须保护隐私。主要措施：数据脱敏（匿名化、掩码）、加密存储（传输与存储加密）、访问控制（角色权限管理）、隐私计算（联邦学习、多方安全计算）、审计监控（操作日志追踪）。3.Spark优势：内存计算（减少磁盘IO）、DAG执行引擎（多阶段任务无缝衔接）、丰富API（支持Scala/Java/Python/R）、支持流批一体（SparkStreaming/StructuredStreaming）。MapReduce优势：适合超大规模批处理，稳定性高。适用场景：Spark更适合实时/近实时计算、迭代式机器学习；MapReduce适合离线批处理、对稳定性要求高的场