2020年云南大数据公司内部笔试题库泄露版附答案

2020年云南大数据公司内部笔试题库泄露版附答案

一、单项选择题（总共10题，每题2分）1.在大数据生态系统中，主要用于分布式存储大规模数据集的框架是？A.SparkB.HiveC.HDFSD.Kafka2.下列哪项不是NoSQL数据库的典型类型？A.键值存储B.文档数据库C.关系数据库D.列式存储3.MapReduce编程模型的核心阶段是？A.Map和SortB.Map和ReduceC.Shuffle和ReduceD.Split和Map4.以下关于数据仓库特征的描述，错误的是？A.面向主题B.实时更新C.集成性D.非易失性5.Kafka的主要应用场景是？A.批处理计算B.实时流数据管道C.结构化查询D.图计算6.在Hive中，用于对表进行分区的关键字是？A.`GROUPBY`B.`ORDERBY`C.`PARTITIONEDBY`D.`CLUSTEREDBY`7.CAP定理中，分布式系统无法同时满足的三个特性是？A.一致性、原子性、持久性B.一致性、可用性、分区容错性C.可用性、扩展性、可靠性D.原子性、隔离性、持久性8.Flink的主要优势在于？A.高吞吐批处理B.低延迟流处理C.复杂事务支持D.强一致性存储9.下列哪项技术常用于处理非结构化文本数据的情感分析？A.关联规则挖掘B.聚类分析C.自然语言处理D.时间序列预测10.数据治理的核心目标不包括？A.提升数据质量B.确保数据安全合规C.最大化数据存储成本D.促进数据共享与应用二、填空题（总共10题，每题2分）1.Hadoop的核心组件包括分布式文件系统______和资源调度框架YARN。2.在Spark中，弹性分布式数据集（ResilientDistributedDataset）的英文缩写是______。3.ETL过程包含三个关键步骤：抽取（Extract）、______、加载（Load）。4.数据仓库中用于描述业务过程的度量值称为______。5.Redis是一种基于内存的______存储数据库。6.用于描述数据分布集中趋势的统计量有均值、______、众数。7.在Kafka中，生产者发布消息的目标单元称为______。8.OLAP（在线分析处理）操作中，"钻取"包括上卷和______。9.机器学习中，将数据集划分为训练集和______集用于模型评估。10.数据血缘（DataLineage）用于追踪数据的______和转换过程。三、判断题（总共10题，每题2分）1.HBase是基于HDFS构建的列式数据库，适合实时随机读写。（）2.SparkStreaming采用微批处理（Micro-batching）模式实现流计算。（）3.数据湖（DataLake）要求数据必须预先定义严格模式（Schema）。（）4.Zookeeper主要用于解决分布式系统中的数据一致性问题。（）5.SQLonHadoop技术（如Impala）总是比Hive的MapReduce执行效率高。（）6.主成分分析（PCA）是一种无监督的降维算法。（）7.Kafka消费者组（ConsumerGroup）内的消费者可以并行消费同一Topic的不同分区。（）8.数据中台的核心是构建统一的数据技术平台，与业务无关。（）9.Lambda架构同时包含批处理层和速度层以平衡延迟与准确性。（）10.数据可视化仅用于结果展示，对数据分析过程无实质帮助。（）四、简答题（总共4题，每题5分）1.简述Hive与传统关系型数据库的主要区别。2.说明MapReduce中Shuffle阶段的作用。3.列举三种常见的数据清洗操作并简述其目的。4.解释什么是过拟合（Overfitting）及其在机器学习中的应对策略。五、讨论题（总共4题，每题5分）1.论述实时流处理框架（如Flink）与批处理框架（如Spark）在应用场景和技术实现上的核心差异。2.在构建企业级数据仓库时，星型模型（StarSchema）和雪花模型（SnowflakeSchema）应如何选择？分析各自的优缺点。3.数据安全日益重要，请讨论在大数据平台中实施数据脱敏（DataMasking）的常用方法及挑战。4.随着数据量激增，数据治理（DataGovernance）面临哪些关键挑战？提出可行的解决思路。---答案与解析一、单项选择题1.C（HDFS是Hadoop分布式文件系统，负责存储）2.C（关系数据库属于SQL范畴）3.B（核心阶段是Map映射和Reduce归约）4.B（数据仓库通常定期批量更新，非实时）5.B（Kafka用于构建实时流数据管道和消息队列）6.C（PARTITIONEDBY用于定义分区字段）7.B（CAP指Consistency一致性、Availability可用性、PartitionTolerance分区容错性）8.B（Flink以低延迟和高吞吐流处理见长）9.C（情感分析依赖NLP技术处理文本语义）10.C（数据治理旨在降低成本而非最大化成本）二、填空题1.HDFS2.RDD3.转换（Transform）4.事实（Fact）5.键值（Key-Value）6.中位数7.Topic（主题）8.下钻（Drill-down）9.测试10.来源（Origin）三、判断题1.对（HBase支持低延迟随机访问）2.对（SparkStreaming将流数据划分为小批次处理）3.错（数据湖支持原始数据存储，模式可在读取时定义）4.对（Zookeeper提供分布式协调与一致性服务）5.错（效率取决于查询类型、数据量、集群配置等）6.对（PCA不需要标签信息，属无监督学习）7.对（消费者组实现分区并行消费与负载均衡）8.错（数据中台需紧密对接业务场景提供数据服务）9.对（Lambda架构通过批层全量处理与速层增量处理结合）10.错（可视化助力数据探索、模式发现与决策支持）四、简答题1.Hive基于HDFS存储，使用类SQL（HQL）查询，但执行引擎转为MapReduce/Tez/Spark，延迟高；支持分区分桶，无事务与实时更新，适用于海量数据离线分析；传统数据库基于本地存储，支持ACID事务、低延迟OLTP，数据规模有限。2.Shuffle是Map与Reduce间的桥梁；Map端对输出分区排序后溢写到磁盘；Reduce端通过网络拉取对应分区数据，合并排序后供Reduce函数处理；其效率直接影响作业性能。3.(1)缺失值处理：填充（均值/中位数）、删除或插补，保证数据完整性；(2)异常值处理：识别（如IQR）并修正或剔除，避免干扰分析；(3)格式标准化：统一日期、单位等，提升数据一致性；(4)去重处理：删除重复记录，确保数据唯一性。4.过拟合指模型过度拟合训练数据噪声，导致泛化能力差；表现：训练集精度高、测试集骤降。应对策略：增加训练数据量；降低模型复杂度；正则化（L1/L2）；交叉验证调参；集成方法（如随机森林）；早停法（深度学习）。五、讨论题1.实时流处理（如Flink）面向无界数据流，支持事件时间、状态管理、精确一次语义，毫秒级延迟，适用于监控、告警、实时推荐；批处理（如Spark）面向有界数据集，分钟级延迟，适合ETL、离线报表、复杂分析。技术差异：流处理采用持续计算模型，批处理为分阶段调度；流处理需水位线处理乱序，批处理依赖静态数据。2.星型模型：事实表直接连接维度表，结构简单、查询高效，适合快速分析；但维度冗余可能影响一致性。雪花模型：维度表标准化分解，减少冗余，节省存储；但多表连接降低查询性能，设计复杂。选择原则：优先星型以优化查询；若维度数据量大且频繁更新，可雪花化以平衡性能与维护成本。3.常用方法：静态脱敏（ETL阶段替换/加密）；动态脱敏（查询时实时屏蔽）；技术如：替换（虚构值）、屏蔽（部分隐藏）、泛化（降低精度）、加密。挑战：复杂规则下性能