2021云南大数据公司笔试必考真题200道附答案解析

2021云南大数据公司笔试必考真题200道附答案解析

一、单项选择题（总共10题，每题2分）1.大数据的4V特征不包括（）A.VolumeB.VelocityC.VarietyD.Veracity2.Hadoop的核心组件不包括（）A.HDFSB.MapReduceC.YARND.Spark3.Spark的核心计算模型是（）A.RDDB.DataFrameC.DatasetD.DStream4.数据仓库的核心特征是（）A.面向操作B.集成性C.实时更新D.数据分散5.以下属于无监督学习算法的是（）A.线性回归B.决策树C.K-meansD.SVM6.HDFS的分布式文件系统特点不包括（）A.高容错B.高吞吐量C.低延迟D.适合大文件7.数据清洗的主要目的是（）A.增加数据量B.提高数据质量C.加密数据D.压缩数据8.MongoDB属于哪种类型的NoSQL数据库（）A.键值存储B.列族存储C.文档存储D.图形存储9.大数据流处理的典型框架是（）A.MapReduceB.SparkStreamingC.HiveD.Pig10.以下属于隐私保护技术的是（）A.数据可视化B.数据挖掘C.k-匿名D.数据集成二、填空题（总共10题，每题2分）1.Hadoop的最初作者是__________。2.ApacheSpark的主要开发语言是__________。3.数据湖的核心特征是__________（填“schema-on-read”或“schema-on-write”）。4.MapReduce计算框架分为__________和__________两个阶段。5.YARN的核心组件包括__________和NodeManager。6.解决机器学习过拟合问题的常用方法有__________（举一例即可）。7.NoSQL数据库中，Cassandra属于__________存储类型。8.大数据处理的三个主要层次是批处理、流处理和__________。9.数据挖掘中的关联规则算法典型代表是__________。10.k-匿名是指每个等价类中至少有__________个不同的个体。三、判断题（总共10题，每题2分）1.Hadoop是一款实时大数据计算框架。（）2.Spark的计算速度比MapReduce快主要是因为采用了内存计算。（）3.数据仓库是面向操作型业务的数据库系统。（）4.所有NoSQL数据库都不支持事务处理。（）5.大数据的价值密度通常较高。（）6.Spark中的RDD是不可变的分布式数据集。（）7.数据清洗的主要任务包括处理缺失值、异常值和重复值。（）8.HDFS的默认块大小是64MB。（）9.监督学习算法需要使用带有标签的训练数据。（）10.加密技术仅适用于大数据的存储阶段，无法用于数据传输。（）四、简答题（总共4题，每题5分）1.简述Hadoop与Spark的主要区别。2.简述数据湖与数据仓库的核心区别。3.简述机器学习中过拟合的原因及常用解决方法。4.简述大数据隐私保护的主要挑战。五、讨论题（总共4题，每题5分）1.请讨论大数据技术在金融行业的主要应用场景及面临的挑战。2.请讨论批处理与流处理的适用场景及对应的技术选型。3.请讨论NoSQL数据库在大数据体系中的角色及优缺点。4.请讨论大数据时代数据质量的重要性及提升数据质量的方法。答案和解析一、单项选择题答案1.D（4V是Volume、Velocity、Variety、Value，Veracity非传统4V）2.D（Spark是独立框架，非Hadoop核心组件）3.A（RDD是Spark核心抽象）4.B（数据仓库核心是集成性，面向分析）5.C（K-means是无监督聚类算法）6.C（HDFS适合高吞吐量，低延迟是短板）7.B（数据清洗核心是提高质量）8.C（MongoDB是文档存储）9.B（SparkStreaming是流处理框架）10.C（k-匿名是隐私保护技术）二、填空题答案1.DougCutting（道格·卡廷）2.Scala（斯卡拉）3.schema-on-read（读时定义schema）4.Map（映射）、Reduce（归约）5.ResourceManager（资源管理器）6.正则化（或增大数据量、特征选择等）7.列族（Column-Family）8.交互式处理（或即席查询）9.Apriori（算法）10.k（k个）三、判断题答案1.错（Hadoop是批处理框架，非实时）2.对（Spark内存计算减少磁盘IO）3.错（数据仓库面向分析型，操作型是OLTP）4.错（部分NoSQL如MongoDB支持事务）5.错（大数据价值密度低）6.对（RDD不可变，修改需生成新RDD）7.对（数据清洗核心任务）8.错（HDFS默认块大小128MB）9.对（监督学习需标签数据）10.错（加密可用于存储和传输）四、简答题答案1.Hadoop是批处理框架，依赖磁盘IO，适合大规模离线处理；Spark支持批处理、流处理和交互式查询，采用内存计算，速度更快。Hadoop核心是MapReduce和HDFS，Spark核心是RDD。Hadoop适合简单离线任务，Spark对迭代计算更友好，生态更丰富（如SparkSQL、SparkStreaming）。2.数据仓库是schema-on-write（写时定义schema），存储结构化数据，面向已知分析需求；数据湖是schema-on-read（读时定义schema），存储全类型数据，支持探索性分析。数据仓库需预先建模，数据湖保留原始数据，延迟建模。数据仓库适合固定分析，数据湖适合灵活探索。3.过拟合原因是模型复杂，拟合了训练数据的噪声。解决方法：增大数据量、减少特征（特征选择）、正则化（L1/L2）、dropout（神经网络）、交叉验证。核心是降低模型复杂度，避免过度拟合训练数据。4.挑战包括：数据规模大导致加密/匿名化成本高；多类型数据（半结构化/非结构化）隐私保护难度大；数据流通频繁导致传输/共享泄露风险高；法律法规不完善（如不同地区规则冲突）；隐私保护与数据可用性的平衡（保护可能降低数据价值）。五、讨论题答案1.应用场景：客户画像（精准营销）、风险控制（欺诈检测/信用评估）、量化交易（市场数据分析）、智能客服（个性化服务）。挑战：数据隐私（金融数据敏感）、数据质量（多源数据不一致）、实时性（欺诈检测需实时）、监管合规（如《个人信息保护法》）。需平衡数据利用与隐私，确保合规。2.批处理适合离线、大规模、非实时场景（如历史交易分析），技术选HadoopMapReduce、Spark批处理；流处理适合实时、低延迟场景（如实时监控/欺诈检测），技术选SparkStreaming、Flink。批处理重吞吐量，流处理重延迟。实际常结合（如Lambda架构：批处理+流处理）。3.角色：补充关系型数据库，处理大规模非结构化数据，支持高并发。优点：高可扩展（横向扩展）、数据模型灵活（支持全类型）、高吞吐量。缺点：部分不支持事务、查询功能弱于SQL、一致性较弱（BASEvsACID）。适合场景：社交媒体（MongoDB）、日