2022年云南大数据公司补录批次笔试题及答案参考

2022年云南大数据公司补录批次笔试题及答案参考

一、单项选择题(总共10题，每题2分)1.以下不属于Hadoop生态系统核心组件的是（）A.HDFSB.MapReduceC.YARND.Spark2.Spark的核心数据结构是（）A.DStreamB.RDDC.DataFrameD.Dataset3.数据仓库的主要设计目标是（）A.面向事务处理B.面向分析决策C.存储实时数据D.支持高并发写入4.ETL中的“Transform”阶段主要完成的操作是（）A.从数据源提取数据B.对数据进行清洗、转换C.将数据加载到目标系统D.存储原始数据5.以下属于机器学习监督学习算法的是（）A.K-meansB.决策树C.主成分分析（PCA）D.关联规则6.大数据的4V特征不包括（）A.Volume（容量大）B.Velocity（速度快）C.Variety（种类多）D.Validity（有效性）7.以下属于NoSQL数据库的是（）A.MySQLB.OracleC.HBaseD.SQLServer8.以下属于流处理框架的是（）A.HadoopMapReduceB.SparkStreamingC.HiveD.Pig9.数据湖的主要特点是（）A.存储结构化数据B.存储经过处理的分析数据C.存储原始未加工数据D.面向事务处理10.数据治理的核心目标不包括（）A.提高数据质量B.确保数据安全合规C.降低数据存储成本D.提升数据利用效率二、填空题(总共10题，每题2分)1.HDFS采用______和______的主从架构，其中______负责管理文件系统的命名空间，______负责存储实际数据块。2.Spark中的RDD具有______、______、______三个核心特性。3.MapReduce计算框架分为______和______两个阶段。4.数据仓库中常用的schema设计模式有______和______，其中______更适合复杂分析场景。5.ETL是______、______、______三个步骤的缩写。6.机器学习中的______学习需要使用带标签的训练数据，而______学习不需要标签。7.NoSQL数据库中，______类型数据库以键值对形式存储数据，典型例子如Redis。8.流处理技术的核心特点是______和______，适合处理实时数据。9.数据治理中的______管理是指对数据的定义、结构、来源等信息的管理，帮助用户理解数据。10.大数据安全中，______加密用于保护数据在传输过程中的安全，______加密用于保护数据存储时的安全。三、判断题(总共10题，每题2分)1.Hadoop主要用于实时数据处理。（）2.Spark比HadoopMapReduce计算速度快，主要因为Spark采用内存计算。（）3.数据仓库是面向事务处理的系统，支持高并发写入。（）4.ETL的正确流程是Extract（提取）、Transform（转换）、Load（加载）。（）5.NoSQL数据库只能处理非结构化数据，无法处理结构化数据。（）6.流处理技术的核心是处理无界的、持续产生的数据。（）7.数据湖可以存储原始的、未加工的海量数据。（）8.机器学习中的无监督学习算法不需要使用带标签的训练数据。（）9.HBase是一种基于Hadoop的关系型数据库，支持SQL查询。（）10.数据治理的核心目标仅包括提高数据质量，无需关注数据安全与合规。（）四、简答题(总共4题，每题5分)1.简述Hadoop生态系统的核心组件及功能。2.简述Spark与HadoopMapReduce的区别。3.简述数据仓库与数据湖的主要区别。4.简述机器学习中监督学习与无监督学习的差异及应用场景。五、讨论题(总共4题，每题5分)1.结合云南大数据公司的业务，谈谈大数据在政务领域的应用价值。2.讨论大数据时代企业数据治理面临的挑战及应对策略。3.分析流处理技术在实时监控场景中的应用优势及实施难点。4.结合实际，谈谈机器学习在大数据分析中的作用及落地过程中需要注意的问题。答案一、单项选择题1.D2.B3.B4.B5.B6.D7.C8.B9.C10.C二、填空题1.namenode；datanode；namenode；datanode2.弹性；分布式；容错3.Map；Reduce4.星型schema；雪花型schema；雪花型schema5.Extract；Transform；Load6.监督；无监督7.键值8.低延迟；处理无界数据9.元数据10.传输；静态三、判断题1.×2.√3.×4.√5.×6.√7.√8.√9.×10.×四、简答题1.Hadoop生态系统核心组件包括：①HDFS（分布式文件系统）：存储海量数据，采用主从架构，namenode管理元数据，datanode存储数据块；②MapReduce（分布式批处理框架）：将任务分为Map（数据拆分与处理）和Reduce（结果汇总）阶段，处理大规模数据；③YARN（资源管理系统）：负责集群资源分配与调度，支持多计算框架（如MapReduce、Spark）。此外还有HBase（列族数据库，实时读写）、Hive（数据仓库工具，HQL分析）等辅助组件。2.①计算方式：MapReduce基于磁盘，中间结果写磁盘；Spark基于内存，中间结果存内存，速度更快。②处理类型：MapReduce仅支持批处理；Spark支持批处理、流处理、交互式查询、机器学习等多类型。③任务调度：MapReduce依赖YARN；Spark可运行在YARN、Mesos或独立集群，调度更灵活。④迭代计算：MapReduce迭代需多次读写磁盘，效率低；Spark通过RDD支持高效迭代。3.①数据类型：数据仓库存储结构化、清洗后的分析数据；数据湖存储原始、未加工的所有类型数据（结构化、半结构化、非结构化）。②设计目标：数据仓库面向分析决策，数据预处理；数据湖支持探索性分析，保留原始形态。③存储成本：数据仓库存储处理后数据，成本高；数据湖存储原始数据，成本低。④场景：数据仓库用于常规BI分析；数据湖用于机器学习、数据挖掘。4.差异：①数据需求：监督学习需带标签训练数据；无监督学习不需要。②目标：监督学习用于预测/分类（如房价预测、欺诈检测）；无监督学习用于发现数据模式（如客户分群、关联分析）。应用场景：监督学习适用于有明确目标的任务（如图像识别、销量预测）；无监督学习适用于探索数据结构（如K-means聚类客户、Apriori关联规则）。五、讨论题1.云南大数据公司参与政务建设，大数据在政务的价值：①提升效率：整合人口、社保等数据，实现“一网通办”（如“一部手机办事通”），减少群众办事环节；②辅助决策：分析交通、民生数据，为政策制定提供依据（如交通拥堵治理、资源分配）；③优化服务：精准推送服务（如健康码、疫苗提醒）；④加强监管：关联分析企业数据，动态监管（如信用评级、违规检测）；⑤跨部门协同：打破数据孤岛，实现公安、民政等部门数据共享，提升协同效率。2.挑战：①数据碎片化（分散在ERP、CRM等系统）；②数据质量差（重复、缺失）；③安全合规压力（GDPR、《个人信息保护法》）；④访问效率低（海量数据查询慢）；⑤缺乏统一标准（数据定义不统一）。应对：①建立治理组织（数据治理委员会）；②制定数据标准（统一元数据、格式）；③数据质量管理（清洗、校验工具）；④加强安全（加密、访问控制）；⑤构建数据中台（整合数据，统一服务）；⑥培养人才（招聘/培训治理专业人员）。3.优势：①低延迟（秒级/毫秒级处理），适合实时监控（服务器状态、交通流量）；②实时预警（及时发现异常，如服务器宕机、道路事故）；③持续处理（无界数据，适配监控场景）；④多源整合（整合传感器、日志等数据，全面监控）。难点：①数据乱序（网络延迟导致，需窗口/水印处理）；②Exactly-Once语义（确保数据仅处理一次，实现复杂）；③资源消耗（实时处理需大量CPU/内存）；④复杂事件处理（规则引擎设计难）；⑤数据一致性（分布式系统一致性保障难，如FlinkCheckpoint）。4.作用：①挖掘隐藏模式（从海量数据中发现客户分群、欺诈行为）；②预测趋势（历史数据训练模型，预测销量、用户churn）；③自动化分析（替