2025云南大数据笔试常考知识点配套习题附全答案

2025云南大数据笔试常考知识点配套习题附全答案

一、单项选择题（总共10题，每题2分）1.以下哪项不是Hadoop生态的核心组件？A.HDFSB.YARNC.SparkD.MapReduce2.以下关于Spark的描述中，错误的是？A.基于内存计算B.支持批处理和流处理C.核心抽象是RDDD.仅适用于离线计算3.数据仓库（DataWarehouse）的核心特点是？A.面向事务B.实时更新C.面向主题D.存储原始数据4.ETL过程中“T”代表的是？A.提取（Extract）B.转换（Transform）C.加载（Load）D.清洗（Clean）5.数据湖（DataLake）主要存储的是？A.结构化数据B.半结构化和非结构化数据C.高度清洗后的数据D.关系型数据库数据6.以下属于NoSQL数据库的是？A.MySQLB.OracleC.HBaseD.SQLServer7.Kafka的主要应用场景是？A.分布式文件存储B.实时消息队列C.数据清洗D.机器学习训练8.数据清洗的主要目的是？A.增加数据量B.消除数据中的错误、缺失或异常C.提升数据存储效率D.转换数据格式9.以下属于监督学习算法的是？A.K-meansB.决策树C.DBSCAND.主成分分析（PCA）10.大数据的“5V”特征中，“Velocity”指的是？A.数据量（Volume）B.多样性（Variety）C.速度（Velocity）D.真实性（Veracity）二、填空题（总共10题，每题2分）1.Hadoop的分布式文件系统是________。2.Spark的核心计算模型是________（英文缩写）。3.数据仓库的设计通常以________为中心（如用户、产品）。4.ETL流程中，“L”代表的操作是________。5.NoSQL数据库中的列存储典型代表是________（如HBase）。6.Kafka的基本架构中，负责存储消息的是________。7.数据清洗主要处理数据中的________和异常值。8.机器学习中，________学习需要标注好的训练数据（如分类、回归）。9.大数据“5V”特征中的“Value”指________。10.数据湖与数据仓库的主要区别之一是数据湖存储________数据（填“原始”或“清洗后”）。三、判断题（总共10题，每题2分）1.Hadoop的YARN组件负责资源管理和任务调度。（）2.Spark仅适用于离线批处理，无法处理实时流数据。（）3.数据仓库是面向事务的、支持实时更新的数据库。（）4.ETL中的“提取”操作是从数据源获取原始数据。（）5.NoSQL数据库通常支持ACID特性（原子性、一致性、隔离性、持久性）。（）6.Kafka适用于高吞吐量的实时日志传输场景。（）7.数据清洗仅需要处理缺失值，无需关注异常值。（）8.无监督学习（如聚类）需要使用带标签的训练数据。（）9.大数据的“Volume”特征指数据量规模巨大（如PB级）。（）10.数据湖适合存储结构化数据，而数据仓库适合非结构化数据。（）四、简答题（总共4题，每题5分）1.简述Hadoop生态中HDFS、YARN和MapReduce的核心功能。2.什么是Spark的RDD（弹性分布式数据集）？其主要特性有哪些？3.数据仓库与数据湖的主要区别有哪些？（至少列出3点）4.ETL流程的主要步骤包括哪些？每一步的核心任务是什么？五、讨论题（总共4题，每题5分）1.结合实际场景，讨论大数据技术在智慧城市建设中的具体应用（如交通、医疗、环保等）。2.对比Hadoop与Spark的适用场景，说明各自的优势。3.大数据时代数据安全面临哪些挑战？如何应对？（至少列出3点挑战及对应措施）4.数据挖掘在电商领域有哪些典型应用？举例说明其商业价值。答案与解析一、单项选择题答案：1.C（Spark是独立计算框架，非Hadoop核心组件）2.D（Spark支持实时流处理如SparkStreaming）3.C（数据仓库面向主题，支持分析）4.B（T代表转换）5.B（数据湖存储原始的半结构化/非结构化数据）6.C（HBase是NoSQL列存储）7.B（Kafka是消息队列）8.B（清洗目标是修正数据错误）9.B（决策树是监督学习）10.C（Velocity指速度）二、填空题答案：1.HDFS2.RDD3.主题4.加载5.HBase（或其他列存储数据库）6.主题（Topic）7.缺失值8.监督9.低价值密度10.原始三、判断题答案：1.√（YARN负责资源管理）2.×（Spark支持流处理）3.×（数据仓库面向分析，非事务）4.√（提取是获取原始数据）5.×（NoSQL通常不严格支持ACID）6.√（Kafka适合高吞吐量日志）7.×（清洗需处理缺失值、异常值等）8.×（无监督学习不需要标签）9.√（Volume指数据量巨大）10.×（数据湖存储非结构化，数据仓库结构化）四、简答题答案：1.HDFS（分布式文件系统）：存储海量数据，支持高容错；YARN（资源调度）：管理集群资源，分配计算任务；MapReduce（计算框架）：将任务分解为Map（映射）和Reduce（归约）阶段，处理大规模数据。2.RDD是Spark的核心抽象，代表不可变、可分区的弹性分布式数据集。特性：①不可变性（创建后不可修改）；②分区性（数据分布在集群节点）；③容错性（通过血统线重建丢失数据）；④惰性计算（操作延迟执行）。3.区别：①数据结构：数据仓库存储结构化数据（如关系型），数据湖存储原始的半结构化/非结构化数据；②存储内容：数据仓库是清洗后的数据，数据湖是原始数据；③使用场景：数据仓库支持确定性分析（如报表），数据湖支持探索性分析（如机器学习）。4.ETL步骤：①提取（Extract）：从多个数据源（如数据库、日志）获取原始数据；②转换（Transform）：清洗（处理缺失值）、整合（统一格式）、计算（如汇总）；③加载（Load）：将处理后的数据写入目标库（如数据仓库）。五、讨论题答案：1.智慧城市应用：①交通：通过摄像头、传感器采集车流数据，用大数据分析优化信号灯配时，减少拥堵；②医疗：整合电子病历、检查数据，分析疾病传播规律，支持精准诊疗；③环保：监测空气质量、水质数据，预测污染趋势，辅助制定治理政策。2.Hadoop适合离线批处理（如日志分析），优势是高容错、低成本存储；Spark适合实时/迭代计算（如实时推荐、机器学习），优势是内存计算（速度快）、支持流处理与批处理统一API。3.挑战及应对：①隐私泄露：用户敏感信息（如位置、健康数据）易被非法获取，需采用加密技术（如联邦学习）、匿名化处理；②数据滥用：企业过度收集数据，需完善法律（如《数据安全法》），明确数据使用边界；③存储安全：分布式存储易受