2026年公需课大数据试题及答案

2026年公需课大数据试题及答案一、单项选择题（每题1分，共20分）1.大数据通常指的是数据量巨大，超出传统数据处理工具处理能力的数据集。其最显著的特征通常概括为“4V”，以下哪一项不属于这“4V”特征？A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Veracity（真实）E.Value（价值）答案：E2.在数据预处理阶段，用于检测并处理数据集中缺失值的方法不包括以下哪一项？A.删除含有缺失值的记录B.使用一个全局常量填充缺失值C.使用该属性的均值或中位数填充缺失值D.使用回归或贝叶斯等算法预测缺失值E.将缺失值视为一种新的类别答案：E3.Hadoop是一个能够对大量数据进行分布式处理的软件框架。其核心设计不包括以下哪个组件？A.HadoopCommon（公共模块）B.HadoopDistributedFileSystem（HDFS）C.HadoopMapReduceD.HadoopYARNE.HadoopSpark答案：E4.关于数据仓库与数据库的区别，以下描述错误的是？A.数据库面向事务处理（OLTP），数据仓库面向分析处理（OLAP）B.数据库中的数据通常是当前的、细节的，数据仓库中的数据是历史的、汇总的C.数据库的设计遵循范式以减少冗余，数据仓库的设计采用反范式以优化查询D.数据库的更新是实时的，数据仓库的更新是定期的、批量的E.数据库和数据仓库在技术架构和存储引擎上完全相同答案：E5.以下哪种数据挖掘技术主要用于发现数据项之间的有趣联系，例如“购买尿布的顾客很可能同时购买啤酒”？A.分类B.聚类C.回归D.关联规则挖掘E.异常检测答案：D6.在机器学习中，将数据集划分为训练集、验证集和测试集的主要目的是什么？A.增加数据总量B.评估模型在未知数据上的泛化能力C.提高模型训练速度D.减少数据维度E.统一数据尺度答案：B7.数据可视化中，为了展示多个变量之间的关系，最适合使用以下哪种图表？A.折线图B.饼图C.散点图矩阵D.直方图E.雷达图答案：C8.《中华人民共和国数据安全法》自何时起施行？A.2020年6月1日B.2021年6月1日C.2021年9月1日D.2022年1月1日E.2022年6月1日答案：C9.关于大数据伦理问题，以下说法不正确的是？A.大数据分析可能加剧“数字鸿沟”B.数据匿名化处理后可以完全避免隐私泄露风险C.算法可能产生偏见和歧视D.数据所有权和使用权界定是重要议题E.应遵循知情同意、最小必要等原则答案：B10.以下哪项技术主要用于处理非结构化或半结构化文本数据，从中提取有价值的信息和知识？A.数据清洗B.文本挖掘C.联机分析处理D.数据集成E.数据脱敏答案：B11.在HDFS架构中，负责管理文件系统命名空间以及客户端对文件访问的主节点是？A.DataNodeB.NameNodeC.ResourceManagerD.NodeManagerE.SecondaryNameNode答案：B12.以下关于NoSQL数据库的描述，哪一项是错误的？A.通常不保证严格的ACID事务特性B.具有灵活的模式，易于扩展C.主要类型包括键值存储、文档存储、列族存储和图数据库D.完全取代了关系型数据库的所有应用场景E.适合处理海量数据和高并发访问答案：D13.数据湖与数据仓库的一个关键区别在于？A.数据湖只存储结构化数据B.数据仓库存储原始数据，数据湖存储处理后的数据C.数据湖采用“写入型模式”，数据仓库采用“读取型模式”D.数据湖的存储成本远高于数据仓库E.数据湖不支持数据分析答案：C14.在数据质量管理中，衡量数据准确性的指标通常是指？A.数据记录是否完整无缺失B.数据值是否符合其定义的格式C.数据值在现实世界中是否正确反映了其实体D.数据在不同系统中是否保持一致E.数据是否及时更新和可用答案：C15.以下哪项不是云计算服务模式？A.基础设施即服务（IaaS）B.平台即服务（PaaS）C.软件即服务（SaaS）D.数据即服务（DaaS）E.网络即服务（NaaS）答案：E16.用于评估分类模型性能的指标中，综合考虑了精确率和召回率的指标是？A.准确率B.F1值C.ROC曲线下面积（AUC）D.均方误差E.混淆矩阵答案：B17.根据《个人信息保护法》，处理个人信息应当取得个人同意，以下哪种情形不需要取得个人单独同意？A.向其他个人信息处理者提供其处理的个人信息B.公开其处理的个人信息C.处理敏感个人信息D.为履行法定职责所必需E.将个人信息用于用户画像、推荐等自动化决策答案：D18.流式计算与批处理计算的主要区别在于？A.流式计算处理的数据量更大B.流式计算对延迟要求低，批处理对延迟要求高C.流式计算处理的是无界、连续到达的数据，批处理处理的是有界、静态的数据集D.流式计算的技术复杂度低于批处理E.批处理无法保证计算结果的准确性答案：C19.以下哪项技术不属于大数据隐私保护技术？A.差分隐私B.同态加密C.k-匿名D.数据脱敏E.数据备份答案：E20.在数据治理框架中，负责制定数据政策、标准和流程，并监督执行的通常是？A.数据所有者B.数据管理员C.数据治理委员会D.数据消费者E.IT部门答案：C二、多项选择题（每题2分，共20分。多选、少选、错选均不得分）1.大数据分析的基本流程通常包括以下哪些关键环节？A.业务理解与问题定义B.数据采集与存储C.数据预处理与清洗D.数据分析与建模E.结果解释与部署应用答案：A,B,C,D,E2.以下哪些是Hadoop生态系统的核心或常用组件？A.HDFSB.MapReduceC.HiveD.HBaseE.Spark答案：A,B,C,D,E3.数据可视化的基本原则包括？A.准确：真实反映数据B.简洁：避免不必要的装饰C.清晰：易于理解D.美观：追求艺术效果优先E.一致：使用统一的视觉编码答案：A,B,C,E4.机器学习中，以下哪些算法属于无监督学习？A.K-Means聚类B.决策树C.主成分分析（PCA）D.逻辑回归E.Apriori算法答案：A,C,E5.大数据可能带来的安全挑战包括？A.数据集中存储导致攻击目标价值增大B.多源数据融合可能泄露隐私C.复杂分析技术可能被用于网络攻击D.传统安全边界模糊E.数据生命周期安全管理难度增加答案：A,B,C,D,E6.根据国家相关法律法规，以下哪些数据属于重要数据？A.关系国家安全、国民经济命脉的数据B.关系重要民生、公共利益的数据C.关系重大公共利益的数据D.经相关部门评估确定的其他数据E.所有企业运营过程中产生的数据答案：A,B,C,D7.数据脱敏的常用技术方法有？A.替换：用虚构数据替换真实数据B.屏蔽：对部分字符进行遮盖（如用*号）C.泛化：将具体值转换为一个范围D.扰乱：随机打乱数据顺序E.加密：通过加密算法转换数据答案：A,B,C,D8.构建一个成功的数据驱动型组织，需要具备哪些关键要素？A.高层领导的重视与支持B.清晰的数据战略C.合适的技术与工具D.具备数据技能的人才队伍E.数据驱动的文化与流程答案：A,B,C,D,E9.关于数据中台，以下描述正确的有？A.是企业级的数据共享和能力复用平台B.其核心目标是消除数据孤岛，提升数据利用效率C.主要提供数据存储和计算能力，不关心业务D.通常包含数据资产、数据服务等核心模块E.是前台业务和后台数据系统的“中间层”答案：A,B,D,E10.在数据分析报告中，为了有效传达分析结果，应当注意？A.明确报告的目标受众和核心结论B.用可视化的图表辅助说明C.对分析方法和数据来源进行说明D.提出基于数据的可行性建议E.使用大量专业术语以体现专业性答案：A,B,C,D三、判断题（每题1分，共10分）1.大数据时代，由于数据量巨大，数据的质量管理和清洗工作变得不再重要。答案：错误2.数据挖掘中的分类和聚类都属于有监督学习。答案：错误3.Hadoop的MapReduce编程模型中，Map阶段负责对数据进行分解和映射，Reduce阶段负责对Map结果进行汇总和归约。答案：正确4.数据开放共享与数据安全保护是相互矛盾、不可兼得的。答案：错误5.数据可视化仅用于最终结果的展示，对数据分析过程本身没有帮助。答案：错误6.数据生命周期通常包括数据生成、存储、使用、共享、归档和销毁等阶段。答案：正确7.云计算为大数据提供了弹性可扩展的计算和存储资源，是大数据发展的重要支撑。答案：正确8.只要数据经过了匿名化处理，就可以随意公开或交易，无需考虑其他法律风险。答案：错误9.关联规则挖掘中，支持度衡量规则的普遍性，置信度衡量规则的可靠性。答案：正确10.数据治理的核心目标是确保数据的安全，与数据价值创造无关。答案：错误四、填空题（每空1分，共10分）1.大数据的“4V”特征是指：大量（Volume）、高速（Velocity）、多样（Variety）和______（Veracity）。答案：真实2.在机器学习中，______学习是指从已标记的训练数据中学习预测模型。答案：监督3.HDFS默认的数据块大小是______MB。答案：1284.数据仓库中，用于组织数据的核心概念是______，它通常包含一个事实表和多个维度表。答案：星型模式5.数据清洗中，处理重复记录的过程称为______。答案：去重6.根据《网络安全法》，网络运营者应当按照网络安全等级保护制度的要求，履行安全保护义务，保障网络免受干扰、破坏或者未经授权的访问，防止网络数据______、泄露或者被窃取、篡改。答案：泄露7.用于处理实时数据流的开源框架有Apache______、ApacheFlink等。答案：Storm或KafkaStreams8.在评估聚类效果时，可以使用______指数来衡量同一簇内样本的紧密程度和不同簇间样本的分离程度。答案：轮廓9.数据______是组织内对数据进行正式管理和控制的实践活动。答案：治理10.数据______技术允许在加密数据上直接进行计算，而无需解密。答案：同态加密五、简答题（每题5分，共20分）1.简述数据预处理的主要任务及其重要性。答案：数据预处理的主要任务包括数据清理（处理缺失值、噪声数据、不一致数据、重复数据）、数据集成（合并多个数据源）、数据变换（规范化、聚合、离散化）和数据规约（降低数据规模，保持数据完整性）。其重要性在于：原始数据通常存在不完整、不一致、含噪声等问题，直接进行分析会导致模型质量低下甚至错误结论。高质量的数据预处理是保证后续数据分析、挖掘有效性和准确性的基础和前提，被广泛认为是整个数据分析过程中最耗时、最关键的一步。2.请解释什么是数据孤岛，并列举其可能带来的负面影响。答案：数据孤岛是指在一个组织内部，不同部门、不同业务系统之间的数据彼此孤立、无法顺畅地流通和整合的状态。其负面影响包括：1.决策困难：管理者无法获得全局、一致的数据视图，导致决策基于片面信息。2.效率低下：相同的数据在不同部门重复采集、存储和维护，造成资源浪费。3.客户体验差：客户与不同部门交互时，信息不连贯，服务不协同。4.创新能力受限：数据价值无法通过跨域关联分析得到深度挖掘，阻碍业务创新。5.增加合规风险：分散的数据管理难以实施统一的安全策略和合规控制。3.简述MapReduce的基本工作原理。答案：MapReduce是一种并行编程模型，用于大规模数据集的并行运算。其工作原理分为两个核心阶段：Map（映射）阶段和Reduce（归约）阶段。1.Map阶段：输入数据被自动分割成多个独立的数据块，由多个Map任务并行处理。每个Map任务读取一个数据块，调用用户定义的Map函数，处理输入键值对（key1,value1），并生成一系列中间键值对（key2,value2）。2.Shuffle（洗牌）和Sort（排序）阶段：系统将Map阶段输出的所有中间键值对，按照键（key2）进行分组和排序，确保相同键的数据被发送到同一个Reduce任务。3.Reduce阶段：每个Reduce任务接收一组属于同一个键的中间值集合，调用用户定义的Reduce函数，对这些值进行归约处理（如求和、计数、平均等），最终生成输出键值对（key2,value3）。整个过程由Hadoop框架负责任务调度、容错、节点间通信等复杂细节。4.根据《个人信息保护法》，处理个人信息应当遵循哪些基本原则？答案：根据《个人信息保护法》，处理个人信息应当遵循以下基本原则：1.合法、正当、必要和诚信原则。2.目的明确和合理原则，处理目的应当明确、具体、合理，并与处理目的直接相关。3.最小必要原则，处理个人信息应当限于实现处理目的的最小范围，不得过度收集。4.公开、透明原则，应当公开个人信息处理规则，明示处理目的、方式和范围。5.保证信息质量原则，应当保证个人信息的准确、完整。6.安全保障原则，应当采取必要措施确保个人信息安全。7.责任原则，个人信息处理者应当对其个人信息处理活动负责。六、应用题（共20分）1.（8分）某电商平台希望分析用户的购买行为，以进行商品推荐。现有一个交易记录表`orders`，包含字段：`order_id`（订单号），`user_id`（用户ID），`product_id`（商品ID），`order_time`（下单时间）。请使用SQL语句完成以下分析：（1）查询2025年第一季度（1月1日至3月31日）销售额排名前10的商品ID及其销售件数。（2）查询在2025年1月购买过商品A（假设product_id=‘A’）的用户中，有哪些用户在2025年2月也购买了商品B（假设product_id=‘B’），列出这些用户的ID。答案：（1）```sqlSELECTproduct_id,COUNT(*)assales_countFROMordersWHEREorder_time>='2025-01-01'ANDorder_time<='2025-03-31'GROUPBYproduct_idORDERBYsales_countDESCLIMIT10;```（2）```sqlSELECTDISTINCTo1.user_idFROMorderso1INNERJOINorderso2ONo1.user_id=o2.user_idWHEREduct_id='A'ANDo1.order_time>='2025-01-01'ANDo1.order_time<'2025-02-01'ANDduct_id='B'ANDo2.order_time>='2025-02-01'ANDo2.order_time<'2025-03-01';```（注：时间条件可根据具体日期字段类型调整，此处假设为日期或时间戳类型）2.（12分）某市交通管理部门计划利用道路卡口车辆通行数据（记录车牌号、时间、地点等）进行交通流量分析和异常监测。（1）请设计一个基于大数据技术的处理架构，以支持对海量历史数据的批量分析（如每日各路段平均车速统计）和对实时流数据的处理（如实时监测拥堵路段）。要求画出简要架构图并说明核心组件功能。（2）针对实时数据流，如果希望检测某个路段在连续5分钟内平均车速持续低于20公里/小时的异常拥堵事件，请描述其技术实现思路（可使用伪代码或流程图说明）。答案：（1）架构设计建议采用Lambda架构或Kappa架构的变体。以下以混合架构为例：数据源层：道路卡口传感器产生的实时数据流。批处理层：存储：原始数据存入分布式文件系统（如HDFS）或对象存储，用于历史批处理。计算：使用批处理引擎（如Spark）定期（如每天）对历史数据进行处理，计算各路段历史平均车速、流量等指标，结果存入批处理视图（如Hive表或数据仓库）。速度层（实时处理层）：消息队列：使用Kafka接收和缓冲实时数据流。流处理引擎：使用Flink或SparkStreaming从Kafka消费数据，进行实时计算。实时存储：实时处理的结果（如当前各路段平均车速）存入低延迟存储（如Redis或HBase），供实时查询和报警。服务层：提供统一的数据查询接口，可合并查询批处理层的历史数据和速度层的实时数据，供应用系统（如交通态势图、分析报告、预警系统）使用。（简要架构图：数据源->Kafka->Flink/SparkStreaming->Redis/HBase；同时数据源->HDFS->Spark->Hive/数据仓库；服务层从Redis和Hive查询数据。）（2）实时异常拥堵检测实现思路：数据流：卡口过车数据流，每条数据包含`road_segment_id`（路段ID），`speed`（瞬时速度），`timestamp`（时间戳）。处理逻辑（使用FlinkDataStreamAPI伪代码思路）：```java//1.从Kafka数据源读取数据流DataStream<TrafficRecord>stream=env.addSource(kafkaSource);//2.按路段ID分组KeyedStream<TrafficRecord,String>keyedStream=stream.keyBy(record->record.roadSegment_id);//3.定义滑动窗口（窗口大小5分钟，滑动步长例如1分钟）WindowedStream<TrafficRecord,String,TimeWindow>windowedStream=keyedStream.window(SlidingProcessingTimeWindows.of(Time.minutes(5),Time.minutes(1)));//4.在窗口内计算平均车速DataStream<SegmentAvgSpeed>avgSpeedStream=windowedStream.apply(newWindowFunct