2025年公需课大数据试题及答案

2025年公需课大数据试题及答案一、单项选择题（共15题，每题2分，共30分）1.下列哪项不属于大数据“4V”特征？（）A.Volume（大量）B.Variety（多样）C.Value（价值）D.Velocity（校验）2.数据仓库（DataWarehouse）与传统数据库的核心区别在于（）。A.数据存储格式不同B.支持实时事务处理C.面向分析型应用D.仅存储结构化数据3.Hadoop框架中，负责资源管理和任务调度的核心组件是（）。A.HDFSB.MapReduceC.YARND.HBase4.数据清洗的主要目的是（）。A.增加数据量B.消除数据中的噪声和不一致C.转换数据格式D.压缩数据存储体积5.以下哪种技术属于实时流数据处理框架？（）A.HiveB.SparkStreamingC.PigD.Sqoop6.大数据分析中，“关联规则挖掘”常用于（）。A.预测用户未来行为B.发现数据中的隐藏关联模式C.对数据进行分类D.降低数据维度7.数据湖（DataLake）与数据仓库的主要差异在于（）。A.数据湖仅存储结构化数据B.数据仓库支持原始数据长期存储C.数据湖在存储阶段不强制schemaD.数据仓库的存储成本更低8.隐私计算中的“联邦学习”主要解决的问题是（）。A.提升模型训练速度B.避免原始数据泄露C.降低计算资源消耗D.增强模型泛化能力9.以下哪项属于非结构化数据？（）A.关系型数据库中的用户表B.日志文件C.财务报表D.客户信息登记表10.大数据可视化工具Tableau的核心功能是（）。A.数据清洗与转换B.实时流数据处理C.交互式数据图表展示D.分布式数据存储11.以下哪项不属于大数据应用中的伦理风险？（）A.数据偏见导致的歧视B.用户隐私泄露C.数据存储成本过高D.算法黑箱引发的决策不透明12.边缘计算与云计算的协同模式中，边缘节点的主要作用是（）。A.存储全局历史数据B.处理实时性要求高的本地数据C.运行复杂机器学习模型D.实现跨区域数据同步13.数据生命周期管理的关键阶段不包括（）。A.数据采集B.数据销毁C.数据交易D.数据归档14.以下哪种数据库适合处理海量半结构化日志数据？（）A.关系型数据库（如MySQL）B.键值数据库（如Redis）C.文档数据库（如MongoDB）D.图数据库（如Neo4j）15.大数据时代，“数据主权”主要指（）。A.企业对用户数据的所有权B.国家对境内数据的管辖和控制权C.用户对个人数据的完全支配权D.平台对数据处理规则的制定权二、多项选择题（共10题，每题3分，共30分。每题至少有2个正确选项，错选、漏选均不得分）1.大数据技术栈通常包括以下哪些层次？（）A.数据采集层B.数据存储层C.数据处理层D.数据应用层2.以下属于数据隐私保护技术的有（）。A.数据脱敏（Masking）B.同态加密C.区块链存证D.数据去标识化（Deidentification）3.分布式计算框架Hadoop与Spark的主要区别包括（）。A.Hadoop基于磁盘计算，Spark基于内存计算B.Hadoop仅支持MapReduce模型，Spark支持多种计算模型C.Hadoop适合批处理，Spark适合实时流处理D.Hadoop的容错机制弱于Spark4.非结构化数据的典型类型包括（）。A.电子邮件B.监控视频C.社交媒体文本D.传感器原始读数5.大数据分析中，常用的分类算法有（）。A.KmeansB.决策树C.逻辑回归D.支持向量机（SVM）6.数据治理的核心目标包括（）。A.保障数据质量B.规范数据使用流程C.降低数据存储成本D.确保数据合规性7.以下哪些场景适合应用大数据技术？（）A.电商平台用户购物偏好分析B.城市交通拥堵预测C.医院患者病历电子化管理D.天气预报模型优化8.隐私计算的主要应用场景包括（）。A.跨机构联合建模B.敏感数据共享C.个人数据脱敏查询D.数据中心能耗优化9.数据湖的典型技术组件包括（）。A.对象存储（如AWSS3）B.元数据管理系统C.流批一体处理引擎D.关系型数据库10.大数据发展的关键挑战包括（）。A.数据孤岛问题B.算法公平性C.计算资源成本D.数据标准化不足三、判断题（共10题，每题1分，共10分。正确填“√”，错误填“×”）1.大数据的核心价值在于数据规模大，而非数据的分析与应用。（）2.HDFS（Hadoop分布式文件系统）设计目标是支持小文件的高并发访问。（）3.数据可视化的核心目的是让数据更美观，而非传递有效信息。（）4.数据挖掘中的“聚类分析”属于监督学习。（）5.区块链技术可以通过分布式账本增强大数据的可信度和可追溯性。（）6.边缘计算适合处理需要低延迟、本地化决策的场景（如智能工厂设备监控）。（）7.数据仓库中的数据是动态更新的，支持实时事务操作。（）8.数据脱敏技术可以完全消除数据泄露风险。（）9.联邦学习允许不同机构在不共享原始数据的前提下联合训练模型。（）10.大数据时代，“样本等于总体”意味着无需考虑数据抽样的代表性。（）四、简答题（共5题，每题6分，共30分）1.简述大数据处理的典型流程，并说明各阶段的核心任务。2.解释MapReduce的核心思想，并举例说明其适用场景。3.数据脱敏的常用方法有哪些？请分别举例说明。4.对比关系型数据库（RDBMS）与NoSQL数据库的特点，说明NoSQL的适用场景。5.什么是“数据孤岛”？如何通过技术手段解决数据孤岛问题？五、案例分析题（共1题，20分）背景：某电商平台计划通过大数据分析提升用户复购率，现需对用户行为数据（包括浏览记录、加购记录、支付记录、退单记录等）进行分析。假设你是该项目的大数据工程师，请回答以下问题：（1）该项目需要采集哪些类型的数据？请列举至少5类，并说明其数据格式（结构化/半结构化/非结构化）。（2）针对海量用户行为数据，应选择哪种存储方案（如HDFS、数据仓库、数据湖）？说明理由。（3）若需分析“用户加购但未支付的关键影响因素”，应采用哪些大数据分析方法（如描述性分析、预测性分析、诊断性分析）？并设计至少3个分析指标。（4）在数据处理过程中，可能遇到哪些数据质量问题？请提出对应的清洗策略。参考答案一、单项选择题1.D2.C3.C4.B5.B6.B7.C8.B9.B10.C11.C12.B13.C14.C15.B二、多项选择题1.ABCD2.ABD3.ABC4.ABCD5.BCD6.ABD7.ABD8.ABC9.ABC10.ABCD三、判断题1.×2.×3.×4.×5.√6.√7.×8.×9.√10.×四、简答题1.典型流程及核心任务：（1）数据采集：通过ETL工具、API接口、传感器等方式获取多源数据，核心任务是确保数据完整性和实时性；（2）数据存储：选择分布式文件系统（如HDFS）、数据湖或数据仓库存储，核心任务是支持海量数据的高效存储与访问；（3）数据清洗与预处理：处理缺失值、异常值，统一数据格式，核心任务是提升数据质量；（4）数据分析与挖掘：应用统计分析、机器学习等方法提取价值，核心任务是发现模式与规律；（5）数据应用：将分析结果输出为可视化报表、决策模型或业务规则，核心任务是驱动业务优化。2.MapReduce核心思想与场景：MapReduce将任务分解为“映射（Map）”和“归约（Reduce）”两个阶段：Map阶段将输入数据拆分并转换为键值对，Reduce阶段对相同键的值进行聚合计算。适用场景如日志分析（统计各IP访问次数）、词频统计（计算文档中单词出现频率）等批量数据处理任务。3.数据脱敏方法及示例：（1）替换：将真实姓名替换为“用户_XXX”（如“张三”→“用户_001”）；（2）掩码：部分隐藏敏感信息（如身份证号→“4401011234”）；（3）随机化：对数值型数据添加随机偏移（如用户年龄“30”→“2832”区间随机值）；（4）加密：通过AES算法对手机号进行加密存储，使用时解密。4.关系型数据库与NoSQL对比及适用场景：关系型数据库（如MySQL）特点：支持ACID事务、结构化数据、SQL查询，适合高一致性要求的事务场景（如银行转账）；NoSQL（如MongoDB、HBase）特点：灵活schema、横向扩展、高并发读写，适合海量半结构化数据存储（如社交媒体内容）、高吞吐量场景（如电商大促期间订单记录）。5.数据孤岛定义及解决方法：数据孤岛指不同系统/部门间数据无法共享，形成孤立的“数据烟囱”。技术解决手段包括：（1）建立企业级数据中台，统一数据标准与接口；（2）使用数据交换平台（如Sqoop）实现跨库数据迁移；（3）采用联邦数据库技术，通过虚拟层整合多源数据；（4）应用元数据管理系统，实现数据资产的全局可视化。五、案例分析题（1）需采集的数据类型及格式：浏览记录：页面ID、用户ID、浏览时间（结构化）；加购记录：商品ID、用户ID、加购数量、加购时间（结构化）；支付记录：订单ID、支付金额、支付方式、支付状态（结构化）；退单记录：退单原因描述、退单时间、商品评价（半结构化，含文本字段）；商品详情页访问时长：用户ID、商品ID、停留时间（结构化）。（2）存储方案选择及理由：建议采用“数据湖+数据仓库”混合方案：原始用户行为数据（如未清洗的日志）存储于数据湖（如基于HDFS的存储），支持半结构化/非结构化数据的低成本长期存储；清洗后的结构化数据（如用户基本信息、订单明细）存入数据仓库（如Hive），支持复杂查询与分析。（3）分析方法与指标设计：应采用诊断性分析（探究原因）。分析指标包括：加购未支付率=（加购用户数支付用户数）/加购用户数；商品页平均停留时间（加购未支付用户vs支付用户对比）；