(2025年)大数据学科质量测评试卷答案

(2025年)大数据学科质量测评试卷答案一、单项选择题（每题2分，共30分）1.关于大数据的4V特性，以下描述错误的是（）A.Volume（大量）：数据规模从TB级跃升至PB甚至EB级B.Velocity（高速）：数据产生与处理需满足实时性要求，如物联网传感器数据流C.Variety（多样）：仅包含结构化数据（如关系型数据库）和半结构化数据（如JSON）D.Value（价值）：需通过深度分析挖掘低价值密度数据中的核心价值答案：C（解析：Variety还包括非结构化数据，如文本、图像、视频等）2.在Hadoop生态中，负责资源管理与任务调度的组件是（）A.HDFSB.YARNC.MapReduceD.HBase答案：B（解析：YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理系统，负责集群资源分配和任务调度）3.以下不属于Spark核心抽象的是（）A.RDD（弹性分布式数据集）B.DataFrameC.DStreamD.HiveQL答案：D（解析：HiveQL是Hive的查询语言，非Spark核心抽象）4.数据清洗中处理缺失值的方法不包括（）A.直接删除缺失值所在行B.用均值/中位数填补C.构建模型预测缺失值D.保留缺失值用于特征构造答案：D（解析：保留缺失值可能引入噪声，通常需处理后再用于建模）5.关于数据仓库（DataWarehouse）与数据湖（DataLake）的区别，正确的是（）A.数据仓库存储结构化数据，数据湖存储多类型原始数据B.数据仓库支持实时写入，数据湖仅支持离线处理C.数据仓库面向分析，数据湖面向事务D.数据仓库使用SQL查询，数据湖仅用NoSQL答案：A（解析：数据仓库需提前定义模式（Schema-on-Write），存储结构化数据；数据湖采用模式延迟（Schema-on-Read），存储原始多结构数据）6.某电商平台需实时分析用户点击流数据（每秒10万条），最适合的技术方案是（）A.HadoopMapReduce离线处理B.SparkStreaming微批处理C.Flink流处理D.Hive批量查询答案：C（解析：Flink支持毫秒级低延迟流处理，适合高并发实时场景）7.以下属于非关系型数据库（NoSQL）的是（）A.MySQLB.OracleC.CassandraD.SQLServer答案：C（解析：Cassandra是分布式NoSQL数据库，支持高并发写操作）8.在机器学习中，用于评估分类模型性能的指标是（）A.均方误差（MSE）B.决定系数（R²）C.精确率（Precision）D.平均绝对误差（MAE）答案：C（解析：精确率是分类任务的常用指标，反映预测为正类中实际正类的比例）9.特征工程中，对“用户注册时间”字段进行处理时，最合理的转换方式是（）A.直接保留原始时间戳B.提取年份、月份、星期等时间特征C.转换为字符串格式D.删除该字段答案：B（解析：时间字段的周期性（如星期）、季节性（如月份）对用户行为分析有重要价值）10.分布式文件系统HDFS中，默认数据块（Block）大小为（）A.32MBB.64MBC.128MBD.256MB答案：C（解析：HDFS默认块大小为128MB，设计目的是减少NameNode内存占用，提升大文件处理效率）11.以下不属于数据可视化原则的是（）A.准确传达数据信息B.过度使用3D效果增强表现力C.保持视觉简洁性D.明确图表目标受众答案：B（解析：过度3D效果可能扭曲数据，违背可视化的准确性原则）12.某数据集包含“用户性别”（男/女）、“年龄”（18-65）、“月收入”（3000-100000）字段，进行标准化（Z-score）处理时，需对（）字段操作A.仅“年龄”B.仅“月收入”C.“年龄”和“月收入”D.所有字段答案：C（解析：标准化适用于连续型数值字段，“用户性别”是类别型，需用独热编码等方法）13.关于Kafka消息队列的特性，错误的是（）A.高吞吐量，支持百万级消息/秒B.消息持久化存储于磁盘C.仅支持点对点（Point-to-Point）模式D.支持消费者组（ConsumerGroup）答案：C（解析：Kafka支持发布-订阅（Pub/Sub）模式，消费者组可实现消息广播或负载均衡）14.以下算法中，用于聚类分析的是（）A.逻辑回归（LogisticRegression）B.K-meansC.随机森林（RandomForest）D.支持向量机（SVM）答案：B（解析：K-means是无监督学习中的聚类算法，用于发现数据自然分组）15.在数据治理中，“数据血缘”指的是（）A.数据的来源与流转路径B.数据的质量等级C.数据的所有者信息D.数据的存储位置答案：A（解析：数据血缘（DataLineage）记录数据从产生到最终使用的全生命周期路径，用于追溯和责任界定）二、填空题（每题2分，共20分）1.大数据处理的典型流程包括数据采集、________、数据存储、数据处理、数据分析、数据可视化。答案：数据清洗2.Spark的执行模式中，________模式（ClusterMode）下Driver运行在集群节点上，适用于生产环境。答案：集群3.关系型数据库的三范式中，第三范式要求消除________依赖。答案：传递4.机器学习中，过拟合（Overfitting）的解决方法包括增加数据量、________、早停法（EarlyStopping）等。答案：正则化（或特征选择、降低模型复杂度）5.HBase的表由行键（RowKey）、列族（ColumnFamily）、时间戳（Timestamp）和________组成。答案：单元格值（或Value）6.实时数据处理中，________（Windowing）是将无限流数据划分为有限窗口进行计算的核心机制。答案：窗口化7.数据挖掘的常见任务包括分类、聚类、关联规则挖掘、________等。答案：预测（或异常检测、回归分析）8.分布式系统中，CAP定理指的是一致性（Consistency）、可用性（Availability）和________三者不可兼得。答案：分区容错性（PartitionTolerance）9.自然语言处理（NLP）中，将文本转换为数值向量的常用方法有词袋模型（BagofWords）、________、词嵌入（WordEmbedding）等。答案：TF-IDF（或n-gram）10.数据湖的典型存储架构是________（如AWSS3、阿里云OSS），支持低成本海量数据存储。答案：对象存储三、简答题（每题8分，共40分）1.简述MapReduce的核心思想及其工作流程。答案：MapReduce的核心思想是“分而治之”，将大规模数据处理任务分解为Map（映射）和Reduce（化简）两个阶段。工作流程：（1）输入分片（InputSplit）：将输入数据划分为多个分片，每个分片由一个Map任务处理；（2）Map阶段：每个Map任务读取分片数据，执行用户定义的Map函数，输出键值对（Key-Value）；（3）洗牌（Shuffle）：将Map输出的键值对按Key分组，传输到对应的Reduce任务；（4）Reduce阶段：每个Reduce任务对同一Key的Value集合执行Reduce函数，输出最终结果；（5）输出存储：将Reduce结果写入分布式文件系统（如HDFS）。2.说明数据清洗的主要任务及常用方法。答案：数据清洗的主要任务是处理数据中的错误、缺失、重复和不一致问题，提升数据质量。常用方法包括：（1）缺失值处理：删除缺失行（适用于缺失率低）、均值/中位数填补（数值型）、众数填补（类别型）、模型预测填补（如KNN算法）；（2）异常值处理：基于统计（Z-score、IQR）或模型（如孤立森林）检测并修正/删除；（3）重复值处理：通过唯一键（如用户ID）识别并删除重复记录；（4）不一致处理：统一数据格式（如日期格式）、纠正拼写错误（如“北京”与“北京市”）；（5）数据标准化/归一化：消除量纲影响（如Z-score标准化、Min-Max归一化）。3.对比HadoopHDFS与传统分布式文件系统（如NFS）的差异。答案：（1）设计目标：HDFS面向大规模数据存储（PB级），支持流式数据访问；传统分布式文件系统（如NFS）面向小文件、低延迟访问。（2）容错机制：HDFS通过数据多副本（默认3副本）实现容错，节点故障时自动恢复；传统文件系统依赖RAID等硬件冗余。（3）数据访问模式：HDFS支持“一次写入、多次读取”，适合批量处理；传统文件系统支持频繁的随机读写。（4）扩展性：HDFS可横向扩展至数千节点，传统文件系统扩展能力有限。（5）应用场景：HDFS适用于大数据分析（如日志处理、机器学习）；传统文件系统适用于企业办公、文件共享等场景。4.解释实时计算（Real-timeComputing）与离线计算（BatchComputing）的区别，并举例说明应用场景。答案：区别：（1）处理延迟：实时计算延迟通常为毫秒级（如Flink），离线计算延迟为小时级（如HadoopMapReduce）；（2）数据处理方式：实时计算处理流数据（无界、持续），离线计算处理批数据（有界、固定）；（3）资源需求：实时计算需高吞吐量、低延迟的资源调度；离线计算可利用空闲资源进行批量处理。应用场景：实时计算如电商大促期间的实时销量监控、物联网设备的实时异常报警；离线计算如用户月度行为分析、季度财务报表提供。5.简述特征工程在机器学习中的作用，并列举至少4种特征构造方法。答案：特征工程的作用是将原始数据转换为模型可理解、有预测能力的特征，直接影响模型性能（“数据和特征决定了机器学习的上限”）。特征构造方法包括：（1）时间特征提取：从时间戳中提取小时、星期、是否节假日等；（2）统计特征：计算均值、方差、最大值、分位数等；（3）组合特征：将两个或多个特征相乘/相加（如“用户年龄×月收入”）；（4）交叉特征：对类别型特征进行笛卡尔积（如“性别×职业”）；（5）文本特征：TF-IDF、词嵌入（Word2Vec）；（6）空间特征：经纬度转换为距离（如“用户位置到商圈的距离”）。四、应用题（共30分）某电商平台需分析用户购买行为，目标是预测“用户是否会在未来7天内下单”。现有数据集包含以下字段：用户ID、性别、年龄、注册时长（天）、近30天浏览商品数、近30天加购数、近30天收藏数、近7天下单金额、历史复购次数、是否为会员。1.请设计特征工程步骤（10分）。答案：（1）数据清洗：检查缺失值（如“年龄”缺失可填充均值）、异常值（如“注册时长”为负数则修正）、重复值（删除重复用户记录）；（2）特征构造：①计算比率类特征：“加购转化率”=近30天加购数/近30天浏览商品数；“收藏转化率”=近30天收藏数/近30天浏览商品数；②时间相关特征：将“注册时长”划分为区间（如0-30天、31-90天）；③会员特征编码：将“是否为会员”转换为0/1二值变量；④统计特征：计算“历史复购次数”的分位数（如是否高于75%分位数）；（3）特征选择：使用卡方检验（类别型特征）或相关系数（数值型特征）筛选与目标变量（未来7天是否下单）相关性高的特征，剔除冗余特征（如“近7天下单金额”与目标变量强相关但可能导致数据泄露，需谨慎处理）。2.选择合适的机器学习模型并说明理由（8分）。答案：选择LightGBM模型，理由：（1）处理高维稀疏数据：电商用户行为数据通常包含大量类别型和数值型特征，LightGBM支持类别特征直接输入，无需独热编码；（2）高效性：采用基于直方图的决策树算法，训练速度快于XGBoost，适合大规模数据；（3）抗过拟合：支持正则化（L1/L2）、子采样（Subsample）等方法，提升模型泛化能力；（4）可解释性：通过特征重要性（FeatureImportance）可解释各行为特征对下单预测的影响（如“加购转化率”重要性高，说明加购行为对下单有强预测作用）。3.设计模型评估方案（12分）。答案：（1）数据划分：按时间窗口划分训练集（前180天数据）、验证集（中间30天数据）、测试集（最后30天数