2025年信息技术与数据科学课程考试试题及答案

2025年信息技术与数据科学课程考试试题及答案一、单项选择题（每题2分，共20分）1.数据科学项目中，以下哪一步骤通常先于“特征工程”？A.模型训练B.数据可视化C.模型评估D.结果部署答案：B2.关系型数据库中，第三范式（3NF）要求消除：A.非主属性对码的部分函数依赖B.非主属性对码的传递函数依赖C.主属性之间的部分函数依赖D.主属性之间的传递函数依赖答案：B3.以下哪种机器学习算法属于提供式模型？A.逻辑回归B.支持向量机（SVM）C.朴素贝叶斯D.随机森林答案：C4.假设某数据集有5个样本，标签分别为[0,0,1,1,1]，则该数据集的信息熵为：A.0.971B.1.0C.0.8D.0.5答案：A（计算：H=(2/5)log₂(2/5)(3/5)log₂(3/5)≈0.971）5.以下哪项不是ApacheSpark的核心组件？A.SparkCoreB.SparkSQLC.HBaseD.SparkStreaming答案：C6.区块链技术中，“共识机制”的主要作用是：A.加密交易数据B.验证交易合法性并维护账本一致性C.提高交易速度D.存储智能合约答案：B7.数据清洗中，处理缺失值的方法不包括：A.均值填充B.回归预测填充C.直接删除缺失样本D.对缺失值单独编码答案：无（注：所有选项均为常见方法，本题为干扰项，正确选项应为“无”，但实际命题中需避免此类设计，此处仅为示例）8.神经网络中，以下哪个激活函数可以避免梯度消失问题？A.SigmoidB.TanhC.ReLUD.Softmax答案：C9.分布式系统中，CAP定理指的是：A.一致性、可用性、分区容错性B.正确性、可用性、性能C.一致性、准确性、分区容错性D.正确性、持久性、性能答案：A10.图神经网络（GNN）在以下哪个场景中应用最典型？A.图像分类B.用户社交关系中的节点属性预测C.时间序列预测D.文本情感分析答案：B二、填空题（每题2分，共20分）1.数据湖（DataLake）通常存储________数据，支持结构化、半结构化和非结构化格式。答案：原始2.Kmeans聚类算法的目标函数是最小化所有样本到其所属簇________的平方和。答案：质心（或中心）3.Hadoop生态中，负责资源管理和任务调度的组件是________。答案：YARN4.决策树中，ID3算法使用________作为分裂准则，C4.5算法则使用信息增益比。答案：信息增益5.信息检索中，常用的评价指标包括准确率（Precision）、召回率（Recall）和________。答案：F1值（或F度量）6.Spark的RDD（弹性分布式数据集）具有________特性，支持基于内存的快速计算。答案：不可变、可分区、容错7.差分隐私（DifferentialPrivacy）通过添加________来保护个体数据隐私，其核心参数为ε（隐私预算）。答案：噪声8.自然语言处理（NLP）中，BERT模型采用________预训练任务，包括掩码语言模型（MLM）和下一句预测（NSP）。答案：双向Transformer9.推荐系统中，协同过滤可分为基于用户的协同过滤和基于________的协同过滤。答案：物品10.联邦学习（FederatedLearning）根据数据分布差异可分为横向联邦（数据特征相同，样本不同）、纵向联邦（样本相同，特征不同）和________联邦（样本和特征均不同）。答案：迁移三、简答题（每题6分，共30分）1.解释数据科学中的“数据漂移”（DataDrift）及其检测方法。答案：数据漂移指数据分布随时间变化，导致模型性能下降的现象，分为特征漂移（输入分布变化）和标签漂移（输出分布变化）。检测方法包括：①统计检验（如KS检验、卡方检验）比较训练集与新数据的分布差异；②监控模型预测结果的指标（如准确率、AUC）下降；③使用漂移检测算法（如DDM、EDDM）实时监测数据分布变化。2.比较Hive和SparkSQL的异同。答案：相同点：均为大数据SQL查询引擎，支持类SQL语法，用于处理结构化数据。不同点：Hive基于MapReduce，适合离线批处理，延迟高；SparkSQL基于内存计算的SparkCore，支持批处理和流处理（通过StructuredStreaming），延迟更低。Hive元数据存储在关系型数据库（如MySQL），SparkSQL元数据可存储在内存或外部系统。3.说明LSTM（长短期记忆网络）如何解决RNN（循环神经网络）的长期依赖问题。答案：RNN因梯度消失/爆炸问题难以捕捉长距离依赖。LSTM通过引入门控机制（输入门、遗忘门、输出门）和细胞状态（CellState）解决：①遗忘门控制细胞状态中旧信息的保留；②输入门控制新信息的添加；③细胞状态作为信息传递的“高速公路”，减少梯度衰减；④输出门控制当前时刻的输出。门控机制通过sigmoid和tanh激活函数调节信息流动，保留长期依赖信息。4.分析梯度消失对深度神经网络的影响及缓解方法。答案：影响：梯度消失指反向传播时，深层网络的梯度逐渐趋近于0，导致浅层网络参数更新缓慢，模型无法有效学习。缓解方法：①使用ReLU及其变体（如LeakyReLU）替代Sigmoid/Tanh，避免梯度饱和；②参数初始化（如He初始化、Xavier初始化）保持梯度尺度；③批量归一化（BatchNormalization）稳定各层输入分布，减少内部协变量偏移；④残差网络（ResNet）通过跳跃连接（SkipConnection）提供梯度直传路径；⑤降低网络深度或使用更浅的模型结构。5.描述知识图谱的构建流程。答案：构建流程包括：①数据采集（结构化数据如数据库、半结构化数据如XML/JSON、非结构化数据如文本）；②信息抽取（实体识别、关系抽取、属性抽取，可使用NLP技术或规则匹配）；③知识融合（实体对齐，解决同一实体多标识问题；知识合并，整合多源数据）；④知识加工（本体构建定义概念层级；知识推理补全缺失关系；质量评估确保准确性）；⑤知识存储（使用图数据库如Neo4j或RDF存储如Virtuoso）；⑥应用服务（问答系统、推荐系统等）。四、综合题（每题10分，共30分）1.设计一个基于机器学习的用户流失预测系统，要求包括数据来源、特征工程、模型选择、评估指标和优化策略。答案：（1）数据来源：用户基本信息（年龄、注册时间）、行为数据（APP登录频率、页面停留时长、交易金额）、服务交互数据（客服咨询次数、投诉记录）、外部数据（行业活跃度、竞品动态）。（2）特征工程：①时间特征（最近登录时间间隔、月均活跃天数）；②行为聚合特征（日均点击量、最高消费金额）；③转化率特征（浏览购买转化率）；④序列特征（使用滑动窗口提取近30天行为模式）；⑤类别特征编码（独热编码、目标编码）；⑥缺失值处理（中位数填充、模型预测填充）。（3）模型选择：初始使用逻辑回归（可解释性强）、随机森林（处理非线性关系），进阶使用XGBoost/LightGBM（高效处理高维数据），深度模型可选FFM（因子分解机）或神经网络（如Wide&Deep，兼顾记忆与泛化）。（4）评估指标：因流失数据通常不平衡，主指标为F1值、AUCROC；辅助指标包括精确率（关注预测流失用户的准确性）、召回率（关注漏检的流失用户）。（5）优化策略：①数据层面：过采样（SMOTE）或欠采样平衡类别；②模型层面：调整超参数（如XGBoost的learning_rate、max_depth），使用交叉验证；③业务层面：结合流失用户访谈修正特征重要性，定期更新模型（因用户行为随时间变化）。2.某电商平台需分析用户行为数据，要求使用Spark进行ETL处理，设计用户画像标签体系，并给出推荐系统的改进方案。答案：（1）SparkETL处理：①数据抽取（从HDFS/数据库读取用户点击日志、交易记录）；②清洗（过滤无效会话、去重、处理缺失的用户ID）；③转换（计算用户停留时长、跳出率，关联用户基本信息）；④加载（存储至Hive数据仓库或ClickHouse用于实时查询）。（2）用户画像标签体系：①人口属性（年龄、性别、地域）；②消费能力（客单价、年消费总额、支付方式）；③行为偏好（高频访问类目、促销敏感度、夜间活跃用户）；④生命周期（新用户、活跃用户、沉默用户）；⑤价值标签（RFM模型：最近一次消费R、消费频率F、消费金额M）。（3）推荐系统改进：①融合用户画像标签：将性别+地域+偏好类目作为特征，优化协同过滤的相似性计算；②引入实时行为数据：通过SparkStreaming处理实时点击流，更新用户临时标签（如“最近浏览手机”），触发实时推荐；③多模型融合：协同过滤（处理历史行为）+深度学习（如DIN，深度兴趣网络，捕捉用户动态兴趣）+基于标签的规则推荐（如“高价值用户推荐新品”）；④评估优化：A/B测试对比新旧推荐策略的CTR（点击率）、GMV（成交总额）提升效果，定期调整模型权重。3.给定一个高维稀疏的文本数据集（如10万维词袋特征，5000样本），设计降维与分类的集成方案，要求包括降维方法选择、分类模型对比、超参数调优策略及结果验证。答案：（1）降维方法选择：①线性降维：主成分分析（PCA）适用于连续特征，但文本数据稀疏，可改用截断奇异值分解（TruncatedSVD）保留主要特征；②非线性降维：tSNE（可视化）或UMAP（保持局部结构），但分类任务更关注判别性，优先选择LDA（线性判别分析）利用类别信息；③特征选择：卡方检验（筛选与类别相关的词）、互信息（MI）评估特征重要性，直接删除低相关特征。（2）分类模型对比：①逻辑回归（LR）：计算高效，适合高维稀疏数据，但对非线性关系建模弱；②支持向量机（SVM）：核函数（如线性核）可处理高维，但训练时间随样本量增加显著上升；③随机森林（RF）：对稀疏数据不敏感，可并行训练，但容易过拟合；④XGBoost：内置特征重要性评估，支持稀疏矩阵优化，适合大规模数据；⑤深度学习：如TextCNN（捕捉局部特征）或BERT（上下文语义），但需较大计算资源。（3）超参数调优：①网格搜索（小范围参数）或随机搜索（大范围参数）；②针对降维：SVD保留100300维（通过交叉验证选择最优维度）；LDA设置主题数=类别数；③针对分类模型：LR的正则化系数C（1e3到10）；X