2026年数据科学与大数据技术考试及答案

2026年数据科学与大数据技术考试及答案一、单项选择题（每题2分，共20分）1.以下哪项不属于数据清洗的常见操作？A.处理缺失值B.特征分箱C.检测并删除异常值D.纠正数据格式错误2.在机器学习中，若模型在训练集上表现良好但在测试集上误差较大，最可能的原因是？A.欠拟合B.过拟合C.数据不平衡D.特征维度不足3.以下哪种大数据处理框架更适合实时流数据处理？A.HadoopMapReduceB.ApacheSparkC.ApacheFlinkD.ApacheHive4.关于数据仓库（DataWarehouse）与数据湖（DataLake）的区别，正确的描述是？A.数据仓库存储结构化数据，数据湖存储非结构化/半结构化数据B.数据仓库支持实时写入，数据湖仅支持批量写入C.数据仓库的查询性能低于数据湖D.数据仓库主要用于OLTP，数据湖主要用于OLAP5.监督学习与无监督学习的核心区别在于？A.是否需要人工标注数据B.模型是否具有记忆能力C.输入特征的维度数量D.输出结果的类型（连续/离散）6.在特征工程中，对类别型特征“商品品类”（如服装、电子、食品）进行编码时，最合理的方法是？A.序号编码（LabelEncoding）B.独热编码（One-HotEncoding）C.目标编码（TargetEncoding）D.二进制编码（BinaryEncoding）7.以下哪项不是分布式文件系统HDFS的设计目标？A.处理大规模数据B.运行在低成本硬件上C.支持低延迟的实时访问D.提供高容错性8.在K近邻（KNN）算法中，当K值过小时，模型容易出现？A.欠拟合B.过拟合C.计算效率提升D.对噪声不敏感9.时间序列分析中，若数据存在季节性波动，通常需要进行？A.差分处理B.平滑处理C.分解为趋势、季节和残差项D.主成分分析（PCA）降维10.联邦学习（FederatedLearning）的主要目的是？A.提高模型训练速度B.解决数据隐私保护问题C.减少计算资源消耗D.提升模型泛化能力二、填空题（每题2分，共10分）1.数据标准化的常用方法之一是Z-score标准化，其公式为__________（用变量表示，μ为均值，σ为标准差）。2.决策树算法中，ID3算法使用__________作为特征选择的度量标准，C4.5算法则使用__________。3.ApacheSpark的核心抽象是__________（英文缩写），其主要特性包括不可变性、容错性和__________。4.K-means聚类算法的目标函数是最小化__________（用数学表达式表示，其中x_i为样本点，μ_j为簇中心，c_i为x_i所属簇的索引）。5.时间序列平稳性的常用检验方法是__________（英文缩写），其原假设是__________。三、简答题（每题8分，共40分）1.简述数据清洗的主要步骤及其对应的常见技术。2.特征选择的常用方法可分为哪几类？请分别举例说明。3.对比HadoopMapReduce与Spark的计算模型，说明Spark在迭代计算场景中的优势。4.长短期记忆网络（LSTM）是如何解决传统循环神经网络（RNN）的长期依赖问题的？5.列举三种大数据隐私保护技术，并简要说明其核心原理。四、计算题（每题10分，共40分）1.某数据集包含两个特征X和Y，其中X的取值为[12,15,18,20,25]，Y的取值为[3,5,7,9,11]。计算X与Y的皮尔逊相关系数（保留3位小数）。2.给定一个二分类问题的混淆矩阵如下（行为真实类别，列为预测类别）：预测正类预测负类真实正类8515真实负类2080计算模型的准确率（Accuracy）、召回率（Recall）和F1-score（保留2位小数）。3.假设有一个数据集，其中目标变量为“是否购买”（是/否），某特征“年龄”的取值为[20,25,30,35,40,45]，对应的购买情况为[否,否,是,是,是,否]。使用信息增益（InformationGain）选择该特征的最优分割点（假设分割点为连续值，需计算所有可能分割点的信息增益）。4.对以下数据进行Z-score标准化（保留2位小数）：[10,20,30,40,50]。五、综合应用题（20分）某电商平台希望通过用户行为数据预测“用户是否会在未来7天内下单”，已知可用数据包括用户基本信息（年龄、性别、注册时长）、近30天行为数据（浏览次数、加购次数、收藏次数、跳出率）、历史购买金额等。请设计一个完整的数据分析与建模流程，并回答以下问题：（1）数据预处理阶段需要处理哪些问题？请列举至少4类并说明处理方法。（2）选择2种适合的机器学习模型（需说明选择理由），并设计模型评估指标。（3）若模型训练后发现对“未下单”用户的预测效果较好，但对“下单”用户的预测效果差，可能的原因是什么？提出2种改进措施。答案一、单项选择题1.B（特征分箱属于特征工程中的特征转换，非数据清洗）2.B（过拟合表现为训练集误差小、测试集误差大）3.C（Flink是专门为实时流处理设计的框架）4.A（数据仓库以结构化数据为主，数据湖存储多类型数据）5.A（监督学习需要标注数据，无监督学习不需要）6.B（类别型特征无顺序关系时，独热编码更合理）7.C（HDFS设计目标不包括低延迟实时访问）8.B（K过小易受噪声影响，导致过拟合）9.C（季节性波动需分解为各成分单独分析）10.B（联邦学习核心是在数据不流通的情况下联合训练模型）二、填空题1.z=2.信息增益；信息增益率3.RDD（弹性分布式数据集）；惰性计算（或并行计算）4.||5.ADF（增广迪基-富勒检验）；存在单位根（数据非平稳）三、简答题1.数据清洗主要步骤及技术：（1）缺失值处理：删除少量缺失样本（列表删除）、均值/中位数填充（数值型）、众数填充（类别型）、模型预测填充（如KNN填充）。（2）异常值检测：Z-score法（|Z|>3视为异常）、IQR法（数据点超出Q1-1.5IQR或Q3+1.5IQR）、孤立森林（IsolationForest）。（3）数据重复处理：通过唯一标识（如用户ID）去重，保留最新或最完整记录。（4）格式错误纠正：统一日期格式（如“2023/10/1”转为“2023-10-01”）、修正文本大小写（如“male”统一为“Male”）。2.特征选择方法分类及示例：（1）过滤法（Filter）：基于统计量筛选，如卡方检验（类别特征与目标的相关性）、皮尔逊相关系数（数值特征与目标的线性相关）。（2）包装法（Wrapper）：基于模型性能筛选，如递归特征消除（RFE），逐步剔除对模型性能影响最小的特征。（3）嵌入法（Embedded）：模型训练过程中自动选择特征，如Lasso回归（通过L1正则化使部分特征系数为0）、随机森林的特征重要性排序。3.MapReduce与Spark的对比及Spark优势：MapReduce采用“分-总”计算模型，每次计算需将中间结果写入HDFS，适合离线批量处理；Spark基于RDD（内存计算），支持数据在内存中迭代计算（如机器学习中的多轮迭代），避免了频繁的磁盘IO，显著提升迭代场景（如梯度下降、K-means）的效率。4.LSTM解决长期依赖的机制：LSTM通过门控单元（输入门、遗忘门、输出门）控制信息的传递。遗忘门决定保留多少历史信息，输入门控制当前输入的新信息，输出门决定输出多少信息到当前时间步。通过门控机制，LSTM能选择性地遗忘或保留长期依赖的信息，避免了传统RNN因梯度消失/爆炸导致的长期依赖问题。5.大数据隐私保护技术及原理：（1）差分隐私（DifferentialPrivacy）：向数据中添加可控噪声（如拉普拉斯噪声），使得单个个体的数据修改不会显著影响整体统计结果，从而保护个体隐私。（2）同态加密（HomomorphicEncryption）：允许在加密数据上直接进行计算（如加法、乘法），计算结果解密后与明文计算结果一致，避免数据泄露。（3）k-匿名（k-anonymity）：对敏感数据（如姓名、地址）进行泛化（如将“25岁”泛化为“20-30岁”）或抑制（删除），使得至少k个记录在准标识符（如年龄、性别）上不可区分，防止通过准标识符关联到个体。四、计算题1.皮尔逊相关系数计算：X均值=(12+协方差CoX标准差=Y标准差=相关系数r=2.模型评估指标：准确率Ac召回率Re精确率PrF1-score=23.信息增益计算（目标变量“购买”的熵）：总样本数6，正类（是）3个，负类（否）3个，初始熵H(可能的分割点为年龄排序后的中间值：22.5（20与25之间）、27.5（25与30之间）、32.5（30与35之间）、37.5（35与40之间）、42.5（40与45之间）。以分割点27.5为例（年龄≤27.5为左子集，>27.5为右子集）：左子集：年龄20、25（购买否、否），正类0，负类2，熵H(右子集：年龄30、35、40、45（是、是、是、否），正类3，负类1，熵H(条件熵H(D|同理计算其他分割点，最大信息增益对应的分割点为32.5（具体计算略），最终最优分割点为32.5岁。4.Z-score标准化：均值μ=(10标准化后数据：(10−30)/14.14≈−1.41五、综合应用题（1）数据预处理问题及处理方法：①缺失值：用户“注册时长”可能缺失，用该用户“当前时间-注册时间”计算填充；“加购次数”缺失时，若缺失比例<5%则删除，否则用同类用户（同年龄、性别）的均值填充。②异常值：“跳出率”超过100%（如记录为150%），视为数据错误，修正为100%；“历史购买金额”为负数（如-500元），检查订单状态（如退货）后标记为0或删除。③特征转换：“性别”（男/女）用独热编码；“注册时长”（天）转换为对数变换（降低右偏态）；“跳出率”（0-100%）转换为0-1的数值。④数据不平衡：“下单”用户占比可能较低（如仅10%），采用SMOTE过采样提供少数类样本，或调整模型类别权重（如设置正类权重为9）。（2）模型选择及评估指标：①逻辑回归（LogisticRegression）：线性模型，计算效率高，可解释性强（通过系数分析各特征对下单概率的影响），适合作为基线模型。②XGBoost：梯度提升树模型，能捕捉特征间的非线性关系和交互作用，对高维稀疏数据（如用户行为特征）表现优异，且内置正则化防止过拟合。评估指标：由于目标是预测“下单”（