2025-2026年数据挖掘与数据科学应用考核试卷

2025-2026年数据挖掘与数据科学应用考核试卷一、单项选择题（本大题共10小题，每小题2分，共20分）1.在数据挖掘过程中，用于评估模型泛化能力的指标是（）A.过拟合率B.训练集准确率C.交叉验证误差D.特征冗余度解析：交叉验证误差通过多次数据分割验证模型在未见数据上的表现，直接反映泛化能力。过拟合率仅衡量模型对训练数据的拟合程度，训练集准确率未考虑数据量影响，特征冗余度与模型评估无关。数据科学中模型选择需通过交叉验证确定最优参数，避免高偏差（欠拟合）或高方差（过拟合）问题。2.下列算法中，属于监督学习范畴且适用于处理非线性关系的是（）A.K-近邻算法B.决策树集成C.主成分分析D.K均值聚类解析：决策树集成（如随机森林、梯度提升树）通过多棵决策树组合实现非线性模式识别，其特征交互能力远超线性模型。K-近邻算法虽可处理非线性，但计算复杂度高；主成分分析属于降维工具；K均值聚类为无监督算法。数据挖掘中非线性关系处理常采用核方法或集成学习。3.在处理缺失值时，以下哪种方法会改变原始数据的分布特性（）A.均值/中位数填补B.K最近邻插补C.多重插补D.回归插补解析：回归插补通过构建回归模型预测缺失值，会引入模型假设，导致数据分布变化。均值/中位数填补仅改变局部统计量；KNN插补基于距离保持分布相似；多重插补通过模拟缺失机制维持分布特性。数据科学中需根据缺失机制选择插补方法，避免引入偏差。4.下列关于特征选择的说法正确的是（）A.Lasso回归通过设置正则化参数实现特征选择B.递归特征消除每次移除最不重要的特征C.全局特征选择适用于高维稀疏数据D.特征重要性排序与特征共线性无关解析：Lasso回归通过L1正则化产生稀疏解实现特征选择；递归特征消除通过交叉验证动态调整特征子集；高维稀疏数据更适合基于模型的方法（如随机森林）；特征共线性会降低重要性排序的可靠性。数据挖掘中特征选择需考虑数据特性与模型兼容性。5.在时间序列预测中，ARIMA模型需要估计的参数数量取决于（）A.样本量大小B.自相关阶数C.移动平均阶数D.趋势周期解析：ARIMA(p,d,q)模型参数数量固定为p+d+q。样本量影响参数估计稳定性，自相关阶数决定p，移动平均阶数决定q，趋势周期影响d的选择。数据科学中需通过ACF/PACF图确定模型阶数，避免过度拟合。季节性模型需额外考虑周期参数P和Q。6.以下哪种方法可用于检测异常值（）A.独立成分分析B.LOF算法C.PCA重构误差D.决策树基尼系数解析：LOF（局部离群因子）通过比较样本局部密度与邻域密度检测异常值；PCA重构误差可识别与主成分分布偏离的点；独立成分分析用于信号分离；决策树基尼系数衡量节点不纯度。数据挖掘中异常检测需考虑数据分布特性，避免将边界点误判为异常。7.在自然语言处理中，词嵌入技术的主要作用是（）A.提取文本主题B.对齐词向量空间C.分词处理D.情感分析解析：词嵌入（如Word2Vec）通过降维将词语映射到连续向量空间，保持语义相似性。主题提取需LDA等模型；分词依赖词典规则；情感分析需结合词典和机器学习。数据科学中词嵌入是文本表示的核心技术，为深度学习提供基础。8.以下哪种算法适用于处理图结构数据（）A.支持向量机B.K均值聚类C.PageRankD.线性回归解析：PageRank通过迭代计算节点重要性，专门处理图结构数据。支持向量机适用于分类回归；K均值聚类处理点集；线性回归分析数值关系。数据挖掘中图算法包括社区检测、链接预测等，需根据图特性选择模型。9.在模型评估中，以下哪种指标适用于不平衡数据集（）A.准确率B.F1分数C.AUC曲线D.曼哈顿距离解析：F1分数是精确率与召回率的调和平均，对少数类更敏感。准确率易受多数类影响；AUC衡量全局区分能力；曼哈顿距离为距离度量。数据科学中需根据业务需求选择评估指标，避免多数类偏见。10.以下哪种技术可用于数据增强（）A.特征交叉B.数据池化C.生成对抗网络D.主成分回归解析：生成对抗网络（GAN）通过生成器和判别器对抗学习，创造逼真数据。特征交叉产生新特征组合；数据池化降低分辨率；主成分回归降维。数据挖掘中数据增强可缓解样本不足问题，需考虑生成质量与计算成本。二、填空题（本大题共10小题，每小题2分，共20分）1.交叉验证中，k折交叉验证将数据集分成______个子集，每次留出一个子集作为验证集，其余作为训练集。参考答案：k解析：k折交叉验证通过重复k次，每次选择不同验证集，计算平均性能。该方法是模型选择的标准实践，需保证k值足够大（通常10-15）以减少随机性。数据科学中需注意数据随机排序，避免周期性偏差。2.决策树中，用于衡量节点分裂质量的指标包括______和______。参考答案：基尼不纯度；信息增益解析：基尼不纯度衡量样本纯度，信息增益衡量分裂带来的信息量减少。数据挖掘中需根据数据类型选择指标，连续变量分裂需考虑最优分割点。决策树剪枝可避免过拟合，常用后剪枝方法。3.在关联规则挖掘中，提升度（Lift）衡量规则A→B的______相对于随机购买的概率。参考答案：关联性解析：提升度=支持度(A∪B)/[支持度(A)×支持度(B)]，反映规则偏离独立性程度。数据科学中需结合置信度（支持度(A→B)/支持度(A)）综合评估规则价值。Apriori算法通过支持度剪枝提高效率。4.时间序列分解模型STL将序列分解为______、______和______三个成分。参考答案：趋势；季节；残差解析：STL模型通过周期性约束分离趋势、季节和随机波动，优于经典分解。数据科学中需选择合适的周期参数，残差分析可检测异常点。X-13ARIMA模型提供更灵活的分解方法。5.在聚类算法中，DBSCAN算法的核心参数是______和______。参考答案：邻域半径（eps）；最小样本数（minPts）解析：DBSCAN通过密度连接发现任意形状簇，参数选择影响结果。数据科学中需根据数据密度调整参数，避免将噪声点误判为簇。谱聚类适用于非凸分布，但计算复杂度较高。6.逻辑回归模型中，输出概率P(Y=1|x)的计算公式为______。参考答案：exp(β0+β1x1+...+βnxn)/(1+exp(β0+β1x1+...+βnxn))解析：逻辑回归通过Sigmoid函数将线性组合映射到(0,1)，参数估计采用最大似然法。数据科学中需正则化避免过拟合，常用L1或L2惩罚。ROC曲线可评估模型性能。7.在文本分类中，TF-IDF权重反映了词语在______中的重要性。参考答案：文档；语料库解析：TF-IDF=TF×IDF，TF衡量词频，IDF反映逆文档频率。数据科学中需考虑词性过滤，主题模型（如LDA）可提供更丰富的语义表示。词嵌入方法（如BERT）已超越传统TF-IDF。8.在异常检测中，基于密度的方法假设异常点位于______区域。参考答案：低密度解析：IsolationForest等算法通过随机分割树构建密度估计，异常点易被隔离。数据科学中需平衡敏感性和误报率，传统方法（如Z-score）适用于高斯分布数据。深度学习方法（如Autoencoder）可处理非高斯数据。9.在特征工程中，将多个特征组合成新特征的方法称为______。参考答案：特征交互解析：特征交互（如多项式特征、交叉特征）可捕捉变量间关系。数据科学中需避免过度工程，交叉验证可评估特征效果。自动特征工程（如AutoML）正成为研究热点。10.在模型部署中，用于监控模型性能的指标包括______和______。参考答案：漂移检测；A/B测试解析：模型漂移（概念漂移）需通过在线学习或周期性重训练应对。A/B测试可比较不同版本效果。数据科学中需建立监控体系，异常指标触发报警。模型可解释性（如SHAP值）有助于诊断问题。三、判断题（本大题共10小题，每小题2分，共20分）1.在数据预处理中，标准化和归一化是等价的概念。（）参考答案：错误解析：标准化（Z-score）以均值为0方差为1转换，归一化（Min-Max）将数据映射到[0,1]区间。数据科学中需根据模型需求选择方法，如神经网络需标准化。两种方法均需注意异常值影响。2.决策树容易过拟合，但可通过增加树深度来缓解。（）参考答案：错误解析：增加树深度会加剧过拟合，正确方法是剪枝。数据科学中常用交叉验证确定最优树深度，集成方法（如随机森林）可提高鲁棒性。正则化参数（如L1/L2）也可控制复杂度。3.在关联规则挖掘中，支持度高的规则必然具有高置信度。（）参考答案：错误解析：支持度衡量规则出现频率，置信度衡量规则成立概率。数据科学中需同时考虑两者，高基数数据集（如电商交易）易产生大量弱关联规则。Apriori算法的Apriori属性保证规则子集满足支持度。4.时间序列模型ARIMA(1,1,1)适用于具有单位根的平稳序列。（）参考答案：正确解析：ARIMA(1,1,1)通过差分消除趋势，适用于差分后平稳序列。数据科学中需通过单位根检验（如ADF）确认平稳性，季节性模型需额外考虑P和Q。模型选择需结合ACF/PACF图。5.K均值聚类算法对初始聚类中心的选择敏感。（）参考答案：正确解析：K-means易陷入局部最优，K-means++方法通过概率选择初始中心提高稳定性。数据科学中需结合领域知识确定K值，轮廓系数可评估聚类质量。层次聚类提供非参数方法。6.逻辑回归模型的输出可直接用于分类决策。（）参考答案：正确解析：逻辑回归输出概率P(Y=1|x)，通常设定阈值（如0.5）进行分类。数据科学中需调整阈值平衡精确率和召回率，ROC曲线下面积（AUC）是重要评估指标。概率输出更适用于风险预测。7.词嵌入技术可以完全保留原始文本的语法结构。（）参考答案：错误解析：词嵌入捕捉语义相似性，但丢失语法信息。数据科学中需结合语法分析（如依存句法）增强表示。Transformer模型通过注意力机制改善长距离依赖，但计算成本高。8.DBSCAN算法可以处理高维稀疏数据。（）参考答案：正确解析：DBSCAN通过邻域关系定义簇，对高维数据表现优于K-means。数据科学中需调整参数避免维度灾难，主成分分析（PCA）可降维预处理。图嵌入方法（如Node2Vec）提供更丰富的表示。9.在特征选择中，递归特征消除（RFE）适用于所有机器学习模型。（）参考答案：错误解析：RFE依赖模型系数或特征重要性排序，不适用于无参数模型（如KNN）。数据科学中需选择与模型兼容的方法，Lasso回归自动实现特征选择。特征选择需避免数据泄漏。10.模型可解释性（如LIME）可以完全替代模型复杂度。（）参考答案：错误解析：可解释性工具（如SHAP值）帮助理解模型决策，但不能替代复杂模型（如深度学习）的预测能力。数据科学中需平衡解释性与性能，领域知识（如LIME）可增强解释效果。四、简答题（本大题共8小题，每小题2分，共16分）1.简述数据挖掘中特征工程的主要步骤及其目的。答：特征工程主要步骤包括：（1）数据清洗：处理缺失值、异常值、重复值，保证数据质量；（2）特征提取：从原始数据中提取新特征，如PCA降维、文本分词；（3）特征转换：标准化、归一化、对数变换等，使特征适合模型；（4）特征组合：创建交互特征（如多项式特征），捕捉变量间关系；（5）特征选择：通过过滤法（如方差阈值）、包裹法（如递归特征消除）或嵌入法（如Lasso）选择最优特征子集。目的：提高模型性能、降低维度、增强可解释性、减少噪声干扰。数据科学中特征工程需结合领域知识，避免过度工程导致过拟合。2.解释交叉验证中k折交叉验证和留一法的主要区别及其适用场景。答：k折交叉验证将数据均分为k个子集，轮流使用k-1个作为训练集，1个作为验证集，计算k次平均性能；留一法将每个样本作为验证集，其余作为训练集，适用于小数据集。区别：k折交叉验证计算效率高，留一法评估更稳定但计算量大。数据科学中k值通常取10-15，留一法适用于样本量小于50的情况。两者均需保证数据随机排序，避免周期性偏差。选择方法需权衡计算成本与评估精度。3.描述决策树模型中过拟合和欠拟合的表现及解决方法。答：过拟合表现为训练集误差低但验证集误差高，模型复杂（如树深度大）；欠拟合表现为训练集和验证集误差均高，模型过于简单（如树深度小）。解决方法：过拟合可通过剪枝（设置最大深度、最小样本数）、正则化（L1/L2）、集成学习（如随机森林）；欠拟合可通过增加树深度、减少正则化、特征工程提升模型复杂度。数据科学中需通过交叉验证监控模型性能，选择最优配置。4.解释时间序列分析中ARIMA模型的三参数（p,d,q）分别代表什么。答：ARIMA(p,d,q)模型包含三个参数：（1）p：自回归阶数，表示模型依赖过去p个观测值的线性组合；（2）d：差分阶数，表示需差分d次使序列平稳；（3）q：移动平均阶数，表示模型依赖过去q个白噪声误差项的线性组合。数据科学中需通过ACF/PACF图确定p和q，单位根检验（如ADF）辅助判断d。季节性模型需额外考虑P和Q。模型选择需结合自相关结构分析。5.比较监督学习、无监督学习和半监督学习的典型应用场景。答：（1）监督学习：适用于标签数据充分的场景，如分类（垃圾邮件检测）、回归（房价预测）。数据科学中需注意过拟合问题，常用集成方法提升鲁棒性。（2）无监督学习：适用于无标签数据，如聚类（客户分群）、降维（PCA）。数据科学中需选择与数据特性匹配的算法，避免噪声干扰。（3）半监督学习：适用于标签稀缺但数据量大的场景，如图像识别。数据科学中需解决数据不平衡问题，常用一致性正则化方法。6.简述关联规则挖掘中支持度、置信度和提升度的计算公式及含义。答：（1）支持度：支持度(A→B)=支持度(A∪B)/总样本数，衡量规则出现频率；（2）置信度：置信度(A→B)=支持度(A→B)/支持度(A)，衡量规则成立概率；（3）提升度：提升度(A→B)=支持度(A→B)/[支持度(A)×支持度(B)]，衡量规则偏离独立性程度。数据科学中需同时考虑三者，高基数数据集（如电商）易产生大量弱关联规则。Apriori算法通过支持度剪枝提高效率，但计算复杂度高。7.解释异常检测中基于密度的方法（如LOF）的核心思想及其参数选择要点。答：LOF（局部离群因子）通过比较样本局部密度与邻域密度检测异常：（1）核心思想：异常点位于低密度区域，其密度远低于邻域。LOF计算每个样本与k个最近邻的密度比，异常点LOF值远大于1。（2）参数选择：k值影响密度估计，通常取5-10。数据科学中需考虑数据分布特性，避免高维数据维度灾难。可结合距离度量（如欧氏距离）调整算法。适用场景：金融欺诈检测、网络入侵检测等稀疏数据问题。传统方法（如Z-score）适用于高斯分布数据。8.描述文本分类中TF-IDF和词嵌入（如Word2Vec）的主要区别及其优缺点。答：（1）TF-IDF：优点：计算简单，可处理大规模语料。数据科学中常用于特征工程，支持传统机器学习模型。缺点：忽略词语顺序，丢失语法信息。高基数数据集（如电商）易产生大量弱关联规则。（2）词嵌入（Word2Vec）：优点：捕捉语义相似性，支持上下文理解。数据科学中可处理非高斯数据，适用于深度学习。缺点：计算复杂度高，需大量训练数据。词向量维度大，需降维处理。无法完全保留语法结构。选择方法需结合任务需求与数据特性，Transformer模型（如BERT）已超越传统方法。五、应用题（本大题共8小题，每小题4分，共32分）1.某电商平台收集了1000条用户购买记录，包含商品类别（服装、电子、家居）、购买金额、购买时间（小时）、用户年龄等字段。请设计一个关联规则挖掘方案，并说明如何评估规则质量。答：方案设计：（1）数据预处理：将连续变量离散化（如金额分箱），处理缺失值（如用众数填补）；（2）规则挖掘：使用Apriori算法挖掘关联规则，设置最小支持度（如0.05）和最小置信度（如0.2）；（3）规则评估：计算提升度（衡量关联性）、杠杆率（衡量规则偏离独立性程度）；（4）规则筛选：去除冗余规则（如通过闭包属性），选择高价值规则（如高提升度且置信度达标）。数据科学中需注意数据稀疏性问题，可结合主题模型（如LDA）增强语义理解。评估指标需结合业务目标，如服装+电子购买可能反映促销效果。2.假设某城市交通部门收集了过去一年的地铁乘客流量数据（每10分钟记录一次），请设计一个时间序列预测方案，并说明如何处理季节性因素。答：方案设计：（1）数据预处理：检测并处理异常值（如节假日爆发），识别趋势和季节性；（2）模型选择：若数据平稳，使用ARIMA(1,1,1)；若存在季节性，使用SARIMA(1,1,1)(P,D,Q)s；（3）季节性处理：通过STL分解分离趋势、季节和残差，季节成分（s）需根据数据特性确定（如7天周期）；（4）模型评估：计算MAPE（平均绝对百分比误差）、AIC（赤池信息准则）选择最优模型。数据科学中需考虑节假日效应，可引入虚拟变量。深度学习方法（如LSTM）也可处理非线性时间序列，但需大量数据。3.某银行需要检测信用卡欺诈交易，收集了1000笔交易数据（金额、时间、地点、商户类型等）。请设计一个异常检测方案，并说明如何平衡敏感性和误报率。答：方案设计：（1）数据预处理：将时间转换为小时，地点用经纬度表示，处理缺失值（如用均值填补）；（2）特征工程：创建交互特征（如金额×时间、地点距离商户距离），提取统计特征（如金额中位数）；（3）异常检测：使用IsolationForest，设置异常比例（如10%）和异常分数阈值；（4）模型评估：计算精确率（检测到欺诈的比例）、召回率（检测到欺诈交易的比例）。数据科学中需考虑交易分布特性，高价值交易（如大额跨境交易）需提高敏感度。可结合规则引擎（如金额超过阈值）和机器学习模型（如XGBoost）组合使用。4.某电商平台需要根据用户购买历史进行商品推荐，收集了2000条用户-商品交互数据（用户ID、商品ID、评分）。请设计一个协同过滤推荐方案，并说明如何处理数据稀疏性问题。答：方案设计：（1）数据预处理：构建用户-商品矩阵，处理缺失值（如用0填充）；（2）模型选择：使用User-BasedCF（基于用户的协同过滤）或Item-BasedCF（基于商品的协同过滤）；（3）稀疏性处理：采用矩阵分解（如SVD），或引入隐语义模型（如NMF）；（4）模型评估：计算RMSE（均方根误差）、Precision@K（推荐准确率）评估推荐效果。数据科学中需考虑冷启动问题（新用户/商品），可结合内容推荐（如基于商品属性）或深度学习（如Autoencoder）增强推荐效果。推荐系统需定期更新，避免长期不活跃用户/商品影响。5.某医院收集了500名患者的病历数据（年龄、性别、血压、血糖、病史等），需要预测患者是否患有糖尿病。请设计一个分类模型方案，并说明如何处理不平衡数据问题。答：方案设计：（1）数据预处理：将分类变量编码（如独热编码），处理缺失值（如用KNN填补）；（2）模型选择：使用逻辑回归（可加入L1/L2正则化）或随机森林，或深度学习（如多层感知机）；（3）不平衡处理：采用过采样（如SMOTE算法），或欠采样（如随机删除多数类），或代价敏感学习（提高少数类权重）；（4）模型评估：计算F1分数（精确率与召回率的调和平均）、AUC（ROC曲线下面积）。数据科学中需结合医学诊断需求，提高召回率避免漏诊。可结合特征选择（如Lasso回归）减少噪声干扰。模型可解释性（如SHAP值）有助于医生理解预测依据。6.某社交媒体平台需要分析用户发帖行为，收集了1000条发帖数据（时间、内容关键词、点赞数、评论数）。请设计一个文本分类方案，并说明如何处理高维稀疏数据问题。答：方案设计：（1）数据预处理：分词（如使用jieba），去除停用词，提取TF-IDF特征；（2）高维处理：使用PCA降维，或LDA主题模型提取语义特征，或Word2Vec生成词向量；（3）模型选择：使用朴素贝叶斯（适合文本分类），或支持向量机（高维效果好），或深度学习（如CNN/LSTM）；（4）模型评估：计算准确率、F1分数、混淆矩阵分析分类效果。数据科学中需考虑情感分析需求，可结合词典（如SentiWordNet）增强语义理解。高维数据易过拟合，需正则化处理。可结合主题模型（如LDA）挖掘用户兴趣模式。7.某零售企业需要分析促销活动效果，收集了2000条销售数据（促销类型、折扣力度、销售额、客流量）。请设计一个关联规则挖掘方案，并说明如何处理数据不平衡问题。答：方案设计：（1）数据预处理：将连续变量离散化（如折扣力度分箱），处理缺失值（如用众数填补）；（2）规则挖掘：使用Apriori算法挖掘关联规则，设置最小支持度（如0.05）和最小置信度（0.2）；（3）不平衡处理：采用过采样（如SMOTE算法），或欠采样（如随机删除多数类），或代价敏感学习（提高少数类权重）；（4）规则评估：计算提升度（衡量关联性）、杠杆率（衡量规则偏离独立性程度）。数据科学中需考虑促销类型差异，可分类分析（如满减vs折扣）。关联规则挖掘可发现用户购买模式，如"购买奶茶+购买面包"可能反映早餐需求。评估指标需结合业务目标，如高提升度且置信度达标的规则具有实际应用价值。8.某银行需要分析客户流失原因，收集了500名客户数据（年龄、性别、账户余额、交易频率等）。请设计一个异常检测方案，并说明如何处理高维数据问题。答：方案设计：（1）数据预处理：将分类变量编码（如独热编码），处理缺失值（如用KNN填补）；（2）高维处理：使用PCA降维，或LDA主题模型提取语义特征，或Word2Vec生成词向量；（3）异常检测：使用IsolationForest，设置异常比例（如10%）和异常分数阈值；（4）模型评估：计算精确率（检测到流失客户的比例）、召回率（检测到流失客户的比例）。数据科学中需考虑客户流失特征，如交易频率下降、账户余额减少。可结合聚类分析（如K-means）发现客户群体，识别高风险群体。异常检测可发现潜在流失信号，但需结合业务规则（如长期无交易客户）综合判断。【标准答案及解析】一、单项选择题答案1.C2.B3.D4.A5.B6.B7.B8.C9.B10.C解析：2.交叉验证通过多次数据分割评估泛化能力，k折交叉验证是标准实践。过拟合率仅衡量拟合程度，训练集准确率未考虑数据量，特征冗余度与模型评估无关。3.决策树集成（如随机森林）通过多棵树组合实现非线性模式识别，优于线性模型。K-近邻算法计算复杂度高；主成分分析属于降维；K均值聚类为无监督算法。4.回归插补通过预测模型生成缺失值，会引入模型假设改变数据分布。均值/中位数填补仅改变局部统计量；KNN插补基于距离保持分布；多重插补维持分布特性。5.Lasso回归通过L1正则化产生稀疏解实现特征选择；递归特征消除每次移除最不重要的特征；全局特征选择适用于高维稀疏数据；特征共线性会降低重要性排序的可靠性。6.ARIMA(1,1,1)通过差分消除趋势，适用于差分后平稳序列。样本量影响参数估计稳定性；自相关阶数决定p；移动平均阶数决定q；趋势周期影响d的选择。7.LOF通过比较样本局部密度与邻域密度检测异常点。独立成分分析用于信号分离；PCA重构误差可识别偏离主成分的点；决策树基尼系数衡量节点不纯度。8.词嵌入（如Word2Vec）通过降维将词语映射到连续向量空间，保持语义相似性。主题提取需LDA等模型；分词依赖词典规则；情感分析需结合词典和机器学习。9.PageRank通过迭代计算节点重要性，专门处理图结构数据。支持向量机适用于分类回归；K均值聚类处理点集；线性回归分析数值关系。10.F1分数是精确率与召回率的调和平均，对少数类更敏感。准确率易受多数类影响；AUC衡量全局区分能力；曼哈顿距离为距离度量。11.生成对抗网络（GAN）通过生成器和判别器对抗学习，创造逼真数据。特征交叉产生新特征组合；数据池化降低分辨率；主成分回归降维。二、填空题答案1.k2.基尼不纯度；信息增益3.关联性4.趋势；季节；残差5.邻域半径（eps）；最小样本数（minPts）6.exp(β0+β1x1+...+βnxn)/(1+exp(β0+β1x1+...+βnxn))7.文档；语料库8.低密度9.特征交互10.漂移检测；A/B测试解析：11.k折交叉验证将数据均分为k个子集，轮流使用k-1个作为训练集，1个作为验证集，计算k次平均性能。12.决策树分裂质量指标包括基尼不纯度（衡量样本纯度）和信息增益（衡量分裂带来的信息量减少）。13.提升度衡量规则A→B的关联性相对于随机购买的概率。14.STL模型将时间序列分解为趋势、季节和残差三个成分。15.DBSCAN算法通过邻域关系定义簇，核心参数是邻域半径（eps）和最小样本数（minPts）。16.逻辑回归输出概率P(Y=1|x)通过Sigmoid函数计算。17.TF-IDF权重反映词语在文档和语料库中的重要性。18.基于密度的方法假设异常点位于低密度区域。19.特征工程中将多个特征组合成新特征的方法称为特征交互。20.模型部署监控指标包括漂移检测（如概念漂移）和A/B测试（比较不同版本效果）。三、判断题答案1.错误2.错误3.错误4.正确5.正确6.正确7.错误8.正确9.错误10.错误解析：11.标准化（Z-score）以均值为0方差为1转换，归一化（Min-Max）将数据映射到[0,1]区间，两者不同。12.增加树深度会加剧过拟合，正确方法是剪枝。决策树需通过交叉验证确定最优深度。13.支持度衡量规则出现频率，置信度衡量规则成立概率，两者不必然相关。14.ARIMA(1,1,1)通过差分消除趋势，适用于差分后平稳序列。单位根检验（如ADF）确认平稳性。15.K-means对初始聚类中心敏感，易陷入局部最优。K-means++方法通过概率选择初始中心提高稳定性。16.逻辑回归输出概率P(Y=1|x)可直接用于分类决策，通常设定阈值（如0.5）。17.词嵌入捕捉语义相似性，但丢失语法信息。深度学习方法（如Transformer）可改善长距离依赖。18.DBSCAN通过邻域关系定义簇，适用于高维稀疏数据。传统方法（如Z-score）适用于高斯分布数据。19.RFE依赖模型系数或特征重要性排序，不适用于无参数模型（如KNN）。20.可解释性工具（如LIME）帮助理解模型决策，但不能替代复杂模型（如深度学习）的预测能力。四、简答题答案及解析1.答：特征工程主要步骤包括：（1）数据清洗：处理缺失值（如均值/中位数填补）、异常值（如3σ法则）、重复值，保证数据质量；（2）特征提取：从原始数据中提取新特征，如PCA降维、文本分词、图像边缘检测；（3）特征转换：标准化（Z-score）、归一化（Min-Max）、对数变换等，使特征适合模型；（4）特征组合：创建交互特征（如多项式特征、乘积特征），捕捉变量间关系；（5）特征选择：通过过滤法（如方差阈值）、包裹法（如递归特征消除）或嵌入法（如Lasso）选择最优特征子集。目的：提高模型性能（如提升准确率）、降低维度（减少噪声干扰）、增强可解释性（如简化模型）、减少计算成本。数据科学中特征工程需结合领域知识，避免过度工程导致过拟合。解析：特征工程是数据挖掘的核心环节，需系统化处理。数据清洗是基础，特征提取需领域知识，特征转换需考虑模型需求，特征选择需平衡性能与复杂度。深度学习方法（如AutoML）正推动自动化特征工程发展。2.答：k折交叉验证将数据均分为k个子集，轮流使用k-1个作为训练集，1个作为验证集，计算k次平均性能；留一法将每个样本作为验证集，其余作为训练集，适用于小数据集。区别：k折交叉验证计算效率高（k次评估），留一法评估更稳定（每个样本被验证一次）。k值通常取10-15，留一法适用于样本量小于50的情况。两者均需保证数据随机排序，避免周期性偏差。选择方法需权衡计算成本与评估精度。解析：交叉验证是模型评估的标准实践，k折交叉验证通过多次数据分割减少随机性，留一法适用于小数据集但计算量大。数据科学中需根据样本量选择方法，避免数据泄露（如排序偏差）。模型选择需结合交叉验证结果，避免过拟合。3.答：过拟合表现为训练集误差低但验证集误差高，模型复杂（如树深度大）；欠拟合表现为训练集和验证集误差均高，模型过于简单（如树深度小）。解决方法：过拟合可通过剪枝（设置最大深度、最小样本数）、正则化（L1/L2）、集成学习（如随机森林）；欠拟合可通过增加树深度、减少正则化、特征工程提升模型复杂度。数据科学中需通过交叉验证监控模型性能，选择最优配置。解析：决策树模型易出现过拟合和欠拟合问题。过拟合需简化模型（如剪枝、正则化），欠拟合需增加模型复杂度（如增加深度、特征）。集成方法（如随机森林）通过多模型组合提高鲁棒性。深度学习方法（如梯度提升树）已超越传统决策树。4.答：ARIMA(p,d,q)模型包含三个参数：（1）p：自回归阶数，表示模型依赖过去p个观测值的线性组合，捕捉自相关性；（2）d：差分阶数，表示需差分d次使序列平稳，消除趋势和季节性；（3）q：移动平均阶数，表示模型依赖过去q个白噪声误差项的线性组合，捕捉随机波动。数据科学中需通过ACF/PACF图确定p和q，单位根检验（如ADF）辅助判断d。季节性模型需额外考虑P和Q（SARIMA模型）。模型选择需结合自相关结构分析。解析：ARIMA模型是时间序列分析的经典方法，参数选择需系统化。ACF/PACF图帮助确定p和q，差分阶数d需消除非平稳性。季节性模型需额外考虑周期参数。深度学习方法（如LSTM）已超越传统方法，但需大量数据。5.答：监督学习适用于标签数据充分的场景，如分类（垃圾邮件检测）、回归（房价预测）。数据科学中需注意过拟合问题，常用集成方法（如随机森林）提升鲁棒性。无监督学习适用于无标签数据，如聚类（客户分群）、降维（PCA）。数据科学中需选择与数据特性匹配的算法，避免噪声干扰。半监督学习适用于标签稀缺但数据量大的场景，如图像识别。数据科学中需解决数据不平衡问题，常用一致性正则化方法。解析：学习类型选择需结合任务需求。监督学习需标签数据，无监督学习无需标签，半监督学习需平衡标签成本。深度学习方法（如图神经网络）正推动半监督学习发展。6.答：关联规则挖掘中：（1）支持度：支持度(A→B)=支持度(A∪B)/总样本数，衡量规则出现频率，反映规则普遍性；（2）置信度：置信度(A→B)=支持度(A→B)/支持度(A)，衡量规则成立概率，反映规则可靠性；（3）提升度：提升度(A→B)=支持度(A→B)/[支持度(A)×支持度(B)]，衡量规则偏离独立性程度，反映规则价值。数据科学中需同时考虑三者，高基数数据集（如电商）易产生大量弱关联规则。Apriori算法通过支持度剪枝提高效率，但计算复杂度高。评估指标需结合业务目标，如"购买奶茶+购买面包"可能反映早餐需求。解析：关联规则挖掘需综合评估规则质量。支持度反映规则普遍性，置信度反映可靠性，提升度反映规则价值。数据科学中需根据业务需求选择规则，避免数据泄漏（如频繁项集挖掘）。7.答：异常检测中基于密度的方法（如LOF）通过比较样本局部密度与邻域密度检测异常：（1）核心思想：异常点位于低密度区域，其密度远低于邻域。LOF计算每个样本与k个最近邻的密度比，异常点LOF值远大于1；（2）参数选择：k值影响密度估计，通常取5-10。数据科学中需考虑数据分布特性，避免高维数据维度灾难。可结合距离度量（如欧氏距离）调整算法。适用场景：金融欺诈检测（如大额跨境交易）、网络入侵检测（如异常登录行为）、医疗诊断（如罕见病检测）。传统方法（如Z-score）适用于高斯分布数据。深度学习方法（如Autoencoder）也可处理非线性数据，但需大量数据。解析：基于密度的方法适用于稀疏数据问题。LOF通过局部密度比较检测异常，参数选择需考虑数据特性。金融领域常用异常检测，医疗领域需结合领域知识。8.答：文本分类中：（1）TF-IDF：优点：计算简单，可处理大规模语料。数据科学中常用于特征工程，支持传统机器学习模型；缺点：忽略词语顺序，丢失语法信息。高基数数据集（如电商）易产生大量弱关联规则。（2）词嵌入（Word2Vec）：优点：捕捉语义相似性，支持上下文理解。数据科学中可处理非高斯数据，适用于深度学习；缺点：计算复杂度高，需大量训练数据。词向量维度大，需降维处理。无法完全保留语法结构。选择方法需结合任务需求与数据特性，Transformer模型（如BERT）已超越传统方法。解析：文本分类方法选择需考虑数据特性。TF-IDF适用于传统模型，词嵌入适用于深度学习。高维数据易过拟合，需正则化处理。主题模型（如LDA）可挖掘用户兴趣模式。五、应用题答案及解析1.答：关联规则挖掘方案：（1）数据预处理：将连续变量离散化（如金额分箱），处理缺失值（如用众数填补）；（2）规则挖掘：使用Apriori算法挖掘关联规则，设置最小支持度（如0.05）和最小置信度（如0.2）；（3）规则评估：计算提升度（衡量关联性）、杠杆率（衡量规则偏离独立性程度）；（4）规则筛选：去除冗余规则（如通过闭包属性），选择高价值规则（如高提升度且置信度达标）。数据科学中需注意数据稀疏性问题，可结合主题模型（如LDA）增强语义理解。评估指标需结合业务目标，如服装+电子购买可能反映促销效果。解析：关联规则挖掘需系统化处理。数据预处理是基础，规则挖掘需设置参数，规则评估需综合指标，规则筛选需结合业务目标。深度学习方法（如GraphNeuralNetwork）正推动关联规则挖掘发展。2.答：时间序列预测方案：（1）数据预处理：检测并处理异常值（如节假日爆发），识别趋势和季节性；（2）模型选择：若数据平稳，使用ARIMA(1,1,1)；若存在季节性，使用SARIMA(1,1,1)(P,D,Q)s；（3）季节性处理：通过STL分解分离趋势、季节和残差，季节成分（s）需根据数据特性确定（如7天周期）；（4）模型评估：计算MAPE（平均绝对百分比误差）、AIC（赤池信息准则）选择最优模型。数据科学中需考虑节假日效应，可引入虚拟变量。深度学习方法（如LSTM）也可处理非线性时间序列，但需大量数据。解析：时间序列预测需系统化处理。数据预处理是基础，模型选择需考虑数据特性，季节性处理需识别周期，模型评估需综合指标。深度学习方法（如Transformer）正推动时间序列分析发展。3.答：异常检测方案：（1）数据预处理：将时间转换为小时，地点用经纬度表示，处理缺失值（如用KNN填补）；（2）特征工程：创建交互特征（如金额×时间、地点距离商户距离），提取统计特征（如金额中位数）；（3）异常检测：使用IsolationForest，设置异常比例（如10%）和异常分数阈值；（4）模型评估：计算精确率（检测到欺诈的比例）、召回率（检测到欺诈交易的比例）。数据科学中需考虑交易分布特性，高价值交易（如大额跨境交易）需提高敏感度。可结合规则引擎（如金额超过阈值）和机器学习模型（如XGBoost）组合使用。解析：异常检测需系统化处理。数据预处理是基础，特征工程需考虑业务场景，异常检测需选择算法，模型评估需综合指标。深度学习方法（如GAN）正推动异常检测发展。4.答：推荐方案：（1）数据预处理：构建用户-商品矩阵，处理缺失值（如用0填充）；（2）规则挖掘：使用Apriori算法挖掘关联规则，设置最小支持度（如0.05）和最小置信度（如0.2）；（3）不平衡处理：采用过采样（如SMOTE算法），或欠采样（如随机删除