2025年大学《统计学》专业题库- 数据挖掘与统计学的融合

2025年大学《统计学》专业题库——数据挖掘与统计学的融合考试时间：______分钟总分：______分姓名：______一、简述描述统计与推断统计的主要区别和联系。在数据挖掘过程中，这两种统计思想分别扮演着怎样的角色？二、数据预处理是数据挖掘流程中的关键步骤。请简述数据清洗中处理缺失值和异常值的主要方法及其优缺点。为什么数据标准化或归一化在某些数据挖掘算法（如K-Means、SVM）中是必要的？三、解释探索性数据分析（EDA）的目的。列举至少三种常用的EDA可视化方法，并说明每种方法通常用于发现数据中的哪些类型的信息。四、比较并对比决策树分类算法和逻辑回归分类算法的基本原理、优缺点以及它们在模型解释性方面的差异。在什么情况下你可能会选择其中一种而不是另一种？五、K-Means聚类算法是一种常用的聚类方法。请描述其基本工作流程。该算法有哪些主要的局限性？在实际应用中，如何选择合适的聚类数目K？六、关联规则挖掘旨在发现数据项之间的有趣关系。请解释Apriori算法的核心思想（特别是其“频繁项集先验性质”）。什么是支持度、置信度和提升度？它们分别衡量了什么？七、线性回归模型是统计学中的基础模型。请写出简单线性回归模型的表达式，并解释其中各个符号的含义。假设你使用线性回归模型进行预测，如何判断该模型是否具有较好的拟合优度？常用的衡量指标有哪些？八、在比较两个分类模型的性能时，仅使用准确率（Accuracy）可能存在误导性，尤其是在数据集不平衡的情况下。请解释什么是“混淆矩阵”（ConfusionMatrix），并说明除了准确率之外，还有哪些基于混淆矩阵的指标可以更全面地评估分类模型的表现？请简要说明这些指标的含义。九、假设你正在对一个银行客户数据集进行建模，目标是为客户推荐合适的理财产品。请简要描述你会如何构建一个数据挖掘项目流程，包括至少五个主要阶段，并简述每个阶段的核心任务。十、结合统计学原理，谈谈你对“过拟合”（Overfitting）和“欠拟合”（Underfitting）的理解。在模型构建过程中，你通常可以采用哪些方法来诊断是否存在过拟合或欠拟合问题，并尝试进行修正？试卷答案一、描述统计主要通过集中趋势（如均值、中位数）、离散程度（如方差、标准差）和分布形状（如偏度、峰度）等指标summarizing和描述数据集的总体特征。推断统计则利用样本信息来推断总体参数，主要通过假设检验和置信区间等方法进行。联系在于：描述统计为推断统计提供基础数据和初步认识；推断统计的结论往往需要通过描述统计量来呈现。在数据挖掘中，描述统计用于理解数据基本特征和分布；推断统计用于验证数据挖掘结果的显著性（如关联规则的统计显著性）或进行基于模型的预测推断。二、处理缺失值方法：删除含有缺失值的记录（列表删除）、删除含有缺失值的特征（特征删除）、均值/中位数/众数/回归填充、多重插补、KNN填充。优点：简单易行；缺点：列表删除损失信息，删除特征减少维度可能丢失重要信息，填充方法可能引入偏差。处理异常值方法：删除、替换（如用中位数替换）、分箱、Winsorizing。优点：可能去除噪声，改善模型性能；缺点：可能导致信息丢失，判断标准主观。数据标准化（Z-score）将数据转换为均值为0，标准差为1的分布；归一化（Min-Max）将数据缩放到[0,1]或[-1,1]区间。必要性：消除不同特征量纲的影响，使算法（如基于距离的K-Means、SVM）的性能不受量纲影响，加速收敛。三、EDA目的：在建立正式模型前，理解数据结构、发现数据Qualityissues、识别变量间关系、形成初步假设。常用可视化方法：直方图（观察数据分布形状、集中趋势、离散程度）、散点图（探索两个连续变量间关系）、箱线图（比较不同组别的分布、识别异常值）、条形图/饼图（展示分类变量的分布频率）。直方图发现分布；散点图发现关系；箱线图发现分布差异和异常；条形图/饼图发现类别占比。四、决策树基于树状结构进行决策，通过递归分割特征空间，优点是模型可解释性强（规则直观），能处理混合类型数据，对数据缩放不敏感；缺点是容易过拟合（对训练数据敏感），不稳定性（数据微小变动可能导致结构大变）。逻辑回归基于最大似然估计建立logistic函数模型，输出概率，优点是模型有统计理论基础，输出结果可解释（系数表示影响程度和方向），计算效率高；缺点是模型线性假设较强，对复杂非线性关系拟合能力差，对异常值敏感。解释性：决策树>逻辑回归。选择：若需直观解释、处理非线性关系、特征类型多样选决策树；若需统计推断、概率输出、线性关系假设选逻辑回归。五、K-Means流程：1)随机选择K个点作为初始聚类中心；2)计算每个数据点到K个中心的距离，将每个点分配给最近的中心，形成K个聚类；3)对每个聚类，重新计算其中心点（所有聚类成员的均值）；4)重复步骤2和3，直到聚类中心不再变化或达到最大迭代次数。局限性：需要预先指定聚类数K，对初始中心敏感，对异常值敏感，只适用于发现球状簇，对非凸形状簇效果差。选择K方法：肘部法则（观察簇内平方和随K变化的趋势，选择弯曲点对应的K）、轮廓系数法（计算每个点与其同簇内紧密度及与邻簇疏密度的综合指标，选择平均轮廓系数最大的K）。六、Apriori核心思想：频繁项集先验性质（任何频繁项集的子集也必须是频繁的）。这意味着算法首先找出所有满足最小支持度阈值的单个项组成的频繁1项集，然后通过连接频繁k-1项集生成候选k项集，再对候选k项集进行支持度计数，保留满足最小支持度的作为频繁k项集，重复此过程直到无法生成新的频繁项集。支持度：项集在事务中出现的频率，衡量项集的普遍性。置信度：当购买项集A时，也购买项集B的可能性，衡量规则A->B的可靠性。提升度：购买项集A时购买项集B的可能性，相比于不购买A时购买B的可能性要高多少，衡量规则A->B的强度或关联性。七、简单线性回归模型表达式：Y=β₀+β₁X+ε。其中Y是因变量（响应变量），X是自变量（预测变量），β₀是截距项（当X=0时Y的期望值），β₁是斜率项（X每变化一个单位，Y的期望变化量），ε是误差项（包含随机误差和未观测因素的影响，假设其服从均值为0的正态分布）。拟合优度判断：R²（决定系数）。R²衡量模型解释的因变量总变异的比例，取值范围[0,1]，越接近1表示模型拟合越好。其他指标：调整后R²（考虑了自变量数量，更适用于比较含不同自变量数量的模型）、MSE（均方误差）、RMSE（均方根误差）。八、混淆矩阵是一个2x2（二分类）或NxN（多分类）的矩阵，行代表实际类别，列代表预测类别。对于二分类：TP（真阳性，实际为正，预测为正），TN（真阴性，实际为负，预测为负），FP（假阳性，实际为负，预测为正），FN（假阴性，实际为正，预测为负）。基于混淆矩阵的指标：精确率（Precision）=TP/(TP+FP)，衡量预测为正的样本中实际为正的比例；召回率（Recall）=TP/(TP+FN)，衡量实际为正的样本中被正确预测为正的比例；F1分数（F1-Score）=2*(Precision*Recall)/(Precision+Recall)，精确率和召回率的调和平均，综合两者；AUC（ROC曲线下面积），衡量模型在不同阈值下区分正负样本能力的综合指标。九、数据挖掘项目流程：1)业务理解与需求分析：明确业务目标、理解问题背景、定义数据需求和成功标准；2)数据准备：数据收集、数据清洗（处理缺失值、异常值、重复值）、数据集成（合并来自不同源的数据）、数据变换（标准化、归一化、特征构造）、数据规约（减少数据规模）；3)模型选择与训练：根据问题类型选择合适算法（分类、聚类、回归等），划分训练集和测试集，使用训练集训练模型；4)模型评估与调优：使用测试集评估模型性能（准确率、召回率等），根据评估结果调整模型参数或尝试其他模型；5)模型部署与应用：将最终模型集成到实际应用系统或报告中，监控模型性能，根据需要进行维护或更新。十、过拟合指模型在训练数据上表现非常好（误差很小），但在未见过的新数据上表现很差（泛化能力差）。欠拟合指模型过于简单，未能捕捉到数据中的基本模式，在训练数据和测试数据上都表现不佳（误差都较大）。诊断：过拟合可通过比较训练集和测试集的误差（训练误差低，测试误差高）、观察模型复杂度（如树深度、参数数量）、使用正则化（L