2025年大学《应用统计学》专业题库- 统计特征提取与数据检测技术

2025年大学《应用统计学》专业题库——统计特征提取与数据检测技术考试时间：______分钟总分：______分姓名：______一、简述均值、中位数、众数在描述数据集中趋势时的区别，并说明在什么情况下哪种度量更合适。二、解释方差和标准差作为数据离散程度度量指标的含义。给定一组数据X={x₁,x₂,...,xn}，简述其样本方差s²的计算步骤。三、什么是偏度？请解释正偏、负偏和零偏分别代表数据分布什么样的形态特征。如何通过计算偏度初步判断数据分布的对称性？四、简述相关系数（如皮尔逊相关系数）的定义及其衡量的是什么关系。指出相关系数的取值范围，并说明其值接近+1、-1或0分别意味着什么。五、列举三种常用的特征选择方法，并简要说明每种方法的基本思想和优缺点。六、主成分分析（PCA）的主要目标是什么？在应用PCA进行数据降维前，通常需要对原始数据进行什么预处理？简述PCA计算主成分的基本步骤（无需具体公式推导）。七、什么是异常值？列举两种常用的统计方法用于检测数据中的异常值，并简述其基本原理。八、在处理缺失数据时，常用的填充方法有哪些？请比较简单均值/中位数填充和回归填充在原理和效果上的主要差异。九、假设你需要检测一批交易数据中的潜在欺诈交易。简述你会如何运用假设检验的思想来构建一个检测模型，并说明需要考虑的关键要素。十、描述数据清洗流程通常包含哪些主要步骤？为什么数据清洗在数据分析和机器学习项目中至关重要？十一、某软件公司希望分析用户使用习惯，收集了用户每天使用时长（分钟）和点击次数的数据。他们希望减少数据维度以便于可视化分析，同时保留关键信息。请简述你会如何利用主成分分析（PCA）来帮助完成这项任务，并说明在应用PCA前需要考虑哪些问题。十二、解释什么是数据质量。请列举至少五个维度的数据质量标准，并选择其中一个维度详细说明其含义及评估方法。试卷答案一、均值是数据算术平均值，易受极端值影响；中位数是排序后位于中间位置的值，对极端值不敏感；众数是出现频率最高的值，可识别集中趋势和多重模态。均值适用于数据对称且无异常值的情况；中位数适用于数据偏态或存在异常值的情况；众数适用于分类数据或探索数据集中最常见的值。二、方差衡量数据点与其均值之间的平均偏离程度，标准差是方差的平方根，具有与原始数据相同量纲，更直观表示离散程度。样本方差s²的计算步骤：1)计算样本均值μ；2)计算每个数据点与均值的差(xᵢ-μ)；3)将差值平方(xᵢ-μ)²；4)将所有平方差求和Σ(xᵢ-μ)²；5)除以样本量减1(n-1)。三、偏度衡量数据分布的不对称程度。正偏（右偏）表示分布右侧尾部更长，均值大于中位数；负偏（左偏）表示分布左侧尾部更长，均值小于中位数；零偏表示分布近似对称，均值约等于中位数。通过计算偏度，其值显著偏离0（如大于0.5或小于-0.5）可初步判断数据分布偏离对称。四、相关系数（如皮尔逊相关系数）衡量两个变量线性关系的强度和方向。取值范围[-1,1]。值接近+1表示强正线性相关；值接近-1表示强负线性相关；值接近0表示线性相关弱或不存在。需注意，相关系数仅表示线性关系，不排除可能存在非线性关系。五、常用特征选择方法包括：过滤法（如方差阈值法、相关系数法，基于统计指标筛选特征）、包裹法（如逐步回归，结合模型性能评估特征子集）、嵌入法（如Lasso，通过模型训练过程自动选择特征）。过滤法独立于模型，计算快但可能忽略特征间交互；包裹法结果依赖模型，计算复杂；嵌入法结合模型信息，结果通常较好但计算成本高。六、PCA主要目标是将高维数据投影到低维空间，同时保留尽可能多的数据方差。预处理通常需要标准化（如Z-score标准化），使各特征均值为0，方差为1，因为PCA对特征的尺度敏感。计算主成分步骤：1)计算数据集的样本协方差矩阵；2)对协方差矩阵进行特征值分解，得到特征值和对应的特征向量；3)将特征值从大到小排序，选择前k个最大特征值对应的特征向量；4)将原始数据投影到选定的特征向量构成的子空间上，得到主成分。七、异常值是指与其他数据显著不同的数据点。常用统计方法包括：基于统计阈值（如3σ准则，认为距离均值超过3倍标准差的数据为异常）；基于距离度量（如KNN，距离最近的k个邻居距离均很远的数据点）；基于聚类（如DBSCAN，标记为噪声点的数据点）。这些方法通过计算数据点间的相似度或距离来识别偏离群集的点。八、常用填充方法包括：删除含有缺失值的记录、均值/中位数/众数填充、回归填充、插值法（如线性插值、时间序列插值）、模型预测填充（如KNN、决策树等预测缺失值）。简单均值/中位数填充直接用相应统计量替换缺失值，计算简单但会引入偏差，改变数据分布；回归填充利用其他特征预测缺失值，能保留更多数据信息，效果通常优于简单填充，但实现更复杂。九、运用假设检验检测欺诈交易：1)提出零假设H₀（交易为正常）和对立假设H₁（交易为欺诈）；2)选择合适的检验统计量（如基于交易金额、频率、地点等的统计量）；3)设定显著性水平α（如0.05）；4)计算检验统计量的观测值；5)根据分布表或p值判断拒绝或保留H₀；6)做出拒绝H₀（判定为欺诈）或保留H₀（判定为正常）的决策。关键要素包括特征选择、模型选择、显著性水平设定、结果解释。十、数据清洗流程通常包含：数据验证（检查数据格式、类型、范围是否正确）；缺失值处理（删除或填充）；异常值检测与处理（识别并修正或删除）；重复值处理（识别并删除）；数据变换（标准化、归一化、编码等）；数据整合（合并不同来源数据）。数据清洗至关重要，因为原始数据常含错误、不完整、不一致等问题，这些问题会严重影响后续分析和模型性能，干净的数据是获得可靠结论和有效模型的基础。十一、利用PCA帮助分析用户使用习惯：1)收集用户每天使用时长和点击次数数据，形成数据矩阵；2)检查数据尺度，若不同步进行标准化；3)计算数据矩阵的样本协方差矩阵；4)对协方差矩阵进行特征值分解；5)分析特征值，确定能保留大部分（如95%）方差的主成分数量k；6)将原始数据投影到由前k个主成分向量构成的子空间上，得到降维后的数据；7)分析降维后的数据，进行可视化（如散点图）或进一步建模分析。应用PCA前需考虑：数据是否适合降维（如特征相关性高）、数据量大小、是否需要保留特定类型信息（如时间顺序）、计算资源限制。十二、数据质量是指数据适合其预期用途的程度。数据质量维度包括：完整性（数据无缺失）、准确性（数据正确反映现实）、一致性（数据无矛盾，跨时间/系统/来源一致）、时效性（数据反映当前状