统计方法分类与选择

统计方法分类与选择演讲人：日期:目录02推断性统计方法01描述性统计方法03探索性数据分析04多元统计方法05方法选择标准06应用流程设计01描述性统计方法Chapter集中趋势度量众数数据中出现频率最高的数值，适用于分类数据或需要快速识别典型值的场景，可存在多个众数或无众数的情况。中位数将数据按大小排序后位于中间位置的值，对极端值不敏感，适用于偏态分布或存在离群值的数据集。算术平均数反映数据集中趋势的核心指标，适用于连续型数据且分布对称的情况，计算方式为所有观测值之和除以样本量。离散程度分析方差与标准差方差衡量数据偏离均值的平均平方距离，标准差为其算术平方根，反映数据波动范围，数值越大离散程度越高。四分位距第三四分位数与第一四分位数的差值，规避极端值干扰，常用于箱线图展示数据离散特性。极差数据集最大值与最小值的差值，计算简单但易受极端值影响，适用于初步评估数据分散性。数据分布形态偏度系数量化分布不对称性的指标，正偏态表示右尾较长，负偏态则左尾突出，对称分布偏度接近零。峰度系数描述分布尾部厚重程度的参数，高峰度代表更多数据集中于均值附近且尾部较厚，低峰度则分布更平坦。正态性检验通过Q-Q图、K-S检验或Shapiro-Wilk检验等方法，验证数据是否符合正态分布假设，影响后续统计方法选择。02推断性统计方法Chapter参数检验（如T检验、ANOVA）01适用于小样本（n＜30）数据，检验两组数据的均值是否存在显著差异。包括独立样本T检验（比较两组独立样本）、配对样本T检验（比较同一组样本前后差异）以及单样本T检验（检验样本均值与已知值的差异）。其核心假设是数据服从正态分布且方差齐性。T检验02用于比较三个及以上组别的均值差异，通过分解总变异为组间变异和组内变异来判断组间差异是否显著。包括单因素ANOVA（单一自变量）和多因素ANOVA（多个自变量），需满足正态性、方差齐性和独立性假设。若ANOVA结果显著，需进一步进行事后检验（如TukeyHSD）明确具体差异来源。ANOVA（方差分析）03适用于大样本（n≥30）或已知总体方差时，检验样本均值与总体均值的差异。与T检验类似，但基于标准正态分布，计算效率更高。Z检验非参数检验（如卡方、秩和）”卡方检验用于分类数据的假设检验，包括卡方拟合优度检验（检验观测频数与期望频数的差异）和卡方独立性检验（检验两个分类变量的关联性）。不依赖数据分布假设，但要求样本量足够且期望频数不低于5。秩和检验（如Mann-WhitneyU检验）适用于不满足正态分布或方差齐性的连续数据，通过比较两组数据的秩次和而非原始值判断差异。包括独立样本的Mann-WhitneyU检验和配对样本的Wilcoxon符号秩检验，对异常值不敏感。Kruskal-Wallis检验非参数版的单因素ANOVA，用于多组独立样本的比较，通过秩次分析判断组间差异。若结果显著，需通过Dunn检验等进一步分析。相关性与回归分析Pearson相关系数回归分析Spearman秩相关衡量两个连续变量的线性相关程度（-1至1），要求数据满足正态分布和线性关系。若数据存在异常值或非线性关系，建议改用Spearman或Kendall相关系数。基于变量秩次计算的非参数相关方法，适用于有序数据或非正态分布数据，可检测单调非线性关系。KendallTau系数类似，但更适用于小样本或存在大量重复值的数据。包括线性回归（预测连续因变量）和逻辑回归（预测分类因变量）。需检验残差正态性、异方差性和多重共线性，模型优化可能涉及变量选择（如逐步回归）或非线性变换（如多项式回归）。03探索性数据分析Chapter数据可视化技术直方图与密度图通过频数分布或概率密度曲线展示连续变量的分布特征，帮助识别数据偏态、峰度及异常区间。箱线图与小提琴图箱线图以四分位数和离群点直观呈现数据离散程度，而小提琴图结合核密度估计与箱线图优势，揭示多组数据分布形态差异。散点图与热力图散点图用于分析两连续变量间的相关性，热力图则通过颜色梯度展示高维数据矩阵（如相关系数矩阵）的全局模式。异常值检测方法Z-score与IQR法Z-score标准化后识别偏离均值超过3个标准差的数据点；IQR法基于四分位距划定上下限（Q1-1.5IQR至Q3+1.5IQR），超出范围视为异常。马氏距离考虑变量协方差结构的多维异常检测方法，有效处理变量间存在相关性的场景。局部离群因子（LOF）通过计算数据点局部密度与邻域密度的比值，识别低密度区域的离群点，适用于非均匀分布数据集。变量关系挖掘相关性分析皮尔逊相关系数衡量线性关系，斯皮尔曼秩相关捕获单调非线性关联，肯德尔系数适用于小样本或有序分类变量。聚类分析基于K-means、层次聚类等方法划分相似样本群组，辅助发现数据内在分类模式或细分市场特征。主成分分析（PCA）通过正交变换将高维变量降维至主成分，保留最大方差的同时揭示潜在变量结构。04多元统计方法Chapter主成分分析（PCA）降维与信息压缩数据标准化与适用性特征提取与可视化PCA通过线性变换将高维数据投影到低维空间，保留最大方差的主成分，有效减少数据冗余并降低计算复杂度，适用于处理高维数据集如基因表达数据或图像特征提取。通过计算协方差矩阵的特征向量，PCA能提取数据的关键特征方向，辅助研究人员识别数据中的潜在模式，并支持二维/三维散点图可视化，便于探索性数据分析。PCA对变量的量纲敏感，需预先标准化处理（如Z-score归一化），且假设变量间存在线性关系，非线性场景需结合核方法（KPCA）扩展。聚类分析通过距离度量（如欧氏距离、余弦相似度）将相似对象归为同一簇，广泛应用于客户细分、生物物种分类等领域，常见算法包括K-means、层次聚类和DBSCAN。聚类分析无监督分类与模式发现K-means需预设簇数K并通过肘部法或轮廓系数评估效果；DBSCAN基于密度聚类，可自动识别噪声点但需调整邻域半径和最小样本数参数。算法选择与参数优化适用于市场调研中的用户画像构建，但对初始中心点敏感且可能受异常值干扰，混合型数据需结合GMM（高斯混合模型）等概率方法改进。应用场景与局限性判别分析基于已知类别的训练数据，判别分析建立线性判别函数（LDA）或二次判别函数（QDA），通过最大化类间方差与类内方差的比值实现对新样本的分类预测。分类模型构建假设检验与模型评估实际应用与扩展LDA要求各类协方差矩阵同质且数据服从多元正态分布，需通过Box’sM检验验证；模型性能可通过混淆矩阵、ROC曲线及交叉验证评估。在医学诊断中用于区分疾病亚型，金融风控中识别违约客户；针对非线性问题可结合核判别分析（KDA）或机器学习分类器（如SVM）增强效果。05方法选择标准Chapter定性数据（如分类变量、序数变量）需采用非参数检验或卡方检验等方法，而定量数据（如连续变量）适合使用t检验、方差分析或回归分析等参数方法。数据类型匹配原则定性数据与定量数据区分对于服从正态分布的数据，优先选择参数检验（如Pearson相关系数）；若数据呈偏态分布或存在异常值，则需采用非参数方法（如Spearman秩相关或Mann-WhitneyU检验）。数据分布形态判断多层嵌套数据（如学生嵌套于班级）需使用多水平模型或混合效应模型，以控制组内相关性并提高统计效力。数据层级结构处理研究问题导向关联性分析需求若研究目标是探索变量间关系，可选择相关分析（线性或非线性）或回归模型（线性回归、逻辑回归等），具体取决于因变量类型。组间差异比较针对两组或多组比较问题，独立样本t检验、ANOVA或Kruskal-Wallis检验可分别适用于正态与非正态数据场景。预测模型构建机器学习算法（如随机森林、支持向量机）与传统统计模型（如Cox回归）可根据预测精度与解释性需求进行权衡选择。假设条件验证独立性检验通过Durbin-Watson检验或残差自相关图判断时间序列数据的独立性，违反时需引入ARIMA模型或广义最小二乘法修正。方差齐性检验Levene检验或Bartlett检验用于验证ANOVA或t检验的方差齐性前提，若不满足则改用Welch校正或非参数替代方法。线性假设评估通过散点图或LOWESS平滑曲线检查线性关系，非线性场景可尝试多项式回归或广义可加模型（GAM）等灵活建模技术。06应用流程设计Chapter问题定义与变量识别清晰界定需解决的核心问题，区分因变量与自变量，确保变量可量化或可分类。例如，在医学研究中需明确疗效指标与影响因素的关系。明确研究目标与假设数据类型与尺度划分变量间关系假设根据变量属性（连续型、离散型、分类变量）选择适配的分析方法，如卡方检验适用于分类变量间的关联性分析。预先判断变量间是否存在线性、非线性或交互作用，为后续模型选择提供依据，如多元回归需验证共线性问题。方法匹配步骤参数与非参数方法选择依据数据分布特性（正态性、方差齐性）决定采用参数检验（如t检验）或非参数检验（如Mann-WhitneyU检验）。模型复杂度权衡多重比较校正平衡模型精度与泛化能力，例如在预测任务中通过交叉验证比较线性回归与决策树的性能差异。针对多组对比场景（如ANOVA后续检验），采用Bonferroni或FDR方法控制假