常见统计分析方法

常见统计分析方法

描述性统计分析：数据的基本特征与分布01平均值计算数据的总和，然后除以数据个数容易受到极端值的影响用于描述数据的中心位置中位数将数据从小到大排序，找到中间位置的数值不受极端值的影响，对异常值不敏感用于描述数据的中心位置众数数据中出现次数最多的数值用于描述数据的集中趋势可能存在多个众数集中趋势：平均值、中位数和众数数据的最大值与最小值之差描述数据的范围受极端值影响较大极差数据与其平均值之差的平方和的平均值描述数据的离散程度受数据量的影响方差方差的平方根与原始数据在同一量纲上，便于比较描述数据的离散程度标准差离散程度：极差、方差和标准差描述数据分布的对称性正态分布的偏度为0偏度大于0表示数据右偏，小于0表示数据左偏偏度描述数据分布的陡峭程度正态分布的峰度为0峰度大于0表示数据分布更陡峭，小于0表示数据分布更平坦峰度将数据分为四个等份，分别对应25%、50%和75%的数据用于描述数据的分布情况第一四分位数（Q1）和第三四分位数（Q3）用于计算四分位差（IQR）四分位数💡📖⌛️分布形态：偏度、峰度和四分位数推断性统计分析：基于数据的推断与预测02总体均值的检验检验数据样本均值是否等于总体均值利用t检验或z检验进行检验用于判断数据样本与总体是否具有显著性差异总体方差的检验检验数据样本方差是否等于总体方差利用F检验进行检验用于判断数据样本与总体是否具有显著性差异总体比例的检验检验数据样本比例是否等于总体比例利用z检验进行检验用于判断数据样本与总体是否具有显著性差异假设检验：总体均值、方差和比例的检验置信水平表示对结果的可靠性程度常用的置信水平有90%、95%和99%置信水平越高，置信区间越宽置信区间表示总体参数在一定置信水平下的取值范围用来估计总体参数的未知值置信区间的计算通常基于样本均值和标准误差置信区间：置信水平与置信区间计算线性回归研究因变量与一个自变量之间的关系建立因变量与自变量之间的线性模型用于预测和解释数据01多元回归研究因变量与多个自变量之间的关系建立因变量与多个自变量之间的线性模型用于预测和解释数据02相关分析研究两个变量之间的关系程度计算相关系数（如皮尔逊相关系数）来衡量变量之间的关系用于判断变量之间是否存在关联性03回归分析：线性回归、多元回归与相关分析概率论与随机过程：概率与随机事件的基本概念03条件概率表示在已知某个条件成立的情况下，另一个事件发生的概率用P(A|B)表示在事件B发生的情况下，事件A发生的概率条件概率的计算公式为：P(A|B)=P(AB)/P(B)贝叶斯定理表示在已知某个条件成立的情况下，另一个事件发生的概率用P(A|B)表示在事件B发生的情况下，事件A发生的概率贝叶斯定理的计算公式为：P(A|B)=P(B|A)*P(A)/P(B)概率计算：条件概率与贝叶斯定理随机变量表示随机实验中，某一事件发生的可能性随机变量可以是离散的，也可以是连续的随机变量的取值范围称为概率空间期望随机变量的平均值表示随机变量取值的平均期望期望的计算公式为：E(X)=Σ[x*P(x)]，其中x为随机变量的取值，P(x)为取值的概率方差随机变量的离散程度表示随机变量取值与其期望之间的差异程度方差的计算公式为：Var(X)=Σ[(x-E(X))^2*P(x)]，其中x为随机变量的取值，P(x)为取值的概率随机变量：期望、方差与正态分布💡📖⌛️随机过程：马尔可夫链与平稳过程马尔可夫链一种随机过程，下一时刻的状态仅依赖于当前状态马尔可夫链具有“无记忆性”用马尔可夫链可以描述一系列随机事件的发生过程平稳过程一种随机过程，其统计特性不随时间的推移而改变平稳过程包括严平稳过程和宽平稳过程平稳过程可以用自相关函数和偏自相关函数来描述抽样方法与数据清洗：数据获取与预处理技巧04简单随机抽样从总体中随机抽取n个样本，每个样本被抽中的概率相等简单随机抽样适用于总体分布均匀的情况简单随机抽样的样本具有代表性，可用于推断总体分层抽样将总体分为若干个层次，每个层次内进行简单随机抽样分层抽样适用于总体分布不均匀的情况分层抽样可以提高样本的代表性，减少误差整群抽样将总体分为若干个群，每个群内进行简单随机抽样整群抽样适用于总体分布较松散的情况整群抽样可以降低抽样成本，但样本代表性较差抽样方法：简单随机抽样、分层抽样与整群抽样数据清洗：缺失值处理、异常值检测与数据转换缺失值处理删除缺失值所在的记录用平均值、中位数或众数填充缺失值使用插值方法填充缺失值异常值检测使用箱线图、直方图等图形方法检测异常值使用统计方法（如3σ原则）检测异常值使用聚类分析和分类算法检测异常值数据转换将数据转换为具有相同量纲的数值将数据转换为具有正态分布的数值使用对数变换、平方根变换等方法转换数据数据可视化：图表类型选择与描述性统计图的绘制图表类型选择根据数据类型和问题需求选择合适的图表类型常用图表类型有柱状图、折线图、饼图、散点图等图表类型的选择应简洁明了，易于理解描述性统计图的绘制绘制箱线图、直方图和散点图等描述性统计图使用描述性统计图展示数据的分布情况、趋势和关联性描述性统计图可以帮助我们更好地理解数据，发现数据中的规律和特征多元统计分析：多个变量之间的关系研究05主成分分析：数据降维与变量解释主成分分析是一种数据降维方法，通过将多个变量投影到一个新的坐标系，实现数据的降维主成分分析可以提取数据的主要信息，减少数据的维度主成分分析的结果可以用作其他分析的输入变量聚类分析：数据分组与相似性度量聚类分析是一种数据分组方法，通过将相似的数据分到同一组，实现数据的分类聚类分析可以发现数据中的结构和模式，便于数据的分析和解释聚类分析的结果可以用作其他分析的输入变量判别分析：分类预测与变量权重判别分析是一种分类预测方法，通过建立分类模型，预测新数据属于哪个类别判别分析可以确定各个变量对分类的影响程度，即变量权重判别分析的结果可以用作其他分析的输入变量时间序列分析：数据随时间变化趋势的研究06自相关描述时间序列数据相邻时间点之间的关联性自相关系数表示时间序列数据在相邻时间点上的相似程度自相关分析可以发现时间序列数据的周期性和平稳性偏自相关描述时间序列数据在去除其他变量影响后的关联性偏自相关系数表示时间序列数据在去除其他变量影响后的相似程度偏自相关分析可以发现时间序列数据的局部特征和趋势自相关与偏自相关：时间序列的关联性分析ARIMA模型：自回归移动平均模型的构建与预测ARIMA模型是一种时间序列预测模型，表示时间序列数据是自回归和移动平均的组合ARIMA模型包括自回归（AR）部分、差分（I）部分和移动平均（MA）部