统计方法简介ppt课件.ppt

统计方法简介 主要内容 第一讲数据处理方法1 数据是否来自于正态总体 检验与变换2 数据中异常值的检验方法3 指标间的相关性检验或独立性检验4 多维数据的有效简化方式 降维法5 对某一主要研究指标的影响因素分析 方差分析 主要内容 第二讲线性模型建立的过程及SPSS实现1 一元回归分析与有效性诊断2 多元回归分析与有效性诊断3 曲线回归与诊断第三讲统计分类与模式识别及SPSS实现1 聚类分析2 判别分析3 因子分析 参考书 应用统计 陆璇编著清华大学出版社 多元统计分析 何晓群编著中国人民大学出版社 数据是否来自于正态总体 检验 问题的提出有n个数据 问是否他们来自某一个正态总体 检验方案一 正态概率纸 Q Q图 顺序统计量 秩与经验分布函数经验分位数与理论分位数利用经验分位数与理论分位数检验数据的正态性 Q Q图的SPSS实现 检验方案二 皮尔逊卡方检验零假设 检验统计量检验统计量的渐进分布检验准则 拒绝域 正态化变换 Box Cox变换 当检验发现数据不具有正态性时 为将来进一步处理数据或建立模型上的方便 可以对数据进行Box Cox变换 使之具有正态性 这个变换是 其中 是一个合适的实数 数据中异常值的检验方法 准则若数据来自于正态总体 则区间以外的点为疑似异常点 在实际判别时 指标间的相关性检验 Pearson相关系数检验 有正态性 零假设 X与Y无线性关系 检验统计量 其中检验统计量的分布 检验准则 拒绝域 Spearman秩相关检验 无正态性 零假设 检验统计量 其中检验统计量的分布 检验准则 拒绝域 相关性检验的SPSS实现 Pearson相关系数检验结果 Spearman相关检验结果 多维数据的简化方式 降维法 方法一 独立性检验正态总体的情形 Pearson相关系数检验总体分布未知的情形 Spearman秩相关检验 方法二 主成分分析主成分法的基本原理目标1消除变量间的相关性目标2降维以使问题简化主成分分析数学模型 主成分的获取方法计算样本的相关系数阵求相关系数阵的特征值和特征向量 特征值为新组合变量的方差 信息 特征向量为新组合变量的组合系数保留主成分法则 1 累积贡献率法 2 特征值的阀值1法 样本相关系数阵 与的样本相关系数 与的样本相关系数 主成分分析在SPSS中的实现 主成分分析的应用分类 利用第一和第二主成分排序 利用第一主成分1 系数大于零2 贡献率足够大主成分回归 消除变量间的共线性 散点图 scatterplot 排序 Sort 影响因素分析 方差分析 单因素方差分析模型1 2 零假设 数据表 平方和分解 总平方和 组间平方和 组内平方和 检验统计量其中是组间平方和是组内平方和统计量的分布 拒绝域方差分析表sourcedfSSMSFpr FModelErrorTotal 单因素方差分析得SPSS实现 双因素方差分析数据表 模型1 2 假设检验 1 因子A没有显著效应2 因子B没有显著效应3 因子A与B没有显著的交互效应 平方和分解 总平方和 因子A平方和 交互效应平方和 误差平方和 因子B平方和 检验统计量及其分布 方差分析表 双因素方差分析的SPSS实现 一元回归模型的建立过程 观察因变量与自变量的散点图确立要拟合的线性模型其中模型误差的假设条件 独立性等方差性正态性 由最小二乘法估计模型中的系数残差 误差 平方和 对模型进行显著性检验决定系数法1 平方和分解 2 决定系数 总平方和 回归平方和 误差平方和 方差分析表 利用残差对模型的假设进行检验残差的定义由残差检验误差的独立性和等方差性由残差检验误差的正态性 QQ图 一元回归分析的SPSS实现 曲线回归 可以进行曲线回归的函数类型双曲函数幂函数指数函数对数函数S型曲线 多元线性模型的建立过程 模型1 模型2 模型参数的估计 最小二乘估计 参数估计的性质1 2 3 残差平方和平方和分解 回归平方和 残差平方和 总平方和 越小拟合越好 是一定量 对模型进行显著性检验决定系数法决定系数调整的决定系数方差分析法检验检验统计量及分布 方差分析表 回归系数的显著性检验零假设检验统计量及其分布拒绝域 残差分析1 利用残差图检验 误差的独立性等方差型2 利用Q Q图 正态概率纸 检验误差的正态性 多元回归的SPSS实现 违背模型假设的处理方法 异方差性 截面数据 检验方法 图示法解决方案 加权最小二乘法 自相关 时间序列数据 检验方法 图示法解决方案 广义最小二乘法 差分最小二乘法 多重共线性检验方法 1 查看相关系数阵2 作一个自变量与其自变量的回归观察拟合优度 方差膨胀系数VIF 第一类解决方案1 增加样本观测值2 略去不重要的自变量3 用因变量的滞后值代替自变量的滞后值4 变换模型的形式5 对数据进行中心化处理 第二类解决方案1 主成分回归2 岭回归3 逐步回归 聚类分析 P维空间中样本点间的距离明氏距离缺点 与量纲有关 没有考虑相关性马氏距离 总体 优点 克服了明氏距离的缺点 两点之距 一点到总体之距 问题的提出若有n个样本点 要将他们分成m类 分类方法 系统聚类法逐步聚类法 系统聚类和逐步聚类法流程图系统聚类法流程图 初始分类 若与距离最小 合并为一类 输出分类结果 no 如何计算类与类之间的距离 逐步聚类法流程图 寻找m个凝聚点 若则 得 计算各类的重心 若则 得 计算各类的重心 重心改变 输出分类结果 yes 五种系统聚类方法1 最短距离法 method single 2 最长距离法 method complete 3 重心法 method centroid 4 类平均法 method average 5 离差平方和法 Ward法 其中 系统聚类在SPSS中的实现 判别分析 问题的提出已知有m个类 现又得到一个新的样本 问这个样本属于哪一类 于是从m类的样本中提取各类典型信息 建立判别公式或判别准则 然后利用判别准则将新样本归属于一个特定的类的过程就是判别分析 方法包括距离判别法 Bayes判别法 Fisher判别法以及逐步判别法等 距离判别法基本原理1 问题 与是两个不同的P维总体 是一个P维样本 问它属于哪个总体 2 解决方案 两类线性判别函数前提假设 1 2 线性判别函数 判别准则 两类二次判别函数前提假设 1 2 二次判别函数 判别准则 Bayes判别法基本原理1 已知与的先验分布 和各自总体的分布密度函