统计学非参数检验.ppt

第六章非参数检验 方法的回顾 单个因素 两水平 的作用评价 两组比较完全随机设计下的单因素两组比较匹配设计的两组比较单个因素 多水平 的作用评价 多组比较完全随机设计下的单因素多水平比较两个因素的分析问题无交互作用 有交互作用 单因素两组比较 t检验完全随机两组均数比较的t检验 独立t检验 匹配设计下两组均数比较的t检验 匹配t检验 单因素多组比较 方差分析完全随机设计下的多组均数比较 局限性 t检验独立t检验要求 正态 方差相等 或不相等 个体独立匹配t检验要求 差值正态 个体独立方差分析单因素多水平比较方差分析要求 正态 方差相等 个体独立 未解决问题 两组性别结构是否相同 疗效用痊愈 显效 有效 无效四级分类法进行评价时 两组或多组如何比较 如何检验样本数据来自的总体服从正态分布 总体不是正态分布 小样本情况下 如何检验总体的集中趋势 有6名歌手参加比赛 4名评委进行评判打分 推断评委的评判标准是否一致 参数检验 样本被视为从分布族的某个参数族抽取出来的总体的代表 而未知的仅仅是总体分布具体的参数值推断问题就转化为对分布族的若干个未知参数的估计问题 用样本对这些参数做出估计或者进行某种形式的假设检验 这类推断方法称为参数方法 非参数检验 nonparametrictests 又称为任意分布检验 distribution freetest 它不考虑研究对象总体分布具体形式 也不对总体参数进行统计推断仅仅依赖于数据观测值的相对大小 秩 等 而是通过检验样本所代表的总体分布形式是否一致来得出统计结论 非参数统计的名字中的 非参数 nonparametric 意味着其方法不涉及描述总体分布的有关参数 它被称为 和分布无关 distribution free 是因为其推断方法和总体分布无关 不应理解为与所有分布 例如有关秩的分布 无关 对总体假定较少 有广泛的适用性 结果稳定性较好 假定较少不需要对总体参数的假定与参数结果接近针对几乎所有类型的数据形态 容易计算在计算机盛行之前就已经发展起来 非参数检验的优点 可能会浪费一些信息特别当数据可以使用参数模型的时候大样本手算相当麻烦一些表不易得到 非参数检验的弱点 已知总体分布类型 对未知参数进行统计推断 依赖于特定分布类型 比较的是参数 参数检验 parametrictest 非参数检验 nonparametrictest 对总体的分布类型不作严格要求 不受分布类型的影响 比较的是总体分布位置 优点 方法简便 易学易用 易于推广使用 应用范围广 可用于参数检验难以处理的资料 如等级资料 或含数值 50mg 等 缺点 方法比较粗糙 对于符合参数检验条件者 采用非参数检验会损失部分信息 其检验效能较低 样本含量较大时 两者结论常相同 非参数检验的特点 非参数检验不需要严格假设条件 因而比参数检验有更广泛的适用面 非参数检验几乎可以处理包括定类数据和定序数据在内的所有类型的数据 而参数检验通常只能用于定量数据的分析 在参数检验和非参数检验都可以使用的情况下 非参数检验的功效 power 要低于参数检验方法 以下情况下应当首选非参数方法 参数检验中的假设条件不满足 从而无法应用 例如总体分布为偏态或分布形式未知 且样本为小样本时 检验中涉及的数据为定类或定序数据 所涉及的问题中并不包含参数 如判断某样本是否来自正态分布等 判断某样本是否为随机样本 常用的非参数检验方法 用于单个样本的c2拟合优度检验 K S拟合优度检验 中位数的符号检验用于两个匹配样本的Wilcoxon符号秩检验用于两个独立样本的Wlicoxon秩和检验用于多个独立样本的Kruskal Wallis检验 第六章非参数检验 非参数检验概述非参数检验 特点及应用单样本的非参数检验两个样本和多个样本的非参数检验 单样本的非参数检验 c2拟合优度检验K S拟合优度检验中位数的符号检验 分类数据 检验分布 对中位数的推断 c2统计量用来测定定类变量之间的相关程度c2统计量的分布与自由度有关 c2统计量描述了观察值与期望值的接近程度 拟合优度检验 goodnessoffittest 用c2统计量进行统计显著性检验的重要内容之一 依据总体分布状况 计算出分类变量中各类别的期望频数 与分布的观察频数进行对比 判断期望频数与观察频数是否有显著差异 从而达到对分类变量进行分析的目的 1912年4月15日 豪华巨轮泰坦尼克号与冰山相撞沉没 当时船上共有2208人 其中男性1738人 女性470人 海难发生后 幸存者共718人 其中男性374人 女性344人 以显著性水平为0 1检验存活状况与性别是否有关 提出零假设和备择假设H0 观察频数与期望频数一致H1 观察频数与期望频数不一致计算期望频数男性的期望频数 女性为153人计量c2统计量查表 自由度为类别数 1 做出判断 决绝原假设 认为存活状况与性别显著相关 一种饮料的容器材料可以选择玻璃 塑料或者金属 为了比较消费者对包装材料的偏好 抽样调查了120名消费者发现 最喜欢玻璃 塑料和金属容器的分别有55 25和40人 根据调查结果 能否认为消费者对3种材料的偏好程度是无差异的 显著性水平a 0 05 分析 如果消费者对3种材料的偏好程度是无差异的 也就是说消费者对材料的偏好服从均匀分布 则理论上来说 调查120名消费者 偏好每种材料的人数应该是相等的 也就是40人 各组观测到的人数与理论人数 期望值 之间的差异应该都是由于抽样的随机性造成的 因此不应该太大 如果二者之间的差异特别大 则说明我们所作的假设 消费者对3种材料的偏好程度是无差异的 很可能不成立 检验统计量k是样本分类的个数 表示实际观察到的频数 表示理论频数 观察频数与期望频数越接近 则c2值越小 根据皮尔逊定理 当n充分大时 c2统计量渐近服从于k 1个自由度的c2分布 软件操作 数据录入 软件操作 方法设定 选择 分析 非参数检验 卡方 在弹出的对话框中将 材料 设定为检验变量 单击对话框中的 精确 选中弹出对话框中的 精确 单击 继续 确定 软件操作 结果分析 1 软件操作 结果分析 2 结果分析 3 结论 计算出的c2统计量的值为11 250 自由度为2 相应的p值 渐近显著性 为0 004 小于a 0 05 所以检验的结论是拒绝总体中消费者对3种材料的偏好程度无差异的零假设 特别说明 大样本 每个单元中的期望频数大于等于5时可以使用c2分布 小样本时应该按照精确方法计算得到的p值得出结论 c2检验也可以按照同样的思想对正态分布或者任何想象的其他分布进行检验 但主要用于对定性变量的检验 另外 c2检验也可以用于对两个总体分布的比较 单样本的非参数检验 c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K S拟合优度检验中位数的符号检验 检验分布 单样本K S检验检验总体分布是否为理论分布 正态 Possion 均匀 指数 是以两位苏联数学家Kolmogorov和Smirnov命名的 全称为Kolmogorov Smirnov检验 通过对两个分布差异的分析确定能否认为样本的观察值来自所设定的理论分布总体 定义 显然若对每一个x值来说 如果经验分布函数与特定分布函数的拟合程度很高 则有理由认为样本数据来自具有该理论分布的总体 检验统计量 根据检验统计量的精确分布或渐进分布 可以计算出假设检验的p值 从而得出检验的结论 SPSSK S检验中检验统计量Z的计算 SPSSK S检验中p值的计算 有100名儿童每周看电视时间的数据 数据文件 电视时间 sav 检验能否认为总体中儿童每周看电视的时间服从正态分布 显著性水平a 0 05 这里K S检验的零假设和备择假设为 H0 总体中儿童每周看电视的时间服从正态分布 H1 总体中儿童每周看电视的时间不服从正态分布 在SPSS软件中打开数据文件 选择 分析 非参数检验 1样本K S 在弹出的对话框中将 时间 设定为检验变量 检验分布为默认的 常规 正态分布 单击 确定 检验结论相应的p值 渐近显著性 为0 315 由于0 315大于0 05 所以在5 的显著性水平下不能拒绝原假设 也就是说根据样本数据不能认为总体分布是非正态的 注意这里并不能得出总体服从正态分布的严格结论 总体服从正态分布的结论可能犯第二类错误 取伪错误 这个概率是未知的 在有些情况下可能会很大 特别声明在K S检验中如果使用的是小样本 则根据渐进分布计算p值的误差会增大 这时应该通过相应的设定要求软件输出精确检验的p值 根据精确检验的p值得出检验结论 K S检验也可以用于对两个总体分布是否一致的检验 单样本的非参数检验 c2拟合优度检验对定类变量用c2统计量进行统计显著性检验K S拟合优度检验检验总体分布形态中位数的符号检验 对中位数的推断 单样本中位数的检验秩符号检验Wilcoxon符号秩检验 秩 rank 是指全部观察值按某种顺序排列的位序 通常是将数据按照升幂排列之后 每个观测值的位置 秩次在一定程度上反映了等级的高低 下面一行Ri就是上面一行数据Xi的秩 数据中有相同的数值 称为结 结中数字的秩为它们所占位置的平均值 A组 123456789101112 124 54 54 54 58 58 58 58 511 511 5 平均秩次 3 6 2 4 5 利用秩的大小进行推断就避免了不知道背景分布的困难 这也是非参数检验的优点 多数非参数检验明显地或隐含地利用了秩的性质 但也有一些非参数方法没有涉及秩的性质 符号检验 signtest 在非正态总体小样本的情况下 如果要对总体分布的位置进行推断 由于t检验不适用 也可使用符号检验的方法 在数据呈偏态分布的情况下 我们可能对总体的中位数更感兴趣 希望对总体的中位数作出推断 这时可以使用符号检验的方法 例6 3在某地区随机调查了60个家庭的月收入 数据文件 家庭月收入 sav 根据样本数据能否认为总体中家庭月收入的中位数等于5000元 显著性水平a 0 05 符号检验的基本思想 每个数据都减去零假设中的中位数 记录其差值的符号 计算正 负符号的个数 差值为0的不计算在任何一个中 当原假设为真时二者应该很接近 若两者相差太远 就有理由拒绝原假设 检验统计量原假设成立时 检验统计量S服从二项分布 根据二项分布计算得到p值 从而得出检验的结论 当正号和负号个数之和大于25时 可以按照正态分布进行近似计算 例6 3在某地区随机调查了60个家庭的月收入 数据文件 家庭月收入 sav 根据样本数据能否认为总体中家庭月收入的中位数等于5000元 显著性水平a 0 05 在SPSS中打开数据文件 为了对中位数进行检验 先在SPSS中生成一个新的变量Median 取值为5000 单击 转换 计算变量 在弹出的对话框中按照图6 3进行设置 单击确定 选择 分析 非参数检验 2个相关样本 在弹出的对话框中将 Median 和 家庭月收入 设定检验的一对变量 选中 符号检验 取消选择 Wilcoxon 单击 确定 用正态分布进行近似计算时 Z统计量的值为 0 129 双侧检验的p值为0 897 由于p值大于0 05 检验的结论是不能拒绝原假设 即没有充分证据证明中位数不等于5000 特别声明如果样本量较小 则需要使用软件输出的精确检验的p值进行推断在小样本时 如果要求进行精确检验 SPSS会自动按照二项分布进行概率计算 Wilcoxon符号秩检验符号检验只用到差值的符号 而对差值数值的大小未能考虑 因而失去了部分信息 Wilcoxon符号秩检验既考虑差值的符号 又考虑差值的大小 因此在所需的假设条件满足时其功效比符号检验高 Wilcoxon符号秩检验计算差值绝对值的秩 将差值绝对值从小到大排序 其位次就是的秩 rank 等于0值不参与排序 分别计算出差值序列中正数的秩和W 以及负数的秩和W 显然 如果零假设成立 W 与W 应该比较接近 如果二者过大或过小 则说明零假设不成立 将正数的秩和或者负数的秩作为检验统计量 根据其统计分布计算p值 从而可以得出检验的结论 前提假设 样本点来自连续对称总体分布 Wilcoxon符号秩检验计算 将其按照大小排序 得到的秩 把的正负号加到相应的秩上 计算计算检验统计量做出判断 W太小时 决绝零假设 第六章非参数检验 非参数检验概述非参数检验 特点及应用单样本的非参数检验c2拟合优度检验 K S检验 中位数的符号检验及Wilcoxon符号秩检验两个样本和多个样本的非参数检验 两个样本和多个样本的非参数检验两个匹配样本的Wilcoxon符号秩检验两个独立样本的Wlicoxon秩和检验多个独立样本的Kruskal Wallis检验 匹配样本的非参数检验如果t检验的假设条件不满足 t检验就不适用了 符号检验和Wilcoxon符号秩检验都可以用做替代的检验方法 用样本数据中对应的数值相减得到新的序列 零假设 差值总体的中位数 0 备择假设 差值总体的中位数 0 例6 4从实施适时管理 JIT 的企业中随机抽取10家进行效益分析 得到它们在实施JIT前后三年的平均资产报酬率 数据文件 JIT管理 sav 在5 的显著性水平下企业在实施JIT前后的资产报酬率是否有显著差异 在SPSS软件中打开数据文件 选择 分析 非参数检验 2个相关样本 在弹出的对话框中将 JIT后 和 JIT前 设定检验的一对变量 选中 Wilcoxon 和 符号检验 由于这里样本量很小 我们要求进行精确检验 单击对话框中的 精确 选中弹出对话框中的 精确 单击 继续 确定 符号检验结果 1 符号检验结果 2 结论 不能拒绝零假设 没有证据表明小于企业在实施JIT前后的资产报酬率有显著变化 Wilcoxon符号秩检验结果 1 Wilcoxon符号秩检验结果 2 两个独立样本的Wlicoxon秩和检验在两个独立样本的t检验不适用时 Wlicoxon秩和检验可以作为一种替代的非参数检验方法使用 这一检验可以用来对两个总体的中位数进行检验 基本原理如果两个总体具有相似的分布形状 并且中位数相同 那么由m个x n个y组成的m十n N个观察值可以被看作来自同一总体的一个随机样本 将全部x和y从小到大排序确定每个数值的秩 然后计算m个x的秩的和Wx n个y的秩的和Wy 由于抽样的随机性 x y应较均匀地分布在混合排列的样本中 如果零假设成立 在样本量相同的情况下两个秩和应该比较接近 样本量不同的情况下平均秩和的平均秩应该比较接近 否则就说明两个总体的中位数是不相等的 由于对称性 两个秩和Wx Wy都可以用作Wilcoxon秩和检验的检验统计量 SPSS软件中使用的是平均秩较小的一组的秩和 统计量W的统计分布可以精确推导出来在样本量较大时 m和n都不小于10 可以用正态分布来进行近似 得到p值之后 再通过比较p值和a的大小得出结论 相关说明由于Wilcoxon秩和检验与Mann和Whitney提出的U检验完全等价 因此这种方法也被称为Wlicoxon Mann Whitney检验 或者Mann WhitneyU检验 在样本量较小时 应当使用精确检验的结果严格来说用Wilcoxon秩和检验对中位数进行假设检验 需要假定两个总体分布有类似的形状才能得出可靠的结论 例6 5已知某企业职工的收入调查中20名本科毕业生和15名研究生的月收入 元 数据文件 本科研究生收入 sav 试比较本科生和研究生的收入水平 显著性水平a 0 05 分析由于收入一般是右偏分布 因此不适合用t检验进行分析 我们用Wilcoxon秩和检验来比较两个总体的中位数 检验的零假设和备择假设如下 H0 本科和研究生月收入的中位数相等 H1 本科和研究生月收入的中位数不相等 在SPSS软件中打开数据文件 选择 分析 非参数检验 2个独立样本 在弹出的对话框中将 月收入 设定为检验变量 学历 设定为分组变量 然后单击 定义组 按照 学历 的取值进行设定 然后单击 继续 检验类型使用默认 Mann WhitneyU 单击 确定 结果分析 根据精确检验的p值 在显著性水平大于0 002时我们应该拒绝原假设 结论是本科与研究生的收入的中位数不相等 多个独立样本的Kruskal Wallis检验Kruskal Wallis检验是Wlicoxon秩和检验的推广 用来对多个总体的中位数进行比较 在单因素方差分析模型不适用于所研究的问题时 Kruskal Wallis往往是一种可以替代的非参数检验方法 基本原理Kruskal Wallis检验也是根据秩和来构造检验统计量的 将所有样本的数据合在一起 从小到大排序得到每个数值的秩 然后计算各样本的秩和以及平均秩 如果各组没有显著性差异 则各组的平均秩应该趋于相等 如果各组的平均秩相差较大 则各组中位数有显著性差异的可能性较大 检验统计量 基本原理 当样本组数k 每组样本样本容量ni不是很小时 检验统计量H的抽样分布近似服从自由度为k 1的c2分布 在k 3 n 5时 用c2分布近似的误差较大 应该使用精确检验方法如果p值小于显著性水平a 则拒绝零假设 说明k个总体中位数之间存在显著差异 例5 1用单因素方差分析的方法对4个专业的平均起薪进行了比较分析 数据文件起薪1 xls 由于不确定总体是否服从正态分布 请使用Kruskal Wallis检验比较四个专业毕业生的起薪是否有显著差异 H0 四个专业起薪的中位数都相等 H1 四个专业起薪的中位数不全相等 在SPSS软件中打开数据文件 选择 分析 非参数检验 k个独立样本 在弹出的对话框中将