SPSS的非参数检验PPT课件.ppt

第七章非参数检验 1 7 1关于非参数的一些常识 经典统计的多数检验都假定了总体的背景分布 但在总体未知时 如果假定的总体和真实总体不符 那么就不适宜用通常的检验 这时如果利用传统的假定分布已知的检验 就会产生错误甚至灾难 非参数检验 nonparametrictesting 是在总体分布未知或知之甚少的情况下 利用样本数据对总体分布形态等进行推断的方法 2 非参数检验在总体分布未知时有很大的优越性 它总是比传统检验安全 在总体分布形式已知时 非参数检验不如传统方法效率高 这是因为非参数方法利用的信息要少些 往往在传统方法可以拒绝零假设的情况 非参数检验无法拒绝 但非参数统计在总体未知时效率要比传统方法要高 有时要高很多 是否用非参数统计方法 要根据对总体分布的了解程度来确定 3 SPSS中的非参数检验方法主要涉及以下方面 单样本非参数检验两独立样本非参数检验多独立样本非参数检验两配对样本非参数检验多配对样本非参数检验 4 7 2单样本的非参数检验 7 2 1总体分布的卡方检验卡方检验可以根据样本数据 推断总体分布与期望分布或某一理论分布是否存在显著差异 通常适于多项分类值总体分布的分析 H0 样本来自的总体分布与期望分布或某一理论分布无显著差异 理论依据如果从一个随机变量X中随机抽取若干个观察样本 这些观察样本落在X的k个互不相交的子集中的观察频数服从一个多项分布 这个多项分布当k趋于无穷时近似服从卡方分布 5 卡方统计量Pearson卡方 如果的概率p值小于显著性水平 则应拒绝H0 否则 不拒绝H0 例子医学家研究心脏病人猝死人数与日期的关系时发现 一周之中星期一心脏病人猝死者较多 其他日子则基本相当 每天的比例近似为 2 8 1 1 1 1 1 1 现收集到心脏病人死亡日期的样本数据 需要推断其总体分布是否与上述理论分布相吻合 6 例 今有3人组成的品茶专家组 对A B两种不同牌号的茶进行6种不同味道的检验 凡专家认为优者被记录下来 如下表 不同牌号的茶提供给专家品尝是随机的 两种不同牌号的茶哪个更好 7 H0 F x 为二项分布 8 7 2 2二项分布检验现实中很多数据的取值是二值的 例如产品分为合格和不合格等等 将这样的二值分别用0和1表示 如进行n次相同的实验 则出现两类 1或0 的次数可以用离散型随机变量X表示 如X值为1的概率为p 则X为0的概率q为1 p 形成二项分布 通过样本数据检验样本来自的总体是否服从指定的概率值为p的二项分布 H0 样本来自的总体与指定的二项分布无显著差异 9 二项分布检验小样本 精确检验方法大样本 近似检验方法如果算得概率p值小于显著性水平 则应拒绝H0 否则 不拒绝H0 例子产品合格率检验 10 7 2 3单样本K S检验利用样本数据推断样本来自的总体是否服从某一理论分布 适用于探索连续型随机变量的分布 H0 样本来自的总体与指定的理论分布 正态分布 均匀分布 指数分布和泊松分布等 无显著差异 例子收集储户调查的样本数据 分析储户总体一次存 取 款金额的分布是否服从正态分布 11 基本思路在零假设成立的前提下 计算各样本观测值在理论分布中出现的理论累计概率值F x 计算各样本观测值的实际累计概率值S x 计算实际累计概率值与理论累计概率值的差D x 计算差值序列中的最大绝对值差 即D max S xi F xi 通常由于实际累计概率为离散值 D修正为D max max S xi F xi max S xi 1 F xi 1 D统计量也称为K S统计量 在小样本下 零假设成立时 D统计量服从Kolmogorov分布 在大样本下 零假设成立时 D统计量近似服从K x 分布 如概率p值小于显著性水平 则应拒绝H0 否则不拒绝H0 12 警告 经常有人在Kolmogorov Smirnov检验中 当检验不能拒绝总体分布为某分布时 来 接受 或 证明 该样本来自该分布 这是错误的 比如我们有由1 2 3 4 5五个数目组成的数据 我们分别检验该数据是否是正态分布 均匀分布 Poisson分布或指数分布 结果归纳为下表 13 Kolmogorov Smirnov单样本分布检验零假设的分布 渐近双边检验的 p 值正态分布1 000均匀分布0 988Poisson分布1 000指数分布0 806 根据此表 没有足够证据来拒绝任何一个零假设 难道我们可以随意 接受 该总体为其中任一个分布吗 14 例 公共交通设施适合性的研究 公共汽车到达时间是否服从正态分布 15 16 7 2 4关于随机性的游程检验 runtest 游程检验方法是检验一个取两个值的变量的这两个值的出现是否是随机的 假定下面是由0和1组成的一个这种变量的样本 0000111111001011100000000其中相同的0 或相同的1 在一起称为一个游程 单独的0或1也算 这个数据中有4个0组成的游程和3个1组成的游程 一共是R 7个游程 其中0的个数为m 15 而1的个数为n 10 17 关于随机性的游程检验 runtest 出现0和1的的这样一个过程可以看成是参数为某未知p的Bernoulli试验 但在给定了m和n之后 在0和1的出现是随机的零假设之下 R的条件分布就和这个参数无关了 根据初等概率论 R的分布可以写成 令N m n 18 2020 1 15 19 关于随机性的游程检验 runtest 于是就可以算出在零假设下有关R的概率 以及进行有关的检验了 利用上面公式可进行精确检验 也可以利用大样本的渐近分布和利用MonteCarlo方法进行检验 当然 游程检验并不仅仅用于只取两个值的变量 它还可以用于某个连续变量的取值小于某个值及大于该值的个数 类似于0和1的个数 是否随机的问题 看下面例子 20 关于随机性的游程检验 runtest 例 run2 sav 从某装瓶机出来的30盒化妆品的重量如下 单位克 71 671 071 870 370 572 971 071 070 171 871 970 370 969 371 267 367 667 767 668 168 067 569 867 569 770 069 170 471 069 9为了看该装瓶机是否工作正常 首先需要验证是否大于和小于中位数的个数是否是随机的 零假设为这种个数的出现是随机的 如果把小于中位数的记为0 否则记为1 上面数据变成下面的0 1序列111111110111101000000000000110实际计算时 用不着这种变换 计算机会自动处理这个问题的 21 7 3两独立样本的非参数检验 7 3 1曼 惠特尼U Mann WhitneyU 检验用于对两总体分布的比较判断 H0 两组独立样本来自的两总体分布无显著差异基本步骤 将两组样本数据 X1 X2 Xm 和 Y1 Y2 Yn 混合并按升幂排序 得到每个数据各自的秩Ri 记第一个样本观测值的秩的和为WX而第二个样本秩的和为WY 对秩分别求平均 对两个平均秩的差距比较 如果相差甚远 则此时零假设可能是不成立的 计算 X1 X2 Xm 每个秩优先于 Y1 Y2 Yn 每个秩的个数U1 以及 Y1 Y2 Yn 每个秩优先于 X1 X2 Xm 每个秩的个数U2 比较U1和U2 如果相差较大 则应怀疑零假设的真实性 依据计算WilcoxonW统计量和曼 惠特尼U统计量 22 基本步骤 续 WilcoxonW为 如果mn WilcoxonW WY 如果m n 则WilcoxonW为第一个变量所在样本组的W值 曼 惠特尼U统计量为 U W 1 2k k 1 k为W对应样本组的样本个数 小样本下 U服从曼 惠特尼分布 大样本下 U近似服从正态分布 计算方法是 在小样本下 依据U统计量的概率p值进行决策 在大样本下 则依据Z统计量的概率p值进行决策 23 7 3 2两样本分布的Kolmogorov Smirnov检验 假定有分别来自两个独立总体的两个样本 要想检验它们背后的总体分布相同的零假设 可以进行两独立样本的Kolmogorov Smirnov检验 原理完全和单样本情况一样 只不过把检验统计量中零假设的分布换成另一个样本的经验分布即可 假定两个样本的样本量分别为n1和n2 用S1 X 和S2 X 分别表示两个样本的累积经验分布函数 再记Dj S1 Xj S2 Xj 近似正态分布的检验统计量为 24 7 3 3两样本Wald Wolfowitz游程检验 Wald Wolfowitz游程检验 Wald Wolfowitzrunstest 和Kolmogorov Smirnov检验都是看两样本代表的总体分布是否类似 但是方法不一样 和单样本的游程问题类似 Wald Wolfowitz游程检验把两个样本混合之后 按照大小次序排列 同样本的观测值在一起的为一个游程 可以由游程个数R看出两个样本在排序中是否随机出现 25 7 3 4极端反应检验 基本思想将一组样本作为控制样本 另一组样本作为实验样本 以控制样本作为对照 检验实验样本相对于控制样本是否出现极端反应 如有极端反应 则认为两总体分布存在显著差异 分析过程将两组样本混合按升序排序求出控制样本的最小秩Qmin和最大秩Qmax 并计算跨度 Span S Qmax Qmin 1为消除样本数据中极端值对分析结果的影响 在计算跨度之前按比例去除控制样本中靠近两端的部分样本值 然后在求跨度 得到截头跨度 针对跨度或截头跨度计算H检验统计量 即 26 几种检验的比较若研究的是两个祥本是否代表位置 集中趋势 有差异的总体 应选择对这种差异最敏感的检验方法 如U检验 K S检验 单侧 在样本容量较大或测量层次较低时 可以采用U检验 它是专门揭示位置是否有差异的检验 如果样本容量非常小 或者同分秩较多 不便于应用U检验时 K S检验比U检验稍为有效一些 如果研究的是两个样本是否代表任一方面有差异的总体 如位置 离散度 偏斜度等等 可以选用K S检验 双侧 游程检验 若被评价的总体是连续分布的 可选用游程检验或K S检验 一般来说 K S检验要比游程检验更有效 当数据不满足连续性假定时 它仍然可以适用 只是得到的P值将比应得到的稍大些 也就是说犯第l类错误的概率会稍稍增大 27 7 4 1Brown Mood中位数检验在有数个独立样本的情况 希望知道它们的中位数是否相等 零假设是这些样本所代表的总体的中位数相等 备选假设是这些中位数不全相等 假定有k个总体 ni为第i个样本量 把所有样本量之和记为N 先把从这个k个总体来的样本混合起来排序 找出它们的中位数 再计算每个总体中小于该中位数的观测值个数O1i i 1 k 和每个总体中大于该中位数的观测值个数O2i i 1 k 这样就形成了一个由元素Oij组成的2 k表 其列总和为ni i 1 k 7 4多个独立样本的非参数检验 28 两个行总和为各样本小于总中位数的观测值总和 R1 O11 O12 O1k及各样本大于总中位数的观测值总和R2 O21 O22 O2k 用Pearsonc2统计量 即 其中 29 7 4 2Kruskal Wallis多个样本的秩和检验检验目的是看多总体位置参数是否一样 假定有k个总体 先把从这个k个总体来的样本混合起来排序 记各个总体观测值的秩之和为Ri i 1 k 显然如果这些Ri很不相同 就可以认为它们位置参数相同的零假设不妥 备选假设为各个位置参数不全相等 注意这里所说的位置参数是在下面意义上的qi 由于它在分布函数Fi x 中可以和变元x相加成为F x qi 的样子 所以称qi为位置参数 形式上 假定这些样本有连续分布F1 Fk 零假设为H0 F1 Fk 备选假设为Ha Fi x F x qi i 1 k 这里F为某连续分布函数 而且这些参数qi并不相等 Kruskal Wallis检验统计量为 R上面一杠表示平均 30 公式中ni为第i个样本量 而N为各个样本量之和 总样本量 如果观测值中有大小一样的数值 这个公式会有稍微的变化 这个统计量在位置参数相同的零假设下有渐近的自由度为k 1的c2分布 Kruskal Wallis检验仅仅要求各个总体变量有相似形状的连续分布 31 例子 四种不同类型治疗的有效性是否有显著不同 32 33 7 4 3Jonckheere Terpstra多样本的秩检验 H0 多个独立样本来自的多个总体的分布无显著性差异 和两独立样本的曼 惠特尼U检验类似 计算一组样本的观察值小于其他组样本的观察值的个数 用Uij表第i组观察值小于第j组观察值的个数 在J T统计量的定义为 大样本下 J T统计量近似服从正态分布 检验统计量为 34 7 5两配对样本的非参数检验 McNemar检验符号检验Wilcoxon符号秩检验解决的问题是一样的 零假设都为 两配对