两样本的非参数检验

第三章两样本非参数检验,在单样本非参数检验中，研究者可以解决诸如一个总体的中心是否等于一个已知的值，某个随机变量是否服从某种特定的分布，某个序列是否具有随机性等问题。然而在实际中，更受注意的往往是比较两个总体的位置参数。比如，两种训练方法中哪一种更出成绩，两种汽油中哪一种污染更小，两种营销策略中哪种更有效，两种药物哪一种的治疗效果更好等等，这就需要使用两样本的非参数方法，第三章中所介绍的方法大都适用。,在抽取样本时有两种形式：相关的和独立的。若第一次抽样的所有样本某一属性的测量结果，不影响第二次抽样的所有样本同一属性的测量结果，则这种抽样是独立的，若第一次抽样的测量结果影响另一次抽样测量结果，则这种抽样是相关的。为了避免或者尽量减少由于其他因素影响引起的两组之间的附加差异，得到更准确地结论，研究中通常采用两个相关的样本。,相关样本的获取有两种方式：1.让每一研究对象做自身的对照者2.将研究对象两两配对，分别给每一对两个成员以不同的处理。在进行配对时，应让每一对在可能影响处理结果的其他因素方面尽量相似，以尽量避免和减少附加差异。一般来说，用研究对象自身作为对照者要优于配对方法，因为在配对过程中很难完全控制住其他的影响因素。两个相关样本的非参数检验方法主要有符号检验法和Wilcoxon符号秩和检验法。,利用两个相关样本进行研究，对于某些问题是很方便的。但现实中要做到很好配对并不容易。若由于配对不当或无法配对，就要使用两个独立样本的非参数检验方法：Brown-Mood检验法，Mann-Whitney-Wilcoxon检验法，Wald-Wolfowitz游程检验法，检验法，Kolmogorov-Smirnov检验法等。两个独立样本可以各自从两个总体中随机抽选获得，也可以对随机抽样的一个样本诸元素随机分别实施两种处理而形成。,本章主要介绍两个相关样本和两个独立样本的非参数检验方法，包括：3.1符号检验法（相关样本）3.2Wilcoxon符号秩和检验法（相关样本）3.3Brown-Mood检验法（独立样本）3.4Mann-Whitney-Wilcoxon检验法（独立样本）3.5Wald-Wolfowitz游程检验法（独立样本）3.6检验法（独立样本）3.7Kolmogorov-Smirnov检验法（独立样本）,3.1符号检验法（SignTest）,3.1.1基本思路与检验步骤（同第二章）设有两个连续总体x,y,累积的分布函数分别为F(x),F(y)。随机的分别从两个总体中抽取数目为n的样本数据，和将它们配对得到若研究的问题是它们是否具有相同的分布，即F(x)=F(y)是否成立，由于x,y的总体分布未知，而研究者也不关心它们的具体分布形式，只是关心分布是否相同，因而可以采用位置参数进行判断。若两个样本的总体具有相同的分布，则中位数应相同，即在n个数对中，Xi大于yi的个数与Xi小于yi的个数应相差不大。,检验步骤:（1）提出假设,（2）计算检验统计量,（3）确定拒绝域,3.1.2应用,例.为帮助学生通过自学提高对知识的掌握，有关专家编辑了符合教学大纲的教学参考资料。为了研究“教学参考资料对于指导学生自学是否有效”这一问题，随机选取了15名学生进行测试，学生使用参考资料前的试卷（A）得分与使用参考资料后的试卷(B)得分列在下表内（A卷与B卷的范围，内容与难度相当）:,3.1.2应用,这些资料能否说明参考资料能够促进学生掌握知识,3.2Wilcoxon符号秩和检验法（WilcoxonSigned-RankTest）,检验步骤：,（3）确定拒绝域a.根据检验统计量W和a查Wilcoxon符号秩和检验表以得到在零假设下的值如果小于给定的显著性水平，拒绝零假设；反之不能拒绝零假设。b.如果n很大，要用正态近似，得到一个与W有关的正态随机变量z值，再查正态分布表得到值，最后将与a作比较。,例1,根据3.1.2中的例题，利用Wilcoxon检验法检验参考资料能否促进学生掌握知识（a=0.05）,3.2.2应用,用A，B两种材料生产的产品其寿命检测记录如下：,例2：,产品使用寿命统计表单位：小时,试分析两种材料对产品的使用寿命由无显著性影响（a=0.05）,3.3Brown-Mood检验法,Brown-Mood检验法是一种位置参数检验，主要用来检验两个独立样本的中位数是否相同。和位置参数相同零假设的表述方法：1.P(XY)=P(XY4.中位数,假设和是两个相互独立的随机样本，来自两个总体X和Y，其相应的中位数为和。我们关注的问题是，两个总体的位置参数=是否成立。零假设成立的情况下，由m个X、n个Y可以组成一个观测值数为m十nN的混合样本，其样本中位数为，应该对于两个总体样本数据说都处于中间位置。与符号检验思想相似，如果任何一个样本中大于或小于的数目过多或过少，我们就有理由怀疑零假设的真实性。,3.3.1检验思想与检验方法,若a或者b过大或过小，则有理由怀疑原假设。令A表示列联表中左上角取值a的x样本中大于的变量,则A为我们的检验统计量。由初等概率可知，在m,n及t固定时，A分布在零假设下为超几何分布（对于不超过m的k）：,两个数列中大于和小于的数目可用于下列22列联表表示：,超几何分布(hyper-geometricdistribution),设有产品件，其中次品件，合格品件，从中随机地不放回抽取件，记X为抽到的次品件数，求X的分布律.此时抽到件次品的概率为,称X服从超几何分布.记,P值计算的两种算法,实际运用中p值的计算,Excel中的超几何分布函数：HYPGEOMDIST(sample_s,number_sample,population_s,number_population)Sample_s样本中成功的次数A。Number_sample样本容量T。Population_s样本总体中成功的次数m。Number_population样本总体的容量N。Hypgeomdist(A,t,m,N)=R程序：P(Aa)=phyper(a,m,n,a+b),3.3.2检验的大样本近似,根据超几何分布的性质，可以检验统计量的性质：,1960年匈牙利学者Hajek证明了以下结论：1.Z的渐进分布为N(0,1）分布；2.Z2为分布，其渐进分布为分布。,3.3.2检验的大样本近似,3.3.3假设检验步骤,如果P值小于给定的显著性水平，拒绝“两个数列的中位数相同”的假设。检验步骤可归结为下表：严格的说，在时因A不对称，双边检验结果不那么理想。,3.3.3应用,3.3.3应用,3.4WMW检验,Wilcoxon-Mann-Whitney检验译作维尔科克森曼惠特尼检验，简称WMW检验，这种方法不考虑总体分布的具体形式，只需假定两个独立的相比较的总体有相同或相似的的连续分布，分布不需要对称。WMW检验的精确度较高，在正态总体情况下使用可以达到参数检验方法t检验法功效的95%的精度；如果是偏态总体，它的精度还要高于t检验法。相比brown-mood检验，不仅利用了样本的符号信息，也利用了相对大小信息。,3.4.1检验方法的思想W统计量,将两个样本混合在一起，并按从小到大的顺序排列起来，得到混合顺序样本：在混合样本中，将各数值排序得到它们的秩。令和分别为和在混合样本中的秩，和分别为和的总和（秩和）：如果为真，则与应较均匀地分布在混合顺序样本中，这N个观察值能够被看作是来自共同总体的一个单一的随机样本。两个样本的秩和将相差不大。,显然，如果x的秩大部分都小于y的秩（很小），则表明x样本的值偏小，我们就有理由怀疑混合子样是一个随机的混合样本，不能成立。同理，如果很小，也不能成立。可见，和都可以用作检验统计量，一般取两者中较小的一个作为检验统计量，记作，W被称为Wilcoxon秩和统计量（WilconxonRank-SumStatistics）,该统计量是由Wilconxon于1945年提出的。,3.4.2检验方法的思想U统计量,Mann-Whitney与1947年提出了U检验量，我们也可以用U来检验零假设。这里定义为所有X观察值在混合样本中超过Y观察值的个数，为所有Y观察值在混合样本中大于X观察值的个数，U为和中较小者，即。若成立，与的差别不会很大，U不会太小。如果U很小，我们就有理由怀疑。实际上，检验统计量W和U等价，二者之间只是一个线性变换关系，一般将其统称为Wilconxon-Mann-Whitney统计量。,m=n=2情形下统计量的可能取值,1.为离散分布。其中的最大值为n(n+1)/2+mn，最小值为n(n+1)/2。2.都是中心对称的。其中，的中心为n(N+1)/2。,统计量的性质,P值的计算,m=n=2情形下统计量的可能取值,3.4.2正态逼近,打结,检验步骤,3.4.3应用,例：两种材料制成同一零件，随机抽取19件作疲劳强度测试，得到如下结果：A材料：82645361598376557073B材料：806065918684779375试问两种材料制造的零件，其疲劳强度有无显著差异（=5%）,3.4.3应用,（2）计算检验统计量,3.4.3应用,R程序：wilcox.test(x,y),3.4.4练习,今测得甲、乙两矿灰分含量（%）资料如下：甲：3.754.33.953.83.85乙：3.94.054.14.0试用Wilcoxon-Mann-Whitney检验法判定甲乙两矿的灰分有无显著差异（=0.05）,3.5Wald-Wolfowitz游程检验（Wald-WolfowitzRunsTest）,Mann-Whitney-Wilcoxon检验主要应用于检验两个样本是否来自具有相同位置的总体，是对两个总体在集中趋势方面有无差异的一种考察，而不研究其它类型方面的差异。Wald-Wolfowitz游程检验则可以考察任何一种差异。Wald-WolfowitzRunsTest译为沃尔德-沃尔福威茨连串检验或游程检验，简称W-W串检验。,3.5.1基本方法与检验步骤,设有x,y两个总体具有连续分布，其累积分布函数分别为F(x)和F(y)。如果想知道两个总体是否存在某种差异，可以用“两个总体分布相同”作为零假设。为此，需要从x中随机抽取m个数据，从y中随机抽取n个数据，数据的测量层次至少要是定序尺度。将两个独立样本的m+n=N个数据混合排序，并确定序列的游程（取自同一样本的一串相连的数据）。如果零假设为真，则两个样本的数据期望能相互混合地排列，游程数会相对较大。若x的游程或y的游程过长，也就是来自同一总体的数据在有序的序列中过多地相互连接，则游程数将会相当少，数据不支持。故序列的游程数据可以作为检验统计量。,3.5.1基本方法与检验步骤,3.5.2应用,例研究者想知道“问题按难易次序提问是否影响学生正确回答的能力”。今从全校学生中随机抽取一个班的学生，随机地将学生分为两组，让第一组的学生做A卷（问题从易到难），第二组学生做B卷（问题从难到易）。考试被控制在完全相同的条件下进行，评分结果如下：A卷83828496906491717572B卷42615278698175787865试问在0.05显著性水平下“问题按难易次序提问是否影响学生正确回答的能力”？,3.5.2应用,解：（1）提出假设:F(X)=F(Y)(两种提问方式对学生成绩无影响):F(X)F(Y)(两种提问方式会造成学生成绩的差异)（2）计算检验统计量u=6,3.5.2应用,（3）作出决策根据m=10,n=10,=0.05查表得：因为，所以拒绝，可以认为在下提问的顺序对学生正确回答问题的能力有影响（也可以计算或查P值判断）。,3.5.2应用,注意：如果出现同分，分值来自同一样本，游程数u不会受到影响；但若同分值来自不同样本，u就可能会受到影响，并影响最后的结论。因此，在运用Wald-Wolfowitz游程检验时，若同分值来自两个不同的样本，一般应将各种排序的可能性都进行考察，分别计算每种情况下的游程总数u，并查找相应的P值。如果得出的结论一致，表明同分没有带来什么问题；如果得出的结论不一致，可以将n个P值求简单平均数，以此作为是否拒绝H的依据。如果同分在两个样本之间多次出现，u实际上是不确定的，因而不宜采用Wald-Wolfowitz游程检验。,3.5.3练习,某年华北五省市区的GDP指数为：109.2114.3113.5111.0112.7华东七省的GDP指数为：113.0112.2112.7114.4115.4113.4112.2试问：在下,利用Wald-Wolfowitz游程检验法检验华北五省的GDP指数与华北七省的GDP指数分布是否相同?,3.6两样本的检验,单样本的检验可以推广到两个独立样本的总体差异性的检验。问题：分别从两个分布函数为和的总体中，随机抽取和个样本数据，利用样本值推断两个总体是否具有某中差异。为了对假设作出判定，所需要的数据是两个样本，测量层次最低可为定类尺度。,3.6.1基本方法与检验步骤,3.6.1基本方法与检验步骤,用联表表示为：,3.6.1基本方法与检验步骤,3.6.1基本方法与检验步骤,3.6.2应用,例：为了研究已婚和独身妇女请假和工作时间是否有差异，研究者随机抽取了100名已婚妇女和200名独身妇女，调查她们在一年内请假和工作的情况，得到了下列数据：注：没有工作的时间不包括正常休假（如怀孕、住院等）；独身妇女一组包括离婚、分居、丧偶但身边无子女在一起生活的妇女。试问能否在0.05的显著性水平下认为已婚妇女比独身妇女更容易请假而从事的工作时间更少？,3.6.2应用,Q=3.5593+1.7802=5.8395df=5-1=4,Q统计量计算表,（3）做出决策,3.6.3练习,学生按性别和考试成绩分组的调查数据如下：试判断在0.05的显著性水平下学生的考试成绩是否与性别有关？,3.7Kolmogorov-Smirnov检验,单样本的Kolmogorov-Smirnov检验可以推广应用于两个独立样本。两样本的Kolmogorov-Smirnov检验，简称Smirnov拟合优度检验，主要用于检验两个独立样本是否抽自两个相同分布的总体，也为其基本思路和检验步骤与单样本的K-S检验完全一致，只是在检验时需要将前面的假设改为：,是第一个样本的经验分布函数，它可以用第一个样本观察值小于等于的x的次数除以总次数m(m为第一个样本的数据个数)求得；是第二个样本的经验分布