第2章-单样本非参数检验.ppt

第2章单样本非参数检验,传统的统计推断（参数统计）一般都是在给定或假设总体的分布形式或分布族，或具有足够大的样本或已知的总体的某些参数的基础上对总体的未知参数进行估计或检验。然而在实践中，我们对所研究的总体可能知之不多，要给出或假设总体的分布十分困难，或者总体的分布并不满足假定的前提，或者不知道推断时需要的总体参数值，或者没有足够多的样本。此时，参数统计的方法不适用，必须应用非参数统计的方法。,第2章单样本非参数检验,非参数统计一般不涉及总体参数，也不依赖于对总体分布作出具体假定，往往仅依据数据的顺序量或等级资料等即可进行统计推断，在实际中得到了极为广泛的应用。,第2章单样本非参数检验,单样本非参数统计方法用来检验只需抽取一个样本的假设，通常能回答下列问题:观察频数和某种原则下的期望频数是否有显著差异；观察的比例与所期望的比例是否有显著差异；样本取自某种类型的总体的假定是否合理，等等。,2.1符号检验（SignTest）,符号检验法是一种最简单的非参数方法，它不要求知道被检验量的分布规律，仅依据某种特定的正负号之数目多少来对某种假定作出检验，非常直观、简便，常被用于检验总体的均值、中位数等位置参数是否为某一数值，或判断总体分布有无变化、是否相同等。尤其在实际中，我们常常会碰到无法用数字去描述的问题，这时符号检验法就是一种简单而有效的检验方法。,2.1.1基本思路,例1.今从生产线上随机抽取10件产品进行检验，测得产品的直径数据（单位：厘米）为：23，18，22，21，27，25，19，21，24，17。问：能否认为该产品的直径的中位数（）是23厘米？（）,2.1.1基本思路,分析：如果产品直径的中位数是23厘米，就意味着样本点（本例n=10）中大于23的概率与小于23的概率应当相同。如果排除样本点等于23的情况（连续随机变量的样本点等于的概率为零，故可以将等于的样本点去掉，相应减少n），。可见，如果产品直径的中位数是23厘米的假设成立，则每一样本点都以0.5的概率小于，也以0.5的概率大于。,2.1.1基本思路,这显然是一系列贝努里实验，大于的样本点个数（符号为正，记为）与小于的样本点个数（符号为负。记为）均服从B（n，12）。和可以用作检验统计量。其中,检验类型：,单边检验：左侧检验右侧检验双侧检验：需要说明的零假设一般就取等号。,左侧检验思路：对于假设，当很小时（即只有少数观察值大于Me0）,基于零假设的概率，即p-值，也不大。因此Me0可能太大，而M应该比目前的Me0小，这样，备择假设会更有理一些。如果上述概率小于指定的显著性水平，就可以拒绝零假设。这种情况等价于很大的情况。在显著性水平下，检验的拒绝域为：其中，,与参数的假设检验相同，也可以计算检验的p值，它等于二项分布b(n,1/2)的随机变量小于的概率(左尾概率）：判别规则为：p值大于，则不能拒绝零假设。p值小于，则拒绝零假设。p值还可以通过Excel中的函数Binomdist（S+，n，p，t/F）计算。本检验可以通过输入Binomdist(S+，n，0.5，true)计算。请大家思考，若选用作为统计量的决策规则？,右侧检验思路：对于检验假设，当很大时（即很多观察值大于Me0）,基于零假设的概率，即p-值，也不大。因此Me0可能太小，而Me应该比目前的Me0大，这样，备择假设会更有理一些。如果上述概率小于指定的显著性水平，就可以拒绝零假设。这种情况等价于很小的情况。在显著性水平下，检验的拒绝域为：其中，思考题：对于同一分布，c和d之间的关系如何？,与参数的假设检验相同，也可以计算检验的p值，它等于二项分布b(n,1/2)的随机变量大于的概率（右尾概率）：判别规则为：p值大于，则不能拒绝零假设。p值小于，则拒绝零假设。p值还可以通过Excel中的函数1-Binomdist(S+1,n，p,t/F)计算。本检验可以通过输入1-Binomdist(S+1,n，0.5,true)计算。,请大家思考，若选用作为统计量的决策规则？,双侧检验思路：对于检验假设，当不很大或不很小时，不能拒绝零假设。否则，应该拒绝零假设，检验的拒绝域为两个：或其中，d=n-c,与参数的假设检验相同，也可以计算检验的p值。当，它等于二项分布b(n,1/2)的随机变量大于的概率（左尾概率）的2倍：；当，它等于二项分布b(n,1/2)的随机变量小于的概率（右尾概率）的2倍：。判别规则为：p值大于，则不能拒绝零假设。p值小于，则拒绝零假设。,请大家思考，若选用作为统计量的决策规则？,特殊情形的处理,在实际问题中恰巧有一些观测值正好等于Me0,则如何处理：,办法之一：省去，并减少样本容量。办法之二：使用更小的计量单位。办法之三：修正符号检验统计量如下：,2.1.2检验步骤,1.提出假设2.计算检验统计量首先删去取值23的观测值，则有：,2.1.2检验步骤,3.作出决策查表判断根据一定的显著性水平下和符号数目n（）查符号检验界域表求得临界界域，此表是利用二项分布计算出来的。如果和落在相应的界域以外（含落在界域点上）表明和的差异很显著。拒绝；否则不能拒绝。,二项分布展开式,2.1.2检验步骤,计算值作出判断在Excel中输入“=Binomdist(3,9,0.5,true)”计算或在Excel中输入“=1-Binomdist(5,9,0.5,true)”计算,2.1.3检验规则与大样本近似,大样本修正,样本较小时，可以用前面的公式或查表来计算p-值。样本较大时，二项分布可以用正态分布来近似。在零假设下，服从正态N(0,1)分布。因为正态分布是连续的，所以对离散的二项分布的近似中，要用连续性修正量。,由于非参数统计要求数据的连续性需要用连续性修正（ContinuityCorrections）。离散分布的概率用连续分布的概率来近似，这种对x加或减部分邻域范围的调整成为连续性修正。,对于二项分布B（n,0.5)随机变量，其正态近似为，概率可用下式近似：同理,2.1.4符号检验的应用,主要是三种情形:情形一：中位数检验(如前例)。对于类似正态分布这样的单峰对称分布数据而言，均值和中位数之间的差异不大。而对于非对称或偏态分布数据而言，中位数就比均值更为稳健。因此，中位数检验的必要性显现出来了。,情形二：定性数据分析。这种情形常见于一些社会调查或市场调研中，通常需要把人们对某种事物难以准确表达的看法转换为“赞成”、“中立”和“反对”三种结果，或者“赞成”和“反对”两种结果。当出现三种结果时，可以把“中立”结果的观察值舍去，或者均分到“赞成”和“反对”结果中(后一种处理更好)。这样，就可以采用符号检验对这类问题进行统计分析了。,例2某项调查询问了2000名中年人这样一个问题：“你认为我们的生活环境比过去更好、更差，还是没有变化？”结果有800人觉得“越来越好”，有720人感觉“一天不如一天”，有480人表示“没有变化，一直如此”。根据调查结果，在5%的显著性水平下，你是否相信，在总体中认为“我们的生活环境比过去更好”的人比“我们的生活环境比过去更差”的人多？,分析：舍去表示“没有变化，一直如此”的480人，这一问题可以用符号检验进行分析。检验的备择假设：，统计量为：认为“生活环境比过去更好”的人数，认为“生活环境比过去更差”的人数两个统计量抽样分布为一个二项分布B(1520,0.5)。依据符号检验的判定指导表，检验的统计量S=，代入式近似式计算得到：由于P值Y)=P(XY。,中央财经大学统计学院32,例3：从实行适时管理（JIT）的企业中，随机抽取10家进行效益分析，它们在实施JIT前后三年的平均资产报酬率。问在5的显著性水平下，企业在实施JIT前后的资产报酬率是否有显著差异？,分析：由于实施JIT前后企业其他条件均没有变化，仅仅是考察实施JIT对资产报酬率的影响，因而是双侧检验。可建立假设：。依题意可知，。依据判定指导表有，S=3，P值=。在Excel中输入“=binomdist(3，10，0.5，true)”得到，因而P值=0.344。因此，不能拒绝，即企业在实施JIT前后的资产报酬率没有显著差异。,2.1.5练习,1.某企业拟采取一项新的人事分配制度改革。为了解广大职工对这项改革措施的看法，有关人士逐一征求了经过挑选的25名具备权威性、代表性的职工的意见。结果19人表示赞同，5人表示反对，1人表示没有把握。试问这些回答能否表明职工中赞成这项改革方案的人比反对的人多？（）,2.某企业随机抽取了15个商场对其加湿器产品的销售量情况进行了调查，以了解广告对商品的促销是否起了作用。每日销售量（台）的调查数据见下表：,2.2Wilcoxon符号秩（和）检验,它是对符号检验法的一种改进方法。符号检验法只利用了样本的差异方面上的信息（如利用了观察值和零假设的中心位置之差的符号），并考虑差别的大小。不同的符号代表了在中心位置的哪一边，而差的绝对值的秩的大小代表了距离中心的远近。Wilcoxon符号秩和检验把两者结合起来了，因而比符号检验法更有效。,2.2.1基本方法与步骤,这种方法与符号检验法类似，也是建立在二项分布理论基础上的检验方法，但它需要假定样本点来自连续对称总体分布，将差的绝对值的秩分别按照不同的符号相加作为检验统计量。,中央财经大学统计学院38,秩（rank）,非参数检验中秩是最常使用的概念。什么是一个数据的秩呢？一般来说，秩就是该数据按照升序排列之后，每个观测值的位置。下面一行Ri就是上面一行数据Xi的秩。,中央财经大学统计学院39,秩（rank）的计算,数据中有相同的数值，称为结。结中数字的秩为它们按升幂排列后位置的平均值,2.2.1基本方法与步骤,1.建立假设，如：2.对i=1,2,n，计算，它们代表这些样本点到的距离。3.把上面的n个绝对值排序，并找出它们的n个秩。如果有相同的样本点，每个点取平均秩。4.令等于的的秩的和，等于的的秩的和。,2.2.1基本方法与步骤,5.对于双边检验，；在零假设下，和应当差不多。因而，当其中之一很小时，应怀疑零假设，检验统计量。类似地，对，的单边检验，取；对，的单边检验取。,2.2.1基本方法与步骤,6.根据得到的值，如果n较小，查Wilcoxon符号秩检验的分布表以得到在零假设下的值。如果n很大（超过15）要用正态近似，得到一个与W有关的正态随机变量Z值，再查正态分布表得到值，或用计算机得到值。7.如果值小于给定的显著性水平，拒绝零假设；反之不能拒绝零假设。,2.2.2检验规则与大样本近似,大样本近似,由于和的对称性，加上，因而两个统计量的抽样分布完全一样，且关于对称。,大样本近似公式,2.2.3应用,例1：某钢铁公司订购了一批铸件，在使用前需要进行机加工。为减少加工费用，公司规定下列原则：若铸件重量的中位数超过25公斤，就转包给别人加工；反之就自己加工。今从这批（100件）铸件中随机抽取了8件进行测量，每件重量为：24.3，25.8，25.4，24.8，25.2，25.1，25.0，25.5。问铸件的机加工是否应该转包出去？（）,2.2.3应用,解：提出假设；求并排序,2.2.4应用,求和查表作决策查n=7T=8.5得显然，值在相对于已足够大，因此调查数据支持，即公司从减少加工费用的角度来看，这批铸件的机加工最好不要转包。,2.2.5配对样本的应用,符号秩检验还可以用于配对样本。检验有匹配关系的两个总体X和Y的中位数否一致。它首先把匹配数据样本中每对数据差值的绝对值，按从小到大排列的秩序，给予每一个差值以秩次（等级），然后再给差值记上符号，就可进行符号秩检验。,以前面例3为例，相当于检验实施JIT前后资产报酬率的中位数是否相等，即,注：在计算秩时，如果有相同的数值点即存在“结”，则每个点取平均秩。本例中，三个0.2的平均秩为（2+3+4）/3=3，两个0.3的平均秩为（5+6）/2=5.5。,依题意和上表计算，可得：，。依照判定指导表有：，查Wilcoxon符号秩统计量分布表可得，P=0.8077，因此，企业在实施JIT前后的资产报酬率没有显著差异的结论不变。然而，比较符号检验和Wilcoxon符号秩检验得到的P值不难发现，后者的P值比前者高出了不少，其主要原因在于：尽管中正差值的个数与负差值的个数相差较为悬殊，但由于正差值的符号秩相对较大，在一定程度上可以冲减两者差异的悬殊。,练习,亚洲10个国家1996年的每1000新生儿中的死亡数如下：资料来源：世界银行“世界发展指标”1998试用Wilcoxon符号秩和检验法做检验：（注：因为34和16在这一数列中的位置是对称的。）,2.2.6符号检验与符号秩检验比较（P52）,1.共同点：均能用于单总体或样本匹配的两个总体的中位数检验2.区别：利用的信息不同（差值方向信息及大小信息）3.与参数的t检验比较：（1）功效不同（2）适用范围不同（6种情形要非参数检验）,渐进效率ARE的一般范围,渐进效率ARE比较W+指Wilcoxon符号秩检验，S指符号检验,2.3游程检验,游程检验的出发点是检验样本的独立性。几乎所有经典统计方法在理论上都要求样本是随机样本，即要求重复观察到的一组变量值在统计上相互独立。参数统计很难考察这一问题，但从非参数的角度考察时，若数据出现趋势，周期性规律，就不能表示数据是独立的。这些问题可以转化为01序列或类型出现顺序的随机性问题。,2.3.1游程的概念,一个可以属性总体，如按性别区分的人群，按产品是否有毛病区分的总体等等，随机从中拍取一个样本，样本也可以分为两类；类型L和类型E。若凡属类型L的给以符号A，类型E的给以符号B，则当样本按某种顺序排列(如按抽取时间先后排列)时，一个或者一个以上相同符号连续出现的段，就被称作游程，也就是说，游程是在一个两种类型的符号的有序排列中，相同符号连续出现的段。,例如，将某售票处排队等候购票的人按性别区分，男以A表示，女以B表示。按到来的时间先后观察序列为：AABABB。在这个序列中，AA为一个游程，连续出现两个A；B是一个游程，领先它的是符号A，跟随它的也是符号A；显然，A也是一个游程，BB也是一个游程。于是，在这个序列中，A的游程有2个，B的游程也有2个，序列共有4个游程。每一个游程所包含的符号的个数,称为游程的长度。如上面的序列中，有一个长度为2的A游程、一个长度为2的B游程，长度为1的A游程、B游程也各有1个。,若序列随机，则游程的个数不能太多，也不能太少。游程长度也不应太长或太短。若游程个数过多，表示序列具有过度混合的倾向；若游程个数过少，表示序列具有成群聚集的倾向。这就是根据游程个数的游程检验出发点。,2.3.2游程检验,1.假设：随机抽取的一个样本，其观察值按某种顺序排列，如果研究所关心的问题是：被有序排列的两种类型符号是否随机排列，则可以建立双侧备择假设组为H0：序列是随机的H1：序列不是随机的如果关心的是序列是否具有某种倾向，则应建立单侧备择，假设组为H0：序列是随机的H1:序列具有混合的倾向H0：序列是随机的H1:序列具有成群的倾向,为了对假没作出判定，被收集的样本数据仅需定类尺度测量，但要求进行有意义的排序，按一定次序排列的样本观察值能够被变换为两种类型的符号。如某售票处按到来的先后顺序排队购票的人，按性别分别记作A、B两种类型的符号，可以得到一个序列：AABABB。第一种类型的符号数目记作m，第二种记作n，N=m+n。,2、检验统计量,在H0为真的情况下，两种类型符号出现的可能性相等，其在序列中是交互的。相对于一定的n1和n0，序列游程的总数应在一个范围内。若游程的总数过少，表明某一游程的长度过长，意味着有较多的同一符号相连，序列存在成群的倾向；若游程总数过多，表明游程长度很短，意味着两个符号频繁交替，序列具有混合的倾向。因此，无论游程的总数过多或过少，都表明序列不是随机的。,根据两种类型符号的变化。选择的检验统计量为U游程的总数目游程U分布的证明是比较麻烦的。先在m+n个抽屉里随机选择m个，有种方法。如果游程数为奇数R=2k1，这意味着：1、必定有k+1个由“1”构成的游程和k个由“0”构成的游程；2、或必定有k+1个由“0”构成的游程和k个“1”构成的游程。,这就必须在n1-1个位置中插入k个“隔离元”，使有“1”有k+1个游程，可以有种，同样可以在n0-1个“0”的n0-1个空位上插入K-1个“隔离元”，有种。共有有利基本事件数。所以,如果游程数为偶数U=2K，这意味着“0”和“1”各有k个游程，则,在零假设下，序列服从二项分布。当n足够大，则Z为负值时，右尾一般要“0.5”。,3.确定P值若p相对于给定的显著性水平小，则数据不支持H0；若足够大，则不拒绝H0。下表是判定的指导表。,应用之一：检验两个总体的位置参数是否相同,设X和Y分别具有相应的分布函数，检验两者是否相同。实例：在我国的工业和商业企业中随机抽取22家企业进行资产负债率行业差异分析，其1999年底的资产负债率（）如下：两个行业的负债水平是否有显著性差异。,2.3.3游程检验应用,排序寻找游程,11111，2，1111，222，111，222222共有6各游程。如果原假设成立，则两个行业的负债水平的分布使相同的，将其混合后，应能较为充分、均匀地混合，游程数R应该比较大，反之当游程数R较小，则说明两个总体的分布可能不同。,应用之二：检验单样本的随机性从生产线上抽取产品检验，是否应采用频繁抽取小样本的方法。在一个刚刚建成的制造厂内，质检员需要设计一种抽样方法，以保证质量检验的可靠性。生产线上抽取的产品可以分成两类，有瑕疵，无瑕疵。检验费用与受检产品数量有关。一般情况下，有毛病的产品如果是成群出现的，则要频繁抽取小样本，进行检验。如果有毛病的产品是随机产生的，则每天以间隔较长地抽取一个大样本。现随机抽了30件产品，按生产线抽取的顺序排列：,0000111111111111110001111111检验瑕疵的产品是随机出现的吗？有瑕疵的产品是随机出现有瑕疵的产品是成群出现,应用之三：检验周期发生时间,游程周期检验一般应用于较长时间的时序数列检验。依据游程的个数和长度,经检验有无周期性或周期性发生在哪个时间段内,2.4检验(chi-squareGoodness-of-FitTest),检验属于拟合优度检验，主要用来检验某个随机变量是否服从某种特定的分布，也可以检验总体的某个已知比例或某种已知比例的假定是否成立。,2.4.1基本思路与检验步骤,假设是来自正态总体X的样本，其分布函数为。在实轴上取m个点：，把实轴分成m1段：，表示中落在第i段内的个数（i1，2，m1）。如果假设成立，则根据假设的总体分布函数F(x)可以计算出X取值落在第i段内的概率,如果原假设成立，则频率应与很接近，应该比较小。所以V也应该比较小才合理。,我们取V作检验统计量。可以证明，若n充分大（n50），则不论总体属于什么分布，检验量总是渐进地服从自由度为kr1的分布。其中r为被估计的参数个数，k为划分的组数。由选定临界值。,检验步骤,（1）提出原假设（2）计算检验统计量（3）作出决策（确定拒绝域）当时，不能拒绝；当时，拒绝。,注意，不管事先给出的F(x)是怎样的分布函数，拟合适度检验法都可以检验一个总体是否以它为分布函数，应用十分广泛。但是，这种方法是在n无限大时推倒出来的，故应用时必须考虑n足够大，各组的应较小。一般要求n不小于50，各组数不小于5（如果小于5时，可以合并一些组，尤其在两端的组更应如此）。,2.4.2应用,例1根据下列资料判断饭店顾客用电话是否服从泊松分布（=0.05）。,解：(1)提出假设,（2）计算检验统计量,（3）作出决策查表得拒绝，可以认为顾客用电话并不服从泊松分布。,例2某电子元件的使用寿命平日服从正态分布。9月份抽取了100只进行检测，得到如下数据资料：,试作正态分布拟合优度检验（=0.05）,解：(1)提出假设,（2）计算检验统计量我们用样本的均值和标准差作为理论参数的估计值。,（3）作出决策查表得不能拒绝，可以认为电子元件的使用寿命服从正态分布。,例3某信用社要求呆账率不超过5%，一季度贷款总数120笔，呆账有10笔，试问在5%的显著性水平上可否认为该信用社的呆账率为5%？,解：(1)提出假设,（3）作出决策查表得由于所以不能拒绝，可以认为该信用社一季度的呆账率为5%。,（2）计算检验统计量,2.4.3练习,1.根据以往的经验，某美容院顾客人数服从均匀分布。该院在一周内顾客人数统计资料如下：试问顾客人数是否服从均匀分布？（=0.05）,2.为测定某种零件的折断力，随机抽取了120件作调查，整理得资料如右表。试检验此种零件的折断力是否服从正态分布？（=0.05）,2.5Kolmogorov-Smirnov检验,Kolmogorov-Smirnov检验是由俄罗斯数学家科尔莫洛夫和斯米尔诺夫提出来的，简称K-S检验。这种检验法也是一种拟合优度检验，用来检验所获取的样本数据是否来自具有某一理论分布的总体。小样本情形下，可以用KS检验代替检验，因为检验在小样本情形下也是精确的。,2.5.1基本思想与检验步骤,K-S检验法的基本思想是利用某随机变量X的顺序样本来构造样本的分布函数，使得能以一定的概率保证X的分布函数F(x)落在某个范围内。设是从具有分布函数F(x)的总体中抽取的一个随机样本。将它由小到大排列成一顺序样本，其经验分布函数被定义为下列阶梯函数：,也可以利用实际观测的分组资料计算各组