K-S分布检验和拟合优度χ2检验ppt课件

,第八章分布检验和拟合优度2检验,1,第八章分布检验和拟合优度2检验,Kolmogorov-Smirnov单样本检验及一些正态性检验,1,2,3,5,Kolmogorov-Smirnov两样本分布检验,Pearson2拟合优度检验,2,第一节KS单样本分布检验,一、适用范围Kolmogorov-Smirnov检验常译为柯尔莫哥洛夫-斯米尔诺夫检验，简写为K-S检验，亦称D检验法，也是一种拟合优度检验法。K-S单样本检验主要用来检验一组样本数据的实际分布是否与某一指定的理论分布相符合。二、基本原理和方法1、基本原理：这种检验主要是将理论分布下的累计频数分布与观察到的累计频数分布相比较，找出它们间最大的差异点，并参照抽样分布，定出这样大的差异是否处于偶然。,3,2、方法,用Fn(x)表示样本量为n的随机样本观察值的累计分布函数，且Fn(x)=i/n（i是等于或小于x的所有观察结果的数目，i=1，2，n）。F(x)表示理论分布的累计概率分布函数。K-S单样本检验通过样本的累计分布函数Fn(x)和理论分布函数F(x)的比较来做拟合优度检验。检验统计量是F(x)与Fn(x)间的最大偏差Dn：若对每一个x值来说，Fn(x)与F(x)都十分接近，则表明实际样本的分布函数与理论分布函数的拟合程度很高。,4,三、检验步骤,1.建立假设组：H0：Fn(x)=F(x)H1：Fn(x)F(x)2.计算样本累计频率与理论分布累计概率的绝对差，令最大的绝对差为Dn；3.用样本容量n和显著水平a在附表11中查出临界值Dna；4.通过Dn与Dna的比较做出判断，若DnDna，则认为拟合是满意的。,5,四、实例,例8.1：正态拟合。某织布厂工人执行的生产定额（织机每小时生产织物的米物）情况如表8-1，试检验这些样本数据能否作正态拟合？表8-1工人执行生产定额情况分组表,6,例8.1正态拟合,解：首先，由于做正态拟合的均值、标准差未知，因此，先计算样本均值和标准差，再做正态拟合。通过对样本资料的计算得：=4.85；s=0.352,分别作为和的估计值，建立假设：H0：样本数据服从均值为4.85，标准差为0.352的正态分布H1：样本数据不服从均值为4.85，标准差为0.352的正态分布计算资料列如表8-2：,7,表8-2,表8-2正态拟合计算表,8,例8.1,根据表8-2中第(5)列数据，取最大绝对差数1ooo=0.025作为检验统计量。若取a=0.05，n=1000，从临界值表中查(检验表K-S)得：。因为1ooo0.043，故认为样本数据所提供的信息无法拒绝H0，即接受H0，认为可做正态分布的拟合。检验法是一种精确分布的方法，不受观察次数多少的限制。这个方法可应用于分组或不分组的情形。检验量Dn也可用于检验随机样本是否抽自某特定的总体的问题。,9,第二节K-S双样本分布检验,一、适用范围K-S双样本检验主要用来检验两个独立样本是否来自同一总体（或两样本的总体分布是否相同）。其单尾检验主要用来检验某一样本的总体值是否随机地大于（或小于）另一样本的总体值。二、理论依据和方法1、理论依据：与K-S单样本检验相似，K-S双样本检验是通过两个样本的累计频数分布是否相当接近来判断Ho是否为真。如果两个样本间的累计概率分布的离差很大，这就意味着两样本来自不同的总体，就应拒绝Ho。,10,2、方法,如果令S1（x）表示第一个样本观察值的累计概率分布函数，S2（x）表示另一个样本观察值的累计概率分布函数，那么K-S双样本的单尾检验统计量为：K-S双样本的双尾检验统计量为：,11,三、检验步骤,1、双尾检验假设：H0：S1(x)=S2(x)H1：S1(x)S2(x)单尾检验假设：H0：S1(x)=S2(x)或H0：S1(x)=S2(x)H1：S1(x)S2(x)H1：S1(x)(自由度为k-1的卡方分布的1-a分位数），则拒绝H0，p-值近似等于p(X2(c-1)Q)，这个概率可由附表10获得。,第三节卡方(2)拟合优度检验,23,三、2检验的具体步骤,1.数据分组.根据样本观测值的范围划分为组；2.求落在各组的频数i和频率Yi/n。3.求理论概率i。当0成立时,出现在(bi-1,bi)内的概率i4.计算检验统计量2。5.求出拒绝域.根据给定的显著性水平和自由度k-r-1查2分布表（附表10），可得临界值C，统计量2的拒绝域为2C。6.作出判断.若2C则拒绝0，否则接受0。,24,实例单样本拟合检验,一、检验某固定比率的假设例8.4：据标准规定，某批工业产品中不良品的比例为10%，则可检验如下假设：0：P=0.1；1：P0.1。为此，我们在产品批中抽出100个作为样本，发现不合格品数（Y1）为16，则合格品数Y2=100-16=84。当0成立时，不合格品的期望数应为nP1=10个，相应地，合格品的期望数n（1-P1）=90。则：k=，自由度为k-1=1，显著水平a0.05，查表10得临界值为3.841。由于n2a2，所以拒绝o假设。,25,二、检验某固定比率的假设,例8.5：检验随机变量在(,)区间是否为均匀分布。假设如下：0：在（0,1）区间为均匀分布（假设分10类，pi=1/10）；1：在（0,1）区间不是均匀分布(pip1/10)；从未知总体中抽取50个样本。为了检验，我们可以将（0,1）区间分为10等份，即00.1，0.10.2，0.91.0。如果o为真，那么任何观察值落入类i的概率为1/10，任何小区间的期望观测数为(1/10)50=5。,实例单样本拟合检验,26,例8.5,实际50个样本落入类i的观察如下：区间0-0.10.1-0.20.2-0.30.3-0.40.4-0.50.5-0.6观测数645674区间0.6-0.70.7-0.80.8-0.90.9-1.0观测数6534检验统计量查2分布表，自由度为，显著水平a=0.05时，查得a2=16.92，因2=2.80a2，所以接受o假设，即观察值取自均匀分布。,27,三、检验多面体无偏性的假设,例8.6：以六面体的骰子为例。如果将一颗骰子抛掷120次，其结果如表8-4所示：表8-4根据题意，检验假设如下：o：这颗骰子是无偏的(pi=1/6)；1：这颗骰子是有偏的(pi1/6)；如果零假设为真，各点出现的期望次数nP1=1/6120=20,实例单样本拟合检验,28,三、检验多面体无偏性的假设,例8.6：检验统计量为：查2分布表，自由度k-1=6-1=5，取a=0.05，查得a2=11.07因20.052，故应拒绝o假设，认为这颗骰子是有偏的。,29,实例总体分布拟合检验,一、正态分布拟合例8.7：一家钟表厂把检验钟表的精确度作为质量控制的一部分。该厂将700只手表效准后使之走24小时，然后记下每只表走快或走慢的秒数(数据见表5-3)。这些数据是否提供了充分的证据，说明观察值并非来自正态总体。解：假设：0:样本数据来自正态总体分布；1:样本数据并非来自正态总体分布。表8-3中，K=11，实际观察频数Oi已知，预期频数Ei则尚需确定。,30,表53700只手表时间误差的频数分布,31,一、正态分布拟合,1.预期频数Ei的计算根据概率分布原理，我们可以通过求正态分布曲线下的面积来确定理论预期频数。为了计算正态分布曲线下的面积，利用公式Zo=(Xo-u)/将Xo标准化，求标准正态表上相应的面积（即频率）。因为零假设中并没指定总体分布的均值(u)和标准差()。所以只有将样本均值=54.71和标准差S=27.61分别作为u和的估计值。如在区间10-19.99内的预期频数，可按如下步骤计算：,32,1.预期频数Ei的计算(1)分别对x=10和x=20标准化：Z=(10-54.71)/27.61=-1.62和Z=(20-54.71)/27.61=-1.26。其余类推。(2)查标准正态分布表，介于0和-1.62之间的面积（概率）为0.4474，介于0和-1.26之间的面积为0.3962，所以介于-1.62和-1.26之间的面积等于0.4474-0.3962=0.0512。其余类推。(3)于是落在10与20之间的预期频数为0.0512700=35.84。其余类推。,一、正态分布拟合,33,2.约束条件r的确定预期频数之和必等于700，即等于样本容量，这就构成一个约束；又由于我们必须通过样本来估计u和，所以对数据还须增加两个约束。于是=3，自由度k-=11-3=8。注意：如果u和在零假设中已被指定，那就不必再用样本数据来估计，这时=1。检验统计量X2=(Oi-i)2/i=20.3558，2的临界值为15.507。由于2的计算值大于临界值，所以否定零假设，样本数据并非来自正态分布。,一、正态分布拟合,34,小预期频数,在应用卡方检验时，有可能遇到预期频数很小的情形，这时将随机分布取作卡方的近似分布并不完全正确。对于什么样的预期频数才算小预期频数，学者们的意见并不一致。较保守的学者一般要求预期频数至少应大于等于5。而科库兰ochran(1952，1954)主张预期频数小于1的就算小预期频数，很多学者同意这种意见。本教材也采用了这一观点。对小预期频数的处理一般采用的科克兰的法则。如将相邻类目的频数合并（前提是不破坏其分类意义），以达到所要求的最小频数。合并后的类数应相应地减小。,35,二、二项分布拟合,例8.8:一个市场分析员想研究食品店的顾客对待信用卡付款方式的态度。研究员从100家超级市场各抽选了25名经常性顾客作为随机样本，并对其中每一个进行访问以确定此人是否喜欢除信用卡付款方式以外的别的某种付款方式。调查结果列于表8-5：解：这个分析员应先提出如下假设：0：在这些容量为25的样本中，喜欢另外某种付款方式的顾客数服从二项分布；1：不服从二项分布。（取a=0.05）,36,表5-5例5.5中的抽样结果,二、二项分布拟合,37,首先求得P的估计值如下：P=4(0)+5(1)+8(2)+6(9)/2500=0.20。由于二项分布的参数P没有指定，必须通过样本数据对它作出估计，因此要损失一个自由度。1.预期频数i通过计算函数f(x)=C25x(0.2)x(0.8)25-x(其中x为某一特定商店中喜欢另外某种付款方式的顾客数,x=0，1，2，25)或查的二项分布表，可以得到所需的相对预期频数。,二、二项分布拟合,38,2.自由度的确定合并后的类目数10，但由于预期频数之和必须与观察频数之和一致，这个自由度应减去，又由于必须通过样本数据来估计，自由度再减。于是真正的自由度应为10-2=8。检验统计量=28.1显著性水平a=0.05和自由度8相对应的2的临界值为15.507。因为2的计算值大于的临界值，所以否定零假设，从而得出这些数据并非来自二项分布总体的结论（P0.05）。,二、二项分布拟合,39,三、泊松分布拟合,例8.9:旅馆管理人员对90天内房间预定和注销的格局进行了研究，其观察结果如表5-7。他想了解“每日注销的房间数是否服从泊松分布”？(取a=0.05)解：由于泊松分布的参数并未给出，我们只有利用表中数据对它进行估计：=0(9)+1(17)+8(2)/90=2.6泊松分布的函数表达式为(x=0,1,2,),40,表5-7该旅游区旅馆注销的房间数,三、泊松分布拟合,41,利用表8-8的数据可算出：X2=(Oi-i)2/i=6.674本例中,自由度为6，因为经过小预期频数修正后的类目数为8，约束数为2：预期频数之和等于观察频数之和，样本数据来估计。查2表，在显著水平a=0.05下，我们不能否定“数据来自泊松分布”这一零假设P0.10。,三、泊松分布拟合,42,五、KS检验与X拟合检验的比较,K-S检验与X检验均属拟合优度检验，但X拟合检验常用于对定类尺度测量的数据，而K