高等数理统计 假设检验（课堂PPT）

第三章假设检验,学习目的和要求学习重点学习难点教学方法授课时数基本内容,1,学习目的和要求,目的和要求：假设检验的基本概念，理解Neyman-Pearson基本思想。在此基础上，掌握一致最优势检验、一致最优势无偏检验的数学方法、掌握多参数指数型分布族的假设检验、似然比检验、U统计量检验和秩检验。,2,学习重点,1、Neyman-Pearson基本思想2、几种类型的假设检验的基本思想。,3,学习难点,秩检验,4,教学方法,讨论,讲授,5,授课时数,8学时,6,基本内容,第一节基本概念第二节Neyman-Peason引理第三节一致最优势检验第四节一致最优势无偏检验第五节多参数指数型分布族的假设检验第六节似然比检验、U统计量检验、秩检验,7,什么是假设检验?,8,在很久以前的一次有各方人士参加的社交聚会中,一位女士为活跃气氛,声称她能区分在熬好的咖啡中，是先加奶还是先放糖。众人不信，于是有爱凑热闹的人弄来8杯加了奶，放了糖的咖啡请该女士鉴别，结果该女士判断正确7杯，错误1杯。,9,于是很多人都承认该女士的鉴别能力，但是也有一些人却固执地认为该女士既然有鉴别能力，应该都说对，不应该猜错1杯，7对1错的结果完全是瞎蒙出来的。两派人争执不下，正好也出席联欢会的一位统计学者，他认为该问题很有意思，思索良久，写出了推理思路。,10,11,12,假设检验相关概念,定义1、设（，F，P）为一统计结构，则P的非空子集称为假设，在参数分布族中时,的非空子集称为假设。,13,定义2、在一个假设检验问题中常涉及两个假设。所要检验的问题称为原假设。与原假设不相容的假设称为备择假设。,在参数分布族中,原假设和备择假设分别为：,14,定义3、在检验问题中，所谓检验法则（或称检验法、或检验）就是设法把样本空间划分成不相交的两个可测集。,W称为检验的拒绝域,15,定义4、,16,17,18,19,20,在参数统计结构中,21,定义5称样本值落在拒绝域的概率为检验的势函数，记为,22,在时，是检验犯第一类错误的概率。在时，是检验犯第二类错误的概率。,23,定义6检验的水平,24,Neyman-Pearson假设检验理论的基本思想，就是使得犯第一类错误的概率在某一个范围内，然后寻找使犯第二类错误的概率尽可能小的检验。,25,定义7检验函数,其势函数为,26,定义8设是定义在P上的可测函数，满足条件，则称为随机化检验函数。,其势函数为,27,第二节Neyman-Pearson基本引理,定义（MPT）：在检验问题中，设是水平为的检验，如果对任意一个水平为的检验，都有,则称检验是水平为的最优势检验，记为MPT(mostpowerfultest),28,定理（N-P基本引理）,设和是可测空间上两个不同的概率测度，关于某个有限的测度，有,设原假设和备择假设分别为:,29,（1）对给定的水平存在一个检验函数及常数k,使得,则,30,（2）满足该条件的检验函数是水平为的MPT，反之，如果是水平为的MPT，则一定存在常数k,使得满足上式.,31,注1,满足该定理条件的检验函数通常称为似然比检验函数（或称为概率比检验函数）。如,定义似然检验比函数,32,注2,在似然比函数具有连续分布函数时，MPT检验函数可以取为非随机化的形式,其中k由确定,33,若似然比函数为离散型随机变量时，可在集合实施随机化。MPT函数可取为,34,例题,设样本是来自正态总体，考虑如下的假设：,在水平为时，构造似然比统计量,35,则MPT的拒绝域具有形式,36,令,即可,37,此题中若呢?,38,例题,设样本来自Poisson分布族,在水平为时，构造似然比统计量,39,取统计量,40,由N-P基本引理，检验函数为,41,关于简单假设对简单假设的检验问题，N-P基本引理给出了令人满意的解决方案。在实际问题中，往往出现的是复合假设的情况。,42,定义（UMPT）：在检验问题中，设是水平为的检验，如果对任意一个水平为的检验，都有,则称检验是水平为的一致最优势检验，记为UMPT(uniformlymostpowerfultest),一致最优势检验问题(UMPT),43,在某些情况下,UMPT可以直接从N-P引理推出,性质1设是检验,是的子集,如果是的UMPT,则是的UMPT。,44,性质2设是检验，则是的UMPT的充要条件是，对每一个，是的MPT。,45,性质3设是检验，假设对某个的和对某一个，都是的MPT，则也是的UMPT。,46,如果简单原假设对简单备择假设的检验问题的MPT不依赖于备择假设的具体数值，则可适当扩大备择假设；而当势函数是单调函数时，也可适当扩大原假设。反之，对于复合假设检验问题，MPT的依赖于备择假设中的,则UMPT不一定存在。,47,对下面几种检验问题进行讨论:,类型III,IV一般无UMPT,所以不讨论。类型I，II类似，V过于复杂，且不实用,所以只讨论类型I即可。,48,定义：设是含有实参数的概率密度族，其中是实直线上的一个区间。如果存在实值统计量T(X)，使得对任意，都有（1）概率分布与是不同的；（2）似然比是T(x)的单调函数，则称概率密度族关于T(x)具有单调似然比MLR(montonelikelihoodratio)。,49,如单数指数型分布族,若Q函数是单调函数，则,是T(x)的单调函数,50,定理：设单参数概率密度族关于实值统计量T(x)具有非降MLR，则对于单边假设检验问题（I），存在水平为a的UMPT检验函数,r由下式确定,51,同学们请参考例3.5（P189),52,所以在很多情况下，对于一个复合假设的检验问题，UMPT不存在所以必须找出构造检验法（不管是简单假设还是复合假设）的一般方法人们提出了似然比检验方法,53,似然比检验,设X=(X1,X2,Xn)的分布密度函数是p(x;),对于简单假设：,检验问题的似然比为：,54,对于复合假设：,我们可定义,这里，0和1分别是H0和H1成立时，的MLE。,55,P(x;1)是备择假设成立时,观察到样本点x的可能性的一个度量;P(x;0)是原假设成立时,观察到样本点x的可能性的一个度量.在(x)比较大时,备择假设成立观察到样本点x的可能性比较大,因此可拒绝原假设.,故检验的拒绝域可设为:,56,请同学们参考例题3.14(P220),57,一般来说,为了更好地确定c的值,要对似然比检验函数的分布形式进行研究,但似然函数一般没有确定的分布形式和分布规则.,1938年,统计学家Wilks研究了似然比统计量的极限分布,并得到了一个重要的定理。,58,定理3.18(P222),其中，是参数的MLE。,原假设成立时,59,例题3.16(P225),60,例题,样本且全部样本独立.要检验假设,61,记,则,62,所以大样本似然比检验有否定域,63,非参数统计结构的假设检验问题,前述各种检验方法基本上适用于参数统计结构，这些方法往往要求总体分布族的密度函数的数学形式已知，且只含有限个未知参数，但有些时候，人们难于由经验或某种理论得到总体的参数统计结构，而只能得到非参数统计结构。因此有必要寻求非参数统计结构的检验方法。,64,游程检验,检验随机性的一个重要方法。,65,Bernoulli实验：掷一个硬币，以概率p得正面（记为1)，以概率1-p得反而（记为0)。得到下面的结果:00000001111110000111100,称连在一起的0或者1为游程（run），则上面这组数中有3个0游程，2个1游程，总共有5个游程(R=5)。0的总个数m=13,1的总个数为n=10。记总的实验次数为N,N=m+n。,66,由常识得知，如果这个实验是随机的，则不大可能出出太多的1或0的游程。,67,原假设成立时，算出或的值，也就可以做检验了,在m或n不大时，可直接计算得出。,68,而当样本很大时，即时，在零假设下,可以借助于正态分布表得到p值和检验结果，在给定水平a后，可以用下面的近似公式来得到临界值,69,在实际问题中，不一定都碰到只有0或1所代表的二元数据，但是可以把它转换成二元数据来分析。,例：在工厂的质量管理中，生产出来的20个元件的某一尺寸按顺序为:12.27,9.92,10.81,11.79,11.87,10.90,11.2210.80,10.33,9.30,9.81,8.85,9.32,8.67,9.329.53,9.58,8.94,7.89,10.77(cm),我们想知道生产出来的尺寸变化是否只是由于随机因素，还是有其它非随机因素。,70,先找出中位数9.695,把大于中位数的记为1,小于中位数的记为0,于是得到一串1和011111111100000000001此时R=3m=n=10P(R=3)=P(R=2)+P(R=3)=0.00011在给定a水平较小的情况下，如果原假设成立，则R=3的概率很小。,71,所以原假设不成立，可以说，在生产过程中有非随机性因素在起作用。,把所有数目转换成0或者1失去了一些信息，但是此方法对于检验随机性来说是一个简单易行的方法。,72,符号检验法,在有了一个样本之后,要知道它所代表的总体的”中心”在哪里。例如，在对人们的收入进行了抽样之后，就自然要涉及“人均收入”和“中间收入”等概念。这就是统计中的对总体的均值、中位数和众数等位置参数的推断。,73,假定用总体中位数M来表示中间位置，这意味着样本点取大于M的值的概率与小于M的概率应该相等。如果排除样本点等于M的情况，该概率应就0.5。X为连续型变量时，样本点等于M的概率为零；X若为离散型，一些样本点可能等于M，则在符号检验时，去掉这些点，同时相应减少n的值。这样M的确是有关总体的中位数（零假设），每一个样本点都以0.5的概率小于M,也以0.5的概率大于M。,74,大于M的样本点个数S+与小于S-都服从二项分布B(n,0.5)，S+和S-都可以做检验统计量。取零假设，则S+和S-分别是这个差值大于零（正号）和小于零（负号）的个数，所以此检验称