北邮考研概率论与数理统计7.1点估计(1)

1、第七章参数估计,7.1点估计7.3估计量的评价标准7.4区间估计7.5正态总体均值与方差区间估计7.6（0-1）分布参数区间7.7单侧置信区间,参数估计,作出推断,统计就是利用统计量对总体进行统计推断，而此项工作取决于其抽样分布的性质.,现在我们来介绍一类重要的统计推断问题,参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.,估计废品率,估计新生儿的体重,估计湖中鱼数,估计降雨量,参数估计,点估计,区间估计,假如我们要估计某队男生的平均身高.,（假定身高服从正态分布）,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值的估计.而全部信息

2、就由这5个数组成.,设这5个数是:,1.651.671.681.781.69,估计为1.68，,这是点估计.,这是区间估计.,使用什么样的统计量去估计？,可以用样本均值;,也可以用样本中位数;,还可以用别的统计量.,问题是:,我们知道,服从正态分布,由大数定律,自然想到把样本体重的平均值作为总体平均体重的一个估计.,类似地，用样本体重的方差.,用样本体重的均值,样本体重的平均值,设x1,x2,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：,其一是如何给出估计，即

3、估计的方法问题；其二是如何对不同的估计进行评价，即估计的好坏判断标准。,思考：多个参数如何估计？,7.1点估计的几种方法,7.1.1替换原理和矩法估计,一、矩法估计替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即；用样本方差估计总体方差Var(X)，即用样本的p分位数估计总体的p分位数，用样本中位数估计总体中位数。,矩估计法,其基本思想是用样本矩估计总体矩.,理论依据:,大数定律或格列汶科定理,它是基于一种简单的“替换”思想建立起来的一种估计方法.,是英国统计学家K.皮尔逊最早提出的.,矩法估计：用样本k阶矩作为总体k阶矩的估计量,建立含有待估参

4、数的方程,从而解出待估参数,设待估计的参数为,设总体的r阶矩存在，记为,样本X1,X2,Xn的r阶矩为,含未知参数1,2,k的方程组。,未知参数1,k的矩估计量,例1对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9经计算有由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。,解,用样本K阶矩替换总体K阶矩，得到矩估

5、计量分别为,例2,一般不论总体服从什么分布,总体期望与方差2存在,则它们的矩估计量为,例3设总体XE(),X1,X2,Xn为总体的样本,求的矩法估计量.,解,故,思考：矩估计是唯一的吗？其优缺点？,用样本1阶矩替换总体1阶矩,解得,用样本1阶矩替换总体1阶矩,例5设总体XU(a,b),a,b未知,求参数a,b的矩法估计量。,解,由于,即,7-15,极大似然估计法,是在总体类型已知条件下使用的一种参数估计方法.,它首先是由德国数学家高斯在1821年提出的,Gauss,Fisher,然而，这个方法常归功于英国统计学家费歇.,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.,7.

6、1.2极(最)大似然估计,极大似然法的基本思想,一只野兔从前方窜过.,是谁打中的呢？,某位同学与一位猎人一起外出打猎.,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下.,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.,这个例子所作的推断已经体现了极大似然法的基本思想.,定义设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,xn)表示，简记为L()，称为样本的似然函数。,如果某统计量满足则称是的极(最)大似然估计，简记为MLE（MaximumLikeliho

7、odEstimate）。,人们通常更习惯于由对数似然函数lnL()出发寻找的极大似然估计。当L()是可微函数时，求导是求极大似然估计最常用的方法，对lnL()求导更加简单些。,思考：多个参数时极大似然估计如何做？,答：此时似然函数为,使似然函数取得最大值,为似然方程组。,解,似然函数,例6,这一估计量与矩估计量是相同的。,例7：设一个试验有三种可能结果，其发生的概率分别为,现做了n次试验，观察到三种结果发生的次数为,解：,由题意得似然函数为,，求最大似然估计值,将之关于求导并令其为0得到似然方程,解得：,由于,所以是极大似然点,例8设总体XN(,2),x1,x2,xn是X的样本值,求,2的极大

8、似然估计。,解,7-26,2的极大似然估计量分别为,7-27,思考,1)待估参数的极大似然估计是否一定存在?,2)若存在,是否惟一?,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。例如下例。,令,例9（续）.设X服从0,区间上的均匀分布,参数0,求的最大似然估计.,解:由题意得:,无解.,基本方法失效.,考虑L的取值,要使L取值最大,应最小,取,此时,L取值最大,所以,所求最大似然估计为,应用最大似然估计基本思想:L越大,样本观察值越可能出现.,极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的

9、不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。,概率的MLE是；,总体0.90分位数x0.90=+u0.90的MLE是，其中u0.90为标准正态分布的0.90分位数。,标准差的MLE是；,例10设x1,x2,xn是来自正态总体N(,2)的样本，则和2的极大似然估计为，于是由不变性可得如下参数的极大似然估计，它们是:,附录,1、思考：多个参数如何估计？2、常用的点估计方法-频率替换法。3、思考：矩估计是唯一的吗？其优缺点？4、极大似然估计思想的举例。5、思考:6、应用：用极大似然法估计湖中的鱼数。,1)待估参数的极大似然估计是否一定存在?,2)若存在,是否惟一?,点估计的思想方

10、法,设总体X的分布函数的形式已知,但含有一个或多个未知参数：1,2,k,设X1,X2,Xn为总体的一个样本。,构造k个统计量：,随机变量,1、思考：多个参数如何估计？,当测得样本值(x1,x2,xn)时,代入上述方程组，即可得到k个数：,数值,建立k个方程：,2、常用的点估计方法,频率替换法,利用事件A在n次试验中发生的频率,作为事件A发生的概率p的估计量。,7-7,解由,查表得,7-8,于是的估计值为,另外，用矩法估计事件发生的概率p。可得,即可用事件发生的频率来估计概率。,例设总体服从指数分布，由于EX=1/，即=1/EX，故的矩法估计为另外，由于Var(X)=1/2，其反函数为因此，从替

11、换原理来看，的矩法估计也可取为s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,3、思考：矩估计是唯一的吗？其优缺点？,矩估计的优点：直接、简便,缺点：未充分利用分布信息,例设XB(1,p),p未知.设想我们事先知道p只有两种可能:,问:应如何估计p?,p=0.7或p=0.3,如今重复试验3次,得结果:0,0,0,由概率论的知识,3次试验中出现“1”的次数,k=0,1,2,3,4、极大似然估计思想的举例。,将计算结果列表如下：,应如何估计p?,p=0.7或p=0.3,k=0,1,2,3,p值P(Y=0)P(Y=1)P(Y=2)P

12、(Y=3)0.70.0270.1890.4410.3430.30.3430.4410.1890.027,出现,估计,出现,出现,出现,估计,估计,估计,0.343,0.441,0.441,0.343,如果有p1,p2,pm可供选择,又如何合理地选p呢?,从中选取使Qi最大的pi作为p的估计.,i=1,2,m,则估计参数p为,若重复进行试验n次,结果“1”出现k次(0kn),如果只知道0p1,并且实测记录是Y=k(0kn),又应如何估计p呢?,注意到,是p的函数,可用求导的方法找到使f(p)达到极大值的p.,但因f(p)与lnf(p)达到极大值的自变量相同,故问题可转化为求lnf(p)的极大值点.,=f(p),将lnf(p)对p求导并令其为0,这时,对一切0p0,令,求导并令其为0,=0,从中解得,即为的MLE.,对数似然函数为,设XU(a,a+),x1,x2,xn是X的一个样本,求a的极大似然估计值。,解,由上例可知,当,时,L取最大值1,即,显然,a的极大似然估计值可能不存在，也可能不惟一。,5、思考,不仅如此,任何一个统计量,若满足,都可以作为a的估计量。,7-34,思考题：为了估计湖中的鱼数N，第一次捕上r条鱼，做上记号后放回.隔一段时间后,再捕出S条鱼,结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的