概率与数理统计-7-1

第七章 参 数 估 计,7.1 点估计和矩估计7.2 最大似然估计,总体,样本,统计量,描述,作出推断,随机抽样,统计推断的基本问题分为两大类:估计问题和检验问题.参数估计该怎么具体做呢? 做些什么?,这类问题称为参数估计.,参数估计问题的一般提法,X1,X2,Xn,点估计,区间估计,（假定身高服从正态分布 ）,设这5个数是:,1.65 1.67 1.68 1.78 1.69,估计 为1.68，,这是点估计.,这是区间估计.,假如我们要估计某队男生的平均身高.,现从该总体选取容量为5的样本，我们的任务是要根据选出的样本（5个数）求出总体均值 的估计. 而全部信息就由这5个数组成 .,点估计问题的一般提法,7.1 点估计,寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,随机抽查n个婴儿 ,得n个体重数据,10,7,6,6.5,5,5.2, ,而全部信息就由这n个数组成 .,1. 矩估计法,由大数定律,自然想到把样本体重的平均值作为总体平均体重的一个估计.,记总体 X 的k阶矩为,样本k阶矩为,一. 矩估计法原理,由辛钦定理 ,当n较大时用样本k 阶原点矩近似总体k阶原点矩.即,是英国统计学家K.皮尔逊最早提出的 .,样本k阶中心矩为,记总体k阶中心矩为,其中 为连续函数 .,当n较大时用样本k 阶中心矩近似总体k阶中心矩.即,矩估计法: 1 ,用相应的样本矩去估计总体矩的估计方法2,以样本矩的函数作为相应的总体矩的同一函数的估计。,二 矩估计的一般步骤,设总体分布含有个k未知参数 1 ，k,(1) 根据未知参数的个数计算总体的各阶矩,(计算到k阶矩为止),从这k个方程中解出,i=1,2,k,（2）,用Ai代替上述方程组中的 ，,i=1,2,k,例1 设总体 X 在 a , b 上服从均匀分布 , a , b 未知 . 是来自 X 的样本 , 试求 a , b 的矩估计量 .,解,即,解得,于是 a , b 的矩估计量为,总体矩,样本矩,解:,由矩法,样本矩,总体矩,从中解得,例2 设总体X的概率密度为,是未知参数,其中,X1,X2,Xn是取自X的样本,求参数 的矩估计.,例3 设总体XP()，求的矩估计。,解,用2阶矩,用2阶中心矩,（1）我们介绍的矩估计是常用的方法，,去求得参数 的矩估计。,即是用原点矩,也可以利用中心矩 去求知参数的矩估计量,注：,(通常规定，在求矩法估计时，要尽量使用低阶矩),（2）若估计的是参数的函数,的矩估计量,解,解方程组得到矩估计量分别为,例4,一般地，不论总体服从什么分布，总体期望,与方差 存在，,则它们的矩估计量分别为,1 常用的分布中未知参数的矩估计，使用该结论是很方便的。,2 若总体X分布未知，可用该结论去估计E(X),D(X),注：,例5 设总体 ，参数n,p 未知，求n,p 的矩估计量,解：由于E(X)=n p，D(X)=n p(1-p),代入上式，得到,分别是 p， n的矩估计。,其中 0为未知参数,例6. 设总体X 的概率密度函数为,(2) 设1/2, 1, 1.5是三个样品的观测值 ,求参数 的矩估计值,(1) 设 , , 为来自总体的样本，求参数 的矩估计,解：（1）,解得,所以 的矩估计为,（2）,所以 的矩估计值为,矩法的优点是简单易行,并不需要事先知道总体是什么分布 .,缺点是，当总体类型已知时，没有充分利用分布提供的信息 .,一般场合下,矩估计量不具有唯一性 .其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性 .,7.2 极大似然法(MLE),先看一个简单例子：,一只野兔从前方窜过 .,是谁打中的呢？,某位同学与一位猎人一起外出打猎 .,如果要你推测，,你会如何想呢?,只听一声枪响，野兔应声倒下 .,下面我们再看一个例子,进一步体会极大似然法的基本思想 .,你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 .,这个例子所作的推断已经体现了极大似然法的基本思想 .,例 设XB(1,p), p未知.设想我们事先知道p只有两种可能:,问:应如何估计p?,p=0.7 或 p=0.3,如今重复试验3次,得结果: 0 , 0, 0,由概率论的知识, 3次试验中出现“1”的次数,k=0,1,2,3为样本的观察值,将计算结果列表如下：,p值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.343 0.441 0.189 0.027,出现,估计,出现,出现,出现,估计,估计,估计,0.343,0.441,0.441,0.343,综上得到参数p的估计量：,如果有p1,p2,pm可供选择, 又如何合理地选p呢?,从中选取使Qi 最大的pi 作为p的估计.,i=1,2,m,则估计参数p为,若重复进行试验n次,结果“1”出现k次（观察值)(0 k n),如果只知道0p1,并且实测记录是 Y=k (0 k n),又应如何估计p呢?,注意到,是p的函数,可用求导的方法找到使f (p)达到极大值的p .,但因f (p)与lnf (p)达到极大值的自变量相同,故问题可转化为求lnf (p)的极大值点 .,=f (p),将ln f (p)对p求导并令其为0,这时, 对一切0p0,求导并令其为0,=0,从中解得,例3 设(X1,X2,Xn)是来自正态总体XN(,2)的一个样本，,2未知，求,2的极大似然估计。解 设(x1,x2,xn)为样本(X1,X2,Xn)的一个观察值，则似然函数为,解得,所以,2的极大似然估计量分别为,例4 . 已知灯泡寿命 ，参数都未知，抽测10支灯泡， 测其寿命为（单位：小时）,1067，919，1196，785，1126，936，918，1156，920，948,求,的最大似然估计值,将所给样本值代入，可知,是 的最大似然估计值,是P(X1300)的最大似然估计值。,解：似然函数为,例5 设X1,X2,Xn是取自总体X的一个样本,其中 0,求 的极大似然估计.,i=1,2,n,对数似然函数为,i=1,2,n,=0 (2),=0 (1),对 分别求偏导并令其为0,由(1)得,对,于是,取其它值时，,即 为 的估计 .,且是 的增函数,若已知样本值（1，2，1，3，5），求b的最大似然估计值。,无解。所以要用定义求解问题。,例7 设总体X的概率分布为,其中0 1/2为未知参数。,今对X 进行观测,抽取6个样品,测得如下样本值:0，1，2，0，2，1, 求 的最大似然估计。,解：设X1,X2,X3,X4,X5,X6为对应的样本，由条件知其样本值为：,则似然函数为：,两边取对数得：,求导数得似然方程为：,解得极大似然估计值为：,第二次捕出的有记号的鱼数X是r.v, X具有超几何分布：,为了估计湖中的鱼数N，第一次捕上 r 条鱼 ，做上记号后放回. 隔一段时间后, 再捕出 S 条鱼 , 结果发现这S条鱼中有k条标有记号.根据这个信息，如何估计湖中的鱼数呢？,最后，我们用最大似然法估计湖中的鱼数,应取使L(N;k)达到最大的N，作为N的极大似然估计. 但用对N求导的方法相当困难, 我们考虑比值：,把上式右端看作 N 的函数，记作 L( N ; k) .,这个比值大于1，,这个比值小于1，,这就是说，当N增大时，序列P(X=k;N)先是上升而后下降; 当N为小于 的最大整数时, 达到最大值 . 故N的极大似然估计为,这个比值大于1，,这个比值小于1，,3 估计量的评选标准,对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题,(1) 无偏性,(3) 一致性,(2) 有效性,设总体X F(x, ), 其中 为未知参数。,X1, X2, Xn为来自该总体的样本。,当样本(X1, , Xn)有观测值(x1, , xn)时，估计值为,它是一个随机变量。,由不同的观测结果，就会求得不同的参数估计值。,(1) 无偏性,为 的一个估计量，,当样本值取不同的观测值时， 我们希望相应的估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好. 当这种偏差为0时，就导致无偏性这个标准 .,无偏估计的实际意义: 无系统误差.,定义,证,例1,特别的:,不论总体 X 服从什么分布,只要数学期望存在,推导,例2,证,例2,(这种方法称为无偏化).,证明,例3,知:,故得:,Z服从参数为 的指数分布.,由以上两例可知,一个参数可以有不同的无偏估计量.,证,例4,2、有效性,由于方差是随机变量取值与其数学期望的偏离程度, 所以无偏估计以方差小者为好.,定义,证明,例5 (续例3),证明,例6 (续例4),3、相合性,例如,证明,由大数定律知,例7,由大数定律知,解 由密度函数知,练习1 设X1,X2,Xn是取自总体 X 的一个样本,其中 0 , 求 的矩估计.,具有均值为