点估计的几种方法

点估计的几种方法第1页，课件共26页，创作于2023年2月

现在我们来介绍一类重要的统计推断问题

参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数.估计废品率估计新生儿的平均体重估计湖中鱼数……估计平均降雨量第2页，课件共26页，创作于2023年2月第3页，课件共26页，创作于2023年2月§6.1

点估计的几种方法§6.2

点估计的评价标准§6.3

最小方差无偏估计§6.4

贝叶斯估计§6.5

区间估计第4页，课件共26页，创作于2023年2月一般常用

表示参数，参数

所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各种未知参数作出估计。参数估计的形式有两种：点估计与区间估计。第5页，课件共26页，创作于2023年2月设x1,x2,…,xn是来自总体X的一个样本，我们用一个统计量的取值作为的估计值，称为的点估计（量），简称估计。在这里如何构造统计量并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：

其一

是如何给出估计，即估计的方法问题；

其二

是如何对不同的估计进行评价，即估计的好坏判断标准。第6页，课件共26页，创作于2023年2月常用的主要有如下两种：矩估计法和最大似然估计法.§6.1

点估计的几种方法

第7页，课件共26页，创作于2023年2月6.1.1

替换原理和矩法估计

一、矩法估计

替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如：用样本均值估计总体均值E(X)，即；用样本方差估计总体方差Var(X)，即用样本的p分位数估计总体的p分位数，用样本中位数估计总体中位数。

第8页，课件共26页，创作于2023年2月例6.1.1

对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下：

29.827.628.327.930.128.729.928.027.928.728.427.229.528.528.030.029.129.829.626.9

矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是大数定律。由此给出总体均值、方差和中位数的估计分别为:28.695,0.9185和28.6。第9页，课件共26页，创作于2023年2月二、概率函数P(x,θ)已知时未知参数的矩法估计

设总体具有已知的概率函数P(x,1,

…,k)，

x1,x2

,

…,xn是样本，假定总体的k阶原点矩k存在，若1,

…,k能够表示成1,

…,k的函数j=j(1,

…,k)，则可给出诸j的矩法估计为第10页，课件共26页，创作于2023年2月矩法的步骤：设总体X的分布为F(x;θ1,θ2,…,θk)，k个参数θ1,θ2,…,θk待估计，(X1,X2,…,Xn)是一个样本。(1)计算总体分布的i阶原点矩E(Xi)=μi(θ1,θ2,…,θk)，i=1,2,…,k，(计算到k阶矩为止，k个参数)；(2)列方程从中解出方程组的解，记为则分别为参数θ1,θ2,…,θk的矩估计。第11页，课件共26页，创作于2023年2月例6.1.2

设总体服从指数分布，由于EX=1/，即

=1/EX，故的矩法估计为s为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。另外，由于Var(X)=1/2.因此，从替换原理来看，的矩法估计也可取为第12页，课件共26页，创作于2023年2月例6.1.3

x1,x2,

…,xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，求a,b的矩估计。第13页，课件共26页，创作于2023年2月补例1设总体X的均值为μ，方差为σ2，均未知。(X1,X2,…,Xn)是总体的一个样本，求μ和σ2的矩估计。解:令解得矩法估计量为第14页，课件共26页，创作于2023年2月6.1.2

极(最)大似然估计

定义6.1.1

设总体的概率函数为P(x;)，是参数可能取值的参数空间，x1,x2

,…,xn是样本，将样本的联合概率函数看成的函数，用L(;x1,x2,

…,xn)表示，简记为L()，称为样本的似然函数。有第15页，课件共26页，创作于2023年2月极大似然估计法的基本思想

一般说，事件A发生的概率与参数有关，取值不同，则P(A)也不同。因而应记事件A发生的概率为P(A|)。若A发生了，则认为此时的值应是在中使P(A|)达到最大的那一个。这就是极大似然思想。使得取该样本值发生的可能性最大。由样本的具体取值，选择参数θ的估计量第16页，课件共26页，创作于2023年2月如果某统计量满足

则称是的极(最)大似然估计，简记为MLE（MaximumLikelihoodEstimate）。求极大似然估计通常分如下两种情形：总体X的取值范围与未知参数无关；总体X的取值范围与未知参数有关。第17页，课件共26页，创作于2023年2月求极大似然估计的步骤设总体X的分布中，有m个未知参数θ1,θ2,…,θm，它们的取值范围。(1)写出似然函数L的表达式如果X是离散型随机变量，分布律为P(X=k)，则如果X是连续型随机变量，密度函数为f(x)，则第18页，课件共26页，创作于2023年2月(2)在内求出使得似然函数L达到最大的参数的估计值它们就是未知参数θ1,θ2,…,θm的极大似然估计。一般地，总体X的取值范围与未知参数无关,先将似然函数取对数lnL，然后令lnL关于θ1,θ2,…,θm的偏导数为0，得方程组从中解出第19页，课件共26页，创作于2023年2月例6.1.6

设一个试验有三种可能结果，其发生概率分别为现做了n次试验，观测到三种结果发生的次数分别为n1,n2,n3(n1+n2+n3=n)。求的最大似然估计。第20页，课件共26页，创作于2023年2月例6.1.7设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一个样本，μ,σ2未知，求μ,σ2的极大似然估计。解设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则似然函数为解得所以μ,σ2的极大似然估计量分别为思考：当μ已知时，第21页，课件共26页，创作于2023年2月

虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。

例6.1.8

设x1,x2

,

…,xn是来自均匀总体

U(0,)的样本，试求的极大似然估计。第22页，课件共26页，创作于2023年2月补例设X~U[a,b]，a,b未知，(X1,X2,…,Xn)是总体X的一个样本，求a,b的极大似然估计。解X的密度函数为设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则似然函数由于L(a,b)是b-a的单调减函数,所以b应尽可能小,a应尽可能大。所以第23页，课件共26页，创作于2023年2月

极大似然估计有一个简单而有用的性质：如果是的极大似然估计，则对任一函数g()，其极大似然估计为。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。第24页，课件共26页，创作于2023年2月

例6.1.9

设x1,x2,

…,xn是来自正态总体N(,2)

的样本，则和2的极大似然估计为