课程盘01,02数理统计

1、 参数估计问题是利用从总体抽样得到的样本来估计总体的某些参数或者参数的函数. 参数估计 在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个参数. 这类问题称为参数估计。具体分为点估计和区间估计。参数估计问题的一般提法 设总体的分布为 f(x, )，其中 为未知参数 ( 可以是向量) . 现从该总体抽样，得样本 X1, X2, Xn。要依据该样本对参数 作出估计，或估计 的某个已知函数g( ) 一.点估计概念及讨论的问题 已知总体 X f(x, ) ，我们要估计 Rk， X1, X2, Xn为样本。为此 , 我们需要构造适当的统计量 每当有了样本观测值x1, x2, xn ，就代入该

2、函数中算出一个值用它来作为 的估计值 .我们 称 为 的一个估计量，为 的一个估计值。 由于未知参数 是空间（一维或多维）上的一个点，用去估计，等于用一个点去估计另一个点，所以这样的估计叫做点估计 。 问题是: 使用什么样的统计量去估计 ？以下记参数为 =(1, k).1. 矩估计法 设总体的 m 阶原点矩为m，它们一般是参数 的函数，记为 m ( )=m (1, k )由大数定律即当n较大时用样本m阶原点矩近似总体m阶原点矩.即可以获得近似式由此估计未知参数，这就是矩估计法.其基本思想是用样本矩近似总体矩.具体方法如下：矩估计法是英国统计学家K.皮尔逊最早提出的 .记总体m阶原点矩为样本m阶

3、原点矩为总体 m 阶中心矩为样本m阶中心矩为设总体分布含有个k未知参数 1 , k令解此方程组得其根为 以此分别估计参数i ，i=1,.,k，并称其为i ，i=1,.,k的矩估计量。此时，也称为参数 =(1 , k)的矩估计量。 如要估计1, ,k 的某函数g(1 , ,k)，则用 去估计，此估计称为g(1,k)的矩估计。 总体矩的计算方法 设总体X为离散型随机变量，其概率函数为P(X=x)=f(x; ) , x, 可以是向量，则 X 的 m 阶原点矩为X的 m 阶中心矩为总体矩的计算方法 设总体X为连续型随机变量，其概率密度为f(x; ) 可以是向量，则X的m阶原点矩为X的 m 阶中心矩为解

4、: 由矩法, 令从中解得即为 的矩估计. 例1 设总体X的概率密度为是未知参数,其中X1,X2,Xn是取自X的样本, 求参数 的矩估计. 例2 设X1,X2,Xn是取自总体X的一个样本，求总体均值 与方差 2的矩估计令 解：得 与方差 2的矩估计为如果要估计的是标准差，则由按矩估计法，它可以用去估计，一般用去估计例3 设X1,.,Xn是从指数分布总体需要研究的问题.中抽出的样本，要估计参数我们知道 就是总体分布的均值，故按矩法，就用面，该指数分布的方差为 2，即 =(总体二阶中心矩)1/2按矩法， 也可以用(或用S）去估计这个估计与去估计之。另一方哪个更好? 这就是例4 一罐中装有白球和黑球，

5、有放回地抽取n次，发现有 k 个白球，求罐中黑球与白球之比 R 的矩估计.解: 设则X1, X2, Xn是取自总体XB(1, p)的样本， p是每次抽取时取到白球的概率，p未知 .先求p的矩估计：由于 E(X)= p， 令得 p的矩估计值为的矩估计值是所以 2. 极大似然估计 它首先是由德国数学家高斯在1821年提出GaussFisher 然而，这个方法常归功于英国统计学家费歇 . 费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 . 极大似然法的基本思想设总体有分布 f (x,1,.,k)，X1,.,Xn为自这总体中抽出的样本，则样本(X1,.,Xn)的分布(即其概率密度函

6、数或概率函数)为 f (x1,1,.,k) f (x2,1,.,k) f (xn,1,.,k)记之为L(x1,.,xn；1,.,k) 固定1,.,k，看作是 x1,.,xn的函数时，L是一个概率密度函数或概率函数，可以这样理解：若 L(y1,.,yn；1,.,k) L(x1,.,xn；1,.,k)， 则在观察时样本在(y1,.,yn)附近取值的可能性，要比在(x1,.,xn)附近取值的可能性大 把这件事反过来说，可以这样想：当已观察到x1,.,xn时，若则被估计的参数(1,.,k)是的倾向性要比现的可能性作为依据，挑选使样本观测值出现概率最大的参数值作为参数的估计。这就是极大似然原理。它是的倾

7、向性大。即我们把观测结果出 定义：设总体X的概率密度（或概率函数）为f(x; 1 ,k) ， Rk，X1, ,Xn为来自总体 的 样本，则（X1,Xn）的分布为 若已知样本观测值(x1*,xn*)，则令 称其为基于样本(x1*,xn*)的似然函数 这名称的意义，可根据上述分析得到理解：似然函数对不同的(1,.,k)的取值，反映了在观察结果(x1,.,xn)已知的条件下，(1,.,k)的各种值的“似然程度” 注意这里把：把观察值x1,.,xn看成结果而参数值(1,.,k)看成是导致这结果的原因现已有了结果，要反过来推算各种原因的概率这里参数1,.,k有一定的值(虽然未知)，并非事件或随机变量，无

8、概率可言，于是就改用“似然”这个词。 因此，若已知观测值(x1*,xn*)，应该用似然程度最大的那个点去作为(1,.,k)的估计值。记该点为 ，它满足 则称分别为1,k的极大似然估计，也称为=(1,.,k)的极大似然估计。由于是样本观察值x1,.,xn的函数，也记其为并称为 =(1,.,k)的极大似然估计量. 向量表达为求极大似然估计(MLE)的一般步骤(1) 由总体分布导出样本的联合分布固定样本观测值(x1,xn)，将上式作为1 ,k的函数，得到似然函数(2) 求似然函数L( ) 的最大值点(常常转化为求ln L( )的最大值点) ;-若参数 的取值空间为开集, ln L( )可导. 此时一

9、个通常的方法是求ln L( )的驻点 ，再判断哪个驻点是 的最大值点;-若参数 的取值空间为开集, ln L( )可导, 且 ln L( )的驻点唯一. 则该驻点就是所求的 的最大值点;- 的最大值点为 ln L( )的驻点, 不可导点, 边界点中使 ln L( ) 达到最大的点; (3) 似然函数的最大值点，即 的极大似然估计(Maximum likelihood estimate，简记为MLE) ，它是样本(x1,xn)的函数, 用样本代入该函数就得参数的极大似然估计量；用样本值代入该函数就得参数的极大似然估计值.极大似然估计的不变原则 设总体X的概率密度函数（或概率函数）为f(x;1, k), g(1, k)为参数1, k的连续函数.若 为 =(1, k)的极大似然估计, 则为 g(1, k)的极大似然估计.解: 设每次抽样结果用Xi表示，则而且X1, X2, XnB(1, p) 。由于 例5 设一批产品的废品率为p (0p0,解：设 x1,x18 为18个样本观测值，依题意，似然函数为对数似然函数为求导并令其为0从中解得即为 的MLE . 将本题中的样本值代入，得 的最大似然估计值为例7 设