参数估计在建模中的应用(上).ppt

1、参数估计在建模中的应用,参数估计的一般问题 一个总体参数的区间估计 两个总体参数的区间估计 样本容量的确定,统计推断的过程,参数估计的一般问题,一、估计量与估计值 二、点估计与区间估计 三、评价估计量的标准,估计量：用于估计总体参数的随机变量 如样本均值，样本比率、样本方差等 例如: 样本均值就是总体均值 的一个估计量 参数用 表示，估计量用 表示 估计值：估计参数时计算出来的统计量的具体值 如果样本均值 x =80，则80就是的估计值,估计量与估计值,点估计,用样本的估计量直接作为总体参数的估计值 例如：用样本均值直接作为总体均值的估计 例如：用两个样本均值之差直接作为总体均值之差的估计 没

2、有给出估计值接近总体参数程度的信息 点估计的方法有矩估计法、顺序统计量法、最大似然法、最小二乘法等,点估计完全正确的概率通常为0。因此，我们更多的是考虑用样本统计量去估计总体参数的范围 区间估计。,含义：在点估计的基础上，估计总体参数的区间范围，并给出区间估计成立的概率值。 其中： 1-(01)称为置信水平 是区间估计的显著性水平； 常用的置信水平值有 99%, 95%, 90% 相应的 为0.01，0.05，0.10,注意对上式的理解： 例如抽取了1000个样本，根据每一个样本均构造了一个置信区间，这样，由1000个样本构造的总体参数的1000个置信区间中，有95%的区间包含了总体参数的真值

3、，而5%的置信区间则没有包含。这里，95%这个值被称为置信水平（或置信度）。 一般地，将构造置区间的步骤重复很多次，置信区间包含总体参数真值的次数所占的比例称为置信水平。,区间估计,由样本统计量所构造的总体参数的估计区间称为置信区间 统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名为置信区间 用一个具体的样本所构造的区间是一个特定的区间，我们无法知道这个样本所产生的区间是否包含总体参数的真值 我们只能是希望这个区间是大量包含总体参数真值的区间中的一个，但它也可能是少数几个不包含参数真值的区间中的一个,置信区间,我们用95%的置信水平得到某班学生考试成绩的置信区间为60-80分

4、，如何理解？ 错误的理解：60-80区间以95%的概率包含全班同学平均成绩的真值；或以95%的概率保证全班同学平均成绩的真值落在60-80分之间。 正确的理解：如果做了多次抽样（如100次），大概有95次找到的区间包含真值，有5次找到的区间不包括真值。 真值只有一个，一个特定的区间“总是包含”或“绝对不包含”该真值。但是，用概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。 如果大家还是不能理解，那你们最好这样回答有关区间估计的结果： 该班同学平均成绩的置信区间是60-80分，置信度为95%。,置信区间与置信水平,区间估计的图示,无偏性：估计量抽样分布的数学期望等于被估计的总

5、体参数,评价估计量的标准无偏性,评价估计量的标准有效性,有效性：对同一总体参数的两个无偏点估计 量，有更小标准差的估计量更有效,评价估计量的标准一致性,一致性：随着样本容量的增大，估计量的值越来越接近被估计的总体参数,一般常用 表示参数，参数 所有可能取值组成的集合称为参数空间，常用表示。参数估计问题就是根据样本对上述各个未知参数作出估计。 参数估计的两种形式：点估计与区间估计。,设 x1, x2, xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为 的估计值， 称为 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题：

6、,其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。,点估计,替换原理和矩估计法,一、矩估计法 替换原理是指用样本矩及其函数去替换相应的总体矩及其函数，譬如： 用样本均值估计总体均值E(X)，即 ； 用样本方差估计总体方差Var(X)，即 用样本的 p 分位数估计总体的 p 分位数， 用样本中位数估计总体中位数。,例 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0

7、 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩估计法的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。,二、概率函数P(x,)已知时未知参数的矩估计法,设总体具有已知的概率函数 P(x, 1, , k)， x1, x2 , , xn 是样本，假定总体的k阶原点矩k存在，若1, , k 能够表示成 1, , k 的函数j = j(1, ,k)，则可给出诸j 的矩估计法为 其中,例设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为 另外，由于Var(X)=1/2，

8、其反函数为 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩估计法的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。,例x1, x2, , xn是来自(a,b)上的均匀分布U(a,b)的样本，a与b均是未知参数，这里k=2，由于 不难推出 由此即可得到a, b的矩估计为：,最大似然估计,定义 设总体X属离散型，其分布律为p(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合分布律看成 的函数，用L( ; x1, x2, , xn) 表示，简记为L( )， 称为样本的似然函数。,极大似然估计（续）,定义 设

9、总体X为连续型，其概率密度为f(x; )，是参数 可能取值的参数空间，x1, x2 , , xn 是样本，将样本的联合密度函数看成 的函数，用L( ; x1, x2, , xn) 表示，简记为L( )， 称为样本的似然函数。,如果某统计量 满足 则称 是 的最（极）大似然估计，简记为MLE（Maximum Likelihood Estimate）。,人们通常更习惯于由对数似然函数lnL( )出发寻找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最常用的方法，对lnL( )求导更加简单些。,例 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数

10、分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为,将之关于 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。,例 对正态总体N(, 2)，=(, 2)是二维参数，设有样本 x1, x2 , , xn，则似然函数及其对数分别为,将 lnL(, 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组,解此方程组，可得 的极大似然估计为 代入得出 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。,虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。,例 设 x1, x2 , , xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。,解 似然函数 要使L( )达到最大，首先一点是指示函数取值应该为1，其次是1/ n尽可