第七章 参数估计

.,第七章参数估计,引言,参数估计：当总体的某些参数未知(一般要求分布类型已知)时，从样本出发构造适当的统计量，作为未知参数的估计量。当取得一组观察值后，以相应的统计量的观察值作为未知参数的估计值，并讨论估计值对真值进行估计的可靠性。,参数估计方法是处理实际问题时最常用的方法。,预备概念：当总体X中含有未知参数(可以是向量)时，可用F(x；)来表示X的分布函数，当取不同的值，就会得到不同的分布函数。我们称所有可能取值的集合为参数空间，记为。把F(x；)，称为X的分布函数族。,若X为连续型随机变量，和分布函数族对应的是密度函数族f(x；)，。,.,若X是离散型随机变量，和分布函数族对应的是概率分布函数族,第一节点估计,点估计(教材p177)用样本构造适当的统计量，作为未知参数的估计量。,当取得一组样本观察值后，用相应的作为未知参数的估计值。,说明：1.在统计推断中，当不致混淆时，通常对样本和样本观察值的表示法不加区分，均表成,2.对于两组不同的样本观察值，可得到未知参数的两个估计值，但的估计量是同一个。,.,一、矩估计,矩估计法原理：用样本k阶原点矩(中心矩)作为总体k阶原点矩(中心矩)的估计量，用样本k+m阶混合矩作为总体k+m阶混合矩的估计量。,特别，用作为E(X)的估计量，用作为D(X)的估计量，用样本协方差(相关系数)作为cov(X，Y)和的估计量。,.,如何求,设总体X的密度函数为,由总体原点矩的定义，有,从理论上来说，由上面k个方程，可以解出,矩估计的优越性：当总体分布类型未知时仍可对总体各阶矩进行估计。,矩估计的缺陷：当总体分布类型已知时，未能充分利用总体分布提供的信息。,.,二、极大似然估计,引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但不知哪种颜色的球多。今有放回连抽两球均取出黑球，问：罐中黑球多还是白球多？,解：设抽出黑球的概率为p，抽得黑球数为X，则XB(2，p)。,根据题意，知p=3/4或p=1/4。,若p=1/4，则P(X=2)=1/16；,若p=3/4，则P(X=2)=9/16。,这说明当黑球多时事件(X=2)发生的概率大得多，,(或者说样本来自总体B(2，3/4)的可能性比来自总体B(2，1/4)的可能性大得多),根据“概率越大的事件越可能发生”的实际推断原理，应选3/4作为p的估计值。,若p的可供选择的估计值有许多，仍应选择发生概率最大的作为p的估计，这就是极大似然估计的思想。,.,极大似然估计的原理(教材p180-181),设总体X的概率密度函数族为f(x；)(或概率分布函数族为P(X=x)=p(x；)，。,设为任一组样本观察值(一组抽象的数)，则样本的密度函数(或概率分布)为,(或).,注意，当X是离散型随机变量，因样本观察值是取定的，故L()，仅是的函数，对连续型随机变量，仍将L()，仅看作的函数。,若有，使对几乎所有样本观察值都成立，则称为的极大似然估计量，称为的极大似然估计值。,.,说明：在求极大似然估计量时，先用一组抽象的样本观察值来求，因而得到的是待估参数的极大似然估计值，再用样本代换样本观察值，才能得到待估参数的极大似然估计量。若用一组具体的样本观察值代入，便可得到待估参数的具体极大似然估计值。,通过，求出。,说明：1.因为L()是样本观察值的函数(此时样本观察值不变)，故求出的一般也是样本观察值的函数。,2.由于只是lnL()取极值的必要条件，从理论上来说，还应验证lnL()lnL()，对所有样本观察值都成立。但这种验证通常是非常困难的，故多不进行验证。,3.若不只一个参数需要估计，也采用同样的方法，只是这时似然函数是多元函数，要通过令偏导数等于零求出驻点。(具体步骤见教材p182-183)。,.,.,注：本题是盛骤等编概率论与数理统计(第二版)第七章习题2-4的特例。,.,说明：1.本题中因P(X=)无一般表达式，故不能先求极大似然估计量，再将样本观察值代入求极大似然估计值。,2.本题处理思想在解决实际问题时很有用。,极大似然估计的性质：若为总体X中未知参数的极大似然估计量，u=u()有单值反函数=(u)，则u()是u()的极大似然估计量。,若是D(X)=的极大似然估计，因有单值反函数(视为一个整体)，则便是标准差的极大似然估计。,.,第三节点估计量的评选标准,问题：1.哪种估计是最好的估计？,2.评价“好”的标准是什么？,建立评价标准的原则：估计量在某种意义下与待估参数的真值最接近。,一、无偏性,定义7.2(教材p188)设是总体的未知参数的点估计量。若E()=，则称是的无偏估计量。若，则称是的渐近无偏估计量。,说明：1.当不是的无偏估计量，则称E()-为估计量的偏差(系统误差)。,2.的无偏估计量一定是的渐近无偏估计量，但反之不然。,.,3.在大样本情形，无偏估计量和渐近无偏估计量没有太大差别，但在小样本情形，无偏估计量明显优于渐近无偏估计量。,4.无偏性标准只有取多组观察值重复估计时才有意义，对一组观察值来说，无实际价值。,注意：即使是的无偏估计量，一般说来，f()不是f()的无偏估计量。,.,问题：若参数的无偏估计量不只一个，如何选取更好的无偏估计量？,.,二、有效性,定义7.3(教材p190)设，都是总体参数的无偏估计量，若D()D()，则称比更有效。,例2.设某k台仪器.已知用第i台仪器测量时，测量值总体的标准差为(i=1，2，k).现用这些仪器独立地对某物理量各观察一次，分别得到.设仪器都没有系统误差，即(i=1，2，k).问：应取何值，方能使是的无偏估计量，且达最小？,.,第四节参数的区间估计,问题：1.当求得未知参数的估计量后，究竟在距多远的区间内？,2.估计出的区间可靠程度有多大？,说明：当取得一组样本观察值后，将其代入和的表达式可得估计量的观察值和，我们仍称(，)为的置信区间(此时已不是随机区间)。,.,确定置信区间的常用方法：,首先用点估计法找到的一个估计量，构造统计量，使服从某一已知分布(即分布类型参数均已知)，且对容易由y=解出(此处g，h均是抽象的函数关系)。,2.由P(b)=/2，解出a，b。此时，有P(a0(或b，(或0，则在置信度1-下，不能判定和的大小。,2.若在置信度1-下，有/(a，b)，其中a1(或b，即总体波动较大(或1，则在置信度1-下，不能判定和的大小。,.,设样本来自总体，样本来自总体，且两个总体相互独立。两样本的样本均值、样本方差、分别记为,1.两个正态总体的均值差的置信区间,(1)当已知，求的置信区间,的置信度为1-的置信区间为,(2)当均未知，但已知，求的置信区间,的置信度为1-的置信区间为,.,(3)当均未知，且，但已知m50，n50，求的置信区间,的置信度为1-的置信区间为,2.两个正态总体的方差比的置信区间,的置信度为1-的置信区间为,.,的置信度为1-的置信区间为,第六节、0-1分布参数的区间估计,设X服从参数为p的0-1分布，对任何01，参数p的置信度为1-的置信区间为，其中,.,例.某市政府拟实施某项措施。现随机抽取1000个市民对这项措施进行民意调查，赞成的有648人。问：若规定可靠程度为95%，该市市民中最多有多少人赞成这项措施？最少有多少人赞成这项措施？,第七节、单侧置信区间,.,说明：求参数的单侧置信区间的方法