第5章-参数估计及点估计

1、第5章参数估计及点估计5.1考点归纳一、点估计1矩估计法（1）定义设X为连续型随机变量，其概率密度为，或X为离散型随机变量，其分布律为，其中为待估参数，是来自X的样本，假设总体X的前k阶矩或（X离散型）存在，其中，1，2，k一般来说，它们是的函数，基于样本矩依概率收敛于相应的总体矩（1，2，k），样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量，这种估计方法称为矩估计法（2）矩估计法的具体做法设这是一个包含k个未知参数的联立方程组，一般来说，可以从中解出，得到以分别代替上式中的，i1，2，k，就以

2、，i1，2，k，分别作为，1，2，k的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值2克拉默-拉奥（Cramer-Rao）不等式（1）克拉默一拉奥不等式克拉默一拉奥不等式设1，2，n为取自具有概率函数f（x；0），=：a00与0无关；与存在，且对一切，；令称为信息量，则等式成立的充要条件为存在一个不依赖于但可能依赖于的K，使得等式依概率1成立。特别当g（）=时，上式可化为：称它为克拉默拉奥不等式。也称为信息不等式。（2）重要性质及定义性质：若则定义a若的一个无偏估计使克拉默一拉奥不等式中等式：成立，则称的有效估计。b若的一个无偏估计，且克拉默一拉奥不等式下界存在，则称下界与的比为

3、估计的有效率，这里。c若当时，一个估计的有效率则称为参数的渐近有效估计。3拉奥-勃拉克维尔（Rao-Blackwell）定理（1）拉奥-勃拉克维尔定理设与是两个随机变量，且E，D0设x条件下叼的条件期望，则（2）相关定理设1，2，n是取自一个母体的子样，有概率函数，且是的一个充分统计量，不仅是1的函数，且E2，则是的充分统计量的函数，其均值0，方差。4最大似然估计法（1）样本似然函数离散型随机变量若总体X属离散型，其分布律的形式为已知，为待估参数，是可能取值的范围，设是来自X的样本，则的联合分布律为又设是相应于样本的一个样本值，易知样本取到观察值的概率，亦即事件发生的概率为这一概率随的取值而变

4、化，它是的函数，称为样本的似然函数注意：这里是已知的样本值，它们都是常数连续型随机变量若总体X属连续型，其概率密度的形式已知，为待估参数，是可能取值的范围.设是来自X的样本，则的联合密度为设是相应于样本的一个样本值，则随机点（）落在点（）的邻域（边长分别为的n维立方体）内的概率近似地为其值随的取值而变化，我们取的估计值使概率取到最大值，但因子不随而变，故只需考虑函数的最大值，这里L（）称为样本的似然函数（2）最大似然估计值的求法在很多情形下，和关于可微，这时常可从方程解得L（）与lnL（）在同一处取到极值，因此，的最大似然估计也可以从方程求得，该方程称为对数似然方程（3）最大似然估计法的推广最

5、大似然估计法也适用于分布中含多个未知参数的情况，这时，似然函数L是这些未知参数的函数分别令或令解上述由k个方程组成的方程组，即可得到各未知参数的最大似然估计（4）最大似然估计不变性设的函数，具有单值反函数，又假设是X的概率分布中参数的最大似然估计，则是的最大似然估计，这一性质称为最大似然估计的不变性二、基于截尾样本的最大似然估计1截尾寿命试验（1）定时截尾寿命试验假设将随机抽取的n个产品在时间t0时同时投入试验，试验进行到事先规定的截尾时间停止，如试验截止时共有m个产品失效，它们的失效时间分别为，此时m是一个随机变量，所得的样本称为定时截尾样本（2）定数截尾寿命试验假设将随机抽取的挖个产品在时

6、间t0时同时投入试验，试验进行到有m个（m是事先规定的，）产品失效时停止m个失效产品的失效时间分别为，这里是第m个产品的失效时间，是随机变量，所得的样本称为定数截尾样本2截尾样本的最大似然估计（1）定数截尾寿命试验的最大似然估计量为其中称为总试验时间，它表示直至时刻为止，n个产品的试验时间的总和（2）定时截尾寿命试验的最大似然估计为其中称为总试验时间，它表示直至时刻为止n个产品的试验时间的总和三、估计量的评选标准1无偏性设是总体X的一个样本，是包含在总体X的分布中的待估参数，这里是的取值范围若估计量的数学期望存在，且对于任意则称是的无偏估计量2有效性设（X1，X2，Xn）与（X1，X2，Xn）

7、都是的无偏估计量，若对于任意，有，且至少对于某一个上式中的不等号成立，则称较有效3相合性设（X1，X2，Xn）为参数的估计量，若对于任意，当n时（X1，X2，Xn）依概率收敛于，则称为的相合估计量即，若对于任意都满足：对于任意0，有，则称是的相合估计量四、最小方差无偏估计1均方误差（1）使用条件：小样本，有偏估计。（2）均方误差为：，常用来评价点估计。将均方误差进行如下分解：由分解式可以看出均方误差是由点估计的方差与偏差的平方两部分组成。如果是的无偏估计，则。（3）一致最小均方误差设有样本，对待估参数有一个估计类，如果对该估计类中另外任意一个的估计，在参数空间上都有，称是该估计类中的一致最小均

8、方误差估计。2一致最小方差无偏估计定义：设是的一个无偏估计，如果对另外任意一个的无偏估计.在参数率间上都有，则称是的一致最小方差无偏估计，简记为UMVUE。关于UMVUE，有如下一个判断准则：设是来自某总体的一个样本，是的一个无偏估计，则是的UMVUE的充要条件是：对任意一个满足和的都有。这个定理表明UMVUE的重要特征是：的最小方差无偏估计必与任一零的无偏估计不相关，反之亦然。3充分性原则定理：总体概率函数是是其样本，是的充分统计量，则对的任一无偏估计；令，则也是的无偏估计，且。定理说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原

9、来的估计的方差要小，从而降低了无偏估计的方差.换言之，在考虑的估计问题只需要在基于充分统计量的函数中进行，这就是充分性原则。4.Cramer-Rao不等式（1）费希尔信息量定义：设总体的概率函数满足下列条件：参数空间是直线上的一个开区间；支撑与无关；导数对一切都存在；对，积分与微分运算可交换次序，即；期望存在，则称为总体分布的费希尔信息量。（2）定理（Cramer-Rao不等式）设总体分布满足费希尔信息里，是来自该总体的样本，是的任一个无偏估计，存在，且对中一切，对的微商可在积分号下进行，即对离散总体，则将上述积分改为求和符号后，等式仍然成立。则有，称为克拉默-拉奥（C-R）不等式，其中称为的

10、无偏估计的方差的C-R下界，简称的C-R下界。特别，对的无偏估计有。注意：大多数场合无偏估计都达不到其C-R下界。五、贝叶斯估计1统计推断的基础（1）总体信息：总体分布或总体所属分布族提供的信息；（2）样本信息：抽取样本所得观测值提供的信息；（3）先验信息：抽样（试验）之前有关统计问题的一些信息。2贝叶斯公式的密度函数形式公式：3贝叶斯估计由后验分布估计有三种常用的方法：（1）使用后验分布的密度函数最大值点作为的点估计的最大后验估计；（2）使用后验分布的中位数作为的点估计的后验中位数估计；（3）使用后验分布的均值作为的点估计的后验期望估计。用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记

11、为。4共轭先验分布（确定先验分布最常用的）定义：设是总体分布中的参数，是其先验分布，若对任意来自的样本观测值得到的后验分布与属于同一个分布族，则称该分布族是的共轭先验分布（族）。六、区间估计1置信区间设总体X的分布函数F（x；）含有一个未知参数，（是可能取值的范围），对于给定值（01），若由来自X的样本X1，X2，Xn确定的两个统计量和，对于任意满足则称随机区间是的置信水平为1的置信区间，和分别称为置信水平为1的双侧置信区间的置信下限和置信上限，1称为置信水平2置信区间的具体求法（1）寻求一个样本X1，X2，Xn和的函数WW（X1，X2，Xn；）使得W的分布不依赖于以及其他未知参数，称具有这种

12、性质的函数W为枢轴量（2）对于给定的置信水平1，定出两个常数a，b使得3大样本置信区间对给定，利用标准正态分布的分位数可得。4（0-1）分布参数的区间估计设X1，X2，Xn是一个样本，因样本容量n较大，由中心极限定理，知近似地服从N（0，1）分布，于是得到参数p的置信水平为1的置信区间为此处5单侧置信区间（1）单侧置信下限对于给定值（01），若由样本X1，X2，Xn确定的统计量（X1，X2，Xn），对于任意满足称随机区间是的置信水平为1的单侧置信区间，称为的置信水平为1的单侧置信下限（2）单侧置信上限若统计量（X1，X2，Xn），对于任意满足称随机区间是的置信水平为1的单侧置信区间，称为的置信

13、水平为1的单侧置信上限七、正态总体均值与方差的区间估计1单个总体的情况设已给定置信水平为1，并设X1，X2，Xn为总体的样本，S2分别是样本均值和样本方差（1）均值的置信区间2为已知，此时采用的枢轴量，已得到的一个置信水平为1的置信区间为2为未知，因其中含未知参数，考虑到S2是2的无偏估计，将换成，知于是得的一个置信水平为1的置信区间（2）方差2的置信区间2的无偏估计为S2，取作为枢轴量，即得方差2的一个置信水平为1的置信区间标准差的一个置信水平为1的置信区问2两个总体，的情况设已给定置信水平为1，并设是来自第一个总体的样本；是来自第二个总体的样本，这两个样本相互独立，且设，分别为第一、第二个

14、总体的样本均值，分别是第一、第二个总体的样本方差（1）两个总体均值差的置信区间均为已知因分别为的无偏估计，故是的无偏估计，由的独立性以及，得或取Z为枢轴量，即得的一个置信水平为1的置信区间，但2为未知，此时取T为枢轴量，可得的一个置信水平为1的置信区间为此处（2）两个总体方差比的置信区间并且分布F（n11，n21）不依赖任何未知参数，取为枢轴量得的一个置信水平为1的置信区间为5.2典型题（含考研真题）详解一、选择题1假设总体X的方差DX存在，X1，Xn是取自总体X的简单随机样本，其均值和方差分别为，S2，则EX2的矩估计量是（）。ABCD【答案】D【解析】由于，而DX与EX矩估计量分别为与，所

15、以EX2的矩估计量为。2设，,是来自总体X的简单随机样本，X在1，1上均匀分布，则未知参数的最大似然估计量为（）。ABCD【答案】D【解析】由已知得X的密度函数为，故似然函数为对样本，,来说，是常数，只要满足11，所以必有1，同时1，也就有，同时，因此参数的最大似然估计量。3设X1，X2，Xn是来自X（）的简单随机样本，则可以构造参数2的无偏估计量（）。ABCD【答案】A【解析】当4已知总体X服从正态分布N（，2）（2已知）X1，Xn是取自总体X的简单随机样本，均值为，如果，则由aUb）1a，可以求得置信度为1a的置信区间，其中a、b是（ ）。A满足Ub），Ua1的唯一实数B满足Ub），Ua的

16、唯一实数C满足Ub），Ua的唯一实数D满足Ub）Ua的任意实数【答案】D【解析】由于a、b应使应满足。5设总体X服从正态分布N（，2）其中2已知，则总体均值的置信区间长度L与置信度1a的关系是（）。A当1a减小时，L变小B当la减小时，L增大C当1a减小时，L不变D当1a减小时，L增减不定【答案】A【解析】首先要求出L，进而推断L与1a的关系当总体XN（，），已知时，的置信区间为，其中号是标准正态分布上分位数，由确定，其中是X单调增函数，因此置信区间的长度。当样本容量n固定时，随的减小而变小，即随1a的减小而变小。故项正确。6已知总体X的期望EX0，方差是来自总体X的简单随机样本，其均值为，则

17、可以作出2的无偏估计量（）。ABCD【答案】C【解析】由于故项正确，其他选项都不是2的无偏估计量，这是由于二、填空题1设为来自总体的简单随机样本，样本均值，参数置信度为0.95的双侧置信区间的置信上限为10.8，则的置信度为0.95的双侧置信区间为_.数一 2016研【答案】（8.2，10.8）【解析】由可得的置信度为0.95的置信区间为则所以，所以，的置信度为0.95的置信区间为（8.2，10.8）2设总体X的概率密度为，其中是未知参数，是来自总体的简单样本，若，则常数=_。数一、数三 2014研【答案】【解析】，故，又由于是的无偏估计，故，。3设，为来自二项分布总体B（n，p）的简单随机样

18、本，X和分别为样本均值和样本方差，若X为的无偏估计量，则k_。数一 2009研【答案】k=1【解析】由题设可知，E=np，E=np（1p）若k为n的无偏估计量，则E（k）=，即EkE=，于是npknp（1p）=，解得k=l。4.设为来自二项分布总体的简单随机样本，和分别为样本均值和样本方差。设T=，则ET=_。数三 2009研【答案】【解析】由题意可得，。5设，是来自总体X的简单随机样本，X的概率密度为,则的最大似然估计_。【答案】【解析】似然函数为，等式两端取对数，。令0，解得。6设，为来自正态总体N的简单随机样本，已知，未知，则参数的最大似然估计_。【答案】【解析】设，为样本观测值，则似然

19、函数为：两边同时取对数得。令0，得0，从而得的最大似然估计。7设总体X服从参数为2的指数分布，为来自总体X的简单随机样本，则当n时，依概率收敛_。【答案】【解析】满足大数定律的条件，且因此根据大数定律有，概率收敛于。8设X1，X2，Xn是来自总体为区间，2上均匀分布的X的简单随机样本，是样本均值，则未知参数的矩估计量。【答案】【解析】，矩估计有故9设X1，X2，Xn是来自总体X的简单随机样本，X的概率密度为，则的最大似然估计量。【答案】【解析】似然函数两端取对数解得，故三、计算题1（本题满分11分）某工程师为了解一台天平的精度，用该天平对一物体的质量做n次测量，该物体的质量是已知的，设n次测量

20、结果相互独立，且均服从正态分布该工程师记录的是n次测量的绝对误差，利用估计（I）求的概率密度；（II）利用一阶矩求的矩估计量；（III）求的最大似然估计量.数一、数三 2017研【考点】概率密度；矩估计量；最大似然估计量解：（I）因为，所以，对应的概率密度为设的分布函数为，对应的概率密度为；当时，；当时，有则的概率密度为（II）因为，所以；得的矩估计量为其中（III）由题知对应的似然函数为对上式两边取对数得所以令，得，所以的最大似然估计量为2设总体X的概率密度为其中为未知参数，为来自该总体的简单随机样本。（）求的矩估计量；（）求的最大似然估计量。数一、数三 2015研解：（）令即，解得，其中故

21、的矩估计量为。（）似然函数当时，则从而，关于单调增加，所以=为的最大似然估计量。3设总体X的分布函数为，其中为未知的大于零的参数，是来自总体的简单随机样本。（）求；（）求的极大似然估计量；（）是否存在常数，使得对任意的，都有。数一 2014研解：（）由题意，先求出总体X的概率密度函数为，故由期望的定义得；（）极大似然函数为则当所有的观测值都大于零时，令，得的极大似然估计量为。（）由于独立同分布，显然对应的也独立同分布，又有（1）可知，由辛钦大数定律，可得，再由（1）（2）可知，故存在常数，使得对任意的，都有。4设总体的概率密度为其中为未知参数且大于零，为来自总体的简单随机样本。（）求的矩估计量

22、。（）求的最大似然估计量。数一、数三 2013研解：（）由题意知，先求出总体的数学期望E（X），令，得的矩估计量（）当时，似然函数为，取对数得，令，得，解得：的极大似然估计量为。5设随机变量X与Y相互独立且分别服从正态分布N（，）与N（，2），其中是未知参数且0，设ZXY。（I）求Z的概率密度f（z；）；（）设，为来自总体Z的简单随机样本，求的最大似然估计量；（）证明为的无偏估计量。数一 2012研解：（）由于X与Y相互独立，则ZXY服从正态分布，且EZ0，DZDXDY3，故得X的概率密度为（）设，为样本，的观测值，则似然函数为令，解得，故的最大似然估计量为。（）由于，故是的无偏估计量。6设，

23、为来自正态总体N（，）的简单随机样本，其中已知，0未知。X和S分别表示样本均值和样本方差。（I）求参数的最大似然估计；（）计算E和D。数一 2011研解：（）设，为样本观测值，则似然函数为（）7设总体x的概率分布为表5-1其中00）未知，是来自总体X的简单随机样本（）求参数的矩估计量；（）求参数的最大似然估计量。数一 2009研解：（I）由。令EX=，即，得参数的矩估计量为。（）设（0，i=1，2，n）为样本观测值，则似然函数为于是令得。故参数的最大似然估计量为。9假设总体的概率密度为其中为未知参数，且是来自总体的一个简单随机样本。（）求参数的最大似然估计量；（）验证是的无偏估计量。解：（）记

24、样本的似然函数为，对于总体X的样本值，其似然函数当时（i 1，2，n），对取对数并对求导数，得令，得驻点，不难验证就是的最大值点，因此的最大似然估计；（）首先求lnX的分布。由于被积函数恰是正态分布的密度函数，因此随机变量lnX服从正态分布，即，。故是的无偏估计量。10设是取自总体的一简单随机样本，的概率密度为，。（）求未知参数的矩估计量；（）若样本容量凡，置信度为0.95，求的置信区间。解：（）记，则的矩估计量为其中。（）尽管总体x不是正态总体，但由于样本容量n 400属大样本，故也近似服从标准正态分布，即总体x的期望值u的置信区间公式仍是其中满足由于1a 0.95，因此而S是样本标准差又因

25、为是u的严格递增函数，因此的置信区间为。11设，为总体X的一个样本，X的概率密度为，其中0，求，的最大似然估计量。解：似然函数为，取对数得。则可见所以当min，）时，lnL取最大值。由，可得于是，的最大似然估计量为：，。12设总体X服从均匀分布U（，2），其中未知（0），为取自总体X的简单随机样本。（）求的矩估计；（）求的最大似然估计；（）判断和是否为的无偏估计量。解：因为X服从均匀分布U（，2），所以X的密度函数为，则EX。（）令EX，所以的矩估计为。（）似然函数为，取自然对数lnLnln，0，于是L关于单调下降。因为2，所以min），且2max）max），于是有maxmin，故的最大似然估

26、计为max）。（）。记Ymax），则Y的分布函数为，于是Y的密度函数为，所以EY，。综上，是的无偏估计量，不是的无偏估计量。13设，为来自正态总体N（，）的简单随机样本，其中已知，0未知。X和S分别表示样本均值和样本方差。（I）求参数的最大似然估计；（）计算E和D。解：（）设，为样本观测值，则似然函数为令，得。从而得的最大似然估计（）解法l：由于则解法2：14设随机变量X与Y相互独立且分别服从正态分布N（，）与N（，2），其中是未知参数且0，设ZXY。（I）求Z的概率密度f（z；）；（）设，为来自总体Z的简单随机样本，求的最大似然估计量；（）证明为的无偏估计量。解：（）由于X与Y相互独立，则ZXY服从正态分布，且EZ0，DZDXD3，故得X的概率密度为（）设，为样本，的观测值，则似然函数为令，解得，故的最大似然估计量为。（）由于，故是的无偏估计量。15设总体X服从指数分布，概率密度为。为取自总体X的简单随机样本。（）证明仍服从指数分布；（）求常数c使ZC为的无偏估计；（）指出Z与哪个更有效。解：（I）X的分布函数为F（x）。而（x）11F（x），于是n1F（x）f（x），所以服从参数为的指数分布。（）EZCEC。Cn。（）DZ，所以比DZ更