Ch8 参数估计

1、第八章 参数估计,根据样本提供的信息, 对总体分布的某些未知值作,在本章中所讨论的总体分布为离散型或连续型的.,统计推断是数理统计的基本内容之一. 统计推断的形式,包括两大类参数估计与假设检验. 本章介绍两种,主要的参数估计方法点估计和区间估计.,一、参数估计问题,在数理统计中, 总体 的分布一般是未知的, 因而 的,当总体 时, 在 未知的情况下, 与,故 的二阶原点矩,中包含未知参数.,数字特征往往是未知的, 这些未知值通常称为参数. 例如,都是参数. 如果 已知而 未知, 则 是参数而 不是参数.,总体参数,设总体为 总体的分布为 其中的 称为待,总体参数的取值范围称为参数空间, 记作,

2、估参数.,这类未知参数称为总体参数.,例如当 未知时, 正态总体 中有两个,总体参数.,例如, 总体,则相应的参数空间为,点估计的意义: 根据样本, 构造估计量,由样本对总体中的未知参数进行估计称为参数估计.,参数估计分为点估计和区间估计.,通过样本观测值,所对应的估计值,作为总体参数的估计值.,记作,区间估计的含义是: 依据样本来估计未知参数的某一,点估计的意义: 在数轴上表示一个点.,区间估计的具体实现:,再由观测值,范围.,由样本构造两个统计量:,得到具体的区间,以此区间作为未知参数的区间估计.,下面讨论两种常用的点估计方法: 矩估计和极大似然,估计.,二、两种常用点估计,1.矩估计,矩

3、估计的基本思想是: 用样本原点矩替换同阶总体,原点矩, 而并不需要知道总体的具体分布.,矩估计的意义:,如果未知参数,定义 设 是取自总体 的样本, 记,则称,为 的矩估计量. 其中,以样本的原点矩替换总体的原点矩.,定理 设 是取自总体的一个样本,其中 未知, 是未知参数 的矩估计;, 是未知参数 的矩估计, 是未知参数 的矩估,计.,即,例1 设总体 求总体参数 的矩估计.,解 总体的分布为,设 为来自总体的样本, 则由上面的说明,未知参数 的矩估计为:,若 为观察值, 则相应的估计值为,例2 设有一批同型号灯管, 其寿命（单位: 小时）服从,试用矩估计方法估计 的值.,解 设总体,因,由

4、前面讨论知: 设 为来自总体的样本,参数为 的指数分布, 今随机抽取其中的11只, 测得其寿,命数据如下:,则指数分布中的参数 的矩估计为,对观察值 相应的估计值为,对已知数据, 因,所以, 未知参数的矩估计为:,例3 设总体服从参数为 的几何分布, 求参数 的矩,解 因总体服从几何分布, 故有概率函数:,从而有:,估计.,设 为来自总体的样本, 则相应的矩估计为,对观察值 相应的矩估计量为,例4 设总体有均值及方差, 现有6个随机样本的,求未知参数 的矩估计.,解 设 是来自总体的样本, 由于,故可取相应的均值的矩估计为:,观察数据为:,及方差的估计为,由已知数据, 得相应的估计值分别为:,

5、例5 设 是取自于总体的一个样本, 其中,因,因此 的矩估计为,密度函数为,例6 设 是取自于总体的一个样本, 的,其它.,求 的矩估计. 这里,解 因,从而有,由此得到所求参数的矩估计:,例7 设一升自来水中含有的大肠杆菌个数,果, 从消毒过的水中随机地抽取了 次, 每次一升, 化,其中 为未知参数. 为了检查自来水消毒设备的效,验得到每升水中大肠杆菌个数如下:,试估计平均每升自来水中大肠杆菌个数.,解 因,又,故相应的矩估计为,又:,即平均每升自来水中约有一个大肠杆菌.,2.极大似然估计,极大似然估计的意义,极大似然估计是求总体未知参数点估计的另一重要方,一个口袋里装有黑白两种棋子，且两种

6、棋子的比例,法. 我们以下面的例子来说明极大似然估计的具体意义.,为1：4，但不知道是黑：白是1：4还是白：黑是1：4。,现有放回地取2次，每次1个，发现取出的2个棋子都是,黑子，问是黑：白是1：4还是白：黑是1：4？,极大似然估计的意义,设 是来自总体 的样本, 总体的分布,值, 即,为 其中 为待估参数,构造似然函数:,称 为参数 的极大似然估计量. 而观察,值 对应的值为参数 的极大似然估计值.,求极大似然估计量的方法:,由总体的分布 构造似然函数:,关系式两边取对数:,上式两边对 求导, 并令其为零, 即有:,从中解出 一般 为 的函数, 即:,由此得到未知参数 的极大似然估计量:,例

7、10 设总体 求参数 的极大似然估计.,解 因总体 总体的分布为,故对样本 可得似然函数为:,取对数后得:,解之, 得,即:,对 求导,由此得极大似然估计量为:,和相应的估计值,注意到这和矩估计的结果是一致的.,例11 总体服从参数为 的泊松分布, 求 的极大似然估,解 因总体 总体的分布为,故对样本 可得似然函数为:,计.,取对数后得,对 求导并令其为零, 则有,即,由此得参数的估计量:,和对应的估计值:,例12 设总体服从参数为 的几何分布, 求参数 的极,解 因总体服从几何分布, 故有总体分布:,故对样本 可得似然函数为:,取对数后得:,大似然估计.,对 求导并令其为零, 则有,即有,解

8、之得:,由此得参数 的估计量和估计值为,例13 设总体 求 的极大似然估,解 因总体的分布为:,对样本, 得相应的似然函数:,计.,注意到似然函数中有两个未知参数, 取对数后有:,分别对参数 求偏导, 并联立方程组:,由此得方程之解为:,及:,所以, 参数 的极大似然估计为:,相应的估计值为:,例14 设总体 为连续型随机变量, 密度函数为,其它,求参数 的极大似然估计.,解 设 为来自总体的样本, 则似然函数为,取对数后有:,上式对 求导, 并令其为零, 则有,解之得,由此得估计量和估计值为,对总体未知参数的估计, 存在多种方法, 不同方法下,三、估计量的评选标准,所得到的估计量可能各不相同

9、, 由此自然产生问题: 对,同一个未知参数的不同估计量, 究竟哪个更好点. 为此,建立下面的几个评选标准.,无偏性,设总体 , 总体的分布 中包含未知参数 若,则我们自然考虑估计量与真值的偏差如何, 由此需要考,的分布情况. 注意到 是随机变量, 自然会考察,有估计量:,察量,定义 若未知参数 的估计量,则称该估计量是 的无偏估计. 若 满足,则称该估计量为参数 的渐近（无偏）估计.,满足,且,总体的样本, 则,当 未知而 已知时, 的矩估计和极大似然估计都,是 且 是 的无偏估计;,当 已知但 未知时, 的极大似然估计,为无偏估计;,当 与 均未知时, 的极大似然估计分别为,前者是无偏估计,

10、 而后者是渐近无偏估计.,例16 设 是来自总体的样本,其中 未知, 证明 的矩估计为无,偏估计.,证 因,是参数 的矩估计.,又,例17 设总体 已知, 则 的极大似然,估计,为 的无偏估计.,证 因,所以 是 的无偏估计.,前面讨论的关于估计量的无偏性, 它反应的是估计量,与待估参数的偏离程度. 但某种情况下, 同一个参数的,两个不同的估计量与真值的偏离值是相同的, 考察下面,的例子.,例18 设 是来自总体 的容量 的样本,则,即 均为均值的无偏估计.,构造估计量,3.估计量的有效性,定义 设 为待估参数 的无偏估计, 若,则称估计量 比 更有效.,例19 设 是来自总体 的容量 的样本

11、,则,即 均为均值的无偏估计. 此时,构造估计量,即 是比 有效的估计.,进一步地, 我们有下面的结论.,例20 设 是来自总体 的样本, 期望,取 所得到的估计是最有效的估计.,证 因,存在, 为非负常数,若 为无偏估计, 则有,反之显然.,又, 若 为无偏估计, 因,则 为最小且,四、区间估计,上节讨论了未知总体参数 的点估计. 注意到点估计,仅是未知参数的一个近似估计. 而真值,往往又是不知道的. 无论估计量 如,何选取, 我们很难估计真值与近似值之间的误差. 在实际,问题中, 我们不仅需要知道近似值, 而且还需要知道该,近似值的精确性与可靠程度.,1.区间估计的一般意义,设总体 分布为

12、 其中 为待估参数,是估计量, 对一个较小的值 和 使得,为 通过对 的控制, 我们可使得相应的概率在事,先控制的范围中. 通过下面的例子来进一步地说明该问,上式的意义是真值落在随机区间 的概率,题.,例21 为了考察某厂生产的水泥构件的抗压强度（单位:,到25个数据 并由此算得,（该值为水泥构件平均抗压强度平均值的点估计）. 从,是参数 的一个较优的点估计, 因此一个较为,千克力/平方厘米）, 随机抽取了25个样品进行测试, 得,历史数据中知, 抗压强度 其中 为未,知, 现希望根据已知的数据得到 的一个区间估计. 由于,合理的区间是 对应的概率为,设来自总体的样本为 则区间,是一个随机区间

13、. 反映区间估计可靠程度的量是这个随,机区间覆盖未知参数 的概率:,由于 其中 因此上述概率,其中:,为:,我们希望这个概率至少为 其中 是近于 的正数,解得,这里 为标准正态分布的双侧 分位数.,例如当取 则 查表得:,由于,于是 所以随机区间为,一般把这个区间估计用分位数 表达为,因为它清楚地表示了这个区间估计的可靠程度（即它覆,盖未知参数的概率）为,在上面问题中, 由样本观察值计算得 代入上式,得 的区间估计为,从样本观察值提供的信息, 推断出以 的可靠程度,把上面问题一般化, 即得到区间估计的定义.,保证该厂生产的水泥构件的抗压强度在,（千克力/平方厘米）之间.,定义 设 是取自总体

14、的样本, 总体,和 使得,则称区间 为参数 的双侧 置信区间, 称,分布为 其中 为待估参数. 对此未知参数, 给,定 若存在两个统计量,为置信水平, 分别称为置信下限和上限. 称为置信,度.,注 在一般情况下, 置信上下限 为随机变量, 其具,体意义是: 对同一个参数 反复使用同一个置信区间,尽管不能保证每一次都能使 落在该区间内, 但至少有,次使得“ ”成立. 一般取 为接近,于0的正数.,区间估计的基本方法,设总体 总体的分布为 其中 为待估参数,寻找一个较优的点估计量 （一,以 为基础, 构造随机变量:,在该随机变量中包含所需要的待估参数, 并使得相应的,置信水平,般取相应的极大似然估

15、计）,分位数容易求得;,设 的 分位数为 的分位数为 则有,变换不等式“ ” 使其具有表达式,则 即为所求的估计区间.,在区间估计中, 也有单侧的情形.,定义 设 是取自总体 的样本, 对于未,使得,则称区间 为参数 的单侧 置信区间, 称,为置信水平, 称为单侧置信下限.,类似可以定义单侧置信上限.,五、正态总体下未知参数的置信区间,1.一个正态总体的情形,设总体 服从正态分布, 求参数 和 的置信区间., 未知时但 已知,如例21中的讨论, 令,为 的极大似然估计, 构造,则 再由标准正态分布的 的分位数,并且,因此,由此得 的双侧 的置信区间为,相应的单侧 置信区间分别为,和,例22 设

16、 抽取容量为9的样本, 的 的置信区间;, 的 的置信区间.,解 此时 查表得,代入式, 得置信区间为:,且样本均值为 求,置信水平为 则 再由,例21 求上例中 的单侧 的置信区间的上限及下限.,解 因 由式, 易得置信区间的上 限为,其具体意义是: 我们可以有 的把握可保证该厂生,产的水泥构件的平均抗压强度至多只有 （千克力,/平方厘米）.,再由式得置信下限为:, 已知 未知,当 未知时, 仍取均值的极大似然估计 并构造:,此时,与的建立过程相仿, 得到 的双,侧 的置信区间,及单侧的 置信上限和下限:, 与 均未知,未知参数 的极大似然估计为,由此得到 的双侧 置信区间为,而相应的单侧置

17、信区间的上限及下限分别为:,当 未知时, 的极大似然估计为,因,仿上面讨论有:,由此得到 的双侧 的置信区间为:,再由,及单侧的 置信上限和下限:,例22 为估计一批钢索所能承受的平均张力, 从中随机,又张力服从正态分布, 求平均张力的置信水平为 的,解 注意到, 该问题是 未知的置信区间求解问题. 此,由式, 得平均张力的 置信区间为:,抽出10个样品作试验, 由试验数据知,置信区间.,时 查表得:,例23 电动机由于连续工作时间过长而会烧坏. 今随机,并假定该种型号的电动机烧坏前连续工作时间,取置信水平为分别 求出 与 的双侧置,地从某种型号的电动机中选取9台并测试它们在烧坏前,的连续工作

18、时间（单位：小时）, 由数据得,及,置信区间.,因而由公式得相应的置信区间为:,又,解 先求均值 的置信区间. 由已知条件:,再求方差的置信区间. 由,得到 的区间置信区间为:,总结,2.两个正态总体的情形,设 是取自总体 的样本,与 独立, 求二总体均值差,的 的置信区间.,是取自正态总体 的样本, 且,若 已知, 怎由于 是 的点估计,则由于,引入:,则容易得到相应的置信区间为,若 而 未知, 则记,引入,则可得到置信区间为:,这里,例24 甲, 乙两台机床加工同一种零件, 今在机床甲加,假定零件长度服从正态分布, 求均值差的 的置信区,工的零件随机抽取9件, 在乙加工的零件中随机抽取6件

19、,分别测得零件的长度（单位: ）, 由测量的数据可算,出:,间.,解 在此问题中,由此可得水平为0.95的均值差的置信区间的观察知为:,六、部分练习解答,8.1 设 是取自总体 的一个样本, 在,下列两种情形下, 求总体参数的矩估计和极大似然估计., 其中 未知, 其中 未知,解 因,所以 的矩估,计为,又似然函数为,取对数后有,求导后并令其为零, 则有,即有,得到,由此得到参数的极大似然估计为,因,所以参数 的矩估计,又总体的密度函数为,因而似然函数为,取对数后有,求导后并令其为零, 则有,由此得到参数的极大似然估计为,8.2 设某厂生产的晶体管的寿命 服从指数分布,今随机地抽取5只晶体管进

20、行测试, 测得它们的寿命,（单位: 小时）如下:,试求该晶体管的平均寿命的极大似然估计值.,解 由上题知, 参数 的极大似然估计为,所以平均寿命的极大似然估计值为,8.3 设 是取自总体 的一个样本,的密度函数为,其它.,求参数 的矩估计.,解 因,即,从而矩估计为,8.4 设 是取自总体 的一个样本,试求 与 的极大似然,估计.,解 因,又,概率函数为,由此得到样本 的似然函数为,取对数后有,上式 对 求导并令其为零, 则有,由此得到参数 的极大似然估计为,所以 的极大似然估计为,而,因而相应的极大似然估,计为,8.7 设 是取自总体 的一个样本,的分布函数为,试求 的矩估计和极大似然估计.

21、,解 的密度函数为,从而矩估计为,似然函数为,取对数后有,求导后有,所以极大似然估计为,8.10 设 是取自总体 的一个样本, 是 的无偏估计;, 不是 的无偏估计;, 是 的无偏估计.,试证:,证: ,所以 是 的无偏估,计.,所以 不是 的无偏估计;,因 相互独立, 由期望性质,所以 是 的无偏估计.,8.12 在习题8.3中,求 的极大似然估计, 并证明它不具有无偏性;,试求常数 使得 为 的无偏估计;,试求 的矩估计 的方差;,试求 的矩估计, 并证明当 时它不,具有无偏性.,证 似然函数为,欲使上式为最大, 则可取,所以参数 的极大似然估计量为,再求总体的分布函数:,当 时, 分布函数,由此得到分布函数,从而样本的分布函数