数理统计CH4参数估计.ppt

2019/7/15,王玉顺：数理统计04_参数估计,1,第四章 参数估计 Parameter Estimation,2019/7/15,王玉顺：数理统计04_参数估计,2,实际问题所研究总体X的分布参数(数字特征)常常是未知的，如果掌握了所研究总体X的概率分布或全部数据，那么只需简单计算就可得到所需的总体参数。而实际问题是，要么对总体X一无所知，要么只知总体X的分布类型，很难也没必要通过测取总体的全部数据获得所需的总体参数。因此，只需抽取总体的一个样本(sample observation)，利用样本提供的信息对总体参数做出推断。,引言,4 参数估计,总体参数有期望、方差、偏度、峰度、n阶原点矩、n阶中心矩等,2019/7/15,王玉顺：数理统计04_参数估计,3,对总体X抽样获得样本(sample)，由样本构造统计量(statistic)，以统计量为工具对期望、方差等总体参数的值或按给定概率所处的区间作出推断，称参数估计(estimation)。,(1)什么是参数估计？,4 参数估计,参数估计是统计推断的两个基本问题之一,2019/7/15,王玉顺：数理统计04_参数估计,4,本章仅讨论分布类型已知的参数估计问题 点估计(point estimation)：对所考察总体X的参数如均值、方差等的值所做的估计。 区间估计(interval estimation)：对所考察总体X的参数如均值、方差等以给定概率所处的可能区间(数值范围)所做的估计。,(1)什么是参数估计？,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,5,(2)估计量和估计值,4 参数估计,用于参数估计的 统计量称作估计量,2019/7/15,王玉顺：数理统计04_参数估计,6,样本X1,X2,Xn的观察值记作 (x1,x2,xn)或x1,x2,xn 估计量 (X1,X2,Xn)的观察值记作 估计量的观察值称作估计值。,(2)估计量和估计值,4 参数估计,估计值是由样本计算而得的估计量值,2019/7/15,王玉顺：数理统计04_参数估计,7,估计量 (X1,X2,Xn)是样本的函数仍是随机变量； 估计量是用于参数估计的统计量，不含任何未知参数； 估计量有确定的概率分布。,(3)估计量的性质,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,8,用估计量对参数做估计被视作随机试验，估计值就是一次试验的结果，做多次试验，估计值会在被估参数的真值附近摆动。,(4)估计值与参数真值的关系,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,9,4.1 矩估计 4.2 极大似然估计 4.3 估计量的评价 4.4 区间估计,本章内容,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,10,4.1 矩估计 Estimation by Moments,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,11,利用样本矩构造估计量，进而对参数进行估计的方法称作矩估计。,(1)什么是矩估计？,4.1 矩估计,2019/7/15,王玉顺：数理统计04_参数估计,12,依据：由大数定律知道，样本原点矩依概率1收敛于总体原点矩。即样本容量愈大样本原点矩与总体原点矩的偏差就愈小。 构造估计量的思路：(1) 以样本原点矩作相应总体原点矩的估计；(2) 估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系；(3) 解方程组得到估计量的表达式，称作矩估计量。此法称作矩估计法。,(2)矩估计的依据和思路,4.1 矩估计,2019/7/15,王玉顺：数理统计04_参数估计,13,(3)求总体均值的矩估计,4.1 矩估计,样本一阶原点矩作为总体一阶原点矩的估计,得总体均值的矩估计,记：,求矩估计量,2019/7/15,王玉顺：数理统计04_参数估计,14,4.1 矩估计,样本二阶原点矩作为总体二阶原点矩的估计,记：,(4)求总体方差的矩估计,求矩估计量,由方差计算公式可知待估参数与总体矩之间的关系：,2019/7/15,王玉顺：数理统计04_参数估计,15,估计量与样本矩之间的关系仿照待估参数与总体矩之间的关系,4.1 矩估计,解方程组得矩估计量,(4)求总体方差的矩估计,求矩估计量,2019/7/15,王玉顺：数理统计04_参数估计,16,4.1 矩估计,(4)求总体方差的矩估计,求矩估计量,2019/7/15,王玉顺：数理统计04_参数估计,17,抽样,(5)均值和方差的矩估计值,4.1 矩估计,2019/7/15,王玉顺：数理统计04_参数估计,18,矩估计适用于总体分布类型已知或未知时的分布参数估计； 要求总体存在一、二阶矩。哥西分布不存在一阶原点矩，不能使用矩估计； 因样本矩的表达式与总体的分布函数无关，故矩估计法未能充分利用样本所提供的全部信息。,(6)矩估计的适用范围,4.1 矩估计,2019/7/15,王玉顺：数理统计04_参数估计,19,4.2 极大似然估计 Maximum Likelihood Estimation,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,20,对分布类型已知的总体X抽样，获得容量为n的样本观察值(x1,x2,xn)，以发生该观察值的概率最大为目标构造总体参数的估计量，该估计量就称作总体参数的极大似然估计。,4.2 极大似然估计,什么是极大似然估计？,2019/7/15,王玉顺：数理统计04_参数估计,21,一个罐内装有黑色球和白色球共四个，用返回抽样方法从罐内连续取球三次，二次得白球，一次得黑球。问：罐内白球的个数最有可能是多少？,问题分析：设总体，=1表抽得白球，=0表抽得黑球，罐内取球三次视作对0-1总体抽样三次。设抽得白球的概率为p，则抽得黑球的概率为(1-p)，所研究问题可归结为对0-1总体参数p的估计。,通过例子理解极大似然估计,4.2 极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,22,解题步骤： (1)用估计量X表对0-1总体抽样三次取得白球的个数，则X实质上是容量为3的样本和，因此估计量XB(3, p)，其概率函数为,4.2 极大似然估计,(2)估计量X的观察值为2,(3)罐内白球的个数仅有1, 2和3三种可能结果，三总体发生事件X=2的概率见下表,通过例子理解极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,23,m罐内白球个数,三次抽样抽得白球的概率,4.2 极大似然估计,(4)对于估计量X，概率大的事件最易发生，因此发生观察值2的最有可能总体是p=3/4,通过例子理解极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,24,4.2 极大似然估计,极大似然估计问题可表为下面的数学模型：,通过例子理解极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,25,4.2.1 离散总体参数的 极大似然估计 Maximum Likelihood Estimation,4.2 极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,26,离散变量概率分布函数：,抽样所得的样本观察值：,抽样发生所得样本观察值的概率称作似然函数：,(1)由样本观察值建立似然函数,4.2.1 离散总体参数的极大似然估计,样本分量概率函数的连乘积,2019/7/15,王玉顺：数理统计04_参数估计,27,因似然函数L( )与其对数 lnL( )在同一点上取得极大值(两函数的极值点相同)，为算法简便计，似然函数常先做对数变换，再对待估参数 (此时看作变量)求偏导。,似然函数与其对数在求极大似然估计中等价,4.2.1 离散总体参数的极大似然估计,(2)对似然函数实施对数变换,2019/7/15,王玉顺：数理统计04_参数估计,28,满足下式的估计量就是极大似然估计：,或,极大似然估计 是似然函数对被估参数偏导数方程组的解,4.2.1 离散总体参数的极大似然估计,(3)似然函数对被估参数求导,2019/7/15,王玉顺：数理统计04_参数估计,29,似然函数：,似然函数对待估参数求偏导并令其等于0：,(4)Poission总体极大似然估计,4.2.1 离散总体参数的极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,30,解得极大似然估计值：,相应的极大似然估计量为：,4.2.1 离散总体参数的极大似然估计,(4)Poission总体极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,31,4.2.2 连续总体参数的 极大似然估计 Maximum Likelihood Estimation,4.2 极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,32,连续变量概率密度函数：,抽样所得的样本观察值：,称发生抽样所得样本观察值的概率为似然函数：,样本分量区间概率的连乘积,4.2.2 连续总体参数的极大似然估计,(1)由样本观察值建立似然函数,2019/7/15,王玉顺：数理统计04_参数估计,33,若x取常数，则似然函数L( )的极大值与x无关。因此，连续总体的似然函数可简化为下面的形式：,似然函数是样本分量密度函数的连乘积,4.2.2 连续总体参数的极大似然估计,(1)由样本观察值建立似然函数,2019/7/15,王玉顺：数理统计04_参数估计,34,似然函数与其对数在求极大似然估计中等价,4.2.2 连续总体参数的极大似然估计,(2)对似然函数实施对数变换,因似然函数L( )与其对数 lnL( )在同一点上取得极大值(两函数的极值点相同)，为算法简便计，似然函数常先做对数变换，再对待估参数 (此时看作变量)求偏导。,2019/7/15,王玉顺：数理统计04_参数估计,35,满足下式的估计量就是极大似然估计：,或,极大似然估计 是似然函数对被估参数偏导数方程组的解,(3)似然函数对被估参数求导,4.2.2 连续总体参数的极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,36,建立似然函数,(4)Normal总体极大似然估计,X1,X2,Xn是总体XN(, 2)的样本，求总体参数和2的极大似然估计,4.2.2 连续总体参数的极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,37,似然函数两边取对数并化简,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,38,似然函数对待估参数和2(此时看作变量)求偏导并令导函数等于零,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,39,解方程组得极大似然估计,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,40,样本一阶 原点矩,样本二阶中心矩,正态总体均值极大似然估计,正态总体方差极大似然估计,4.2.2 连续总体参数的极大似然估计,(4)Normal总体极大似然估计,2019/7/15,王玉顺：数理统计04_参数估计,41,4.3 估计量的评价 Compare Estimators,4 参数估计,2019/7/15,王玉顺：数理统计04_参数估计,42,从前两节所述内容可看出，对总体的未知参数可以构造不同的估计量去估计，那么自然要问：哪一个估计量更好呢？ 孰优孰劣，不能武断定论，这要看按什么标准来评价。本节介绍依据三种评价标准对估计量优劣的评价方法。,为什么要评价估计量？,4.3 估计量的平价,2019/7/15,王玉顺：数理统计04_参数估计,43,无偏估计示意图,估计量的期望等于被估参数：,(1)无偏估计(unbiased estimate),4.3 估计量的平价,设 是未知参数 的一个估计量，若满足 ，则称 是 的无偏估计。,2019/7/15,王玉顺：数理统计04_参数估计,44,均值估计,均值估计的期望,样本均值是无偏估计,(2)均值无偏估计,4.3 估计量的平价,2019/7/15,王玉顺：数理统计04_参数估计,45,方差的极大似然估计和矩估计：,方差的矩估计和极大似然估计是有偏的,(3)方差无偏估计,4.3 估计量的平价,2019/7/15,王玉顺：数理统计04_参数估计,46,4.3 估计量的平价,(3)方差无偏估计,方差矩估计和极大似然估计的期望,2019/7/15,王玉顺：数理统计04_参数估计,47,样本方差S2是无偏估计量,(3)方差无偏估计,4.3 估计量的平价,2019/7/15,王玉顺：数理统计04_参数估计,48,考察均值的两个无偏估计量：,同是无偏估计，哪一个更好呢？,4.3 估计量的平价,(4)估计量的有效性,2019/7/15,王玉顺：数理统计04_参数估计,49,估计量的方差较小为“有效”,4.3 估计量的平价,设 和 是未知参数 的两个无偏估计量，若满足 ，则称 比 有效。,讨论有效性需在两估计量均是无偏估计的前题下进行，否则比较有效性没有意义。,(4)估计量的有效性,2019/7/15,王玉顺：数理统计04_参数估计,50,4.3 估计量的平价,(5)有效估计minimum variance estimation,已证明，任一估计量的方差均满足下面的克拉美罗不等式(Cramer-Rao定理)：,其中：,I( )中的f(x; )是参数所属总体的概率密度,2019/7/15,王玉顺：数理统计04_参数估计,51,4.3 估计量的平价,有效估计亦称最小方差估计,若无偏估计 使克拉美-罗不等式中的等号成立，则称 为 的有效估计。即估计量的方差满足下式：,(5)有效估计minimum variance estimation,2019/7/15,王玉顺：数理统计04_参数估计,52,哪个估计量好?,(6)均值有效估计,4.3 估计量的平价,样本均值比样本分量的任何线性组合更有效,2019/7/15,王玉顺：数理统计04_参数估计,53,正态总体的密度函数,两边取对数,(7)Normal总体均值有效估计,4.3 估计量的平价,2019/7/15,王玉顺：数理统计04_参数估计,54,4.3 估计量的平价,对被估参数求偏导,密度函数对数展开,(7)Normal总体均值有效估计,2019/7/15,王玉顺：数理统计