矩估计和极大似然估计.ppt

1 二、极大似然估计法 一 、矩法估计 第七章 参数估计 三、估计量的评选标准 四、置信区间 2 参数估计 参数估计问题是利用从总体抽样得到的信息 估计湖中鱼数 估计平均降雨量 来估计总体的某些参数或者参数的某些函数。 统计推断：参数估计和假设检验。 3 参数估计要解决问题: 总体分布函数的形式为已知, 需要确定未知参数。 但其中参数 未知时， 这类问题称为参数估计问题。 只有当参数 确定后， 才能通过率密度函数计算概率。 对于未知参数，如何应用样本 所提供的信息去对其一个或多个未知参数进行估计。 4 参数估计是对已知分布类型的总体， 参数估计 点 估 计 区间估计 矩 估 计 极大似然估计 参数估计可作如下划分 利用样本对其未知参数作出估计 5 1. 矩估计 2. 极大似然估计 3. 最小二乘法 4. 贝叶斯方法 这里我们主要介绍前面两种方法 . 寻求估计量的方法 6 点估计问题： 构造一个适当的统计量 用它的观察值来估计未知参数. 称为的估计量， 为的估计值. 参数估计： 点估计:估计的具体数值; 区间估计:估计的所在范围. 7 第七章 第一节 矩 法 估 计 二、常用分布参数的矩法估计 一 、矩法估计 8 一 . 矩估计法 故用样本矩来估计总体矩 基本原理： 总体矩是反映总体分布的最简单的 数字特征，当总体含有待估计参数时，总体矩是 待估计参数的函数。 样本取自总体， 样本矩在一定程度上可以逼近总体矩， 由英国统计学家K.皮尔逊最早提出的。 9 其中是待估参数. 为来自的样本, 存在, 设总体的k阶矩 则样本的k阶矩 (由大数定理) 令 从中解得 k个方程组 即为矩估计量。 矩估计量的观察值称为矩估计值。 设总体X的分布函数为 10 矩估计步骤： 连续型 离散型 11 所以参数 p 的矩估计量为 例： 总体 X 的分布列为 ： 是来自总体X的样本， 解：由于总体X 的分布为二项分布， 12 设某炸药厂一天中发生着火现象的次数X例1 服从 13 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。 二、常用分布常数的矩法估计 14 例2 解 15 注: 总体均值方差的矩估计量与总体分布无关。 做矩估计时,也可用中心矩建立关于未知参数的 方程组， 因而矩估计不唯一。 未知，求参数的矩估计。例3 解： 16 解 不合格品率 p 的矩法估计 分析 设总体X 为抽的不合格产品数，相当于抽取了 一组样本X1，X2， ，Xn , 且 因 p=EX, 故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品 (即出现不合格产品的频率). 例4 率，抽取了n 件产品进行检查. 17 例5 解 18 19 是未知参数，X1，X2，,Xn，是X 的一组样本， 解 设总体X的概率密度为 解得 例6 求的矩估计量. 20 其中0，与是未知参数，X1，X2，,Xn， 是X 的一组样本，求与的矩估计量. 解 例7. 设总体X的概率密度为 令 21 令 注意到 DX = E ( X2 )( EX )2=2 =2+(+)2 22 第七章 第二节 极大似然估计 极大似然估计 23 极大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一 起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 24 基本思想: 若事件Ai 发生了,则认为事件Ai在这n个可能结果 中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值 则选取 若一试验有n个可能结果现做一试验, 作为的估计值。 使得当 时,样本出现的概率最大。 25 极大似然估计法: 设是 的一个样本值 事件 发生的概率为 为 的函数， 形式已知 (如离散型) X的分布列为 的联合分布列为： 为样本的似然函数。 定义7.1 26 即取使得： 与 有关, 记为 称为参数的极大似然估计值。 称为参数的极大似然估计量。 达到最大的参数 作为的估计值。 现从中挑选使概率 样本的似然函数 27 若总体X属连续型, 其概率密度 的形式已知，为待估参数； 则 的联合密度： 一般，关于可微，故可由下式求得： 因此的极大似然估计也可从下式解得： 在同一点处取极值。 28 29 故似然函数为 例1 设 是来自总体X的一 个样本， 试求参数 p 的极大似然估计值. 解：设 是一个样本值。 X的分布列为： 而 令 30 它与矩估计量是相同的。 解得p的极大似然估计值 p的极大似然估计量 令 解得 31 设总体X的分布列为： 解： 似然函数为 似然估计值。 例2 是来自总体X的样本，求 p 的极大 32 令即 所以参数的极大似然估计量为 33 解 例3设 X1, X2, , Xn 是取自总体X 的一个样本, ，求参数的极大似然估计值。 似然函数为: 34 例4 设未知，是一个样本值 求的极大似然估计量. 解 设的概率密度为： 似然函数为 35 等价于因为 对于满足的任意有 即 时,取最大值 在 似然函数为 36 故的极大似然估计值为: 故 的极大似然估计量为: 即 时,取最大值 在 似然函数为 37 今取得一组样本Xk数据如下，问如何估计？ 16295068100130140270280 3404104505206201902108001100 某电子管的使用寿命 X （单位：小时) 服从指数分布 例5 指数分布的点估计 分析 可用两种方法：矩法估计 和极大似然估计. 38 1）矩法估计 39 2）极大似然估计 1. 构造似然函数 当xi0,（i=1,2, ,n) 时，似然函数为 2. 取对数 3. 建立似然方程 40 5. 得极大似然估计量： 4. 求解得极大似然估计值 41 似然函数为： 例6 设为未知参数， 是来自X的一个样本值，求的极大似然估计值。 解： X的概率密度为： 42 解得： 令 即： 43 注：lnx 是 x 的严格单增函数，lnL 与L有相同的 极大值，一般只需求lnL 的极大值. 求极大似然估计的一般步骤： 1. 写出似然函数 2. 对似然函数取对数 3. 对i (i =1, m)分别求偏导,建立似然方程(组) 解得 分别为 的极大估计值. 44 例7 矩估计与似然估计不等的例子 设总体概率密度为 求参数的极大似然估计, 并用矩法估计. 解 1) 极大似然估计法 1. 构造似然函数 2. 取对数：当 0xi1, (i=1,2, ,n) 时 45 2. 取对数：当 0 xi 1, (i=1,2, ,n) 时 3. 建立似然方程 4. 求解得极大似然估计值为 5. 极大似然估计 量为 46 2) 矩估计法 47 1. 矩法估计量与极大似然估计量不一定相同； 2. 用矩法估计参数比较简单,但有信息量损失； 3. 极大似然估计法精度较高,但运算较复杂； 4. 不是所有极大似然估计法都需要建立似然方程 小 结 求解. 48 解 例6. 不合格品率的矩法估计 分析 设总体X 即抽一件产品的不合格产品数，相当于 抽取了一组样本X1，X2， ，Xn , 且 因 p=EX, 故 p 的矩估计量为 设某车间生产一批产品，为估计该批产品不合格品率 ，抽取了n件产品进行检查. (即出现不合格产品的频率). 49 不合格品率p 的估计 设 总体X是抽一件产品的不合格品数，记 p= PX=1=P产品不合格 则 X的分布列可表示为 现得到X的一组样本X1，X2，,Xn的实际观 察值为 x1, x2, ,xn , 则事件 X1=x1，X2=x2，,Xn=xn 例7 出现的可能性应最大, 其概率为 50 应选取使L(p) 达到最大的值作为参数 p 的估计. 51 令 解得 （频率值） 注意到 52 其中0，与是未知参数，X1，X2，,Xn， 解 设总体X的概率密度为 是X 的一组样本，求与 的矩估计量. 例8 53 令 注意到 DX=E(X2)E(X)2=2 =2+(+)2 54 例 9 均匀分布的极大似然估计 设样本X1，X2， ，Xn来自在区间 0 , 上均匀