工程数学 概率统计简明教程 参数估计.ppt

第七章 参数估计 数理统计的任务 总体分布类型的判断 总体分布中未知参数的推断 参数估计与假设检验 参数估计问题的一般提法 设总体X的分布函数为F x 其中 为未知参数或参数向量 现从该总体中抽样 得到样本 X1 X2 Xn 依样本对参数 做出估计 或估计参数 的某个已知函数g 参数估计包括 点估计和区间估计 称该计算值为 的一个点估计 为估计参数 需要构造适当的统计量T X1 X2 Xn 一旦当有了样本 就将样本值代入到该统计量中 算出一个值作为 的估计 寻求估计量的方法 1 矩估计法 2 极大似然法 3 最小二乘法 4 贝叶斯方法 我们仅介绍前面的两种参数估计法 其思想是 用同阶 同类的样本矩来估计总体矩 矩估计是基于 替换 思想建立起来的一种参数估计方法 最早由英国统计学家K 皮尔逊提出 7 1矩估计 矩估计就是用相应的样本矩去估计总体矩 设总体X的分布函数中含k个未知参数 步骤一 记总体X的m阶原点矩E Xm 为am m 1 2 k am 1 2 k m 1 2 k 一般地 am m 1 2 K 是总体分布中参数或参数向量 1 2 k 的函数 故 am m 1 2 k 应记成 步骤二 算出样本的m阶原点矩 步骤三 令 得到关于 1 2 k的方程组 L k 一般要求方程组 1 中有k个独立方程 步骤四 解方程组 1 并记其解为 这种参数估计法称为参数的矩估计法 简称矩法 解 先求总体的期望 例1 设总体X的概率密度为 由矩法 令 样本矩 总体矩 解得 为 的矩估计 注意 要在参数上边加上 表示参数的估计 它是统计量 解 先求总体的均值和2阶原点矩 例2 设X1 X2 Xn是取自总体X的简单样本 X有概率密度函数 令y x 令y x 用样本矩估计总体矩 得 列出方程组 例3 设总体X的均值为 方差为 2 求 和 2的矩估计 解 由 故均值 方差 2的矩估计为 求解 得 例 若总体X U a b 求a b的矩估计 解 列出方程组 因 解上述方程组 得到a b的矩估计 矩估计的优点是 简单易行 不需要事先知道总体是什么分布 缺点是 当总体的分布类型已知时 未充分利用分布所提供的信息 仅仅利用k阶矩形式 此外 一般情形下 矩估计不具有唯一性 7 2极大似然估计 极大似然估计法是在总体的分布类型已知前提下 使用的一种参数估计法 该方法首先由德国数学家高斯 Gauss 于1821年提出 其后英国统计学家费歇 Fisher 于1922年发现了这一方法 研究了方法的一些性质 并给出了求参数极大似然估计一般方法 极大似然估计原理 I 极大似然估计原理 设总体X的分布 连续型时为概率密度 离散型时为概率分布 为f x X1 X2 Xn是抽自总体X的简单样本 于是 样本的联合概率函数 连续型时为联合概率密度 离散型时为联合概率分布 为 被看作固定 但未知的参数 视为变量 将上式简记为L 即 称L 为 的似然函数 视为变量 视为固定值 假定现在我们观测到一组样本X1 X2 Xn 要去估计未知参数 称为 的极大似然估计 MLE 一种直观的想法是 使得现在这组样本出现的可能性 概率 最大的那个参数 或那组参数 就作为参数的极大似然估计 这就是极大似然估计原理 如果 可能变化空间 称为参数空间 4 在最大值点的表达式中 代入样本值 就得参数 的极大似然估计 II 求极大似然估计 MLE 的一般步骤 由总体分布导出样本的联合概率函数 联合概率密度或联合概率分布 2 把样本的联合概率函数视作 的函数L 称为似然函数 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即 的MLE 两点说明 求似然函数L 的最大值点 通过求解似然方程 可以得到 的MLE 若 是向量 则需解似然方程组 用上述方法求参数的极大似然估计有时行不通 如对数似然的导数不存在等问题 但不能说似然函数的极大值点不存在 这时我们需要采取其他的办法来求解 而得到极大似然估计 III 下面举例说明如何求参数的MLE 例1 设X1 X2 Xn是取自总体X B 1 p 的一个样本 求参数p的极大似然估计 解 似然函数为 对数似然函数为 对p求导 并令其等于零 得 上式等价于 解上述方程 得 换成 换成 例2 求正态总体N 2 参数 和 2的极大似然估计 注 我们把 2看作一个参数 解 似然函数为 对数似然函数为 似然方程组为 由第一个方程 得到 代入第二方程 得到 解 似然函数为 例5 设X1 X2 Xn是抽自总体X的一个样本 X有如下概率密度函数 其中 0为未知常数 求 的极大似然估计 也可写成 求导并令其导数等于零 得 解上述方程 得 1 设总体X服从泊松分布P 求参数 的极大似然估计 思考题 2 设X U a b 求a b的极大似然估计 从前面两节的讨论中可以看到 同一参数可以有几种不同的估计 这时就需要判断采用哪一种估计为好的问题 另一方面 对于同一个参数 用矩法和极大似然法即使得到的是同一个估计 也存在衡量这个估计优劣的问题 估计量的优良性准则就是 评价一个估计量 好 与 坏 的一般标准 10 3估计量的优良性准则 设总体的分布参数为 对一切可能的 成立 则称为 的无偏估计 一 无偏性 注意 它是一个统计量 是 的一个点估计 如果 估计参数 平均来说它等于 一切可能的 是指 在参数估计问题中 我们并不知道参数 的真实取值 所以要求对一切可能的 都要有 说明 无偏性的意义是 用估计量 成立 例1 设X1 X2 Xn为抽自均值为 的总体X的随机样本 考虑 的如下几个估计量 例题解析 例2 证明 设总体X的均值为 方差为 2 X1 X2 Xn为来自总体X的随机样本 则 分别为总体均值和总体方差的无偏估计 证明 另一方面 因 则 注意到 注 1前面用矩法和极大似然法分别求得了正态总体N 2 中参数 2的估计 均为 显然它不是 2的无偏估计 用修正了的样本方差S2来估计 2显然更合理 例2 求证 样本标准差S不是总体标准差 的无偏估计 证明 因E S2 2 所以 Var S E S 2 2 由Var S 0 知 E S 2 2 Var S 2 所以 E S 故 S不是 的无偏估计 用估计量估计 估计误差 II 有效性 均方误差准则 是随机变量 通常用其均值衡量估计误差的大小 要注意 为了防止求均值时正 负误差相互抵消 我们先将其平方后再求均值 并称其为均方误差 记成 即 哪个估计的均方误差小 就称哪个估计比较优 这种判定估计优劣的准则为 均方误差准则 也称有效性 注意 均方误差可分解成两部分 证明 上式表明 均方误差由两部分构成 第一部分是估计量的方差 第二部分是估计量的偏差的平方和 注意 如果一个估计量是无偏的 则第二部分是零 则有 如果两个估计都是无偏估计 这时哪个估计的方差小 哪个估计就较优 这种判定估计量优劣的准则称为方差准则 例3 设X1 X2 Xn为抽自均值为 的总体 考虑 的如下两个估计的优劣 注 当用样本均值去估计总体均值时 使用全样本总比使用部分样本要好 思考 为什么 前面讨论了参数的点估计 点估计就是利用样本计算出的值 即实轴上点 来估计未知参数 10 4正态总体的区间估计 一 其优点是 可直地告诉人们 未知参数大致是多少 缺点是 并未反映出估计的误差范围 精度 故 在使用上还有不尽如人意之处 而区间估计正好弥补了点估计的这一不足之处 例如 在估计正态总体均值 的问题中 若根据一组实际样本 得到 的极大似然估计为10 12 一个可以想到的估计办法是 给出一个区间 并告诉人们该区间包含未知参数 的可靠度 也称置信系数 实际上 的真值可能大于10 12 也可能小于10 12 也就是说 给出一个区间 使我们能以一定的可靠度相信区间包含参数 这里的 可靠度 是用概率来度量的 称为置信系数 常用表示 置信系数的大小常根据实际需要来确定 通常 根据实际样本 由给定的置信系数 可求出一个尽可能短的区间 使 10 4 1置信区间的定义 定义1 一单正态总体参数的区间估计 根据基本定理 知 也可简记为 于是 的置信区间为 例1 某厂生产的零件长度X服从N 0 04 现从该厂生产的零件中随机抽取6个 长度测量值如下 单位 毫米 14 6 15 l 14 9 14 8 15 2 15 1 求 的置信系数为0 95的区间估计 解 n 6 0 05 z 2 z0 025 1 96 2 0 22 所求置信区间为 当方差未知时 取 的区间估计 于是 的置信系数为1 的区间估计为 也可简记为 2的区间估计 例2 为估计一物体的重量 将其称量10次 得到重量的测量值 单位 千克 如下 10 l 10 0 9 8 10 5 9 7 l0 l 9 9 10 2 10 3 9 9 设它们服从正态分布N 2 求 的置信系数为0 95的置信区间 解 n 10 0 05 t9 0 025 2 2622 例3 续例2 求 2的置信系数为0 95的置信区间 解 n 10 0 05 S2 0 0583 查附表得 于是 二 双正态总体的区间估计 在实际应用中 经常会遇到两个正态总体的区间估计问题 于是 评价新技术的效果问题 就归结为研究两个正态总体均值之差 1 2的问题 例如 考察一项新技术对提高产品的某项质量指标的作用 将实施新技术前的产品质量指标看成正态总体N 1 12 实施新技术后产品质量指标看成正态总体N 2 22 定理1 设X1 X2 Xm是抽自正态总体X的简单样本 X N 1 12 样本均值与样本方差为 Y1 Y2 Yn是抽自正态总体Y的简单样本 Y N 2 22 样本均值与样本方差为 当两样本相互独立时 有 证明 I 由基本定理 知 故 1 式成立 且二者相互独立 且 3 式与 4 式中的随机变量相互独立 由t分布的定义 得 N 0 1 2m n 2 换形式 tm n 2 分母互换 利用该定理 我们可以得到 1 2的置信系数为1 的置信区间 例1 比较棉花品种的优劣 假设用甲 乙两种棉花纺出的棉纱强度分别为X N 1 2 182 和Y N 2 1 762 试验者从这两种棉纱中分别抽取样本X1 X2 X200和Y1