2-参数估计.ppt

第二章参数估计 2 1参数的点估计2 2参数的区间估计 在实际问题中 我们常常需要估计一些未知参数 这些参数可能是总体分布中的参数 或者当总体分布未知时 总体的某些数字特征 如 均值 方差等 样本集 值估计 范围估计 区间估计 点估计 点估计方法估计好坏的评判 区间估计方法常用总体参数的区间估计 其它类型的估计 如贝叶斯估计 2 1参数的点估计 矩估计极大似然估计贝叶斯估计点估计量的评价 点估计的定义 设总体X的分布F x 1 2 m 已知 但其参数 1 2 m未知 X1 X2 Xn为其样本 构造合适的统计量 点估计就是通过样本信息 用某个数值来估计参数 作为参数 的估计量 常用的点估计方法有 矩估计法和极大似然估计法 1 矩估计法 设总体为X 而X1 X2 Xn为其样本 总体的k阶原点矩 矩法估计就是用样本矩作为相应的总体矩的估计量 样本的k阶原点矩 显然 因此可用Ak作为 k的估计量 1 总体矩的估计 2 一般参数的矩估计法 设总体X的分布函数中包含m个未知参数 1 2 m 总体的k阶原点矩 样本的k阶原点矩 令 由此m个方程求出 1 2 m 得其估计为 称为 1 2 m矩估计量 2极大似然估计 1 极大似然原理 在随机试验中 许多事件都有可能发生 概率大的事件发生的概率也大 若在一次试验中 某事件A发生了 则有理由认为事件A比其它事件发生的概率大 进一步 可假设事件A发生的概率在所有事件中概率是最大的 如 袋中有红球 白球10个和5个 但不知其颜色的球具体有多少个 从袋中任取一球 结果为白 有理由认为有10个白球 又如 两种型号元件A B寿命分别为1000小时 50小时各取一只在同一系统中使用 有理由认为先坏的元件为B型 设总体X为离散型随机变量 其分布律为 2 极大似然估计法 其中 1 2 m未知 为待估参数 事件 样本 样本观测值 对连续型总体 可得类似结果 一般方法 令 解得的极大似然估计为 3 求导方法计算极大似然估计的步骤 求对数 解方程 3 贝叶斯估计 英国学者T 贝叶斯1763年在 论有关机遇问题的求解 中提出一种归纳推理的理论 后被一些统计学者发展为一种系统的统计推断方法 称为贝叶斯方法 贝叶斯统计学假设样本分布中的参数不是常数而是随机变量 参数 在参数空间 上的一个概率分布称为先验分布 先验分布的概率密度或分布律记为 在给定参数 条件下样本X的条件分布密度或分布律记为f x 在给定样本X条件下参数 的条件分布称为后验分布 后验分布密度或分布律记为 x 后验分布综合了先验分布和样本两部分信息 贝叶斯统计学以后验分布为基础进行统计推断 下面主要介绍贝叶斯参数估计中的后验期望估计方法 由贝叶斯公式有 其中 4 点估计量的评选标准 1 无偏性 2 有效性 证明 证明 最小方差无偏估计问题 费歇尔 Fisher 信息量 克拉美 劳 Cramer Rao 不等式 显然 有效估计量必是最小方差无偏估计量 反过来则不一定正确 因为可能在某参数函数的一切无偏估计中 找不到达到C R下界的估计量 我们常用到的几种分布的参数估计量多是有效或渐近有效的 从下面的例子 我们可以体会出验证有效性的一般步骤 例 例 3 相合性 2 2参数的区间估计 区间估计的定义及计算步骤正态总体均值的区间估计正态总体方差的区间估计单侧置信区间非正态总体参数的区间估计 1 区间估计的定义及计算步骤 用区间 a b 作为参数 的范围估计 需要考虑两个问题 可信度即区间 a b 包含参数 的概率 越大越好 精度即区间 a b 的长度 越小越好 默认原则可信度和精度都尽可能高 矛盾 二者不可兼得 解决方法在一定的可信度下 求最短的区间 1 区间估计问题 设总体X的分布含未知参数 由样本X1 X2 Xn确定两个统计量 1 X1 X2 Xn 2 X1 X2 Xn 如果对于给定的 0 1 有P 1 2 1 称随机区间 1 2 为的置信区间 1 称为置信度 1称为置信下限 2称为置信上限 区间估计的关键 用合适的方法确定两个统计量 1 X1 X2 Xn 2 X1 X2 Xn 1 区间估计的定义及计算步骤 2 区间估计的定义 1 区间估计的定义及计算步骤 例1设总体X N 2 2已知 未知 设X1 Xn是X的样本 求 的置信度为1 的置信区间 解 样本均值是总体均值 的无偏估计 样本均值的取值比较集中在 的附近 以很大概率包含 的区间也应大概率包含样本均值 基于这种想法 我们从样本均值出发 来构造 的置信区间 所以 的置信度为1 的置信区间为 3 区间估计的例子 1 区间估计的定义及计算步骤 4 区间估计的步骤 2 区给定1 置信度 可信度 可通过增大样本容量n的值来提高估计精度 即缩小置信区间的长度 注意 1 置信区间不是唯一的 选取区间尽可能短的 1 F n1 n2 1 2 正态总体均值的区间估计1 单个正态总体均值的区间估计 总体X N 2 E X D X 2样本X1 X2 Xn Xi N 2 i 1 2 n 1 单个正态总体均值的区间估计 给定置信度1 应有P u 2 U u 2 1 其中u 2是标准正态分布的上 2分位点 分两种情况求 的置信区间 1 方差 2已知 得 的1 置信区间为 对一次具体的抽样可得一个确定的置信区间 1 单个正态总体均值的区间估计 2 方差 2未知 给定置信度1 应有 P t 2 n 1 T t 2 n 1 1 其中t 2 n 1 是t n 1 分布的上 2分位点 由此得 的1 置信区间为 2 正态总体均值的区间估计2 两正态总体均值差的区间估计 设X N 1 12 Y N 2 22 X Y相互独立 X的样本为 X1 X2 Xn1 Y的样本为 Y1 Y2 Yn2 是 1 2的无偏估计量 2 两正态总体均值差的区间估计 分三种情况求 1 2的置信区间 1 方差 12 22已知 构造统计量 由此得 1 2的置信区间为 2 两正态总体均值差的区间估计 2 方差 12 22未知 但 12 22 构造统计量 其中S12 S12分别为X Y的样本方差 2 两正态总体均值差的区间估计 3 方差 12 22未知 n1 n2很大 50 大样本估计法 这时可用S12 S22代替 12 22 当n1 n2很大 50 时 近似地有 1 2的置信区间 3 正态总体方差的区间估计1 单个正态总体方差的区间估计 给定置信度1 应有P 21 2 n 2 2 2 n 1 1 数学期望 已知 X N 2 Xi为其样本 构造统计量 单个正态总体方差的区间估计 从而得到 2的1 置信区间为 的1 置信区间为 1 单个正态总体方差的区间估计 构造统计量 从而得到 2的1 置信区间为 2 数学期望 未知 3 正态总体方差的区间估计2 两个正态总体方差比的区间估计 X的样本容量为n1 样本方差为S12 Y的样本容量为n2 样本方差为S22 设两总体X N 1 12 Y N 2 22 X Y相互独立 考虑方差比 12 22的区间估计 2 两个正态总体方差比的区间估计 构造统计量 给定置信度1 应有 2 两个正态总体方差比的区间估计 所以 12 22的1 置信区间为 4 单侧置信区间 对参数 作范围估计时 有时只需考虑参数取值范围的上限或下限 若P 1 1 则称 1 为置信度是1 的单侧置信区间 1称为 的单侧置信下限 若P 2 1 则称 2 为置信度是1 的单侧置信区间 2称为 的单侧置信上限 1 单侧置信区间问题 4 单侧置信区间 2 求单侧置信区间的方法 方法1与求双侧置信区间类似 方法2可通过求置信度为1 2 的双侧置信区间来解决 4 单侧置信区间 例1设总体X N 2 2已知 求 置信度为1 的单侧置信区间 1 2 3 举例 选统计量 考虑 的1 2 的双测置信区间 解 单侧置信区间 所以 置信度为1 的两个单侧置信区间分别为 显然P 2