19 参数估计.ppt

ch7 两类统计推断问题 估计问题 假设检验问题 点估计 区间估计 点估计问题的实际背景 从该批产品中任取一件 令 由辛钦大数定律有 故可用作为未知参数的估计 例 分析 某工厂生产了一大批产品 从中随机抽检了件产品 发现有件次品 如何估计整批产品的次品率 按题设 从总体抽取了容量为的样本 某电子产品的寿命服从指数分布其概率密度是 现从这批产品中随机抽取10件 测得其寿命值分别为 例 分析 试问怎样估计该批电子产品的平均寿命 产品的平均寿命为 因为 故可用样本均值作为总体均值的估计 设总体 其中的函数形式为已知 为未知参数 为来自总体的样本 二重性 依据什么原理求未知参数的点估计 问 参数的点估计 点估计的求法 的点估计 设下列总体矩都存在 由辛钦大数定律有 故当很大时 可认为 注意到是通过的分布计算的 故 一 矩估计法 令 设为Poisson分布总体的样本 求未知参数的矩估计 总体一阶矩和样本一阶矩分别为 例 样本 求未知参数的矩估计 例 总体一阶矩和样本一阶矩分别为 样本均值是总体均值的矩估计 故令 解得的矩估计分别为 为总体的样本 求未知参数的矩估计 设总体的均值和方差分别为 一阶矩的平方对应 例 特别地 本 则未知参数的矩估计分别为 二阶矩对应 思考一 故令 求得的矩估计分别为 从直观上看该结果是否合理 从直观看更好的估计应该是什么 总体二阶中心矩 样本二阶中心矩 例 思考二 设为来自总体的样本 求未知参数的矩估计 总体一阶矩为 样本一阶矩为 令 求得的矩估计为 例 如果都未知 怎样求的矩估计 思考 原理直观 是一种古老的参数估计方法 只用到总体矩 用法简单 如果总体矩不存在 则无法求参数的点估计 由于没有用到总体的分布形式 所以总体分布包含的参数信息没有加以利用 由于矩估计基于大数定律 所以在大样本下矩估计才有较好的效果 设总体X服从Cauchy分布 其密度函数为 则未知参数的矩估计不存在 例 关于矩估计法的评价 二 极大似然估计法 一个随机试验有很多可能结 Fisher的极大似然思想 果 如果在一次试验中 某事件发生了 则认为该事件发生的概率最大 一老战士与一新同学一同进行射击训练 每人打了一枪 结果有一枪中靶 试问这一枪是谁打中的 按照Fisher的极大似然思想 应该认为是老战士打中的较合理 一袋中有红 白两颜色的球若干 只知道两种球的比例为4 1 但不知道那种颜色的球占多 现从中任取一球 结果为白色 问袋中哪种颜色的球较多 按照Fisher的极大似然思想 应该认为袋中白球较多 例 分析 例 分析 总体 观察值 问 样本 二重性 一般理解为 当为连续型总体时 中随机点落在以为中心的充分小的邻域内 若有使得则可作为的估计 设是总体的样本 令 MaximunLikelihoodEstimation 若存在统计量使得 定义 简记为 似然函数为 设总体服从指数分布其密度为 因为与有相同的极值点 故令 解似然方程 求得的MLE为 称为似然方程 例 是来自总体的样本 试求的 求似然函数 设是来自总体的样本 求似然方程 组 概率函数 密度或分布律 极大似然估计的一般求法 解似然方程 组 则的为 由 解得 似然函数为 设是来自总体的样本 试求未知参数的MLE 令 代入 解得 故的MLE分别为 例 似然函数为 设为来自均匀分布总体的样本 求未知参数的MLE 例 显然从似然方程无法求得MLE 则有 其中 所以的MLE是 思考 是否有其他方法求解 似然函数为 设为来自均匀分布总体的样本 求未知参数的MLE 例 其中 所以的MLE是 说明函数L关于自变量a b有什么性质 即似然函数L关于自变量是严格单调增加的 关于自变量是严格单调减少的 点估计的评选标准 按矩估计法 求得的点估计分别为 设为均匀分布总体的样本 按MLE法 求得的点估计分别为 例 设为来自Poisson分布总体 所以都可以作为未知参数的点估计 样本 因为 例 对于同一参数 用不同的方法可能得到不同的点估计 用什么标准来评价和选择这些点估计量 设总体 其中为未知参数的取值范围 称为参数空间 对于Poisson总体其参数空间为 设总体则参数空间为 一 无偏性 例 例 设为来自总体的样本 为未知参数的点估计 问 一个 好的 估计应该满足什么条件 设总体 其中为未知参数的取值范围 称为参数空间 一 无偏性 设为来自总体的样本 为未知参数的点估计 定义 称 无论总体服从什么分布 若 故分别为的无偏估计 例 都存在 则分别是的无偏估计 根据抽样分布定理的结论有 注 是的有偏估计 设为来自总体的样本 则的矩估计和MLE 例 无论总体服从什么分布 若 例 都存在 则分别是的无偏估计 是的无偏估计 而的矩估计和MLE 是的有偏估计或渐近无偏估计 的无偏估计是 无偏性反映了商业行为的公平性 在工程技术中 称为系统误差 在经济活动中 在竞技评分中 无偏性反映了评分的公正性 无偏性的实际意义 问 在什么情况下 无偏性才有意义 无偏性只有在大量试验的情况下才有意义 二 有效性 一个 好 的点估计 其估计的绝对误差 应该较小 绝对值运算不方便 定义 若存在的一个估计量使得对的任意一个估计量都有 随机变量 定义 描述估计量 偏差 大小的三个量 三者之间关系 定义 设是的两个无偏估计 若 则称较有效 定理 存在 且 存在 且 则有 另一计算公式 二阶导数存在 定理 存在 且 存在 且 则有 所以 存在 且 存在 且 则有 定理 存在 且 存在 且 则有 特别当有 称为的下界 无偏估计的方差下界 定理 设是来自总体的样本 试求未知参数的最小方差无偏估计 例 的无偏估计分别是 的Fisher信息量为 即达下界 故是的最小方差无偏估计 因为 的Fisher信息量为 可见的方差达不到下界 但可证明是 的最小方差无偏估计 三 相合性 依概率收敛 定义 问 若增大 一个 好 的点估计应具有什么特性 分析 当增大时 样本包含的信息增多 估计应更精确 或 是的相合估计 即 随的增加 估计量与参数真值的绝对偏差较大的可能性越来越小 无论总体服从什么分布 若 故分别为的相合估计 例 都存在 则分别是的相合估计 分布大数定律知 由独立同 故修正的样本方差是的相合估计 又因为 两类点估计方法 矩估计法 极大似然估计法 大数定律 概率最大 估计量的评判标准 无偏性 相合性 有效性 渐近无偏 最小方差无偏估计 矩估计是相合估计 故是的相合估计 令 例 似然函数为 并证是的最小方差无偏估计和相合估计 求得的为 故是的无偏估计 又 的Fisher信息量为 达到下界 故是的最小方差无偏估计 参数的区间估计 设是未知参数的点估计 问题一 未知参数落在什么范围内 用估计有多高的精度 问题二 分析 则随机区间可作为未知参数的 估计 特点 小 则估计精度高 可信度低 大 则可信度高 估计精度低 对于连续型总体 则取 对于离散型总体 则取尽可能接近 两个统计量 定义 满足使得有 双侧置信区间 且 设为来自总体的样本 试求未知参数的置信水平为的置信区间 故对于给定的置信水平查表可求得使得 等价地有 故的置信水平为的置信区间为 例 的为 特别取则 只给出了的点估计 给出了所在的一个范围 都可以作为的点估计 其估计误差 置信度的实际含意是什么 是否一定包含真值 实际意义 问 于是的置信水平为的一个置信区间为 以上分析的可信度为即若反复抽样次 则包含真值的区间约有个 不包含的区间大约只有个 的置信水平为的置信区间满足 的置信水平为的置信区间也可由下式确定 面积为 可见置信区间不唯一 怎样选择 短 长 采用面积对称原则确定分位点 问 求未知参数的置信区间的一般方法 构造样本函数 设是待估计的未知参数 求的较好的点估计 对于给定的置信水平 由确定两个分位点 使得 的置信区间为 等价地 只包含未知参数 而不含其它未知参数 分布密度已知 且不含任何未知参数 且 设为来自总体的样本 试求未知参数的置信水平为的置信区间 故对于给定的置信水平查表可求得使得 等价地有 故的置信水平为的置信区间为 例 的分别为 且 设为来自总体的样本 怎样直接写出置信区间 例 的分别为 均未知 求的置信水平为的置信区间 视为可运算符 改为不等号 改为分位数 分析 故的置信水平为的置信区间为 问 若已知 的置信区间是什么 的为 且 的置信区间为 设是来自总体的样本 是来自总体的样本 两样本独立 且 例 均未知 求的置信度为的置信区间 的点估计分别为 故的置信度为的置信区间为 的置信水平为的置信区间为 方差已知 方差未知 的置信度为的置信区间为 的置信区间为 设是来自总体的样本 是来自总体的样本 两样本独立 且 例 均未知 求的置信度为的置信区间 的无偏估计分别为 故的置信度为的置信区间为 或 例 随机地从两批导线中各抽取根和根 分 别测得电阻为 批批 设两批导线的电阻分别为 试求的的置信区间 并问两批导线电阻是否有显著差异 分析 的置信区间为 的置信区间为 具体计算得 故的的置信区间为 因该置信区间包含故两批导线电阻没有显著差异 寿命 收入 生产率等越大越好 次品率 杂质含量 事故次数等越少越好 若存在统计量 满足有 单侧置信区间 指标的分类 对这类 好 指标关心下限 定义 对这类 坏 指标关心上限 且 等价地有 对于给定的置信水平 可查表求得使得 故的单侧置信下限为 均未知 试求的置信水平为的单侧置信下限 例 故的置信度为的单侧置信上限为 且 注意较小 例 形式运算 均未知 试求的置信水平为的单侧置信下限 例 非正态总体