统计学-参数估计.ppt

统计推断的基本问题 估计问题 ch7 估计问题可分为参数估计与非参数估计 本章只介绍关于总体参数的点估计与区间估计 假设检验问题 ch8 第七章参数估计 1 点估计 一 点估计问题的提出 数理统计的基本任务就是依据样本推断总体特征 刻画总体X的某些特征的常数称为参数 其中最常用的参数是总体的数学期望和方差 例如 服从正态分布的总体X就是由参数 E X 2 D X 确定的 在实际问题中 常已知总体X的分布函数的形式 而未知总体X的一个或多个参数 根据样本提供的信息对总体X的未知参数作出估计 这类问题称为参数估计问题 参数估计通常有两种方法 点估计和区间估计 一 点估计提法 点估计问题提法 设已知总体X的分布函数F x 的形式 参数空间 为需要估计的参数 是来自总体X的一个样本 是其样本值 根据待估参数的特征构造一个适当的统计量 用其观察值 来估计未知参数 的估计量 的估计值 今后 不再区分估计量和估计值而统称为 的估计 均记为 设已知总体X的可能分布函数族为 理论根据 样本矩 的连续函数 依概率收敛于总体矩 的连续函数 其中为待估参数 二 构造估计量的两种方法 1 矩估计法 矩估计法 用样本矩 函数 来估计总体矩 函数 证明 辛钦定理 再根据辛钦定理知 由以上定义得下述结论 由第五章关于依概率收敛的序列的性质知 以上结论是下一章所要介绍的矩估计法的理论根据 设总体X的前k阶矩 均存在 而样本矩 其中 矩估计法就是 令总体的前k阶矩分别与样本的对应阶矩相等 即 可作为待估参数的估计量 称为矩估计量 其观察值为待估参数的估计值 称为矩估计值 这是含k个待估参数的联立方程组 其解 确定待估参数的个数k 求出总体的前k阶矩 求矩估计的步骤 解方程 组 写出矩估计量和矩估计值 因此 会求总体矩 记住样本矩 就可求出待估参数的矩估计量与矩估计值 例1 设总体X服从 a b 上的均匀分布 求未知参数a b的矩估计量 解 两个待估参数 连续型 先求总体的一 二阶 原点 矩 因为X U a b 所以 由 即 解得 例 求正态总体N 2 的两个未知参数 2的矩估计量 解 两个待估参数 连续型 先求总体的一 二阶 原点 矩 因为X N 2 所以 由 即 解得 2的矩估计量分别为 样本二阶中心矩 非修正样本方差 例 求服从二项分布B m p 的总体X未知参数p的矩估计量 解 单参数 离散型 由 因为所以总体X的一阶矩 期望 为 即 故所求矩估计量为 例4 已知总体X的概率密度为 解 单参数 连续型 因为总体一阶矩 其中未知参数 0 求 的矩估计量 由 故所求矩估计量为 即 解得 例5 已知总体X的概率密度为 解 单参数 连续型 因为总体一阶矩 其中未知参数 0 求 的矩估计量 不含 故不能由 样本一阶矩 总体一阶矩 解得所求矩估计 需要继续求二阶矩 河南理工大学精品课程概率论与数理统计 由 样本二阶矩 总体二阶矩 得 于是 所求矩估计量为 函数定义 2 极大似然估计法 一位老猎人与他的徒弟一起打猎 两人同时向一猎物射击 结果该猎物身中一弹 你认为谁打中的可能性最大 根据经验而断 老猎人打中猎物的可能性最大 极大似然估计法的思想就是对固定的样本值 选择待估参数的估计值使 样本取样本值 离散型 或 样本取值落在样本值附近 连续型 的概率最大 1 极大似然估计法的思想 单参数情形 下面分离散型与连续型总体来讨论 2 极大似然估计的求法 设离散型总体X的分布律 形式已知 为待估参数 为来自总体X的样本 为其样本值 则的联合分布律为 根据总体分布律写出似然函数 换x为xi 这正是事件 样本取得样本值 的概率 称之为样本的似然函数 它是待估参数 的函数 极大似然估计法 对固定的样本值 在参数空间中选取使似然函数达到最大的参数值作为参数 的估计值 称为极大似然估计值 它为样本值的函数 记为 相应统计量 称为参数 的极大似然估计量 设连续型总体X的概率密度 事件 样本取值落在样本值的邻域 的概率近似为 形式已知 为待估参数 来自总体X的样本 为其样本值 则的联合概率密度为 达到最大值 相应的 极大似然估计法 对固定的样本值 在参数空间中选取使上述概率达到最大的参数值作为参数 的估计值 称为极大似然估计值 由于因子 与 无关 故也使样本的似然函数 称为参数 的极大似然估计量 在参数 的变化范围内求似然函数的最大值点 依据总体X的分布律或概率密度写出样本的似然函数 综上可得 求极大似然估计的步骤 即为待估计参数的极大似然估计值 特别 当总体分布律或概率密度关于参数可导时 可通过解似然方程 必要时 参照极大似然估计值写出极大似然估计量 或与之等价的 来得到待估参数 的极大似然估计值 驻点 例6 求服从二项分布B m p 的总体X未知参数p的极大似然估计量 解 单参数 离散型 所以 样本的似然函数为 因为总体其分布律为 在f中换x为xi写出连乘积 求导得 四则运算求导法则 即 也即 解得极大似然估计值为 河南理工大学精品课程概率论与数理统计 极大似然估计量为 确定待估参数的个数k 求出总体的前k阶矩 求矩估计的步骤 解方程 组 写出矩估计量和矩估计值 知识回顾 求最大似然估计量的步骤 最大似然估计法是由R A Fisher引进的 最大似然估计法也适用于分布中含有多个未知参数的情况 此时只需令 对数似然方程组 对数似然方程 多参数情形 当总体分布中含有多个待估参数时 可类似于单参数情形来求其极大似然估计 其步骤为 写出似然函数 求多元似然函数的极大值点 当L关于各参数可导时 可解似然方程组 得各参数的极大似然估计 河南理工大学精品课程概率论与数理统计 例7 求正态总体N 2 的两个未知参数 2的似然估计量 解 双参数 连续型 因为X N 2 所以X总体的概率密度为 设为样本的一个样本值 则似然函数为 河南理工大学精品课程概率论与数理统计 从而 取对数得 由似然方程组 视 2为整体 河南理工大学精品课程概率论与数理统计 解得 2的极大似然估计值为 从而 2的极大似然估计量为 河南理工大学精品课程概率论与数理统计 例8 设总体X服从 a b 上的均匀分布 求未知参数a b的极大似然估计量 解 双参数 连续型 因为所以X的概率密度为 设为样本的一个样本值 记 河南理工大学精品课程概率论与数理统计 由于 所以 似然函数为 对于满足的任意a b有 河南理工大学精品课程概率论与数理统计 即 故a b的极大似然估计值为 故a b的极大似然估计量为 本例直接利用极大似然思想方法来求似然估计 河南理工大学精品课程概率论与数理统计 小结矩估计法是由样本矩等于总体矩的方程 组 解出矩估计量 再相应写出矩估计值 而极大似然估计法是由似然方程 组 解出似然估计值 再相应写出似然估计量 同一个待估参数的矩估计与极大似然估计可能相同 如二项总体 正态总体 也可能不同 如均匀总体 河南理工大学精品课程概率论与数理统计 3 极大似然估计的不变性 例如 正态总体方差 2的极大似然估计为 故标准差 0 的极大似然估计为 定理设是总体X的参数的极大似然估计 函数具有单值反函数 则是的极大似然估计 即 河南理工大学精品课程概率论与数理统计 例9 设总体X服从参数为 的泊松分布 求P X 0 的极大似然估计 因为 解 因为 易求的极大似然估计值与极大似然估计量分别为 有单值反函数 故由上述定理知 P X 0 的极大似然估计为 河南理工大学精品课程概率论与数理统计 对于同一个参数 用不同方法求出的估计量可能不同 那么 采用哪一个估计量为好呢 用何种标准来评判估计量的优劣 下面 介绍几个常用标准 1 无偏性 定义设估计量存在期望 且对任意有 三 估计量的评选标准 则称为的无偏估计量 河南理工大学精品课程概率论与数理统计 称为用来估计的系统误差 因此 无偏估计就是说无系统误差 河南理工大学精品课程概率论与数理统计 例10 设总体X存在均值 与方差 2 0 则 解 因为 1 样本均值是总体均值 的无偏估计 2 样本方差是总体方差 2的无偏估计 河南理工大学精品课程概率论与数理统计 1 样本均值是总体均值 的无偏估计 2 样本方差是总体方差 2的无偏估计 所以 河南理工大学精品课程概率论与数理统计 易知 对均值 方差 2 0都存在的总体 方差的估计量 是有偏估计 无偏化得 河南理工大学精品课程概率论与数理统计 可以证明 无论总体X服从何种分布 k阶样本矩是k阶总体矩的无偏估计 即有 因此 一般都是取样本均值作为总体均值的估计量 取样本方差作为总体方差的估计量 河南理工大学精品课程概率论与数理统计 是总体均值 的无偏估计 并确定常数a b使D Y 达到最小 解 因为 例11 设从存在均值 与方差 2 0的总体中 分别抽取容量为n1 n2的两个独立样本 其样本均值分别为 证明 对任意常数a b 由期望性质得 河南理工大学精品课程概率论与数理统计 由无偏性知 Y是 的无偏估计量 由方差性质得 河南理工大学精品课程概率论与数理统计 即 解得当 时D Y 最小 由导数应用知 河南理工大学精品课程概率论与数理统计 例12 试证明均匀分布 解 因为 极大似然估计量为 中未知参数 的极大似然估计量不是无偏估计 而总体分布函数 河南理工大学精品课程概率论与数理统计 的分布函数为 故其概率密度为 河南理工大学精品课程概率论与数理统计 从而 不是的无偏估计 河南理工大学精品课程概率论与数理统计 2 有效性 则称较为有效 同一个参数的无偏估计可能有多个 在容量相同情况下 认为取值密集于参数真值附近的估计量较为理想 由于方差度量随机变量取值与其数学期望的偏离程度 故无偏估计应以方差小者为好 定义设都是 的无偏估计量 若有 河南理工大学精品课程概率论与数理统计 例13 设总体X服从参数为 的指数分布 解 因为 其中 0为未知参数 试证 易知服从参数为 n的指数分布 故 1 和都是 的无偏估计 2 评定的有效性 所以 是 的无偏估计量 河南理工大学精品课程概率论与数理统计 所以 也是 的无偏估计量 于是 由于 注意到当n 1时 在实际问题中常常使用无偏性 有效性这两个标准 至于一致性请自学 暂存不议 故当n 1时 较为有效 河南理工大学精品课程概率论与数理统计 2 区间估计 在参数估计中 除了求出未知参数 的点估计外 常需给出以一定可信度包含参数 真值的区间 置信区间 这类问题就是区间估计问题 一 问题的提出 思想 河南理工大学精品课程概率论与数理统计 置信区间设总体X的分布函数F x 含有一个未知参数 对于给定值 0 1 若由来自总体X的样本能确定两个统计量 满足 则称随机区间是 的置信度为1 的 双侧 置信区间 分别称为置信下限和置信上限 1 称为置信度 关于定义的说明 河南理工大学精品课程概率论与数理统计 的意义是 若反复进行多次容量均为n的抽样 则每个样本值都确定一个区间 它或包含 的真值 或不包含 的真值 按贝努里大数定律可知 在这样多的区间中 包含 真值的区间约占100 1 不包含 真值的区间约占100 例如 0 01 反复抽样1000次 得到的1000个区间中包含 真值的区间约有990个 而不包含 真值的区间仅约为10个 河南理工大学精品课程概率论与数理统计 求未知参数 的置信区间的步骤 并且Z的分布是已知的且不依赖于 及其它任何未知参数 2 对于给定的置信度1 确定两个常数a b 使 二 置信区间的求法 方法 1 构造一个仅含未知参数 的样本函数 不是统计量 3 由 解得与之等价的不等式 河南理工大学精品课程概率论与数理统计 其中统计量构成的随机区间就是 的一个置信度为1 的置信区间 4 如果有一个样本值 便可得到一个固定区间 它不是随机区间 仍称之为置信度为1 的置信区间 它属于包含 真值的区间的可信程度为100 1 或说该区间包含 的可信程度为100 1 下面 分单正态总体与双正态总体两种情形仅介绍有关正态总体均值和方差的区间估计 河南理工大学精品课程概率论与数理统计 设正态总体X N 2 是来自该正态总体的样本 分别是样本均值和样本方差 给定的置信度为1 单正态总体情形 三 正态总体均值与方差的区间估计 1 均值 的置信区间 方差 2已知 由于是的无偏估计 且故可作随机变量 其分布不依赖于任何未知参数 河南理工大学精品课程概率论与数理统计 由标准正态分布的双侧 2分位点概念知 即 故得到 的一个置信度为1 的置信区间 河南理工大学精品课程概率论与数理统计 例如 1 n 16 0 05 1 0 95 查表得 则得到一个置信度为95 的置信区间 若有一个样本值 并算得样本均值的观察值为 则得到一个具体区间 它不再是随机区间 但仍称之为置信度为95 的置信区间 其含义为 区间 4 71 5 69 包含 的可信度为95 河南理工大学精品课程概率论与数理统计 3 此处置信区间的长度为 即 1 区间 4 71 5 69 包含 的可信程度为95 2 置信区间不唯一 由于标准正态分布概率密度对称 故一般取对称置信区间 即双侧分位点对称 当然 也可取其它非对称的置信区间 即双侧分位点不对称 显然 长度愈短估计精度愈高 解得容量 注意 河南理工大学精品课程概率论与数理统计 方差 2未知 比方差已知情形更实用 由于是的无偏估计 在上述随机变量Z中 换 为S 且由ch6 th2可作随机变量 其分布不依赖于任何未知参数 由t 分布的双侧 2分位点概念知 即 河南理工大学精品课程概率论与数理统计 故得到 的一个置信度为1 的置信区间 河南理工大学精品课程概率论与数理统计 例1 设某种清漆9个样品的干燥时间 小时 分别为 6 05 75 86 57 06 35 66 15 0 设干燥时间服从正态分布N 2 在下列条件下求 的置信度为0 95的置信区间 1 0 6 小时 2 未知 1 因为方差已知 故均值 的置信区间为 解 单正态总体 置信度为1 0 95 0 05 河南理工大学精品课程概率论与数理统计 由于 故所求置信区间为 即 2 因为方差未知 故均值 的置信区间为 河南理工大学精品课程概率论与数理统计 由于 故所求置信区间为 即置信区间为 河南理工大学精品课程概率论与数理统计 2 方差 2的置信区间 只介绍 未知情形 由于是的无偏估计 故可作随机变量 其分布不依赖于任何未知参数 由 2 分布的双侧 2分位点概念知 已知情形参考 河南理工大学精品课程概率论与数理统计 故得到 2的一个置信度为1 的置信区间 即 进而可得 的一个置信度为1 的置信区间 河南理工大学精品课程概率论与数理统计 注意 2 分布与F 分布概率密度虽不对称 但习惯上仍取面积对称意义上的双侧分位点 以简化计算 当然 这样的置信区间长度并非最短 河南理工大学精品课程概率论与数理统计 设总体 样本 由于 其分布不依赖于任何未知参数 构造随机变量 方差 2的置信区间为 河南理工大学精品课程概率论与数理统计 单正态总体 已知方差 均值置信区间 N 0 1 分布 未知方差 均值置信区间 t n 1 分布 未知均值 方差置信区间 2 n 1 分布 已知均值 方差置信区间 2 n 分布 河南理工大学精品课程概率论与数理统计 例2 分别使用金球和铂球测定引力常数 设测定值服从正态分布N 2 其中 2均未知 就两种情况分别求 的置信度为0 9的置信区间 并求 2的置信度为0 9的置信区间 解 单正态总体 方差未知 均值的置信区间 t分布 河南理工大学精品课程概率论与数理统计 1 置信度1 0 9 0 1 n 6 由样本值计算得 查表得 所得置信区间为 即为 2 置信度1 0 9 0 1 n 5 由样本值计算得 查表得 河南理工大学精品课程概率论与数理统计 均值未知 方差的置信区间 2 分布 所得置信区间为 即为 河南理工大学精品课程概率论与数理统计 1 置信度1 0 9 0 1 n 6 由样本值计算得 查表得 所得置信区间为 即为 2 置信度1 0 9 0 1 n 5 由样本值计算得 查表得 河南理工大学精品课程概率论与数理统计 即为 河南理工大学精品课程概率论与数理统计 设有两个正态总体 1 均值差 1 2的置信区间 双正态总体情形 分别是来自两个正态总体的独立样本 其样本均值与样本方差分别为 方差均已知 推导 因为分别是的无偏估计 且 河南理工大学精品课程概率论与数理统计 从而可得的一个置信度为1 的置信区间为 故是的无偏估计 且有 从而