《概率与数理统计》第07章 - 参数估计.ppt

第七章参数估计 引言第一节点估计第二节估计量的评选标准第三节区间估计第四节正态总体均值与方差的区间估计第五节单侧的置信区间习题 引言 总体 样本 统计量 描述 作出推断 统计推断 研究统计量的性质和评价一个统计推断的优良性 完全取决于其抽样分布的性质 随机抽样 参数估计问题 假设检验问题 点估计 区间估计 统计推断 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数 参数估计 估计废品率 估计新生儿的体重 估计湖中鱼数 估计降雨量 在参数估计问题中 假定总体分布形式已知 未知的仅仅是一个或几个参数 这类问题称为参数估计 参数估计问题的一般提法 X1 X2 Xn 现从该总体抽样 得样本 假定身高服从正态分布 设这5个数是 1 651 671 681 781 69 估计为1 68 这是点估计 这是区间估计 例如我们要估计某队男生的平均身高 现从该总体选取容量为5的样本 我们的任务是要根据选出的样本 5个数 求出总体均值的估计 而全部信息就由这5个数组成 第一节点估计 一 点估计概念 随机抽查100个婴儿 得100个体重数据 10 7 6 6 5 5 5 2 而全部信息就由这100个数组成 为估计 我们需要构造出适当的样本的函数T X1 X2 Xn 每当有了样本 就代入该函数中算出一个值 用来作为的估计值 把样本值代入T X1 X2 Xn 中 估计值 得到的一个点 我们知道 若 由大数定律 自然想到把样本体重的平均值作为总体平均体重的一个估计 样本体重的平均值 则 用样本体重的均值估计 类似地 用样本体重的方差估计 二 寻求估计量的方法 1 矩估计法 2 最大似然估计法 3 最小二乘法 4 贝叶斯方法 我们主要介绍前面两种方法 1 矩估计法 由辛钦大数定理 若总体的数学期望有限 则有 其中为连续函数 这表明 当样本容量很大时 在统计上 可以用样本矩去估计总体矩 这一事实导出矩估计法 理论依据 大数定律 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 那么它的前k阶矩 一般都是这k个参数的 函数 记为 从这k个方程中解出 j 1 2 k 那么用诸的估计量Ai分别代替上式中的诸 即可得诸的矩估计量 矩估计量的观察值称为矩估计值 解 例题 设总体X的均值和方差都存在 未知 是来自X的样本 试求的矩估计量 解得 于是的矩估计量为 例 设总体X在 a b 上服从均匀分布 a b未知 是来自X的样本 试求a b的矩估计量 解 即 解得 于是a b的矩估计量为 样本矩 总体矩 求参数的矩估计 课堂练习 设总体X的概率密度为 其中是未知参数 X1 X2 Xn是取自X的样本 解 解得 矩估计法的优点是简单易行 并不需要事先知道总体是什么分布 缺点是 当总体类型已知时 没有充分利用分布提供的信息 2 最大似然估计法 总体类型已知条件下使用的一种参数估计方法 最大似然估计原理 当给定样本X1 X2 Xn时 定义似然函数为 设X1 X2 Xn是取自总体X的一个样本 样本的联合密度 连续型 或联合分布律 离散型 为f x1 x2 xn 这里x1 x2 xn是样本的观察值 似然函数 最大似然估计法就是用使达到最大值的去估计 称为的最大似然估计值 看作参数的函数 它可作为将以多大可能产生样本值x1 x2 xn的一种度量 而相应的统计量 称为的最大似然估计量 两点说明 1 求似然函数L 的最大值点 可以应用微积分中的技巧 由于ln x 是x的增函数 lnL 与L 在的同一值处达到它的最大值 假定是一实数 且lnL 是的一个可微函数 通过求解方程 可以得到的最大似然估计 若是向量 上述方程必须用方程组代替 2 用上述求导方法求参数的最大似然估计有时行不通 这时要用最大似然原则来求 故似然函数为 例设X1 X2 Xn是取自总体X B 1 p 的一个样本 求参数p的最大似然估计量 解 X的分布律为 对数似然函数为 对p求导并令其为0 0 得 即为p的最大似然估计值 从而p的最大似然估计量为 4 在最大值点的表达式中 用样本值代入就得参数的最大似然估计值 求最大似然估计的一般步骤是 1 由总体分布导出样本的联合分布律 或联合密度 2 把样本联合分布律 或联合密度 中自变量看成已知常数 而把参数看作自变量 得到似然函数L 3 求似然函数L 的最大值点 常常转化为求lnL 的最大值点 即的最大似然估计 例 设总体X N 未知 是来自X的样本值 试求的最大似然估计量 似然函数为 解 X的概率密度为 于是 令 解得 的最大似然估计量为 例 设总体X在 a b 上服从均匀分布 a b未知 x1 x2 xn是一个样本值 试求a b的最大似然估计量 由于a x1 x2 xn b等价于a x 1 x n b 似然函数 解 记x 1 min x1 x2 xn x n max x1 x2 xn X的概率密度是 于是对于满足条件a x 1 b x n 的任意a b有 即L a b 在a x 1 b x n 时取到最大值 x n x 1 1 故a b的最大似然估计值为 a b的最大似然估计量为 其中 0 解似然函数为 对数似然函数为 课堂练习 1 设X1 X2 Xn是取自总体X的一个样本 求的最大似然估计值 求导并令其为0 0 从中解得 即为的最大似然估计值 对数似然函数为 2 设X1 X2 Xn是取自总体X的一个样本 其中 0 求的最大似然估计和矩估计 对数似然函数为 i 1 2 n 解 a 最大似然估计 似然函数为 0 2 由 1 得 0 1 对分别求偏导并令其为0 对数似然函数为 故使达到最大的为 对 取其它值时 且是的增函数 最后得最大似然估计为 b 矩估计 由密度函数 是具有均值为的指数分布 即 故 知 所以 解得 第二节估计量的评选标准 样本均值是否是的一个好的估计量 2 怎样决定一个估计量是否比另一个估计量 好 样本方差是否是的一个好的估计量 这就需要讨论以下几个问题 1 我们希望一个 好的 估计量具有什么特性 3 如何求得合理的估计量 X N 关于估计量的评选标准 我们必须强调指出 评价一个估计量的好坏 不能仅仅依据一次试验的结果 而必须由多次试验结果来衡量 这是因为估计量是样本的函数 是随机变量 因此 由不同的观测结果 就会求得不同的参数估计值 因此一个好的估计 应在多次试验中体现出优良性 常用的几条标准是 1 无偏性 2 有效性 3 相合性 这里我们重点介绍前面两个标准 估计量是随机变量 对于不同的样本值会得到不同的估计值 我们希望估计值在未知参数真值附近摆动 而它的期望值等于未知参数的真值 这就引出无偏性这个标准 一 无偏性 则称为的无偏估计 无偏性的实际意义是指没有系统误差 例1设总体X服从指数分布 其概率密度为 为未知 X1 X2 Xn是取自总体的一个样本 试证和都是参数的无偏估计量 证 所以是参数的无偏估计量 而 具有概率密度 故知 即也是参数的无偏估计量 所以无偏估计以方差小者为好 这就引进了有效性这一概念 由于 二 有效性 故较有效 例2 续例1 试证当n 1时的无偏估计量较有效 证 故有 而 故有 当n 1时 三 相合性 由辛钦定理 若总体的数学期望有限 则有 其中为连续函数 故 若为连续函数 为的相合估计量 则有 第三节区间估计 引言 前面 我们讨论了参数点估计 它是用样本算得的一个值去估计未知参数 但是 点估计值仅仅是未知参数的一个近似值 它没有给出这个近似值的误差范围 使用起来把握不大 区间估计正好弥补了点估计的这个缺陷 我们希望确定一个区间 使我们能以比较高的可靠程度相信它包含真正的参数值 这里所说的 可靠程度 是用概率来度量的 称为置信度或置信水平 置信水平的大小是根据实际需要选定的 一 置信区间定义 目标 在求置信区间时 要查表求分位点 二 置信区间的求法 标准正态分布的上分位点 N 0 1 明确问题是求什么参数的置信区间 置信水平是多少 解 寻找一个待估参数和统计量的函数 要求其分布为已知 有了分布 就可以求出取值于任意区间的概率 从中解得 对给定的置信水平 查正态分布表得 使 也可简记为 于是所求的置信区间为 如果取a 0 05 即1 a 0 95 又若s 1 n 16 查表得za 2 z0 025 1 96 于是得到一个置信水平为0 95的置信区间 再者 若由一个观察值算得样本均值的观察值 x 5 20 则得到一个区间 5 20 0 49 即 4 71 5 69 最后得到的区间 4 71 5 69 已经不是随机区间了 但我们仍称它为置信水平为0 95的置信区间 其含义是 若反复抽样多次 每个样本值 n 16 按 4 7 式确定一个区间 按上面的解释 在这么多的区间中 包含m的约占95 不包含m的约仅占5 现在抽样得到区间 4 71 5 69 则该区间属于那些包含m的区间的可信程度为95 或 该区间包含m 这一陈述的可信度为95 区间估计的图示 求置信区间的一般步骤 1 寻求一个参数q和样本X1 X2 Xn的函数 W W X1 X2 Xn q 使W的分布已知且不依赖参数q和其他未知参数 称具有这种性质的W为枢轴量 2 对于给定的置信水平1 a 定出两个常数a b 使P a W X1 X2 Xn q b 1 a 3 从a W X1 X2 Xn q b求得等价的不等式q q q 其中q q X1 X2 Xn q q X1 X2 Xn 都是统计量 则 q q 就是q的一个置信水平为1 a的置信区间 函数W X1 X2 Xn q 的构造 通常可以从q的点估计着手考虑 需要指出的是 给定样本 给定置信水平 置信区间也不是唯一的 对同一个参数 我们可以构造许多置信区间 例如 设X1 Xn是取自的样本 求参数的置信水平为的置 N 0 1 信区间 通常取法 我们总是希望置信区间尽可能短 在概率密度为单峰且对称的情形 当a b时求得的置信区间的长度为最短 即使在概率密度不对称的情形 如分布 F分布 习惯上仍取对称的分位点来确定置信区间 也就是说 要想得到的区间估计可靠度高 区间长度就长 估计的精度就差 这是一对矛盾 实用中一般在保证足够可靠的前提下 尽量使得区间的长度短一些 我们可以得到未知参数的的任何置信水平小于1的置信区间 并且置信水平越高 相应的置信区间平均长度越长 第四节正态总体均值与方差的区间估计 一 单个总体的情况 均值的置信区间 可得到的置信水平为的置信区间为 可得到的置信水平为的置信区间为 此分布不依赖于任何未知参数 由 或 例1 有一大批糖果 现从中随机地取16袋 称得重量 以克计 如下 506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布 试求总体均值的置信水平0 95为的置信区间 解 于是得到的置信水平为的置信区间为 方差的置信区间 由 可得到的置信水平为的置信区间为 还可得到标准差的置信水平为的置信区间为 由 可得到的置信水平为的置信区间为 例2 有一大批糖果 现从中随机地取16袋 称得重量 以克计 如下 506508499503504510497512514505493496506502509496设袋装糖果的重量近似地服从正态分布 试求总体标准差的置信水平为0 95的置信区间 于是得到的置信水平为的置信区间为 解 二 两个总体的情况 两个总体均值差的置信区间 于是得到的置信水平为的置信区间为 其中 于是得到的置信水平为的置信区间为 两个总体方差比的置信区间 未知 由 可得到的置信水平为的置信区间为 例3为比较I 两种型号步枪子弹的枪口速度 随机地取I型子弹10发 得到枪口速度的平均值为标准差随机地取 型子弹20发 得到枪口速度的平均值为标准差假设两总体都可认为近似地服从正态分布 且生产过程可认为方差相等 求两总体均值差的置信水平为0 95的置信区间 解 依题意 可认为分别来自两总体的样本是相互独立的 又因为由假设两总体的方差相等 但数值未知 故两总体均值差的置信水平为的置信区间为 其中 这里 故两总体均值差的置信水平为0 95的置信区间为 即 3 07 4 93 例4研究由机器A和机器B生产的钢管的内径 随机地抽取机器A生产的钢管18只 测得样本方差随机地取机器B生产的钢管13只 测得样本方差设两样本相互独立 且设由机器A和机器B生产的钢管的内径分别服从正态分布这里 i 1 2 均未知 试求方差比的置信水平为0 90的置信区间 这里 即 0 45 2 79 解 故两总体方差比的置信水平为0 90的置信区间为 第五节单侧的置信区间 前面讲述的置信区间中置信限都是双侧的 但对于有些实际问题 人们关心的只是参数在一个方向的界限 例如对于设备 元件的使用寿命来说 平均寿命过长没什么问题 过短就有问题了 这时 可将置信上限取为 而只着眼于置信下限 这样求得的置信区间叫单侧置信区间 单侧置信区间和置信限的定义 解 设灯泡寿命服从正态分布 求灯泡寿命均值的置信水平为0 95的单侧置信下限 例 从一批灯泡中随机抽取5只作寿命试验 测得寿命X 单位 小时 如下 1050 1100 1120 1250 1280 对给定的置信水平 确定分位点 使 即 于是得到的置信水平为的单侧置信区间为 计算得的置信水平为0 95的单侧置信下限是1065小时 代入样本值得 1 a 0 95n 5ta n 1 t0 05 4 2 1318x 1160 s2 9950 的置信水平为的单侧置信下限为 即 习题 置信区间 置信区间为 置信区间为