概率论与数理统计第七章.ppt

概率论与数理统计 计算机科学学院裘国永 第七章参数估计 总体是由总体分布来刻画的 总体分布类型的判断 在实际问题中 我们根据问题本身的专业知识或以往的经验或适当的统计方法 有时可以判断总体分布的类型 总体分布的未知参数的估计 总体分布的参数往往是未知的 需要通过样本来估计 通过样本来估计总体的参数 称为参数估计 它是统计推断的一种重要形式 例如 1 为了研究人们的市场消费行为 我们要先搞清楚人们的收入状况 假设某城市人均年收入X N 2 但参数 和 2的具体值并不知道 需要通过样本来估计 2 假定某城市在单位时间 譬如一个月 内交通事故发生次数X p 参数 未知 需要从样本来估计 参数估计 点估计 区间估计 例如 X N 2 若 2未知 通过构造样本的函数 给出它们的估计值或取值范围就是参数估计的内容 参数估计的类型 点估计 估计未知参数的值 区间估计 估计未知参数的取值范围 并使此范围包含未知参数真值的概率为给定的值 7 1点估计 要求 1 理解参数的点估计 估计量和估计值的概念 2 掌握矩估计法和最大似然估计法 总体的分布函数形式已知 但它的一个或多个参数未知 借助总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题 定义设X1 Xn是总体X的一个样本 其分布函数为F x 其中 为未知参数 为参数空间 x1 x2 xn是相应的样本值 点估计问题就是要构造一个适当的统计量 一 估计量和估计值 用其观察值 来估计未知参数 称 为 的估计值 为 的估计量 注 在不致引起混淆的情况下 称估计量和估计值为估计 并都记为 二 寻求估计量的方法 1 矩估计法 2 最大似然法 3 最小二乘法 4 贝叶斯方法 这里我们主要介绍前面两种方法 矩法是基于一种简单的 替换 思想建立起来的一种估计方法 是英国统计学家K 皮尔逊最早提出的 依据 1 样本矩 2 样本矩的连续函数依概率收敛于相应的总体矩的连续函数 依概率收敛于相应 的总体矩 1 矩估计法 简称 矩法 矩估计法的具体做法如下 2 从这k个方程中解出 j 1 2 k 那么用诸的估计量Ai分别代替上式中的诸 即可得诸的矩估计量 j 1 2 k 1 写出总体的前k阶矩 1 2 k 一般是这k个未知参数的函数 记为 i 1 2 k 设总体的分布函数中含有k个未知参数 1 2 k 3 即 以Ai分别代替上式的 可得 的矩估计量 矩估计量的观察值称为矩估计值 例7 1设总体X在 a b 上服从均匀分布 a b未知 是来自X的样本 试求a b的矩估计量 解 即 可得a b的矩估计量为 样本矩 总体矩 以Ai分别代替上式的 解 例7 2设总体X的均值和方差都存在 未知 是来自X的样本 试求的矩估计量 解得 于是的矩估计量为 解 由矩法 可得 的据估计量 例7 3设总体X的概率密度为 是未知参数 其中 X1 X2 Xn是取自X的样本 求参数 的矩估计 解得 矩法的优点是简单易行 并不需要事先知道总体是什么分布 缺点是 当总体类型已知时 没有充分利用分布提供的信息 一般场合下 矩估计量不具有唯一性 其主要原因在于建立矩法方程时 选取那些总体矩用相应样本矩代替带有一定的随意性 它是在总体类型已知条件下使用的一种参数估计方法 它首先是由德国数学家高斯在1821年提出的 Gauss Fisher 然而 这个方法常归功于英国统计学家费歇 费歇在1922年重新发现了这一方法 并首先研究了这种方法的一些性质 2 最大似然法 最大似然法的基本思想 先看一个简单例子 是谁打中的呢 某位同学与一位猎人一起外出打猎 一只野兔从前方窜过 如果要你推测 你会如何想呢 只听一声枪响 野兔应声倒下 你就会想 只发一枪便打中 猎人命中的概率一般大于这位同学命中的概率 看来这一枪是猎人射中的 这个例子所作的推断已经体现了最大似然法的基本思想 一次试验就出现的事件有较大的概率 例7 4设总体X服从0 1分布 且P X 1 p 用最大似然法求p的估计值 解 总体X的分布律为 设x1 x2 xn为总体样本X1 X2 Xn的样本值 则 7 18 对于不同的p L p 不同 见右下图 现经过一次试验 事件 发生了 则p的取值应使这个事件发生的概率最大 在容许范围内选择p 使L p 最大 注意到 lnL p 是L的单调增函数 故若某个p使lnL p 最大 则这个p必使L p 最大 一般 设X为离散型随机变量 其分布律为 则X1 X2 Xn取到x1 x2 xn的概率为 7 21 即 似然函数与最大似然估计 P X1 x1 X2 x2 Xn xn p x1 q p x2 q p xn q 记为L x1 x2 xn q 或L q 称为样本的似然函数 若X连续 且X f x 则似然函数为 注1未知参数可以不止一个 如 1 k 设X f x 1 2 k 则定义似然函数为 定义在一组样本值x1 x2 xn给定的条件下 使得 则称 为 的最大似然估计值 而相应 的统计量 称为 的最大似然估计量 若有 几点说明 1 求似然函数L 的最大值点 可以应用微积分中的技巧 由于ln x 是x的增函数 lnL 与L 在 的同一值处达到它的最大值 假定 是一实数 且lnL 是 的一个可微函数 通过求解方程 可以得到 的最大值 2 用上述求导方法求参数的最大值有时行不通 这时要用最大似然原则来求 3 若概率函数中含有多个未知参数 则可解方程组 求最大似然估计的步骤 1 做似然函数 2 做对数似然函数 试求 的最大似然估计 3 列出似然方程 若该方程有解 则其解 就是 的最大似然估计值 而相应的统计量 是 的最大似然估计量 例7 5设总体X b 1 p X1 Xn是来自X的一个样本 试求参数p的最大似然估计量 解 设x1 xn是对应于样本X1 Xn的一个样本值 则总体X的分布律为 故似然函数为 解似然方程 对似然函数求对数 可得p的最大似然估计值