统计决策与贝叶斯估计.ppt

1 统计决策 一 统计决策的三个要素1样本空间和分布族设总体X的分布函数为F x 是未知参数 若设X1 Xn是来自总体X的一个样本 则样本所有可能值组成的集合称为样本空间 记为X 2决策空间 判决空间 对于任何参数估计 每一个具体的估计值 就是一个回答 称为一个决策 一个统计问题中可能选取的全部决策组成的集合称为决策空间 一个决策空间至少应有两个决策 3损失函数统计决策的一个基本假定是 每采取一个决策 必然有一定的后果 统计决策是将不同决策以数量的形式表示出来 常见的损失函数有以下几种 1 线性损失函数绝对损失函数 2 平方损失函数 3 凸损失函数 4 多元二次损失函数 二 统计决策函数及风险函数1统计决策函数定义3 1 定义在样本空间上X 取值于决策空间A内的函数d x 称为统计决策函数 简称决策函数决策函数就是一个行动方案 如果用表达式处理 d x d x1 x2 xn 本质上就是一个统计量 2风险函数决策函数d X 完全取决于样本 损失函数L d 也是样本X的函数 当样本取不同的值x时 决策d X 可能不同 所以损失函数值L d 也不同 不能判断决策的好坏 一般从总体上来评价 比较决策函数 取平均损失 就是风险函数定义3 2设样本空间 分布族分别为X F 决策空间为A 损失函数为L d d X 为决策函数 为决策函数d X 的风险函数 R d 表示采取决策d X 所蒙受的平均损失 L d 的数学期望 优良性准则 定义3 3设d1 d2是统计问题中的两个决策函数 若其风险函数满足不等式则称决策函数d1优于d2 定义3 4设D d X 是一切定义在样本空间X上 取值于决策空间A上的决策函数全体 若存在一个决策函数d X 使对任意一个d X 都有则称d X 为一致最小风险决策函数 或一致最优决策函数 问题总结 1风险函数是二元函数 极值往往不存在或不唯一2在某个区间内的逐点比较不现实 麻烦 3对应不同参数的 同一决策函数 风险值不相等4由统计规律的特性决定不能点点比较5必须由一个整体指标来代替点点比较 2 贝叶斯估计 1 统计推断的基础 经典学派的观点 统计推断是根据样本信息对总体分布或总体的特征数进行推断 这里用到两种信息 总体信息和样本信息 贝叶斯学派的观点 除了上述两种信息以外 统计推断还应该使用第三种信息 先验信息 1 总体信息 总体分布提供的信息 2 样本信息 抽取样本所得观测值提供的信息 3 先验信息 人们在试验之前对要做的问题在经验上和资料上总是有所了解的 这些信息对统计推断是有益的 先验信息即是抽样 试验 之前有关统计问题的一些信息 一般说来 先验信息来源于经验和历史资料 先验信息在日常生活和工作中是很重要的 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学 它与经典统计学的差别就在于是否利用先验信息 贝叶斯统计在重视使用总体信息和样本信息的同时 还注意先验信息的收集 挖掘和加工 使它数量化 形成先验分布 参加到统计推断中来 以提高统计推断的质量 忽视先验信息的利用 有时是一种浪费 有时还会导出不合理的结论 贝叶斯学派的基本观点 任一未知量 都可看作随机变量 可用一个概率分布去描述 这个分布称为先验分布 在获得样本之后 总体分布 样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量 新的分布 后验分布 任何关于 的统计推断都应该基于 的后验分布进行 2 先验分布利用先验信息的前提 1 参数是随机的 但有一定的分布规律 2 参数是某一常数 但无法知道目标 充分利用参数的先验信息对未知参数作出更准确的估计 贝叶斯方法就是把未知参数视为具有已知分布的随机变量 将先验信息数字化并利用的一种方法 一般先验分布记为 3 贝叶斯公式的密度函数形式 后验分布 设总体X的分布密度函数P x 在贝叶斯统计中记为P x 它表示在随机变量 取某个给定值时总体的条件概率密度函数 P x P x 根据参数 的先验信息确定先验分布 样本x1 x2 xn的联合条件分布密度函数为这个分布综合了总体信息和样本信息 0是未知的 它是按先验分布 产生的 为把先验信息综合进去 不能只考虑 0 对 的其它值发生的可能性也要加以考虑 故要用 进行综合 这样一来 样本x1 xn和参数 的联合分布为 f x1 x2 xn q x1 x2 xn 简记为f x q x 这个联合分布把总体信息 样本信息和先验信息三种可用信息都综合进去了 在有了样本观察值x1 x2 xn之后 则应依据f x 对 作出推断 由于f x h x1 x2 xn m x1 x2 xn 其中m x1 x2 xn 是x1 x2 xn的边际概率函数 它与 无关 因此能用来对 作出推断的仅是条件分布h x1 x2 xn 它的计算公式是 这个条件分布称为 的后验分布 它集中了总体 样本和先验中有关 的一切信息 后验分布h x1 x2 xn 的计算公式就是用密度函数表示的贝叶斯公式 它是用总体和样本对先验分布 作调整的结果 贝叶斯统计的一切推断都基于后验分布进行 4 共轭先验分布 定义 设总体X的分布密度为p x F 为 的一个分布族 为 的任意一个先验分布 F 若对样本的任意观测值x 的后验分布h x 仍在F 内 称F 为关于分布密度p x 的共轭先验分布族 简称共轭族 计算共轭先验分布的方法 当给定样本的分布 似然函数 q x 和先验分布 由贝叶斯公式得h x q x m x 由于m x 不依赖于 改写为h x q x 上式不是正常的密度函数 是h x 的主要部分 称为h x 的核 例8X1 X2 Xn来自正态分布N 2 的一个样本 其中 已知 求方差 2的共轭先验分布 例9X1 X2 Xn来自二项分布B N 的一个样本 求 的共轭先验分布 计算共轭先验分布的方法1 h x q x m x m x 不依赖于 先求出q x 再选取与q x 具有相同形式的分布作为先验分布 就是共轭分布2 当参数 存在适当的统计量时 设X的分布密度为p x T X 是 的充分统计量 再由定理3 1 求得共轭先验分布族 定理3 1设f 为任一固定的函数 满足 若后验分布h x 与 属于同一个分布族 则称该分布族是 的共轭先验分布 族 二项分布b n 中的成功概率 的共轭先验分布是贝塔分布Be a b 泊松分布P 中的均值 的共轭先验分布是伽玛分布 指数分布中均值的倒数的共轭先验分布是伽玛分布 在方差已知时 正态均值 的共轭先验分布是正态分布N 2 在均值已知时 正态方差 2的共轭先验分布是倒伽玛分布I 5 贝叶斯风险 定义 称为决策函数d X 在给定先验分布 下的贝叶斯风险 简称d X 的贝叶斯风险 相当于随机损失函数求两次期望 一次对 后验分布 一次对X的边缘分布 6 贝叶斯点估计 定义 设总体X的分布函数F x 中参数 为随机变量 为 的先验分布 若在决策函数类D中存在一个决策函数d X 使得对决策函数类D中的任一决策函数d X 均有则称为d X 参数 的贝叶斯估计量 定理3 2设 的先验分布为 损失函数为L d d 2 则 的贝叶斯估计是其中h x 为参数 的后验密度 定理3 3 3 7 给出了各种损失函数下的贝叶斯估计 不证 定理3 3设 的先验分布为 取损失函数为加权平方损失函数则 的贝叶斯估计为 定理3 4设 1 2 p T的先验分布为 损失函数为则 的贝叶斯估计为 定义 设d d x 为任一决策函数 损失函数为L d 则L d 对后验分布h x 的数学期望称为后验风险 记作若存在一个决策函数d x 使得则d x 称为在后验风险准则下的最优决策函数 定理3 5对给定的统计决策问题 包括先验分布 和决策函数类D当满足则贝叶斯决策函数d x 与贝叶斯后验型决策函数d x 等价 定理3 6设的先验分布为 损失函数为绝对值损失则 的贝叶斯估计d x 为后验分布h x 的中位数 定理3 7设 的先验分布为 在线性损失函数下 则 的贝叶斯估计d x 为后验分布h x 的k1 k0 k1 上侧分位数 常用贝叶斯估计基于后验分布h x 的贝叶斯估计 常用如下三种 用后验分布的密度函数最大值作为 的点估计 称为最大后验估计 用后验分布的中位数作为 的点估计 称为后验中位数估计 用后验分布的均值作为 的点估计 称为后验期望估计 用得最多的是后验期望估计 简称为贝叶斯估计 记为 求贝叶斯估计的一般步骤 1 根据总体X的分布 求得条件概率q x 2 在已知 的先验分布 下 求得x与 的联合分布密度f x q x 3 求得X的边缘分布m x 4 计算h x q x m x 5 求数学期望6 求得贝叶斯风险 如果需要的话 例3 11设总体X B 1 p 其中参数p未知 且服从 0 1 上的均匀分布 损失函数取二次损失函数L d d 2 求参数p的贝叶斯估计及贝叶斯风险 若在试验前对事件A没有什么了解 对其发生的概率 也没有任何信息 贝叶斯本人建议采用 同等无知 的原则使用区间 0 1 上的均匀分布U 0 1 作为 的先验分布 因为取 0 1 上的每一点的机会均等 贝叶斯的这个建议被后人称为贝叶斯假设 某些场合 贝叶斯估计要比极大似然估计更合理一点 比如 抽检3个全是合格品 与 抽检10个全是合格品 后者的质量比前者更信得过 这种差别在不合格品率的极大似然估计中反映不出来 两者都为0 而用贝叶斯估计两者分别是0 2和0 83 由此可以看到 在这些极端情况下 贝叶斯估计比极大似然估计更符合人们的理念 例设总体X N 1 其中 未知 假定 N 0 1 对于给定的损失函数L d d 2 求 的贝叶斯估计量 例3 15X1 X2 Xn来自正态分布N 02 的一个样本 其中 02已知 未知 假设 的先验分布为正态分布N 2 其中先验均值 和先验方差 2均已知 试求 的贝叶斯估计 解 样本x的联合分布和 的先验分布分别为 由此可以写出x与 的联合分布其中 若记则有 注意到A B C均与 无关 样本的边际密度函数应用贝叶斯公式即可得到后验分布这说明在样本给定后 的后验分布为N B A 1 A 即 x N B A 1 A 后验均值即为其贝叶斯估计 它是样本均值与先验均值 的加权平均 贝叶斯估计的误差 贝叶斯区间估计 两种区间估计的区别1 构造一个统计量 并求得其概率分布2 利用参数的后验分布区间估计求解步骤前面同贝叶斯点估计 求得后验分布后按置信度 分开单侧 双侧查表 得出置信上下界 注意 贝叶斯区间估计的置信区间较短 贝叶斯点估计不再要求无偏性 例3 15x1 x2 xn来自正态分布N 02 的一个样本 其中 02已知 未知 假设 的先验分布为正态分布N 2 其中先验均值 和先验方差 2均已知 试求 的贝叶斯区间估计 解 由贝叶斯点估计知 例3 16对某一儿童做智力测验x 115 设结果为X N 100 为智商 根据经验 N 100 225 求该儿童智商的0 95贝叶斯置信区间解 由上题结论知 的后验分布服从正态分布 最大最小估计 极大极小 minmax 定义 设D是决策函数的集合 若有d x d x1 x2 xn d D 使得对任意一个决策函数d x1 x2 xn 总有则称d 为最大最小决策函数 当上界能取到时可记为 解题步骤 1 对D中所有决策函数求最大风险 2 在所有最大风险值中选取最小值此最小值所对应的决策函数就是最大最小决策函数 例设总体X服从两点分布 试求p的极大极小估计量 其中 解 决策空间为A 0 25 0 5 选取容量为1的子样 x只能取0 1a只能取0 25 0 5 则决策函数d x 有四个 风险函数R p d min maxR pi dj 5 2则极大极小估计为R p d 计算举例 例 地质学家把地层状态分为0 1两种 并把当地无石油记为 0 有石油记为 1 分布规律如下表 决策空间为A a1 a2 a3 其中a1为钻探石油 a2为出卖土地 a3为开发旅游 损失函数L a 取下表 决策函数d x 取下表 取n 1 9个决策函数 风险函数R i dj 及最大值表 可知 min maxR di 5 4 其对应的决策函数为d4 所以d4是这个统计决策问题的最大最小决策函数 d4为 d4 0 a2 d4 1 a1即当地质学家的结论是无油时出卖土地 有油时钻探石油 R d 计算举例 定理3 8给定一个统计决策问题 如果存在某个先验分布下的贝叶斯决策函数的风险函数是一个常数 那么该决策函数必定是这个统计问题的一个最大最小决策函数 若给定的统计决策问题是参数的点估计 在定理条件下 相应的决策函数必为参数的最大最小估计量 例3 18设总体X B 1 p p未知 服从分布损失函数为L d d 2 参数p的贝叶斯估计为p的最大最小估计 定理3 9给定一个贝叶斯决策问题 设 k k 1 为参数空间 上的先验分布列