第6章统计决策与贝叶斯推断.ppt

统计学家瓦尔德 A Wald 把关于假设检验和参数估计的经典统计理论加以概括 将不确定意义下的决策科学也包括在统计学范围之内 于1939年创立了统计决策理论 该理论弥补了过去统计理论的缺陷 统计决策的显著特点是 统计决策建立在统计分析和统计预测的基础上 是一种定量决策 统计决策是在不确定情况下 应用概率来进行决策的计算和分析 是一种概率决策 6 1统计决策 决策问题的三个基本要素 状态集 行动集行动空间 损失函数 依统计决策论的观点 对决策有用的信息 先验信息 样本信息 决策问题的分类 无数据 无样本信息 决策问题 统计决策问题 贝叶斯决策问题 一 基本概念 1 损失函数 描述当未知量处于状态而采取行动时所引起的损失 记为 线性损失函数 一 基本概念 2 决策函数 由样本空间到行动空间的可测映射称为决策函数 3 风险函数 称为决策函数的风险函数 设是一个决策函数 则损失函数关于样本分布的数学期望 平均损失愈小 决策函数愈好 风险函数描述在未知量处于状态而采取决策时所蒙受的平均损失 二 常用的决策准则 1 一致最优决策准则 则称为决策函数类的一致最小风险决策函数 或称为一致最优决策函数 定义设表示定义在样本空间上取值于行动空间的某一决策函数类 若存在一个决策函数 使得对任意 都有 2 最小最大 Minimax 决策准则 则称为该统计决策问题的最小最大决策函数 相应的风险称为最小最大风险 定义对于一个统计决策问题 设表示定义在样本空间上取值于行动空间的某一决策函数类 若有决策函数 使得 3 贝叶斯决策准则 先验信息与先验分布 无论是在统计决策问题还是在统计推断问题中总会包含未知量 为了对作统计决策或者作统计推断 样本信息是必不可少的 因为它包含的最新信息 除此之外 一些非样本信息也可用于统计决策和统计推断 这些非样本信息主要来源于经验或历史资料 由于此类经验或历史资料大多存在于 获取样本的 试验之前 故称这些非样本信息为先验信息 统计学中有两个主要学派 经典 频率 学派与贝叶斯学派 经典学派认为是未知参数 贝叶斯学派认为是随机变量 应该用一个概率分布去描述的未知状况 这个概率分布在抽样之前就已存在 它是关于的先验信息的概率陈述 这个概率分布就称为先验分布 用来表示 贝叶斯公式与后验分布 称为的后验分布 先验风险准则与后验风险准则 定义1 在给定的统计决策问题中 设为决策函数的风险函数 为的先验分布 则平均风险 称为决策的贝叶斯风险 若在决策函数类中存在 使得 则称为决策函数类在贝叶斯 先验 风险准则下的最优决策函数 简称贝叶斯决策函数或贝叶斯解 定义2 在给定的统计决策问题中 设为决策函数的损失函数 为的后验分布 则条件期望风险 称为决策函数的贝叶斯后验风险 若在决策函数类中存在 使得 则称为决策函数类在贝叶斯后验风险准则下的最优决策函数 或称其为贝叶斯后验型决策函数 例6 1一位收藏家拟收购一幅名画 这幅画标价为5000元 若这幅画是真品 则值10000元 若是赝品 则一文不值 此外 买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉 其收益情况如下表 现在 这位收藏家需要决定是买还是不买这幅画 1 如果收藏家有以下三种决策可供选择 以概率0 5买下这幅画 请一位鉴赏家进行鉴定 已知该鉴赏家以概率0 95识别一幅真画 以概率0 7识别一幅假画 如果鉴赏家鉴定为真品就买下这幅画 肯定不买那么 什么是这位收藏家的最小最大决策 2 如果根据卖画者以往的资料得知 发生的概率为0 75 发生的概率为0 25 那么这位收藏家是否应买下这幅画呢 3 在 2 的条件下 这位收藏家为稳妥起见 聘请一位鉴赏家做鉴定 已知鉴赏家以概率0 95识别一幅真画 以概率0 7识别一幅假画 如果鉴赏家说这幅画是真品 那么这位收藏家是否应买下这幅画呢 这是一个决策问题 状态集 为真品 为赝品 行动集表示 买 表示 不买 损失函数用矩阵可表示为 统计决策中所说的损失可以理解为 该赚到而没有赚到的钱 不该亏而亏损的钱 或者 不该支付而支付的钱 解 1 对 对 对 计算结果表明 收藏家的最小最大决策为 即如果鉴赏家鉴定为真品就买下这幅画 这一决策的最小最大风险为1800元 3 引入随机变量 由题意知 的先验分布为 由贝叶斯公式可得的后验分布 这样样本空间 行动空间 所以决策函数只有以下4个 这样本值时 这些决策函数的贝叶斯后验风险分别是 在时 这些决策函数的贝叶斯后风险分别是 可见在贝叶斯风险准则下 是最优决策函数 换言之 当鉴定家说这幅画是真品时 这位收藏家应买下这幅画 下面计算 3 中那些决策函数的贝叶斯风险 先算的边缘分布 从而 由此可见 在贝叶斯风险准则下的最优决策函数仍是 在两种不同风险准则下得出相同的最优决策函数 其理论依据是定理6 1 1 定理6 1 1对给定的统计决策问题 含给定的先验分布 和决策函数类 若贝叶斯风险满足条件 则贝叶斯决策函数与贝叶斯后验型决策函数等价 6 2贝叶斯推断 在经典统计学中 总体的分布函数用表示 其中表示未知参数 表示参数空间 改写为 定义6 1若函数和相比仅差一个常数因子 则称为的核 记为 例如 贝叶斯学派认为 的后验分布集先验信息和样本信息于一身 包含了的所有可供利用的信息 所以有关的点估计 区间估计和假设检验等统计推断都要基于后验分布来进行 样本分布其中为总体的条件概率密度 一 贝叶斯估计 1 点估计 贝叶斯估计量就是贝叶斯决策函数 贝叶斯解 则称为的贝叶斯估计量 定理若损失函数为 且 则的贝叶斯估计为 其中为的后验概率密度 注 由定理可知 当使用平方损失函数时 的贝叶斯估计为 或 即的后验分布的期望 故称这种估计为后验期望估计 例1设总体的分布为 其中未知量为随机变量 且 为来自总体的样本值 求的贝叶斯估计 解 因为的后验概率密度的核是 所以 的贝叶斯估计为 可见 在样本的条件下 的条件分布为 条件 1 2 表明 D集中了后验概率密度取值尽可能大的点 因此的最大后验密度可信区间就是在同一可信概率下长度最短的区间 2 区间估计 定义设参数的后验分布为 对给定的样本和概率 若存在区域D满足下列条件 1 例2设为来自正态分布的样本 其中已知 又设的先验分布为正态分布 其中为已知 求的可信区间 解 因为的后验概率密度 其中 可见是正态分布 因此对给定的 查得标准正态分布的上侧分位数 使 于是 的最大后验可信区间是 利用后验分布 分别计算假设与的后验概率 3 贝叶斯假设检验 当后验概率比时接受 当时拒绝 当时 则不宜匆忙做判断 需进一步抽样或搜集更多的先验信息 例3设从正态总体中随机地抽取了一个容量为10的样本 算得样本均值 又设的先验分布为正态分布 现在检验如下假设 解由例2可知 的后验分布仍为正态分布 且 其中 因而假设与的后验概率分别为 两后验概率之比 故拒绝 即认为正态均值大于1 贝叶斯检验的特点 1 简单易行 无需选择检验统计量 确定抽样分布 2 无需事先给定显著水平 确定检验问题的拒绝域 3 容易推广到多重假设检验场合 二 先验分布的选取 从前面的介绍可以看到 贝叶斯推断是基于后验分布的推断 而根据贝叶斯公式 后验分布又有赖于先验分布的选取 选择不同的分布作为的先验分布将会影响的后验分布 从而将影响到贝叶斯推断的结果 所以先验分布的选取对于贝叶斯推断是至关重要的 1 贝叶斯假设 贝叶斯学派认为 如果没有以往的任何信息来确定未知量的先验分布 那么就用均匀分布作为它的先验分布 这种确定先验分布的原则称为贝叶斯假设 按此原则选取的先验分布也称为无信息先验分布 2 共轭先验分布 后验分布在贝叶斯推断中起着重要作用 但有时计算后验分布是一件比较复杂