第6章统计决策与贝叶斯推断.ppt

1、统计学家沃尔德总结了关于假设检验和参数估计的经典统计理论，并将不确定意义上的决策科学纳入了统计范围。1939年，他创立了统计决策理论，弥补了以往统计理论的缺陷。统计决策的显著特征是统计决策以统计分析和统计预测为基础，是一种定量决策。统计决策是一种概率决策，它利用概率来计算和分析不确定条件下的决策。6.1统计决策，决策问题的三个基本要素，状态集、动作集、动作空间、损失函数、根据统计决策理论的观点，决策有用信息、先验信息、样本信息、决策问题的分类、无数据决策问题(无样本信息)、统计决策问题、贝叶斯决策问题、描述当未知量处于一种状态时，由于采取行动而造成的损失，这种损失被写成线性损失函数，1。基本概

2、念，2。决策功能。从样本空间到动作空间的可测映射称为决策函数。3.风险函数，即决策函数的风险函数。如果是决策函数，损失函数关于样本分布的数学期望，平均损失越小，决策函数越好。风险函数描述的是当未知量处于某种状态并做出决策时所遭受的平均损失。2.通用决策标准；1.统一最优决策准则称为决策函数类的统一最小风险决策函数，或统一最优决策函数。定义是指在样本空间中定义并在动作空间中赋值的某个决策函数类。如果有一个决策函数对任何一个都有、和极大极小决策准则，它就叫做统计决策问题的极大极小决策函数，相应的风险就叫做极大极小风险。对于一个统计决策问题，让它表示一个决策函数类，它的值在样本空间的作用空间中。如果

3、有决策函数，3。在统计决策问题和统计推断问题中，贝叶斯决策准则、先验信息和先验分布总是包含未知数。为了做出统计决策或统计推断，样本信息是必不可少的，因为它包含最新的信息。此外，一些非样本信息也可以用于统计决策和统计推断。这些非样本信息主要来自经验或历史数据。由于这类经验或历史数据大多存在于测试之前(用于获取样本)，因此这些非样本信息被称为先验信息。统计学有两个主要流派：古典(频率)学派和贝叶斯学派。古典学派认为这是一个未知的参数；贝叶斯学派认为它是一个随机变量，应该用概率分布来描述。这种概率分布存在于抽样之前，它是关于先验信息的概率陈述。这种概率分布称为先验分布，它由下式表示。贝叶斯公式和后验

4、分布，称为后验分布。先验风险准则和后验风险准则，定义1:在给定的统计决策问题中，如果设定为决策函数的风险函数是先验分布的，那么平均风险称为决策的贝叶斯风险。如果它存在于决策函数类中，则称为贝叶斯(先验)风险准则下决策函数类的最优决策函数，简称贝叶斯决策函数或贝叶斯解。定义2:在给定的统计决策问题中，如果决策函数的损失函数是后验分布，那么条件期望风险称为决策函数的贝叶斯后验风险。如果它存在于决策函数类中，则称为贝叶斯后验风险准则下决策函数类的最优决策函数，或者称为贝叶斯后验决策函数。一位收藏家打算以5000元的价格买一幅名画。如果这幅画是真迹，它值一万元；如果它是假的，它就一文不值。另外，买假画

5、或不买真画都会损害收藏家的声誉，收入如下。现在，收藏家需要决定是否购买。(1)如果收藏家有以下三种选择：(1)购买概率为0.5的画；请鉴赏家鉴定(据了解，鉴赏家鉴定真迹的概率为0.95，鉴定赝品的概率为0.7)。如果鉴赏家认为它是真品，就买这幅画；当然不会。那么，收藏家的最小和最大决策是什么？(2)根据卖方过去的数据，如果发生的概率是0.75，发生的概率是0.25，收藏家应该买这幅画吗？在(2)的条件下，为了安全起见，收藏家雇了一个鉴定家来作鉴定。众所周知，鉴赏家鉴别真迹的概率为0.95，鉴别赝品的概率为0.7。如果鉴赏家说这幅画是真迹，收藏家应该买吗？这是一个决策问题，状态集是真的还是假的，

6、动作集的意思是“买”和“不买”，损失函数可以用矩阵表示，统计决策中提到的损失可以理解为“该赚而不该赚的钱”、“不该丢的钱”或“不该付的钱”。解决方案：(1)计算结果表明，收藏家的最小和最大决策是如果鉴赏家认为这幅画是真迹，就购买它，这个决策的最小和最大风险是1800元。(3)引入随机变量，先验分布：是由贝叶斯公式得到的后验分布，所以样本空间和作用空间，所以决策函数只有以下四个、当给定该值时，这些决策函数的贝叶斯后验风险分别为：并且这些决策函数的贝叶斯后验风险分别为：这可以在贝叶斯风险准则中看到。在(3)中这些决策函数的贝叶斯风险和边缘分布计算如下：因此，可以看出，在贝叶斯风险准则下的最优决策函

7、数仍然是在两个不同的风险准则下获得相同的最优决策函数。理论基础是定理6.1.1。定理6.1.1对于给定的统计决策问题(包括给定的先验分布)和决策函数类，如果贝叶斯风险满足，定理6.2贝叶斯推理，在经典统计学中，总体的分布函数用表示未知参数和参数空间的。改写为，定义6.1如果函数只有一个常数因子比的差，则称它为的核，这被记录为，例如，贝叶斯学派认为的后验分布集成了先验信息和样本信息，并包含所有可用的信息，因此相关的统计推断如点估计、区间估计和假设检验应该基于后验分布。样本分布，其中是总体的条件概率密度。1.贝叶斯估计；1.点估计。贝叶斯估计器是贝叶斯决策函数(贝叶斯解)，所以它被称为贝叶斯估计器

8、。定理如果损失函数是和，那么贝叶斯估计是，其中是的后验概率密度。注：根据定理，当使用平方损失函数时，贝叶斯估计是(或)，即后验分布的期望，所以这种估计称为后验期望估计。在示例1中，假设总体的分布为，其中未知量是随机变量，并且是总体的样本值，并获得贝叶斯估计。解：由于后验概率密度的核是，贝叶斯估计的是，因此，在样本条件下，条件分布是，条件(1)和(2)表明，D集合的点具有尽可能大的后验概率密度，所以最大后验密度置信区间是在相同置信概率下具有最短长度的区间。，2，区间估计，参数的后验分布被定义为，对于给定的样本和概率，如果存在区域D，它满足以下条件：(1)，示例2被设置为来自正态分布的样本，这是已

9、知的。此外，先验分布是正态分布，其中它是已知的和计算的置信区间。解决方案：由于的后验概率密度可以看作正态分布，对于给定的，找到了标准正态分布的上分位数，因此的最大后验置信区间为。利用后验分布，分别计算假设和假设的后验概率。3，贝叶斯假设检验，当后验概率比被接受时；必要时拒绝；当时机成熟时，不宜仓促做出判断，需要进一步采样或收集更多的先验信息。在示例3中，假设从正态总体中随机选择容量为10的样本，并且计算样本平均值，并且先验分布是正态分布。现在，检验下面的假设，并且从示例2中可以知道，的后验分布仍然是正态分布，并且其中，假设和的后验概率分别是两个后验概率的比率，因此它被拒绝，即，正态平均值大于1

10、。贝叶斯检验的特点是：(1)选择检验统计量和确定抽样分布简单易行；(2)不必预先给出显著性水平来确定检验问题的拒绝域；(3)它可以很容易地扩展到多个假设检验场合。第二，先验分布的选择，从前面的介绍中，我们可以看出贝叶斯推断是基于后验分布的，而根据贝叶斯公式，后验分布取决于先验分布的选择。选择不同的分布作为先验分布会影响后验分布，从而影响贝叶斯推理的结果，因此先验分布的选择对贝叶斯推理非常重要。1.贝叶斯假设，贝叶斯学派认为，如果没有先验信息来确定未知量的先验分布，那么均匀分布就被用作其先验分布，而这种确定先验分布的原理称为贝叶斯假设。根据这一原理选择的先验分布也称为无信息的先验分布。共轭先验分布和后验分布在贝叶斯推理中起着重要的作用，但有时后验分布的计算比