统计决策与贝叶斯推断

统计决策与贝叶斯推断第1页，课件共46页，创作于2023年2月在数理统计学中存在两大学派：

经典学派、频率学派或抽样学派贝叶斯学派：贝叶斯统计，其核心是贝叶斯推断第2页，课件共46页，创作于2023年2月

统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于1939年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。统计决策的显著特点是：统计决策建立在统计分析和统计预测的基础上，是一种定量决策。统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种概率决策。

6.1统计决策第3页，课件共46页，创作于2023年2月决策问题的三个基本要素状态集行动集行动空间损失函数第4页，课件共46页，创作于2023年2月依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题的分类无数据（无样本信息）决策问题统计决策问题贝叶斯决策问题第5页，课件共46页，创作于2023年2月一、基本概念1、损失函数描述当未知量处于状态而采取行动时所引起的损失，记为线性损失函数第6页，课件共46页，创作于2023年2月第7页，课件共46页，创作于2023年2月一、基本概念2、决策函数由样本空间到行动空间的可测映射称为决策函数。第8页，课件共46页，创作于2023年2月3、风险函数称为决策函数的风险函数。设是一个决策函数，则损失函数关于样本分布的数学期望平均损失愈小，决策函数愈好。风险函数描述在未知量处于状态而采取决策时所蒙受的平均损失。第9页，课件共46页，创作于2023年2月二、常用的决策准则1、一致最优决策准则则称为决策函数类的一致最小风险决策函数，或称为一致最优决策函数。定义设表示定义在样本空间上取值于行动空间的某一决策函数类，若存在一个决策函数，使得对任意，都有第10页，课件共46页，创作于2023年2月2、最小最大（Minimax）决策准则则称为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。定义对于一个统计决策问题，设表示定义在样本空间上取值于行动空间的某一决策函数类。若有决策函数，使得第11页，课件共46页，创作于2023年2月3、贝叶斯决策准则先验信息与先验分布无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对作统计决策或者作统计推断，样本信息是必不可少的，因为它包含的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。第12页，课件共46页，创作于2023年2月统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为是未知参数；贝叶斯学派认为是随机变量，应该用一个概率分布去描述的未知状况。这个概率分布在抽样之前就已存在，它是关于的先验信息的概率陈述。这个概率分布就称为先验分布，用来表示。第13页，课件共46页，创作于2023年2月贝叶斯公式与后验分布称为的后验分布。第14页，课件共46页，创作于2023年2月先验风险准则与后验风险准则定义1：在给定的统计决策问题中，设为决策函数的风险函数，为的先验分布，则平均风险称为决策的贝叶斯风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。第15页，课件共46页，创作于2023年2月定义2：在给定的统计决策问题中，设为决策函数的损失函数，为的后验分布，则条件期望风险称为决策函数的贝叶斯后验风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。第16页，课件共46页，创作于2023年2月例6.1一位收藏家拟收购一幅名画，这幅画标价为5000元。若这幅画是真品，则值10000元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表

采取的行动画的状态买不买真品+5000-3000赝品-60000现在，这位收藏家需要决定是买还是不买这幅画？第17页，课件共46页，创作于2023年2月(1)如果收藏家有以下三种决策可供选择：：以概率0.5买下这幅画；：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；：肯定不买那么，什么是这位收藏家的最小最大决策？（2）如果根据卖画者以往的资料得知，发生的概率为0.75，发生的概率为0.25，那么这位收藏家是否应买下这幅画呢？（3）在（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？第18页，课件共46页，创作于2023年2月这是一个决策问题，状态集，为真品，为赝品,行动集表示“买”，表示“不买”，损失函数用矩阵可表示为

统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。采用收益函数时，损失函数时，损失函数采用支付函数第19页，课件共46页，创作于2023年2月解：（1）对，对，对，第20页，课件共46页，创作于2023年2月计算结果表明，收藏家的最小最大决策为，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为1800元。根据先验分布，可分别算出行动，的平均损失，亦即，行动，的平均风险，因为这是无数据决策问题，所以对比上述结果可知，采取行动为上策，即，收藏家应该买下这幅画。（2）由题意知，的先验分布为：第21页，课件共46页，创作于2023年2月(3)引入随机变量

由题意知：

第22页，课件共46页，创作于2023年2月的先验分布为，由贝叶斯公式可得的后验分布第23页，课件共46页，创作于2023年2月这样样本空间，行动空间，所以决策函数只有以下4个第24页，课件共46页，创作于2023年2月这样本值时，这些决策函数的贝叶斯后验风险分别是：第25页，课件共46页，创作于2023年2月在时，这些决策函数的贝叶斯后风险分别是：

第26页，课件共46页，创作于2023年2月可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。下面计算（3）中那些决策函数的贝叶斯风险，先算的边缘分布：第27页，课件共46页，创作于2023年2月从而，由此可见，在贝叶斯风险准则下的最优决策函数仍是，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.第28页，课件共46页，创作于2023年2月定理6.1.1对给定的统计决策问题（含给定的先验分布）和决策函数类，若贝叶斯风险满足条件则贝叶斯决策函数与贝叶斯后验型决策函数等价。第29页，课件共46页，创作于2023年2月6.2贝叶斯推断在经典统计学中，总体的分布函数用表示，其中表示未知参数，表示参数空间。改写为经典统计学并不产生任何实质上的影响，仅仅是记号的变更。Bayes统计中意义就不同了，其表示条件分布。第30页，课件共46页，创作于2023年2月定义6.1

若函数和相比仅差一个常数因子，则称为的核，记为例如第31页，课件共46页，创作于2023年2月贝叶斯学派认为，的后验分布集先验信息和样本信息于一身，包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。样本分布其中为总体的条件概率密度。第32页，课件共46页，创作于2023年2月一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）则称为的贝叶斯估计量定义设总体的分布函数为，其中参数为具有先验分布的随机变量，又设为来自总体的样本。若在决策函数类中有一个，使得第33页，课件共46页，创作于2023年2月定理若损失函数为，且，则的贝叶斯估计为其中为的后验概率密度。注：由定理可知，当使用平方损失函数时，的贝叶斯估计为（或），即的后验分布的期望，故称这种估计为后验期望估计。第34页，课件共46页，创作于2023年2月例1设总体的分布为，其中未知量为随机变量，且，为来自总体的样本值，求的贝叶斯估计。解：因为的后验概率密度的核是所以，的贝叶斯估计为可见，在样本的条件下，的条件分布为第35页，课件共46页，创作于2023年2月

条件（1）、（2）表明，D集中了后验概率密度取值尽可能大的点，因此的最大后验密度可信区间就是在同一可信概率下长度最短的区间。2、区间估计定义设参数的后验分布为，对给定的样本和概率，若存在区域D满足下列条件：（1）（2）任给，总有则称D是的可信水平为的最大后验密度可信域。当是一维的且D是一个区间时，称D为的最大后验密度可信区间。第36页，课件共46页，创作于2023年2月例2设为来自正态分布的样本，其中已知。又设的先验分布为正态分布，其中为已知，求的可信区间。解：因为的后验概率密度其中第37页，课件共46页，创作于2023年2月可见是正态分布，因此对给定的，查得标准正态分布的上侧分位数，使于是，的最大后验可信区间是。第38页，课件共46页，创作于2023年2月利用后验分布，分别计算假设与的后验概率。3、贝叶斯假设检验当后验概率比时接受；当时拒绝；当时，则不宜匆忙做判断，需进一步抽样或搜集更多的先验信息。第39页，课件共46页，创作于2023年2月例3设从正态总体中随机地抽取了一个容量为10的样本，算得样本均值，又设的先验分布为正态分布，现在检验如下假设解由例2可知，的后验分布仍为正态分布，且其中第40页，课件共46页，创作于2023年2月因而假设与的后验概率分别为两后验概率之比故拒绝，即认为正态均值大于1。第41页，课件共46页，创作于2023年2月贝叶斯检验的特点：（1）简单易行，无需选择检验统计量，确定抽样分布；

（2）无需事先给定显著水平，确定检验问题的拒绝域；

（3）容易推广到多重假设检验场合。第42页，课件共46页，创作于2023年2月二、先验分布的选取从前面的介绍可以看到，贝叶斯推断是基于后验分布的