统计决策与贝叶斯推断课件

统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于1939年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。统计决策的显著特点是：统计决策建立在统计分析和统计预测的基础上，是一种定量决策。统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种概率决策。

6.1统计决策统计学家瓦尔德(A.Wald)把关于决策问题的三个基本要素状态集行动集行动空间损失函数决策问题的状态集行动集损失函数依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题的分类无数据（无样本信息）决策问题统计决策问题贝叶斯决策问题依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题一、基本概念1、损失函数描述当未知量处于状态而采取行动时所引起的损失，记为线性损失函数一、基本概念1、损失函数描述当未知量处于状态而采取行动第6章统计决策与贝叶斯推断课件一、基本概念2、决策函数由样本空间到行动空间的可测映射称为决策函数。一、基本概念2、决策函数由样本空间到行动空间的可测映3、风险函数称为决策函数的风险函数。设是一个决策函数，则损失函数关于样本分布的数学期望平均损失愈小，决策函数愈好。风险函数描述在未知量处于状态而采取决策时所蒙受的平均损失。3、风险函数称为决策函数的风险函数。设二、常用的决策准则1、一致最优决策准则则称为决策函数类的一致最小风险决策函数，或称为一致最优决策函数。定义设表示定义在样本空间上取值于行动空间的某一决策函数类，若存在一个决策函数，使得对任意，都有二、常用的决策准则1、一致最优决策准则则称为决策2、最小最大（Minimax）决策准则则称为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。定义对于一个统计决策问题，设表示定义在样本空间上取值于行动空间的某一决策函数类。若有决策函数，使得2、最小最大（Minimax）决策准则则称为该统计决策3、贝叶斯决策准则先验信息与先验分布无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对作统计决策或者作统计推断，样本信息是必不可少的，因为它包含的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。3、贝叶斯决策准则先验信息与先验分布无论是在统计统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为是未知参数；贝叶斯学派认为是随机变量，应该用一个概率分布去描述的未知状况。这个概率分布在抽样之前就已存在，它是关于的先验信息的概率陈述。这个概率分布就称为先验分布，用来表示。统计学中有两个主要学派：经典（频率）学派与贝叶斯学派贝叶斯公式与后验分布称为的后验分布。贝叶斯公式与后验分布称为的后验分布先验风险准则与后验风险准则定义1：在给定的统计决策问题中，设为决策函数的风险函数，为的先验分布，则平均风险称为决策的贝叶斯风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。先验风险准则与后验风险准则定义1：在给定的统计决策问题中定义2：在给定的统计决策问题中，设为决策函数的损失函数，为的后验分布，则条件期望风险称为决策函数的贝叶斯后验风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。定义2：在给定的统计决策问题中，设例6.1一位收藏家拟收购一幅名画，这幅画标价为5000元。若这幅画是真品，则值10000元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表

采取的行动画的状态买不买真品+5000-3000赝品-60000现在，这位收藏家需要决定是买还是不买这幅画？例6.1一位收藏家拟收购一幅名画，这幅画标价为5000(1)如果收藏家有以下三种决策可供选择：：以概率0.5买下这幅画；：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；：肯定不买那么，什么是这位收藏家的最小最大决策？（2）如果根据卖画者以往的资料得知，发生的概率为0.75，发生的概率为0.25，那么这位收藏家是否应买下这幅画呢？（3）在（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？(1)如果收藏家有以下三种决策可供选择：（2）如果根据卖画这是一个决策问题，状态集，为真品，为赝品,行动集表示“买”，表示“不买”，损失函数用矩阵可表示为

统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。采用收益函数时，损失函数时，损失函数采用支付函数这是一个决策问题，状态集解：（1）对，对，对，解：（1）对，对，对，计算结果表明，收藏家的最小最大决策为，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为1800元。根据先验分布，可分别算出行动，的平均损失，亦即，行动，的平均风险，因为这是无数据决策问题，所以对比上述结果可知，采取行动为上策，即，收藏家应该买下这幅画。（2）由题意知，的先验分布为：计算结果表明，收藏家的最小最大决策为，(3)引入随机变量

由题意知：

(3)引入随机变量由题意知：的先验分布为，由贝叶斯公式可得的后验分布的先验分布为这样样本空间，行动空间，所以决策函数只有以下4个这样样本空间，行动空间这样本值时，这些决策函数的贝叶斯后验风险分别是：这样本值时，这些决策函数的贝叶斯后验风险分别是在时，这些决策函数的贝叶斯后风险分别是：

在时，这些决策函数的贝叶斯后风险分别是：可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。下面计算（3）中那些决策函数的贝叶斯风险，先算的边缘分布：可见在贝叶斯风险准则下，是最优决策函数，从而，由此可见，在贝叶斯风险准则下的最优决策函数仍是，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.从而，由此可见，在贝叶斯风险准则下的最优决策函数仍是定理6.1.1对给定的统计决策问题（含给定的先验分布）和决策函数类，若贝叶斯风险满足条件则贝叶斯决策函数与贝叶斯后验型决策函数等价。定理6.1.1对给定的统计决策问题（含给定的先验6.2贝叶斯推断在经典统计学中，总体的分布函数用表示，其中表示未知参数，表示参数空间。改写为经典统计学并不产生任何实质上的影响，仅仅是记号的变更。Bayes统计中意义就不同了，其表示条件分布。6.2贝叶斯推断在经典统计学中，总体的分布函数用定义6.1

若函数和相比仅差一个常数因子，则称为的核，记为例如定义6.1若函数和相比仅差一个常数因贝叶斯学派认为，的后验分布集先验信息和样本信息于一身，包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。样本分布其中为总体的条件概率密度。贝叶斯学派认为，的后验分布一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）则称为的贝叶斯估计量定义设总体的分布函数为，其中参数为具有先验分布的随机变量，又设为来自总体的样本。若在决策函数类中有一个，使得一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶定理若损失函数为，且，则的贝叶斯估计为其中为的后验概率密度。注：由定理可知，当使用平方损失函数时，的贝叶斯估计为（或），即的后验分布的期望，故称这种估计为后验期望估计。定理若损失函数为例1设总体的分布为，其中未知量为随机变量，且，为来自总体的样本值，求的贝叶斯估计。解：因为的后验概率密度的核是所以，的贝叶斯估计为可见，在样本的条件下，的条件分布为例1设总体的分布为

条件（1）、（2）表明，D集中了后验概率密度取值尽可能大的点，因此的最大后验密度可信区间就是在同一可信概率下长度最短的区间。2、区间估计定义设参数的后验分布为，对给定的样本和概率，若存在区域D满足下列条件：（1）（2）任给，总有则称D是的可信水平为的最大后验密度可信域。当是一维的且D是一个区间时，称D为的最大后验密度可信区间。条件（1）、（2）表明，D集中了后验概率密度例2设为来自正态分布的样本，其中已知。又设的先验分布为正态分布，其中为已知，求的可信区间。解：因为的后验概率密度其中例2设可见是正态分布，因此对给定的，查得标准正态分布的上侧分位数，使于是，的最大后验可信区间是。可见是正态分布，利用后验分布，分别计算假设与的后验概率。3、贝叶斯假设检验当后验概率比时接受；当时拒绝；当时，则不宜匆忙做判断，需进一步抽样或搜集更多的先验信息。利用后验分布，分别计算假设与例3设从正态总体中随机地抽取了一个容量为10的样本，算得样本均值，又设的先验分布为正态分布，现在检验如下假设解由例2可知，的后验分布仍为正态分布，且其中例3设从正态总体中随机地抽取了一个容量因而假设与的后验概率分别为两后验概率之比故拒绝，即认为正态均值大于1。因而假设与的后验概率分别为两后验概贝叶斯检验的特点：（1）简单易行，无需选择检验统计量，确定抽样分布；

（2）无需事先给定显著水平，确定检验问题的拒绝域；

（3）容易推广到多重假设检验场合。贝叶斯检验的特点：（1）简单易行，无需选择检验统计量，二、先验分布的选取从前面的介绍可以看到，贝叶斯推断是基于后验分布的推断，而根据贝叶斯公式，后验分布又有赖于先验分布的选取，选择不同的分布作为的先验分布将会影响的后验分布，从而将影响到贝叶斯推断的结果，所以先验分布的选取对于贝叶斯推断是至关重要的。二、先验分布的选取从前面的介绍可以看到，1、贝叶斯假设贝叶斯学派认为，如果没有以往的任何信息来确定未知量的先验分布，那么就用均匀分布作为它的先验分布，这种确定先验分布的原则称为贝叶斯假设。按此原则选取的先验分布也称为无信息先验分布。2、共轭先验分布后验分布在贝叶斯推断中起着重要作用，但有时计算后验分布是一件比较复杂的事情。为了能够简便地计算未知量的后验分布，引入共轭先验分布的概念。1、贝叶斯假设贝叶斯学派认为，如果没有以定义设总体的分布函数为，样本对的条件分布为，即样本分布，的先验分布为，若由和决定的后验分布与是同一个类型，则称先验分布为的共轭先验分布。寻找共轭先验分布的步骤：（1）先写出样本分布似然，（2）选取与具有相同核的分布作为先验分布，这个分布往往就是共轭先验分布。定义设总体的分布函数为，样本Thanks！Thanks！演讲完毕，谢谢观看！演讲完毕，谢谢观看！

统计学家瓦尔德(A.Wald)把关于假设检验和参数估计的经典统计理论加以概括，将不确定意义下的决策科学也包括在统计学范围之内，于1939年创立了统计决策理论，该理论弥补了过去统计理论的缺陷。统计决策的显著特点是：统计决策建立在统计分析和统计预测的基础上，是一种定量决策。统计决策是在不确定情况下，应用概率来进行决策的计算和分析，是一种概率决策。

6.1统计决策统计学家瓦尔德(A.Wald)把关于决策问题的三个基本要素状态集行动集行动空间损失函数决策问题的状态集行动集损失函数依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题的分类无数据（无样本信息）决策问题统计决策问题贝叶斯决策问题依统计决策论的观点，对决策有用的信息先验信息样本信息决策问题一、基本概念1、损失函数描述当未知量处于状态而采取行动时所引起的损失，记为线性损失函数一、基本概念1、损失函数描述当未知量处于状态而采取行动第6章统计决策与贝叶斯推断课件一、基本概念2、决策函数由样本空间到行动空间的可测映射称为决策函数。一、基本概念2、决策函数由样本空间到行动空间的可测映3、风险函数称为决策函数的风险函数。设是一个决策函数，则损失函数关于样本分布的数学期望平均损失愈小，决策函数愈好。风险函数描述在未知量处于状态而采取决策时所蒙受的平均损失。3、风险函数称为决策函数的风险函数。设二、常用的决策准则1、一致最优决策准则则称为决策函数类的一致最小风险决策函数，或称为一致最优决策函数。定义设表示定义在样本空间上取值于行动空间的某一决策函数类，若存在一个决策函数，使得对任意，都有二、常用的决策准则1、一致最优决策准则则称为决策2、最小最大（Minimax）决策准则则称为该统计决策问题的最小最大决策函数，相应的风险称为最小最大风险。定义对于一个统计决策问题，设表示定义在样本空间上取值于行动空间的某一决策函数类。若有决策函数，使得2、最小最大（Minimax）决策准则则称为该统计决策3、贝叶斯决策准则先验信息与先验分布无论是在统计决策问题还是在统计推断问题中总会包含未知量。为了对作统计决策或者作统计推断，样本信息是必不可少的，因为它包含的最新信息。除此之外，一些非样本信息也可用于统计决策和统计推断。这些非样本信息主要来源于经验或历史资料。由于此类经验或历史资料大多存在于（获取样本的）试验之前，故称这些非样本信息为先验信息。3、贝叶斯决策准则先验信息与先验分布无论是在统计统计学中有两个主要学派：经典（频率）学派与贝叶斯学派。经典学派认为是未知参数；贝叶斯学派认为是随机变量，应该用一个概率分布去描述的未知状况。这个概率分布在抽样之前就已存在，它是关于的先验信息的概率陈述。这个概率分布就称为先验分布，用来表示。统计学中有两个主要学派：经典（频率）学派与贝叶斯学派贝叶斯公式与后验分布称为的后验分布。贝叶斯公式与后验分布称为的后验分布先验风险准则与后验风险准则定义1：在给定的统计决策问题中，设为决策函数的风险函数，为的先验分布，则平均风险称为决策的贝叶斯风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯（先验）风险准则下的最优决策函数，简称贝叶斯决策函数或贝叶斯解。先验风险准则与后验风险准则定义1：在给定的统计决策问题中定义2：在给定的统计决策问题中，设为决策函数的损失函数，为的后验分布，则条件期望风险称为决策函数的贝叶斯后验风险。若在决策函数类中存在，使得则称为决策函数类在贝叶斯后验风险准则下的最优决策函数，或称其为贝叶斯后验型决策函数。定义2：在给定的统计决策问题中，设例6.1一位收藏家拟收购一幅名画，这幅画标价为5000元。若这幅画是真品，则值10000元；若是赝品，则一文不值。此外，买下一幅假画或者没有买下一幅真画都会损害这位收藏家的名誉，其收益情况如下表

采取的行动画的状态买不买真品+5000-3000赝品-60000现在，这位收藏家需要决定是买还是不买这幅画？例6.1一位收藏家拟收购一幅名画，这幅画标价为5000(1)如果收藏家有以下三种决策可供选择：：以概率0.5买下这幅画；：请一位鉴赏家进行鉴定（已知该鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画），如果鉴赏家鉴定为真品就买下这幅画；：肯定不买那么，什么是这位收藏家的最小最大决策？（2）如果根据卖画者以往的资料得知，发生的概率为0.75，发生的概率为0.25，那么这位收藏家是否应买下这幅画呢？（3）在（2）的条件下，这位收藏家为稳妥起见，聘请一位鉴赏家做鉴定。已知鉴赏家以概率0.95识别一幅真画，以概率0.7识别一幅假画。如果鉴赏家说这幅画是真品，那么这位收藏家是否应买下这幅画呢？(1)如果收藏家有以下三种决策可供选择：（2）如果根据卖画这是一个决策问题，状态集，为真品，为赝品,行动集表示“买”，表示“不买”，损失函数用矩阵可表示为

统计决策中所说的损失可以理解为“该赚到而没有赚到的钱”，“不该亏而亏损的钱”或者“不该支付而支付的钱”。采用收益函数时，损失函数时，损失函数采用支付函数这是一个决策问题，状态集解：（1）对，对，对，解：（1）对，对，对，计算结果表明，收藏家的最小最大决策为，即如果鉴赏家鉴定为真品就买下这幅画，这一决策的最小最大风险为1800元。根据先验分布，可分别算出行动，的平均损失，亦即，行动，的平均风险，因为这是无数据决策问题，所以对比上述结果可知，采取行动为上策，即，收藏家应该买下这幅画。（2）由题意知，的先验分布为：计算结果表明，收藏家的最小最大决策为，(3)引入随机变量

由题意知：

(3)引入随机变量由题意知：的先验分布为，由贝叶斯公式可得的后验分布的先验分布为这样样本空间，行动空间，所以决策函数只有以下4个这样样本空间，行动空间这样本值时，这些决策函数的贝叶斯后验风险分别是：这样本值时，这些决策函数的贝叶斯后验风险分别是在时，这些决策函数的贝叶斯后风险分别是：

在时，这些决策函数的贝叶斯后风险分别是：可见在贝叶斯风险准则下，是最优决策函数，换言之，当鉴定家说这幅画是真品时，这位收藏家应买下这幅画。下面计算（3）中那些决策函数的贝叶斯风险，先算的边缘分布：可见在贝叶斯风险准则下，是最优决策函数，从而，由此可见，在贝叶斯风险准则下的最优决策函数仍是，在两种不同风险准则下得出相同的最优决策函数，其理论依据是定理6.1.1.从而，由此可见，在贝叶斯风险准则下的最优决策函数仍是定理6.1.1对给定的统计决策问题（含给定的先验分布）和决策函数类，若贝叶斯风险满足条件则贝叶斯决策函数与贝叶斯后验型决策函数等价。定理6.1.1对给定的统计决策问题（含给定的先验6.2贝叶斯推断在经典统计学中，总体的分布函数用表示，其中表示未知参数，表示参数空间。改写为经典统计学并不产生任何实质上的影响，仅仅是记号的变更。Bayes统计中意义就不同了，其表示条件分布。6.2贝叶斯推断在经典统计学中，总体的分布函数用定义6.1

若函数和相比仅差一个常数因子，则称为的核，记为例如定义6.1若函数和相比仅差一个常数因贝叶斯学派认为，的后验分布集先验信息和样本信息于一身，包含了的所有可供利用的信息，所以有关的点估计，区间估计和假设检验等统计推断都要基于后验分布来进行。样本分布其中为总体的条件概率密度。贝叶斯学派认为，的后验分布一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶斯解）则称为的贝叶斯估计量定义设总体的分布函数为，其中参数为具有先验分布的随机变量，又设为来自总体的样本。若在决策函数类中有一个，使得一、贝叶斯估计1、点估计贝叶斯估计量就是贝叶斯决策函数（贝叶定理若损失函数为，且，则的贝叶斯估计为其中为的后验概率密度。注：由定理可知，当使用平方损失函数时，的贝叶斯估计为（或），即的后验分布的期望，故称这种估计为后验期望估计。定理若损失函数为例1设总体的分布为，其中未知量为随机变量，且，为来自总体的样本值，求的贝叶斯估计。解：因为的后验概率密度的核是所以，的贝叶斯估计为可见，在样本的条件下，的条件分布为例1设总体的分布为

条件（1）、（2）表明，D集中了后验概率密度取值尽可能大的点，因此的最大后验密度可信区间就是在同一可信概率下长度最短的区间。2、区间估计定义设参数的后验分布为，对给定的样本和概率，若存在区域D满足下列条件：（1）（2）任给，总有则称D是的可信水平为的最大后验密度可信域。当是一维的且D是一个区间时，称D为的最大后验密度可信区间。条件（1）、（2）表明，D集中了后验概率密度例2设为来自正态分布的样本，其中已知。又设的先验分布为正态分布，其中为已知，求的可信区间。解：因为的后验概率密度其中例2设可见是正态分布，因此对给定的，查得标准正态分布的上侧分位数，使