工科数理统计-课件 5 贝叶斯统计推断

第5章

贝叶斯统计推断5.1贝叶斯统计的基本概念5.2先验分布的选取5.3贝叶斯点估计5.4贝叶斯区间估计和假设检验经典统计案例：医患纠纷问题5.1贝叶斯统计的基本概念在初等概率统计中，给出了贝叶斯公式，用于在先验概率的基础上计算后验概率.对于一个事件，根据已知的经验和理论我们可以求得其概率，这称为先验概率.当有新的信息补充进来，或限定了某些条件时，我们需要重新计算该事件的概率，这就是后验概率.贝叶斯统计将这种思想从事件的条件概率推广到随机变量的条件分布，从而引入了先验分布和后验分布的概念.首先复习一下初等概率统计中的联合分布、边缘分布和条件分布之间的关系.设随机变量X

和Y

的概率分布分别为pX(x)，pY(y)，离散型表示分布律，连续型表示密度函数.这里也称为X

和Y

的边缘分布.在X=x

条件下，条件分布pY|X(y|x)是条件分布律或条件密度函数.由边缘分布和条件分布可以求得联合分布：注意：当X和Y都是离散型随机变量时，联合分布是指联合分布律；如果X和Y都是连续型随机变量，联合分布是指联合密度函数；如果一个离散一个连续，则既不是联合分布律，也不是联合密度函数.若已知(X，Y)的联合分布，X的边缘分布律或边缘密度函数分别为若已知(X，Y)的联合分布和X的边缘分布，Y

的条件分布律或条件密度函数为定义5.1

参数空间Θ上的任一给定的概率分布称为先验分布，记为π(θ)；在给定样本值x1，x2，…，xn

下，θ

的条件分布称为后验分布，记为这里需要特别强调样本的问题.定义中给出的样本称为“当前样本”，是指这组样本来自某一固定参数值θ0

下总体分布为p(x|θ0)的一组样本.在该分布下，样本具有独立性和同分布性.即对应于当前样本，还有一类样本称为“历史样本”.历史样本是来自总体边缘分布pX(x)的样本.边缘分布也可以看成是所有参数值θ

下的混合分布，因此历史样本也称为“混合样本”.在边缘分布下，历史样本同样具有独立性和同分布性，即本章内容涉及的样本均为当前样本；历史样本涉及经验贝叶斯内容，本书略去.贝叶斯统计推断首先要给出参数的先验分布.在总体分布和先验分布的基础上，求出未知参数的后验分布，一切统计推断在后验分布基础上进行.求解后验分布的基本步骤如下：(1)根据总体分布和简单随机样本的特点，确定样本的条件分布：(2)若给出参数θ

先验分布π(θ)，则可求得参数与样本的联合分布：(3)由联合分布进一步求样本的边缘分布：(4)由边缘分布和联合分布确定θ

的条件分布，即后验分布：显然，边缘分布与后验分布是全概率公式与贝叶斯公式在随机变量情形下的的直接应用.已知总体X~B(m，p)，p

是未知参数.X1，X2，…，Xn

是来自总体的一组简单随机样本.设p

的先验分布为π(p)=1，p∈(0，1).求p

的后验分布.解

样本的条件分布为样本与参数p

的联合分布为样本与参数p

的联合分布为-样本边缘分布为积分是贝塔函数，得因此，参数的后验分布为显然，后验分布为贝塔分布已知总体X~e(λ)，λ

是未知参数.X1，X2，…，Xn

是来自总体的一组简单随机样本.给定λ的先验分布：P(λ=1)=0.3，P(λ=2)=0.7，求参数λ

的后验分布.解

样本的条件分布为样本与参数p的联合分布为样本边缘分布为所以参数的后验分布为后验分布是关于未知参数θ

的函数，而边缘分布m(x1，x2，…，xn)与参数θ

无关.当样本值给定后，m(x1，x2，…，xn)是一个正常数.一个概率分布函数去掉一个正的常数因子后，剩下的与自变量有关的部分称为这个概率分布的核.例如：这里符号“∝”表示左边函数正比于右边函数，右侧函数是左侧函数的核或核函数.那么对于后验分布显然有后验分布的核很容易得到，再根据概率分布的归一性即可确定其常数因子，这就大大简化了求解后验分布的过程.尤其对于常见的连续型分布，往往可直接由核函数写出后验密度函数.

后验分布满足这是区间[11.5，11.6]上的均匀分布，即

5.2先验分布的选取5.2.1无信息先验参数θ

的全部信息包括：参数的取值范围、参数所在总体的分布和参数的先验分布.无信息先验是指在参数没有任何先验信息的情况下给出的分布.1.贝叶斯假设如果对于一个变量的分布没有任何先验信息，我们会不带有任何主观偏好地认为：参数取每个可能值是等可能的，这就是贝叶斯假设.根据参数空间的不同，分为以下几种情况：(1)参数θ

是离散型随机变量，θ的可能取值为有限个，不妨设为m

个可能值，其无信息先验分布可取为离散型均匀分布(2)参数θ

是连续型随机变量，θ

取值在有限区间上，不妨设为[a，b]，其无信息先验分布可取为均匀分布U[a，b]，即(3)参数θ

是连续型随机变量，取值在无限区间，其无信息先验分布为5.2.1无信息先验这里

c

可以是任意的正常数，一般取c=1.显然这个函数不是密度函数，不满足归一性.如果由这个先验分布得到的后验分布是一个正常的概率分布，我们称它为广义先验分布.这里所谓的后验分布是正常分布，本质是要求样本的边缘分布存在.边缘分布的存在性往往与样本容量有关，应尽可能增加样本容量，以保证后验分布是正常的概率分布.若θ

为连续型变量，边缘分布是积分若θ为离散型变量，边缘分布是求和5.2.1无信息先验已知总体X的密度函数为p(x|θ)=e-(x-θ)，x>θ，位置参数θ∈R.X1，X2，…，Xn

是来自总体的一组简单随机样本.设θ

的先验分布为无信息广义先验：π(θ)=1，θ∈(-∞，+∞).求θ的后验分布.解根据密度函数的归一性，确定常系数.求积分因此后验分布为5.2.1无信息先验

对于位置参数族和尺度参数族，根据平移变换下和尺度变换下不变性的特点，可以推导出位置参数和尺度参数的无信息先验分布形式，这两种先验分布保持了平移变换和尺度变换下的不变性.下面直接介绍Jeffreys无信息先验.它保证了参数变换下的不变性特征.Jeffreys无信息先验由参数θ

的信息量I(θ)定义.前面内容介绍过，信息量与很多统计结果有关，如充分统计量，无偏估计量下界等，通常被直观地解释为总体分布中包含参数θ信息的多少.在没有任何经验信息的条件下，只能从总体分布中挖掘参数的信息，因此用参数的信息量定义参数的分布直观上是合理的.Jeffreys无信息先验定义为设η=g(θ)，存在可导的反函数θ=g-1(η)，容易导出确定Jeffreys无信息先验时，需要注意以下几点：2.杰弗瑞斯(Jeffreys)无信息先验5.2.1无信息先验(1)总体分布需要满足正则性条件，否则信息量不存在，Jeffreys无信息先验也就不存在.(2)参数θ

可以是一维，也可以是多维.多维情况下，I(θ)表示信息矩阵，I(θ)表示信息矩阵行列式的值.多维情况下的信息矩阵为(3)当参数θ是多维时，如果向量θ的各分量之间不独立，这个无信息先验分布效果并不是最理想的.本教材只学习一维参数情况，多维情况下Reference无信息先验效果更好，这里不做介绍.设总体X~B(m，p)，其中p

是未知参数，样本为X1，X2，…，Xn.求

p

的Jeffreys无信息先验.解

总体分布为取对数求导数5.2.1无信息先验

求期望为

(2)当π(p)~Be(1，1)时，后验分布为即虽然先验分布不同，但后验分布的相对差距很小，即不同的无信息先验分布对后验分布的影响并不大.5.2.1无信息先验取对数求二阶偏导数设总体X~N(μ，σ2)，密度函数为5.2.1无信息先验σ

的Jeffreys无信息先验为(2)若σ

已知，求μ

的信息量为(1)若μ已知，求σ

的信息量为μ

的Jeffreys无信息先验为(3)若μ

和σ均未知，求(μ，σ)的信息矩阵为(μ，σ)的Jeffreys无信息先验为5.2.2共轭先验证明：泊松分布P(θ)中参数θ

的共轭分布是伽马分布.证明

设X~P(θ)，样本为X1，X2，…，Xn

，参数θ

的先验分布为

在例5.5中，参数p的无信息先验是贝塔分布，计算得到的后验分布也是贝塔分布，即先验分布和后验分布属于同一分布族.这种现象在贝叶斯统计中称为共轭.定义5.2

设总体X

的概率函数为p(x|θ)，θ

是未知参数，先验分布是π(θ)，X1，X2，…，Xn

是来自总体X的一组样本.如果后验分布π(θ|x1，x2，…，xn)与先验分布π(θ)属于同一分布族(同一概率函数形式)，则称π(θ)是参数θ

的共轭先验.因此后验分布由核函数形式得5.2.2共轭先验共轭先验有两方面的优点.一是因为先验分布与后验分布有相同的核函数形式，使得求解后验分布变得简单；二是先验分布与后验分布形式统一，说明先验信息与后验信息是协调的，具有方向的一致性.一般情况下，如何寻找参数的共轭先验?在例5.7中，可以观察到样本条件分布的核函数形式与先验分布的核函数形式相同时，相乘得到的后验分布的核函数形式也相同.这为我们寻找共轭先验提供了一个简单有效的方法.已知总体X~N(θ，σ2)，σ2

已知，样本为X1，X2，…，Xn，求参数θ

的共轭先验.

核函数是正态分布核函数形式，因此令先验分布θ~N(μ，τ2)，5.2.2共轭先验求解后验分布即方差已知时，正态分布均值的共轭先验是正态分布.同样方法可得，均值已知时，正态分布方差的共轭先验是逆伽马分布.5.3贝叶斯点估计在经典统计学中，所有统计推断都基于统计量或样本函数进行.多数情况下，样本函数的分布难以获得，因此统计推断相对困难.在贝叶斯统计中，所有统计推断均基于后验分布进行.关键问题在于找到适合的先验分布，进而得到合理的后验分布，基于后验分布的统计推断相对更容易实现.设总体X

的概率函数为p(x|θ)，其中参数θ

未知，X1，X2，…，Xn

是一组简单随机样本.给定先验分布π(θ)，计算得到后验分布π(θ|x1，x2，…，xn).

已知总体X~B(m，p)，样本为X1，X2，…，Xn，给定参数p

的先验分布为p~Be(a，b)，求参数p的贝叶斯点估计.解

容易求得p

的后验分布为①

求后验期望值估计②

求后验众数估计求导且令导数等于0解得

在特定的先验分布下，贝叶斯点估计与经典统计学中的最大似然估计相同.(3)当a=1，b=1，n=1且x1=0时当a=1，b=1，n=1且x1=m

时由此可见，在样本数量小或样本值极端的情况下，后验期望值估计比后验众数估计更为合理!

解

由例5.8可知，后验分布为显然，后验众数估计、

后验期望值估计和后验中位数估计均为

解

后验分布为首先求最大后验估计对μ

和σ2

求偏导数并令其为零后验期望值估计的计算较为烦琐可以作为练习题，这里直接给出结果：解得5.4贝叶斯区间估计和

假设检验5.4.1贝叶斯区间估计

设总体X~N(θ，1)，未知参数θ

的先验分布θ~N(0，1)，X1，X2，…，Xn

是一组简单随机样本.在可信水平1-α

下，求参数θ

的双侧可信区间、单侧可信下限和单侧可信上限.解

由例5.8可知，参数的后验分布为标准化5.4.1贝叶斯区间估计即利用正态分布的对称性因此，双侧可信区间为同理，单侧可信下限为单侧可信上限为5.4.1贝叶斯区间估计

做变换因此5.4.1贝叶斯区间估计双侧可信区间为单侧可信下限为单侧可信上限为5.4.2贝叶斯假设检验关于参数的假设检验，贝叶斯假设检验与传统的显著性假设检验有所不同.传统的假设检验方法中，原假设和备择假设不能互换，两个结论不是公平对待的，属于显著性假设检验.而在贝叶斯假设检验中，原假设和备择假设可以互换，接受哪个结论仅取决于后验概率的大小.设参数θ的后验分布为π(θ|x)，参数空间Θ=Θ0∪Θ1.检验假设根据后验分布计算后验概率若P(θ∈Θ0|x)>P(θ∈Θ1|x)，则接受H0，否则接受H1.由此可见，这种检验思想不限于对两个假设的检验，对于多个假设的情况同样适用，简单方便.例如，对于多个假设计算αi=P(θ∈Θi|x)，若αl

最大，则接受Hl，l=1，2，…，k.5.4.2贝叶斯假设检验

解

根据例5.10，可直接给出后验分布公式

计算H0

成立的后验概率这种检验方法虽然简单，但也存在明显缺陷.因为检验结果基于后验概率，而后验概率直接受先验分布影响.如果给出的先验分布对原假设或备择假设有倾向性，这种倾向性会直接影响检验结果.为了尽可能削弱先验分布的影响，这里引入贝叶斯因子概念.5.4.2贝叶斯假设检验设两个假设H0和H1成立的先验概率分别为π0

和π1，后验概率分别为α0

和α1.比率π0/π1

称为H0

对H1

的先验机会比；α0/α1

称为H0

对H1

的后验机会比.定义为称Bπ(x)为支持H0

的贝叶斯因子.贝叶斯因子Bπ(x)反映样本支持H0

的程度.Bπ(x)取值越大，样本对H0

的支持程度越高.引入贝叶斯因子后，可以结合其大小决定接受原假设或备择假设.在后验概率的基础上，贝叶斯因子的大小也是检验的一个重要参考指标.5.4.2贝叶斯假设检验设总体X~B(5，p)，样本容量n=3，且x1+x2+x3=6，给定先验分布