第十二章贝叶斯统计

1、第十二章 贝叶斯统计统计学中有两个主要学派：频率学派和贝叶斯学派。两者间有着长期的争论，这对统计学的发展起到了积极的促进作用。本章主要讨论贝叶斯统计的基本思想、理论进展及应用，以期对贝叶斯统计形成初步的认识。12.1贝叶斯学派概述贝叶斯统计起源于英国学者贝叶斯的一篇论文“论有关机遇问题的求解”（1763年发表）。在这篇论文中，他提出了著名的贝叶斯公式。设参数已知时，样本的分布密度为的先验密度为，则已知样本后，参数的后验密度为贝叶斯公式、参数的后验密度公式（12.1.1） 及贝叶斯假设构成了贝叶斯统计的起点。频率学派进行统计推断时，依据两种信息：一是总体信息，即统计总体服从何种概率分布，例如总体

2、服从正态分布。另一是样本信息，即从总体抽取的样本给我们提供的信息。贝叶斯学派则除以上两种信息之外，还必需利用先验信息，即在抽样（试验）之前有关总体分布的未知参数的信息。贝叶斯学派受到的批评集中于以下两点： 将参数看成是随机变量是否合适；先验分布是否存在，如何确定。贝叶斯统计在参数的点估计、区间估计及假设检验方面形成了与频率统计相平行的理论方法，并赋予统计推断以新的解释，它在可靠性方面有着成功的应用。贝叶斯分析与统计决策论也是难以分开的，贝叶斯统计具有简洁实用的特点。贝叶斯方法的关键是先验分布的确定。由于现实世界中的事物的发生常不具备大量可重复性，事件发生的概率较难具有频率解释，而又面临解决问题

3、，这就导致主观概率、先验分布的提出，试图通过科学的思维活动来弥补经验的不足，再利用样本调整先验分布为后验分布，完成对参数认识的再认识。例12.1.1一个人打靶，打了次，命中了次，估计此人打靶命中的概率。一般的估计方法是：。当时，；当时，仍有。而实际上在这两种情况下，反映出的此人的射击水平是不一样的。依贝叶斯方法，次独立射击，命中次的概率为当对参数一无所知时，可设服从上的均匀分布，由（12.1.1）得取关于其后验分布的期望去估计，得的贝叶斯估计：。此时，当时，；当时，有。显然这个估计比要合理。12.2先验分布的确定参数的无信息先验分布是指除参数的取值范围和在总体分布中的地位外，不再包含 的任何信

4、息的先验分布。下述12.2.1，12.2.2，12.2.3均为无信息先验分布的确定。12.2.1贝叶斯假设当对一无所知时，可认为的取值均匀地分布在其变化范围内，取为常数，称（12.2.1）式为贝叶斯假设，例(12.1.1) 就是在贝叶斯假设下求出。然而还存在着这样的矛盾，定义一个变换在上具有单调性，由贝叶斯假设，都应是上的均匀分布，实际上当服从上的均匀分布时，可推出服从非均匀分布。12.2.2用Fisher信息阵确定无信息先验分布Jeffery提出的不变原理较好地解决了贝叶斯假设的上述矛盾。设的先验分布为具有单调性，为相应的反函数，的先验分布为，则应有选择满足(12.2.2)，则由或导出的先验

5、分布具有一致性。Jeffery以的Fisher信息阵的行列式的平方根作为的先验分布的核，即则可证明(12.2.3)满足(12.2.2 )确定的不变性。用Jeffery准则(12.2.3) 式确定例12.1.1中的先验分布，可得即，服从贝塔分布，由此得的贝叶斯估计：。12.2.3最大熵原则信源是信息的来源。对离散信源，设信源符号出现的概率为，定义信源的期望信息量为信源的信息熵即熵是表征信源的不定程度的总体特性的。信息获得的可能性较小，则一旦获得信息，所得到的信息量也应是较大的。可证明对离散型随机变量，等概率状态相应的熵最大。对连续信源，可定义信源的信息熵为可证明在上的均匀分布是熵最大的分布。从而

6、例12.1.1中的最大熵先验分布为上的均匀分布。又设是上的随机变量，假定它的一阶矩为，二阶中心矩为，则可推得的最大熵分布为。12.2.4共轭分布Raiffa和Schlaifer(1961)提出选择自然共轭分布作为先验分布。定义：设样本的分布密度，若决定的后验密度: 与是同一类型的，则称先验分布为的共轭分布。再看例12.1.1若选取为贝塔分布，则可推出：仍服从贝塔分布，故贝塔分布是二项分布的共轭分布。此时，的贝叶斯估计：。当时，的先验分布即为贝叶斯假设。共轭分布要求先验分布与经样本调整后的后验分布具有某种一致性，即要求具有对参数的基本认识条件下，通过样本调整，达到对参数认识的升华。12.2.5经

7、验贝叶斯估计经验贝叶斯方法体现了频率统计和贝叶斯统计的某种融合，其特点是利用历史样本的信息。例12.2.1 设是来自总体服从的样本，已知，的先验分布选为，则可推知：给定的后验分布服从，其中，即的先验分布，为给定下总体分布的共轭分布（也是的二阶矩存在下的最大熵分布），在上式中参数是未知的。经验贝叶斯方法是通过样本去估计未知参数。在前述假设下，可推知总体的边缘分布为，进而可得的极大似然估计由此确定出参数的先验分布。12.3贝叶斯统计的应用与发展贝叶斯方法在可靠性分析中有着重要的应用。数据少是可靠性分析的特点，由于可靠性分析的对象大多是精密、贵重的仪器设备，试验费用大，样本量小到甚至只有一、二次的试

8、验结果，在这种情况下去分析设备的可靠性指标，须尽可能地搜集、综合各种验前经验，整理、推导出参数的先验分布。由前述看到，先验分布的确定不是凭空捏造的，而是通过正常的逻辑思维获得的。先验分布的使用，成为验后样本量不足的合理的补充。在决策分析中，考虑一种新产品的销路，分畅销、一般及滞销三种情形，不同的人因为各自经验等方面的原因，对此会作出不同的估计，形成新产品销路三种情形的主观概率。可见在人们现有知识、经验条件下，主观概率是人们带有主观成分的对事物尽可能的客观性判断，它不等同唯心论。量子力学里最根本的概念就是用波函数描述的概率幅，最基本的规律就是概率幅叠加的规则，所谓微观粒子的波粒二象性，就是由大量测量事件显示出来的一种按的概率分布。在对物质世界的微观领域的探索中，物理参数呈现出一定的随机性，受科学实验的制约及实验对实验对象的影响，以及微观粒子的大量存在性，这为贝叶斯统计在物理参数估计等方面提供了应用空间。贝叶斯统计和频率统计都服从柯尔莫哥洛夫（1933）年提出的概率公理体系，运用概率论知识进行其理论推导。先验分布的确定体现了贝叶斯统计的特色，使贝叶斯统计成为处理实际问题的简明有效的方法。面向实际，突出实效也是贝叶斯统计生命力之所