第1章贝叶斯统计原理及方法

1、贝叶斯统计贝叶斯统计 贝叶斯统计贝叶斯统计预修要求：已修过概率论与数理统计预修要求：已修过概率论与数理统计基本教材：基本教材：茆诗松编，贝叶斯统计茆诗松编，贝叶斯统计中国统计出版社，中国统计出版社，2005年年.1 贝叶斯统计与决策贝叶斯统计与决策Berger J O中国统计出版中国统计出版社社1998 2 现代贝叶斯统计现代贝叶斯统计Kotz S,吴喜之中国统计出版吴喜之中国统计出版社社19993 贝叶斯统计推断张尧庭、陈汉峰科学出版贝叶斯统计推断张尧庭、陈汉峰科学出版社社1991课程考核：闭卷考试成绩评定平时(20分)=作业+考勤+课堂表现期末(80分)=卷面(100分) 80%总评(10

2、0分)=平时+期末比例20%80%100%学分数2课堂上讲过的习题、练习题和作业的题目要会课堂上讲过的习题、练习题和作业的题目要会.伽玛函数伽玛函数函数函数dxexx10)(伽玛函数的性质伽玛函数的性质:)21(; 1) 1 () 1 ()() 1()2(1()( )!nnnnn 当当 为为自自然然数数 时时，有有伽玛分布伽玛分布0, 00,)()(1xxexxpx0011()()()( )( )xxE Xx edxxedx 1)() 1(2()E X 2(1) 222()()()Var XE XE X 5.4.4 伽玛分布的两个特例伽玛分布的两个特例1.当当=1时时,伽玛分布就是指数分布伽玛

3、分布就是指数分布:)(), 1 (ExpGa)()21,2(2nnGa0, 00,)()(1xxexxpx0( )00 xexp xx ( , )Ga 12221,0( )2( )20,0 xnnexxnp xx ),(2nX若则则X的密度函数为的密度函数为(),()2E XnVar Xn1000,( )( ),xxexp xx 2( ),( )E XVar X ( , )XGa )()21,2(2nnGa贝塔函数贝塔函数函数函数dxxxbaBba1110)1 (),(贝塔函数的性质贝塔函数的性质:),(),() 1 (abBbaB)()()(),()2(bababaB),(),() 1 (a

4、bBbaBdxxxbaBba1110)1 (),()()1 (11101ydyyxybadyyyba1110)1 (),(abB证明)()()(),()2(bababaB证明dxdyeyxbayxba)(1100)()(ududvevuuvvuyuvxuba11100)1 ()()1 (,dvvvdueubauba111010)1 (),()(baBba11()(1), 01( ) ( )( ) 0, ababxxxabp x其它 贝塔分布贝塔分布贝塔分布的数学期望和方差贝塔分布的数学期望和方差1101()()()( ) ( )ababE Xxxdxab 11()() ( )( ) ( )()

5、ababababaab ( , )XBe a b若若2()E X11()()()a aab ab 2()() (1)abVar Xabab （Bayes，Thomas）(17021761) 贝叶斯是英国数学家贝叶斯是英国数学家.1702年生于伦敦；年生于伦敦；1761年年4月月17日日卒于坦布里奇韦尔斯卒于坦布里奇韦尔斯. 贝叶斯是一位自学成才的数学家贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被年，贝叶斯被选为英国皇家学会会员选为英国皇家学会会员. 如今在概率、数理统计学中以

6、贝叶斯姓氏命名的有贝叶如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等叶斯估计量、贝叶斯方法、贝叶斯统计等等. 贝叶斯方法(Bayesian approach ) 贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计问题的方法(Samuel Kotz和吴喜之,2000)。 贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。 “贝叶斯提出

7、了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”摘自中国大百科全书（数学卷）英国学者英国学者T.贝叶斯贝叶斯1763年在年在论有关机遇问论有关机遇问题的求解题的求解中提出一种归纳推理的理论，后被一中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组方法是唯一合理的统计推断

8、方法的统计学者，组成成数理统计学数理统计学中的贝叶斯学派，其形成可追溯到中的贝叶斯学派，其形成可追溯到20世纪世纪 30 年代。到年代。到5060年代，已发展为一个年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。有影响的学派。时至今日，其影响日益扩大。 本书共六章，可分二部分。前三章围绕先验分本书共六章，可分二部分。前三章围绕先验分布介绍贝叶斯推断方法。后三章围绕损失函数介绍布介绍贝叶斯推断方法。后三章围绕损失函数介绍贝叶斯决策方法。阅读这些内容仅需要概率统计基贝叶斯决策方法。阅读这些内容仅需要概率统计基本知识就够了。本知识就够了。 Byaes统计学派与经典统计学派虽然有很大区别，统

9、计学派与经典统计学派虽然有很大区别，但是它们各有优缺点，各有其适用的范围，作为研但是它们各有优缺点，各有其适用的范围，作为研究者一定要博采众长，以获得一种更适合解决实际究者一定要博采众长，以获得一种更适合解决实际问题的方法。而且，在不少情况下，二者得出的结问题的方法。而且，在不少情况下，二者得出的结论在形式上是相同的。论在形式上是相同的。 一一 第一章先验分布与后验分布 统计学中有两个主要学派：频率学派与贝叶斯统计学中有两个主要学派：频率学派与贝叶斯学派。下面从统计推断的三种信息来说明他们之学派。下面从统计推断的三种信息来说明他们之间的区别与联系。间的区别与联系。 经典学派经典学派的观点：的观

10、点：统计推断是根据样本信息统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里对总体分布或总体的特征数进行推断，这里用到两种信息：用到两种信息：总体信息总体信息和和样本信息样本信息；贝叶斯学派贝叶斯学派的观点：除了上述两种信息以外，的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：统计推断还应该使用第三种信息：先验信息先验信息。 1.1 三种信息三种信息 一、总体信息一、总体信息，即总体分布或总体所属分布给我，即总体分布或总体所属分布给我们的信息。们的信息。 例如例如：”总体是正态分布总体是正态分布“ 说明说明：总体信息是很重要的信息，为了获取此种：总体信息是很重要的信息，为

11、了获取此种信息往往耗资巨大。信息往往耗资巨大。 二、样本信息，二、样本信息，即从总体抽取的样本给我们的信即从总体抽取的样本给我们的信息。（愈多愈好）息。（愈多愈好） 人们希望通过对样本的加工和处理对总体的某些人们希望通过对样本的加工和处理对总体的某些特征做出较为精确的统计推断。特征做出较为精确的统计推断。 例：有了样本观察值，我们可根据它大概知道总例：有了样本观察值，我们可根据它大概知道总体的一些特征数（均值、方差等）在一个什么范体的一些特征数（均值、方差等）在一个什么范围内。围内。 经典统计学经典统计学：基于以上两种信息进行的统计推断被：基于以上两种信息进行的统计推断被称为称为经典统计学经典

12、统计学。说明：说明：它的基本观点是把数据（样本）看成是来自它的基本观点是把数据（样本）看成是来自具有一定概率分布的总体，所研究对象是这个总体而具有一定概率分布的总体，所研究对象是这个总体而不局限于数据本身。不局限于数据本身。据现有资料看，这方面最早的工作是高斯和勒让德据现有资料看，这方面最早的工作是高斯和勒让德德误差分析、正态分布和最小二乘法。从十九世纪末德误差分析、正态分布和最小二乘法。从十九世纪末期到二十世纪中叶，经皮尔逊、费歇和奈曼等人杰出期到二十世纪中叶，经皮尔逊、费歇和奈曼等人杰出的工作创立了经典统计学。的工作创立了经典统计学。随着经典统计学的持续发展与广泛应用，它本身的随着经典统计

13、学的持续发展与广泛应用，它本身的缺陷也逐渐暴露出来了。缺陷也逐渐暴露出来了。（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。贝叶斯学派贝叶斯学派的观点：除了上述两种信息以外，统的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：计推断还应该使用第三种信息：先验信息先验信息。 三、先验信息，三、先验信息，即是抽样（试

14、验）之前有关统计即是抽样（试验）之前有关统计问题的一些信息。问题的一些信息。一般说来，先验信息来源于经验和历史资料。先一般说来，先验信息来源于经验和历史资料。先验验 信息在日常生活和工作中是很重要的。信息在日常生活和工作中是很重要的。人们在试验之前对要做的问题在经人们在试验之前对要做的问题在经 验上和资料上验上和资料上总是有所了解的，这些信息对总是有所了解的，这些信息对 统计推断是有益的。统计推断是有益的。例例1.11.1 英国统计学家英国统计学家SavageSavage曾考察如下曾考察如下2 2个统计实验：个统计实验：A A。一位常饮牛奶加茶的妇女声称，她能辨别先倒进。一位常饮牛奶加茶的妇女

15、声称，她能辨别先倒进杯子里的是茶还是牛奶。对此做了杯子里的是茶还是牛奶。对此做了1010次试验，她都正次试验，她都正确地说出了。确地说出了。B B。一位音乐家声称，他能从一页乐谱辨别出是海顿。一位音乐家声称，他能从一页乐谱辨别出是海顿还是莫扎特的作品。在还是莫扎特的作品。在1010次这样的试验中，他都能正次这样的试验中，他都能正确辨别。确辨别。 在这两个统计试验中，假如认为被试验者是在猜在这两个统计试验中，假如认为被试验者是在猜测，每次成功的概率为测，每次成功的概率为0.50.5，那么，那么1010次都猜中的概率次都猜中的概率为为2 2-10-10=0.0009766=0.0009766，这是

16、一个很小的概率，是几乎不，这是一个很小的概率，是几乎不可能发生的，所以可能发生的，所以 “ “每次成功概率为每次成功概率为0.5”0.5”的假设应的假设应该被拒绝。该被拒绝。被试验者每次成功的概率要比被试验者每次成功的概率要比0.50.5大得多。这不是猜大得多。这不是猜测，而是他们的经验在帮了他们的忙。测，而是他们的经验在帮了他们的忙。例例1.21.2“免检产品免检产品”是怎样决定的？某厂的产品每天都是怎样决定的？某厂的产品每天都有抽验几件，获得不合格品率有抽验几件，获得不合格品率的估计。在经过一段时的估计。在经过一段时间后就积累大量的资料，根据这些历史资料（先验信息间后就积累大量的资料，根据

17、这些历史资料（先验信息的一种）对过去产品的不合格品率可构造一个分布：的一种）对过去产品的不合格品率可构造一个分布：niniPi,.,1 , 0,)( 这个对先验信息进行加工获得的分布今后称为这个对先验信息进行加工获得的分布今后称为先验分布先验分布。这个先验分布是综合了该厂过去产品的质量情况。如果这个先验分布是综合了该厂过去产品的质量情况。如果这个分布的概率大部分集中在这个分布的概率大部分集中在=0附近，那么该产品可附近，那么该产品可认为是认为是“信得过产品信得过产品”。假如以后的多次抽检结果与历。假如以后的多次抽检结果与历史资料提供的先验分布是一致的。使用单位就可以对它史资料提供的先验分布是一

18、致的。使用单位就可以对它做出做出“免检产品免检产品”的决定，或者每月抽检一、二次就足的决定，或者每月抽检一、二次就足够了，这就省去了大量的人力和物力。够了，这就省去了大量的人力和物力。可见历史资料在统计推断中应加以利用可见历史资料在统计推断中应加以利用 基于上述三种信息进行统计推断的统计学称为基于上述三种信息进行统计推断的统计学称为贝叶斯统贝叶斯统计学计学。它与经典统计学的它与经典统计学的差别差别就在于是否利用先验信息。就在于是否利用先验信息。 贝叶斯统计在重视使用总体信息和样本信息的同时，贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形还注意先验

19、信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的成先验分布，参加到统计推断中来，以提高统计推断的质量。质量。 忽视先验信息的利用，有时是一种浪费，有时还会忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。导出不合理的结论。 在使用在使用样本信息上也是有差异的样本信息上也是有差异的. .贝叶斯学派重视已贝叶斯学派重视已出现的样本观察值出现的样本观察值, ,而对尚未发生的样本观察值不予考而对尚未发生的样本观察值不予考虑虑. . 贝叶斯学派的基本观点贝叶斯学派的基本观点：任一未知量任一未知量都可看作随机变都可看作随机变量，量，可用一个概率分布去描述，

20、这个分布称为先验分布；可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量斯公式结合起来得到一个关于未知量新的分布新的分布后验后验分布分布；任何关于；任何关于的统计推断都应该基于的统计推断都应该基于的后验分布的后验分布进行。进行。 因为任一未知量都有不确定性，而在表述不确因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。定性程度时，概率与概率分布是最好的语言。例例1.21.2中产品的不合格品率中产品的不合格品率是未知量，但每天都是未知量，但每天

21、都有一些变化，把它看做一个随机变量是合适的，有一些变化，把它看做一个随机变量是合适的，用一个概率分布去描述它也是很恰当的。用一个概率分布去描述它也是很恰当的。例例1.3 1.3 学生估计一新教师的年龄。学生估计一新教师的年龄。依据学生们的生活经历，在看了新教师的照片后会立依据学生们的生活经历，在看了新教师的照片后会立即有反应：即有反应：“新教师的年龄在新教师的年龄在3030岁到岁到5050岁之间，极有岁之间，极有可能在可能在4040岁左右。岁左右。”一位统计学家与学生们交谈，明一位统计学家与学生们交谈，明确这句话中确这句话中“左右左右”为为3 3岁，岁，“极有可能极有可能”可理解为可理解为90

22、90的把握。于是学生们对新教师的年龄（未知量）的把握。于是学生们对新教师的年龄（未知量）的认识（先验信息）可综合为图的认识（先验信息）可综合为图1.11.1所示的概率分布，所示的概率分布，这也是学生们对未知量（新教师的年龄）的概率表述。这也是学生们对未知量（新教师的年龄）的概率表述。这里有两个问题需要进一步讨论。这里有两个问题需要进一步讨论。第一，按图第一，按图1.11.1所示的概率分布我们可谈论未知量所示的概率分布我们可谈论未知量位位于某个区间的概率。于某个区间的概率。例例位于位于3737到到4343岁间的概率为岁间的概率为0.90.9。可这个陈述在经典统计中是不允许的。可这个陈述在经典统计

23、中是不允许的。在实际中类似的说法经常听到。在实际中类似的说法经常听到。第二，按图第二，按图1.11.1中的概率不是在大量重复试验中获得的，中的概率不是在大量重复试验中获得的，而是学生们根据自己的生活经历的积累对该事件发生可而是学生们根据自己的生活经历的积累对该事件发生可能性所给出的信念，这样给出的概率在贝叶斯统计中是能性所给出的信念，这样给出的概率在贝叶斯统计中是允许的，并称为允许的，并称为主观概率主观概率。（它也符合概率的三条公。（它也符合概率的三条公理）。这一点频率学派是频率学派难以接受的，他们认理）。这一点频率学派是频率学派难以接受的，他们认为经典统计学使用大量重复试验的频率来确定概率，

24、是为经典统计学使用大量重复试验的频率来确定概率，是“客观的客观的”，因此符合科学的要求，而认为贝叶斯统计，因此符合科学的要求，而认为贝叶斯统计是是“主观的主观的”，因而（至多）只对个人决策有用。这是，因而（至多）只对个人决策有用。这是当前对贝叶斯统计的主要批评。当前对贝叶斯统计的主要批评。 两学派在一些问题上的争论将在后面逐步介绍。两学派在一些问题上的争论将在后面逐步介绍。 ByaesByaes统计学派与经典统计学派在很多问题上都有统计学派与经典统计学派在很多问题上都有分歧但是它们最根本的分歧是分歧但是它们最根本的分歧是: :第一，是否利用先验信息。由于产品的设计、生产都有第一，是否利用先验信

25、息。由于产品的设计、生产都有一定的继承性，这样就存在许多相关产品的信息以及先一定的继承性，这样就存在许多相关产品的信息以及先验信息可以利用，验信息可以利用，ByaesByaes统计学派认为利用这些先验信统计学派认为利用这些先验信息不仅可以减少样本容量，而且在很多情况还可以提高息不仅可以减少样本容量，而且在很多情况还可以提高统计精度；而经典统计学派忽略了这些信息。统计精度；而经典统计学派忽略了这些信息。第二，是否将参数第二，是否将参数 看成随机变量。看成随机变量。ByaesByaes统计学派的最统计学派的最基本的观点是基本的观点是: :任一未知量任一未知量 都可以看成随机变量，可以都可以看成随机

26、变量，可以用一个概率分布去描述，这个分布就是先验分布。因为用一个概率分布去描述，这个分布就是先验分布。因为任一未知量都具有不确定性，而在表述不确定性时，概任一未知量都具有不确定性，而在表述不确定性时，概率与概率分布是最好的语言；相反，经典统计学派却把率与概率分布是最好的语言；相反，经典统计学派却把未知量未知量 就简单看成一个未知参数，来对它进行统计推就简单看成一个未知参数，来对它进行统计推断。断。总结总结 理解贝叶斯统计学与经典统计学的主要差理解贝叶斯统计学与经典统计学的主要差别。别。 贝叶斯统计学派的最基本的观点贝叶斯统计学派的最基本的观点 。1.2 贝叶斯公式贝叶斯公式一、贝叶斯一、贝叶斯

27、 公式的密度函数形式公式的密度函数形式1.1.总体依赖于参数总体依赖于参数的概率函数在贝叶斯统计中记的概率函数在贝叶斯统计中记为为P (x | )，它表示在随机变量，它表示在随机变量取某个给定值取某个给定值时总体的时总体的条件概率函数；条件概率函数； 2.2.根据参数根据参数的先验信息可确定的先验信息可确定先验分布先验分布 ()； 3.3.从贝叶斯观点看，样本从贝叶斯观点看，样本 x=（x1, x2 , , xn ）的产的产生分两步进行生分两步进行: :首先从先验分布首先从先验分布 ()产生一个样产生一个样本本0，然后从，然后从P (x | 0)中中产生一组样本。这时样本产生一组样本。这时样本

28、的的联合条件概率函数联合条件概率函数为为0(|)01(|)niip xp x 这个分布综合了总体信息和样本信息，常称为似然函数。这个分布综合了总体信息和样本信息，常称为似然函数。0 是未知的，它是按先验分布是未知的，它是按先验分布 ( )产生的。为把先产生的。为把先验信息综合进去，不能只考虑验信息综合进去，不能只考虑0，对，对 的其它值发生的其它值发生的可能性也要加以考虑，故要用的可能性也要加以考虑，故要用 ()进行综合。这进行综合。这样一来，样本样一来，样本x=（x1 , , xn）和参数和参数的的联合分布为联合分布为: :h(x, ) = p(x ) ( )， 这个联合分布把总体信息、样本

29、信息和先验信息三这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了。种可用信息都综合进去了。5.5.我们的任务是对未知数我们的任务是对未知数 作出推断。在没有样本信作出推断。在没有样本信息时，人们只能依据先验分布对息时，人们只能依据先验分布对 作出推断。在有作出推断。在有了样本观察值了样本观察值x=( x1, x2 , , xn )之后，则应依据之后，则应依据 h(x , )对对 作出推断。由于作出推断。由于 h(x , )= ( x )m(x)， 其中其中 是是x= =(x1, x2 , , xn )的边际概率函数，它与的边际概率函数，它与 无关，无关，不含不含 的任何信息。

30、因此能用来对的任何信息。因此能用来对 作出推断的仅作出推断的仅是条件分布是条件分布 ( x)，它的计算公式是，它的计算公式是 111( ,)( , )( ,| ) ( )nnnm xxh xxdp xxd ( , )(|) ( )(|)(1.1)( )(|) ( )h xp xxm xp xd 这就是贝叶斯公式的密度函数形式。这就是贝叶斯公式的密度函数形式。 这个条件分布称为这个条件分布称为 的的后验分布后验分布, ,它集中了总体、它集中了总体、样本和先验中有关样本和先验中有关 的一切信息的一切信息, ,而又是排除一而又是排除一切与切与 无关的信息之后得到的结果。无关的信息之后得到的结果。 后

31、验分布后验分布 ( x )的计算公式就是用密度函数表的计算公式就是用密度函数表示的贝叶斯公式。它是用总体和样本对先验分示的贝叶斯公式。它是用总体和样本对先验分布布 ( )作调整的结果，贝叶斯统计的一切推断作调整的结果，贝叶斯统计的一切推断都基于后验分布进行。都基于后验分布进行。 6.6.在在 是离散型随机变量时，先验分布可用先验分布是离散型随机变量时，先验分布可用先验分布列列 ( i)，i=1,2,，表示。这时后验分布也是离散表示。这时后验分布也是离散形式形式(|) ()(|)1,2,.(1.2)(|) ()iiijjjp xxip x 假如总体假如总体X X也是离散的，只要把（也是离散的，只

32、要把（1.11.1）或（）或（1.21.2）中的密度函数中的密度函数p(p(x) )作为概率函数作为概率函数p p( (X=x ) )即可。即可。二、后验分布式三种信息的综合二、后验分布式三种信息的综合一般说来，先验分布一般说来，先验分布 ( ( ) )是反映人们抽样前对的是反映人们抽样前对的 认识，后验分布认识，后验分布 ( x )是反映人们在抽样后对是反映人们在抽样后对 的认的认识。它们之间的差异是由于样本识。它们之间的差异是由于样本x出现后人们对出现后人们对 认识认识的一种调整。所以后验分布的一种调整。所以后验分布 ( x )可以看做是人们用可以看做是人们用总体信息和样本信息（综合称为抽

33、样信息）对总体信息和样本信息（综合称为抽样信息）对 ( )作作调整的结果。调整的结果。例例1.4. 设某事件设某事件A A在一次试验中发生的概率为在一次试验中发生的概率为 ，为估，为估计计 ，对试验进行了，对试验进行了n次独立观测，其中事件次独立观测，其中事件A发生了发生了X次，显然次，显然 X b(n, )，即，即 这是似然函数。这是似然函数。假若我们在试验前对事件假若我们在试验前对事件A没有什么了解，从而对其发没有什么了解，从而对其发生的概率生的概率 也没有任何信息。在这种场合，贝叶斯本也没有任何信息。在这种场合，贝叶斯本人建议采用人建议采用“同等无知同等无知”的原则使用区间的原则使用区间

34、（0,1）上上的均匀分布的均匀分布U(0,1)作为作为 的先验分布，因为它取的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。为贝叶斯假设。 (| )(1),0,1,xn xnP Xxxnx 的先验分布为的先验分布为 其其它它, 010 , 1)( 由此即可利用贝叶斯公式求出由此即可利用贝叶斯公式求出 的后验分布。具的后验分布。具体如下：先写出体如下：先写出X和和 的联合分布的联合分布 然后求然后求X的边际分布的边际分布 最后求出最后求出 的后验分布的后验分布 最后的结果说明最后的结果说明 的后验分布为的后验

35、分布为Be(x+1,n-x+1)，( , )(1),0,1, , 01xn xnh xxnx 10(1) (1)( )(1)(2)xnxnxnxm xdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1) (1)xn xhxnxmxxn x 例例1.5.1.5. 为了提高某产品的质量，公司经理考虑增加投为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资资来改进生产设备，预计需投资9090万元，但从投资效果万元，但从投资效果看，下属部门有看，下属部门有2 2种意见：种意见： 1 1：改进设备后，高质量产品可占改进设备后，高质量产品可占9090 2 2：改

36、进设备后，高质量产品可占改进设备后，高质量产品可占7070经理当然希望经理当然希望 1 1发生，公司效益可得很大提高，投资改发生，公司效益可得很大提高，投资改进设备是合算的。但根据下属两个部门过去建议被采纳进设备是合算的。但根据下属两个部门过去建议被采纳的情况，经理认为，的情况，经理认为， 1 1的可信程度只有的可信程度只有4040， 2 2的可信的可信程度是程度是6060。即。即6 . 0)(, 4 . 0)(21 这个都是经理的主观概率。经理不想仅用过去的经验来这个都是经理的主观概率。经理不想仅用过去的经验来决策，想慎重一些，通过小规模试验后观其结果再定。决策，想慎重一些，通过小规模试验后

37、观其结果再定。为此做了一项试验，实验结果（记为为此做了一项试验，实验结果（记为A A）如下：）如下：A A：试制：试制5 5个产品，全是高质量产品个产品，全是高质量产品经理对此试验结果很高兴，希望用此试验结果来修改他原经理对此试验结果很高兴，希望用此试验结果来修改他原来对来对 1 1和和 2 2的看法，即要求后验概率的看法，即要求后验概率 ( 1x ) 和和 ( 2 x ) 。,590.09 .0)(51 AP52()0.70.168,P A 1122( )() ( )() ( )0.337P AP AP A 111()() ( )( )0.700AP AP A 222()() ( )( )0

38、.3AP AP A 所以所以21() 1()AA 或或经理根据试验经理根据试验A A的信息调整自己的看法，把对的信息调整自己的看法，把对 1 1和和 2 2的的可信程度由可信程度由0.40.4和和0.60.6调整到调整到0.70.7和和0.3.0.3.后者是综合了经后者是综合了经理的主观概率和试验结果而获得的，要比主观概率更贴理的主观概率和试验结果而获得的，要比主观概率更贴近当今的实际，这就是贝叶斯公式的应用近当今的实际，这就是贝叶斯公式的应用经过试验经过试验A A后，经理对增加投资改进质量的兴趣增大。但后，经理对增加投资改进质量的兴趣增大。但因投资额大，还想再做一次小规模试验，观此结果在最决

39、因投资额大，还想再做一次小规模试验，观此结果在最决策。为此又做了一批试验，试验结果（记为策。为此又做了一批试验，试验结果（记为B B）如下：）如下：91()100.90.10.387,P B 92() 10 0.70.30.121,P B 1122( )() ( )() ( )0.307P BP BP B 111()() ( )( )0.883BP bP B 2() 0.117B 所以所以经理看到经过两次试验，经理看到经过两次试验， 1 1（高质量产品可占高质量产品可占9090 ）的可信程度由的可信程度由0.40.4调整到调整到0.8830.883，他能以，他能以88.388.3的把握的把握保

40、证此项投资能取得较大经济效益。保证此项投资能取得较大经济效益。B B：试制：试制1010个产品，有个产品，有9 9个是高质量产品个是高质量产品12()0.7, ()0.3 总结总结 利用贝叶斯公式会由先验分布求后验分布。利用贝叶斯公式会由先验分布求后验分布。练习练习1.21.2作业：作业：1.11.1，1.7(1.7(概率统计中的概率统计中的6.46.4的课后题的课后题) )1.3共轭先验分布共轭先验分布一、共轭先验分布一、共轭先验分布例例1.41.4中中X X b b( (n n, , ) ) ，先验分布为，先验分布为U(0,1),U(0,1),即即Be(1,1)Be(1,1)后验分布后验分

41、布Be(Be(x+1,+1,n- -x+1) ,+1) ,其中其中x为为n次独立试验中成功出次独立试验中成功出现的次数现的次数. .Be(,Be(,) )Be(Be(+ +x,+ +n- -x) )定义定义1.11.1 设设 是总体分布中的参数（或参数向量），是总体分布中的参数（或参数向量）， ( ( ) )是是 的先验密度函数，假如由抽样信息算得的后验的先验密度函数，假如由抽样信息算得的后验密度函数与密度函数与 ( ( ) )有相同的函数形式，则称有相同的函数形式，则称 ( ( ) )是是 的的共共轭先验分布轭先验分布。注意注意：共轭先验分布是对某一：共轭先验分布是对某一分布分布中的中的参数

42、参数而言的。而言的。离开指定参数及其所在的分布去谈论共轭先验分布是离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的没有意义的. .例例1.6 1.6 正态均值（方差已知）的共轭先验分布是正态分布正态均值（方差已知）的共轭先验分布是正态分布. .设设x1 1, , x2 2, , ,xn是来自正态分布是来自正态分布N( , 2)的一个样本观察的一个样本观察值。其中值。其中2已知。已知。样本的似然函数为：样本的似然函数为：22111( | )exp()22nniip xx 取另一正态分布取另一正态分布N(N(, ,2 2) )作为正态均值作为正态均值 的先验分布，即的先验分布，即221()

43、( )exp,22 其中其中, ,2 2为已知。为已知。设设x= =（x1 1, , x2 2, , ,xn）与参数）与参数 的联合密度函数为的联合密度函数为122221111()( , )exp()222nninih xx 样本样本x的边际密度函数为的边际密度函数为22(/)exp2/B AkA 1 222( )( , )m xh xdxkA 参数参数 的后验分布为的后验分布为1/222(/)()exp,2/B AxAA 其中其中222201022222010111,xBAn 这是参数为这是参数为1, 和和12 2的正态分布的正态分布 222201022222010111,xBAn 二、后验

44、分布的计算二、后验分布的计算(|)(|) ( )/( )xp xm x 参数参数 的后验分布为的后验分布为由于由于m( (x) )不依赖于不依赖于 ，在计算的，在计算的 后验分布中仅起到后验分布中仅起到一个正则化因子的作用。假如把一个正则化因子的作用。假如把m( (x) )省略，把贝叶斯省略，把贝叶斯公式改写为如下等价形式公式改写为如下等价形式(|)(|) ( )(1.9)xp x 其中其中“”表示两边仅差一个常数因子，一个不依赖于表示两边仅差一个常数因子，一个不依赖于 的常数因子。（的常数因子。（1.91.9）式右端虽不是正常的密度函数，但）式右端虽不是正常的密度函数，但他是后验分布他是后验

45、分布 ( ( x）的核，在需要时可以利用适当的方的核，在需要时可以利用适当的方式计算出后验密度，特别当看出式计算出后验密度，特别当看出 ( ( x)x)的核就是某常用的核就是某常用分布的核时，不用计算分布的核时，不用计算m( (x) )就可很快恢复所缺常数因子。就可很快恢复所缺常数因子。注意注意：这在共轭先验分布和非共轭先验分布场合都可使用。：这在共轭先验分布和非共轭先验分布场合都可使用。例例1.6 1.6 正态均值（方差已知）的共轭先验分布是正态分布正态均值（方差已知）的共轭先验分布是正态分布. .(|)(|) ( )/( )xp xm x 2(/)exp2/B AA 其中其中2222010

46、22222010111,xBAn 这是参数为这是参数为1, 和和2 2的正态分布的核的正态分布的核 (|) ( )p x 22(/)exp2/B AkA 例例1.7 1.7 二项分布中的成功概率二项分布中的成功概率 的共轭先验分布是的共轭先验分布是贝塔分布。贝塔分布。设总体中设总体中X b b( (n, , ) )，先验分布先验分布Be(,Be(,) )， 的的后验分布后验分布(|)(|) ( )xp x 11(1)(1)xnx 11(1),01xnx 这是贝塔分布这是贝塔分布Be(Be(+ +x, ,+ +n- -x) ) 的核的核. . 的的后验分布后验分布11()( | )(1),01(

47、) ()xn xnxxn x 常用分布的核常用分布的核（1 1）二项分布）二项分布b b( (n n, , ）的核）的核 (2)(2)泊松分布泊松分布P P（）的核）的核（3 3）贝塔分布）贝塔分布Be(,Be(,) )的核的核（4 4）伽玛分布）伽玛分布GaGa(, , ) )的核的核（5 5）倒伽玛分布）倒伽玛分布I IGaGa(, , ) )的核的核（6 6）正态分布正态分布N(N( , , 2 2) )的核的核(1)xnx xe 11(1)xx 1xxe 11xex 22()exp2x 熟悉后验分布的核可以简化后验分布的计算。熟悉后验分布的核可以简化后验分布的计算。三、共轭先验分布的优

48、缺点三、共轭先验分布的优缺点共轭先验分布的有两个优点共轭先验分布的有两个优点1.1.计算方便。计算方便。2.2.共轭先验分布的一些参数可以得到很好的解释。共轭先验分布的一些参数可以得到很好的解释。例例1.8 “1.8 “正态均值（方差已知）的共轭先验分布是正态分正态均值（方差已知）的共轭先验分布是正态分布布”的例子中，其后验均值为的例子中，其后验均值为2222010222200(1) ,xxn 后验均值是样本均值和先验均值的加权平均。后验均值是样本均值和先验均值的加权平均。在处理正态分布是，方差的倒数发挥着重要的作用，并在处理正态分布是，方差的倒数发挥着重要的作用，并称其为称其为精度精度。22

49、222101111,n 这表明后验均值是在先验均值与样本均值间采取折衷方案。这表明后验均值是在先验均值与样本均值间采取折衷方案。例例1.91.9在在“ “ 二项分布中的成功概率二项分布中的成功概率 的共轭先验分的共轭先验分布是贝塔分布布是贝塔分布”的例的例1.71.7中，后验分布中，后验分布Be(Be(+ +x x,+ +n n- -x x) ) 的均值与方差为的均值与方差为( | )(1)xExnnxxn nnn 2( | ) 1( | )()()( | )() (1)1ExExxn xVarxnnn 当当n与与x都较大，且都较大，且x/ /n接近某个常数时，有接近某个常数时，有( | )x

50、Exn 1( | )1xxVarxn nn 注意注意：1.1.在贝叶斯统计中，先验分布的选择应以合在贝叶斯统计中，先验分布的选择应以合理性作为首要原则，计算上的方便与先验的合理性理性作为首要原则，计算上的方便与先验的合理性相比还是第二位的。相比还是第二位的。2.2.在考虑到先验的合理性之后，充分发挥共轭先验在考虑到先验的合理性之后，充分发挥共轭先验分布是常采用的策略。分布是常采用的策略。四、常用的共轭先验分布四、常用的共轭先验分布共轭先验分布的选取共轭先验分布的选取是由似然函数是由似然函数L(L( ) )= =p( (x| | ) )中中所含的所含的 因式所决定的，即选与似然函数（因式所决定的

51、，即选与似然函数（ 的函数的函数) )具有相同的核的分布作为先验分布。具有相同的核的分布作为先验分布。例例1.10 1.10 设设x1 1, , x2 2, , ,xn是来自正态分布是来自正态分布N( , 2)的一个的一个样本观察值。其中样本观察值。其中 已知已知,求方差求方差2的共轭先验分布的共轭先验分布。样本的似然函数为：样本的似然函数为：22111( | )exp()22nniip xx /2222111exp()2nniix 1(, ),0( )xp xxex 设设X服从伽玛分布服从伽玛分布GaGa( ( , , ) )，其中，其中 00为形状参数为形状参数, , 0 0为尺度参数，其

52、密度函数为为尺度参数，其密度函数为Y=1/XY=1/X的密度函数为的密度函数为11(, ),0( )yp yeyy 这个分布称为这个分布称为倒伽玛分布倒伽玛分布，记为，记为IGaIGa( ( , , ) )。假如取倒伽玛分布为假如取倒伽玛分布为2的先验分布，其中参数的先验分布，其中参数 , , 为已知，则其密度函数为为已知，则其密度函数为21221(),( )e /2222111()exp()2nniip xx 21221(),( )e 2的后验分布的后验分布为为2/21222221111()exp(),2nniixxe 1/22221111exp()2nniix 这个分布为倒伽玛分布这个分布

53、为倒伽玛分布211(,() )22niinIGax 若后验分布若后验分布 ( x)与与 ( )属于同一个分布族，属于同一个分布族，则称该分布族是则称该分布族是 的的共轭先验分布共轭先验分布( (族族) )。二项分布二项分布b(n, )中的成功概率中的成功概率 的共轭先验分的共轭先验分布是贝塔分布布是贝塔分布Be(a,b)；泊松分布泊松分布P( )中的均值中的均值 的共轭先验分布是伽的共轭先验分布是伽玛分布玛分布Ga( , )；指数分布中均值的倒数指数分布中均值的倒数 的共轭先验分布是伽玛的共轭先验分布是伽玛分布分布Ga( , )；在方差已知时，正态均值在方差已知时，正态均值 的共轭先验分布是正

54、的共轭先验分布是正态分布态分布N( , 2); ;在均值已知时，正态方差在均值已知时，正态方差 2的共轭先验分布是的共轭先验分布是倒伽玛分布倒伽玛分布IGa( , )。 总结总结 1.利用贝叶斯公式会由先验分布求后验分布利用贝叶斯公式会由先验分布求后验分布 2.记住常见的共轭先验分布记住常见的共轭先验分布练习练习1.81.8，1.101.10作业：作业：1.91.9，1.121.121.4 1.4 超参数及其确定超参数及其确定定义定义：先验分布中所含的未知参数称为：先验分布中所含的未知参数称为超参数超参数。例例 成功概率的共轭先验分布为成功概率的共轭先验分布为Be(,Be(,) )，它含有两个

55、超，它含有两个超参数参数. .注意：注意：一般来说，共轭先验分布含有超参数，而无信息先一般来说，共轭先验分布含有超参数，而无信息先验分布一般不含超参数。验分布一般不含超参数。 共轭先验分布是一种有信息的先验分布，故其中共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来确定，下面结所含的超参数应充分利用各种先验信息来确定，下面结合具体的例子介绍一些确定超参数的方法。合具体的例子介绍一些确定超参数的方法。例例1.111.11在在 二项分布中的成功概率二项分布中的成功概率 的共轭先验分布的共轭先验分布是贝塔分布是贝塔分布Be(,Be(,) ) ， ,是其两个超参数是其两个

56、超参数一、利用先验矩一、利用先验矩利用先验信息能获得成功概率利用先验信息能获得成功概率 的若干个估计值，记为的若干个估计值，记为 1 1, , 2 2, , , k, ,一般它们是从历史数据整理加工获得的，一般它们是从历史数据整理加工获得的，由此可算得先验均值由此可算得先验均值 和先验方差和先验方差S S 2 2，其中，其中 kiik11 2211()1kiiSk 然后令其分别等于贝塔分布然后令其分别等于贝塔分布Be(,Be(,) ) 的期望与方差的期望与方差 22)1( S解之，可得参数解之，可得参数与与的估计值的估计值22(1)1(1)(1)1SS 二、利用先验分位数二、利用先验分位数假如根据先验信息可以确定贝塔分布的两个分位数，假如根据先验信息可以确定贝塔分布的两个分位数，则可利用这两个分位数来确定则可利用这两个分位数来确定与与的估计值。的估计值。例如用两个上下四分位数例如用两个上下四分位数 U U和和 L L来确定来确定与与110111()(1)0.25( ) ()()(1)0.25( ) ()LU 从这两个方程从这两个方程解出解出与与三、利用先验矩和先验分位数三、利用先验矩和先验分位数假如根据先验信息可获得先验均值假如根据先验信息可获得先验均值 和和p分位数分位数 p，则，则可列出下列方程的