贝叶斯统计方法.doc

1、(完整版)贝叶斯统计方法在介绍贝叶斯公式前，先简单介绍一下三种信息：总体信息、样本信息和先验信息。1.1 总体信息：是人们对总体的了解，所带来的有关信息，总体信息包括总体分布或者总体分布族的有关信息。例如：“总体属于正态分布”、“它的密度函数是钟型曲线”等等。1.2 样本信息：是通过样本而给我们提供的有关信息。这类“信息”是最具价值和与实际联系最紧密的信息。人们总是希望这类信息越多越好。样本信息越多一般对总体推断越准确。基于以上两种信息所作出的统计推断被称为经典统计。其特征主要是： 把样本数据看成是来自具有一定概率分布的总体， 所研究的对象是总体， 而不是立足与数据本身。1.3 先验信息，即在

2、抽样之前有关统计问题的一些信息，一般说来，先验信息主要来于经验和历史资料。先验信息在日常生活中和工作中也经常可见， 不少人在自觉或不自觉的使用它， 但经典统计忽视了，对于统计推断是一个损失。基于上述三种信息进行的推断被称为贝叶斯统计学。它与经典统计学的主要区别在于是否利用先验信息。在使用样本信息上也是有差异的。2.贝叶斯统计的基本思想国际数理统计主要有两大学派：贝叶斯学派和经典学派。他们之间既有共同点， 又有不同点。贝叶斯统计与经典统计学的最主要差别在于是否利用先验信息， 经典统计学是基于总体信息 （即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断， 而贝

3、叶斯统计是基于总体信息、 样本信息和先验信息（即在抽样之前有关统计问题的一些信息， 主要来于经验或历史资料 )进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一。其基本思想是 :假定对所研究的对象在抽样前己有一定的认识，常用先验（ Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值_ 之前，往往对参数统计模型中的参数。有某些先验知识，关于的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布，经典统计学是基于总体信息 （即总体分布或

4、总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息， 主要来于经验或历史资料 )进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一。其基本思想是 :假定对所研究的对象在抽样前己有一定的认识，常用先验（ Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布，而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取得样本观测值_ 之前，往往对参数统计模型中的参数。有某些先验知识，关于的先验知识的数学描述就是先验分布

5、。贝叶斯统计的主要特点是使用先验分布，经典统计学是基于总体信息 （即总体分布或总体所属分布族的信息）和样本信息（即从总体抽取的样本的信息）进行的统计推断，而贝叶斯统计是基于总体信息、样本信息和先验信息（即在抽样之前有关统计问题的一些信息，主要来于经验或历史资料 )进行的统计推断。贝叶斯统计是贝叶斯理论和方法的应用之一。其基本思想是 :假定对所研究的对象在抽样前己有一定的认识，常用先验（ Prior）分布来描述这种认识，然后基于抽取的样本再对先验认识作修正，得到后验分布， 而各种统计推断都基于后验分布进行。经典统计学的出发点是根据样本，在一定的统计模型下做出统计推断。在取 得样本 观测 值_ 之

6、 前， 往往对 参数 统计模 型中 的参数有某些先验知识，关于 的先验知识的数学描述就是先验分布。贝叶斯统计的主要特点是使用先验分布， 贝叶斯定理既适用于离散型随机变量， 也适用于连续型随机变量，它形成了贝叶斯统计的基本原理和统计思想。设事件A、B 为试验 E 的两事件，由于A 和 B 是一个完备件组，单形式为式（ 2-1）是离散型变量的贝叶斯公式。它实际上可以看作是从先验概率到后验概率的转换公式，即是一个“由果求因”公式。这与全概率公式不同，全概率公式是“由因求果”公式。由于贝叶斯统计集先验信息、样本信息和总体信息于一身，更贴近实际问题，并且由于在处理小样本问题时有其独特的优点。事件形式的条

7、件贝叶斯公式：在已有的贝叶斯公式的定义下，事件C条件下，我们的任务是要对未知数作出统计推断。在没有样本信息时， 人们只能 据 先 验 分 布 对 未 知 数 作 出 推 断 。在 有 样 本 观 察 值我们应该依据可 得 到它的计算公式是这就是贝叶斯公式的密度函数形式。这个在样本 _ 给定下，的条件分布被称为的后验分布。它是集中了总体、 样本和先验等三种信息中有关的一切信息， 而又是排出一切与无关的信息之后所得到的结果。故基于后验分布进行统计推断是更为有效， 也是最合理的。前面提到根据参数的先验信息确定先验分布。那么到底如何确定先验分布呢？这是贝叶斯统计中最困难的， 也是使用贝叶斯方法必须解决

8、但又最易引起争议的问题。这个问题现代有很多研究成果， 但还没有圆满的理论与普遍有效的方法。根据先验信息确定先验分布， 先验分布分为无信息先验分布和有信息先验分布两大类。在没有先验信息的情况下确定的先验分布就叫做无信息先验分布。这是贝叶斯分析p 诞生之初就面临的问题，是贝叶斯学派近 30 多年来获得的重要成果之一。主要有贝叶斯假设位置参数的无信息先验分布， 尺度参数的无信息先验分布和Jeffreys 先验分布。共轭先验分布就是一种有信息先验分布，一般都含有超参数，而无信息先验分布一般不含超参数。从实用角度出发，应充分利用专家的经验或者对历史上积累的数据进行分析p 和拟合， 以确定先验分布。在确定先验分布时，许多人利用协调性假说。共轭先验分布是对某一分布中的参数而言的，离开了指定的参数及其所在的分布去谈共扼先验分布是没有意义的。定义中未对 “同一类型”四个字给出精确的定义，也很难给出恰当的定义。通常的理解是，将概率性质相识的所有分布算作同一类型。例如，所有正态分布构成一类；所有 分布构成一类；所有 分布构成一类。这个假说指示我们，先验分布应