农大数理统计课件 (10).ppt

1、第四节 贝叶斯估计,一、统计推断的基础 二、贝叶斯公式的密度形式 三、贝叶斯估计 四、共轭先验分布,Thomas Bayes (1702-1761),一、统计推断的基础,经典学派认为统计推断是根据样本信息对总体分布或总体的特征数进行推断。其使用的信息是总体信息和样本信息。,贝叶斯学派认为统计推断在关于总体分布参数的任何统计推断问题中，除了使用上述两种信息外，还必须使用先验信息，它是在进行统计推断时不可缺少的一个要素。,统计学,（1）总体信息,即从总体中抽取的样本所提供的信息。,即总体分布或总体所属分布族所提供的信息。,（2）样本信息,（3）先验信息,即在抽样之前有关统计问题的一些信息，其主要来

2、源是经验和历史资料。,频率学派与贝叶斯学派的争议,频率学派：概率是相对频率的极限。 贝叶斯学派：概率描述的是信心的程度，例如“爱因斯坦在1948年1月3日喝一杯茶的概率是0.35”，它反映的是相信命题为真的程度。,频率学派与贝叶斯学派的争议,频率学派：参数是固定的未知参数。 贝叶斯学派：参数是随机变量，可用概率分布进行描述。,频率学派与贝叶斯学派的争议,频率学派：统计过程中有频率特性。 贝叶斯学派：通过参数的概率分布来推断。,引例. 现有金银铜三种盒子，其中金盒 5 个，银盒 4 个，铜盒 3 个。每个盒子中放了红黄蓝白四种球，个数为,金盒：红 70，黄 20，蓝 8，白 2；,在这 12 个

3、盒子中随机取一个，再从这个盒子中随机取一球，发现是红球，问此球是从一金盒中抽出的概率是多少？,银盒：红 10，黄 75，蓝 3，白 12；,铜盒：红 5，黄 12，蓝 80，白 3；,P(金|红)= 70/ 81, P(银|红)= 8/ 81, P(铜|红)= 3/ 81,问题：由抽出球的颜色，推断盒子的颜色是什么？,P(金|黄)= 25/ 109, P(银|黄)= 75/ 109, P(铜|黄)= 9/ 109,P(金|蓝)= 10/ 73, P(银|蓝)= 3/ 73, P(铜|蓝)= 60/ 73,P(金|白)= 10/ 55, P(银|白)= 36/ 55, P(铜|白)= 9/ 55

4、,红金；黄银；蓝铜；白银。,引例.免检产品是怎样决定的？,某厂的产品每天都要抽检几件，获得不合格率的估计。经过一段时间就积累了大量的资料，根据这些资料（先验信息的一种）对过去产品的不合格率可构造一个分布：,这个对先验信息进行加工获得的分布称为先验分布。,这个先验分布综合了该厂过去产品的质量情况。,贝叶斯统计中的两个基本概念是先验分布和后验分布：,先验分布: 即抽样之前得到的参数 的一个概率分布,它是在进行统计推断时不可缺少的一个要素.,后验分布: 在样本已知下，未知参数 的条件分布. 因为这个分布是在抽样以后才得到的，故称为后验分布. 通常按概率论中计算条件分布的公式去确定。,贝叶斯统计学派的

5、基本观点： 任一个未知参数 都被看作是随机变量，用概率分布来描述是恰当的. 贝叶斯统计学派是利用后验分布来进行统计推断的.,二. 贝叶斯公式的密度函数形式（后验分布）,步骤：,1、总体依赖于参数的概率函数在经典统计学中记为 p(x;), 它表示参数空间=中不同的对应于不同的分布.可在 Bayes 统计中记为 p(x|) ,它表示随机变量在给定某个值时,总体指标 X 的条件概率函数.,2、根据参数的先验信息确定先验分布().,它综合了总体信息和样本信息.,3、从Bayes 观点来看,样本 X=(x1,xn) 的产生分两步进行: 首先设想从先验分布() 产生一个样本0 , 其次从 p(x|0) 中

6、产生一个样本（x1,xn）. 这时样本X = (X1,Xn) 的联合条件概率函数为,4、由于0 是设想出来的,仍然未知. 它是按先验分布()产生的. 为把先验信息综合进去, 应考虑一切.因此要用() 参与进一步综合. 这样, 样本 X=(X1,Xn) 与参数的联合分布为:,它综合了总体信息、样本信息和先验信息.,5、我们的目的是对未知参数作统计推断.在没有样本信息时,只能根据先验分布对作出推断.在有了样本观察值 X=(x1,xn) 之后,应根据 h (X; ) 对作出推断.即用条件分布(| X) 对作推断 .,其中 m (X) 是样本 X 的边缘概率函数. 它不含的任何信息。,这就是Bayes

7、公式的密度函数形式. 称之为的后验分布. 它是用总体和样本对先验分布()作调整的结果，要比()更接近的实际情况.,6、在是离散型随机变量时，先验分布可用先验分布列(i), i =1,2,表示，此时后验分布为,如果总体是离散型的，则这里的p(x|j)为概率函数P(X=x|j),三、Bayes估计,原则：找后验分布的某个有代表性的特征数字估计。,1、最大后验估计:使用后验分布的密度函数最大值点作为的点估计。,2、后验中位数估计:使用后验分布的中位数作为的点估计。,或概率函数,3、后验期望估计：使用后验分布的均值作为的点估计。这 就是一般所谓的Bayes估计. 记为,准备知识：贝塔分布及其数字特征（

8、第112-114页）,注:（1）U(0,1)=Be(1,1),(2) 各种比率一般都服从贝塔分布,则,假如在试验前对事件A 没什么了解, 即对无任何信息. 此时, Bayes建议用U(0,1) 作为的先验分布. 即“同等无知”原则，这时 取在（0,1）上每一点的机会是均等的, 没有偏好. 这一原则被称为Bayes假设.,例1 设某事件 A 在一次试验中发生的概率为,为估计.进行了n 次独立的观测,其中事件 A 发生了 X 次, 求未知参数的贝叶斯估计 .,例2 设总体 X N( ) , 已知 , 未知. 是来自 X 的样本 , 假设的先验分布也是正态分布 X N(,2) .其中先验均值与先验方差2 均已知,试求的Bayes估计 .,四、共轭先验分布,先验分布的确定是Bayes估计中最重要和最困难的步骤. 最常用的先验分布类是共轭先验分布.,定义: 设为总体的未知参数, ()为其先验分布.若对任意的样本观察值得到的后验分布(|X)与()属于同一个分布族,则称分布族是的共轭先验分布(族).,例4 在例2中U(0,1)即为Be(1,1),其对应的后验分布则是Be(x+1,n-x+1). 更一般地,设的先验分布是 Be(a,b), a0, b0, 均已知.则其后验分布为 Be(x+a,n-x+b),即贝塔分布是伯