ch1 先验分布与后验分布.ppt

1、1，2，1，统计推断中可用的三个茄子信息2，贝叶斯公式3，共轭先验分布4，超级参数及其决策5，多参数模型6，足够的统计，第一章先验分布和后验分布，3，1。全部信息：整体分布或所属分布族提供给我们的信息2。1.1统计推断中可用的三个茄子信息，4，1.2贝叶斯公式，贝叶斯统计的基础在英国学者贝叶斯(T.R.Bayes17021761)牙齿去世两年后发表的论文论相关机会问题解决中提出。经过200年的研究和应用，贝叶斯的统计思想有了很大的发展，现在已经形成了统计学派贝叶斯学派。为了纪念他，英国历史最好的统计杂志Biometrika专门刊登了1958年威尼斯的牙齿论文。5，1，贝叶斯公式的三种茄子形式，

2、初等概率论的贝叶斯公式给出为事件的概率。在贝叶斯统计学中可以应用更多的是贝叶斯公式的密度函数形式。1.贝叶斯公式中的事件格式：假定是互斥事件，其和包含事件B。即，、6、随机变量X具有密度函数p(x)。)，其中一个是参数，徐璐另一个密度函数，所以从贝叶斯的角度来看，p(x；)是给定后的条件密度函数之一，因此用p(x)记录比较合适。牙齿条件的密度能提供给我们的信息就是整体信息。假设在给定的情况下从整个p(x)中随机提取示例X1，Xn。牙齿示例包含中包含的信息。牙齿信息是样例信息。2 .贝叶斯公式的密度函数形式：在提出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的具体思想，或称基本假说。7，从

3、贝叶斯的角度来看，未知的参数是随机变量。描述牙齿随机变量的分布可以从先验信息中归纳出来。牙齿分布称为先验分布，其密度用函数表示。(1)先验分布定义1将整个未知参数视为有价值的随机变量，它称为概率分布，()，参数的先验分布。(2)后验分布在贝叶斯统计学上，总结上述三种茄子信息的最佳形式是以总体分布为基础获得的样本X1，Xn和参数共同密度函数：8，牙齿共同密度函数中。样品给定后，未知的只是参数，我们感兴趣的是样品给定后条件密度函数，根据密度计算公式，牙齿条件密度函数：这就是贝叶斯公式的密度函数形式。此处称为后密度函数或后分布。和：样本的极限分布或样本的无条件分布。积分区域是参数值的范围，具体取决于

4、情况。9，3。贝叶斯公式的离散形式：如果是离散随机变量，字典分布可以使用字典分布列(I)，后分布也是离散形式。如果整个X是离散的，则只需将p(x|)更改为P(X=x|)。10，前面的分析总结如下。人们根据先验信息对参数的认识。牙齿识别是先验分布。通过实验获得样品。这使您可以调整的先验分布。曹征方法是使用上述贝叶斯公式。曹征结果为后分布。后分布是三种茄子信息的综合。获得后验分布进一步发展了人们的认识，可以看出，获得标本的效果是我们对“的认识从”调整到“”。因此，对的统计推断必须基于后验分布。第二，后验分布是三个茄子信息的综合，11，示例1.4表示事件A的概率，即。为了估计，我们进行N次独立观测，

5、其中事件A发生次数为X，X为二项分布，即问题解决阶段：1。做贝叶斯假设。在牙齿的时候，我们对事件A的发生一无所知，也没有关于的大小的信息。在牙齿情况下，贝叶斯建议将区间(0，1)的均匀分布(0，1)用作先验分布。因为它在(0，1)的每一点上机会均等。因此：2 .计算样例X和参数联合分布：牙齿样式与定义域中的二项分布不同。如何找到后期分布？12，即：5。具体例子。拉普拉斯计算了牙齿概率，研究了男孩的出生率是否大于0.5。如果选出251527名男孩，则女婴为241945名。他选择U(0，1)作为先验分布，因此可用的后验分布Be(x 1，n-x 1)，其中n=251527 241945=493472

6、，x=251527。由此，拉普拉斯计算了“0.5”的后验概率。所以他主张男孩出生的概率大于0.5。4。使用贝叶斯公式可以得到的后分布：3。计算X的极限密度为：13，注：1。伽玛分布和beta分布简介：定义：0，1中定义，密度函数：标记的概率分布，14，2。例外：p=q=1时，(1，1)类型分布为间距0，1的均匀分布P=q=1/2，(1/2，1/2)类型分布称为反正弦分布，密度函数：设定，密度函数：例如数字要素3360、15、3、(1)参数仅从(0，1)中获取值。因此，必须首先使用间距(0，1)的分布来匹配信息。分布就是这种分布。(2)分布包含两个参数P和Q，徐璐其他P和Q徐璐对应于其他先验分布

7、，因此牙齿分布的适应面很大。(3)样本X的分布为二项分布b(n)时，如果先验分布为分布，则贝叶斯估计计算的后验分布仍为分布，但其中只有参数差异。这种先验分布(分布)称为参数共轭先验分布。选择轭上先验分布会给数学问题处理带来很多方便。16，例1.5投资决策问题，为了提高某产品的质量，公司经理考虑增加投资改善生产设备，预计投资100万元，但从投资效果来看，下属部门有两种茄子意见：改善生产设备后，高质量的产品可以占90%。2:改进生产设备后，请注意：根据科举经验：1的可信度为40%，2的可信度为60%，17，1.3共轭先验分布，1，共轭先验分布定义2为总体分布的参数(或参数矢量)，()为先验密度函数

8、，根据样本信息计算后验在正规均值、正规方差、泊松均值等指定参数及其分布中，讨论共轭先验分布是没有意义的。18，(2)先验分布：例1.6证明正态均值(方差已知)的共轭先验分布是正态分布。证明事故：(1)写样本的类似函数：19，(3)计算后检查分布3360，20，21，补充案例：X表示人的胸围，经验表明胸围几乎服从正态分布。目前，N=10，000人的胸围测量为样本均值39.8(cm)，样品分布为4，假设的先验分布为N(38，9)，求出的后验分布。(回答：N(39.8，1/2500)，说明：样品大后，看起来函数起决定作用，先验信息几乎没有用。22，2，如何简化后分布计算省略常数系数，在给定样例分布p

9、(x|)和字典分布()后通过贝叶斯公式计算的后分布：()=p(x|) ()/m(x)，m(x)其中符号表示两侧只有一个常数系数，且不从属的常数系数。常识的右端称为后验分布的核。23，利用后验分布的核再次证明了实例1.6，24，实例1.7证明了二项分布成功概率的共轭先验分布是分布。，25，3，轭上先验分布的优缺点，轭上先验分布有两个茄子优点，因此在很多情况下采用。计算方便。(2)后验分布的一些参数可以很好地解释。部落：如何找到适当的先验分布？26，例1.8例1.6中后验平均和后验方差的合理解释。例1.6知道是由方差倒数组成的权利，因此后验平均值是样本均值和先验平均值的加权平均值。说明后分布的精度

10、是样本平均分布的精度和字典分布精度的总和，增加样本量N或减少字典分布分布分布分布有助于提高后分布的精度。27、示例1.9是示例1.7中后期分布的平均值和方差的解释。分析：后分布Be(x，n-x)的平均值和方差为，28，29，30，4，一些常用共轭先验分布，共轭先验分布选择的一般原则：似然函数L()=p(x|示例1.10是从正态分布到样本观测，31，解决问题的基本思路：用样品的类似函数：或分布有这种形式的核吗？32，33，34，常用的一些共轭先验分布，35，1.4秒参数及其决定，1，秒参数定义：先验分布中包含的未知参数名称是超参数2，估计方法：共轭先验分布是信息的先验分布，因此要充分利用其中包含

11、的超参数，36，1。使用先验力矩：37，2。使用先验分位数，38，3。如果利用先验力矩和先验分位数，根据先验信息得到先验平均值和P分位数，就可以列出以下方程：由此可以解的估计值。4.其他方法，39，1.5参数模型，如上节所示，一个参数后验分布的基本思想可以根据先验信息给出参数前验分布，然后根据贝叶斯公式计算后验分布。也就是说，很多实际问题包括许多未知的参数情况，如定型。40，例1.12试验正态平均值和正态方差的(联合)共轭先验分布及后验分布。(P24)，1。采取先验分布的情况下2。关于指数分布族的几个茄子结论3。如果以先验分布为轭上先验分布，则为41，1。如果采取先验分布，则为42，43，ba

12、ck，44，3。以先验分布为共轭先验分布45，例如，小麦生长的实验所的经验是每块土地的平均值和标准差100和10的正态分布，现在他们在研究兴奋剂的影响。在12个土地上施用激素后获得的产量如下(单位：千克):141，102，73，171，137，91，81，157，146，69，121，134有关方差的信息是平均值，有关平均值的信息是平均值约110，约15等于观察了15个观测。求： (1)的共轭先验。(2)后密度函数；(3)边际后验；(4)已知条件的后密度函数。百，46，1.6充分的统计量，第一，在经典统计中，充分的统计量的怀旧适度性是水利统计中最重要的概念之一，也是水利统计这一学科特有的基本概

13、念之一。那是Fisher在1925年提出的。充分性的可视定义：信息零丢失统计量。例：研究了一个运动员目标命中率，我们进行了10次牙齿运动员测试，除了发现3、6次未知外，其馀8次都打中了，这种结果包含什么信息？(1)目标10次8次命中；(2)2次火针分别出现在第3和第6个靶子上。概率分析：47，定义：设置为分布函数F(x|)的样本，T=T(x)为统计量，给定T(x)=t条件下x的条件分布不相关时称为统计量的重要特征之一：足够统计量T的重要特征因为根据上述条件分布，可以构造任意实验，得到整个新样品。牙齿新样品不能完全恢复旧样品的原始状态，但与旧样品中包含的参数信息相同。范例1将整个两点分布b(1，

14、)设定为范例，以取得给定T的值，然后取得X的条件分布。48，系数分解定理：统计T(x)具有参数：T和函数g(t，)以及样例X的函数h(x)，可以为相同的X和任意表示样例的组合密度p(x|)，另一个可能与相关，但是与样例X的关系是足够的统计量T(x)，49，2，与贝叶斯统计中充分统计量相关的结论和应用，贝叶斯统计中充分统计量与经典统计中充分统计量的概念一致。定理1.1是密度函数p(x|)的样例，T=T(x)是统计量，密度函数p(t|)和H=()是先验分布族，T(x)是充分统计测量的，50定理1.1中给出的条件需要充分，因此定理1.1的填充条件可以用作充分统计量的贝叶斯定义。2.如果知道统计量T(x)足够，则根据定理1.1，以后的检验分布可以使用牙齿统计量的分布来计算。足够的统计量可以简化数据并减少维数，因此可以用于简化清理1.1度后检查分布计算。示例1.15以足够的统计量从正态分布N(，1)计算参数后分布。(自学)，54，补充内容：指