7.1概率有向图及贝叶斯网络基础知识

概率有向图模型—贝叶斯网络主讲人：李侃使用有向无环图表示变量之间的关系概率有向图模型基本原理是关于变量的一个联合概率分布例：概率乘积规则展开K个变量的概率有向图模型？每个条件概率对应⼀条有向边，起点是条件概率中条件随机变量对应的结点每个变量对应一个结点，如果存在从结点到结点的有向边，则结点是结点的父结点，结点是结点的子结点概率有向图模型K个变量的联合概率分布表示为概率乘积规则展开…………完全⼀般的联合概率分布全连接概率图模型非全连接概率图模型？对应概率有向图模型请思考：下式如何用概率图模型进行表示，它是全连接的吗？概率有向图模型结论：图的所有结点上定义的联合概率分布由每个结点上的条件概率分布的乘积表示，每个条件概率分布的条件都是图中结点的父结点所对应的变量。表示结点的父结点的集合此公式表示有向图模型的联合概率分布的分解属性。⼀个有K个结点的图，联合概率：有向图不能存在有向环贝叶斯网络起源于贝叶斯统计学，是以概率论为基础的有向图模型。

贝叶斯网络是用来表示变量间概率依赖关系的有向无环图。贝叶斯网络在统计学、推荐系统、图像识别等领域具有广泛的应用价值。表示随机变量，是对过程、事件、状态等实体的某些特征的描述表示变量间的概率依赖关系两个重要条件独立性结点与其非后代结点条件独立给定一个结点的马尔可夫覆盖，这个结点和网络所有其他结点条件独立结点有向边贝叶斯网络贝叶斯网络

贝叶斯网络

N表示为其中表示结点关系的有向无环图，即贝叶斯网络结构；表示每个结点Vi在它父结点集pa(Xi)条件下的条件概率，即贝叶斯网络参数。，结点集，结点集

，贝叶斯网络特点一种不定性因果关联模型。具有强大的不确定性问题处理能力。具有良好的可理解性和逻辑性。能有效地进行多源信息表达与融合。结合先验知识，用图形化模型描述数据间的相互关系，便于进行预测分析。51234贝叶斯定理贝叶斯定理随机事件A

和B

的条件概率：推导

贝叶斯定理贝叶斯定理可以表述下列情形：设

是观测向量，是未知参数向量，、

的联合分布密度是

它们的边际密度分别为

、

，通过观测向量获得未知参数向量的估计，则

其中，

为

的先验分布对未知参数向量的估计综合了它的先验信息和样本信息传统的参数估计方法只考虑了样本信息（最大似然估计）贝叶斯定理贝叶斯方法对未知参数向量估计：

将未知参数

看成是随机向量。这是贝叶斯方法与传统参数估计方法的最大区别。

计算后验分布密度，做出对未知参数的推断。

123贝叶斯定理贝叶斯假设：

在处理无信息先验分布，尤其是未知参数无界的情况时遇到困难。

经验贝叶斯估计：

把经典的方法和贝叶斯方法结合在一起，用经典的方法获得样本的边际密度

贝叶斯网络—有向分离（D-Separation）有向分离对应于概率论中的条件独立性，目的：从图的角度寻找结点之间的条件独立性。

考虑三类特殊的结点连接：其中结点分别称为头对尾结点、尾对尾结点和头对头结点贝叶斯网络—有向分离根据条件独立知识：在顺序连接和发散连接中，未知情况下，和

之间存在相关性；已知情况下，和关于条件独立（即

和被有向分离)。

当结点状态贝叶斯网络—有向分离有向分离

有向分离的条件贝叶斯网络—有向分离Z包含l中不同于

和

的某一头对尾结点；Z包含l中不同于

和

的某一尾对尾结点；Z不包含l中不同于

和

的某一头对头结点及其子孙结点。

贝叶斯网络—有向分离结点集之间的有向分离判断

G中结点集X和Y是否被Z有向分离

X和Y是否在新的有向无环图G’无连接路径

贝叶斯网络—有向分离定理G’是由G根据下面的规则修剪G所得：从G中删除所有不属于删除从Z中结点输出的所有边。的叶结点，重复这一步直到无满足条件的叶结点存在；通过定理，可以将有向图简化成非连接图，这样可以在线性时间内判断是否满足有向分离，从而降低分析的复杂度。贝叶斯网络—有向分离请思考：有向分离对应于条件独立，在贝叶斯网络中，当结构图中X和Y被Z有向