机器学习-贝叶斯网络_第1页
机器学习-贝叶斯网络_第2页
机器学习-贝叶斯网络_第3页
机器学习-贝叶斯网络_第4页
机器学习-贝叶斯网络_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、是否可以设计出有效的算法以从训练数据中学习到贝叶斯信念网？对于这一问题有多种可以考虑的框架：首先网络结构可以预先给出，或可由训练数据中推得。其次，所有的网络变量可以直接从每个训练样例中观察到，或某些变量不能观察到。当网络结构预先已知且变量可以从训练样例中完全获得时，通过学习得到条件概率表就比较简单，只需要像在朴素贝叶斯分类器中那样估计表中的条件概率项。网络结构已知，但只有一部分变量值能在数据中观察到，学习就困难得多了。这一问题在某种程度上类似于在人工神经网络中学习隐藏单元的权值，其中输入输出的节点值由训练样例给出，但隐藏单元的值未指定。针对这一问题，采用简单的梯度上升过程以学习条件概率表中的项

2、。这一梯度上升过程搜索一个假设空间，它对应于条件概率表中所有可能的项。在梯度上升中被最大化的指标函数是给定假设h下观察到训练数据D的概率P(D|h)。就相当于极大似然假设 ）h|D（PmaxarghHhML梯度上升的规则：通过lnP(D|h)的梯度来使P(D|h)最大化。其中 代表条件概率表中的一个表项。 为在给定父节点 取值 时,网络变量 值为 的概率。 iUikuiYijy例如: 图6-3中条件概率表中最右上方 的表项，那么 为变量Campfire， 是其父节点的元组， =true,并且 = 。iYiUijyiku具体的算法：对于每个 ，lnP(D|h)的梯度是对每个 求导数得到。 （6.

3、25） 例如：为计算对应图6-3中表左上方的表项 的导数，需要对D中的每个训练样例d计算P(Camfire=True，Storm=False,BusTourGroup=False|d)。当训练样例d中无法观察到这些变量时， 这些概率可用标准的贝叶斯网络推理的过程中计算得到。ijkhDPW)|(lnDdijkikiiW)d|uU,Y(ijyP)|(lnhDP用梯度上升来更新每一个 + 其中 是一个小常量，称为学习率。将权值 归一化，保持有效的概率在区间0,1之间，还要求 对所有的i,k保持1像其他基于梯度算法中的那样，该算法只能保证寻找到局部最优解 DdijkikijhWduyP)|,(当网络的结构是未知的，数据是可完全观察，学习贝叶斯因此网络也是很困难的。此时常采用K2的启发式搜索算法来学习网络结构。K2算法用于贪婪搜索(总是做出在当前看来是做好的选择，而不是从整体出发)处理模型选择问题：先定义一种评价网络结构的优劣的评分函数，再从一个网络的开始，根据事先确定的最大父节点数目和节点的次序，选择分值最高的节点作为该节点的父节点。K2算法使用后验概率作为评分函数：算法的伪代码：过程描述：k2的出发点是一个包含所有节点，但却没有边的无向图。在搜索的过程中，k2按顺序逐个考察 中的变量，确定其父亲节点，然后添加相应的边。 对某一变量Xj,假设K2已经找到它的一些父亲节点 。如果| |

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论