（计算机应用技术专业论文）基于贝叶斯网络技术的icai系统学生模型的研究.pdf

摘要 摘要 i c a i 系统是计算机技术在教学领域应用的研究热点，学生模型是1 c a i 系统中最重要的组成部分，是i c a i 系统智能化的基础。但是由于在学生模 型的建立过程中存在许多具有不确定性的问题，因此对学生的建模也就成 为制约i c a i 系统发展的瓶颈。 本文首先从不确定信息的处理能力和实用性的角度分析，比较了几种 不同的i c a i 系统学生建模技术，提出用贝叶斯网络建立学生模型的可行性， 并指出运用贝叶斯网络技术建立学生模型所要解决的关键问题。 其次，考虑到构建学生模型的需要，对一个已有的贝叶斯网络仿真推 理算法进行了改进，得出一个新的推理算法p s i s 。文中还将动态贝叶 斯网络引入到学生建模领域，以满足学生模型随时间变化需要不断更新的 要求。为适应动态贝叶斯网络的推理需要，对p s i s 算法进行了扩展，使它 能够在动态贝叶斯网络上完成推理任务。同时，为了满足用静态贝叶斯网 络构建的学生模型的更新要求，文中对贝叶斯网络参数学习算法进行了改 进，在参数计算中引入一个满足一定条件的变量，以期提高参数学习算法 对新数据的敏感度。 文章最后，通过一个i c 灿模拟系统，详述了一个用贝叶斯网络建立学 生模型的具体方案，说明了贝叶斯网络学生模型的功能。文中的学生模型 设计方案具有简单、实用的特点，可以作为今后在i c a i 系统中建立学生模 型的备选方案。 关键词i c a i ；学生模型；贝叶斯网络；动态贝叶斯网络；基于约束的建模 燕山大学工程硕士学位论文 a b s t r a c t i n t e l l i g e n tc o m p u t e ra s s i s t e di n s t r u c t i o n ( i c a i ) i st h eh o t s p o to ft o d a y s c o m p u t e ra p p l i c a t i o nr e s e a r c hi nt e a c h i n gd o m a i n t h es t u d e n tm o d e li s t h e m o s ti m p o r t a n tc o m p o n e n to fi c a is y s t e m , i ti st h eb a s eo ft h ei n t e l l i g e n to f i c a is y s t e m b u ta st h e r ee x i s t sm a n yu n c e r t a i np r o b l e m s ，s t u d e n tm o d e l i n g p l a y sa “b o t t l e n e c k ”r o l ei nt h er e s e a r c ho f l c a f i r s t l y , s o m ek i n d so fs t u d e n tm o d e l i n gw a ya r ea n a l y z e di nt h i sp a p e r f r o mt h e a b i l i t yt o d e a lw i t ht h eu n c e r t a i np r o b l e m sa n dt h e i ru t i l i t y t h e f e a s i b i l i t yo fu s i n gb a y e s i a n n e t w o r kt oc o n s t r u c ts t u d e n tm o d e li sp o i n t e do u t ， a n dt h ec r u c i a li s s u e so f t h i st e c h n o l o g yi sa l s og i v e n s e c o n d l y , i no r d e rt os a t i s f yt h en e e do fs t u d e n tm o d e l i n g ，a l le x i s t i n 培 s i m u l a t e d a l g o r i t h m i si m p r o v e d , an e w a l g o r i t h m p s i si sg a i n e d t h ed y n a m i c b a y e s i a nn e t w o r k ( d b n ) i s a l s oi n t r o d u c e ds ot h a tt h es t u d e n tm o d e lc a nc h a n g e w i t ht i m e t h ep s i s a l g o r i t h mi sm o d i f i e ds ot h a ti tc a l lh e u s e do nd b n a st h e s a m et i m e ，t h ep a r a m e t e r sl e a r n i n ga l g o r i t h mo f b a y e s i a nn e t w o r kg i v e nb y t h e h e c k e r m a ni sa m e l i o r a t e d ，s ot h a ta l g o r i t h mb e c o m em o r es e n s i t i v et ot h en e w d a t a a tt h ee n d o f p a p e r , 跚i c a is i m u l a t e ds y s t e m i si n ：t r o d u c 以t h ep r o j e c to f u s h gb a y e s i a nn e t w o r k t oc o n s t r u c ts t u d e n tm o d e li se x p l a i n e di nd e t a i l t h e f u n c t i o n so f b a y e s i a nn e t w o r ks t u d e n tm o d e l a r ea l s og i v e n t h es c h e m eg i v e n i nt h i sp a p e ri sb r i e f n e s sa n du t i l i t y , i tc a nb et a k ea st h ec a n d i d a t ew h e nt h e s t u d e n tm o d e li ni c a ii sg o i n gt ob ed e s i g n e d k e y w o r d si c a i ；s t u d e n tm o d e l ；b a y e s i a nn e t w o r k ；d y n a m i cb a y e s i a nn e t w o r k ； c o n s t r a i n t b a s e dm o d e l i n g n 第1 章绪论 第1 章绪论 1 1 课题的提出 计算机与教育的结合，始于上个世纪6 0 年代初期。随着计算机在教学 中的地位变得越来越重要，人工智能跟教学的结合也越来越紧密。多年来 智能计算机辅助教学( i n t e l l i g e mc o m p u t e ra s s i s t e di n s t r u c t i o n ，简称i c a i ) 模 式在a i e d ( a r i t i f i c i a li n t e l l i g e n c ei ne d u c a t i o n ) 领域中占据了主导地位。许多 新技术先后被应用到i c a i 中，包括多媒体技术、基于i n t e r n e t 的分布式教 学、超媒体技术等。然而，这些新技术的引入并没有降低人工智能技术在 i c a i 系统中的重要性，相反，这些新技术只有跟人工智能结合起来才具有 实用意义。 但是，随着相关研究的深入，不少问题开始浮现。其中尤为突出的是 对学习者的建模不太成功，设计出来的学生模型要么复杂的难以处理，要 么过于简单，缺乏实用价值。由于对学习者的建模成功与否直接关系着对 i c a i 系统智能性的评价，因此，学习者的建模问题成为了制约i c a i 发展的 瓶颈【2 l 。 1 1 1学生模型的概念 学生模型是教学系统对教学对象( 即学生) 的知识水平、认知状态等特征 的一个抽象刻画，是i c a i 系统中的重要模块之一，直接决定了教学系统能 否真正地进行个别化教学( 也被称为自适应教学) 。分析和表示学生模型的过 程称为学生建模。可以找到的学生模型的概念如下： ( 1 ) 学生模型表示学生对所教内容的掌握程度p j 。 ( 2 ) 所有有关学生的行为和知识都可以成为学生模型 4 j 。 ( 3 ) 学生模型可以表示为一个四元组 。p 代表对知识的学习 过程( p r o c e d u r a lk n o w l e d g e ) ；c 代表概念知识( c o n c e p t u a lk n o w l e d g e ) ；t 代 表个人信息( t r a i t so f i n d i v i d u a l ) ；h 代表历史数据( 1 l i s t o r y ) 嘲。 图1 1 反映了学生的个性状态与学生模型的关系。从图中可阱看出，学 燕山大学工学硕士学位论文 生模型就是学生个性特征描述的一个子集。 图1 1 学生个性状态与学生模型的关系 f i g u r e1 - 1t h er e l a t i o n s h i pb e t w e e ns t u d e n tp e r s o n a l i v ya n ds t u d e n tm o d e 1 1 2 学生模型的本质和特点 尽管对学生模型的定义方法不同说法就不同，但是，可以从中看出学 生模型的本质是刻画学生对所学知识的理解状况，反映特定类型学生所具 有的知识水平，为系统实现适应性的学习内容、计划、策略等提供依据。 对学生模型的主要要求是： ( 1 ) 根据学生的历史资料和输入信息把当前学生模型化。 f 2 ) 为教学策略部分进行决策提供信息。 ( 3 ) 根据新信息对学生模型进行更新。 通过对i c a i 系统的性能分析，可以得出要建立的学生模型的特点和要 求如下： 首先，模型要能够提供学生实际认知状态的准确评价和合理表示。 其次，由于学生学习是一个与系统交互和反复的过程，所以要求学生 模型具有可更新、自学习的特性。 最后，因为人类记忆具有不确定性，因此模型还要考虑学生对知识掌 握的不确定性。 1 1 3学生模型研究中的问题 学生模型研究的难点主要是因为系统收集到的信息包含很大的不确定 性，这使得在学生模型中组织和处理这些信息变的十分困难。学生模型是 通过系统获取学生学习行为的观察信息建立起来的，这些信息可以包括学 生对问题的解答方式、答题结果、解题步骤、学习策略等。学生模型的构 建过程可以想象成是对这些信息“压缩的过程”原始数据通过筛选， 2 第】章绪论 然后按照一定策略结合在一起，最终形成对学生“看法”的集合。在这个 过程中存在着两种潜在的与不确定性有关的问题，它们将有可能导致错误 的发生h “。 首先，通过观察获得的原始数据的数量可能不满足做出令人信服的推 理结果的要求。其次，用来建立学生模型的推理机制本身也许就是一种“次 优选择”的结果，如果选择的推理规则不一致、不完整、语义不清晰，那 么，无论收集到的学生信息质量是高还是低，推理结果都将难以预料。因 此，在这里，学生模型所使用的推理机制也构成了一种潜在的不确定因素。 在i c a i 系统中，还存在着另外一种具有不确定性的问题。因为系统中 的教学策略模块以学生模型的推理结果作为本身的输入信息，所以，构造 学生模型过程中所产生的不确定性就极易在教学策略模块内传播开来，从 而引发更多的可能导致严重偏差的不确定性问题。而学生使用了不适合的 教学资料学习，又可能引发更加不准确的学生模型表示。这种不确定性将 引发i c a i 系统工作的恶性循环。 因此，选择一种能够在不确定环境中对学生的知识水平，认知状态进 行建模的方法显得十分重要。 1 2 国内外研究现状 目前，国外对i c a i 系统及系统中学生模型的研究较多，最为活跃的是 美国，此外，欧洲、日本、加拿大等国也纷纷投入人力、物力和财力从事 与i c a i 系统相关的研究。研究工作主要在大学和军方进行，美国一些知名 大学如s t a n f o r d 、m i t 、m e m p l l i s 、c a r n e g i e m e l l o n 、j o h n s - - h o p k i n s 、 c a l i f o r n i a 等都在进行这方面的研究工作，并且开发出了一些智能性相对较 高的可以应用的i c a i 软件，建立了内容丰富的智能化教育网站。美国国家 科学基金会( n s f ) 资助总数达o 2 2 5 亿美元基金，以进行人类学习和创造的 学习智能系统( l e a r n i n ga n di n t e l l i g e n c e ) 的研究。 国内对i c a i 的研究起步较晚，少量的研究工作主要集中在少数大学和 研究机构断续进行，且多为研究和演示用的“玩具系统”，系统的整体智能 性并不高，对学生模型的研究几乎没有深入。造成这种局面的主要原因在 燕山大学工学硕士学位论文 于计算机普及度不高，教育软件需求不是很旺。国内有关教育软件的研制 工作历史并不长，软件产品大多数只是将课本中静态图像变成了电子图书， 将多媒体计算机变成了录像机或影碟机。近几年，国内的远程教育发展迅 速，各种各样的教学资源从本地使用变成了网上共享。国内对超媒体技术 在教学上应用的研究方兴未艾，但是人工智能技术在教育软件上的应用研 究发展却相对缓慢，对学生模型的研究基本还停留在国外9 0 年代初的水平。 表1 1 列举了历史上一些著名的i c a j 系统。 表1 - 1 典型的i c a i 系统 t a b l e1 - 1t y p i c a li c a is y s t e m i c a i 系统名称开发者开发时间教学领域关键技术 w u s o rg o l d s t e 叫1 9 7 9 正 游戏策略覆盖体系结构 l m ss u ：e m a n1 9 8 4 芷几何学错误产生式规则 a n d e s她e h n1 9 9 9 年初级物理 问题解图式贝叶斯网络 s q l - - t u t o r a n t o n u a2 0 0 1 正 s q l 语言 约束规则表示 1 3 几种学生模型构建技术的比较 目前，国内外在对i c a i 系统的研究中，学生模型的构建方法大致可以 被分成以下几类：基于产生式规则方法构建学生模型 8 - 1 0 ；从概念图生成学 生模型1 1 1 ；应用模糊逻辑方法构建学生模型“2 小1 ：基于神经网络技术构建 学生模型1 扣1 8 1 。 基于产生式规则方法和概念图建立的学生模型，其优点是在学生模型 中，知识表示明确，推理规则简单，学生模型在系统中的使用十分方便。 但是，用这两种方法建立学生模型的最大缺点就在于：它们是确定性的建 模方法，因此不能处理学生模型中的不确定性信息。从1 ，1 3 节的叙述中可 以看出，在i c a i 系统中，学生模型的一个最重要的任务就是处理系统在与学 生交互过程中产生的大量不确定性信息。因此，采用上述两种方法显然并 不能构建出使人满意的学生模型。 由于以上原因，研究人员的目光开始投向具有处理不确定信息能力的 模糊逻辑方法和神经网络技术。 4 第1 章绪论 利用模糊逻辑构建学生模型是当前国内i c a i 系统设计中使用的最为普 遍的方法。这是因为，模糊逻辑的推理过程符合人们的认知习惯，这种技 术也擅长处理具有不确定性的问题。利用模糊逻辑为学生建模最常用到的 技术就是模糊综合评判法。该方法首先为影响评判目标对象的各种因素建 立一个集合，该集合被称为目标对象的因素集。其次，根据因素集中不同 因素对目标的影响力建立对应的权重集。然后，为评判者对评判对象可能 做出的各种总的评判结果建立一个备择集。最后，系统从单个或多个因素 出发，按照模糊规则确定评判对象对备择集中元素的隶属程度，输出结果 为隶属度最高的那个备择集元素。从上面的过程可以看出，利用模糊逻辑 方法建立学生模型的过程简单，代价较低。但是，用模糊逻辑方法建立学 生模型的弱点是其推理能力较弱，所以推理结果的精度并不很高。 神经网络技术是一种十分优秀的非线性推理技术，在逻辑严谨的数学 理论支持下，神经网络能够对大多数的不确定性信息进行处理。这种推理 技术通过模拟人脑的微观工作过程来实现推理功能，能够产生较高质量的 推理结果。但是，该技术的知识表现性很差，推理过程一般不能被打断， 推理系统与人的交互能力也很差。学生模型中的推理不同于一般的推理过 程，良好的知识表现能力和交互能力是必不可少的，其推理不仅注重最后 的结果，而且还注重推理的形式。而神经网络的推理过程恰恰无法给出可 以直观描绘的推理形式。除此之外，在i c m 系统的应用过程中，教师和领 域专家往往需要将一些新的经验加入学生模型中，以帮助i c a i 系统面向不 同的学生实现自适应性教学。神经网络的另弱点就在于，一旦网络结构 和网络参数确定下来，网络的结构和网络中各层节点间的权重就很难更改， 网络再学习的代价也很高，因此，人们新的经验很难在神经网络中获得表 达。 贝叶斯网络是一种用来表达不确定性知识的强有力的工具，以往贝叶 斯网络常在专家系统 1 9 - 2 1 】和数据挖掘 2 2 2 4 】中应用。贝叶斯网络的结构和网 络中的参数既可以通过专家指定，也可以从数据集中进行学习。网络以概 率的方式来描述具有不确定性的知识，不同知识点间的关系以网络联合概 率和网络节点边缘概率的形式表达出来。在学生模型中，通过学生当前的 燕山大学1 _ = 学硕士学位论文 行为信息，贝叶斯网络不仅能够推导出学生的当前学习状态，而且还可以 实现对学生未来表现的预测。贝叶斯网络强大的推理功能和预测功能都有 严谨而充分的数学理论作为基础，保证了推理结果的可信度。 与神经网络侧重于模拟人脑的微观工作过程来实现推理功能不同，贝 叶斯网络很好的模拟了人的推理形式。这种方式能够非常直观的表现出网 络中信息的组织模式和推理过程。用贝叶斯网络构造的推理系统在推理过 程中可以被打断，如果继续推理工作，推理结果将不受影响。 目前，虽然贝叶斯网络被国外的研究者们公认为最理想的学生建模技 术，但是由于推理算法和网络学习等问题的制约，该技术的应用实例并不 多见。a n d e s f 2 5 1 是一个使用贝叶斯网络技术建立学生模型的i c a i 系统实 例，不过，在该系统中，研究人员用贝叶斯网络构造起来的学生模型过于 复杂，模型本身失去了实际应用的价值。 综上所述，如果能够找到简便的贝叶斯网络推理算法，解决贝叶斯网 络的学习问题，降低用贝叶斯网络构建起来的学生模型的复杂度，就可以 利用贝叶斯网络对不确定性知识处理的强大功能，建立起一个具有较好实 用性的学生模型。 1 4 课题研究的主要内容 本文旨在研究贝叶斯网络技术在构建学生模型中的应用，目的是能够 找到一种将贝叶斯网络技术方便的应用于学生建模领域的方法，以此来提 高i c a i 系统中学生模型对不确定性信息的处理能力，研究内容主要有： f 1 ) 提出一种适用于贝叶斯网络学生模型的推理算法，满足学生模型进 行在线推理的需求。 ( 2 ) 为适应用静态贝叶斯网络建立学生模型的应用需求，对现有的贝叶 斯网络学习算法进行改进，使模型中的参数能较好的反映当前学生的状态， 逐步摆脱最初网络学习所使用的数据集的影响，方便i c a i 系统开展自适应 教学。 ( 3 ) 根据i c a i 系统在应用时，学生的状态随时间不断变化的特点，尝试 着将具有处理时序信息功能的动态贝叶斯网络引入到学生模型的构建中来 6 第1 章绪论 以期能够用动态贝叶斯网络完成对学生知识掌握水平的实时跟踪。 ( 4 ) 为适应动态贝叶斯网络的推理要求，将静态贝叶斯网络的推理算法 进行扩展，使其能够为动态贝叶斯网络提供“服务”。 ( 5 ) 设计一个带有贝叶斯网络学生模型的i c a i 模拟系统，对学生模型在 其中的表现进行评价。 燕山大学工学硕士学位论文 第2 章贝叶斯网络的理论与应用 贝叶斯网络是本文用来建立i c a i 系统中学生模型的方法，本章主要对 贝叶斯网络的发展历史、应用领域、理论基础、构造原理、工作原理等进 行阐述。 2 1 贝叶斯网络概述 贝叶斯网络又称为信度网络( b e l i e f n e t w o r k s ) ，是目前不确定知识表达 和推理领域最有效的理论模型之一。从19 8 8 年p e a l 给出明确定义之后，已 经成为近十几年来研究的热点 2 6 1 。 2 1 1贝叶斯网络的发展 虽然贝叶斯网络模型是近十几年才被提出来的，但是其产生的根源要 追溯到1 7 6 3 年提出的贝叶斯理论，贝叶斯理论是贝叶斯网络的重要理论基 础之一。2 0 世纪初，遗产学家s e w a l lw r i g h t 提出了有向无环图( d i r e c t e d a c y c l i cg r a p h ，d g a ) ，并成为经济学、社会学和心理学界广泛采用的因果 表达模型。2 0 世纪中叶，决策树被提出并用来表达决策分析问题，然后进 一步被用来解决计算机辅助决策问题，形成了较为完整的决策分析理论。 由于决策树分析方法的计算量和复杂性随着对象变量的增加呈指数增长， 2 0 世纪8 0 年代，作为有向无环图的另一表达方式影响图( i n f l u e n c e d i a g r a m ) 2 7 , 2 8 1 成为提高决策分析效率的重要工具。1 9 8 8 年，p e a l 在总结并 发展前人工作的基础上，提出了贝叶斯网络。 进入2 0 世纪9 0 年代，有效的推理和学习算法的出现推动了贝叶斯网 络的发展和应用，首先获得应用的是决策专家系统。目前，对贝叶斯网络 的研究主要集中在以下几个方面：贝叶斯网络推理、贝叶斯网络学习、贝 叶斯网络建造、贝叶斯网络的应用。贝叶斯网络也从单纯的静态推理网络 发展到了动态的推理网络，贝叶斯网络技术正逐步走向实际应用的许多方 面。p e a l 教授于1 9 9 9 年被授予i j c a i 杰出研究成果奖；b i l lg a t e s 曾说：微 软公司未来的进一步发展将在于它在贝叶斯网络方面研究的领先性。 第2 苹贝叶斯网络的理论与应用 2 1 2 贝叶斯网络的应用 贝叶斯网络的应用主要包括：基于贝叶斯网络的应用软件系统开发， 基于贝叶斯网络的实例应用等。目前，贝叶斯网络已经在故障诊断、预测、 军事决策、智能机器人、医学上的病理诊断、商业上的金融市场分析、信 息融合、信息智能检索、基于因果关系的数据挖掘等领域得到了应用。对 于不同的用途，贝叶斯网络的表示形式也不相同，图2 1 、图2 2 分别给出 了用于预测和诊断的贝叶斯网络的表示形式。 f i g u r e 图2 - 2 用于诊断的贝叶斯网络 f i g u r e2 - 2b a y e s i a nn e t w o r kf o rd i a g n o s e s 用于预测的贝叶斯网络使用的主要是网络的因果推理方法。因果推理 方法是由原因而推知结论，也即由顶向下的推理方法r c a u s a lo rt o p - d o w n i n f e r e n c e ) 。在已知一定的原因( 证据) 的情况下，使用贝叶斯网络的推理计算， 求出在该原因发生时，某种结果发生的概率。 用于诊断控制优化的贝叶斯网络采用的是由底向上的推理f d i a g n o s t i c o r b o r o n - u pi n f e r e n c e ) ，目的是在已知结果时，找出产生该结果的原因。已 知发生了某些结果，根据贝叶斯网络推理计算，得到造成该结构发生的原 9 薹鬻 燕山大学工学硕士学位论文 因和原因发生的概率。 近年来，贝叶斯网络还常常被用来表达有监督的学习形式。有监督的 学习应用的是支持推理方法，它提供了解释，以支持所发生的现象的原因 ( e x p l a i n i n gw a y ) 。其目的是对原因之间的相互影响进行分析2 ”。 贝叶斯网络所能实现的各种功能和适应的应用领域，都是由贝叶斯网 络本身的特性所决定的，熟悉贝叶斯网络的原理是正确应用网络所必不可 少的。 2 _ 2 贝叶斯网络理论 贝叶斯网络是概率理论和图论相结合的产物。首先简单回顾一下概率 论和图论的相关内容，然后引出贝叶斯网络的定义，为介绍贝叶斯网络的 推理方法和网络的结构与参数的学习奠定基础。 2 21 概率论及概率推理 概率论是人工智能中用来处理不确定性知识的基础理论之一，也被认 为是数学基础最强的不确定性知识处理理论。本文讨论的随机变量只限于 离散随机变量。 2 2 1 1 概率论的基本思想设有随机变量集合y = ( k ，k ，k v ，表示k 的取值。表达式p ( k = v ，= v ：，k = v 。) 表示一个联合概率，即变量v i ， 圪，k 的值分别取v l ，时的概率，称曩k = v 1k = v ，圪= u ) 为变量n ，巧，k 的联合概率函数，它必须满足如下属性： 0 s p ( k ，k ) l( 2 1 ) p ( k ，砭，) = 1 ( 2 - 2 ) 当已知随机变量集合中，所有随机变量取值组合的联合概率值时，就 可以计算其中任意随机变量的边缘概率以k = v i ) ，它定义为所有联合概率 中v i = v 的概率之和，即： 尸( 2v ，) = p ( k ，k ) ( 2 3 ) 巧= h 理论上，给定一个随机变量集合的完全联合概率函数，就能计算所有 随机变量的边缘概率和更低的联合概率。但是实际上，当有一个很大的随 1 0 第2 章贝叶斯网络的理论与应用 机变量集合时，很难确定所有的联合概率或更低阶的联合概率。 给定变量”，k 的条件概率函数用列功表示为： 唧：裂 ( 2 - 4 ) 为简便起见，当命题变量取值为t r u e 和f a l s e 两个值时( 若没有特别声 明，以下变量取值均为t r u e 和f a l s e 两个值) ，常常使用一个简洁的符号表 达概率式，如表达式尸( n = t r u e ，v 2 = f a l s e ) 可以记为p ( v 1 ，砭) 。 在计算任何条件概率时，首先需要计算相应随机变量的的联合概率和 边缘概率，它们可以按照式( 2 3 ) 计算得到。反之，也可以按照一个条件概 率来表达一个联合概率，其一般表达形式为： l p ( k ，k ) = il 尸( l t ，巧) ( 2 _ 5 ) 式( 2 5 ) 简称为链规则，其表达方式依赖于对k 的排序，但在一个联合概率 函数中，变量的排序方式并不重要，故： p ( ，y ，) = 尸( 1 矿，) p ( v j ) = p ( 矿，11 ) p ( i ) = p ( 矿，1 ) ( 2 - 6 ) 从式( 2 6 ) 可以推导出非常重要的贝叶斯法则： p ( ：! 坠! 鲨盟( 2 - 7 )p ( k j 一) 2 二靠着 2 2 1 2 概率推理概率推理就是利用给定的变量信息计算其它变量的概 率信息的过程。设集合e 为y 的子集，其中变量取值集合用e 表达( 假定每 个随机变量只取值t r u e 或f a l s e ) ，即e = e 。此时计算条件概率珂v f - - v ，i e = e ) ， 就是在给定证据时求变量k 取值为v ，的概率，这个过程就是概率推理 3 0 1 。 实际上，由于烈v ；- - t r u e l e = e ) + p ( 形= f a l s e 乒由= 1 ，所以一般只对其 中之一感兴趣。对于以e = t m ei 庐曲有： p ( v i = t r u ete = e ) = 盟掣p 8 ) 当有一个很大的随机变量集合时，概率推理计算是非常难以处理的， 因此需要变量集满足一定的约束条件条件独立。给定变量集合k 、k ， 如果变量矿满足p ( v | k ，坳= p ( 矿f 坳，则变量矿条件独立于k ；条件独立 的含义就是，对于变量y ，如果知道”，可以忽略 。 燕山大学工学硕士学位论文 不失一般性，给定随机变量集合”如果变量h ，圪，酢是于变 量集合y 相互条件独立的变量，由链规则有： k 女 p ( k ，心，圪l y ) = n p ( ej 一，k ，y ) = 兀p ( i 矿) ( 2 - 9 ) 2 2 2 概率图模型 作为概率图模型 3 1 3 的一种，贝叶斯网络具有概率图模型的大多数性质， 因此，对贝叶斯网络的认识可以从概率图模型开始。下面，首先对概率图 模型的基本组成、整体结构以及分类进行简单的介绍，以便于与后面的贝 叶斯网络的定义描述相互结合，形成对贝叶斯网络的相对完整和正确的认 识。 概率图模型是以图的方式表示变量之间的概率关系，其中的节点可以 认为是变量，边表示变量之间的概率联系( 相关性) 。这种图能够用最直接， 最紧凑的形式表示变量的联合概率。假设现在有个二值变量，一般地， 它的联合概率p c 墨, x 2 ，疋) ，需要0 ( 2 “) 个参数表示，而通过图模型，根据 相关性假设，可以指数倍的减少参数的个数，这将非常有利于后续的推导 和学习。 概率图模型是一个相对较大的范畴，有多种分类方法，根据边的属性 可以分成两类：无向图模型和有向图模型。无向图模型可以被称作马尔可 夫网络( m a r k o vn e t w o r k ) 或者马尔可夫随机场( m a r k o vr a n d o mf i e l d s ， 冲s ) 。有向图模型可以被称为贝叶斯网络、可信网络( b e l i e f n e t w o r k ) 、生 成模型( g e n e r a t i v em o d e l ) 、因果模型( c a u s a lm o d e l ) 等等。也有的图模型中 综合了无向边和有向边，这类图模型通常被称做链 ( c h a i ng r a p h ) 。 总而言之，概率图模型是概率论和图论的一种结合。它提供了一种自 然的工具，可以使用它处理贯穿于应用数学和工程领域的两个问题不 确定性问题和复杂性问题。模块化的概念对于图形模型是非常重要的，复 杂的系统总是由各个简单部分组成的。概率理论提供了将各个部分联合起 来的粘合剂，保证了系统作为整体是一致的，并且提供模型到数据之间的 接口。图形模型的图论部分则提供了一个可以感知至0 的界面，通过它我们 可以将高度互动化的变量集合和数据结构模型化，设计出有效的通用算法。 1 2 第2 章贝叶斯网络的理论与应用 2 2 3贝叶斯网络 在对概率图模型进行了简要介绍后，下面就来对贝叶斯网络的定义、 结构以及贝叶斯网络的特点进行详细的介绍。 2 2 3 1贝叶斯网络的定义一个贝叶斯网络是一个有向无环图( d i r e c t e d a c y c l i cg r a p h ，d a g ) ，由代表变量的节点及连接这些节点的有向边构成， 有向边从父节点( 双亲节点) 指向子节点( 后代节点) ，用单线箭头“一”表示。 用符号b ( gp ) 表示一个贝叶斯网络，则b ( g ，p ) 由两部分构成【3 2 3 3 ，34 1 ，对于 各部分的说明如下。 ( 1 ) 一个具有个节点的有向无环图g 。图中的节点用来代表随机变量， 节点问的有向边代表了节点间的相互关系。节点变量可以是从不同问题中 抽象出来的，如故障假设、测试值、观测现象、意见征询等。通常认为， 有向边表达了一种因果关系，故贝叶斯网络有时也叫做因果网。非常重要 的是，有向图蕴涵了节点间条件独立性的假设。贝叶斯网络规定图中的每 个节点k 条件独立于由k 的父节点给定的非k 后代节点构成的任何节点子 集。也就是说，如果用s n ( k ) 表示非k 后代节点构成的任何节点子集，用 e a ( 功表示k 的直接双亲节点，则 与s 拄( k ) 、p a ( 瑚之间的关系可以用条 件概率表达式表达如下所示。 p ( kls 陴( 1 ) ，扭( k ) ) = p ( klp 扭( k ) )( 2 - l o ) ( 2 ) 一个与贝叶斯网络中的每个节点变量都相关的条件概率表 c p t ( c o n d i t i o n a lp r o b a b i l i t yr r 曲l e ) 。条件概率表可以用p ( ip a ( 均) 来描述， 它表达了网络中，节点变量同其父节点的相互关系。没有任何父节点的节 点标量的条件概率为其先验概率。 有了节点及其相互关系( 有向边) 、条件概率表，用贝叶斯网络就可以表 达网络中所有节点变量的联合概率，并可以根据先验概率信息或某些节点 的取值计算其它节点的概率信息。将条件独立性应用于链规则式可得： 月 p ( k ，) = ii p ( l 鳓( ) )( 2 - 1 1 ) i = l 为了能够更直观的描述贝叶斯网络，下面使用图2 3 给出一个简单的贝 叶斯网络实例，表2 - 1 是对应于图2 - 3 的贝叶斯网络的条件概率表。为了说 燕山大学工学硕士学位论文 明方便，在这里，图中所有的变量只取两个值：其中一个取值为 为0 ，另个取值为f a l s e ；记为1 。 图2 - 3 一个简单的贝叶斯网络结构 f i g u r e 2 - 3a s i m p l eb a y e s i a n n e t w o r ks t r u c t u r e 表2 1 贝叶斯网络的条件概率表 t a b l e2 - lt h ec o n d i t i o n a lp r o b a b i l i t yt a b l ef o rb a y e s i a nn e t w o r k 条件概率表达式取值条件概率表达式取值条件概率表达式取值 p ( x i = o ) 0 3 p ( 玛= 0 i x l = 1 ) 0 4 5 5 p ( x 4 = 0 i x ：= i ，x 3 - 1 ) 06 p ( x 】= 1 ) 0 7 p ( x f li x _ 1 ) 0 5 4 5 p ( x = 1 l x f l ，x 产1 ) 04 p ( x ：= o i x l = 0 ) 04 5 p ( x , = 0 1 x 2 = 0 ，x 3 = 0 ) o 0 5 p ( x 5 = 0 l x 4 铷) 0 8 5 p ( x 2 = l i x l = o ) 0 ，5 5 p ( k = i i x 2 = o ，x j 印) 0 9 5 p r x 5 = 1 1 x 4 2 0 ) 0 。1 5 p ( x 2 ：o x l - 1 ) 0 6 3 p ( x 4 = o i x 2 = i ，x 3 = 0 ) 0 2 2 p ( x 5 = 0 1 x 4 = o 0 7 7 p ( ) ( 2 - = 1 1 x 1 = i ) 0 3 7 p ( x 4 = i l x f l ，x 3 = 0 ) 0 7 8 p ( 墨= l t x 4 = 1 ) 0 1 3 p ( x = o i x l 卸) 0 7 8 p ( ) ( 4 = 0 i x 2 印，x 3 - 1 ) 0 5 p ( x 3 = 1l x l = 0 ) 0 2 2 p ( x l x 2 = o ，x 3 - 1 ) 0 5 用式( 2 1 1 ) 表达图2 3 中变量的联合概率可以得到： p c h ，噩，墨，x 4 ，墨) = p ( x o j p c 砭i 蜀) p c 瓢l 蜀) e ( x 4 i 魁，蜀) p 酶i 掘) 可见，贝叶斯网络可以表达变量的联合概率分布，并且使变量的联合 概率求解大大简化。如果按照式( 2 5 ) 来计算图2 3 网络中变量的联合分布需 要指定2 6 个独立的联合概率，而根据上式就只需要指定1 2 个条件概率。 这种减少使得难于处理的问题变得容易处理了。 1 4 第2 章贝叶斯网络的理论与麻用 2 2 3 2贝叶斯网络的特征贝叶斯网络具有如下特征： ( 1 ) 条件独立性即式( 2 1 0 ) 所表达的条件独立性。由于贝叶斯网络假定 了条件独立性，在求变量的概率信息时，只需要考虑与该变量有关的有限 变量，可以大大简化问题的求解难度，从而使得许多复杂问题得到可行的 解决方法。 ( 2 ) 基于概率论的严格推理贝叶斯网络是一种不确定性知识表达与推 理模型，它的推理原理基于b a y e s 概率理论，推理过程的实质是概率计算。 ( 3 ) 知识表示分为定性知识和定量知识定性知识是指网络的结构关 系，表达事件之间的因果联系；定量关系指节点的条件概率表，主要来源 于专家经验、专业文献和统计学习。 ( 4 ) 知识获取与推理的复杂度较小由于贝叶斯网络具有条件独立的特 点，因此可以减少知识获取与推理的复杂程度。也就是说，在知识获取时， 只要关心与节点相邻的局部网络图；在推理计算时，只要已知节点的相关 节点的状态即可估计该节点的概率信息。 2 3 贝叶斯网络的分类 从对具有时序性信息的处理能力考虑，贝叶斯网络可以被分成静态贝 叶斯网络和动态贝叶斯网络。下面，就分别对这两种贝叶斯网络的特点及 应用进行介绍。 2 3 1 静态贝叶斯网络 一般的，贝叶斯网络往往是指静态贝叶斯网络( s t a t i cb a y e sn e t s ，s b n ) 。 静态贝叶斯网络主要被用来处理人工智能的不确定问题( 决策理论) ，目的 是在一个待定的选择中，做出能够获得最高性价比的决策。图2 - 3 就是一个 简单的s b n 。s b n 潜在的缺点是： ( 1 ) 对一个确定的静态网络，用户不能根据需要改变各节点的概率分布。 ( 2 ) 对一个未知的网络，很难更新各个节点的概率分布。 ( 3 ) s b n 仅仅在先验知识值得信赖的前提下才有用。 尽管如此，它仍旧在各个研究领域得到了广泛的应用。几种经典的模 型都是s b n 的衍生，包括混合模型( m i x t u r em o d e l s ) ，主成分分析( p r i n c i p l e 燕山大学工学硕士学位论文 c o m p o n e n ta n a l y s i s ) ，无关成分分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) ，回 归模型( r e g r e s s i o n ) 等。 2 3 2 动态贝叶斯网络 动态贝叶斯网络( d y n a m i cb a y e s i a nn e t w o r k ，d b n ) 是在静态贝叶斯网 络的基础上，把网络的静态结构与时序信息相结合而形成的具有处理时序 特征数据的新的随机模型叫1 。这里所讲的动态贝叶斯网络的动态性并不是 说网络结构随着时间的变化而变化，而是输入样本数据，或者说是观测数 据随着时间的变化而变化。动态贝叶斯网络现在应用的并不多，也还不够 深入，主要在语音识别、人的姿势测定、视频跟踪等方面做了一些初步的 研究。 假设x = x ，x ：，以) 是一个会随时间改变状态的变量集合。x 屉】 是一个随机变量，它表示在时间f 上x ，的属性值，x 【f 】是随机变量z 屉】的 集合，0 ，t 是有限时间间隔序列。在所有随机变量上的联合概率分布就可 以表示成如下形式： p ( x i , l ，x r b = e ( x 1 f , ( x 2 j x 1 b p ( x p j x f l l ，x r l b ( 2 1 2 ) 按照式( 2 1 2 ) 的表达方式，d b n 的网络结构将十分复杂，为了简化，首 先利用马尔可夫独立性的假设，认为每个时间片内的变量状态只与上一个 时间片内的变量状态相关，而与其他时间片内的变量状态无关。按照此假 设，式( 2 1 2 ) 就可以表达为： p ( x d l ，x t b = p ( x 【l d 尸( x 【2 】i x 【1 b e ( x r l x r l b ( 2 1 3 ) 图2 4 表达了符合式( 2 1 3 ) 所描述的概率分布的d b n 图例。 图2 - 4d b n 的马尔可夫模型 f i g u r e2 - 4m a r k o v m o d e lo f ad b n 1 6 第2 章贝叶斯网络的理论与应片j 图2 4 的联合概率还可以表示为： p ( x 【o l x i r ) = p ( x o f f i p ( x 【，+ 1 】l x 【r d ( 2 - 1 4 ) t = o 其次，假设转移概率e ( x t + 1 l x p d 不随时间的改变而改变。依据这 条假设，d b n 就可被分解成如图2 5 所示的两部分，其中一部分为初始网 络鼠，另一部分为转移网络见。此时的d b n 可以用( 坟，b + ) 来表示，转 移概率的计算如下： 尸( x p + 1 1 l x 扛d = n p ( _ p + l 】i p a ( x ，f f + l b ) ( 2 一1 6 ) 图2 - 5 先验网络和转移网络 f i g u r e2 - 5 t h e p r i o rn e t w o r k a n dt r a n s i t i o nn e t w o r k 一个节点的父节点可以是当前时间片的，也可以是前一个时间片的。 时间帧间的弧表示了随着时间的变化，因果关系进行