（计算机应用技术专业论文）贝叶斯网研究及在轻度认知损害诊断中的应用.pdf

大连理工大学硕士学位论文 摘要 随着人口老龄化，老年痴呆症患者逐年增加，而老年痴呆到中晚期己无有效治疗方 法。轻度认知损害是介于正常老化和痴呆之间的一种认知功能损害状态，通常将它作为 正常老化向老年痴呆的过渡阶段。因而轻度认知损害群体的研究对老年痴呆的早期诊断 和早期干预有着重要的意义，是近年来老年痴呆研究的热点。 贝叶斯网作为一种概率图形模型，提供了一种将知识直觉的图解可视化的方法，有 许多其自身的优势，它使用概率理论处理在描述不同知识成份的条件相关而产生的不确 定性。将贝叶斯网应用在轻度认知损害的诊断中，可用其处理不确定性知识的方法描述 轻度认知损害诊断的各项诊断指标。 本文介绍了贝叶斯网结构学习以及参数学习、推理的相关内容。运用朴素贝叶斯技 术，结合临床量表诊断手段，将各项量表指标作为贝叶斯节点集，建立推理诊断模型， 实验证明该模型能够有效的完成轻度认知损害的诊断。 针对传统算法在学习网络结构之前，需要根据研究者的主观经验，规定网络中结点 顺序的缺点，给出了一个可以在无约束条件下，即无需主观给出网络中结点变量的顺序， 而是根据观测得到的训练样本集的互信息以及概率关系，自动完成学习贝叶斯网结构的 新方法。通过分析结构变量与结构变量，结构变量与功能变量之间的相关依赖性，将脑 结构各区域萎缩情况与轻度认知损害这个功能变量作为变量集，利用新的贝叶斯结构学 习方法，构建了基于脑结构萎缩的轻度认知损害诊断模型。文章最后给出了老年痴呆症 早期预测专家系统的设计与实现。 关键词：老年痴呆症；轻度认知损害；贝叶斯网；结构学习 大连理工大学硕士学位论文 r e s e a r c ho f b a y e s i a nn e t w o r ka n di t sa p p l i c a t i o ni nd i a g n o s i so f m i l d c o g n i t i v ei m p a i r m e n t a b s t r a c t w i t ht h ep o p u l a t i o na g i n g ，t h en u m b e ro fa l z h e i m e rd i s e a s ep a t i e n t sh a si n c r e a s e dy e a r b yy e a r a n dt h e r ei s n oe f f e c t i v et r e a t m e n tm e t h o df o r t h ed i s e a s e m i l dc o g n i t i v e i m p a i r m e n ti sa s t a t eo f c o g n i t i v ei m p a i r m e n tb o t w = nn o r m a la g i n ga n dd e m e n t i a t h e r e f o r e ， t h er e s e a r c ho fm i l dc o g n i t i v ei m p a i r m e n ti so fi m p o r t a n ts i g n i f i c a n c et ot h ee a r l yd i a g n o s i s a n d p r e v e n t i n g , a n di th a sb e c o m e ah o tr e s e a r c hr e c e n t l y a sag r a p h i c a lm o d e l ，b a y e s i a nn e t w o r kp r o v i d e sam e t h o dw h i c he n a b l e sk n o w l e d g e g r a p h i c a n dh a sm a n ya d v a n t a g e s i t c 锄d e a lw i t ht h eu n c e r t a i n t yw h e nd e s c r i b - g c o r r e l a t i o nc o n d i t i o n sb e t 3 ，e e nd i f f e r e n tc o m p o n e n t so fk n o w l e d g e b a y e s i a nn e t w o r kc a nb e a p p l i e di nd i a g n o s i so fm i l dc o g n i t i v ei m p a i r m e n tt od e s c r i b et h es t a n d a r di n d i c a t o r sb y t h e w a yo f p r o c e s s i n gu n c e r t a i nk n o w l e d g e t h ep a p e ri n t r o d u c e st h el e a r n i n go fb a y e s i a ns t r u c t u r ea n dp a r a m e t e r s ，a n di n f e r e n c e u s i n gn a i v eb a y e s i a nt e c h n o l o g ya n dt h em e r n so fc l i n i c a ls c a l e ，t h ep a p e rb m l d sd i a g n o s i s m o d e li nw h i c hd i a g n o f i si n d i c a t o r sa l eu s e da st h en o d e s t h ef i n d i n gs h o w st h a tt h em o d e l 啪e f f e c t i v e l yc o m p l e t e dt h ed i a g n o s i so f m i l dc o g n i t i v ei m p a i r m e n t t h et r a d i t i o n a la l g o r i t h m so fs m l c t u r el e 盯n i n gn e e dt h es e q u e n c eo fn o d e si nt h e n e t w o r k , w h e nl e a r n i n gt h en e t w o r ks t r h c t i l r e t or e e t i 奇t h es h o r t c o m i n g , an c wa l g o r i t h mi s p r e s e n t e d t h ea l g o r i t h m 啪l e a ma u t o m a t i c a l l yb a y e s i a nn e t w o r ks t r u c t o r ej u s tb ym u t i l a l i n f o r m a t i o na n dp r o b a b i l i t yo f t h et r a i n i n gs a m p l e s ，a n dd o e sn o tn e e dt h es e q u e n c eo fn o d e s b ya n 矗l r z m gt h es 协】c n l r c s l r u c t t t r e a s s o c i a t i o i l sa n ds t r u c t u r e - f u n c t i o na s s o c i 砒i o n s ，t h e p a p e ru s e st h en e wa l g o d t h mt ob u i l db a y e s i a nd i a g n o s i sm o d e lb a s e da 仃o p h yi nb r a i n s t r u c t u r e s 1 1 幛s t l u c l 3 1 r e si nb r a i n 黜u s e da st h en o d e so ft h em o d e l f i n a l l y ，t h ep a p e r i n t r o d u c e st h ed e s i g na n di m p l e m e n to fe x p e r td i a g n o s i ss y s t e mf o r m i l dc o g n i t i v e i m p a i r m e n t k e yw o r d s ：a l z h e i m e rd i s e a s e ；m i l dc o g n i t i v ei m p a i r m e n t ；b a y e s i a nn e t w o r l ( ；s l z u c t u r e l e a r n i n g - i i l 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名；里墨皇日期：幽：兰：旦 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：壶邃室 导师签名 丑年韭月卫日 大连理工大学硕士学位论文 1 绪论 老年痴呆症( a l z h e i m e r d i s e a s e ，a d ) 是危害极大的老年精神疾病。特别是由于老年 人口的迅速增长，老年性痴呆患者也随之增多，全世界范围内6 5 岁以上的老年痴呆患 病率达8 4 ，在6 0 9 0 岁的老年人中，患病率随年龄的增大呈指数增长1 1 1 。老年痴呆 是围绕患者大脑皮质萎缩而出现的一系列性格、情感、智能和行为的异常，最常见的是 记忆力和计算力障碍，随着病情的发展，甚至丧失道德和对家庭、社会的责任感，给家 庭和社会造成很大负担。而老年痴呆症到中晚期已无有效治疗方法，因此认识这种疾病， 加以早期干预是十分必要的。因此，针对痴呆前期认知障碍患者，特别是轻度认知功能 损害( m i l dc o g n i t i v ei m p a i r m e n t ，m c i ) 患者，能否及早诊治已为世人所关注。 轻度认知功能损害是介于正常老年和痴呆之间的一种认知功能损害状态，为正常老 化和痴呆的分界线，有其相应的神经影像及神经病理改变形式，认知损害亦有一定特点 2 1 。有人认为m c i 是正常老年与a d 的过渡阶段，也有人认为m c i 就是临床前的a d ， 最新报道认为它代表a d 的极早期阶段。因而m c i 群体的研究对a d 的早期诊断和早期 干预有着重要的意义，是近年来老年痴呆研究的热点。 1 1 轻度认知损害研究现状 关于m c i 曾有多种描述的术语。最早，k r a l ( 1 9 5 8 年) 提出良性老年健忘( b e n i g n s e n e s c e n tf o r g e t f u l n e s s ，b s f ) ，主要表现为遗忘事情的细节、近事遗忘和记忆障碍的觉 醒，无其他认知功能损害，与正常衰老有关。c r o o k 等在1 9 8 2 年提出与年龄相关的记忆 损害( a g i n ga s s o c i a t e dm e m o r yi m p a i r m e n t ，a a m i ) ，指没有痴呆的老年人的记忆力减退， 强调的是与年龄“相符”的记忆减退，其他认知功能正常。但l e v y 等认为老年人的认 知损害不只发生在记忆上，因而提出了与年龄相关的认知功能减退( a g i n ga s s o c i a t e d c o g n i t i v ed e c l i n e ，a a c d ) ，a a c d 中包括了注意力、记忆、学习、思考、语言和视空间 功能等认知功能，指的是更严重的认知功能减退状态。为了便于研究交流，美国诊断统 计手册第4 版修订本( d s m ) 提出了与年龄相关的认知功能减退( a g i n gr e l a t e d c o g n i t i v ed e c l i n e ，a r c d ) ，指正常年老的生理过程导致的认知功能的客观性下降，表现 在名字回忆、日期记忆及解决问题的困难上，与特殊的智能障碍或神经疾患无关；国际 疾病分类诊断标准第1 0 次修订本( i c d 2 1 0 ) 提出了轻度认知功能减退( m i l dc o g n i t i v e d e c l i n e ，m c d ) ，指记忆和学习能力及注意力的障碍，常伴智力降低，但必须经过正规 的神经心理学检查并有由全身性疾病引起的脑部疾病或损害导致的认知障碍。 贝叶斯网研究及在轻度认知损害诊断中的应用 m c i 是介于正常老化和痴呆之间的一种临床状态，患者存在一个或几个认知区域的 损害( 典型的记忆减退) ，或者是与年龄及教育程度不相符的认知功能下降，但不足以影 响患者的社会及工作职能，不够痴呆的诊断标准。研究显示，m c i 患者存在多项认知功 能的下降，如记忆、视空间技能、选择注意、计算、操作速度等，但其总体认知功能尚 未达到痴呆的诊断标准。其中记忆功能损害是m c i 患者的核心症状，主要表现为长期 记忆障碍，例如让正常人朗读一段文章，0 5 h 后能够回忆起文章的内容，而轻度认知损 伤的患者难以做到这一点。此外，m c i 患者神经系统检查一般无阳性体征，脑电图表现 为正常或仅仅是d 波频率减慢或慢波增多。 目前有关m c i 病因学的报道不多，有文献报道心脏疾病或心电图会加速m c i 的发 生和发展【2 】，并强调血管性危险因素与m c i 的关系。谭纪萍等【3 j 的研究结果显示，冠心 病病史与m c i 的发生有关，可能是m c i 的危险因素之一。其次，脑卒中病史使m c i 的患病风险显著增高，r a s q u i n 等【4 】的随访研究发现，中风6 、1 2 个月后m c i 的患病率 分别为6 1 3 和5 1 5 。同时，有文献报道，老年贫血患者中认知功能损害的患病率显 著增高，男、女性分别为5 5 6 和4 7 5 ，而非贫血老年人( 男、女) 认知功能损害患病 率分别为3 4 4 和4 0 1 ，二者之间差异有统计学意义。此外，高教育水平则是m c i 的 保护因素。另外，有研究显示高血压、糖尿病与老年人群的认知功能衰退也有一定关系 【1 1 。 大量追踪研究结果表明m c i 状态是一个并不稳定的中间状态，病情可以好转也可 进展为完全痴呆【堋。因此对m c i 患者进行积极干预治疗，延缓其认知功能的进一步减 退和发展为痴呆具有很重要的意义。 1 2 贝叶斯网研究发展及应用 贝叶斯网是继模糊逻辑、可信度方法和神经网络等方法之后新提出的不确定知识表 示模型，它不仅有坚实的概率论理论基础，同时又能很好的与专家头脑中的知识结构相 对应，所以引起了人们广泛的重视。它以其坚实的理论基础，知识结构的自然表达方式， 灵活的推理能力，方便的决策机制而成为近年来人工智能、专家系统、模式识别等领域 的研究热点。在医疗诊断系统、软件测试、网站的智能导航、电力系统的故障诊断等方 面都有着广泛的应用。 1 2 1 贝叶斯网发展 、 贝叶斯网是由路径分析( 因果推理链) ，因果模式，影响图( 决策图) 等逐渐演变而来。 1 9 8 2 年，p e a r l 开始在人工智能方面用贝叶斯网进行概率推理，分别对树型网和多树型 网提出了消息传递算法，此后，贝叶斯网被越来越多地在专家系统中用于不确定性知识 大连理工大学硕士学位论文 表示和推理。1 9 8 8 年，p e a r l 建立了贝叶斯网基础理论体系【7 , 8 1 。贝叶斯网还有其它称呼， 如因果网，概率网和信念网等，但使用贝叶斯网者居多。早期对贝叶斯网的研究并没有 使用贝叶斯方法，只是在推理中使用了贝叶斯公式。1 9 9 6 年，h e c k e r m a n 等一些研究者 使用贝叶斯方法进行贝叶斯网学习，并把贝叶斯网用于数据挖掘。随着对贝叶斯网研究 的深入，逐渐成为人工智能，模式识别，机器学习和数据采掘等领域处理不确定性问题 的重要方法之一，是十多年来在这些领域的一个研究热点。贝叶斯网的发展主要经历了 三个阶段，第一阶段( 9 0 年代之前) ，主要是建立贝叶斯网基础理论体系和不确定性推理 的研究，学习贝叶斯网主要靠专家知识；第二阶段( 9 0 年代) ，主要研究如何根据数据和 专家知识建立贝叶斯网，相继出现了许多经典的贝叶斯网学习算法；第三阶段( 2 0 世纪 末和2 1 世纪) ，主要研究应用贝叶斯网解决实际问题，目前，贝叶斯网已被广泛地用于 解决许多领域的大量实际问题，并收到了良好的效果。 1 2 1 贝叶斯网研究现状 国内近几年出现了许多关于使用贝叶斯网解决实际问题的研究。清华大学电机系的 曹冬明等利用贝叶斯网技术进行故障定位1 9 j ，上海交通大学电子信息学院的邓勇等将贝 叶斯网用于模型诊断【1 0 1 ，清华大学自动化系的慕春棣将贝叶斯网用于数据挖掘【川。上海 大学自动化学院的李明等将贝叶斯网用于模型诊断串行译码，西安电子科技大学计算机 学院的李伟生等将贝叶斯网用于规划识别等等。南京理工大学计算机学院张坤等将贝叶 斯网用于入侵检测。中国科学院遥感应用研究所马建文等【1 2 1 将贝叶斯网用于遥感数据处 理系统( r s b n v l o ) 。 国外应用研究上，贝叶斯网己在各行业中得到广泛的应用：微软将它用于问题解答 向导、o f f i c e 帮助系统和打印机故障检测；在疾病诊断方面，人们成功地构建了基于贝 叶斯网的专家系统；动态贝叶斯网( d y n f t m i cb a y e s i a nn e t w o r k s ，d b n ) 己在语音识别和 基因研究中得到了成功的应用。国外在近十年中，贝叶斯网在许多领域都得到了广泛地 应用，相继出现了大量的应用贝叶斯网解决实际问题的应用系统和文献。例如 p a l l i n d e r 系统，用来帮助进行。淋巴结点”症状的诊断分析，在应用中具有良好 的性能；c p c s b n 远程医疗系统，它有4 4 8 个结点和9 0 8 条弧，优于世界上主要的远 程医疗诊断分析方法；a l a r m 网，这个贝叶斯网具有3 7 个结点和4 6 条边，它描述了 在医院的手术室中潜在的细菌问题，常被作为贝叶斯网结构学习算法检验的标准网络； h e c k e r m a n 将贝叶斯网成功地用于软件智能化；h u d s o n 等将贝叶斯网用于模拟军事对抗 和预测；a l b e r o l a 等把贝叶斯网用于人类学习中的问题解决研究；r o d r i g u e s 等用贝叶斯 网与制造系统控制；同时在d n a 分析、病理分析、信号检测、系统可靠性分析、金融 贝叶斯网研究及在轻度认知损害诊断中的应用 风险分析、人类学习机制模拟、图像分析和语音识别、进化计算的优化、软件测试、工 业废水处理等方面均得到了成功的应用。 现在，贝叶斯网的研究主要集中于以下几个方面： ( 1 ) 贝叶斯网建模方法 要将贝叶斯网应用于实际某个领域当中，首先需要建立正确的模型。贝叶斯网是客 观世界的一种描述，而客观世界本身是一个复杂系统，各种事物错综交织，形成相互影 响制约的复杂关系，因此贝叶斯网建模是一项复杂的工程。贝叶斯网最终要应用到某个 领域中，在该领域中构建贝叶斯网涉及3 个步骤：第一，必须分辨出所要建模领域中具 有重要性的变量和这些变量的所有可能取值，并以节点表示；第二，判断节点间的依赖 或独立关系，并以图的方式表示；第三，获得贝叶斯网定量部分所需要的概率参数，这 一过程比较繁琐。贝叶斯网的构建一般要在这3 个步骤间反复循环【1 3 。许多学者致力于 贝叶斯网建模的研究，提出了许多建模方法，大致可以概括为三大类： 依靠领域专家知识。即完全由专家凭借经验确定网络结构以及概率参数，这是 一种比较快捷简单的方法，所以目前最常使用。但对于概率的分布建立不是很明确，很 难给出定量、精确的概率分布值，针对这个问题，人们研究了多种知识导出工具，便于 专家给出定量的数值。 从数据中学习。对于一些复杂问题，专家往往很难给出比较确定网络结构与参 数，于是一些学者开始研究机器学习的建模方法，即依靠一定的算法从数据中自动学习 贝叶斯网，包括网络结构的学习以及节点概率参数的学习。可以将这些学习方法分为两 类：基于变量间独立或非独立关系的学习方法；基于评价函数和搜索算法的学习方法。 机器学习的方法能减轻人工的劳作，发现变量之间隐藏的因果关系，然而在实际建模中， 往往没有足够的样本数据量供使用，尤其是对复杂贝叶斯网而言，蕴含所有变量在内的 数据集几乎不存在，而且学习算法的效率普遍低下，实际中构建贝叶斯网不太可行。 从知识库中创建。w e l l m a n j 4 1 等提出了基于知识的建模方法( k n o w l e d g e b a s e d m o d e lc o n s t r u c t i o n ，k b m c ) ，首先收集专家知识存于数据库中，然后从知识库中依靠推 理技术生成网络。这种建模方法可以应用在专家系统和智能决策支持系统中，在一定程 度上替代人类专家的作用。然而知识库的建立需要很长时间的积累。现实中常没有现成 的知识库可用，并且知识库中的知识不一定就是完备的，所以这种方法也有它的缺陷， 单纯依靠它也不行。 现实世界中的问题日趋复杂，导致贝叶斯网的规模日益庞大，建模难度也不断加大， 成为制约贝叶斯网应用的瓶颈。因此，贝叶斯网建模是现在研究的一大难点与热点。 ( 2 ) 贝叶斯网的推理方法 4 - 大连理工大学硕士学位论文 贝叶斯网求解问题的过程就是通过推理获得目标问题的后验概率，并以此作为决策 的依据。推理是贝叶斯网的最关键技术，是被众多研究者普遍关注的焦点所在，也是其 被广泛应用的优势所在。 最基本的贝叶斯网推理方法是使用贝叶斯定理直接计算条件概率，但这种方法效率 较低，不适合大规模的网络，此类研究的目的在于通过应用概率理论和图论的技巧来降 低推理的复杂度，加快推理速度。贝叶斯的推理早已被证明是n p 难题【1 5 】，即使是近似 推理也是n p 难题【1 6 1 ，但是在一定的条件下，研究推理的方法仍然是有效的。这些方法 包括以p o l y t r e e 、j u n c t i o nt r e e 等为代表的精确推理方法和以i m p o r t a n ts a m p l i n g 、g i b b s s a m p l i n g 等为代表的近似推理方法。目前，贝叶斯的推理方法已经比较成熟，很多贝叶 斯仿真软件中都包含了这些方法，只要建立一个网络模型并设定目标问题，软件就可以 自动推理求解，免去了大量的手工运算。 ( 3 ) 贝叶斯网模型的扩展 扩展贝叶斯网模型以使用于不同的环境和系统。y a n g x i a n g 提出的多模块贝叶斯网 ( m u l 邱l ys e c t i o n e db a y e s i a nn e t w o r k s ，m s b n ) “7 】将复杂的网络分解为多个子模块进行 局部求解，利用这个思想可将一个复杂的决策问题分解为多个相对简单的字问题，进行 推理求解。 t h o m a sd e a n 0 8 1 等提出动态贝叶斯网( 功m 锄i cb a y e s i a nn e t w o r k s ，d b n ) ，针对动 态时变系统建模，这种方法在股票价格的波动研究，宏观经济系统的建模中得到了应用。 w e l l m a n 提出了定性贝叶斯网( q u a l i t a t i v eb a y e s i a nn e t w o r k s ，q b n ) 0 9 1 ，针对贝叶 斯参数难以确定的缺点，使用四种定性影响取代条件概率分布，描述变量之间相互关系。 q b n 是对贝叶斯网的定性抽象。 k o l l e r 等应用面向对象的思想提出了面向对象的贝叶斯网( o b j e c t - o r i e n t e db a y e s i a n n e t w o r k s ，o o b n ) 1 2 0 1 ，这是一种层次结构的网络模型，提高了模块复用能力，使用于大 型系统的建模。 ( 4 ) 贝叶斯网的应用研究 贝叶斯网以其强大的不确定知识的表达能力和灵活的推理机制，在很多场合取得了 成功的应用。 由于它能够充分利用领域知识和样本数据的信息，处理不完全数据，以及能够学习 变量之间的因果关系，贝叶斯网在数据挖掘中得到了广泛的应用。 很多故障诊断系统中用到了贝叶斯网，根据症状快速推断故障发生的位置。如打印 机故障诊断，计算机网络故障诊断等。 贝叶斯网研究及在轻度认知损害诊断中的应用 在智能教学系统中应用贝叶斯技术，将知识点用网络模型组织起来，节点的概率表 示学生对该节点所对应的知识点的掌握程度，它随着学生对问题的解答过程不断更新， 最终成为对学生了解掌握知识的长期评价依据，从中能够看出学生对知识掌握的不足之 处。 贝叶斯网也已经开始被应用于信息检索、模式识别等领域，其应用越来越广。 1 3 本文的主要工作 贝叶斯网作为一种概率图形模型，提供了一种将知识直觉的图解可视化的方法，有 许多其自身的优势。它使用概率理论处理在描述不同知识成份的条件相关而产生的不确 定性，在解决许多实际问题中，能够从不完全的、不精确的或不确定的知识和信息中做 出推理。贝叶斯网的结构学习及推理原理与m c i 的诊断颇为近似，可用贝叶斯网处理 不确定性知识的方法描述m c i 诊断的各项标准指标，从样本数据中进行结构学习与参 数学习，构建网络模型，进行推理。本文首先将朴素贝叶斯应用于m c i 的诊断，然后 对k 2 算法作了改进，构建了基于脑结构萎缩的贝叶斯诊断模型。 本文结构安排如下： 第1 章是绪论，介绍了轻度认知损害的研究现状以及目前临床上主要采用的诊断手 段；贝叶斯网的发展历程，国内外的研究现状。 第2 章介绍了贝叶斯网语义、贝叶斯概率及规则、结构学习、参数学习以及贝叶斯 推理的相关知识。 第3 章介绍了目前医学上常用的m c i 诊断手段，阐述了可以作为贝叶斯网节点集 的诊断因子。 第4 章将目前临床上诊断m c i 常用的量表得分指标作为节点集，构建了朴素贝叶 斯诊断模型，并对缺省值的处理进行了探讨。 第5 章首先分析了目前贝叶斯网结构学习常用的算法，对k 2 算法进行了改进，给 出了一种无需主观给出节点先验序列的贝叶斯网结构学习算法，并对其进行了验证分 析，基于此算法，建立了基于脑结构萎缩的贝叶斯诊断模型。 第6 章简要介绍了老年痴呆症早期预测专家系统的设计与实现。 大连理工大学硕士学位论文 2 贝叶斯网学习及推理 贝叶斯网又称为信念网，是一种对概率关系的有向图解描述，适用于不确定性和概 率性事物，应用于有条件地依赖多种控制因素的决策，在解决许多实际问题中，需要从 不完全的、不精确的或不确定的知识和信息中做出推理。作为一种概率推理技术，贝叶 斯网使用概率理论来处理在描述不同知识成分的条件相关而产生的不确定性，提供了一 种将知识知觉的图解可视化的方法。 2 1 贝叶斯网的数学表达 2 1 1 贝叶斯网语义 在贝叶斯网中，起因的假设和结果的数据均用节点表示，它们之间的联系用有向弧 表示。在各变量之间画出它们的因果关系，并将它们用数字编码的形式来描述一个变量 可能影响另一个变量的程度。在概率推理中，随机变量用于代表世界上的事物或事件， 将这些随机变量实例化成各种实例，就可以对世界上现存的状态进行建模1 2 l 】。 贝叶斯网是一个二元组s = 。其中，g 是一个有向无环图，图中节点与所描 述的知识领域的随机变量一一对应：图中的有向弧表示变量间的因果关系，从节点删 节点隋向弧的直观含义是删埔直接的因果影响；p ( x i z ，) ，条件概率表示因果影响 的强度，其中z ，为节点硼q 父亲节点集合。 所以关于一组变量x = l h ，如，。j 。 的贝叶斯网由两部分组成：( 1 ) 一个表示肿 的变量的条件独立断言的网络结构即有向无环图g ，图中的节点一对一地对应于肿的 变量；( 2 ) 与每一个变量相联系的局部概率分布集合尸。以：表示变量以及该变量对应 的节点，z ，表示肿的x i 的父节点。x 的节点之问缺省弧线则表示条件独立。瑚g 联合 概率分布如公式( 2 1 ) 所示。 p ( ) ( 产兀np o t i i h ) ( 2 1 ) i - l 图2 1 便是一个简单的贝叶斯网。它描述了x 1 ，j 2 ，船，x 4 ，x 5 ，x 6 所代表的事 件之间的因果关系。其中的变量代表的意义为：朋表示是否患有肺癌，x 2 为患病时间， x 3 是收入情况，x 4 表示手术成功还是失败，x 5 表示身体素质情况，x 6 表示5 年是否 能够存活。图中变量都为离散值，而x i ，3 ( 4 ，x 6 均为二值变量，x 2 ，x 3 ，乃可根据 实际情况设为多个离散值。 贝叶斯网研究及在轻度认知损害诊断中的应用 收入 图2 1 一个简单的贝叶斯网 f 培2 1s i m p l eb a y e s i a nn e t w o r k 身体素质 2 1 2 贝叶斯概率及规则 贝叶斯概率是根据先验知识与现有数据统计而得到的某一事件将来发生的概率估 计值d = x i = 1 ，屯= 也，x m = x n i 为观测样本集，磙示事件变量，x 是事件变量 对应的值或状态。记参数0 为事件y 兰x 发生的先验概率，e ( ol ) 为其概率密度函数，f 是 先验知识在给定先验概率密度与样本d 的条件下，第n + 1 次事件厶+ l = ，+ 1 发生的概率 即为贝叶斯概率，可表示为如公式( 2 2 ) 所示。 p ( x n + 12 件l 限f ) 2 j 以j 肿l2 。肿l f 日，d ，) p 徊id f ) 棚 ( 2 2 ) = j p p ( 口d ，f ) 棚 2e p ( o i d c f ) & ) 其中，哆即l d ) 徊) 即为先验概率9 相对于后验概率的期望值。 贝叶斯规则如公式( 2 3 ) 所示。 e ( a i b ) ：p ( b i a ) p ( a ) ( 2 3 ) r l b ) m c i 诊断模型中，假设事件一是目标节点，代表个体状态( m c i ，正常) 。p 臼，是先 验概率，表示彳在整个样本群体中所占的比例。p 国i a ) 是从样本数据中得到的己知a 的 条件下，诊断因子占的条件概率。由公式( 2 3 ) 就可以得到后验概率p 臼i 别。 根据贝叶斯规则，由先验概率密度p ( o i ) 计算后验概率密度p ( o id ，f ) 如公式( 2 4 ) 所示。 一8 一 大连理工大学硕士学位论文 驯喵，= 等器产 ( 2 t ) 其中，p ( d i f ) = j p ( d i 口，f ) p ( d l ) d 口， p ( d 旧f ) 为似然密度函数。在先验概率日已知的条件下，样本d 中各事件条件独立。 事件变量诹有限值，即彭茸x i ，x 2 ，x e 共r 个可能的取值，参数日：碱，0 2 ，印) ，其中 o k = ，( x ；l 口， - 3 算法已经比较成熟，已经成功解决了现实 世界的一些学习问题。但是，从不完备数据中学习贝叶斯网结构比较困难，因此贝叶斯 网结构学习急需解决的问题是处理不完备数据的高效算法。 2 3 贝叶斯网参数学习 贝叶斯网参数学习也就是结点概率分布学习，可以归结为统计学中的参数估计问 题。当前已经有很多种概率分布的学习方法，比较常用的是贝叶斯方法，下面将具体介 绍( 这里讨论的是在样本数据完备情况下的参数学习) 。 利用贝叶斯方法进行的参数学习可以简单地表示成：给定随机样本d ，网络结构s ， 先对参数0 有一个先验分布的估计，然后结合样本数据得到后验分布p ( o f b ，d ) 。 首先我们假设各参数独立，即对任何一个结点的先验概率分布的估计不会影响我们 确定其他结点的先验概率分布，有公式( 2 8 ) 。 , ( o s i b s ， ) ；旦n 马q f b s 嘞i ， ) ( 2 8 ) ， ) 5 旦马嘞， ) ( 2 8 ) 其中，= p ( x i = k l 口嘶) = j ) ，令勺= u 毛l ，吩= u ，n - l 。爿勺 假设每一个参数有先验d i r i c h l e t 分布，即存在指数，满足公式( 2 9 ) e ( 日uj s 崩= 瞧妒1 ( 2 9 ) 于是得到后验概率如公式( 2 1 0 ) 所示。 e ( e i ji 。，期：c 鱼鳅+ - 1 ( 2 1 0 ) 公式( 2 1 0 ) 可以进一步改写为如公式( 2 11 ) 所示。 咖( 州蹦) 等 ( 2 1 1 ) 其中，4 ；f f = 毛，= 毛。 大连理工大学硕士学位论文 另外一种典型的参数学习方法是最大似然性估计m l e 方法，这也是一种基于统计 的方法。基本思想是：一个随机实验有若干个可能的结果c 1 ，c 2 。，c ”，在一次实验中， 结果c ”出现，即c ”出现的概率应该最大，可将似然函数以c 1 9 ) 取极大值时的参数值日。 作为对参数的估计值。似然性是一种评判具体0 准确与否的一种标准，似然性函数为 l ( o ，d ) = p ( d i p ) = h p ( x m i 口) 。似然性越大，依据0 产生样本的可能性就越“好”。 当样本数据不完备时，参数学习的困难在于参数之间的相互依赖，m l e 方法的似 然性函数和贝叶斯方法的后验概率都无法分解成每个参数独立计算的因式，只能用近似 计算的方法。一种是修复为完整数据集在进行参数学习，这种方法比较准确，但样本数 目很大时学习的效率很低；另一种是采用近似的方法，如蒙特卡洛法，高斯近似法，最 大梯度法，e m 算法等。 2 4 贝叶斯网推理 2 4 1 贝叶斯网的推理形式 贝叶斯网的推理就是进行概率计算，给定一个贝叶斯网模型，从先验知识入手，根 据证据结点，利用贝叶斯中的条件概率的计算方法，计算出所感兴趣的结点发生的概率。 按推理方向贝叶斯有三种重要的推理形式。 图2 2 一个简单的贝叶斯网 f 培2 2s h n p l eb a y e s i a nn e t w o r k ( 1 ) 因果推理。由原因推导出结果，是一种由顶向下的推理。已知一定的原因( 证 据) ，通过贝叶斯网的推理计算，求出在该原因的情况下结果发生的概率。因果推理的 过程为：首先，将询问结点的其他父结点( 未在条件中出现) 加入到询问结点，条件不变， 对新结点的所有状态求和；然后利用贝叶斯规则将和式中每一项展开。如图2 2 中，计 算概率p ( cj 一) ，根据前面所述的因果推理的过程，可以表示为如公式( 2 1 2 ) 所示。 ，( c i 一) = p ( c ，b i a ) 2 否p ( c i b a ) p ( b i a ) ( 2 1 2 ) 贝叶斯网研究及在轻度认知损害诊断中的应用 ( 2 ) 诊断推理。由结论推知原因，也称为由底向上的推理。目的是在已知结果时， 找出产生该结果的原因。已知发生了某些结果，根据贝叶斯网推理计算，得到造成该结 果发生的原因及发生的概率。这种推理常用在病理诊断、故障诊断中，目的是找到疾病 发生、故障发生的原因。图2 2 中，在已知c 的条件下求爿发生的概率即p ( a i c ) 的过程 就是诊断推理，可以表示为如公式( 2 1 3 ) 所示。 p ( i c ) ：p ( c ia ) p ( a )( 2 1 3 ) p ( c ) ( 3 ) 支持推理。提供解释以支持所发生的现象。目的是对原因之间的相互影响进行 分析。图2 2 所示的贝叶斯网中的p ( aj c ，占) 的过程就属于支持推理的过程，可以表示为 如公式( 2 1 4 ) 所示。 ，( 彳i c ，动=j p ( c ，b i 爿) p ( 一) ，( c i b ，a ) p ( b i 爿) 以一) e ( c ，口) p ( cb ) p ( b ) ( 2 1 4 ) 一般说来，贝叶斯网可以用于在知道某些变量的值或分布时计算网络中另一部分变 量的概率分布。贝叶斯网具有双向推理的能力：预测和诊断。预测是给出一些特征，来 预测可能发生的情况，实质上就是因果推理的过程；而诊断就是已知发生的事件或结果， 去探索发生该事件的可能原因。 2 4 2 贝叶斯网的推理算法 贝叶斯网的推理遵循贝叶斯定理和约定的相关性分割。虽然相关性分割简化了概率 推理，但是c o o p e r 已经证明：对多连接贝叶斯网，其概率推理依然是n p 问题。 贝叶斯网的推理方法可以分为两类：一类称为精确推理，即精确地计算假设变量的 后验概率。另一类称为近似推理，即在不影响推理正确性的前提下，通过适当降低推理 精度来达到提高计算效率的目的。精确推理一般用于结构简单的贝叶斯网推理。对于结 点数目大，结构复杂的贝叶斯网，精确推理的复杂性会很高，因此常采用近似推理。 ( 1 ) 精确推理 精确推理算法的典型代表是变量消除算法，下面将具体介绍之。 变量消除算法【2 7 】通过概率计算，逐步消去变量，最终得到所求变量的概率值。这里 以变量消除算法的典型代表“桶”消除算法为例进行讨论。 桶消除算法基于组织优化的思想，直接针对联合概率分布的组合爆炸问题，提出解 决方案。该算法求解的主要思想使首先利用p r o d u c t c h a i nr u l e 和条件独立将贝叶斯网图 形化的联合概率分解为一系列条件概率表的乘积( 参数化) ；然后在符号层面上对公式进 行变换，改变求和时结点的消元顺序及求和运算、乘积运算的先后顺序，以达到减少求 大连理工大学硕士学位论文 和与乘积运算量的目的；最后按照变换后的公式进行逐步的求和与乘积运算以得到待求 结果。以图2 3 所示的贝叶斯网为例，可以得到如公式( 2 1 5 ) 所示。 图2 3 变量消除法 f i g 2 3 e l i m i n a t i o no f v a r i a b l em e t h o d p ( ，) = 占，占，e ，g ，e c ，d e ，g ) = 一，占，占。g p ( f l d ) e ( o j d , e ) 尸( c l ) p ( d 1 4 口矿( 彳) 户( 且) p ( d ( 2 1 5 ) = _ 石gp ( f i d ) ，( 著，( d 1 4 口) 只口) x 否p ( c l 一) ) ( 薹尸( g l d e ，d ) 令 e b p ( d i a ，印尸( 2 r s ( a , d ) ，p ( g i d ，e ) ，( d 5 y e ( d , g ) ，并且有c p ( c i 椰= 1 ，于是 可以得到公式( 2 1 6 ) 。 ，( ，) = 爱c p ( ，id ) ，( ) 冶( 一，聊e ( d ，g ) ( 2 1 6 ) 可以看出，对b ，c ，e 三个变量的概率求和操作就相当于在贝叶斯中将此变量消 去。消去b ，c ，e 后，就可以在新的图中继续消去一，g 。 ，( f ) = 否尸( ，id x 看，( 一h d ) x 否托( d ，g ) ) 再令着p ( 一) 冶( 一，d ) = y a ( d ) ，否您( d ，g ) 2t g ( d ) ，最后可以得到公式( 2 1 7 ) 。 j p ( ，) = 丢p ( ，id ) r 一( d 打g ( d ) ( 2 1 7 ) ( 2 ) 近似推理 精确推理的时空复杂度高，很难应用于复杂的领域。虽然近似推理也是n p 难题， 但由于近似方法以牺牲推导结果精度换取推导效率的提高，故己在许多应用中显示了很 好的实用性。面对现实世界实时性、响应性等要求，近似推理的方法已成为主流方法。 近似推理方法主要有两大类，一类是基于搜索的方法，一类是随机采样法。 基于搜索的方法是通过对贝叶斯网结点的组合状态所构成的空间进行搜索，利用少 量的概率取值和较高的状态得到近似的计算结果。这类算法适合于概率分布均匀，特别 ， 贝叶斯网研究及在轻度认知损害诊断中的应用 是存在极端概率的情形，它能保证随计算时间的增长，考虑状态的增多，计算结果的绝 对误差单调降低。 随机采样法又叫基于仿真的方法，其思想是采用抽样技术从贝叶斯网蕴含的联合概 率分布中得到一组样本，然后对该样本进行统计以计算所求概率。这是一个近似的结果， 其精确度取决于样本的大小，当样本趋向于无穷大时，样本的统计值将等于其概率值。 随机采样法通常分为采样和统计计算两个相对独立的阶段。 还有一种算法是混合推理算法，是结合连接树和随机模拟的方法，吸取两者的优点， 这是一种可解决更复杂领域问题的近似算法。 大连理工大学硕士学位论文 3m c l 诊断因子的贝叶斯分析 3 1贝叶斯网与i 诊断 贝叶斯网作为一种推理模型，将贝叶斯概率方法和有向无环图的拓扑结构有机结合 起来作为不确定知识的表达，描述了数据项极其依赖关系，是进行数据联合分析与预测 的有力工具，在表达不确定性知识方面有着广泛的应用。贝叶斯网不仅有坚实的理论基 础，同时又能很好的与专家头脑中的知识结构相对应。它的坚实的理论基础，知识结构 的自然表达方式，灵活