（计算机应用技术专业论文）贝叶斯网络在击剑训练决策支持中的研究与应用.pdf

贝叶斯网络在击剑训练决策支持中的研究与应用 摘要 知识时代的来临促使当今社会的信息量以前所未有的速度增加，决策者面临 更加复杂的环境，因而高效的决策支持系统成为不可或缺的工具。体育界也面临 同样的问题，如何在海量的训练、比赛信息中发现问题的规律，做出合理、正确 的决策，是教练员密切关注的问题。击剑是一项技巧性很强的奥运比赛项目，要 保证运动员具有良好的身体机能和竞技状态，必须充分发掘训练过程与运动员身 体指标之间的关系，进而达到科学训练的目的。数据表明，我国击剑运动的训练 和比赛中，教练员仍主要凭经验进行安排，科学化水平较低，缺乏有效的辅助决 策支持系统。本文“击剑训练决策支持系统 是国家体育总局奥运科研攻关项目 子项目之一，用以配合和促进击剑运动训练的科学化进程，协助教练更加科学地 指导运动员进行运动训练。 数据挖掘技术主要研究如何从大量的数据中智能的、自动的提取有价值的知 识，贝叶斯网络是其中最具代表性的智能信息处理模型。贝叶斯网络具有稳固的 数学基础，与人工神经网络、规则库、决策树等其他知识表示形式相比，它采用 定性表示和定量分析相结合的方式，具有图形化的模型表示形式和直观的推理， 适用于为本文所要解决的击剑训练优化问题建模。 以往的研究中，通常将运动员的各项生理、生化指标单独进行训练强度和负 荷量的分析，没有科学的建立它们与具体训练过程的关系：本文首先提出采用贝 叶斯网络的方法，发现运动员的训练过程与各类生理、生化指标之间的因果关系， 具有重大的理论意义和实用价值。本文对贝叶斯网络的知识表达、学习方法和推 理功能进行了研究，并建立击剑训练方法的优化模型，最终形成一套完整的训练 过程管理和分析系统。 在模型实现中，结合运动训练科学理论和教练员的经验知识，定义训练相关 变量、生理效应变量和其他运动员变量作为网络节点：使用改进的k 2 算法学习 网络的结构；扫描历史数据对根节点的先验概率和叶节点的条件概率进行赋值。 在此基础上，利用模型的推理功能，为教练员提供决策支持。以女子重剑队的数 据进行实验，并与增加冲量项的b p 神经网络方法进行了性能比较。实验表明， 该模型能有效的为教练员提供决策支持。 关键词：贝叶斯网络；决策支持；击剑；生理生化指标；b p 神经网络 i l t h er e s e a r c ha n da p pi c a tio no fb a y e sia nn e t w o r k sin f e n cin gt r ainin gd e cisio ns u p p o r t a b s t r a c t f e n c i n gi sa ni m p o r t a n ti t e mi no l y m p i cg a m e s ，a n dc h i n af e n c i n gt e a m a c h i e v e dg r e a tc o m p l i m e n t si n2 0 0 8o l y m p i cg a m e s i n f e n c i n gt r a i n i n g ，t h et r a i n i n g p l a ns h o u l da d j u s ta c c o r d i n gt oa t h l e t e s p h y s i c a lc o n d i t i o n t h ed a t ao fp h y s i c a ls t a t e i sm e a s u r e da n dc o l l e c t e dp e r i o d i c a l l y , a n df e e db a c kt ot h em a k i n go f t r a i n i n gp l a n b yc o a c h e s a l t h o u g h , i ti sr e v e a l e dt h a tt h et r a i n i n gc o u r s ei sd o m i n a t e db yc o a c h e s e x p e r i e n c ei n s t e a do fs c i e n c eo fs p o r t s o ，e f f i c i e n td e c i s i o nm a k i n ga s s i s t a n c ei s i m p e r a t i v e i ni n f o r m a t i o na g e ，t h ef i e l d so fe x p e r ts y s t e m ，d a t am i n i n g , a n dd e c i s i o nm a k i n g i sa ne f f i c i e n tt o o lt om a n a g ea n da n a l y z ei n f o r m a t i o n b a y e s i a nn e t w o r k s ，ap o p u l a r k i n do ft h e m ，h a v eb e e n u s e di nd i f f e r e n ta p p l i c a t i o ni n c l u d i n gd i a g n o s i s ，m e d i c a l e x p e r ts y s t e m ，a n ds o f t w a r ed e b u g g i n g b a y e s i a nn e t w o r k sa r eb a s e do nd i r e c t e d g r a p h s i th a sc o n n e c t i o n sw i t ht h es t a t i s t i c a l ，n e u r a ln e t w o r k s ，a n du n c e r t a i n t y c o m m u n i t i e s c o n s i d e rb a y e s i a nn e t w o r k so nd i s c r e t ev a r i a b l e s ；t h e yc o n s i s to fan e t w o r k s t r u c t u r ea n di t sa s s o c i a t e dc o n d i t i o n a lp r o b a b i l i t yt a b l e s t h en e t w o r ks t r u c t u r ei s r e p r e s e n t e db yad i r e c t e da c y c l i cg r a p h ( d a g ) ，w h i c hs i m p l i f i e st h ef u l lj o i n t p r o b a b i l i t yd i s t r i b u t i o nf o ra s e to fv a r i a b l e sa n ds h o wi n d e p e n d e n d e sb e t w e e nt h e v a r i a b l e s c o n d i t i o n a lp r o b a b i l i t yt a b l e sa r en e e d e dt os p e c i f ya p r o b a b i l i t y d i s t r i b u t i o nb a s e do nt h en e t w o r k i nt h i sp a p e r , b a s i cc o n c e p t sf o rl e a r n i n ga n d b a y e s i a nn e t w o r k sa r ei n t r o d u c e da n dm e t h o & a r et h e nr e v i e w e d m e t h o d sa r e d i s c u s s e df o rl e a r n i n gt h es t r u c t u r ea n dp a r a m e t e r so fa p r o b a b i l i t yn e t w o r k 。 i no r d e rt oi m p r o v et h eq u a l i t yo f t r a i n i n g ，t h es y s t e mo ff e n c i n gt r a i n i n gd e c i s i o n m a k i n gi sd e v e l o p e d u n l i k et h ep r e v i o u sr e s e a r c h , w h i c hf o c u s e do nt h er e l a t i o n b e t w e e nl o a da n dp h y s i o l o g i c a lp a r a m e t e r s ，i nt h i sp r o j e c t ，t h er e l a t i o nb e t w e e n t r a i n i n gc o u r s e sa n dp h y s i o l o g i c a lp a r a m e t e r sa r ee m p h a s i z e d a ni n f e r e n c em o d e l b a s e do nb a y e s i a nn e t w o r kt od i s c o v e rt h er e l a t i o ni no p t i m i z a t i o no ff e n c i n g t r a i n i n g w a s p r o p o s e d b yc o m b i n i n ge x p e r t s e x p e r i e n c e ，t h i sp a p e rp r e s e n t e dh o w t o c o n s t r u c tn e t w o r ks t r u c t u r e sa n dc o n f i g u r ep a r a m e t e r s ，a p p l i e dt h es a m p l ed a t a c o n c e r n i n gw o m e n se p e ei nt h ee x p e r i m e n t s ，a n di l l u s t r a t e dt h e p e r f o r m a n c e c o m p a r i s o n sw i t hb p a r t i f i c i a ln e u r a ln e t w o r k b e s i d e s ，t h eb p a l g o r i t h mw eu s e di si m p r o v e db ya d d am o m e n t u mi t e m t h er e s u l t ss h o wt h a tt h i s m o d e li sh e l p f i l li nc o a c h e s d e c i s i o n m a k i n g k e yw o r d s ：d e c i s i o ns u p p o r t ：b a y e s i a n n e t w o r k s ： f e n c i n g ； p h y s i 0 i o g i c a ip a r a m e t e r s ：b pn e u r a in e t w o r k i i i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得虫国渔注太堂或其他教 育机构的学位或证书使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：套幕现 签字日期：7 年石月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到 中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 凄庆乏 签字日期：加。1 年6 月6 日 导师签字： 猁隽觇 签字日期：乙卯了年6 月易e l 贝叶斯网络在击剑训练决镶支持中的研究与应用 1 引言 击剑是一项重要的奥运竞赛项目，2 0 0 8 年北京奥运会，仲满夺取男子佩剑金 牌，中国击剑队取得了历史性突破。这与运动员和教练员的努力拼搏是分不开的， 同时也得益于科技支持的力量。击剑是一项技巧性很强的体育比赛项目，其训练 角度的选择、训练方法的安排是因人而异的。数据表明，我国击剑运动训练和比 赛中，教练员仍主要凭经验进行管理，科学化水平较低。鉴于此，国家体育总局 立项开发“击剑训练决策支持系统 ，以期更好地配合和促进击剑运动训练的科 学化进程，协助国家击剑队教练更加科学地指导运动员进行运动训练，提高运动 成绩。 在当今的信息化时代中，专家系统、数据挖掘、决策支持等领域的知识是科学 的管理和分析信息的有力工具。多年来，对如何使用概率论来有效处理不确定性 信息和知识，人们提出并实现了许多基于概率的智能信息处理方法，具有清晰知 识表达和推理功能的贝叶斯网络是其中最具代表性的智能信息处理模型。本文基 于贝叶斯网络知识表达、学习方法和推理功能的研究，建立击剑训练方法的优化 模型，具有重大的现实意义，并将指导我国击剑运动的进一步发展。 1 1 课题背景 为了提高运动成绩，最大限度地挖掘运动员的潜力，必须进行科学、系统、 合理的训练。科学训练的首要目标是要保证运动员具有良好的身体机能，因为身 体机能水平直接影响训练质量、技术发挥。因此，在训练各个阶段中需要对身体 机能做定期地测试和评定，并反馈于运动训练，教练员根据这些反馈信息随时调 整训练计划，达到科学训练的目标。以往的研究中，通常将运动员的各项生理、 生化指标单独进行训练强度和负荷量的分析，没有科学的建立它与具体训练过程 的关系。 在实际的击剑运动训练过程中，有多种训练项目，如步伐练习、柔韧性练习、 电动剑实战、双人练习等。在每次训练过程中，采用计算机、传感器等技术实时 地采集到运动员的心肺功能等各项生理指标。不同的训练项目对各类生理指标的 贝叶斯网络在击剑训练决策支持中的研究与应用 贡献是不一样的，以往的决策分析研究中，没有把训练过程和生理、生化指标联 系起来，教练员目前只能依靠经验来判断两者之间的关系。本文的目标即研究击 剑运动中训练过程和运动员生理指标的关系，辅助教练员优化训练方法。 文献 1 基于动态数理分析方法对生理指标进行分析，文献 2 ，3 使用生理、 生化指标建立训练负荷分析的b p 神经网络模型和蚁群神经网络模型，使用 d e l p h i 和m a t l a b 结合的方法，建立神经网络，分析预测各项指标与运动负荷量 之间的关系，取得了较好的效果。但是他们都存在一些问题：第一，从研究目的 来看，他们局限于对生理、生化指标的分析和建模，都没有结合训练过程进行推 理，对于教练员优化训练方法没有提供有价值的建议：第二，从采用的手段上看， 神经网络方法不能建立简洁、易懂的模型，其预测结果对于人来讲，是一个不可 解释的黑箱，其合理性受到怀疑，而且难以从中抽取出规则；另外，从系统使用 的工具和环境要求上看，用户必须提前安装m a t l a b 软件，操作流程较为复杂， 给教练的使用增加了不便。 贝叶斯网络( b a y e s i a nn e t w o r k ，b n ) 3 为因果关系的表示提供了一个便利的 框架，它用图形模式描述变量间的条件独立性和概率依赖关系，广泛应用于不确 定性推理中。本文提出一种基于贝叶斯网络建立击剑训练优化分析模型的方法， 围绕击剑训练过程开发“击剑训练决策支持系统 ，发现运动员的训练过程与各 类生理指标之间的因果关系，形成一套完整的训练计划管理和分析系统。该系统 运用定性与定量相结合的方法，对击剑运动员的训练过程进行统计、分析并建立 训练方法的优化模型，为教练员针对不同运动员制定运动训练的科学化、最佳化 提供计算机辅助决策。 1 2 课题的研究现状与意义 自7 0 年代提出决策支持系统( d e c i s i o ns u p p o r ts y s t e m s ，d s s ) 以来，d s s 已 经得到了很大发展。它以现代信息技术为手段，综合运用计算机技术、人工智能 技术、管理科学等多种学科知识，针对计算机中的半结构化和非结构化决策问题 为管理者提供辅助的人机交互系统。我国决策支持系统的研究始于8 0 年代中期， 9 0 年代引入体育界，在运动训练、战略战术、体育评价等方面得到应用。 2 贝叶斯网络在击剑训练决策支持中的研究与应用 决策支持系统在体育界的成功应用中，最负盛名的是数据挖掘在n b a 中的应 用，教练员根据多场比赛中各个运动员发挥状况与比赛胜负等大量统计数据，确 定对敌时的最佳阵容。基于数据挖掘的决策支持系统被誉为第二教练，成为主教 练有效的助手。另外，在铁饼、跳水等运动项目中，结合计算机图形图像技术分 析运动员比赛时关节部位的变化，为其设计最节省体力的动作，使运动员更好的 发挥潜质，从而提高成绩；在举重、竞走等项目中，通过分析运动员生理、生化 以及心理指标，建立运动员竞技能力诊断、评价的系统，实现了训练中定性与定 量的有机结合，为运动员身心发展的全面训练提供了参考依据。 综上所述，目前d s s 在体育中的应用还未深入到体育系统的各个领域中，主 要集中在围绕比赛制定战术战略，以及对各种生理指标的负荷分析对运动员竞技 能力做出评价等方面。另外，研究工作在某种程度上与决策研究和组织管理的研 究脱节，从计算机实现的角度去研究的较多，从决策与决策过程的角度去研究的 较少，设计指导思想求大求全，影响了d s s 的实用性。本课题的主要目标是对于 训练计划的实施及效果进行数据挖掘应用，从而为教练员针对不同运动员制定训 练计划提供辅助支持，不仅是可行的，而且具有创新性。 本课题的理论意义在于： ( 1 ) 当今体育科技竞争日益激烈，要提高成绩必须要有科学的方法和手段，竞 技比赛从某种意义上讲，就是科技水平的竞争。结合现代先进计算机技术，使击 剑运动的训练工作智能化、科学化、定量化，是世界击剑运动的发展趋势，也是 我国击剑训练工作者的奋斗目标。在系统了解击剑运动项目特点的基础上，明确 各种训练方法及其对运动成绩影响关系的前提下，研制开发击剑运动训练决策支 持系统，是可行的，也是必要的。 ( 2 ) 数据挖掘是人工智能与数据库相结合的产物。它利用关联规则、决策树等 挖掘算法从大量数据中提取隐含的、不为人知的有用知识，如规则、规律等，可 克服传统的数据分析只涉及数据表面的缺陷。教练员积累了大量的训练数据，所 以数据挖掘非常适于运动训练的优化问题。系统对教练员采取的训练计划以及训 练效果进行记录、管理，并在此基础上综合运用统计学方法、数据挖掘技术进行 信息挖掘和知识发现，从中寻找规律，服务并指导重点队员的训练和比赛。 课题研究成果的实际应用价值在于： 3 贝叶斯网络在击剑训练决策支持中的研究与应用 ( 1 ) 建立国家击剑队信息综合管理平台，实现训练过程、运动负荷等训练相关 信息的综合管理和充分利用。 ( 2 ) 在教练员多年经验的基础上，不断深化其对训练规律的认识，为教练员科 学地制定训练和比赛计划提供参考依据。 ( 3 ) 本课题建设的技术成果和经验，也可以推广应用到其他运动项目。 1 3 贝叶斯网络研究概述 贝叶斯网络又称为信念网络( b e l i e fn e t w o r k s ) ，已经成为近十几年来研究 的热点，是目前不确定知识表达和推理领域最有效的理论模型之一。其产生的根 源可追溯到1 7 6 3 年提出的贝叶斯理论，贝叶斯理论是贝叶斯网络的重要理论基 础之一。由于当时贝叶斯方法在理论和实际应用中还存在很多不完善的地方，因 此在十九世纪并未被普遍接受。2 0 世纪初，遗传学家s e w a l lw r i g h t 提出了使用 有向无环图( d i r e c t e da c y c l i cg r a p h ，d a g ) 来表示因果关系的方法，这后来成 为了经济学、社会学、心理学方面对于因果模型的固定的表示。贝叶斯网络是贝 叶斯方法与图形理论的有机结合。1 9 8 6 年p e a r l 首次在专家系统中引进了贝叶 斯网络。1 9 8 8 年p e a r l 明确指出影响图中没有决策节点和结果节点就是贝叶斯 网，指出贝叶斯网络或许是概率推理中最普及的模型。2 0 世纪8 0 年代，贝叶斯 网络多用于专家系统中，成为表示不确定知识和推理问题的流行方法。 随着近年来数据库规模的不断扩大，贝叶斯网络逐渐开始应用于大规模数据库 的数据挖掘和知识发现，从而为决策支持提供了有力手段，已经成为数据库知识 发现和决策支持系统的有效方法。它使用主观概率和先验分布进行学习和建造网 络模型，与规划挖掘、决策树、人工神经网络、分类和聚类等方法相比，其优点 主要体现在： ( 1 ) 贝叶斯网络具有因果和概率性语义，并根据因果关系进行学习，这种方法 能够使先验知识和数据有机的结合。它使用有向弧表示变量间的依赖关系，用概 率分布表示依赖关系的强弱，将先验信息与样本有机结合起来。 ( 2 ) 贝叶斯网络与贝叶斯统计学紧密相关，它的推理原理基于贝叶斯概率理论， 推理过程实质上就是概率计算。根据贝叶斯网络的语义因果关系可以直接进行因 果先验知识的分析。 4 贝叶斯网络在击剑训练决策支持中的研究与应用 ( 3 ) 贝叶斯网络使用图形的方法描述数据间的相互关系，语义清晰，易于理解。 贝叶斯网络能够反映数据之间潜在的关系，为数据挖掘、知识发现和决策支持提 供了一种行之有效的方法。 ( 4 ) 贝叶斯网络能够处理不完备数据集，这是传统的指导性学习方法所无法解 决的问题。贝叶斯网络的方法反映的是整个数据库中数据间的概率关系，缺少某 一数据变量仍然可以建立较精确的模型。在某些节点状态量缺失时，可以根据先 验知识和与这些节点相关的己知节点数据，计算出状态量缺失节点在不同状态下 发生的概率，推断缺失数据，实现数据完备化，从而获得准确的决策结果。 目前，国际上开展的贝叶斯网的应用已取得一定的规模，己成功应用于知识发 现、智能教学、故障诊断、医学上的病理诊断等领域。此外，在国防系统、工业 制造系统、重要系统的属性预测、软件工程中的因果建模等中都有成功的应用实 例，可见贝叶斯网的应用已渗入到社会和生活的许多方面。本文研究的“国家击 剑队训练决策支持系统，以大量的历史训练数据为基础建立贝叶斯网络模型，基 于贝叶斯网络的推理功能，发现训练中的因果关系并进行概率分析，为教练员和 相关管理人员科学的制定决策提供有利的支持。 1 4 本文的研究内容与组织结构 本文主要研究了在击剑训练中，基于贝叶斯网络建立训练优化模型，利用贝叶 斯网络的因果推理( 自顶向下) 和诊断推理( 自底向上) 功能，发现训练过程和生理 指标的相互关系。结合经验知识和样本数据，对该模型中网络结构的构造和网络 参数的赋值方法进行了详细说明。以女子重剑队的数据进行实验，并与b p 神经 网络方法进行了性能比较。实验表明，该模型能有效的为教练员提供决策支持。 本文各章节的主要内容如下： 第1 章绪论。主要介绍了本文的课题背景，概述了决策支持系统的基本理论 和研究背景，并给出了本文的内容安排。 第2 章贝叶斯网络。主要介绍贝叶斯网络的定义、网络拓扑结构构造和网络 参数赋值的学习方法及如何应用贝叶斯网络进行推理。 第3 章击剑训练决策支持模型的设计与建立。结合经验知识和样本数据，建 立击剑训练优化的贝叶斯网络模型，对该模型中网络结构的构造和网络参数的赋 5 贝叶斯网络在击剑训练决策支持中的研究与应用 值的算法进行了详细说明。 第4 章基于b p 神经网络的击剑训练优化分析。主要介绍神经网络的一些基 本概念，并重点介绍了反向传播( b p ) 神经网络模型以及它在击剑训练决策支持中 的应用。以女子重剑队的数据进行仿真实验，并将贝叶斯网络模型与b p 神经网 络进行了性能比较。 第5 章击剑训练决策支持系统的开发与实现。介绍了系统的开发工具和主要 功能。 第6 章总结与展望。对全文进行了总结，并提出了今后进一步研究和改进的 方向。 6 贝叶斯网络在击剑训练决策支持中的研究与应用 2 贝叶斯网络及其学习算法 贝叶斯网络是一种概率网( p r o b a b i l i s t i cn e t w o r k s ) ，它模拟人的认知思维推 理模式，是基于概率分析、图论的一种不确定性知识表达和推理模型。它以图形 模式来表示变量间的概率分布，具有稳固的数学基础，与其他知识表示形式如规 则库、决策树、人工神经网络相比，它具有图形化的模型表示形式、局部及分布 式的学习机制、直观的推理，适用于表达和分析不确定性和概率性的事物等优点， 是因果推理、不确定性知识表达、模式识别和分类、聚类分析等应用的有效工具。 下面先简单回顾贝叶斯网络相关的概率论、图论的理论基础，然后介绍贝叶斯 网络的表示、学习及推理方法，详细介绍了贝叶斯网络推理模式和贝叶斯网络的 结构学习和参数学习，以及如何应用贝叶斯网络进行推理。 2 1 贝叶斯网络的概率论基础 2 1 1 概率论的基本思想力 假定有随机变量集合x 一，邑，五) ，毛表示五的取值。令表达式 p 隅一五，五一屯， 以一毛) 表示对 赋以所希望的值“，屯，毛) 时的概率，则称p ，五，以) 为变量五，邑， e 的联合概率函数，它满足如下 属性： o p ( 五，叉二，j i ) s1 式( 2 1 ) p 僻，五，x ) - 1 式( 2 2 ) 其中，式( 2 - 2 ) 是建立在所有随机变量的所有取值的基础之上的。 己知一个随机变量集合的联合概率的所有值时，就可以计算任意随机变量的边 缘概率p ( 五一五) ，它定义为所有联合概率中五一再的概率之和，即 p 。而) 。磊p ，“) 。 而更低阶数的联合概率也可通过对所有联合概率的相应项相加而得。如对于 7 贝叶斯网络在击剑训练决策支持中的研究与应用 五鼍，五一屯，有p ( 墨一j c l ，x 2 一恐) 一p 阮，x 2 ，瓦) 。 墨而吃 己知较低阶数的联合概率时，同样可以计算边缘概率和其它更低阶的联合概 率。如p ；鼍) - p ( 五，置) 和p 一五，x 2 - x 2 ) 一p ( x 1 ，x ：，墨) 。 嘱邑- 】曩2 啦 因此，从理论上讲，给定一个随机变量集合的完全联合概率函数，便能计算所 有的边缘概率和更低阶的联合概率。但是，当有一个很大的随机变量集合时，很 难确定所有的联合概率或更低阶联合概率。幸运的是，在大多数应用中，联合概 率都满足一定的条件，使得对它们的指定和计算变得可行，下面的章节将会介绍 在贝叶斯网络中利用条件独立性简化概率计算。 给定变量墨，x 2 ，其条件概率函数可用p 瓴l 五) 表示：p ( 五i 鼍) 一筹 其中，p 隅，x 2 ) 是五，x 2 的联合概率，p ) 是邑的边缘概率。由上式可以 得到联合概率的条件概率表达式p ( 五，x 2 ) - p ( x 。ix ：) p ( x z ) 。 在计算任何条件概率时，首先需要计算相应的联合概率和边缘概率，它们可以 从前述的包含所有需要的变量的完全联合概率中计算得到。反之，可以按照一个 条件概率链来表达一个联合概率，其一般形式为： p 瓴，屯， 毛) 。p 瓴i 置，墨d ) 式2 3 上式常被称为链规则，其表达方式依赖于对五的排序，但在一个联合概率函 数中变量的排序方式并不重要，故 p 隅，互) - p ( x ，ix 2 ：) p ( 五) - p ( x 2l 五) p ( 五) - p ( x 2 ，五) ，从而可以得到非常重要 的贝叶斯法则： 聃忆) 一警 下节将结合在机器学习中的应用对贝叶斯法则进行更深入的介绍。 2 1 2 贝叶斯法则与极大似然假设 式( 2 - 4 ) 在机器学习中，通常我们感兴趣的是在给定训练数据d 时，确定假设空间日中 8 贝叶斯网络在击剑训练决策支持中的研究与应用 的最佳假设。所谓最佳假设，可以定义为在给定数据d 以及日中不同假设的先验 概率的有关知识的最可能假设。贝叶斯理论提供了一种直接计算这种可能性的方 法，即它提供了一种计算假设概率的方法，它基于假设的先验概率、给定假设下 观察到不同数据的概率以及观察到的数据本身。 令p q ) 表示在没有训练数据前假设h 拥有的初始概率，它通常被称为h 的先验 概率，反映了我们所拥有的关于h 是一正确假设的机会的背景知识。如果没有这一 先验知识，那么可以简单的将每一候选假设赋予相同的先验概率。类似，可用p p ) 表示训练数据d 的先验概率，即没有确定任一个假设成立的概率。然后，以p ( dl ) 代表假设h 成立的情况下观察到数据d 的概率。在机器学习中，我们感兴趣的是 p ( hid ) ，即给定训练数据d 时假设h 成立的概率。p qid ) 被称为h 的后验概率， 因为它反映了在看到训练数据d 后h 成立的置信度。注意，后验概率p i d ) 反映 了训练数据d 的影响；相反，先验概率p ) 是独立于d 的。 贝叶斯法则是贝叶斯学习方法的基础，因为它提供了从先验概率p o ) 、p ( d ) 和 p ( d i h ) 计算后验概率p ( hi d ) 的方法，即： p ( h l d ) 一掣铲 式( 2 - 5 ) 在许多学习中，学习器考虑候选假设集合日并在其中寻找给定数据d 时可能 性最大的假设h e h 。这样的具有最大可能性的假设被称为极大后验( m a x i m u ma p o s t e r i o r ，m a p ) 假设。确定m a p 假设的方法( 1 1 ) 是利用贝叶斯公式计算每个 候选假设的后验概率。即当下式成立时，称为m a p 假设嗍： 瓦泔i a r g m a x p ( h d ) 。a r gm a 】【p ( _ d 了ih _ ) p ( h ) 式( 2 6 ) 黜p t d 、 - a r g m a x p ( dij l 妒0 ) 注意，由于p ( d ) 是不依赖于h 的常量，在最后一步推导中去掉了它。 在某些情况下，可假定h 中的每个假设有相同的先验概率，此时可把式( 2 - 6 ) 9 贝叶斯网络在击剑训练决策支持中的研究与应用 进一步简化，只考虑p ol d ) 来寻找极大可能假设。p ( dl ) 常被称为给定h 时数据 d 的似然度( 1 i k e l i h o o d ) ，而使p ( di ) 最大的假设被称为极大似然( m a x i m u m l i k e l i h o o d ，m l ) 假设嗍： l a r g m a x p ( d i h ) 式( 2 7 ) 舟叫 2 1 3 条件独立性 为讨论贝叶斯网络，下面介绍条件独立性的定义。令x 、l ，、z 为3 个离散随 机变量。当给定值z 时x 服从的概率分布独立于y 的值，称x 在给定z 时条件独 立于y ，即：( 眠，y j , 名) p ( z 一毛l y - y l , z 一名) - p ( x 一而i z 气) 简写为 尸僻iy ，z ) - p ( x i z ) 。这一关于条件独立性的定义可推广到变量集合。当下列条 件成立时，称变量集合五，吗在给定变量集合z l ，毛时条件独立于变量集合 x ，”： p ( 墨五l x 匕，z l 乙) - p ( x , 互iz 1 乙) m - - 芰( 2 8 ) 这样，概率乘法规则的一般形式p ，4l 功一p 似l 鸣，矿) p 他i v ) ，满足在4 给定y 时条件独立于鸣，由条件独立性的定义可以得到 m ，4i 功- p ( 4i y ) p 他i 功。 2 1 4 概率推理 概率推理就是由给定的变量信息来计算其它变量的概率信息的过程。给定集合 e 为y 的子集，其变量取值为e 。计算条件概率p 形- ui es e ) ，即给定证据时求 变量彰取值为k 的概率的过程，就是概率推理。 前面提到，对一个很大的随机变量集合进行概率推理计算是难于处理的，利用 变量集合满足一定的约束条件可以简化计算，此处我们利用其条件独立特征。 设集合x 为变量元组 ，对其赋以所希望的值( 墨，屯，) 的联 1 0 贝叶斯网络在击剑训练决策支持中的研究与应用 合概率其一般形式为：p “，屯，毛) 2 p “i 五，而一t ) 。 根据变量间的条件独立性，可以简化为： p 瓴，吒，吒) 。珥p “in ( 墨) ) 其中，给定p 口代) 时，五的分布独立于集合x 一( 五u p a ( x i ) ) 。 2 2 贝叶斯网络模型的知识表达 式( 2 9 ) 贝叶斯网络采用图形化的网络结构直观地表达变量的联合概率分布及其条件 独立性，这对概率推理是非常有用的，因为用贝叶斯网络表示的条件独立性能大 量地简化概率推理计算。 贝叶斯网络表示一组变量的联合概率分布，一般说来，它表示联合概率分布的 方法是指定一组条件独立性假设( 表示为一有向无环图) 和一组局部条件概率集 合，所以贝叶斯网络由两部分组成：网络的拓扑结构s 和变量的联合概率分布日。 s 是一个有向无循环图( d a g ) ，其中的节点与知识领域的随机变量相对应，对每一 个变量需要两种类型的信息： ( 1 ) 有向弧表示“此变量在给定其直接前驱时独立于其非后继 。当从y 到x 存在一条有向的路径，我们称x 是y 的直接前驱( 父节点) ，y 是x 的后继( 后代 节点) 。节点间的有向弧表示变量间的因果关系，即前驱节点是后继节点的原因， 体现了贝叶斯网络定性分析的特征。 ( 2 ) 每一节点都附有与该变量相联系的条件概率分布函数，表示因果关系的强 度，描述了该变量在给定其直接前驱时的概率分布，体现了贝叶斯网络定量分析 的特征。在离散变量的情况下，它表现为给定其父节点状态时该节点取不同值的 条件概率表( c p t ) 。对变量的条件概率表中，根据变量间的条件独立性，对变量 元组 赋以所希望的值( 而，屯，矗) 的联合概率可由下面的条件概 率链公式计算： p 瓴，屯，毛) 2 p “i p 口( 五) ) 式( 2 - 1 0 ) 贝叶斯网络在击剑训练决策支持中的研究与应用 其中砌( x ) 代表了节点x 的父节点集合。 其中，不存在有向弧输入的节点称为根节点，对于根节点需要确定其先验概率 p ( x ) ；存在有向弧输入的节点称为子节点，对于子节点需要确定其在父节点不同 状态下的条件概率p ；如僻i 砌僻) ) ；在子节点中，只存在有向弧输入而不存在 输出的节点称为叶节点。 图2 1 是一个简单的贝叶斯网络，表示了布尔变量s t o r m 、l i g h t n i n g 、 t h u n d e r 、f o r e s t f i r e 、c a m p f i r e 和b u s t o u r g r o u p 上的联合概率分布。该网络 表示了一组条件独立假设。确切的说，每个节点在给定其父节点( 直接前驱) 时， 条件独立于其菲后代节点( 后继) 。每个节点关联一个条件概率表，它指定了该 变量在给定其父节点时的条件分布。表2 - 1 给出了s t o r m 、b u s t o u r g r o u p 和 c a m p f i r e 节点的条件概率表，其中，1 代表y e s ，0 代表n o ；c a m p f i r e 、s t o r m 、 b u s t o u r g r o u p 和f o r e s t f i r e 分别缩写为c ，s ，b ，f 。 图2 - 1 贝叶斯网络结构图 1 2 贝叶斯网络在击剑训练决策支持中的研究与应用 表2 1s t o r m 、b u s t o u r g r o u p 、c a m p f i r e 和f o r e s t f i r e 节点的条件概率表 1o 7 0 o 3 s10 b101 o 10 2 50 4 5o 5 50 7 5 o0 7 5o 5 50 4 50 2 5 10 2 5 o0 7 5 考察节点c a m p f i r e ，从网络结构可以看出：c a m p f i r e 在给定其父节点s t o r m 和b u s t o u r g r o u p 时条件独立于其非后代节点l ig h t n i n g 和t h u n d e r 。这意味 着一旦我们知道了变量s t o r m 和b u s t o u r g r o u p 的值，变量l i g h t n i n g 和 t h u n d e r 不会提供有关c a m p f i r e 的更多的信息。从表2 1 中可以看到与 c a m p f i r e 相关的条件概率表，表达了以下断言： p ( s t o r m y e s ) 一0 7 p ( b u s t o u r g r o u p = y e s ) 一0 2 5 p ( c a m p f i r e = y e sis t o r m - y e s ，b u s t o u r g r o u pay e s ) ；0 2 5 p ( c a m p f i r e = y e sls t o r m = y e s ，b u s t o u r g r o u p n o ) 一0 4 5 p ( c a m p f i r e - y e sls t o r m n o ，b u s t o u r g r o u p y e s ) = 0 5 5 p ( c a m p f i r e y e sls t o r m n o ，b u s t o u r g r o u p - n o ) 。0 7 5 p ( f o r e s t f i r e = y e slc a m p f i r e - y e s ) 一0 8 5 p ( f o r e s t f i r e = y e slc a m p f i r e n o ) 一0 2 注意，该表只提供了其父变量s t o r m 和b u s t o u r g r o u p 下c a m p f i r e 的条件 概率，所有变量的局部条件概率表以及由网络结构所描述的一组条件独立假设， 描述了该网络的整个联合概率分布。 可见，贝叶斯网络是一种将因果知识与概率知识相结合的信息表示框架，从定 1 3 贝叶斯网络在击剑训练决策支持中的研究与应用 性的角度，节点间的有向弧表示变量之间的直接因果关系；从定量的角度，节点 的条件概率表组成了变量的联合概率分布。它通过变量间的条件独立性将联合分 布分解为多个复杂度较低的概率分布，从而降低模型的复杂度，提高推理效率。 贝叶斯网络的一个吸引人的特性在于它提供了一种方便的途径以表示因果知识， 比如l i g h t n i n g 导致t h u n d e r ，即在给定l i g h t n i n g 的值的前提下，t h u n d e r 条件独立于网络中的其他变量。 2 3 贝叶斯网络的学习算法 贝叶斯网络的学习【9 。1 1 】分为结构学习和参数学习。结构学习的目标是寻找对先 验知识和训练样本拟合得最好的网络拓扑结构，即从数据集d 中学习最优结构s ； 参数学习即为每一个网络节点建立条件概率表。 2 3 1 结构学习n 2 j 3 1 贝叶斯网的图形结构可以通过几种方法得到n 幻：( 1 ) 对于变量很少且关系清晰 的领域，可以用直觉因果概念( 先验知识) 构建贝叶斯网。( 2 ) 对于那些领域知识 逻辑性强且易于用逻辑程序表达的领域，将领域知识写成多条规则的知识库，用 规则来对应因果关系，在知识库的基础上利用约束逻辑推理，转化为贝叶斯网络 模型；( 3 ) 对于其他一般性领域，一般只能通过从数据库中对大量的数据集进行学 习，通过一定的算法得到网络的结构。此时，学习是一个不断渐进的过程，使网 络结构逐渐逼近训练数据。 结构学习的目标是学习出一个能最好地解释数据的d a g ，它包括两种情况， 其一、数据集是完整的；其二、数据集是不完整( 有数据丢失) 的，在这种情况 下，除了要进行模型空间搜索外，还要对丢失的数据进行e m 估计。但是，无论 在哪种情况，n 维变量组成的网络结构数目是比以聆为指数的函数还大的数，从这 么大的结构假设空间中搜索出一个好的结构，显然是一个n p h a r d 问题。贝叶斯 网络结构学习就是尽可能结合先验知识，找到和样本数据拟合得最好的网络拓扑 结构。假设有大的数据集d ，令s “表示网络结构的某种假设，从d 中学习最好结构 s 的过程实质就是使p ( s 6ld ) 取最大的过程。根据贝叶斯定理有： 1 4 贝叶斯网络在击剑训练决策支持中的研究与应用 p ( s hid ) _ 警 式( 2 - 1 1 ) 其中，p ( d ) 是一个与结构无关的常数，e ( s ) 是网络结构的先验概率，也是 常量，确定网络结构的后验分布等价于为每个可能的结构计算极大似然p ( dls h ) ， 可见确定网络结构的后验分布等价于为每个可能的结构计算数据的极大可能的假 设( m l ) 。 根据观察贝叶斯网络的视角不同，可以把贝叶斯