（模式识别与智能系统专业论文）一种基于神经网络的专家系统的设计与实现.pdf

摘要 摘要 目前，发展较为成熟的两种人工智能系统是基于符号处理机制的专家系 统和基于非符号处理机制的神经网络，它们的应用，使得计算机具有智能成 为现实，解决了一大批工程实践中的问题。本文将这两种方法相结合，提出 了一种基于神经网络的专家系统( b p n e s ) 的设计及实现方案。 论文研究的核心是作为知识库的人工神经网络a n n ( a r t i f i c i a ln e u r a l n e t w o r k ) 和基于a n n 的推理机制。论文的主要工作有： 1 在对现有的知识表示方法进行深入分析的基础上，研究了一种知识表 达的二元产生式规则方法。知识经过二元标准化后，利于神经网络上的知识 存储和维护。 2 知识的存储选用神经网络中的b p ( b a c k p r 叩a g a t i o n ) 模型。采用了基于 数值优化的l e v e r b e r g m a r q u a r d t ( 简称l m ) 算法，对网络进行训练，完成知 识库的组建。针对神经网络的记忆容量，本文提出建立一个包含多个子网的 系统，每个子网记忆一个对象，多个子网可以并行工作。 3 深入分析了基于神经网络的推理算法的运行机理，讨论了正向推理和 逆向推理算法的特点。基于a n n 的知识库，论文提出了两种不同的推理算法。 正向推理算法从已有的事实出发，与相邻及后继事实匹配，进行推理循环， 推出的新事实自动添加到事实库中；以知识的目的为驱动机制。逆向推理算 法则从根节点顺着推理的二叉树往下搜索，直到找到用户提供的事实节点为 止。 北京工业大学工学硕士学位论文 4 提出系统的总体设计方案，在总体设计的框架下实现了一个基于神经 网络的专家系统的原型系统，以动物识别为背景，对系统进行合理的方案设 计和软件开发，并对所提出的理论方法进行了仿真和实验研究。验证了总体 设计的正确性和可行性。 关键词专家系统，人工神经网络，b p 模型，正向推理，逆向推理 i i a b s t r a c t a b s t r a c t a tp r e s e n t ，t w os y s t e m si na r t i f i c i a l i n t e u i g e n c et h a ti sd e v e l o p e dw e l la r e e x p e ns y s t e m a n da r t i n c i a ln e u r a ln e t w o r k t h ef o r m e ri sb a s e do ns y m b o l p r o c e s s i n gm e c h a n i s ma n d t h el a t t e rb a s e do nc o n n e c t i o nm e c h a n i s m t h e j r a p p l i c a t i o n sn o to n l ym a k e t h ef a c tt h a tc o m p u t e rh a si n t e l l i g e n c eb e c o m e r e a l i t y ， b ms o l v em o s tp r o b l e m si n e n g i n e e r i n g t h i sp a p e rc o m b i n e st h et w om e t h o d s a n d p r o p o s e sad e s i g no fe x p e r ts y s t e mb a s e d o na r t i 矗c i a ln e l l r a ln e t w o r k t h em a i nc o n t e n t so f t l l i sp a p e ra sf o i i o w s 1 a f t e rd e e p l ya n a l y z i n gt h ec u r r e n tk n o w i e d g er e p r e s e n t a t i o nm e t h o d s ，t h e p a p e rs t u d i e sak n o w l e d g er e p r e s e n t a t i o nm e t h o dc a l i e db i n a r yp r o d u c t i o nr u l e t h ep r o d u c t i o nr u l e sa r es t a n d a r d i z e di n t ob i n a r yr u l e s ，e a c hr u l ec o n t a i n i n go n l y t w oa i l t e c e d e n t sa n do n ec o n c l u s i o n a f t e r s t a i l d a r d i z i n g ，k i l o w l e d g e c a nb e e a s i l ys t o r e di nt l ea n n 2 b a c k p r o p a g a t i o nm o d e lo f t h ea n ni su s e di nk n o w l e d g es t j r a g ea n dt h e l e v e r b e r g m a r q u a r d ta l g o r i t h m b a s e do nn u m e r i c a l o p t i m i z a t i o n i su s e di n t r a i n i n gt h en e u r a ln e t w o r k s a st ot h em e m o r yc a p a b i l i t yo f t h en e u r a ln e t w o r k ， t h ep a p e rp r o p o s et os e tu pas y s t e mc o n t a i l l i n gac o u p l eo fs u b n e t s ，w h i l ee a c h n e ts t o “n ga f lo b j e c ta 1 1 ds u b n e t sw o r k i n g p a r 甜l e l 3 t h i sp a p e ra n a l y z e st h ei n f c r e n c em e c h a r i i s mb a s e do nn e u r a ln e t w o r k a n dd i s c u s s e st w oi n f e r e n c em e t h o d sw h i c ha r ef o r w a r da n db a c k w a r di n f e r e n c e t h ef o r w a r di n f e r e n c ea l g o r i t h ms t a r t sf r o me x i s t i n gf a c t sw h i l et h eb a c k w a r d 一i - 北京工业大学工学硕士学位论文 i n 如r e n c es t a n sf r o mr e s u l tf a c t 碡。0 nt h eb a 蠡so ft h er e s e a r c hm e n t i o 硅a b o v e ，t h em a s t 。rp l a 珏越逶s o 锺摊a f 。 d e v e l o p m e n to f t h ep r o t o t y p es y s t e mh a sb e e na c c o m p l i s h e d ，t h ew h o l es y s t e m m a i n l yi n c l u d e st w op a r t s ：s c h e m ed e s i g na n ds o r w a r ed e v e i o p m e n t r e l e v a n t e x p e r 蠢n e n s h a v eb e e 赴 a e e 。m p l i s h e 硅t o 魄e s y s t e mp r o t o t y p e ，i n e l u 琏i 建g k n o w l e d g es t o r a g e a n di n f e r e n c eb a s e do nn e u r a ln e t w o r k t h 。e x p e r i m e n t r e s u l t ss h o wt h a tt h es c h e m ea n da l g o r i t i l i l l so f s y s t e ma r eu s a b l ea n d 。f 话唾i v e k e y w o r d se x p e r ts y s t e m ，a r t i f i c i a ln e u m ln e t w o r k ，b pm o d e l ，f o r w a r d f n f e r e n c e b a c k w a r di n f e r e n c e i v 第l 章绪论 第1 章绪论 1 。 课题研究的背景与意义 随饕科学技术的发熙，人类对自身的思维规律和橱能行为的探索也在不 断地发展。人工智能就怒在这样的探索中发展怒来的一门交叉学科。自从入 ：智髓雩霉为一个学辩瑟璇蔽来，关予它懿磅变途径藏存在鼹穆不嚣熬鼹点。 种观点主张通过运用计算机的符号处理能力来模拟人的逻辑思维，其核心 是知识的符号表示和对用符号表示的知识的处瑗，专家系统是这一观点的典 墅代表。贯一穆艇熹主张对人艨鑫奇结擒及规理野震研究，著通过大鲤模集戒 简单信息处理单元来模拟人脑对信息的处理，人工神缀网络是遂一观点的代 裁。专家系统与人工神经网络的应用，使得计算机具裔智能成为现实，解决 了一大数工程实践孛豹| 嗣题。这嚣秘技术都试灏模仿人类的思维方式寒解决 实际问题。然而，由于这两种技术自身的特点，它们都侧重予人类思维方式 的菜一方面。这样，在碰到缩襁上眈较单纯静阗题鞋重，还可黻院较或麓造解 决。当磁劐结构上比较复杂的| 荫题时、单纯使用一弛技术就显得力不从心了。 就如同人类的煮觉思维与逻辑思维，单纯使用一种思维方式是不能解决一个 较复杂的问鼷的。入类在很多情况下，都是鼹耱愚缝方式势掰，毒辩霹骚 以逻辑思维为变，辘以囊觉思维，有时可能以逡觉思维为主，辅以逻辑思维 进行解释。所以，专家系统与人工神经网络要想获得熙大的_ 陂用，除了依靠 謇赛静举断发震与完善苏舞，燕要蔽藤这嚣释援零匏不繇绩会，这逛楚这嚣 耪技术来来的发展方向。 北京工业大学工学硕士学位论文 1 2 基本理论 1 2 1 专家系统概述 一般认为，专家系统就是知识工程师( 即：构建系统的计算机技术人员) 通过知识获取手段，将领域专家解决特定领域的知识，采用某种知识表示方 法编辑或自动生成某种特定表示形式，存放在知识库中，然后用户通过人机 接口输入信息、数据或命令，运用推理机构控制知识库及整个系统，来得到 问题的求解结果。为完成专家系统的这些功能，一个专家系统至少包括以下 三个组成部分：知识库、推理机和人机界面。其结构如图卜l 所示。 领域专家 用户 知识工程师 人机接口 图卜l 专家系统的基本结构 ( 1 ) 人机接口是专家系统与领域专家或知识工程师及一般用户间的界面， 用于完成输入输出工作。 ( 2 ) 知识库以某种存储结构存储领域专家的知识，包括事实与可行的操作 与规则等。 ( 3 ) 推理机根据数据库的当前内容，从知识库中选择可匹配的规则，并通 过执行规则来修改数据库中的内容，再通过不断地推理导出问题的结论。 一2 一 第l 章绪论 在这种专家系统基本结构中，领域专家与知识工程师直接交互，收集 与整理领域专家的知识，将其转化为系统内部的表现形式并保存到知识库中。 通过这三个组成部分，可以实现专家系统的功能。 1 2 2 专家系统应用及发展 自1 9 6 8 年f e i g e n b a u m 等人成功研制第一个专家系统d e n d r a l 以来，专 家系统技术迅速发展，广泛地应用于医疗诊断、图象处理、石油化工、地质 勘探、金融决策、教学、军事等多种领域中，产生了巨大的社会消息及经济 效益。专家系统是在关于人工智能( a r t i f i c i a li n t e l l i g e n c e ，缩写为a i ) 研究处于低潮时提出来的，它的成功应用使人工智能摆脱了困境，人们也开 始从探索思维规律转向智能行为的研究。 专家系统的发展经历了三个时期： ( 1 ) 初创期：1 9 6 8 年研制成功的d e n d r a l 系统，是一个帮助化学家解释 和设计化学结构式的专家系统，它标志着专家系统的诞生。在此之后，麻省 理工学院( m i t ) 开始研制m a c s y m a 系统，这是一个专为帮助数学家、工程师 们解决复杂微积分运算和数学推导而开发的大型专家系统。同期，还有用于 语音识别的专家系统h e a r s a y 。2 0 世纪7 0 年代初，匹兹堡大学的鲍波尔和内 科医生合作研制的内科病诊断咨询系统i n t e r n i s t 。1 。 ( 2 ) 成熟期：2 0 世纪7 0 年代中期，先后出现了一批卓有成效的专家系统， 其中较具代表性的有m y c i n 、p r o s p e c t o r 、c a s n e t 、a m 、p u f f 等专家系统。 m y c i n 系统能对细菌感染性疾病作出专家水平的诊断和治疗，并且第一次提 出知识库的概念。p r o s p e c t o r 是一个探矿专家系统，c a s n e t 用于青光眼病 一3 北京工业大学工学硕士学位论文 的诊断与治疗。a m 是一个用机器模拟人类归纳推理、抽象概念的专家系统。 p u f f 是一个肺功能测试专家系统，经对多个实例进行验证，成功率达9 3 “。 ( 3 ) 发展期：自2 0 世纪8 0 年代中期以后，人们对专家系统的研究开始转 向了与模糊、神经网络等其他技术相结合的方向。1 。 相比于国外，国内对专家系统的研究起步较晚，始于二十世纪七十年代 末期，但也取得了不错的成绩。我国e s 开发工作最初在医疗领域展开，先后 出现了肝炎诊断治疗专家系统、子宫癌诊断诊断专家系统等。随后很快进入 农业领域，1 9 8 3 年中国科学院合肥智能研究所与安徽农科院合作，开发砂姜 黑土小麦施肥专家系统。八十年代初，我国e s 开发开始渗透到交通运输、地 质勘探、气象预报等领域，如清华大学研制的汽车运输规划调度专家系统， 浙江大学的探矿专家系统等都通过省级或部级评定，受到好评。到八十年代 中期以后，我国专家系统的应用领域迅速扩大，在数学、物理、化学、工程、 机械、经济、教育等领域先后有一批专家系统问世，参加专家系统研制和开 发的单位也迅速增加，出现一种各行业积极从事专家系统研制与开发的热烈 局面。 1 2 3 神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是人工智能 领域中的一个重要分支，它是由大量的、很简单的处理单元( 或称神经元) 广泛地互相连接而形成的复杂网络系统。它反映了人脑智能的许多基本特征 但并不是人脑神经元联系网的真实写照，而只是对其作某种简化、抽象和模 拟。人工神经网络是由各种神经元按定的拓扑结构相互连接而成的，它通 一d 一 第l 章绪论 过对连续的和间断的输入作出状态反馈而完成信息处理工作。 神经网络在模仿生物神经计算方面有一定优势，它具有自学习、自组织、 自适应、联想、模糊推理等方面的能力“1 。 神经网络有许多种类型，主要有前向型、反馈型、随机型和自组织竞争 型等。其中前向型神经网络是数据挖掘中广为应用的一种网络，其原理或算 法也是其他一些网络的基础。比较成熟的有b p 神经网络、径向基函数( r b f ) 神经网络等。 1 2 4 神经网络应用与发展 关于神经网络的研究可以追溯到2 0 世纪4 0 年代。1 9 4 3 年麦克洛奇与皮 兹提出神经网络的数学模型，即卅p 模型，从此开创了神经科学理论研究的 新时代。1 9 4 9 年心理学家赫布( h e b b ) 提出的改变神经元强度的h e b b 规则， 为神经网络学习算法的研究奠定了基础。1 9 5 7 年罗森勃拉特( f r o s e n b l a t t ) 提出了感知器( p e r c e p t r o n ) 模型，把神经网络从纯理论的探讨引向了工程 上的实现，掀起了神经网络研究的第一个高潮。据估计。当时有上百个实验 室及研究机构研制了相应的电子装置以进行声音、文字的识别及学习记忆等。 6 0 年代，神经网络研究曾一度陷入了困境。直到1 9 8 2 年j j h o p f i e l d 提出 了离散的神经网络模型，标志着神经网络的研究高潮又一次到来。随后他又 提出了连续神经网络模型，其中神经元动态方程可以用运算放大器来实现， 并用电子线路来仿真。自2 0 世纪8 0 年代以来，世界上许多国家都掀起了研 究神经网络的热潮。g m d h 网络本来是i v a k h n e n k o ( 1 9 7 1 ) 为预报海洋河流中的 北京工业大学工学硕士学位论文 鱼群提出的模型，又成功的应用于超音速飞机的控制系统( s h r i e r ，1 9 8 7 ) 和电 力系统的负荷预测( s a g a r a 和m u r a t a ，1 9 8 8 ) 。 在国际研究潮流的推动下，我国也于1 9 9 0 年召开了中国神经网络首届学 术大会，对人工神经网络模型、学习算法、神经网络与人工智能等进行了讨 论。 近年来，人们对神经网络的研究和应用开始渗透到许多领域，如机器学 习、专家系统、智能控制、模式识别、计算机视觉、信息处理、智能计算、 联想记忆、编码理论、医学诊断、金融决策、数据挖掘、非线性系统辩识及 非线性系统组合优化等。 1 3 专家系统与神经网络结合 在人工智能的研究与应用领域中，基于非线性数值计算的人工神经网络 的知识表示与推理和基于符号逻辑的知识表示与推理的理论及方法虽然有很 大的不同，但是，它们可以在研究中结合起来，发挥各自的作用。 1 3 1 专家系统与神经网络的区别 从神经网络与专家系统的结构定义、工作原理来看，它们是两种完全不 同的技术，有很大的区别。这主要表现在”“： ( 1 ) 专家系统是对知识进行形式化的符号描述，因而它的知识表示是显 式的、描述性的；而神经网络对知识的表示是隐式的，它用网络的拓扑结构 表示节点间的相互关系，节点问的互联强度表示项与项之间相互影响的强弱。 ( 2 ) 专家系统获取知识的主要途径目前基本上还是机械式学习和讲授式 6 第l 苹绪论 学习，它的知识是在系统外学习得到的，然后以代码的形式输人知识库中； 人工神经网络获取知识的方法则是直接从数值化的实例中学习或将传统人工 智能技术己获得的知识特例转化为神经网络的分布式存储，学习是在系统内 部并可以成为十分活跃的部分。 ( 3 ) 专家系统是具有符号推理机制的计算机程序，使用离散逻辑作为它 的功能基础；而神经网络试图要模仿人脑智力功能，它的实现是基于连续的 数值计算。 ( 4 ) 专家系统使用演绎的方法，把从系统外得到并用代码输入系统的知 识推广，知识表达很明确，是一种可以让专家识别的形式，因而容易证实， 并且，专家系统中知识库与推理机是相互独立的，知识可以渐进地积累，当 某一事实改变时。修改也较容易：而神经网络则运用归纳的方法，在原始数 据上通过学习算法建立内部知识库，但各单个神经元并不存储信息，网络的 知识是编码在整个网络连接权的模式中，知识表达不明确。神经网络一旦学 习完成就能迅速地求解，具有良好的并行性，但是知识的积累是以网络的重 新学习为代价，时间开销较大。 1 3 2 专家系统与神经网络的互补 如果我们不考虑神经网络与专家系统的实现细节，仅看它们的输入与输 出之间的关系，它们有一个共同的起点和目标。一般来讲，二者都包含知识 获取、知识表示、知识推理、知识更新等操作。神经网络是基于输入到输出 的一种直觉性反射，也叫形象思维，适于发挥经验知识的作用，进行浅层次 的经验推理：专家系统是基于知识、规则匹配的逻辑知识的作用，进行深层 一7 一 北京工业大学工学硕士学位论文 次的逻辑推理。专家系统的特色是符号推理，神经网络擅长数值计算。由此 可见，传统专家系统与神经网络科学地加以综合，并加入深层次知识，取长 补短，充分发挥各自的特长，将会提高智能系统的智力水平。因此，它们具 有很大的互补性1 。 应用神经网络技术可以弥补解决传统专家系统在应用中遇到的问题。比 如： ( 1 ) 对于专家系统的“脆弱性”，即知识和经验不全面，遇到没解决过 的问题就无能为力。而利用神经网络的自学习功能，不断丰富知识库内容， 可解决知识更新的问题。 ( 2 ) 对于专家系统“知识获取困难”这一“瓶颈”问题，利用神经网络 的高效性和方便的自学习功能，只需用领域专家解决问题的实例来训练神经 网络，使在同样的输入条件下，神经网络便能获得与专家给出的解答尽可能 接近的输出。 ( 3 ) 推理中的“匹配冲突”，“组合爆炸”及“无穷递归”使传统专家 系统推理速度慢、效率低。这主要是由于专家系统采用串行方式、推理方法 简单和控制策略不灵活。而神经网络的知识推理通过神经元之间的作用实现， 总体上，神经网络的推理是并行的、速度快。 1 3 3 基于神经网络的专家系统的研究现状 自8 0 年代末期，国外就有不少学者进行基于神经网络的专家系统的研究 和开发工作。l 0 0 n e y 1 应用神经网络实现了专家系统的高层决策功能； y e h e t a l “2 1 建立了一个用于调试有限元程序输入数据的神经网络专家系统； 一8 一 第l 章绪论 o s a k a d a e t a l “3 。“1 等建立了一个基于神经网络的专家系统用于冷铸加工工艺 计划编制：b a x t “”开发了用于诊断冠状动脉闭锁症的神经网络专家系统： y o o n “6 1 开发了用于指导学生诊断丘状皮疹的神经网络专家系统d e s k n e t ； b o u n d s “”应用神经网络专家系统诊断腰背疾病；h u d s o n 3 等利用神经网络为 医疗专家系统获取知识。 目前，国内学者对于神经网络与专家系统相结合的研究，在热烈地进行 着，将神经网络与专家系统结合的技术也逐渐地应用在实际中。“”“” 1 4 本文主要工作 本文从如何有效结合专家系统与神经网络技术角度出发，提出了一种基 于神经网络的专家系统设计方案。本文在分析了专家系统与神经网络各自的 特点和应用、传统系统存在的问题和结合的优势以后，拟从以下几个方面来 展开研究，具体地，本文主要工作包括： 1 研究了知识表达的方法。在分析了以往的知识表达方法后，提出了一 种二元产生式规则的知识表达方法。该方法继承了产生式规则的优点，符合 一、 人的常规思考模式，而且在推理的过程中容易保留动作变化崦婆0 此外， 用该方法表达的知识能够很好的存储在神经网络中。 、 2 知识的存储采用神经网络中的b p 网络模型，学习算法采用改进的l m 算法。通过学习，完成知识的获取及存储。 3 基于a n n 的知识库，提出了一种基于a n n 的正向推理算法和逆向推理 算法。这两种方法从不同方向上完成了对知识的推理。 4 提出系统的总体设计方案，在总体设计的框架下实现了一个基于神经 一9 一 北京工业大学工学硕士学位论文 网络的专家系统的原形系统，以动物识别为背景，对系统进行合理的方案设 计和软件开发，并对所提出的理论方法进行了仿真和实验研究。验证了总体 设计的正确性和合理性。 一1 0 第2 章基于神经网络的专家系统总体设计 第2 章基于神经网络的专家系统总体设计 2 1 引言 将神经网络与专家系统相结合，充分利用它们之间的互补性能来提高系 统获取知识的能力和推理问题的能力是本课题中系统的主要设计思想。而所 要解决的关键性问题就是如何获取知识、有效表达知识，以及利用知识进行 有效推理。 知识的获取、表达和组织是建造专家系统知识库最基本的过程，在系统 的开发研制中占有极其重要的地位。 2 2 知识获取方法研究 从知识源获取知识，并在知识系统中充分表示的过程，称为知识获取。 智能系统的知识源是领域专家，领域专家具有的知识往往是模糊的、非模型 的、需要由知识工程师来整理、总结、消化领域专家的知识，得到形式化的 知识表达，如规则形式的表达。 2 2 1 知识获取是建造专家系统的“瓶颈” 知识获取是建造专家系统中的重要组成部分，也被称为是建造专家系统 中的“瓶颈”问题。知识获取的困难在于如何恰当地把握领域专家所使用的 经验、关系和问题求解的方法，即专家的个性化知识。专家的个性知识特点 是：个性知识难以描述和掌握，它完全是领域专家在长期实践中不自觉地形 北京工业大学工学硕士学位论文 成的一种直觉认识，很难用确定的数学模型加以描述和刻画，个性容易被忽 视。领域专家懂得比领域的原理和事实更多的东西，大部分表现为常识性知 识，这类知识大部分被领域专家下意识地使用，而在专家的表述中往往被忽 视，个性知识具有片面性、不完整性。这些特点使得获取知识相当困难，成 为建造专家系统的“瓶颈”。 2 2 2 传统的知识获取方法 2 2 2 1 通过知识工程师获取知识 通过知识工程师获取知识是最直接、最简单的获取知识的方法。知识工 程师通过与领域专家接触对话，并在领域专家的指导下通过对必要的书本知 识和实例知识的提取，然后以一种合适的计算机内部表示方法把专家的经验 知识存入知识库。其过程如图2 一l 所示乜2 1 。 领鼍专家一知识 程师厂j 函磊一 f1 ，禺 图2 1 通过知识工程师获取知识 2 22 2 通过知识编辑器获取知识 领域专家通过与知识编辑器程序进行对话，把经验知识输入到知识库， 系统按照约定获取。其过程如图2 2 所示。知识编辑器是采用交互方式用于 知识输入的工具软件，它是建造专家系统时根据需要编制的。 一1 2 第2 章基于神经网络的专家系统总体设计 领域专家+知识编辑器广 l 粤 o 刊知识库l 图2 2 通过知识编辑器获取知识 2 3 基于神经网络的知识获取 神经网络的知识获取，就是使得在同样输入条件下，神经网络能够获得 与专家给出的解答尽可能相同的输出。从而使该网络具有与专家解决此类领 域问题相似的能力，即神经网络具有了专家知识，其智能行为在生物学上表 现为神经元之间连接权重的变化。“。神经网络知识获取的步骤是： ( 1 ) 初始化领域知识，收集有关领域知识的形式化和测试样本集，或者 将领域知识形式化。 ( 2 ) 初始化神经网络，按转译规则，将形式化知识转化为神经网络所用 的编码形式，确定网络结构，及网络的输入和输出。 ( 3 ) 神经网络学习。 ( 4 ) 神经网络测试。 知识可以形式化具体的实例，神经网络对这类知识容易获取。首先确定 网络的模型及拓扑结构，按照选定的学习算法，对样本进行学习。通过学习 调整神经网络的连接权值，完成知识的自动获取。常用的网络模型是多层前 馈神经网络模型和自组织神经网络模型。 多层前馈神经网络模型是有导师学习的典型网络，样本经过归一化处理 后，组成数值化的样本集。在学习过程中，对整个训练样本集。根据神经网 络的实际输出值和期望输出值之间的误差调整网络的权值，知道误差的均方 1 3 北京工业大学工学硕士学位论文 值小于某一预定的极小值，网络达到稳定。此时，神经网络就从这些数值化 的偶对所表示出来的经验中获得了知识，并将知识分布存储在网络中。网络 的基本算法是： ( 1 ) 将全部权值与结点的闽值预置为一个小的随机值。 ( 2 ) 加载输入矢量x 和输出矢量t 。 ( 3 ) 计算实际输出矢量t 。 ( 4 ) 达到误差精度或循环次数后退出，否则转向步骤( 2 ) 。 自组织神经网络模型属于无导师学习，网络接受来自外界环境的输入 并按照预设的门限值，考察输入与所有存储样本类典型矢量之间的距离，从 而确定这个新的输入是否属于网络己存储的样本类别，对距离超过参考门限 值的所有样本类，选择最为相似的类别作为该样本的代表类，然后把这个样 本按一定的学习规则归并到该类别样本类。若距离都不超过参考门限值，则 在网络输出端设立一个新的样本类节点，并建立一个与该样本类节点相连接 的权值，来存储该类样本，便于参与以后的匹配过程。网络的基本算法为 ( 1 ) 将n 个输入节点到m 个输出节点间的权值置以一个小的随机数，设 置一个较大的邻居范围。 ( 2 ) 加输入矢量。 ( 3 ) 计算输入x 。到每一个输出节点间的距离d j 嘭= ( x f ( f ) 一( f ) ) ( 4 ) 选择具有最小距离d ，的节点j + 作为输出节点。 ( 5 ) 修改j 邻结点之间的权值 一1 4 第2 章基于神经网络的专家系统总体设计 w 。( f + 1 ) = w 。( r ) + 叩( f ) ( z ，o ) 一( f ) ) 善中o i n 一1 ，0 7 7 0 ) ) t h e n ) i f t h e nf ) 因此，我们将产生式中的条件关系规定为“与”关系。 一2 l 一 ( 3 2 一a ) ( 3 2 - b ) 北京工业大学工学硕士学位论文 一个具有多个结论的产生式规则也是可分解的，如产生式： i f t h e n ) ( 3 3 ) 可分解为： i f ) t h e n ( 3 3 一a ) i f ( ) t h e n ( ) ( 3 3 _ b ) 因此，我们规定产生式中的结论部分只有一个结论。 标准的产生式规则形式如下所示( 八表示关系“与”) ： i f a l 八a2 八八a 。t h e n b ( 3 4 ) 通过增加中间节点，一个复杂的规则前提中总能保持只含两个事实节点。 规则式( 4 ) 二元化后可表示为以下形式( 流程如图2 所示) ： i f a l a2 t h e n d ( 3 4 一a ) i f d m 八a 。 t h e nd 一2 2 ( 3 4 _ b ) 第3 章基于a n n 的知识表达和知识库 口1盘2 口l口2 d 图3 1 知识二元化流程( 式3 4 ) 3 2 3 量化模块设计 对于神经网络而言，将逻辑化的自然语言转换成数值的形式，存储在神 经网络中，这就是编码。反之，将数值的形式再转换成用户熟悉的自然语言， 就是解码。基于上述二元产生式规则的知识表达方式，本文提出了一种二进 制编码方案。 设问题空间中知识的论域为u ，u = ( f 。ii = 1 ，2 ，f i l 对产生式规则而言，f 。表示第i 个事实，m 为事实的个数。 二元化产生式规则后，集合u 中的事实发生了变化， u = f f jj j = l ，2 ，m ，m + 1 ，n ) ，m + l ，n 为增加的事实个数。 设事实的码长为k ，则k = i l o g ，n ，i l o g 。n 的含义是取大于或等于l o g ：n 的最小整数。 这样，规则经过量化后，前提和结论都变为二进制码串形式。 前提：0o 1o1 l 、1 - _ 、_ - 2 “个 结论：oo 0ol 、- 。_ 。- v _ _ 。_ - 。， 2 个 ， 一2 3 一 矽 弋 北京工业大学工学硕士学位论文 量化后，知识经过学习训练可以存储在神经网络中。 要完善一个系统，因此要考虑知识扩充的问题。而知识的扩充会给系统 带来一些新的问题，如知识的重新编码及训练，神经网络的具体结构发生变 化。针对这些问题，本文对编码方案提出改进：确定编码空间，留出一定的 码空间来给新增加的知识进行编码。如系统知识的数量不多于2 ”，则单个事 实的编码为l o 位二进制数，不足l o 位的码前面补零，这样，有新增知识时， 按照顺序编码的方式将码位往前移即可。 3 3 知识库模块设计 331 b p 网络结构及工作原理 前向多层神经网络的反向传播( b a c k p r o p a g a t i o n ，缩写为b p ) 学习理 论最早由韦伯斯( w e b o s ) 于1 9 7 4 年提出来的。b p 网络实际上是一个多层感 知器，因采用误差反向往回传播算法进行训练，因而也被称为b p 网络，它是 最主要的a n n 模型之一。 b p 网络是一单向传播的多层前向网络，网络除输入输出节点外，有一层 或多层的隐含节点，同层节点之间没有耦合。输入信号从输入节点，依次传 过各隐含节点，然后再传到输出节点，每一层节点的输出只影响到下一层节 点的输出。节点的激活函数必须是可微的、非减的，通常取为s 型函数。 一个典型的三层前馈b p 网络的拓扑结构图如图3 一l 所示。网络通过误差 反向传播算法自动学习内部表达( 即各节点之间的连接权值及隐节点与输出 节点的阈值) 。 一2 4 第3 章基于a n n 的知识表达和知识库 攀 输 层臆层糟m 层 图3 2 三层b p 网络结构 所谓误差反向传播，即训练过程是按照误差由输出层节点经隐含层节点 向输入节点反向传播。整个训练过程为：首先网络当前的内部表达，对样本 输入模式做前向计算，然后比较网络的实际输出与期望输出之间的误差，若 误差小于某规定值，则训练结束：否则将误差信号按原有的通路反向传播， 逐层调节权值和阈值。如此前向和反向传播反复循环，直到误差达到精度要 求。 网络一旦训练结束，连接权值和阈值便不再变化，此时若给网络一新的 输入，网络则按照前向计算得到相应输出。 b p 网络可看成是一个输入到输出的高度非线性映射，即f ：r “一r - ， f ( x ) = y 。对于样本集合：输入x t ( r ，) ，我们可以认为存在一个映射g 使 g ( 工。) = y ，i 2 1 ，2 ，“ 现要求一映射f ，使得在某种意义下( 通常是最小二乘意义下) ，f 是g 的最佳逼近。神经网络通过对简单的非线性函数进行多次复合，可近似复杂 函数。 一2 5 北京工业大学工学硕士学位论文 ! ! ! ! e ! ! = ! ! ! ! ! ! ! ! ! e ! ! e ! ! ! ! ! ! e ! 1 3 3 2 b p 网络学习算法及数学原理 3 32 1 b p 网络学习算法 典型的三层前馈b p 网络模型如图3 一l 所示。设输入层为m 个节点，输 出层有n 个节点，隐含层节点数为u 。隐含层中节点的输出函数为 ( 彬，q + ) ( r = l 输出层中节点的输出函数为 = 厂( i + q ) ( j = 1 ( 3 5 ) ( 3 6 ) 在上式中，( ) 采用s 型函数，即，( x ) = ( i + p 。) ，彬，为输入层口。到隐 含层6 ，间的连接权，为隐含层6 ，到输出c ，的连接权，一为隐含层的阈值， q 为输出层阈值。神经网络在学习时把输出层节点的误差逐层逆向传播以分 给连接节点，从而可计算出各连接点的参考误差，并根据误差对各连接权进 行调整，使网络达到适合要求的输出，实现训练模式对 爿斗c ( k = 1 ，2 ，p ) 的映射，其中爿= ( 口：“，口5 ”，口) ， c = ( c c ? ，c ) ，口r ，c ：r ( r 为实数域) 。 误差反向传播算法步骤如下： 1 给出输入层单元到隐含层单元的连接权彬，隐含层到输出层的连接权 ，隐含层的阈值t ，为输出层节点激活值q 随机赋一个在(