（电路与系统专业论文）基于net和神经网络的知识获取研究.pdf

太原理工大学硕士研究生学位论文 基于n e t 和神经网络的知识获取研究 摘要 近年来，随着科学技术的发展，特别是人工智能的发展 已影响着各行各业。专家系统在人工智能的重要分支，它的 发展是本世纪科技发展的重点之一。本文从专家系统的发展 谈起，分析了目前存在于专家系统中的主要问题，并且针对 知识获取方法这一瓶颈问题进行了深入的研究和分析。 神经网络适宜于处理具有残缺结果和含有错误成分的模 式，能够在信源信息含糊、不确定、不完整，存在矛盾及假 相等复杂环境中进行处理。提出了运用神经网络的特点完善 知识获取功能的设想。关于神经网络应用于专家系统主要是 考虑专家系统可以解决分类问题。神经网络所具有的自学习 能力使得传统专家系统技术应用最为困难的知识获取工作转 换为网络的变结构调节过程，从而大大方便了知识库中知识 的记忆和提取。本文从理论上分析了神经网络在改善专家系 统中的知识获取方法的优点，用m a t l a b 仿真了人工神经网络 中b p 网络，并将研究的结果应用于“小麦专家系统中的品种 1 太原理工大学硕士研究生学位论文 e x i s t j n ga n t i n o r y ；o rf a k eo rs o m eo t h e rc o m p l e x c o n d i t i o n i nt h e p a p e r ，t h ea s s u m eo fp e r f e c t i n gk n o w l e d g ea c q u i s i t i o nw i t ht h e p o i n t so fn e t w o r kh a v eb e e nb r o u g h tf o 州a r d t h em a i nr e a s o n a b o u tt h en e h r o r ka p p l y i n gi ne x p e r ts y s t e mi st h a ti tc a ns o l v e t h ec l a s s i f i c a t i o n t h es e l f - s t u d yo ft b en e 研o r km a k et h em o s d i f f i c u l tp o i n t st h ek n o w l e d g ea c q u i s i t i o nb e c o m i n gt h ea c l j u s t i n g o ft h e行a m eo ft h en e t ，a n dt h e k n o w l e d g em e m o r i z i n ga n d d i s t i l l i n gb e c o m i n gm o r ee a sy i i n t h ep a p e r ，t h ev i n u eo ft h e n e t w o r ku s e di n k n o w l e d g ea c q u i s i t i o n b a sb e e n a n a l y s e s e d s i m u l a t i o nf o rt h eb pn e t w o r kw i t hm a t l a ba n dt h er e s u l t su s e d t ot h em o d e lo fk i n ds e l e c t i o ni nw h e a te x p e r ts y s t e m t b em a i n p 0 i n t sa r e ： a f t e rs t u d y i n gt h ed e v e l o p m e n ta n dt h ed i r e c t i o no fe x p e r t s y s t e m ，d e 矗n i t u d et h ev i r t u ea n dt h ed i s a d v a n t a g eo ft h es y s t e m s o m em e t h o d so ft e c h n o l o g yf o rt h ek n o w l e d g e a c q u i s i t i o nb e e n a d v a n c e d i no r d e rt oi m p r o v et h em e t h o do f k i n ds e l e c t i o nm o d e ii n w h e a te x p e r ts y s t e m ，c b o o s i n gt h en e t w o r k ，t r y i n gs o m ek i n d so f n e t w o r k ：h o p f i e l dn e t ，s e l f o r g a n i z a t i o nn e t ，b pn e t w o r ka n d e c t + 4 矿7 8 83 12 本课题由国家8 6 3 计划“基于构 件技术的专家系统平台研究与应用” ( 编号2 0 0 4 一a a l 15 2 7 0 ) 资助 独创。陀中明 本人申明所呈交的论文是我个人存导师指导 证蹩霎霪m 工璧冀隔箸荔囊弼嚣恫麒薹蓠薹夔蓄匿；薹| 矧固鐾耀。藜黜鬟 刈雾菊葡掣篓蠹薹溜篓甭羹菲苎霪囊薹i 篓蓁耋蓁薹奏掣；蓁奏裂雾訇 薹薹霎垒h 震带耄管羹耄喜堕餮掣落地0 兰蓁篓雨霎孽雾簿囊豢“蕊嫠霍 囊； 薹垂塾篓 成期 ( 1 9 5 6 1 9 7 0 年) 、发展期( 19 7 0 年至今) 等三个阶段。在这段漫长的历史 关于论文使用授权的说明 本人完全了解太原理工大学有关保留和使用学位论文的埘定，即：学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文 的全部或部分内容，可以允许采用影印、压缩或其它复制手段保存论文( 保 衔的沦文n ! 解密后遵守此规定) 。 水人苍名： 鱼查盘 日期： 兰坚f _ 3卫一日 导师签名： 太原理：人学硕+ 研究生。产位论文 努力，7 0 年代后期，知识工程、专家系统j 丁_ 始广泛应用，出现了一些 专家系统开发工具；8 0 年代出现了多学科综合型专家系统即知识型系 统。特别是日本第五代计算机计划的提出和人工智能的研究同益取得广 泛的应用。知识工程象一颗璀璨的明珠，也同益闪耀光芒。因此说知识 工程是人工智能发展的产物。知识工程系统是人工智能的一个重要分 支。什么是知识工程至今也没有严格的定义，但人们普遍认为，知识工 程是以知识为处理对象，借用工程化的思想，对如何用人工智能的原理、 方法、技术为设计、构造和维护知识型系统的一门学科，是人工智能的 一个应用分支。知识工程的目的是在研究知识的基础上，开发智能系统。 因此，知识的获取、知识的表示、知识的运用便构成知识工程的三大要 素。知识工程的核，巴呗u 是专家系统。 专家系统( e x p e r ts y s t e m l 是用基于知识的程序设计方法建立起柬的 计算机系统，它综合集成了某个特殊领域的专家的知识和经验，能像人 类专家那样运用这些知识，通过推理模拟人类专家做出决定的过程，来 解决人类专家才能解决的复杂问题。专家系统由知识库、推理机、知识 获取、解释界面等四部分组成，知识库和推理机是它的核心。建立知识 库的关键是如何表示知识，推理机用于确定不精确推理的方法，解释界 面是用户的一个窗口，能够处理各种咨询问题。 在2 0 世纪6 0 年代中期，美国斯坦福大学的d e n d r a l 计划以及 麻省理工学院的m a c s y m a 计划i 丌始研制首批专家系统，一直持续到 7 0 年代中期，较为完善地提出了专家系统的含义。而f e i g e n b a u m 教授 在7 0 年代提出应用概念，他认为，“专家系统是一个知识工程软件，是 恰当运用专家知识的获取、表达和推理过程的构成和解释，对那些需要 专家知识才能解决的应用难题提供求解的手段。”其实专家系统和知识 工程应该是没有严格界限的，这一点从f c i g e n b a u m 教授的理解可阻看 2 太原理一i ：大学硕十研究生学位论文 出。专家系统是以知识为基础，通过智能软件而建立的系统? 专家系统 是人工智能的一个分支，它的不精确堆理、知识库和推理机分离以及自 我学习等特性使它能很好地处理一些非确定型或非结构化的复杂问题。 自5 0 年代斯坦福大学开发用于确定未知化合物分子结构晌专家系统 d e n d r a l 和专家系统m y c i n 以来，专家系统就一直是人 智能应用 研究的最活跃和最广泛的课题之一，是目前人工智能应用方面最成熟的 一个领域。随着计算机的应用范围的不断扩大及日益普及，专家系统被 广泛地应用于医疗、工业、农业、教育等众多的学科与领域。【3 】【4 l 专家系统是针对传统的人工智能问题中智能程序设计的一个非常 成功的近似解决方法。专家系统的早期先导者之一，斯坦福大学的 e d w a r d f e i g e n b a u m 教授，把专家系统定义为“一种智能的计算机程序， 它运用知识和推理来解决只有专家才能解决的复杂问题”，也就是说， 专家系统是种模拟专家决策能力的计算机系统。专家系统的优点主要 体现在一下几个方面：归】 适应性强。专家系统是专家知识的集成体，其中的知识是可复 制可重用的，在任何计算机硬件上都可利用。 低成本。提供给用户的专家知识成本非常低。 低危险性。在对人有害的环境中，专家系统代替人工作。 持久性。与人类相比，专家知识是持久的，不存在退化、死亡 等人类专家会有的必然结果。专家系统的知识可以无限持续。 复合专家知识。把多个人类专家的知识复合起来，充分利用他 们的知识，取长补短，可以构成复合专家知识，得到比一个单 独专家水平高的知识。 可靠性强。在专家系统的支持下，用户能更有信心做出正确的 决策，毕竟专家系统集中了多个专家的意见。 3 太原理： 人学硕士研究生学何论文 禾等，1 9 9 6 ) ，基于规则和图形的苹果、梨病虫害诊断及防治专家系统 ( 王爱茹等，1 9 9 9 ) ，农业资源高效利用技术集成专家系统的设计( 李 道亮，1 9 9 9 ) ，生态农业投资项目外部效益评估的专家系统( 范大路 1 9 9 9 ) ，基于作物生长特征的作物栽培专家系统( 柴毅，1 9 9 9 ) ，基于 生长模型的小麦管理专家系统( 曹卫星等，1 9 9 9 ) 等。随后得到国家攻 关、“八六三”计划、国家自然科学基金和部省科技攻关计划等资助。 本课题组采用了( p a i d 专家系统开发平台) 。 困内外在专家系统方面的应用研究主要集中在实际生产中的基础 产业领域( 农业生产，生产管理，水利工程) ，针对专家系统的推理准 确度、知识获取的方法、系统应用平台等方面进行了深入的研究并取得 了大量成果。 1 1 3 专家系统存在的问题 在我们看到专家系统被广泛应用到现实生活的各个领域的时候，一 方面我们应该看到它积极推动社会发展的积极作用，同时应该看到它在 某些方面的缺陷。专家系统中存在着以下一些问题：1 7 】【8 l 【9 1 知识获取瓶颈：传统专家系统在获取知识主要依靠移植，由知识工 程师将领域专家的知识与经验基于i f t h e n 规则建立起来并移植 到计算机中，它是间接的，费时且效率低。为保证系统中决策的正 确性，一方面必须建立大量的规则，另一方面又需要知识工程师必 须对工程问题有某种程度的了解，对于复杂的工程问题来说，知识 工程师和领域专家如何协调好自己的工作，增强沟通，将是非常关 键的。 知识的脆弱性：知识的应用是针对某一领域或某一问题，因而对边 缘性问题求解能力差，对其他领域，则是一无所知，存在所谓的知 5 太原理：l ：大学硕+ 影f 究生学位论文 识“窄台阶”问题，而且只有表面、浅层、经验性的知谚 ，缺少本 质、深层、理性的知识。 缺乏联想功能，推理能力弱，实用性差：由干推理方法简单，控制 策略不灵活，所以在问题求解时容易出现“匹配冲突”、“组合爆炸” 及“无穷递推”等现象，推理速度慢、效率低。一些对人类极简单 的问题，传统专家系统推理起来却很难。为进行推理，专家系统模 型对于复杂的工程问题必须建立复杂的模型，系统推理过程的复杂 性显然不利子系统的实时性功能。 智能水平低，没有创造性知识：传统专家系统的知识是一一对应的， 没有冗余性，因而失去了灵活性。传统专家系统一般还不具有自学 习的能力和联想记忆的功能，知识库中知识的增加、修改必须借助 于知识工程师，这无法适应系统发展所带来的知训的不断更新。不 能在运行过程中自我完善、发展与创新知识，不能通过联想记忆、 识别和类比等方式进行推理，系统的功能取决于设计者的知识和能 力。 对于以上所存在的问题，成为制约专家系统继续发展的重要障碍。 特别是在知识获取方面的缺陷已经成为专家系统中最为核心的缺 陷。以小麦专家系统为例，在目前，使用p a i d 开发的小麦专家系统中， 所有的规则都是通过小麦专家传授给知识工程师，再由知识工程师操作 电脑通过简单映射来获取一成不变的规则。 在农业领域中有很多的经验、规则是比较稳定的，不会经常变动的。 对于这样的规则来说使用p a i d 来进行知识获取没有太大的影响。但是， 还有许多规则，特别是农业科技人员研究的新技术成果、新品种每天都 在不断的更新。这些新成果和新品种都是农业生产所急需的，需要通过 领域的农业专家传递给农民。农业专家系统就是一个农业专家指导农民 6 太坞i 理。i ：人学硕十研究生学位论文 ：匕产的平台，专家系统r ，这些新知识都是以新规则的方式表现。这时候 采用传统的知识获取方法就不能满足这种经常更新知识的需求了。我们 需要选取一种更加适合的知识获取方法。 1 2 选题背景 习前，采用的p a i d 开发专家系统采用的知识获取方法是基础豹知 识工程师直接面向领域专家，通过简单的映射来产生规则。这种知识获 取方法已经不能适应高速发展的农业科学技术了，然而农业生产对于新 技术的需求更加迫切。为了解决这种矛盾，我们需要研究种可以适应 农业科技高速发展的知识获取方法。要使用新的技术来进行知识获取就 必须了解专家系统的知识获取方法。专家系统是人工智能的一个应用， 专家系统的研究要从人工智能说起。 人工智能( a j r t i f i c i a l1 1 1 t e l l i g e n c e ) 是研究解释和模拟人类智能、智能 行为及其规律的一门学科。其主要任务是建立智能信息处理理论，进而 设计可以展现某些近似于人类智能行为的计算系统。舢作为计算机科 学的一个重要分支和计算机应用的一个广阔的新领域，它同原子能技 术，空问技术一起被称为2 0 世纪三大尖端科技。 广义地讲，人工智能是关于人造物的智能行为，而智能行为包括知 觉、推理、学习、交流和在复杂环境中的行为。从狭义上讲，人工智能 是指人工智能研究的一些核心内容，包括搜索技术、推理技术、知识表 示、机器学习与人工智能语言等方面。对于人工智能的研究，当前有两 种主要的研究方法：第一类是符号处理方法。它是基于n e w e 儿和s j m o n 的物理符号系统的假说。尽管不是所有人都赞同这一假说，但几乎大多 数被称为“经典的人工智能”( 即哲学家j o h nh a u g e l a n d 所谓的“出色 7 太原理一l 人学硕十研究7 l 学位论文 集中说明构成智能机器设计基础的重要概念和思想。山于知识是指经过 加工改造的有用信息，是命题、规则的集合，是人们对现实世界信息内 在联系的认识，因此，知识工程可以看成是人工智能在知识信息处理方 面的发展，研究如何由计算机表示知识，进行问题的自动求解。知识工 程的研究使人工智能的研究从理论转向应用，从基于推理的模型转向基 于知识的模型，包括了整个知识信息处理的研究。知识工程已经成为一 门边缘学科。知识工程研究的智能系统，将构成知识工业的骨干，其中 包括： 专家系统：模仿专家的思维活动、进行推理和判断、能象专家那样 求解专门问题的计算机程序系统。 知识库系统：把人类具有的知识以定形式表示存入计算机，按照 需要，进行知识的管理和问题求解的系统，以提供知识的共享。 决策支持系统：利用知识和模型，通过计算机分析或模拟，潍助解 决多样化和不确定性问题以进行辅助决策的系统。 自然语言理解：它是计算机能够了解人们日常使用的语言( 包括口语 和书面语) ，改善人机通信的条件。 智能机器人：具有感觉、识别和某些决策功能的机器人，也叫智能 自动机。智能计算机i 在知识库支持下，能识别图象、声音、理解 自然语言、具有推理和学习功能的计算机系统。 利用知识解决问题就是知识的利用。心理学家纽威尔等人在总结人 类大量思维活动经验的基础上，通过心理学实验发现，人在解决各种不 同问题时，存在某些共同的规律。概括起来，就是“解题计划”、“组织 解题”、“方法目的分析”三个阶段。要让机器求解问题，必须建立 知识库，将有关问题域的知识以一定形式存贮在知识库中，通过推理得 出结论。其根本目的就是在研究知识的基础上，开发智能系统，补充和 9 太原理工大学硕士研究生学位论文 扩大人瞄i 的功能，开创人机共同思考的时代。人：r 智能作为2 1 世 纪的尖端科技已经得到了充分的重视和大量的研究，专家系统在本世纪 也必将更深入的研究和广泛的应用。 1 2 1 技术路线和技术可行- 陛 从专家系统知识获取方法的应用和研究来看主要的技术主要集中 在以下几个方面： 粗集理论( r o u 曲s e tt h e o r y )粗集的一些理论和方法可用来 从数据库中发现分类规则。其基本思想是，将数据库中的属性 分为条件属性和结论属性，对数据库中的元组根据各个属性不 同的属性值分成相应的子集，然后对条件属性划分的子集与结 论属性划分的子集之削的上下近似关系生成判定规则。粗集理 论是当前和以后k d d 研究的主要方向。 模糊集( f u z z ys e t ) 理论需要依赖先验知i j 对不确定性的定量 描述，如统计分析中的先验概率、模糊集理论中的模糊度等等。 信息融合信息融合是针对一个系统使用多种传感器这一特 定问题而展开的一种关于信息处理的技术。近些年来，多传感 器信息融合技术在航天、航空、航海、陆地导航、军事、多目 标跟踪、工业机器人和遥测遥感等领域有着广泛的应用前景， 对于促进组合系统向智能化、自主化发展有很重要的作用。多 传感器信息融合可以提高具有多个模型各异的传感器的探测 系统性能，特别是传感器信息融合能够减少全体和单个传感器 探测信息的损失。 人工神经网络人工神经网络本质上是一个连续分布式数值 计算过程。对于信息融合目标识别系统来说，它较适合于特征 10 太原理l ：人学碗 j 研究生学位论文 层融合处理。因为多源特扯所构成的特征空问一股况来是高维 的，常规的特征分类识别技术往往难以进行有效的整和处理， 而人工神经网络对于解决这类问题具有巨大的潜力。 以上几种方法各有优劣，例如粗集理论和模糊集理论都是针对不确 定性问题提出的，它们既相互独立，又相互补充。粗集方法与传统的统 计及模糊集方法不同的是：后者需要依赖先验知识对不确定性的定量描 述，如统计分析中的先验概率、模糊集理论中的模糊度等等：而前者只 依赖数据内部的知识，用数据之问的近似来表示知识的不确定性。用粗 集来处理不确定性问题的最大优点在于，它不需要关于数掘的预先或附 加的信息，而且容易掌握和使用。粗集中不精确的要领包含下近似和上 近似两个定义，前者指的是所有对象都一定被包含，后者指的是所有甜 蒙可能被包含。 专家系统把其工作领域限定在特定的专门领域，避免了全智能通用 人工智能系统所固有的矛盾，从而已经在不少专门领域显示了相当出色 的工作能力，使基于功能主义软件方法的人工智能理论走处了积木游戏 世界步入了现实世界。然而专家系统的发展遇到了知识获取的“瓶颈” 等困难以及现代数字计算机固有的缺陷，使其支持能力受到极大的限制 而受至q 强有力的挑战，因而亟待开拓新的途径和方法。最近发展的神经 网络理论，为人工智能和专家系统的发展开辟了崭新的途径。基于神经 网络的专家系统在知识获取、并行推理、适应性学习、联想推理、容错 能力等方面显示了明显的优越性，而这些方面恰好是传统专家系统的主 要弱点。正因为如此，考虑使用神经网络的方法来解决专家系统中知识 获取这一“瓶颈”。 通过对上述技术的学习和研究，采用神经网络技术构建一种推理更 加准确、客观，效率更高的专家系统知识获取方法模型。在前人研究的 太原理l ：大学硕十研究生学俺论- 上 圈卜2 理想的专幕系统知识获取方法 f i g1 - 2p e 血c tw a yo f 踟o w i e d g ea c q u j s i t i o n 通过对国内外专家系统知识的学习和了解数据挖掘是一种自动知 识发现技术。目前数据挖掘主要有：粗集理论、信息融合、人工神经网 络、遗传算法、模糊逻辑和可视化技术等几种方法。以上方法各有千秋， 其中，人工神经网络( a n n ) 的发展为专家系统的自动知识获取丌辟了 崭新的道路。我们可以利用a n n 系统的学习功能、联想i 己忆功能、分 布式并行信息处理功能解决e s 知识获取中的瓶颈问题。神经网络信息 处理的基本特性主要有以下几点：【1 7 j 1 、a n n 就有高度的并行性，a n n 是由许多相同的简单处理单元 并联组合而成，虽然每个单元的功能简单，但大量简单处理单元的并行 活动，使其对信息的处理能力与效果惊人。 2 、高度的非线性全局作用，a n n 中各个神经元接受大量其它神经 元的输入，并通过并行网络产生输出，影响其它神经元。网络之问的这 种互相制约和影响，实现了从输入状态到输出状态空间的非线性映射。 3 、良好的容错性与联想记忆功能，a n n 通过自身的网络结构能够 实现对信息的记忆。而所记忆的信息存储在神经元之问的权值中。从单 个权值中看不出所存储的信息内容，因而使分布式存储方式。这使得网 络就有良好的容错性。 4 、十分强的自适应、自学习功能，a n n 可以通过训练和学习来获 得网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能 力。 1 3 太原理j ：大学硕士研究生学位论文 1 2 3 论文各章节安排 整个i 仑文以建立一个基于n e t 的小麦品种选择仿真决策系统为目 标，以寻找适当的算法和系统开发为主线，对建立系统中存在的问题： 神经网络算法的选择；算法中参数的确定、调整；系统的设计等问题进 行了研究和解决。 第一章介绍了专家系统的发展，明确了专家系统具有的优点及缺 点。在深入分析研究国内外在专家系统领域的文献资料的基础上，明确 了论文的研究方向。提出了解决小麦专家系统中知识获取方法问题的技 术路线。 第二章主要对人工神经网络进行了介绍，并针对解决小麦专家系统 中小麦品种选择的知识获取问题选取了三种典型的人工神经网络 ( h o 口f i e l d 网络，自组织网络，b p 网络) 进行了分析研究和仿真实验。 决定采用改进型的b p 网络为基础设计系统。对基本b p 网络和改进后 的b p 网络进行了m a t l a b 仿真对比，证明改进型b p 网络在解决知识获 取问题方面有较大的优势。 第三章介绍了有利于技术推广的n e t 框架和与n e t 平台同时推出 的新一代的编程语言黜。介绍了专家系统中数据库技术，将面向对象 的数据库技术同传统的数据库技术进行了比较，论证了面向对象数据库 技术的优势。证明了采用n e t 开发环境编写专家系统模块的必要性。 采用n e t 开发环境编写专家系统将为其在新一代应用软件普及、推广 方面打下坚实基础，使专家系统保持技术的新进性，在下一带应用软件 中能够处于优势地位，得到更广泛的应用和进一步的发展。 第四章在v i s u a ls t u d i o n e t 2 0 0 3 环境下进行了小麦品种选择仿真决 策系统的算法实现和训练决策的仿真。介绍了系统的主要界面和主要功 能按钮，通过一个系统推理实例分析了系统运行的效果，对比h o p f i e l d 14 太原理l 大学硕卜研究生学位论文 第二章人工神经网络 2 1 人工神经网络介绍 现代的汁算机具有很强的计算和信息处理能力，但是它解决像模式 识别、感知、平叛和决策等复杂问题的能力却远不如人，尤其是它完全 按照事先编制好的程序执行，缺乏向环境学习适应环境的能力。这就促 使人们开始研究人工神经网络( t m c i a ln e u r a ln e l w o r k ) 系统。 人工神经网络是对人类大脑系统的一个阶段特性的一种描述。简单 的讲，神经网络由一系列的神经元及其相应的联接构成，具有联好的数 学描述，是一个数学模型，可以用计算机程序来模拟，是人工智能研究 的一种方法。【1 8 l 神经网络是一个具有高度非线性的超大规模连续时间的 动力系统，其主要特征为连续时间非线性动力学、网络的全局作用、大 规模并行分布式处理及学习联想能力。同时它又具有一般非线性动力系 统的共性，即不可预测性、吸引性、非平衡性、不可逆性、耗散性、高 难性、广泛联结性与自适应性等。因此，神经网络实际上是一个超大规 模非线性连续时间白适应信息处理系统。【1 9 神经网络技术自其问世以 来，经过多年的发展，业已在众多领域发挥了重要作用。迄今为止，神 经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计 算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续 语音识别、声纳信号处理、知识处理、传感技术与机器人、生物医学工 程等方面取得了令人鼓舞的进展。 神经网络按照连接方式不同可以分为：前向网络、反馈网络、自组 织神经网络、随机神经网络目前，流行的神经网络有很多中，选择了比 较适于分类问题的h o p f i e l d 网络、k d h o n e n 网络和b p 网络 x 太原理1 人学硕十研究生学位论文 是很难得到满足的，如网络的对称性等等。这样就给h o p f i e l d 网络的联 想记忆带来了一些缺陷和使用上的限制。h o p f i e i d 网络的缺陷主要有： 1 、在约束条件不满足的情况下网络输入模式回想出的记忆模式， 有时不是与其汉明距离最短的i 己忆模式。 2 、有时网络回想出的记忆模式不是记忆模式中任何一种，这样会 落入“伪状态”。 3 、网络的记忆模式对应着网络能量函数的各个极小值，即能量函 数曲线的各个“谷底”。而这些“谷底”有深有浅，“谷面”大小有宽有 窄，“山谷”的“坡度”有大有小。因此“谷底”深“谷面”宽、坡度 大的比“谷底”浅、“谷面”窄、“坡度”小的一些“谷底”有更多的被 回想出来的机会，即前者比后者对应更多的初始状态。 小麦专家系统中，品种选择模块的知识获取问题不是一个神经元之 间相互结合强度对称的网络能够适合解决的。然而采用h o p f i e i d 网络的 约束条件之一就是要求神经元之间的结合强度必须要对称。当我们采用 h o p f i e l d 网络来解决品种选择模块中的知识获取问题时，网络出现了明 显的不稳定性。对于具有联想记忆功能神经网络，系统的不稳定性就证 明了网络学习的失败。 2 3 自组织神经网络 自组织神经网络是一种无教师学习的神经网络模型，这类模型大都 采用竞争学习机制。竞争学习是指同一神经元层次上的各个神经相互之 间进行竞争，竞争胜利的神经元修改与其相连的连接权值。 竞争机制可以用来解决分类问题。自组织神经网络无需提供教师信 号，它可以对外界未知环境进行学习，并对自身的网络结构进行适当调 2 0 太原理工- 人学硕 ：研究生1 位论文 整，这就是所谓的“自组织”。 自组织特征映射模型( s o m ) 也称为k o h o n e n 网络，是由芬兰学 者t e u v ok o h o n e n 于1 9 8 1 年提出的。网络是一个由全互连的神经元阵 列形成的无教师自组织自学习网络，网络模型由四部分组成： 1 、处理单元阵列：接收事件的输入，并且形成对这些信号的“判 断函数”。 2 、比较选择机制：比较“判别函数”并选择一个具有最大函数输 出值的处理单元。 3 、局部互连作用：同时激励被选择的处理单元及其最邻近的处理 单元。 4 、自适应过程：修正被激励的处理单元的参数，以增加其相应于 特定输入“判别函数”的输出值。 s o m 网络的最大局限性是，当学习模式较少时，网络的分类效果 取决于输入模式的先后次序；并且网络连接权向量的初始状态对网络收 敛性有很大的影响。当提供给网络学习符合均匀分布的学习模式数量较 少时，网络连接权向量的几何点有可能学习失败。因为当输入模式落在 交叉区域附近时，网络将无法对输入模式进行正确分类。s o m 网络不 具有生物神经网络的稳定性，即对新学习模式的记忆将影响原有的模式 记忆。 在小麦专家系统中，知识获取模块为了得到更加准确的规则就需要 有大量的训练数据也就是需要有大量的学习数据，但是这并不是s o m 网络需要的学习模式。相反这些学习数据很多会有相同的目标结果，这 些目标结果才是s o m 网络中所谓的学习模式。这种学习模式较少的情 况下网络很容易会受到输入学习模式先后次序的影响。正是由于s o m 网络的这种局限性，我们在具体的小麦品种选择模块的知识获取部分不 2 l 太原理 大学硕十研究生学位论文 采用s o m 网络。 2 4b p 网络 目前，在人工神经网络的实际应用中，绝大部分的神经网络模型采 用b p 网络和它的变化形式，它也是前向网络的核心部分。体现了人工 神经网络最精华的部分。 b p 网络主要用于： l 函数逼近：用输入矢量和相应的输出矢量训练个网络逼近一个 函数。 2 模式识别：用一个特定的输出矢量将它与输入矢量联系起来。 3 分类：把输入矢量以定义的合适方式进行分类。 4 数据压缩：减少输出矢量维数以便于传输或者存储。 小麦专家系统中的知识获取问题在某种程度上就是一种知识的分 类问题，这正是b p 网络擅长处理的问题类型。对比以了多种典型的神 经网络，b p 网络在处理分类问题的方面有比较强的适应能力。b p 网络 不会像h o p f i e l d 网络那样有太多的约束条件需要满足，也不会像s o m 网络那样要求有大量的学习模式。所以我们希望采用b p 网络来处理小 麦专家系统中品种选择模块的知识获取问题。 2 4 1b p 网络的基本原理 b p 算法是非循环多级网络的训练算法，它利用输出层的误差来估 计输出层的直接前导层的误差，再用这个误差估计更前一层的误差。如 此下去，就获得了所有其他各层的误差估计。这样就形成了将输出层表 现出的误差沿着与输入信号相反的方向逐级向网络输入层传递的过程。 2 2 太原理l ：人学硕i 研究生学位论文 使用b p 算法进行学习的多级非循1 ：网络称为b p 网络。虽然这种误差 估计本身的精度会随着误差本身“阳后传递”而不断降低，但是它还是 给多层网络的训练提供了比较有效的办法。所以，多年来b p 算法受到 了广泛的关注。 b p 算法将网络的学习过程分为正向传播和反向传播两种交替过 程。如果正向传播输出的误差平方和达不到预期的精度，则沿误差的负 梯度方向修改各神经元的权值和阀值，直到网络的全局误差平方和达到 预期的精度。b p 网络的拓扑图如图2 2 所示。 n 个单元 p 个单元 2 4 2 基本的b p 算法 图2 - 2b p 网络的拓扑结构 f i g2 - 2s t r u c i u 代o fb pn e l 人工神经网络要求在一定范围内，网络在学会新知识的同时，保持 原来学会的东西不被忘掉。这种特性称为可塑性。然而，b p 网络并不 具备这种可塑性。它要求用户一开始就将所有要学习的样本都教给它， 而不是学会一个在学下一个。也就是说b p 网络针对一个样本对各个连 接权值作一次调整以后，虽然此样本还不能满足精度要求，此时也不能 按此样本进行训练了，而是考虑其它样本了。等到样本集中所有的样本 被考虑一遍以后，再重复这个过程直到网络能同时满足各个样本的要 求。 2 3 太原理1 人学硕士研究生学位论文 2 4 3 知识获取系统采用基本b p 算法的仿真 为了解基本b p 算法应用在知识获取方面时的缺陷，利用m a t l a b 进 行仿真。采用简单的输入条件( 2 个) 对网络进行洲练，希望通过训练 得出一些网络在知识获取方面可能存在的问题，通蚕刊超丽雏新挪国丽 鬃薹薹童鎏? 露萄沽鬟型i 蓄i 一；蓊黼型菱薹 重! 善主：叁；薯囊i 辇l 薹g ；! 算法 在很多领域得到广泛的应用，但是它在应用于知识获 取方面时，存在着自身的限制与不足，主要表现在于它的训练过程的不 确定上： ( 1 ) 需要较长的训练时间 对于一些复杂的问题，b p 算法可能要进行几小时甚至是更长的训i 练时间，这主要是学习速率太小所造成的。可以采用变化的学习速率或 太原理工人学硕士研究生学位论文 仿真表明：使用传统的b p 算法训练，网络获取枇值时存在容易陷 入局部最小值的缺陷比较严重，而且训练速度很慢，j c 中的很多系数的 确定需要一定的经验，一旦选取的不合适，将大大降低收敛速度。必须 要通过改进型的b p 算法才能克服这一缺陷，使网络更适合专家系统在 改进知识获取方法方面的应用。 2 4 4b p 网络模型的缺陷分析 虽然b p 算法在很多领域得到广泛的应用，但是它在应用于知识获 取方面时，存在着自身的限制与不足，主要表现在于它的训练过程的不 确定上： ( 1 ) 需要较长的训练时间 对于一些复杂的问题，b p 算法可能要进行几小时甚至是更长的训i 练时间，这主要是学习速率太小所造成的。可以采用变化的学习速率或 自适应的学习速率来加以改进。 ( 2 ) 完全不训l 练 这主要表现在网络出现麻痹现象上。在网络训练过程中，当其权值 调得过大，可能要使得所有的或者大部分神经元的加权总和n 偏大，这 使得激活函数的输入工作在s 型转移函数的饱和区，从而导致其倒数 ，( n ) 非常小，从而使得对网络权值的调节过程几乎停顿下来。通常为 了避免这种现象发发生，一是选取较小的初始权值，二是采用较小的学 习速率，但是这又增加了训练时间。 ( 3 ) 局部最小 b p 算法可以使网络权值收敛到一个解，但它并不能保证所求为误 差超平面的最小解，很可能是一个局部极小解。这是因为b p 算法采用 的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐到误差的 2 6 太原理工大学硕l ：研究生j f 寸论文 最小值。对f 复杂的网络，其误差函数为多维空间的曲面，因而舀：计其 训1 练的过程巾，可能陷入某一小谷区，而这一小谷区产生的是一个j 琦部 极小值。由此点向各个方向变化均使误差增加，以至于使训练无法逃出 这一局部极小值。 以上这些都是在b p 网络应用于知识获墩领域时遇到的主要问题， 也是众多的b p 网络应用领域所遇到的问题。通过对b p 网络的改进， 网络将更适用于系统的知识获取。 2 5 改进型b p 神经网络学习效果的算法仿真 2 5 1b p 算法的改进方法 通过论文前面的部分，我们己经了解了多种神经网络算法的特点。 通过多种算法的比较，我们也了解到b p 算法对小麦品种选择模块中知 识获取方法改进的可行性和优点。采用b p 算法对网络参数进行训练， 算法在人工神经网络参数学习中的情况及其结果表明：网络参数通过 b p 神经网络的学习束实现经验规则的优化处理是可行的。下面进行在 m a t l a b 环境下进行改进后的知识获取网络的仿真。 知识获取网络改进如下： ( 1 ) 附加动量法 由于使用基本b p 网络构建的知识获取系统中容易使网络训l 练陷入 局部最小值，这就将直接导致网络的推理结果完全错误。为了改进网络， 在网络中使用附加动量法，使网络在修正权值时不仅考虑误差在梯度上 的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通 滤波器，它允许网络忽略网络上的微小变化特性。在没有附加动量的作 用下，网络可能陷入浅的局部最小值，利用附加动量的作用则可能滑过 2 7 太燎理一】：人学硕士研究生学位沦文 图2 8 运行过程图 f i g2 - 8p r o c e s so f1 1 l n n i t l g 图2 9 性能曲线图 f i g2 9c u n r eo fp r o p e r t v 图2 一lo学习速率变化图 f i 卫2 1 0c h a n 空eo fr a t ea b o u fl e a l i n g 图2 1 1 运行结果 f i g2 1lr u n n i n gr e s u 儿 采用自适应学习速率的网络训练仿真时选用了1 0 5 作为初始的学 习速率。仿真表明网络的学习速率在网络训练过程中不断调整( 图 3 l 太原理：l ：人学硕卜研究生! 学位论文 2 1 0 ) ，使得学习速率网络的训练f 采持较好的功效。 ( 4 ) 隐含层节点数的优化f 4 2 隐节点数的多少对网络性能的影响较大，当隐节点数太多时，会 导致网络学习时间过长，甚至不能收敛：而当隐节点数过小时，网络的 窖错能力差。利用逐步回归分析法并进行参数的显著性检验来动态删除 一些线形相关的隐节点，节点删除标准：当由该节点出发指向下一层节 点的所有权值和阈值均落于死区( 通常取0 1 、o 0 5 等区问) 之中， 则该节点可删除。最佳隐节点数l 可参考下面公式计算： 1 l = 妄( 州+ 门) + c ，其中m 为输入节点数；n 为输出节点数；c 是介于l 上 1 0 的常数。 2 5 2 改进后知识获取网络仿真设计 小麦品种选择模块采用改进知识获取方法后，在m a t l a b 下进行了 仿真： 1 、网络中各层神经元个数选择 知识获取方法设计是考虑到专家系统的特点，各种问题解决过程中 要求的条件数量不同，所以设计输入层的神经元个数也不同。在小麦品 种选择问题中，规则是出4 个前提条件决定的。我们设计了4 输入向量 的b p 神经网络，4 个输入向量定义如下： x 1 ：种植区划x 2 ：水肥条件x 3 ：面筋类型x 4 ：覆膜与否 隐含层神经元个数由于定节点数目如果过少( 3 个) ，则难于对故障 分类并得出正确映射，因而学习速度慢，推理精度低。如隐含层节点数 目太多，则网络划分太细，实际上记忆的是输入模式而不是归纳输入模 式使联想推理能力下降。经分析和对m a i l a b 仿真结果的总结，我们选 用了4 个节点。输出层神经元个数由结果样本中样本个数确定为3 6 个， 3 2 太原理工人学硕士研究生学位论文 第三章n e t 框架与c # 目前，专家系统在众多的行业领域和地区被广泛推广使用。在嶷凳 霎鞑刖鲤霎簿塑翼霪雾薹萎雾需裂荨蠢霉荨嚣萎制裂；莱酌蠢囊薹霉琵 掣氯酬i 薹墼蔷鋈鬻掣藿翼藩刚囊纂蔫嵩螽弧霉萋军蘸| 薹| 耋囊酐鋈玎 霪k 。攀簧鬻霎塑是检查嚏摧捌鍪鋈蠢引萋琴雾冀嚣墓。蹒嚣萆氮帝商 荔话羹鬟商萋冀商藿翥雾基美丽嚣鲥盯司韭孽 小了，可以对其增加一个量；如果相反产生了过调，那么就应浚减小学 习速率的值。学习速率的调整公式如下： v ( 七十1 ) ； 1 o5 叩( 尼) 观( 七+ 1 ) 1 0 4 观( 七) 2 - 9 叩 )其它 初始的学习速率叩( 0 ) 的选取范围可以比较随意。 图2 7 离散数量图 f i gs a lt p es c a l a r3 0 x 太原理工人学硕士研究生学位论文 第三章n e t 框架与c # 目前，专家系统在众多的行业领域和地区被广泛推广使用。在实际 的推广使用过程中有很多实际因素阻碍着系统的推广，其中较为突出的 点就是：目前对专家系统需求较多的是农业生产指导部门和生产控制 部门。这些部门多数在高性能计算机还没有普及的基层。专家系统要求 计算机系统配置较高和基层计算机配置低的矛盾造成专家系统不能广1 泛使用，大大限制了专家系统的应用推广。为了缓和这种问题，我们采 用新一代的应用程序开发平台( n e t ) 来开发专家系统。这样只需要在 应用专家系统的机器上安装n e tf r a m e w o r k 就可以在较低配置的计算 机上运行专家系统，大大降低了基层的投入。采用先进的技术方法必将 更有力的推动我国专家系统的推广和发展。 3 1 n e t 框架介绍 在二十世纪九十年代，由于计算机硬件价格的几句下跌以及 i n t e r n e t 的膨胀，使得整个计算机产业的发展模式迅速变化。作为对这 些变化的反应，m i c r o s o f t 为w i n d o w s 平台改变了丌发模式。这一思路 最终导致了n e t 框架( n e tf r a m e w o r k ) 的发展。 ，n e t 框架主要由两大部分组成，一部分是最基本的通用语言运行 时库( c o m m o nb n g u a g er u n t i m e ) ，另一部分是一些提供了一些具体功 能的类库，例如网络应用的a sp n e t 、数据库应用的a d o n e t 、 w i n d o w s 窗口( f 0 r m s ) 类等等。通过图3 1 可以比较直观的了解n e t 框 架体系中w i n d o w s 操作系统、框架体系的各种类库、开发语言之问的 关系。首先，所有n e t 应用是建立在w i n d o w s 操作系统提供的种种强 3 5 太原理i 。：人学硕七研究生学位论文 运行语言知道怎样生成、执行这些类型。编译器和解译器使用运行语言 来定义类型、管理对象、进行方法调用。通用语言运行时库是n e t 框 架提供的受控代码执行环境，它负责管理和监视代码的执行。 3 2 n e t 中的数据访问 专家系统中知识规则以数据的形式存放在数据库中，数据库的结构 对专家系统的推理起着举足轻重的作用。目前专家系统中采用的技术主 要是传统的网状数据库、层次数据库技术。专家系统知识库的不断更新 要求系统采用面向对象的数据库技术。当前流行的a d o n e t 就是完全 面向对象的数据库技术，是新一代专家系统知识库所采用的数据库类 型。【4 5 】【4 6 】 访问a d o n e t 中的数掘源是由托管提供程序所控制。虽