（计算机软件与理论专业论文）自适应自组织映射网络在模式识别中的应用研究.pdf

电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 a b s t r a c t i ti s v e r yd i f f i c u l t t ou n d e r s t a n do ra n a l y z et h el a r g e s c a l ed a t ai n m a n ys c i e n t i f i cd o m a i n s ，b e c a u s e i th a st h ec h a r a c t e r i s t i co fl a r g e s c a l e q u a n t i t i e s ，c o m p l e xf e a t u r e sw h e nd e a l i n gw i t h ，a n di t i sm o r ed i f f i c u l tt o g e tk n o w l e d g ef r o mi t s o i ti s a b s o l u t e l yn e c e s s a r i l yt o d os c i e n c ed a t a m i n i n g ( s d m ) n o w t h e m a i np o i n to ft h i sp r o je e ti st or e s e a r c ht h et h e o r i e s a n da p p l i c a t i o n so fa r t i f i c i a ln e u r a ln e t w o r k ( a n n ) w h i c hi ss u i t a b l ef o r l a r g e s c a l es c i e n c ed a t a m i n i n g e s p e c i a l l y ，o u rr e s e a r c h f o c u si n c l u d e ： d i m e n s i o nr e d u c t i o n t e c h n i q u e s b a s e do n i n d e p e n d e n tc o m p o n e n t a n a l y s i s ( i c a ) a n dw a v e l e t b a s e dd e n o i s i n go rc o m p r e s s i n gt e c h n i q u e sf o r f e a t u r ee x t r a c t i o ni ns c i e n t i f i cd a t a s e t sw h i c hh a v e c o m p l e xf e a t u r e s ； c l a s s i f ya n dc l u s t e r i n gt e c h n i q u e s o fa n nc o m b i n a t i o nw i t hd a t a g r i d ， s e l f - g r o w i n gm u l t i l e v e ls e l f - o r g a n i z i n gm a pf o rl a r g e s c a l ek n o w l e d g e f o u n d i n g i ns d m w e p r o p o s e t h ea n nm o d e lf o r s p e c i a l a p p l i e a t i o n m o l e c u l a rd y n a m i c sn u m e r i c a lv a l u es i m u l a t i o n ，e s p e c i a l l y a i ma t c l a s s i f y i n g ，c l u s t e r i n ga n dp a t t e r nc o g n i t i o nf o rs c i e n t i f i c d a t a s e t c o n s t r u c tt h eu t i l i t ys d m s y s t e ma n dg i v ean e wm e t h o dt om i n ev a l u a b l e i n f o r m a t i o nf r o ml a r g e s c a l en u m e r i c a lv a l u es i m u l a t i o nd a t a t h i sp a p e rf o c u s e so nt h es e i f o r g a n i z i n gm a pp r e s e n t i n gar e v i e wo n t h eb a s i cm o d e l t h ep a p e rp u t sf o r w a r dt h ep a t t e r nr e c o g n i t i o nm e t h o dt h a t b a s e do ns e l f - g r o w i n gm u l t i l e v e ls e l f - o r g a n i z i n gm a po nt h ef o u n d a t i o no f t r a d i t i o n a l s e l f - o r g a n i z i n gm a p i tc a no v e r c o m em a n yl i m i t a t i o n s ，w h i c h a r er e l a t e dt ot h es t a t i ca r c h i t e c t u r eo ft r a d i t i o n a lm o d e l f o r e x a m p l e ， t r a d i t i o n a lm o d e lu s e saf i x e dn e t w o r ka r c h i t e c t u r ei nt e r m so fn u m b e ra n d a r r a n g e m e n to f n e u r a lp r o c e s s i n ge l e m e n t s ，w h i c hh a st ob ed e f i n e d p r i o rt o t r a i n i n g ，a l s o ，i f i th a se r r o ri nt h ec l a s s i f i c a t i o nf o rt h ef i r s tt i m e ，i t se f f e c t s c a nn o tb ec o r r e c t e d ，e t c w h a ti s m o r e ，t h en e wm o d e lc a ni n t u i t i v e r e p r e s e n tt h eh i e r a r c h i c a lr e l a t i o n si nt h ed a t a ，i np a r t i c u l a r ，i t c a nb e n e f i t s t h e h i g h d i m e n s i o nd a t a a n a l y s i sg r e a t l y ，s o ，s e l f - g r o w i n g m u l t i l e v e l s e l f o r g a n i z i n gm a p c a n p r o m o t e t h er e s e a r c ho f l a r g e - s c a l ep a t t e r n r e c o g n i t i o ng r e a t l y k e y w o r d s ：n e u r o nn e t w o r k ，d a t am i n i n g ，k n o w le d g e d is c o v e r yi i 3 d a t a b a s e ，p a t t e r nr e c o g n i t i o n ，s e l f _ 0 r g a n i z j n gm a p 1 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下迸行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名；2 歪l ! 筵! l 鱼 日期：蛐畔年，文月文j 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阕和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：! 虱! 坌! 隆导师签名： 日期：湖年年7 a 月d f 曰 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 1 1 研究背景 第一章绪论 近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提 高，无数个数据库被用于商业管理、政府办公、科学研究和工程开发等， 这一势头仍将持续发展下去。当今数据库的容量已经达到上万亿的水 平( t ) 一一1 ，0 0 0 ，0 0 0 ，0 0 0 ，0 0 0 个字节。在这些大量数据的背后隐藏了 很多具有决策意义的信息，那么怎么得到这些“知识”呢? 也就是怎 样通过一颗颗的树木了解到整个森林的情况? 于是，一个新的挑战被 提了出来：在这被称之为信息爆炸的时代，信息过量几乎成为人人需要 面对的问题。如何才能不被信息的汪洋大海所淹没，从中及时发现有用 的知识，提高信息利用率呢? 要想使科学实验数据真正地为科研服务， 只有充分对其进行分析、挖掘，帮助科研工作者发现以前不能发现的 问题，找出以前不能找出的规律。要想使数据真正成为一个公司的资 源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则 大量的数据可能成为包袱，甚至成为垃圾。 计算机科学对这个问题给出的最新回答就是：数据挖掘，在“数 据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时 提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境 的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪 些是他i t 的最有价值客户、重新制定他们的产品推广策略( 把产品推 广给最需要他们的人) ，以用最小的花费得到最好的销售。因此，面对“ 人们被数据淹没，人们却饥饿于知识4 的挑战，数据挖掘和知识发现 ( d m k d ) 技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命 力。 数据挖掘( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模 糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程。还有很多和这一术语相近似的术语， 如从数据库中发现知识( k d d ) 、数据分析、数据融合( d a t af u s i o r ) 以 及决策支持等。人们把原始数据看作是形成知识的源泉，就像从矿石中 采矿一样。原始数据可以是结构化的，如关系型数据库中的数据，也可 以是半结构化的，如文本、图形、图像数据，甚至是分布在网络上的异 构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 1 1 研究背景 第一章绪论 近十几年来，人们利用信息技术生产和搜集数据的能力大幅度提 高，无数个数据库被用于商业管理、政府办公、科学研究和工程开发等， 这一势头仍将持续发展下去。当今数据库的容量已经达到上万亿的水 平( t ) 一一1 ，0 0 0 ，0 0 0 ，0 0 0 ，0 0 0 个字节。在这些大量数据的背后隐藏了 很多具有决策意义的信息，那么怎么得到这些“知识”呢? 也就是怎 样通过一颗颗的树木了解到整个森林的情况? 于是，一个新的挑战被 提了出来：在这被称之为信息爆炸的时代，信息过量几乎成为人人需要 面对的问题。如何才能不被信息的汪洋大海所淹没，从中及时发现有用 的知识，提高信息利用率呢? 要想使科学实验数据真正地为科研服务， 只有充分对其进行分析、挖掘，帮助科研工作者发现以前不能发现的 问题，找出以前不能找出的规律。要想使数据真正成为一个公司的资 源，只有充分利用它为公司自身的业务决策和战略发展服务才行，否则 大量的数据可能成为包袱，甚至成为垃圾。 计算机科学对这个问题给出的最新回答就是：数据挖掘，在“数 据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时 提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境 的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪 些是他i t 的最有价值客户、重新制定他们的产品推广策略( 把产品推 广给最需要他们的人) ，以用最小的花费得到最好的销售。因此，面对“ 人们被数据淹没，人们却饥饿于知识4 的挑战，数据挖掘和知识发现 ( d m k d ) 技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命 力。 数据挖掘( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模 糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程。还有很多和这一术语相近似的术语， 如从数据库中发现知识( k d d ) 、数据分析、数据融合( d a t af u s i o r ) 以 及决策支持等。人们把原始数据看作是形成知识的源泉，就像从矿石中 采矿一样。原始数据可以是结构化的，如关系型数据库中的数据，也可 以是半结构化的，如文本、图形、图像数据，甚至是分布在网络上的异 构型数据。发现知识的方法可以是数学的，也可以是非数学的；可以是 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 演绎的，也可以是归纳的。发现了的知识可以被用于信息管理、查询优 化、决策支持、过程控制等，还可以用于数据自身的维护。因此，数据 挖掘是一门广义的交叉学科，它汇聚了不同领域的研究者，尤其是数据 库、人工智能、数理统计、可视化、并行计算等方面的学者和工程技 术人员。 特别要指出的是，数据挖掘技术从一开始就是面向应用的。它不仅 是面向特定数据库的简单检索查询调用，而且要对这些数据进行微观、 中观乃至宏观的统计、分析、综合、推理、学习和评估，以指导实际问 题的求解，企图发现事件间的相互关联，甚至利用已有的数据对未来的 活动进行预测。 在科学研究领域，随着科学仿真实验数据的越来越多，且不同实验 采集的数据分散于不同的计算机中。科学家们几乎不可能通过手工的 方式来发现各数据源之间的内在联系。这迫切需要研究出与此对应的 新的数据挖掘技术及其挖掘工具来解决此类问题。目前，国外对数据 挖掘技术的研究比较多，但专门针对科学数据的研究非常少。国内此 领域的研究处于初步的起始阶段，成熟的研究成果基本空白。 神经网络是一种自适应的高度非线性动力系统，自从8 0 年代初 复苏后一直热到今天。大量的研究成果不断的涌现。一方面神经网络 的应用越来越广泛，其应用已经深入到经济、军事、工程、以及科学 的许多领域。神经网络独特的性质及其计算能力受到科学工作者和工 程师们的喜爱。另方面，神经网络的理论研究越来越深入，其严格 的理论正在逐步被建立起来。神经网络已成为新的领域计算智能的主 要研究对象，参见文献 1 2 】。 神经网络聚类算法大多采用自组织特征映射( s o m ) 神经网络。 在s o m 网络中，邻近的各个神经元通过彼此侧向交互作用，相互竞 争，自适应发展成检测不同信号( 或模式) 的特殊检测器。针对科学 数据的特点，我们将研究结构自适应自组织特征映射神经网络。该网 络能自适应地选择合适的网络规模，并对分类决策边界进行更为精细 的调整，使辨识能力进一步增强，参见文献 3 - 4 。 技术的革新使科学家能够以不断增加的步速，从试验、仿真和观 测中收集数据，数据容量从近来的十亿字节到现在的千兆字节，并且 不久就将达到万亿字节。我们产生数据的能力已经远远超过了我们对 它们的研究、分析和理解的能力，而且所收集到的可利用的复杂数据 其表示都是图像或者时间序列。为了实现我们的科学目标，我们需要 2 电子科技大学硕士学位论文：自适应自组织映射露络在模式识别中的应用研究 从这些数据中提取有用的信息来充分的对它们进行知识开采。可不幸 的是，由于在许多科学领域中数据的尺度范围如此之大、复杂度如此 之高，以至于使用人工来对它们进行分析、研究和理解完全是不切实 际的。这导致的结果是，有用的信息经常被忽视掉，并且增强了的计 算能力和数据搜集能力的潜在优势只能部分发挥出来。 为了解决这个问题，我们应用并扩展了数据挖掘领域的方法，开发 新的科学数据挖掘技术，希望能够提高科学家与大规模、高纬度、时 变的科学数据之间的交互性。这些技术能够帮助我们自动的在数据中 进行模式识别，并且使科学家们能够交互性地只对感必趣的某些领域 的数据进行知识开采。 科学数据挖掘技术可以应用到仿真数据，试验数据，以及在各个 不同科学领域中收集的观测数据中。万亿次的计算环境使对复杂现象 的仿真变为现实，并且仿真输出的数据量越来越庞大。这些仿真在许 多领域中都扮演着十分关键的角色，例如核武器管理领域中，计算机 仿真已经用来代替了试验；又如天气建模领域中，利用试验是不切实 际的也是不明智的。为了让科学家能够理解这些仿真的输出，可视化 技术正频繁的应用于数据的展示。由于仿真输出的数据规模是如此之 大，因此可视化技术并不能充分的对它们进行展示。如果将可视化技 术和数据挖掘技术结合在一起，那么就能够实现交互式的数据展示， 仅仅将科学家们感兴趣的某些领域的数据展示出来，使他们能够快速 的对输出数据进行知识开采。这样不仅能够帮助科学家理解单个仿真 的输出数据，而且能够使他t r 对比多个仿真的输出结果，同时还可以 将试验同仿真进行对比，且可以交互式的对仿真进行控制，参见文献 【7 。 科学数据挖掘是数据挖掘中较复杂且国内研究较少的领域。现在 科学仿真数据，试验数据越来越多，越来越复杂，给表示、存储、理 解、分析和可视化这些数据带来了困难。目前，国外已有不少的科学 数据格式系统，如c d f 、n e t c d f 、h d f 5 等，也相应地诞生了各种各 样的科学数据管理系统，它们给科学数据的存储和管理带来了方便。 对于模拟数据，常常以网格( m e s h ) 形式表示，通用的格式系统如上述 三种数据格式系统均支持网格数据( m e s hd a l a ) 的存储和处理。尽管如 此，要理解、分析这些数据，并从中获取知识仍是不易。科学数据集 有其本身的特性，如数据的时空相关性，使得现有的数据挖掘技术不 能够完全适应这种特性，又如数值模拟科学数据具有特征互相交错、 电子利技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 复杂、难于抽取，数据维数高、数据集丈、运算效率低等特性，利用 传统的数据挖掘算法进行知识发现执行效率底下，且效果较差。由此 科学数据挖掘势在必行。 由于科学数据的特殊特点，使得科学数据挖掘不但具有很高的应 用价值，同时也具有显著的理论研究价值。 对科学数据的挖掘在方法的研究和应用上都具有空前的挑战性和 驱动力。如何对数值模拟的海量数据进行分析? 如何智能地从中获取 科学家们感兴趣的有益信息? 如何从已知的海量数据去分析其问的相 互关联、预测未知信息及趋势? 这些都是我们在研究中需要克服的困 难和关键问题。因此，我们将考虑新的适用解决方案，以解决科学数 据挖掘中不同于商业和传统数据挖掘中的特征析取和数据融合等问 题，参见文献 8 1 2 。 1 2 作者所做工作及本文内容安排 1 2 1 作者所做工作 本人目前主要研究基于神经网络的可扩展科学数据挖掘算法及其 实现技术，即是可扩展的自适应s o m 网络聚类分析和模式分析技术。 这一题目涉及到了当前科学界的研究热点，具有显然的科学意义和很 高的应用价值。可概括为以下几个方面： ( 1 ) 作者通过查阅国内外大量相关技术文献，在了解各种数据挖掘 技术的基础上，针对大规模科学数据集研究数据挖掘技术，初 步确定了数据挖掘实验平台的采掘方案。 ( 2 ) 在分析比较数据挖掘的各种方法技术上，采用神经网络的自组 织映射网络模型实现了具体的数据挖掘模型。 ( 3 ) 在理解和掌握自组织映射网络算法的基础上，针对s o m 算法的 缺点，结合s d m 的特点，提出了两种改进的s o m 算法。而且， 对其中改进的s o m 算法进行了大量的实验与分析研究。 ( 4 ) 利用改进的s o m 算法，开发了一个s d m 专用的数据挖掘软件， 并以实例进行了具体的实验和研究。 ( 5 ) 在构思s d m 的基础上，学习j a v a 开发语言的一些上层功能， 结合e c l i p s e 开发平台和x m l 的特性对软件进行功能优化，采用 软件重用思想将界面和算法相分离，便于软件的扩展和更新。 4 电子利技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 复杂、难于抽取，数据维数高、数据集丈、运算效率低等特性，利用 传统的数据挖掘算法进行知识发现执行效率底下，且效果较差。由此 科学数据挖掘势在必行。 由于科学数据的特殊特点，使得科学数据挖掘不但具有很高的应 用价值，同时也具有显著的理论研究价值。 对科学数据的挖掘在方法的研究和应用上都具有空前的挑战性和 驱动力。如何对数值模拟的海量数据进行分析? 如何智能地从中获取 科学家们感兴趣的有益信息? 如何从已知的海量数据去分析其问的相 互关联、预测未知信息及趋势? 这些都是我们在研究中需要克服的困 难和关键问题。因此，我们将考虑新的适用解决方案，以解决科学数 据挖掘中不同于商业和传统数据挖掘中的特征析取和数据融合等问 题，参见文献 8 1 2 。 1 2 作者所做工作及本文内容安排 1 2 1 作者所做工作 本人目前主要研究基于神经网络的可扩展科学数据挖掘算法及其 实现技术，即是可扩展的自适应s o m 网络聚类分析和模式分析技术。 这一题目涉及到了当前科学界的研究热点，具有显然的科学意义和很 高的应用价值。可概括为以下几个方面： ( 1 ) 作者通过查阅国内外大量相关技术文献，在了解各种数据挖掘 技术的基础上，针对大规模科学数据集研究数据挖掘技术，初 步确定了数据挖掘实验平台的采掘方案。 ( 2 ) 在分析比较数据挖掘的各种方法技术上，采用神经网络的自组 织映射网络模型实现了具体的数据挖掘模型。 ( 3 ) 在理解和掌握自组织映射网络算法的基础上，针对s o m 算法的 缺点，结合s d m 的特点，提出了两种改进的s o m 算法。而且， 对其中改进的s o m 算法进行了大量的实验与分析研究。 ( 4 ) 利用改进的s o m 算法，开发了一个s d m 专用的数据挖掘软件， 并以实例进行了具体的实验和研究。 ( 5 ) 在构思s d m 的基础上，学习j a v a 开发语言的一些上层功能， 结合e c l i p s e 开发平台和x m l 的特性对软件进行功能优化，采用 软件重用思想将界面和算法相分离，便于软件的扩展和更新。 4 电子利技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 复杂、难于抽取，数据维数高、数据集丈、运算效率低等特性，利用 传统的数据挖掘算法进行知识发现执行效率底下，且效果较差。由此 科学数据挖掘势在必行。 由于科学数据的特殊特点，使得科学数据挖掘不但具有很高的应 用价值，同时也具有显著的理论研究价值。 对科学数据的挖掘在方法的研究和应用上都具有空前的挑战性和 驱动力。如何对数值模拟的海量数据进行分析? 如何智能地从中获取 科学家们感兴趣的有益信息? 如何从已知的海量数据去分析其问的相 互关联、预测未知信息及趋势? 这些都是我们在研究中需要克服的困 难和关键问题。因此，我们将考虑新的适用解决方案，以解决科学数 据挖掘中不同于商业和传统数据挖掘中的特征析取和数据融合等问 题，参见文献 8 1 2 。 1 2 作者所做工作及本文内容安排 1 2 1 作者所做工作 本人目前主要研究基于神经网络的可扩展科学数据挖掘算法及其 实现技术，即是可扩展的自适应s o m 网络聚类分析和模式分析技术。 这一题目涉及到了当前科学界的研究热点，具有显然的科学意义和很 高的应用价值。可概括为以下几个方面： ( 1 ) 作者通过查阅国内外大量相关技术文献，在了解各种数据挖掘 技术的基础上，针对大规模科学数据集研究数据挖掘技术，初 步确定了数据挖掘实验平台的采掘方案。 ( 2 ) 在分析比较数据挖掘的各种方法技术上，采用神经网络的自组 织映射网络模型实现了具体的数据挖掘模型。 ( 3 ) 在理解和掌握自组织映射网络算法的基础上，针对s o m 算法的 缺点，结合s d m 的特点，提出了两种改进的s o m 算法。而且， 对其中改进的s o m 算法进行了大量的实验与分析研究。 ( 4 ) 利用改进的s o m 算法，开发了一个s d m 专用的数据挖掘软件， 并以实例进行了具体的实验和研究。 ( 5 ) 在构思s d m 的基础上，学习j a v a 开发语言的一些上层功能， 结合e c l i p s e 开发平台和x m l 的特性对软件进行功能优化，采用 软件重用思想将界面和算法相分离，便于软件的扩展和更新。 4 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 ( 6 ) 在s d m 开发完成之后，作者针对改进的s o r e 算法，结合几何 学和线性代数的相关知识，进行了进一步改进的尝试与探索。 1 2 2 本文内容安排 第1 章 第2 章 第3 章 第4 章 第5 章 第6 章 介绍了本课题的研究背景、研究内容以及论文章节安排。 回顾了课题相关技术的发展历史和研究现状。 介绍和分析了数据挖掘的相关技术及应用领域。 着重探讨了基于人工神经网络数据挖掘技术的研究，提出一 种改进的s o m 算法，并针对这种算法进行了分析测试。 详细讨论了实例数据挖掘软件的开发设计与实现 总结了存在的问题及进一步发展。 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 ( 6 ) 在s d m 开发完成之后，作者针对改进的s o r e 算法，结合几何 学和线性代数的相关知识，进行了进一步改进的尝试与探索。 1 2 2 本文内容安排 第1 章 第2 章 第3 章 第4 章 第5 章 第6 章 介绍了本课题的研究背景、研究内容以及论文章节安排。 回顾了课题相关技术的发展历史和研究现状。 介绍和分析了数据挖掘的相关技术及应用领域。 着重探讨了基于人工神经网络数据挖掘技术的研究，提出一 种改进的s o m 算法，并针对这种算法进行了分析测试。 详细讨论了实例数据挖掘软件的开发设计与实现 总结了存在的问题及进一步发展。 电子科技大学硕士学位论文： 自适应自组织映射网络在模式识别中的应用研究 第二章国内外相关技术发展综述 2 1 人工智能发展综述 2 1 1 人工智能的起源 从1 9 5 6 年正式提出人工智能学科算起，4 0 多年来，取得长足的 发展，成为一门广泛的交叉和前沿科学。总的说来，人工智能的目的 就是让计算机这台机器能够像入一样思考。如果希望做出一台能够思 考的机器，那就必须知道什么是思考，更进一步讲就是什么是智慧。 什么样的机器才是智慧的昵? 科学家已经做出了汽车，火车，飞机， 收音机等等，它们模仿我们身体器官的功能，但是能不能模仿人类大 脑的功能呢? 到目前为止，我们也仅仅知道这个装在我们天灵盖里面 的东西是由数十亿个神经细胞组成的器官，我们对这个东西知之甚少， 模仿它或许是天下最困难的事情了。 当计算机出现后，人类开始真正有了一个可以模拟人类思维的工 具，在以后的岁月中，无数科学家为这个目标努力着。现在人工智能 已经不再是几个科学家的专利了，全世界几乎所有大学的计算机系都 有人在研究这门学科，学习计算机的大学生也必须学习这样一门课程， 在大家不懈的努力下，现在计算机似乎已经变得十分聪明了。例如， 1 9 9 7 年5 月，i b m 公司研制的深蓝( d e e pb l u e ) 计算机战胜了国际 象棋大师卡斯帕洛夫( k a s p a r o v ) 。大家或许不会注意到，在一些地方 计算机帮助人进行其它原来只属于人类的工作，计算机以它的高速和 准确为人类发挥着它的作用。人工智能始终是计算机科学的前沿学科， 计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以 存在。 2 1 2 人工智能的发展过程 人工智能理论进入2 1 世纪，正酝酿着新的突破一一人工生命的提 出，不仅意昧着人类试图从传统的工程技术途径，而且将开辟生物工 程技术途径，去发展人工智能；同时人工智能的发展，又将作为人工 生命科学的重要支柱和推动力量。可以预言：人工智能的研究成果将 能够创造出更多更高级的智能“制品”，并使之在越来越多的领域超越 人类智能；人工智能将为发展国民经济和改善人类生活做出更大贡献。 电子科技大学硕士学位论文： 自适应自组织映射网络在模式识别中的应用研究 第二章国内外相关技术发展综述 2 1 人工智能发展综述 2 1 1 人工智能的起源 从1 9 5 6 年正式提出人工智能学科算起，4 0 多年来，取得长足的 发展，成为一门广泛的交叉和前沿科学。总的说来，人工智能的目的 就是让计算机这台机器能够像入一样思考。如果希望做出一台能够思 考的机器，那就必须知道什么是思考，更进一步讲就是什么是智慧。 什么样的机器才是智慧的昵? 科学家已经做出了汽车，火车，飞机， 收音机等等，它们模仿我们身体器官的功能，但是能不能模仿人类大 脑的功能呢? 到目前为止，我们也仅仅知道这个装在我们天灵盖里面 的东西是由数十亿个神经细胞组成的器官，我们对这个东西知之甚少， 模仿它或许是天下最困难的事情了。 当计算机出现后，人类开始真正有了一个可以模拟人类思维的工 具，在以后的岁月中，无数科学家为这个目标努力着。现在人工智能 已经不再是几个科学家的专利了，全世界几乎所有大学的计算机系都 有人在研究这门学科，学习计算机的大学生也必须学习这样一门课程， 在大家不懈的努力下，现在计算机似乎已经变得十分聪明了。例如， 1 9 9 7 年5 月，i b m 公司研制的深蓝( d e e pb l u e ) 计算机战胜了国际 象棋大师卡斯帕洛夫( k a s p a r o v ) 。大家或许不会注意到，在一些地方 计算机帮助人进行其它原来只属于人类的工作，计算机以它的高速和 准确为人类发挥着它的作用。人工智能始终是计算机科学的前沿学科， 计算机编程语言和其它计算机软件都因为有了人工智能的进展而得以 存在。 2 1 2 人工智能的发展过程 人工智能理论进入2 1 世纪，正酝酿着新的突破一一人工生命的提 出，不仅意昧着人类试图从传统的工程技术途径，而且将开辟生物工 程技术途径，去发展人工智能；同时人工智能的发展，又将作为人工 生命科学的重要支柱和推动力量。可以预言：人工智能的研究成果将 能够创造出更多更高级的智能“制品”，并使之在越来越多的领域超越 人类智能；人工智能将为发展国民经济和改善人类生活做出更大贡献。 电子科技大学硕士学位论文：自适应臼组织映射网络在模式识别中的应用研究 著名的英国科学家图灵被称为人工智能之父，图灵不仅创造了一 个简单的通用的非数字计算模型，而且直接证明了计算机可能以某种 被理解为智能的方法工作。1 9 5 0 年，图灵发表了题为计算机能思考 吗? 的论文，给人工智能下了一个定义，而且论证了人工智能的可 能性。定义智慧时，如果一台机器能够通过称之为图灵实验的实验， 那它就是智慧的。图灵实验的本质就是让人在不看外型的情况下不能 区别是机器的行为还是人的行为时，这个机器就是智慧的。 后来通过对人脑模型的研究，人们认为人工智能源于仿生学。它 的代表性成果是1 9 4 3 年由生理学家麦卡洛克( m c c u l l o c h ) 和数理逻辑 学家皮茨( p i t t s ) 创立的脑模型，即m p 模型。6 0 一7 0 年代，联结主义， 尤其是对以感知机( p e r c e p t i o n ) 为代表的脑模型的研究曾出现过热 潮，由于当时的理论模型、生物原型和技术条件的限制，脑模型研究 在7 0 年代后期至8 0 年代初期落入低潮。直到h o p f i e ld 教授在1 9 8 2 年和1 9 8 4 年发表两篇重要论文，提出用硬件模拟神经网络时，联结主 义又重新抬头。1 9 8 6 年鲁梅尔哈特( r u m e l h a r t ) 等人提出多层网络中 的反向传播( b p ) 算法。此后，联结主义势头大振，从模型到算法，从 理论分析到工程实现，为神经网络计算杌走向市场打下基础。现在， 对a n n 的研究热情仍然不减。 9 0 年代，人们逐渐认识到，实现人工智能必须以生物技术、信息 技术和新材料技术三大高科技作为手段。生物技术是“侦察兵”，它负 责揭开智能之谜，为人工智能提供方向；信息技术是主力军，它负责 人工方式等模拟人工智能；而新材料技术是“后勤部队”，为人工智能 的实现提供了物质基础。 2 1 3 人工智能的研究领域 在大多数学科中存在着几个不同的研究领域，每个领域都有其特 有的感兴趣的研究课题、研究技术和术语。在人工智能中，这样的领 域包括语言处理、自动定理证明、智能数据检索系统、视觉系统、问 题求解、人工智能方法和程序语言以及自动程序设计等。今后的人工 智能的研究领域将主要体现在以下七个方面： ( 1 ) 问题求解 人工智能的第一个大成就是发展了能够求解难题的下棋( 如国际 象棋) 程序。在下棋程序中应用的某些技术，如向前看几步，并把困难 的问题分成一些比较容易的子问题，发展成为搜索和问题归约这样的 电子科技大学硕士学位论文：自适应臼组织映射网络在模式识别中的应用研究 著名的英国科学家图灵被称为人工智能之父，图灵不仅创造了一 个简单的通用的非数字计算模型，而且直接证明了计算机可能以某种 被理解为智能的方法工作。1 9 5 0 年，图灵发表了题为计算机能思考 吗? 的论文，给人工智能下了一个定义，而且论证了人工智能的可 能性。定义智慧时，如果一台机器能够通过称之为图灵实验的实验， 那它就是智慧的。图灵实验的本质就是让人在不看外型的情况下不能 区别是机器的行为还是人的行为时，这个机器就是智慧的。 后来通过对人脑模型的研究，人们认为人工智能源于仿生学。它 的代表性成果是1 9 4 3 年由生理学家麦卡洛克( m c c u l l o c h ) 和数理逻辑 学家皮茨( p i t t s ) 创立的脑模型，即m p 模型。6 0 一7 0 年代，联结主义， 尤其是对以感知机( p e r c e p t i o n ) 为代表的脑模型的研究曾出现过热 潮，由于当时的理论模型、生物原型和技术条件的限制，脑模型研究 在7 0 年代后期至8 0 年代初期落入低潮。直到h o p f i e ld 教授在1 9 8 2 年和1 9 8 4 年发表两篇重要论文，提出用硬件模拟神经网络时，联结主 义又重新抬头。1 9 8 6 年鲁梅尔哈特( r u m e l h a r t ) 等人提出多层网络中 的反向传播( b p ) 算法。此后，联结主义势头大振，从模型到算法，从 理论分析到工程实现，为神经网络计算杌走向市场打下基础。现在， 对a n n 的研究热情仍然不减。 9 0 年代，人们逐渐认识到，实现人工智能必须以生物技术、信息 技术和新材料技术三大高科技作为手段。生物技术是“侦察兵”，它负 责揭开智能之谜，为人工智能提供方向；信息技术是主力军，它负责 人工方式等模拟人工智能；而新材料技术是“后勤部队”，为人工智能 的实现提供了物质基础。 2 1 3 人工智能的研究领域 在大多数学科中存在着几个不同的研究领域，每个领域都有其特 有的感兴趣的研究课题、研究技术和术语。在人工智能中，这样的领 域包括语言处理、自动定理证明、智能数据检索系统、视觉系统、问 题求解、人工智能方法和程序语言以及自动程序设计等。今后的人工 智能的研究领域将主要体现在以下七个方面： ( 1 ) 问题求解 人工智能的第一个大成就是发展了能够求解难题的下棋( 如国际 象棋) 程序。在下棋程序中应用的某些技术，如向前看几步，并把困难 的问题分成一些比较容易的子问题，发展成为搜索和问题归约这样的 电子科技大学硕士学位论文：白适应自组织映射网络在模式识别中的应用研究 人工智能基本技术。今天的计算机程序能够下锦标赛水平的各种方盘 棋、十五子棋和国际象棋。另一种问题求解程序把各种数学公式符号 汇编在一起，其性能达到很高的水平，并正在为许多科学家和工程师 所应用。有些程序甚至还能够用经验来改善其性能。 ( 2 ) 逻辑推理与定理证明 逻辑推理是人工智能研究中最持久的予领域之一。其中特别重要 的是要找到一些方法，只把注意力集中在一个大型数据库中的有关事 实上，留意可信的证明，并在出现新信息时适时修正这些证明。对数 学中臆测的定理寻找一个证明或反证，确实称得上是一项智能任务。 为此不仅需要有根据假设进行演绎的能力，而且需要某些直觉技巧。 ( 3 ) 自然语言理解 n l p ( n a t u r a ll a n g u a g ep r o c e s s i n g ) 自然语言处理也是人工智能 的早期研究领域之一，已经编写出能够从内部数据库回答用英语提出 的问题的程序，这些程序通过阅读文本材料和建立内部数据库，能够 把句子从一种语言翻译为另种语言，执行用英语给出的指令和获取 知识等。有些程序甚至能够在一定程度上翻译从话筒输入的口头指令 ( 而不是从键盘打入计算机的指令) 。目前语言处理研究的主要课题是： 在翻译句子时，以主题和对话情况为基础，注意大量的一般常识世 界知识和期望作用的重要性。 ( 4 ) 自动程序设计 也许程序设计并不是人类知识的一个十分重要的方面，但是它本 身却是人工智能的一个重要研究领域。这个领域的工作叫做自动程序 设计。已经研制出能够以各种不同的目的描述( 例如输入输出对，高 级语言描述，甚至英语描述算法) 来编写计算机程序。这方面的进展局 限于少数几个完全现成的例子。 ( 5 ) 专家系统 一般地说，专家系统是一个智能计算机程序系统，其内部具有大 量专家水平的某个领域知识与经验，能够利用人类专家的知识和解决 问题的方法来解决该领域的问题。也就是说，专家系统是一个具有大 量专门知识与经验的程序系统，它应用人工智能技术，根据某个领域 一个或多个人类专家提供的知识和经验进行推理和判断，模拟人类专 家的决策过程，以解决那些需要专家决定的复杂问题。 ( 6 ) 机器人学 人工智能研究日益受到重视的另一个分支是机器人学，其中包括 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 对操作机器人装置程序的研究。这个领域所研究的问题，从机器人手 臂的最佳移动到实现机器人目标的动作序列的规划方法，无所不包。 ( 7 ) 机器学习和人工神经网络 学习能力无疑是人工智能研究上最突出和最重要的一个方面。人 工智能在这方面的研究近年来取得了一些进展。学习是人类智能的主 要标志和获得知识的基本手段。机器学习( 自动获取新的事实及新的推 理算法) 是使计算机具有智能的根本途径。正如香克( r s h a n k ) 所说： ”一台计算机若不会学习，就不能称为具有智能的。”此外，机器学习 还有助于发现人类学习的机理和揭示人脑的奥秘。所以这是个始终 得到重视，理论正在创立，方法目臻完善，但远未达到理想境地的研 究领域。 人工智能研究已经对计算机技术的各个方面产生并将继续产生较 大影响。人工智能应用要求繁重的计算，促进了并行处理和专用集成 片的开发。算法发生器和灵巧的数据结构获得应用，自动程序设计技 术将开始对软件开发产生积极影响。所有这些在研究人工智能时开发 出来的新技术，推动了计算机技术的发展，进而使计算机为人类创造 更大的经济实惠。 2 2 神经网络发展综述 由于冯诺依曼( v a n n e u m a n n ) 体系结构的局限性，数字计算机存 在一些尚无法解决的问题。人们一直在寻找新的信息处理机制，神经 网络计算就是其中之一。 人工神经网络研究的先锋，m c c u l l o c h 和p i t t s 曾于1 9 4 3 年提 出一种叫做“似脑机器”( m i n d i i k em a c h i n e ) 的思想，这种机器可 由基于生物神经元特性的互连模型来制造，这就是神经学网络的概念。 他们构造了一个表示大脑基本组成的神经元模型，对逻辑操作系统表 现出通用性。随着大脑和计算机研究的进展，研究目标已从“似脑机 器”变为“学习机器”，为此一直关心神经系统适应律的h e b b 提出了 学习模型。r o s e n b l a t t 命名感知器，并设计一个引人注目的结构。到 6 0 年代初期，关于学习系统的专用设计指南有w i d r o w 等提出的 a d a l i n e ( a d a p t i y e1 i n e a re l e m e n t ，即自适应线性元) 以及s t e i n b u c h 等提出的学习矩阵。由于感知器的概念简单，因而在开始介绍时对它 寄托很大希望。然而，不久之后m i n s k y 和p a p e r t 在数学上证明了感 知器不能实现复杂逻辑功能。 电子科技大学硕士学位论文：自适应自组织映射网络在模式识别中的应用研究 对操作机器人装置程序的研究。这个领域所研究的问题，从机器人手 臂的最佳移动到实现机器人目标的动作序列的规划方法，无所不包。 ( 7 ) 机器学习和人工神经网络 学习能力无疑是人工智能研究上最突出和最重要的一个方面。人 工智能在这方面的研究近年来取得了一些进展。学习是人类智能的主 要标志和获得知识的基本手段。机器学习( 自动获取新的事实及新的推 理算法) 是使计算机具有