（信号与信息处理专业论文）神经网络在医学诊断中的应用研究.pdf

摘要 神经网络是一门近几年迅速发展起来的集神经科学、信息科学及计算机科学于一体 的交叉学科，它是一种将生物神经网络在结构、功能等方面的理论抽象、简化及模拟而 构成的信息处理系统。神经网络理论的应用已渗透到各个领域，并取得了令人瞩目的进 展。现代医学受益于高科技的发展，各种前沿科学技术已经渗入医学领域，使医学得到 了飞快的发展。神经网络凭借其自身的优点，已被应用于医学诊断领域的信号处理、特 征提取、模式识别等方面，并取得了可喜的成果，引起了众多研究者的关注。神经网络 在医学诊断领域将具有广阔的发展前景。 目前，在医学诊断中应用较多的神经网络是b p 神经网络，但是，b p 神经网络学习 算法在医学诊断的应用中还存在收敛速度慢、隐含层单元数难以确定等缺陷，本文围绕 这些问题进行了详细分析和探讨，有针对性的提出了解决方案，并应用于具体的医学诊 断实例。 作者的主要工作及结论归纳如下： ( 1 ) 在对神经网络、医学诊断及神经网络在医学诊断中的应用研究进行充分分析的 基础上，针对在医学诊断领域应用最广泛的b p 神经网络展开研究。详细分析了b p 神 经网络的结构及学习规则，针对该网络收敛速度慢及隐含层单元难以确定的缺陷，分析 并总结了多种改进的神经网络模型，在此基础上，提出了一种确定最佳隐含层单元数的 方法边界数限定确定隐含层单元数的方法，并进行了比较分析，验证了这种方法的 可行性和优越性，有效的优化了b p 神经网络结构。 ( 2 ) 在对模块化网络分析总结的基础上，将上述优化的b p 神经网络结构及模块化 网络应用于医学诊断的具体实例帕金森病的诊断，通过将帕金森病的诊断指标分类 建立各自的b p 诊断网，各类诊断网先单独测定，然后将它们各自的结果综合起来得出 最后的判断。结果表明：相对于未改进的网络，该方案提高了帕金森患者和非帕金森患 者的正确检出率，降低了帕金森患者和非帕金森患者的误诊率。 本文主要有以下创新点： ( 1 ) 针对b p 神经网络隐含层单元数难以确定的缺陷，提出了一种确定最佳隐含层 单元数的方法边界数限定确定隐含层单元数的方法，优化了b p 神经网络的结构， 并验证了这种方法的可行性和优越性。 ( 2 ) 首次将模块化网络的方法应用于帕金森诊断模型，并用边界数限定确定隐含层 单元数方法优化模块化后的帕金森诊断模型，通过实例进行分析并验证了可行性。 关键词：神经网络医学诊断b p 神经网络隐含层误差模块化网络 a b s t r a c t n e u r a ln e t w o r k si sac r o s s d i s c i p l i n ew h i c hi n t e g r a t e sn e u r a ls c i e n c e ，i n f o r m a t i o n s c i e n c e ，c o m p u t e rs c i e n c e ，a n d i th a sb e e nd e v e l o p i n gr a p i d l yi nr e c e n t y e a r s n e u r a l n e t w o r k si sa ni n f o r m a t i o np r o c e s s i n gs y s t e mt h r o u g ha b s t r a c t i n g ，s i m p l i f y i n g , s i m u l a t i n g t h es t r u c t u r e ，f u n c t i o na n do t h e ra s p e c t so f b i o l o g i c a l n e u r a ln e t w o r k st h e o r y t h e a p p l i c a t i o no fn e u r a ln e t w o r k sh a sp e n e t r a t e di n t ov a r i o u sf i e l d sa n dm a d ea ni m p r e s s i v e p r o g r e s s w i t ht h ea d v a n c e m e n to fv a r i o u sc u t t i n g - e d g et e c h n o l o g i e s ，m o d e r nm e d i c i n e b e n e f i t ss i g n i f i c a n t l ya n dd e v e l o p sr a p i d l y w i t hi t su n i q u ea d v a n t a g e s ，n e u r a ln e t w o r k sh a s b e e na p p l i e dt os e v e r a la r e a so fm e d i c a ld i a g n o s i s ，s u c ha s s i g n a lp r o c e s s i n g , f e a t u r e e x t r a c t i o n ，p a t t e r nr e c o g n i t i o n ，e t c s a t i s f i e dp e r f o r m a n c eh a sb e e na c h i e v e d ，w h i c ha r o u s e s t h ea t t e n t i o no fm a n yr e s e a r c h e r s a sar e s u l t ，n e u r a ln e t w o r k sw i l lh a v eab r i g h tp r o s p e c ti n t h ef i e l do fm e d i c a ld i a g n o s i s a tp r e s e n t ，b pn e u r a ln e t w o r k si sak i n do fn e u r a ln e t w o r k sw h i c hh a sb e e nw i d e l y u s e di nt h em e d i c a ld i a g n o s i s h o w e v e r , t h el e a r n i n ga l g o r i t h mo fb pn e u r a ln e t w o r k si nt h e m e d i c a ld i a g n o s i ss t i l lh a ss h o r t a g e s ，s u c ha st h es l o ws p e e do fc o n v e r g e n c ea n dt h e d i f f i c u l t y o fd e t e r m i n i n gt h en u m b e ro fh i d e rl a y e ru n i t s i nt h i s p a p e r , t h e s ep r o b l e m sa r e s y s t e m a t i c a l l ya n a l y z e da n dd i s c u s s e di nd e t a i l f u r t h e r m o r e ，t h es o l u t i o n sa r ep u tf o r w a r d p e r t i n e n t l ya n da p p l i e dt os o m em e d i c a ld i a g n o s i se x a m p l e s t h em a i nw o r ka n dc o n c l u s i o n so ft h i sp a p e ra r es u m m a r i z e da sf o l l o w s ： ( 1 ) o nt h eb a s eo f 。c o m p r e h e n s i v e l ya n a l y z i n gn e u r a ln e t w o r k s ，m e d i c a ld i a g n o s i sa n d t h ea p p l i c a t i o no fn e u r a ln e t w o r k si nt h ef i e l do fm e d i c a ld i a g n o s i s ，t h em o s tw i d e l yu s e db p n e u r a ln e t w o r k si nm e d i c a ld i a g n o s i si ss t u d i e d t h es t r u c t u r ea n dl e a r n i n gr u l e so fb p n e u r a ln e t w o r k sa x ea n a l y z e di nd e t a i l t os o l v et h es l o wc o n v e r g e n c es p e e da n d a m b i g u o u s d e f e c t si nt h eh i d e rl a y e ru n i t s ，s e v e r a li m p r o v e dn e u r a ln e t w o r k sm o d e l s f i ea n a l y z e da n d s u m m a r i z e d f u r t h e r m o r e ，am e t h o do fd e t e r m i n i n gt h eb e s tn u m b e ro fh i d e rl a y e ru n i t si s p r o p o s e d ，w h i c hi sn a m e db o u n d a r yn u m b e r sl i m i t i n gt h en u m b e ro fh i d e rl a y e ru n i t s t h i s m e t h o di sp r o v e dt ob ef e a s i b l ea n ds u p e r i o r , w h i c hc o u l do p t i m i z e st h es t r u c t u r eo fb p n e u r a ln e t w o r k se f f e c t i v e l y ( 2 ) b a s e do na n a l y z i n ga n ds u m m a r i z i n gt h em o d u l a r i z e dn e t w o r k ，t h eo p t i m i z e d s t r u c t u r eo fb pn e u r a ln e t w o r k sa n dt h em o d u l a r i z e dn e t w o r ka r ea p p l i e dt ot h ep r a c t i c a l e x a m p l eo fm e d i c a ld i a g n o s i s - t h ed i a g n o s i so fp a r k i n s o n sd i s e a s e ( p d ) t h er e s p e c t i v eb p d i a g n o s i sn e t w o r ki se s t a b l i s h e do nc l a s s i f y i n gt h ed i a g n o s i si n d i c a t o r so fp a r k i n s o n sd i s e a s e f i r s t l y , w ec a l c u l a t ee a c hk i n do fd i a g n o s i sn e t w o r k ，a n dt h e ni n t e g r a t ea l lt h er e s u l t st og e ta f i n a lj u d g m e n t c o m p a r e dw i t ht h ec o n v e n t i o n a ln e t w o r k ，o u rr e s u l t ss h o wt h a tt h ec o r r e c t d e t e c t i o nr a t eo fp a r k i n s o n sp a t i e n t sa n dn o n p a r k i n s o n s p a t i e n t s i s i n c r e a s e d ，a n dt h e m i s d i a g n o s i sr a t eo fp a r k i n s o n sp a t i e n t sa n dn o n - p a r k i n s o n sp a t i e n t si sr e d u c e di nt e s t s a m p l e s t w o t y p i c a li n n o v a t i o n si nt h i sp a p e r a r ep r e s e n t e db e l o w ： ( 1 ) t od e t e r m i n et h en u m b e ro fb pn e u r a ln e t w o r k sh i d e rl a y e ru n i t s ，am e t h o do f d e t e r m i n i n gt h eb e s tn u m b e ro fh i d e rl a y e ri sp r o p o s e d , w h i c hi sn a m e db o u n d a r yn u m b e r s l i m i t i n gt h en u m b e ro fh i d e rl a y e ru n i t s t h i sm e t h o do p t i m i z e st h es t r u c t u r eo fb pn e u r a l n e t w o r k se f f e c t i v e l ya n di ti sp r o v e nt ob ef e a s i b l ea n ds u p e r i o r ( 2 ) t h em e t h o do fm o d u l a r i z i n gn e t w o r ki sa p p l i e dt om e d i c a ld i a g n o s i sm o d e lo f p a r l f i n s o n sd i s e a s ef o rt h ef i r s tt i m e w i t hf u r t h e ro p t i m i z a t i o nb yt h em e t h o do fb o u n d a r y n u m b e r sl i m i t i n gt h en u m b e ro fh i d e rl a y e ru n i t s ，t h em o d u l a r i z e dn e t w o r ki sp r o v e nt ob e f e a s i b l ei np r a c t i c a la p p l i c a t i o n s k e yw o r d s ：n e u r a ln e t w o r k s ，m e d i c a ld i a g n o s i s ，b pn e u r a ln e t w o r k s ，h i d e rl a y e r , e r r o r , m o d u l a r i z i n gn e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得天津理工大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 厶少 学位论文作者签名：m 匕4 、签字日期：冽年 ，月日 学位论文版权使用授权书 本学位论文作者完全了解 天盗理工大学有关保留、使用学位论文 的规定。特授权天生理工大学可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 ( 保密的学位论文在解密后适用本授权说明) 学位4 - 文e4 - g , - 名：；忱土、导师签名：勺。伊_ 矛 签字日期：砌7 年，月“日签字日期：矽7 年，枷日 第一章绪论 1 1 引言 第一章绪论 在信息技术的推动下，计算机及人工智制1 】技术飞速发展并不断完善，其分支人工 神经网络( 简称神经网络) 是- - r - j 集神经科学、信息科学、计算机科学于一体的高度综 合的交叉学科，它是一种将生物神经网络在结构、功能等方面的理论抽象、简化及模拟 而构成的信息处理系统。神经网络具有良好的自适应性，自组织性，以及学习、联想、 并行分布处理和非线性变换的能力，非常适合解决实际问题，所以其应用领域在不断扩 大，它不仅可以广泛应用于工程、科学和数学领域，也可以用于医学、商业、金融和文 学等领域，同时取得了令人瞩目的进展1 2 1 ，神经网络在众多领域的广泛应用，使其极具 吸引力。 而现代医学总是受益于高科技的发展，各种前沿技术使医学得到了飞快的发展。神 经网络应用于医学领域亦有近3 0 多年的历史，但只是在最近1 0 余年才有较快的发展。 目前国内外有相当多的研究者在探讨神经网络在医学工作中的应用。神经网络在医学的 三个主要应用领域为：药学、临床诊断及预防医学，在临床诊断工作中医生大多是凭借 一些临床资料如患者症状，体征以及各种检查结果根据临床经验得出结论，但是哪些资 料应该着重考虑，哪些只作次要考虑，各个医生的意见有时很不一致。究其原因还是个 人的经验决定他们对各种资料所给的“权重”不同所致，人脑容量虽大但是对大样本量 的资料整合功能却较差，由此可以看出临床中的医学诊断问题非常复杂。而神经网络在 这一方面有较强的优势，它能够通过大量样本的学习最终获得诊断疾病的能力。所以， 医学诊断问题求解的复杂性及神经网络自身的优势，为神经网络的进一步发展提供了一 块肥沃的上地。神经网络所具有的优点和特性使得它成为医学诊断研究的有效工具。只 要建立适当的神经网络模型，确定数据完整的训练样本，经过网络模型来训练医学专家 的知识和经验，便可以使操作智能化、自动化，并具有较高可信度，将极大减轻医务人 员的工作负担，神经网络在医学诊断领域具有很大的发展潜力。 1 2 研究目的和意义 目前，在医学上常用的诊断方法，是根据各种医疗仪器对病人的检查结果，由医生 凭借自己所掌握的病理学知识和多年积累的经验，对病情进行分析和判断，从而得出诊 断结果。由于这种诊断方法受主观因素影响比较大，诊断结果的正误与医生的医疗水平 密切相关。同时，每一专科的疾病常常存在多种类型，每种疾病的相关因素很多。由于 对影响疾病的各种因素的作用机制了解得不够清楚，加上种种原因，有些病人的病例数 据不完整，而且某些项上还有可能出现错误。 虽然我国拥有一定数量的医学专家，但相对于各个医院，特别是中、小型及偏远地 第一章绪论 区的医院，专家的数量很少。这导致各种疑难病症的误诊率一直居高不下，给患者及家 属带来许多的痛苦和遗憾。 而应用神经网络这一智能的诊断方法，能够排除各种人为因素，得到准确、客观的 诊断结果。但是对医学数据若用传统的线性处理模式通常不太好处理，在众多的神经网 络模型中，b p 神经网络具有良好的模式分类能力，对非线性模型的学习能力较强，并 且具有较高的容错性能，正好能克服传统医学模型在这些方面的不足，很适合模式识别、 疾病诊断等问题，因此b p 神经网络为医疗诊断和医学研究提供了有效工具。 基于神经网络的医学诊断系统的系统知识获取的特点是向现实世界学习，它是将大 量的样本( 病例) ，通过特定的学习算法得到网络各种神经元之间的连接权而获得的。 这种方式与人脑存贮知识十分相似，具有联想、并行处理和容错的功能，可以将医疗智 能诊断系统提高到一个新的水平。然而，目前用这种方法建立医疗诊断系统的成果仍是 有限的，多数神经网络在医学诊断应用中还存在训练时间长、精确度不够高等缺陷，如 何扩大神经网络的学习能力，以及如何提高学习精度和运算速度都是急需解决的问题。 如果这些问题得以解决，将可以节省大量资金、减轻病人的痛苦，对于偏远地区来说， 还可以缓解医学专家贫乏的困难，从而促进医学的发展。 1 3 研究内容 神经网络在医学诊断中的应用研究内容包括两个方面：神经网络算法理论研究和其 在医学诊断中的应用研究。这两个密切相关的研究内容相辅相成，前者为后者提供理论 依据，后者以前者为基础，同时又为前者提供实践指导。虽然在医学诊断中b p 神经网 络是应用最为广泛的，但是，b p 神经网络学习算法在医学诊断的应用中还存在收敛速 度慢、隐含层单元数难以确定等缺陷，本文围绕这些问题进行了详细分析和探讨，有针 对性的提出了解决方案，并应用于具体的医学诊断实例。 除本章绪论内容外，本课题其余章节研究内容如下： 第二章基本理论，充分分析神经网络理论、医学诊断、神经网络在医学诊断的应 用研究。 第三章b p 神经网络及其结构设计优化，针对在医学诊断中应用最广泛的b p 神经 网络展开研究，详细分析b p 神经网络的结构及学习规则；其次针对该网络收敛速度慢 及隐含层单元数难以确定的缺陷，提出了一种确定最佳隐含层单元数的方法边界数 限定确定隐含层单元数的方法，并验证了这种方法的可行性；最后提出将模块化网络应 用于神经网络诊断模型中，在第四章中加以验证。 第四章b p 神经网络应用于帕金森病的诊断，在第三章对模块化网络分析总结的基 础上，将上述优化的b p 神经网络结构及模块化网络应用于医学诊断的具体实例帕 金森病的诊断，通过将诊断指标分类，依次称为诊断一、二、三、四、五、六。各类诊 断网先单独测定，然后再将它们各自的结果综合起来得出最后的判断。结果表明：相对 于未改进的网络，该方案提高了帕金森患者和非帕金森患者的正确检出率，降低了帕金 森患者和非帕金森患者的误诊率。 第一章绪论 第五章总结与展望，基于神经网络在医学诊断中的发展，总结全文的思想，并就 神经网络的医学诊断发展前景进行了更进一步的讨论及展望。 第二章基本理论 2 1 神经网络简介 第二章基本理论 神经网络【3 击 ( n e u r a ln e t w o r k ) 是计算机技术与脑科学结合的产物，它是由大量简单 的基本单元神经元相互连接，模拟人脑处理信息的方式，进行并行分布处理的非线 性网络系统。神经网络处理信息不是运用数学方式作精密计算，而是直接用数据或信号 样本对神经网络进行训练，使其具有类似人脑的记忆、辨别能力、完成各种信息处理的 功能。神经网络具有良好的自适应性，自组织性，以及学习、联想、并行分布处理和非 线性变换的能力，具有较强的容错性和鲁棒性，在样本缺损和参数漂移的情况下，仍能 保证稳定的输出。这使得神经网络可以应用于模式识别、聚类、分类、函数仿真、预测、 优化、图像处理、虚拟现实、语音识别和自动控制1 7 j 等众多领域。 2 1 1 神经网络的发展历史 神经网络的发展是曲折的，从萌芽期到目前，几经兴衰。可以将其发展历史大体上 分成：萌芽期、第一高潮期、低潮期、第二高潮期和再认识与应用研究期。 ( 1 ) 萌芽期 神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，这一时期截止到 1 9 4 9 年【引。 1 8 9 0 年，美国生理学家w j a m e s 出版了p s y c h o l o g y ) ) 一书，首次阐明了人脑的 结构及其功能，以及一些学习、联想、记忆的基本规则。书中指出：人脑中当两个基本 处理单元同时活动或者两个单元靠得比较近时，一个单元的兴奋会传递到另一个单元， 而且一个单元的活动程度与其周期活动单元的数目和活动密度成正比，这个观点后来被 证明是正确的l 引。 1 9 4 3 年，美国心理学家w s m c c u l l o c h 和数学家w p i t t s 在分析、总结神经元基 本特性的基础上，首先从信息处理的观点出发，合作提出了一种简单的人工神经元数学 模型，简称为m p 模型，在该模型中，神经元的活动表现为两个状态，即“兴奋 和 “抑制 ，该状态由来自其他神经元的激励输入的大小和神经元的阈值所决定，并且证 明了用m p 模型能完成任意有限的逻辑运算1 1 。后来m p 模型经过数学家的精心整理 和抽象，最终发展成一种有限自动机理论，再一次展现了m p 模型的价值。此模型沿 用至今，直接影响着这一领域研究的进展【6 j 。 1 9 4 9 年，心理学家d o h e b b 发表了论著t l l eo r g a n i z a t i o no fb e h a v i o r ) ) ，提出 了很多有价值的观点，特别是他认为在一个神经网络里信息是分布式地存储在突触连接 的权值中，而权值可以通过网络的学习来调整【1 。h e b b 同时提出了网络学习的规则， 该规则后来被称为h e b b i a n 规则，从而使神经网络具有了可靠性。h e b b 的工作对后来 第二章基本理论 的神经网络结构和算法产生了很大的影响，目前一些神经网络的学习规则仍采用 h e b b i a n 规则或它的改进型规则。 ( 2 ) 第一高潮期 1 9 5 8 年，f r o s e n b l a t t 提出了“感知器 ( p e r c e p t r o n ) 模型，用于模拟一个生物 视觉模型，第一次从理论研究转入了工程实践阶段【1 2 l 。这是第一个真正的神经网络，因 为它在i b m 7 0 4 计算机上得到了成功的模拟。最初感知器的学习机制是自组织的，响应 的发生与随机的初始值有关，后来加入了训练过程，这与后来的b p 算法和k o h o n e n 自 组织算法类似。当时，世界上不少实验室仿效感知器，设计出各种各样的电子装置。 1 9 5 9 年b w i d r o w 和m h o f f 发表了论文 a d a p t i v es w i t c h i n gc i r c u i t s ) ) ，提出了 自适应线性元件网络，简称为a d e l i n e ，a d a l i n e 实质上是一个两层前馈感知机型网络， 它成功地应用于自适应信号处理和雷达天线控制等连续可调过程，因此成为第一个用于 实际问题的神经网络。 1 9 6 2 年，r o s e n b l a t t 出版了一本名为“t h ep r i n c i p l e so f n e u r od y n a m i c s 的书，书 中详述了他的感知器。感知器具有输入层、输出层和中间层，它可以模仿人的特性，并 用它作了实验。1 9 6 7 年，s t e p h e ng r o s s b e r g 通过对生理学的研究来开发神经网络模型， 提出一种网络称作a v a l a n c h e ( 雪崩网) ，这种网络可以执行连续语声识别和控制机器人手 臂的运动。 ( 3 ) 低潮期 1 9 6 9 年，m a r v i nm i n s k y 和m e y m o u rp a p e r t 发表了专著，名为 p e r c e p t r o n s ) ) ，该 书指出，简单的神经网络只能进行线性分类和求解一阶谓词问题，而不能进行非线性分 类和解决比较复杂的高阶谓词问题，如x o r 、对称性判别和宇称等问题【1 3 j 。在当时的 技术条件下，解决此类问题是及其困难的。该书在学术界产生正反两方面的影响，它的 副作用促使2 0 世纪6 0 年代人们对神经网络研究的热情骤然下降，迅速转入低潮。 1 9 7 1 年，芬兰的t u e v ok o h o n e n 开始从事随机连接变化表的研究工作。从1 9 7 2 年 开始，他很快集中到联想记忆( 相关矩阵) 方面【1 4 l 。近几年，k o h o n e n 已经将l v q 应用到 语音识别、模式识别和图像识别上面。 1 9 6 8 年，j a m e sa n d e r s o n 从具有基于神经元突触的激活联想记忆模型的a n s 模型 开始工作。1 9 7 3 年和1 9 7 7 年又把l a m 应用到诸如识别、重构和任意可视模式的联想 这样的问题上【1 5 l 。1 9 7 7 年，a n d e r s o n ，s i l v e t s t e i n 等人在l a m 工作又有了重要进展， 通过加正水平反馈，使用误差修正学习和用斜坡函数代替阈值函数，建立起称为 b s b ( b r a i n s t a t e i nab o x ) 的模型。 1 9 8 0 年，b o s t o n 大学的s e p h e ng r o s s b e r g 和g a i lc a r p e n t e r 发表了一种自适应响理 i 仑( a r t ) t 1 6 l 。同时，东京n h a 广播科学研究实验室大阪大学教授k u n i h i k of u k u s h i m a 博士提出了一个称为“n e o c o g n i t r o n ”的神经网络结构，n e o c o g n i t r o n 是一个视觉识别机 制，它与生物视觉理论相符合。 ( 4 ) 第二高潮期 神经网络研究的第二次高潮到来的标志是美国加州理工学院生物物理学家j o h nj h o p f i e d 的两篇重要论文分别于1 9 8 2 年和1 9 8 4 年在美国科学院院刊上发表【1 7 l ： 第二章基本理论 1 9 8 2 年，j o h nj h o p f i e d 提出循环网络并将l y a p u n o v 函数引入神经网络，作为网 络性能判定的能量函数，阐明了神经网络与动力学的关系，用非线性动力学的方法来研 究神经网络的特性建立了神经网络稳定性的判别依据，指出信息被存放在网络中神经 元的联接上。实际上，这里所指的信息是长期存储的信息。这是一个突破性的进展。 1 9 8 4 年，j o h nj h o p f i e d 设计研制了后来被人们称为h o p f i e d 网的电路，它较好地 解决了著名的t s p 问题，找到了最佳解的近似解，引起了较大的轰动。在1 9 8 4 年，a t & t b e l l 实验室宣布第一个硬件神经网络芯片是在利用h o p f i e l d 理论的基础上实现的。 m c c l e l l a n d 和r u m e l h a r t 是认知心理学家。1 9 8 1 年和1 9 8 2 年经过他们的共同努力， 设计了交互激活模型的第一个a n s 变化表，它被用来解释词的识别。后来，推广到其 它的a n s 结构，并用于并行分布式处理( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ，p d p ) 来描述他 们的工作，引起了许多其他研究人员的兴趣。1 9 8 6 年他们提出了多层网络的误差反传算 法( b a c kp r o p a g a t i o n ，简称为b p 算法) 。 ( 5 ) 再认识与应用研究期 1 9 8 7 年6 月在美国召开了第一届神经网络国际会议并成立了国际神经网络学会，美 国于1 9 8 8 年开始一项投资数亿美元的发展神经网络及其应用研究的八年计划。此后许 多国家也相应地制定了发展神经网络的计划，使得在世界范围内掀起了神经网络研究的 高潮。 进入2 0 世纪9 0 年代后，神经网络的国际会议接连不断，特别是1 9 9 4 年国际电气 工程师与电子工程师学会( i e e e ) 在美国奥兰多召开了全球计算智能大会( w c c l ) ，将模糊 系统、神经网络和进化计算三个方面的内容综合在一起召开，大大地加快了神经网络与 其他学科领域的交叉研究与应用。这期间出现了许多新的神经网络模型，如细胞神经网 络模型( 1 9 8 8 年) 、因素神经网络模型( 1 9 9 2 年) 、混沌神经网络、模糊神经网络和小波神 经网络等。 我国的神经网络研究开始于1 9 8 8 年，在基础理论与应用领域方面都取得了一系列 重要成果。1 9 8 9 年在广州召开了全国神经网络信号处理会议，1 9 9 0 年我国8 个一级 学会联合召开了首届全国神经网络学术会议( 北京) ，并决定以后每年召开一次。特别是 1 9 9 2 年国际神经网络学会和i e e e 神经网络委员会联合学术会议在北京召开，极大地推 动了神经网络在我国的开展与研究。国家自然科学基金与国防科技预研基金也都把神经 网络的研究列入课题指南，对中选课题提供资助。这标志着我国神经网络的研究工作者 第一次大规模地走向世界，这必将会进一步推动我国的神经网络研究。 2 1 2 神经网络的分类 人工神经元是神经网络中的基本处理单元，它是一个近似模拟生物神经元的数学模 型，它通过与其相连的其他神经元接收信息。神经网络就是由许多简单单元组成的广泛 并行互连的网络，它的组织能够模拟生物神经系统的真实世界物体做出交互反应 ( k o h o n e n 定义) ，它是在物理机制上模拟人脑信息处理机制的信息系统，是一个具有高 度非线性的超大规模连续时问动力系统，具有网络的全局作用、大规模并行分布处理和 联想学习能力。 第二章基本理论 目前神经网络的模型已经有5 0 多种，为了研究方便，通常可按以下五个原则进行 神经网络的分类i7 j ( 1 ) 按网络结构分类：前馈型和反馈型网络； ( 按网络的性质分类：连续性、离散性、确定性和随机性网络： ( 3 ) 按网络学习方式分类：有导师和无导师( 包括自组织学习) 学习； ( 4 ) 按突触连接的性质分类：一阶线性关联网络和高阶非线性关联网络： ( 5 ) 按对生物神经系统的层次模拟分类：神经元层次模型，组合式模型，网络层次 模型，神经系统层次模型和智能型模型。 通常，人们较多考虑神经网络的互连结构。一般而言，神经网络有分层网络，层内 连接的分层网络，反馈连接的分层网络，互联网络等四种结构。 2 1 3 神经网络的特点 神经网络的模型很多，它们具有共同的基本特性【2 l ： ( 1 ) 分布式存储信息 神经网络存储信息的方式与传统计算机的思维方式是不同的，一个信息不是存储在 一个地方，而是分布在不同的地方。网络的某一部分也不只存储一个信息，它的信息是 分布式存储的。神经网络通过大量神经元之间的连接及对各连接权值的分布来表示特定 的信息，因此这种分布式存储方式即使局部网络受损，仍具有恢复原来信息的特点，即 具有很强的“鲁棒性和“容错性 。 ( 2 ) 自适应性 神经网络的自适应性是指整个神经网络进行自我调节的能力，它包含四个方面的含 义，即：学习、自组织、泛化及训练。 学习是指根据与环境的相互作用而发生的行为改变，其结果导致对外界刺激产生反 应的新模式的建立。一般地，当神经元之间的连接权值得到调整时，我们就说它正在学 习。神经网络中各神经元之间的连接强度用权值的大小来表示，这种权值可以事先给出， 也可以根据周围环境而自适应地修改、变化，这种过程称为神经元的学习过程。神经网 络所具有的学习过程模拟了人的形象思维方法，是与传统符号逻辑完全不同的一种非逻 辑语言的方法。 自组织是指许多神经元按照一定的规则同时进行改进。神经网络进行迭代修正的过 程如同积累经验的过程；泛化能力也称推广能力，是指网络对以前未曾见过的输入做出 反应的能力。泛化本身具有进一步学习和自调节的能力；训练是指神经网络进行学习的 途径。我们经常将“学习 和“训练 这两个概念混合使用。 ( 3 ) 并行性 神经网络的每个神经元都可根据接收到的信息进行独立的运算与处理，然后将输出 结果传输给其他神经元进行同时( 并行) 处理。而传统计算机处理信息的方式为串行处理， 计算与存储是完全独立的两部分，这样存储器与运算器之间的通道就成了计算机的瓶 颈，大大限制了它的运算能力。 ( 4 ) 联想记忆功能 第二章基本理论 神经网络在训练过程中，输入端给出要记忆的模式，通过学习合理地调节网络中的 权值，网络就能“记住 所有的输入信息。执行时，若在网络的输入端输入被噪声污染 的信息或者是不完整、不准确的信息片段，在输出端仍可得到恢复了的完整而准确的信 息。 2 1 4 神经网络的实现 神经网络模型可以通过硬件实现，也可以通过软件模拟。对医学工作者而言，后者 更为可行1 1 8 】。 m a t l a b ( m a t r i xl a b o r a t o r y ) 是m a t h w o r k s 公司开发的，是目前国际上最流行、 应用最广泛的科学与工程计算软件，它以强大的科学计算与可视化功能、简单易用、开 放式可扩展环境，特别是所附带的3 0 多种面向不同领域的工具支持，使得它在许多科 学领域中成为计算机辅助设计和分析、算法研究和应用开发的基本工具和首选平台。 m a t l a b 由基本部分和功能各异的工具箱组成。基本部分是m a t l a b 的核心，工 具箱是扩展部分。实际上工具箱是用m a t i a b 的基本语句编成的各种子程序集，用于 解决某一方面的专门问题或实现某一类的新算法。m a t l a b 的工具箱可以任意增减， 不同的工具箱给不同领域的用户提供了丰富强大的功能。任何人可以自己生成 m a t l a b 工具箱，所以很多研究成果被直接做成m a t l a b 工具箱发布。m a t h w o r k s 本身提供的工具箱有4 0 多个，还有其他公司或研究单位提供的工具箱，另外成百个上 千个大多是免费的m a t l a b 工具箱可以从i n t e m e t 网上获得。 目前，已经有一些比较成熟的神经网络软件包。其中，应用最为广泛的软件包之一 就是m a t l a b 中的神经网络工具箱( n e u r a ln e t w o r kt c l o l b o x ) 。自从m a t l a b5 x 提 供了该工具箱后，它已成为工程人员进行神经网络分析与设计的首选。该工具箱随着 m a t l a b 版本的发展，自身也在不断完善与提高，m a t l a b 的神经网络工具箱主要应 用于：b p 神经网络，h o p f i e l d 网络，k o h o n e n 网络，径向基函数网络，竞争、线性、s i g m o i d a l 等传递函数，前馈、递归等网络结构，性能分析及应用，自组织网络等【1 9 】。 2 2 神经网络的应用 2 2 1 神经网络的应用概况 神经网络在很多领域都得到了广泛的应用，特别是在人工智能、模式识别、自动控 制、计算机科学、信息处理、机器人、c a d c a m 等方面都有重大的应用实例。下面列 举一些主要的应用领域f 2 0 ，2 1 1 。 ( 1 ) 模式识别和图像处理 印刷体和手写体字符识别、语音识别、签字识别、指纹识别、人体病理分析及诊断、 目标检测与识别、图像1 2 2 】压缩和图像复制等。 ( 2 ) 控制和优化 化工过程控制、机器人运动控制、家电控制、半导体生产中搀杂控制、石油精炼优 第二章基本理论 化控制和超大规模集成电路布线设计等。 ( 3 ) 预报和职能信息管理 股票市场预测、地震预测、有价证券管理、借贷风险分析和交通管理。 ( 4 ) 空间科学 空间交汇对接控制、导航信息智能管理、飞行器制导和飞行程序优化管理等。 ( 5 ) 通信 自适应均衡、回波抵消、路由选择和a t m 网络的呼吸接纳识别和控制等。 神经网络的应用取得了令人瞩目的发展，我国于1 9 8 9 年在北京召开了一个非正式 的神经网络会议；1 9 9 0 年在北京召开了中国神经网络大会；1 9 9 1 年在南京成立了中国 n n 学会，由国内1 5 个一级学会共同发起“携手3 智能，联盟大攻关 的8 6 3 高技术研 究计划。1 9 9 0 年我国的8 6 3 高技术研究计划批准了关于人工神经网络的三项课题，自然 科学基金与国防科技预研基金也都把神经网络的研究列入选题指南，对中选的课题提供 研究资助。日本通产省在1 9 8 8 年也提出了所谓人类尖端科学计划，即所谓的第六计算 机计划，研制能模拟人类只能行为的计算机系统。法国提出了“尤里卡 计划，还有德 国的“欧洲防御 和前苏联的“高技术发展等等。 2 2 2 神经网络在医学诊断中的应用 ( 1 ) 医学诊断概念 医学诊断是医务人员根据病人的病史、症状、检查结果等信息进行归纳整理，经过 综合分析，得出病因的一个过程1 2 3 1 ，每天都有许多人在做这个普通而重要的工作。正确 的诊断是防治疾病的重要依据，快速地给出一个可靠、一致的诊断结果显然是很重要的。 推理是诊断的一个重要部分，但由于医生往往凭借自己所掌握的病理学知识和多年 积累的经验得出诊断结果，受主观因素影响比较大【2 4 1 ，医生对症状或病情描述的错误推 理是造成误诊的一个主要原因。当碰到不知道的或不是充分理解的领域知识时，专家们 经常依靠经验来解决问题。医学专家常常不能精确知道他们是怎样得出诊断结果的，所 以很多人认为诊断很难实现自动化和形式化。很多领域的知识很难推理或给出形式化的 描述，这意味着很难建立一个准确的模型或算法。 医学专家在解决问题过程中，有时并不能准确解释为什么他要这样做，他们的本领 来自学习和经验的积累。他们检查的对象通常十分复杂并且不是完全可以了