（无线电物理专业论文）人工神经网络在电子设备自动控制方面的研究与应用.pdf

摘要 摘要 智能型日用电器是电器发展的方向之一。应用人工神经网络或模糊人工神经 网络来实现电器的智能控制，具有功能强大、适应性强等特点。家用电器的控制 相对而言较为简单，但是目前工业上所使用的人工神经网络采用大规模现场可编 程门阵列( f p g a ) 实现，造价高并不适用于一般电器的应用。常见的软件法人 工神经网络大多采取在数学软件m a t l a b 的平台上进行，难以移植n d , 型电器中。 本论文研究的内容在于，研究一种基于简单的模拟电路以实现电器设备的人工 神经网络控制。它有如下特点：满足电器设备的自动控制的基本要求；结构简单， 造价低廉，经济实用性强；学习训练简单，便于操作，适合于规模化生产；具有 通用特性，即通过不同的学习训练可以满足不同的应用要求。 本课题研究过程中利用p s p i c e 电路仿真软件进行电路的建模、仿真及优化设 计。论文中分别对非线性函数产生器电路、加法器电路和模拟乘法器电路利用 p s p i c e 仿真软件进行了建模、仿真和优化，最终达到了理想的效果。p s p i c e 电路 仿真软件方便快捷，利用仿真结果指导实验，达到了事半功倍的效果。 人工神经网络的训练是本论文的关键工作之一。人工神经网络的训练可以分 为硬件与软件混合方法以及单纯的软件训练方法。单纯的软件训练方法又可以分 为电路仿真软件优化法和自编程训练方法。本文用自编程方法对人工神经网络的 硬件电路进行训练。训练程序具有通用性，便于相关人员根据不同的应用需求设 置不同的参数，从而得到所需的训练结果。这是本论文的一大特色。 本论文中的人工神经网络采用模拟电路来实现，各部分的电路可由加法器电 路和乘法器电路构成。l m 3 2 4 是四运放集成电路，功耗小、价格低廉，可用于构 成加法器电路和乘法器电路。n j m 4 2 0 0 是集成模拟乘法器，体积小、价格低廉， 而且具有非线性、失调和失真三种补偿特性，是构成人工神经网络整体电路的关 键器件。本文最终利用加法器电路和乘法器电路构成满足要求的人工神经网络整 体电路。本论文的成果在于给出了一种结构简单，成本低，学习训练的程序具有 通用性，便于生产厂家大规模生产的人工神经网络整体电路的设计方案。 关键词：人工神经网络，p s p i c e ，运算放大器，加法器，乘法器 a b s t r a c 叮 a bs t r a c t o n eo ft h ee l e c t r i c a la p p l i a n c e sd e v e l o p m e n tt r e n di sa p t i t u d e b yu s i n ga r t i f i c i a l n e u r a ln e t w o r k ( a n n ) o ri l l e g i b i l i t ya r t i f i c i a ln e u r a ln e t w o r k , w ec a l lg e tt h ee l e c t r i c a l a p p l i a n c e sa p t i t u d e i t sf e a t u r e sa r et h a ti th a sm a n y f u n c t i o n sa n dc a l lb ee a s yt oa d a p t t h ec o n t r o lo fh o u s e h o l de l e c t r i c a la p p l i a n c ei sr e l a t i v e l ye a s y n o wa n nf o ri n d u s t r y u s e sf p g aa n di t sd i s a d v a n t a g ei se x p e n s i v e s oi ti sn o ts u i t a b l ef o rt 1 1 ee l e c t r i c a l a p p l i a n c e a n nb yu s e do fs o f t w a r e i su s u a l l yw o r k e da tt h ep l a t f o r mo fm a t l a b s o i t sd i m c u l tt ot r a n s l a t ei tt ot h es m a l le l e c t r i c a la p p l i a n c e i nt h i sp a p e r , s i m p l ea n a l o gc i r c u i ti su s e dt or e a l i z ea n no ft h ec o n t r o lo f e l e c t r i c a la p p l i a n c e i t sf e a t u r e sa sf o l l o w s ：i tc a l ls a t i s f yt h eb a s i cr e q u i r e m e n to f t h e c o n t r o lo fe l e c t r i c a la p p l i a n c e ；i t ss t r u c t u r ei ss i m p l ea n dt h ec o s ti sl i t t l e ；s t u d ya n d t r a i n i n gi se a s y , i t ss u i t a b l ef o rt h es c a l ep r o d u c t i v i t y ；i th a su n i v e r s a l f e a t u r et h a ti sb y d i f f e r e n ts t u d yw ec a na c h i e v ed i f f e r e n tr e q u i r e m e n t i nt h i sp a p e r , t h ea u t h o ru s e st h es o f t w a r eo fp s p i c et om o d e l ，e m u l a t ea n d o p t i m i z e n o n - l i n e a r f u n c t i o ng e n e r a t o r , s u m m a t o ra n dm u l t i p l i e ra r em o d e l e d ， e m u l a t e da n do p t i m i z e db yp s p i c e i th a sg o o dr e s u l t s t h es o f t w a r eo fp s p i c ei s c o n v e n i e n ta n ds h o r t c u t b yu s i n gt h er e s u l t s ，w ec a nd ot h ee x p e r i m e n t se f f i c i e n t l y t h et r a i n i n go fa n ni so n eo ft h ei m p o r t a n tw o r k si nt h i sp a p e r t h et r a i n i n g m e t h o do fa n ni sa sf o l l o w s ：t h et r a i n i n gb yh a r d w a r ea n ds o f t w a r e ，t h et r a i n i n go n l y b ys o f t w a r e t h et r a i n i n go n l yb ys o f t w a r ei n c l u d e ss o f t w a r eo f c i r c u i te m u l a t ea n d w r i t i n gp r o g r a mb yo n e s e l f t h eh a r d w a r ec i r c u i t o fa n ni st r a i n e db yw r i t i n g p r o g r a mb yo n e s e l f i nt h i sp a p e r t h ep r o g r a mf o rt r a i n i n gi su n i v e r s a l i ti sc o n v e n i e n t f o rs o m e o n et os e tt h ep a r a m e t e rf o rd i f f e r e n tr e q u i r e m e n t a st h i sh ec a ng e tm e t r a i n i n gr e s u l t s t h i si sag o o df e a t u r e o ft h ep a p e r i i lt l l ep a p e r , t h es u b c i r c u i to f a n nc a nb ec o m p o s e db ys u m m a t o ra n dm u l t i p l i e r l m 3 2 4i st h ei n t e g r a t e dc i r c u i to ff o u ro p e r a t ea m p l i f i e r s i th a sl i t t l ep o w e rl o s ta n d l i t t l ec o s t i tc a nb eu s e dt oc o m p o s et h ec i r c u i to fs u m m a t o ra n dm u l t i p l i e r n j m 4 2 0 0 i st h ei n t e g r a t e da n a l o gm u l t i p l i e r i th a ss m a l ls c a l e ，l i t t l ec o s ta n dc o m p l e t ec o m p e n - s a t i o nf o rn o n l i n e a r i t y , t h ep r i m a r ys o u r c eo fe r r o ra n dd i s t o r t i o n i ti st h ei m p o r t a n t c o m p o n e n t f o rc o m p o s i n gt h ew h o l ec i r c u i to fa n n a tt h el a s t ，t h ec i r c u i to fs u m m a - i i a b s t r a c t t o ra n dm u l t i p l i e ri su s e dt oc o m p o s et h ew h o l ec i r c u i to fa n nw h i c hi ss a t i s f i e dt h e r e q u i r e m e n t t h ef r u i to ft h i sp a p e ri st h a tam e t h o df o rc o m p o s i n gt h ew h o l ec i r c u i to f a n nw h i c hh a ss i m p l es t r u c t u r e ，l i t t l ec o s t ，u n i v e r s a lt r a i n i n gp r o g r a ma n di ss u i t a b l e f o r t h es c a l ep r o d u c t i v i t yi sg i v e n k e y w o r d s ：a r t i f i c i a ln e u r a ln e t w o r k , p s p i c e ，o p e r a t ea m p l i f i e r , s u m m a t o r , m u l t i p l i e r i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：士丝一金胡 日期：办衫年多月乡日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：j 益剑导师签名：牡 日期：z 力孑年多月5 日 第一章引言 第一章引言 1 1 人工神经网络的应用范围 人工神经网络的脑式智能信息处理特征与能力使其应用领域广，潜力日趋明 显。许多用传统信息处理方法无法解决的问题采用人工神经网络后取得了良好的 效果。目前人工神经网络的应用领域主要包括：信息处理领域；自动化领域；工 程领域；医学领域；经济领域【l 】。 人工神经网络作为一种新型智能信息处理系统，其应用贯穿信息的获取、传 输、接收与加工利用等各个环节。2 0 世纪8 0 年代以来，神经网络和控制理论与 控制技术相结合，发展为自动控制领域的一个前沿学科一神经网络控制，它是 智能控制的一个重要分支，为解决复杂的非线性、不确定、不确知系统的控制问 题开辟了一条新的途径。 2 0 世纪8 0 年代以来，神经网络的理论研究成果已在众多的工程领域取得了丰 硕的应用成果，例如在汽车工程、军事工程、化学工程、水利工程等领域。近年 来，我国水利工程领域的科技人员已成功地将神经网络的方法用于水力发电过程 辨识和控制、河川径流预测、河流水质分类、水资源规划、混凝土性能预估、拱 坝优化设计、预应力混凝土桩基等结构损伤诊断、砂土液化预测、岩体可爆破性 分级及爆破效应预测、岩土类型识别、地下工程围岩分类、大坝等工程结构安全 监测、工程造价分析等许多实际问题中【2 1 。 人工神经网络应用于医学领域主要包括：检测数据分析；生物活性研究；医 学专家系统。许多医学检测设备的输出数据都是连续波形的形式，这些波的极性 1 和幅值常常能够提供有意义的诊断依据。 人工神经网络在经济领域的应用主要有：信贷分析和市场预测。神经网络市 场预测在股票走势预测中也有广泛应用。 1 2 人工神经网络概况 神经网络的研究可追溯到1 9 世纪末期，其发展历史可分为4 个时期。第一个 时期为启蒙时期，开始于1 8 9 0 年美国著名心理学家w j a m e s 关于人脑结构与功 电子科技人学硕+ 学何论文 能的研究，结束于1 9 6 9 年m i n s k y 和p a p e r t 发表感知器一书。第二个时期为 低潮时期，开始于1 9 6 9 年，结束于1 9 8 2 年j j h o p f i e l d 发表著名的文章“神经网 络和物理系统 。第三个时期为复兴时期，开始于j j h o p f i e l d 的突破性研究论文， 结束于1 9 8 6 年d e r u m e l h a r t 和j l m c c l e l l a n d 领导的研究小组发表的并行分 布式处理一书。第四个时期为高潮时期，以1 9 8 7 年首届国际人工神经网络学术 会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮，至今势头 不衰。 1 9 8 2 年，美国加州理工学院的优秀物理学家j o h nj h o p f i e l d 博士发表了一篇 对神经网络研究的复苏起了重要作用的文章。他总结与吸取前人对神经网络研究 的成果与经验，把网络的各种结构和各种算法概括起来，塑造出一种新颖的强有 力的网络模型，称为h o p f i e l d 网络。他指出：对已知的网络状态存在一个正比于 每个神经元的活动值和神经元之间的连接权的能量函数，活动值的改变向能量函 数减小的方向进行，直到达到一个极小值。h o p f i e l d 网络还有一个显著的优点， 即与电子电路存在明显的对应关系，使得它易于理解且便于用集成电路来实现。 h o p f i e l d 网络一出现，很快引起半导体工业界的注意。在他1 9 8 4 年文章发表 后的三年，美国电话与电报公司的贝尔实验室声称利用h o p f i e l d 理论首先在硅片 上制成硬件的神经计算机网络，继而仿真出耳蜗与视网膜等硬件网络。 1 9 8 7 年，首届国际神经网络学术会议在美国加州圣地亚哥召开，这标志着世 界范围内掀起了神经网络开发研究的热潮。在会上成立了国际神经网络学会。自 1 9 8 8 年起，国际神经网络学会和国际电气工程师与电子工程师学会联合召开了每 年一次的国际学术会议。神经网络研究再度掀起高潮，除了神经科学研究本身的 突破和进展之外，更重要的动力是计算机科学和人工智能发展的需要，以及v l s i 技术、生物技术、超导技术和光学技术等领域的迅速发展为其提供了技术上的可 能性。 从1 9 8 7 年以来，神经网络的理论、应用、实现及开发工具均以令人振奋的速 度快速发展。神经网络理论已成为涉及神经生理科学、认知科学、数理科学、心 理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科交叉、综 合的前沿学科。神经网络的应用己渗透到模式识别、图像处理、非线性优化、语 音处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得 了令人瞩目的成果。与此同时，美国、日本等国在神经网络计算机的硬件实现方 面也取得了一些实实在在的成绩。 国内已有文献报道了人工神经网络在压力传感器中的应用【3 】。利用c 型布尔 2 第一章引言 登管传感器实现压力的计算机检测，在考虑成本、测量精度等情况下，利用人工 神经网络实现压力与输出量值的非线性映射。 近年来，喷灌、微灌等一些新型灌溉技术在我国得到广泛应用，以8 0 5 1 单片 机为核心的全自动模糊智能灌溉控制器，能根据土壤湿度传感器检测到的水分状 况，通过模糊控制规则对电磁阀执行有效地控制，同时该控制器可以按设定周期 进行定时灌、溉【训。 目前，国外栽培技术设施比较先进的国家已经实现按照作物生长的最适宜生 态条件，在现代化温室内实现作物的自动灌溉和自动施肥。而这一节水高效的先 进农业技术在我国还处于起步阶段。文献【5 】中介绍了一套用单片机实现的自动灌 溉、自动施肥及营养液浓度自动控制的微灌系统，可以通过用户界面输入控制指 令、监控系统工作、查询系统信息等，且该系统构成简单，价格低廉。 已有有关文献报道了用连续h o p f i e l d 网络实现无限时域上的最优控制问题【6 】。 为避免直接采用r i c c a t i 方程求解时变系统无限域最优控制问题时的计算困难，有 关学者提出了一种基于时间连续状态连续型h o p f i d d 网络( c t c s h n n ) 实现无 限域动态最优控制的方法。该方法通过建立c t c s h n n 能量函数与移动域控制指 标间的等价关系，可在线构建c t c s h n n 。理论分析表明，依据该方法设计的 c t c s m 附具有稳定性，而且移动域控制量可由网络稳态输出直接产生。将该方 法与滚动优化策略相结合，可实现无限时域上的闭环最优控制。 近年来最流行的算法莫过于b p 算法，即将输入信息沿网络正向传播，将误 差信号沿网络反向传播，并修正权值，从而可对多层前向神经网络，由训练样本 学习输入输出映射，它使用了优化中最普遍的梯度下降法来实现输入空间到输出 空间的非线性变换。由于生物神经网络的复杂性和多样性，仿生物神经网络的人 工神经网络，尽管其理论研究取得了可喜的进展，但硬件实现较困难。鉴于此， 有人提出了以切彼雪夫( c h e b y s h e v ) i - _ 交基函数神经网络为基础，并用一种以单片 机为基础的神经网络硬件实现方法【7 】。 在人工神经网络中，传统观点认为，生物神经中的突触变化可用节点间连接 权值的变化加以表征。事实上，突触的变化不仅表现为节点间连接权值的变化， 而且突出地表现为节点本身特性的变化，即节点函数的变化。节点函数的变化反 映在生物系统中，就是发育过程中神经细胞内部构造的变化。近年来，人们注意 到可以从函数逼近出发，采用输入直接通过非线性映射成为输出的神经元，非线 性映射函数可取自径向基函数集、正交多项式集和傅立叶基函数集等集合。有关 学者研究的余弦基神经网络模型【8 】，不仅符合生物神经细胞的基本特征，而且该 电子科技人学硕+ 学位论文 模型学习收敛速度快，具有任意逼近非线性映射的优异特性，此外，该模型拓扑 结构简单，易于电路集成。 1 3 论文主要内容及结构安排 本课题是广东省教育部产学研的一个项目，由电子科技大学和广东省汕头市 夏野电器有限公司共同承担。智能型日用电器是电器发展的方向之一。应用人工 神经网络来实现电器的智能控制具有功能强大、适应性强等特点。本论文研究的 内容在于，研究一种基于简单的模拟电路以实现电器的人工神经网络控制，满足 了国民经济发展的需要，促进了国内家用电器在控制技术方面的进步。本论文结 构安排如下： 第二章：人工神经网络理论； 第三章：利用p s p i c e 软件对a n n 各部分电路进行仿真； 第四章：利用自编程法对a n n 进行训练； 第五章：基于l m 3 2 4 和n j m 4 2 0 0 的a n n 各部分电路及整体电路实现； 第六章：对论文工作的总结，并对下一步工作做了展望。 4 第二章人 i 神经网络理论 第二章人工神经网络理论 2 1 人工神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 是近年来再度兴起的一个高科技研 究领域，也是信息科学、脑科学、神经心理学等多种学科近年来研究的一个热点。 作为连接主义方法的先导性技术，人们试图通过对它的研究最终揭开人脑的奥秘， 建立起能模拟人脑功能和结构的智能系统，使计算机能够像人脑那样进行信息处 理。人工神经网络的脑式智能信息处理特征与能力使其应用领域日益扩大，潜力 日趋明显。许多用传统信息处理方法无法解决的问题采用人工神经网络后取得了 良好的效果。 2 1 1 什么是人工神经网络 迄今为止的各代计算机都是基于冯诺依曼工作原理：其信息存储与处理是分 开的，即存储器与处理器相互独立；处理的信息必须是形式化信息，即用二进制 编码定义的文字、符号、数字、指令和各种规范化的数据格式、命令格式等等： 而信息处理的方式必须是串行的，即c p u 不断地重复取址、译码、执行、存储这 四个步骤。这种计算机的结构和串行工作方式决定了它只擅长于数值和逻辑运算。 人们把通过分子和细胞水平的技术所达到的微观层次与通过行为研究达到的 系统层次结合起来，形成了对人脑神经网络的基本认识。在此基本认识的基础上， 以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简 化模型，就称为人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，心烈) 。人工神经网络 。远不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与模拟。令人欣 慰的是，这种简化模型的确能反映出人脑的许多基本特性，如自适应性、自组织 性和很强的学习能力。 目前关于人工神经网络的定义尚不统一。美国神经网络学家h e c h th i e l s e n 关 于人工神经网络的一般定义是：“神经网络是由多个非常简单的处理单元彼此按某 种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响 应来处理信息的。美国国防高级研究计划局关于人工神经网络的解释是：“人工 神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网 5 电子科技人学硕+ 学位论文 络的结构、连接强度以及各单元的处理方式”。综合人工神经网络的来源、特点及 各种解释，可以简单表述为：人工神经网络是一种旨在模仿人脑结构及其功能的 脑式智能信息处理系统。 2 1 2 人工神经网络的发展简史 人工神经网络的研究从2 0 世纪4 0 年代开始，迄今已有半个多世纪的历史。 纵观神经网络的发展历史，其发展过程大致可以分为三个阶段：1 9 4 3 - - 1 9 6 9 年为 初创期；1 9 7 卜1 9 8 6 年为过渡期；1 9 8 7 年至今为发展期。 1 9 4 3 年神经心理学家m c c u l l o c h 和数学家p i t t s 提出了形式神经元的数学模 型，从此开创了神经科学理论研究的时代。1 9 4 9 年赫伯( h e b b ) 提出了改变神经 元连接强度的学习规则，即著名的h e b b 规则。1 9 5 9 年r o s e n b l a t t 提出感知器， 并用电路实现，第一次把神经网络的研究付诸工程实践，掀起了神经网络研究的 第一个高潮。 2 0 世纪6 0 年代，冯诺依曼型数字计算机正处于发展的全盛时期，人工智能 在符号处理上取得了显著成就，这些成就的取得掩盖了发展新型模拟计算机和人 工智能技术的必要性和迫切性。m i n s k y 与p a p e r t 仔细地从数学上分析了以感知器 为代表的神经网络系统的功能及局限后，于1 9 6 9 年发表了对神经网络研究产生重 要影响的“p e r c e p t r o n s ”一书，指出感知器仅能解决一阶谓词逻辑问题，不能解 决高阶谓词问题，并且给出一个简单例子，即异或( x o r ) 问题，指出该问题是 不能直接通过感知器算法来解决的。m i n s k y 在书中还指出，通过加入隐节点有可 能使问题得到解决，但他对加入隐节点后能否给出一个有效算法持悲观态度。 1 9 7 2 年芬兰人k o h o n e n 发表了一个与感知器不同的神经网络模型；1 9 7 6 年 波斯顿大学教授g r o s s b e r g 根据对生物学和心理学的研究，提出了几个非线性动 力系统结构，对神经网络的研究起到了重要的推动作用；1 9 8 0 年k o h o n e n 提出自 组织映射理论；1 9 8 2 年美国j n n 福尼亚州工学院物理学家j o h nh o p f i e l d 对神经网 络的动态特性进行了研究，引入了能量函数的概念，给出了网络的稳定性判据， 提出了用于联想记忆和优化计算的新途径。1 9 8 4 年他又提出了连续神经网络模 型，其中神经元动态方程可以用运算放大器来实现，并且用电子线路实现了该网 络的仿真，它为神经网络的工程实现指明了方向。从1 9 7 卜1 9 8 6 年，经过许多科 学家坚持不懈的努力和潜心研究，取得了突破性的重要成果，使得神经网络领域 的研究工作摆脱了困境，步入健康发展的新时期。 6 第二章人j l ：神经网络理论 2 1 3 人工神经网络国内外研究状况 2 0 世纪8 0 年代，随着人工神经网络在世界范围内的复苏，国内也逐步掀起 了研究热潮。1 9 8 9 年1 0 月和1 1 月分别在北京和广州召开了神经网络及其应用讨 论会和第一届全国信号处理神经网络学术会议；1 9 9 0 年2 月由国内8 个学会， 即中国电子学会、人工智能学会、自动化学会、通信学会、物理学会、生物学会、 生物物理学会和心理学会联合在北京召开“中国神经网络首届学术会议 。2 0 0 4 年l o 月在合肥召开的“人工神经网络学术会议”已是第1 4 届学术年会了；2 0 0 4 年8 月在中国大连召开的i s n n ( i n t e m a t i o n a ls y m p o s i u mo nn e u r a ln e t w o r k s ) 2 0 0 4 国际会议，引起了国内外神经网络研究者的广泛关注，产生了较大的影响。 在国际上，1 9 8 7 年，在美国加州召开了第一届国际神经网络学术会议，此后 每年召开的国际联合神经网络大会u q 州( i n t e r n a t i o n a lj o i n tc o n f e r e n c eo nn e u r a l n e t w o r k s ) 成为神经网络研究者的重要学术交流平台。美国国防部高等研究工程 局( d 觥) 在1 9 8 7 年8 月组织了大规模调研和论证，并于1 9 8 8 年1 1 月开始 一项投资数亿美元的发展神经网络及其应用研究的八年计划。此后许多国家也制 定了相应计划发展神经网络。2 0 世纪9 0 年代以后，神经网络的国际会议接连不 断，许多重要研究成果纷纷发表，i e e e 神经网络汇刊问世，许多期刊不断推出神 经网络专辑。 人工神经网络在智能控制、模式识别等领域中应用广泛。但是传统的基于 通用处理器的软件实现方法存在两个主要问题：一是无法实现并行计算，因为 c p u 在一个指令周期内只能执行一条指令，导致计算速度无法满足现场的实时性 需求；二是在某些嵌入式应用中( 例如手机的语音识别) 及对稳定性要求很高或 环境恶劣的应用中( 例如工业现场的控制) ，神经网络软件并不适用。为此，研究 人员提出了多种神经网络专用硬件实现的方法和技术【9 】【1 0 1 。尽管有诸多优点，神 经网络数字v l s i 实现仍面临着设计周期长的问题。针对这个问题，文献【l l 】中给 出了一种可重构的设计方法，从而搭建起神经网络快速硬件实现的平台。 在九十年代初，已有学者提出了倒置的输入与输出映射人工神经网络在作为 动力系统稳定装置方面的应用【1 2 1 。在2 0 0 0 年，国外已经有关于神经网络用于磁 性变压器铁心核心特性预测方面的报道【1 3 】。在文酬1 4 】中报道了人工神经网络在预 报天然气消耗量方面的应用。利用数字图像处理技术和人工神经网络可将细微排 泄物样本中的人体寄生虫卵进行自动检测【l5 1 。在2 0 0 3 年，文献【l6 】中报道了人工 神经网络用于控制混合功率滤波器的训练及优化方法。2 0 0 4 年，有关学者研究了 7 电子科技人学硕十学位论文 基于人工神经网络的对短周期加载的预测【1 7 1 。 特大电容是一种十分有趣的能量存储器件，国外有关学者利用人工神经网络 建立了特大电容的电的及热的特性模型【18 1 。2 0 0 6 年，文献中报道了有关学者利 用人- r - * * 经网络对石油层的临界沸腾热流量的预测进行了研究。2 0 0 7 年，在天线 的设计方面有学者利用人工神经网络在基于参数频率模型的宽频带天线的设计方 面进行了研究【2 0 1 。 2 1 4 人工神经网络的基本特点与功能 人工神经网络的基本特点主要包括：结构特点；信息处理特点；智能特点。 ( 1 ) 结构特点：它由大量功能简单的神经元组成，神经元与神经元之间由突 触相连。这种相连可以由加权来实现信息的有机传递。所谓有机传递意味着可以 实现连接的兴奋( 连接畅通) 或抑制( 连接阻断) 以及传递的强或弱。在结构上 具有可塑性。 ( 2 ) 信息处理特点：信息处理是并行的，具有高度的非线性特性和容错特性。 可以处理不精确的、不完整的、具有模糊特征的信息。信息的存储是分布性的， 并具有联想能力。 ( 3 ) 智能特点：具有自适应特性，即具备自学习和自结构能力。这是人工神 经网络的一个重要特性。人工神经网络的学习是指当外部环境发生变化时，经过 一段时间的训练和感知，人工神经网络能调整内部网络的结构参数，从而对特定 的输入产生期望的输出。 人工神经网络的基本功能主要包括：联想记忆功能；分类与识别功能；优化 计算功能；非线性映射功能。 2 2 神经元模型 在人工神经网络中，神经元常被称为“处理单元 ，有时从网络的观点出发常 把它称为“节点”。人工神经元是对生物神经元的一种形式化描述，它对生物神经 元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功 能进行模拟，并用模型图予以表达。 2 2 1 神经元通用功能模型 第二章人工神经网络理论 将一个神经元看作一个信息处理单元，抽象成如图2 - 1 所示的近似模型。其 中6 l ，也，。k 表示输入，表示输出，信号可以是连续或离散量，可以是确定 性量、随机或模糊量。 输 输出信号 图2 - 1 神经元通用功能模型 在输入区，输入函数常用的两种形式是加权和与积和： ( 1 ) 加权和形式 p i = 疋( 嵋，6 ) ；w , j b j ( 2 1 ) j 这是输入函数五最普遍采用的形式，其中w , j 表示第j 个输入分量的权值，向量 w i 昌 嵋。，r 叫做权向量。 ( 2 ) 积和形式 b 。荟魄) 9 ( 2 - 2 ) 电子科技大学硕士学位论文 即将输入信号分成k 组，每组相乘后再作加权和。 在输出区，神经元对信号进行最后一步加工并输出，一般公式为 吒一h i ( a f ) ( 2 3 ) 常用的输出函数有： ( 1 ) 恒等函数 吒。a f ( 2 ) 阈值函数 r la f 芑佛 p l o ，口； g ( 3 ) 随机函数 2 2 2 神经元的数学模型 ( 2 - 4 ) ( 2 - 5 ) 令而o ) 表示f 时刻神经元j 接收的来自神经元f 的输入信息，0 i ( f ) 表示f 时刻 神经元j 的输出信息，则神经元j 的状态可表达为 。，c r ，一， 【套u 毛c r 一，】一t ，) c 2 6 ， 式中 t ，输入输出间的突触时延； t ，神经元f 的阈值； 神经元f 到f 的突触连接系数或称权重值5 厂o 神经元变换函数。 为简单起见，将上式中的突触时延取为单位时间，则式( 2 6 ) 可写为 。，c r + 1 ，- ， 毫玎工，o ，】一t ，) ( 2 - 7 ) 2 2 3 神经元的变换函数 神经元的各种不同数学模型的主要区别在于采用了不同的变换函数，从而使 1 0 第二章人工神经网络理论 神经元具有不同的信息处理特性【2 1 1 。神经元的信息处理特性是决定人工神经网络 整体性能的三大要素之一，因此变换函数的研究具有重要意义。神经元的变换函 数反映了神经元输出与其激活状态之间的关系，最常用的变换函数有以下四种形 式。 ( 1 ) 阈值型变换函数 阈值型变换函数采用了图2 - 2 ( a ) 中的单位阶跃函数，用下式定义： ， ) = 1 | ：已 j c 2 8 ， 具有这一作用方式的神经元称为阈值型神经元，这是神经元模型中最简单的一种， 经典的m - p 模型就属于这一类。 ，讧) l l id o 工 ，q l l l 1 o 0 一i o ( a ) 单极性阈值型变换函数( b ) 双极性阈值型变换函数 图2 - 2 阈值型变换函数 ( 2 ) 非线性变换函数 非线性变换函数为实数域rn o ，1 】闭集的非减连续函数，代表了状态连续 型神经元模型。最常用的非线性变换函数是单极性的s i g m o i d 函数曲线，简称s 型函数，其特点是函数本身及其导数都是连续的，因而在处理上十分方便。单极 性s 型函数定义如下： m ) 专 有时也常采用双极性s 型函数( 双曲正切) 等形式： 1 1 ( 2 - 9 ) 电子科技大学硕士学位论文 m ) - 专小若 s 型函数其曲线特点见图2 - 3 。 一一，0 一 厂 o - 5 ) 0 ( 2 - 1 0 ) 仁) j 一1 0 一 厂一 0 一 - i 0 ( a ) 单极性s 型变换函数( b ) 双极性s 型变换函数 图2 - 3s 型变换函数 ( 3 ) 分段线性变换函数 该函数的特点是神经元的输入与输出在一定区间内满足线性关系。由于具有 分段线性的特点，因而在实现上比较简单，这类函数也称为伪线性函数。单极性 分段线性变换函数的表达式如下： f o ， 厂( z ) c x ， i 1 ， l 式中，c 为线性段的斜率，图2 - 4 ( a ) 给出该函数曲线。 ，q ) | 1 0 丌 o j ”j 1 o t j _ _ 0 一 一1 o ( a ) 单极性分段线性变换函数 ( b ) 双极性分段线性变换函数 图“分段线性变换函数 )， 一 2( c 0 工工 墨 s 、， 工石k 、， o 第二章人工神经网络理论 ( 4 ) 概率型变换函数 采用概率型变换函数的神经元模型其输入与输出之间的关系是不确定的，需 用一个随机函数来描述其输出状态为1 或为o 的概率。设神经元输出为l 的概率 为： ) 一南 ( 2 - 1 2 ) 式中，t 称为温度参数。由于采用该变换函数的神经元输出状态分布与热力学中 的玻尔兹曼( b o l t z m a n n ) 分布相类似，因此这种神经元模型也称为热力学模型。 2 3 人工神经网络模型 人工神经网络的强大功能与其大规模并行互连、非线性处理以及互连结构的 可塑性密切相关。因此必须按一定规则将神经元连接成神经网络，并使网络中各 神经元的连接权按一定规则变化。人工神经网络中的神经元常称为节点或处理单 元，每个节点均具有相同的结构，其动作在时间和空间上均同步。人工神经网络 的模型很多，可以按照不同的方法进行分类。其中常见的两种分类方法是：按网 络连接的拓扑结构分类和按网络内部的信息流向分类。 2 3 1 网络拓扑结构类型 神经元之间的连接方式不同，网络的拓扑结构也不同。根据神经元之间连接方 式，可将神经网络结构分为两大类：层次型结构和互连型结构。 ( 1 ) 层次型结构 具有层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层 ( t g 称为隐层) 和输出层，各层顺序相连，如图2 5 所示。输入层各神经元负责 接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部 信息处理层，负责信息变换，根据信息变换能力的需要，隐层可设计为一层或多 层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息 处理，由输出层向外界( 如执行机构或显示设备) 输出信息处理结果。层次型网 络结构有三种典型的结合方式：单纯型层次网络结构；输出层到输入层有连接的 层次网络结构，如图2 - 6 所示；层内有互连的层次网络结构，如图2 - 7 所示。 电子科技大学硕士学位论文 图2 - 5 层次型网络结构示意图图2 - 6 连接层次网络结构 图2 - 7 层内有连接的层次型网络结构示意图 ( 2 ) 互连型结构 对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，因此 可以根据网络中节点的互连程度将互连型网络结构细分为三种情况：全互连型， 即网络中的每个节点均与所有其他节点连接，如图2 - 8 所示；局部互连型，即网 络中的每个节点只与其邻近的节点有连接，如图2 - 9 所示；稀疏连接型，即网络 中的节点只与少数相距较远的节点相连。 图2 - 8 全互连型网络结构示意图图2 - 9 局部互连型网络结构示意图 1 4 第二章人工神经网络理论 2 3 2 网络信息流向类型 根据神经网络内部信息的传递方向，可分为两种类型：前馈型网络；反馈型 网络。 ( 1 ) 前馈型网络 前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得 名。从信息处理能力看，网络中的节点可分为两种：一种是输入节点，只负责从 外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐 层和输出层节点。 ( 2 ) 反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接 收输入，同时又可以向外界输出，单纯全互连结构网络是一种典型的反馈型网络。 2 4 人工神经网络的学习 人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权值 决定。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑 结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或 训练，其本质是可变权值的动态调整。改变权值的规则称为学习规则或学习算法。 神经网络的学习算法很多，根据一种广泛采用的分类方法，可将神经网络的 学习算法归纳为三类。一类是有导师学习，一类是无导师学习，还有一类是灌输 式学习。 可以认为，一个神经元是一个自适应单元，其权值可以根据它所接收的输入 信号、它的输出信号以及对应的监督信号进行调整。日本著名神经网络学者a m a r i 于1 9 9 0 年提出一种神经网络权值调整的通用学习规则，该规则的图解表示如图 、2 1 0 所示。图中的神经元 是神经网络中的某个节点，其输入用向量x 表示，该 输入可以来自网络外部，也可以来自其他神经元的输出。第f 个输入与神经元f 的 连接权值用啦，表示，连接到神经元j 的全部权值构成了权向量w ，。该神经元的阈 值l 一0 9 斫，对应的输入分量恒为1 。图中，缈，x ，d i ) 代表学习信号， 该信号通常是矽，和x 的函数，而在有导师学习时，它也是教师信号d ；的函数。 通用学习规则可表达为：权向量w ；在t 时刻的调整量a w 与t 时刻的输入向量 x ( t 1 和学习信号厂的乘积成正比。用数学式表示为： 电子科技大学硕士学位论文 形j ，tr w ，( f ) ，z ( f ) ，d j ( f ) 】z ( f ) ( 2 1 3 ) 式中，叼为正数，称为学习常数，其值决定了学习速率。 一1 x f z 一 图2 - 1 0 权值调整的一股情况 不同的学习规则对r ，x ，d j ) 有不同的定义，从而形成各种各样的神经网 络。下面对常用学习算法作一简要介绍。 2 4 1h e b b 学习规则 1 9 4 9 年，心理学家d 0 h c b b 最早提出了关于神经网络学习机理的“突触修 正一的假设。该假设指出，当神经元j 与神经元j 同时处于兴奋状态时，两者之 间的连接强度应增强。根据该假