（电气工程专业论文）人工神经网络在中医脉象信号检测中应用的研究.pdf

重庆大学硕士学位论文英文摘要 a b s t r a c t t h ed i a g n o s t i cm e t h o d sa n dp a r t i c u l a r l yc u r a t i v ee f f e c to ft r a d i t i o n a lc h i n e s e m e d i c i n eh a v eb e e np l a y i n ga ni m p o r t a n tr o l eo fn a t i o n a lh e a l t hc a r e p u l s e - f e e l i n gi s o n eo ft h ep r i m a r yd i a g n o s t i cm e t h o d si nt r a d i t i o n a lc h i n e s em e d i c i n e a l o n gw i t ht h e d e v e l o p m e n to fs e f l s o r s a n d c o m p u t e rt e c h n o l o g y , t h eo b j e c t i v i t y o ft h ec h i n e s e m e d i c i n e p u l s e - f e e l i n g i sn e c e s s a r y ，w h i c hi st h eb a s i so f t h i sp a p e r a r t i f i c i a ln e u r a l n e t w o r k ( a n n ) i s ac l a s so fi n t e r c o r m e e t e d n e t w o r k ，w h i c h i m i t a t e st h e b i o l o g i c a l i r t t e r c o n n e e t i o n si ns t r u c t u r e s a n nh a st h e s t r o n g s e l f - a d a p t a b i l i t ya n ds e l f - l e a r n i n g - a b i l i t ya sw e l la se x c e l l e n tr o b u s t n e s sa n dt o l e r a n c e a b i l i t y b y t h en e t w o r k , a n o p t i o n a ln o n l i n e a ri n p u t o u t p u tm a p p i n gr e l a t i o n s h i pc a nb e r e a l i z e d c o n c r e t em a p p i n gr e l a t i o n s h i pm a t e r i a l i z e sa tt h ed i s t r i b u t e dl i n k i n gw e i g h t v a l u e sb e t w e e nn e u r o l l st h a tb u i l d u pt h ea n n a t r a i n e dn e u r a ln e t w o r k m a y b eu s e dt o r e a l i z e p a t t e r nr e c o g n i t i o n s ，s i g n a lp r o c e s s i n ga n dd e t e c t i o n ，e t c c o n s i d e r i n gt h ec h a r a c t e r i s t i cd i f f e r e n c e sb e t w e e nt h ep u l s es i g n a l so fh e r o i n a d d i c t sa n dh e a l t h yp e r s o n s ，w e s u c c e s s f u l l y b g eb pn e t w o r ka n ds e l f - o r g a n i z i n g n e t w o r kt oi d e n t i f yh e r o i na d d i c t sf r o mt h ep u l s es i g n a l so f1 5h e r o i na d d i c t sa n d1 5 h e a l t h yp e r s o n s f i r s t l y , at w o l a y e rb pn e t w o r kw i t h4 0 2 0 1 i sc o n s t r u c t e di nt h i s p a p e r t h ei n p u ts i g n a l so ft h en e t w o r ka r eo b t a i n e db yc l i p p i n gt h ec h a r a c t e r i s t i c s e c t i o no f e v e r y p u l s es i g n a l t h en e t w o r k i st r a i n e db yt h e t r a i n i n gs a m p l e so b t a i n e db y t h ee l i p p i n ga n dt h et r a i n i n gs a m p l e sw i ma d d i t i v en o i s e r e s p e c t i v e l y w h e nt h e3 0 o r i g i n a lp u l s es i g n a l sa n dt h eo n e sw i t ha d d i t i v en o i s ea r et e s t e di nt h et r a i n e dn e t w o r k a 1 1o ft h eh e r o i na d d i c t sa r ec o r r e c t l yi d e n t i f i e de x c e p tt h a to n e h e a l t h yp e r s o nz 0 1i s m i 6 u d g e d a n dt h ee x a c t n e s sr a t i or e a c h e st o9 6 7 t h et r a i n i n gs p e e do f t h eb a s i cb p a l g o r i t h m i s c o m p a r e dw i t ht h a t o ft h el e v e n b e r g - m a r q u a r d t a l g o r i t h ma l s o t h e e x p e r i m e n ts h o w st h ep u l s es i g n a l sa r ei d e n t i f i e de x c e p tt h a th e a l t h yp e r s o n sz 0 1a n d z 1 0a n dh e r o i na d d i c tb 1 3a r em i s j u d g e dw h e nt h e3 0 p u l s es i g n a l sa r ea n a l y s e di nt h e s e l f - o r g a n i z i n gn e t w o r k hi sa l s of o u n dt h a tt h en e t w o r ki ss e n s i t i v et on o i s ea n dt h e r e s u l ti si n f e r i o rt ot h a to ft h en e t w o r kw i t h o u tn o i s ew h e n3 0s a m p l e sw i t ha d d i t i v e n o i s ei sa n a l y s e d b y t h es e l f - o r g a n i z i n gn e t w o r k t h er e s e a r c hs h o w st h a tt h ee x a c t n e s sr a t i oi s h i g h , t h et o l e r a n c ea b i l i t yi s e x c e l l e n ta n dt h el r a i n i n gs p e e di ss l o ww h e nt h eb p n e t w o r ka n a l y s e st h ep u l s es i g n a l s a n dt h er e s e a r c ha l s os h o w st h a tt h et r a i n i n g s p e e di sf a s t ，t h ee x a c t n e s sr a t i oa n d i i 重庆大学硕士学位论文英文摘要 t o l e r a n c e a b i l i t y i si n f e r i o rt ot 1 1 a to f t h eb pn e t w o r k b e s i d e st h et h e o r i e sa n da l g o r i t h m so ft h eb pn e t w o r ka n dt h es e l f - o r g a n i z i n g n e t w o r ka l ed e d u c e da n d p r o v e d i nt h i sp a p e r , a n dt h eb a s i ct h e o r i e sc o h e r e n tt on e u r a l n e t w o r ka r ec o l l e c t e da n dg e n e r a l i z e d ，w h i c hi n c l u d e st h ec l a s s i f i c a t i o no ft h en e u r a l n e t w o r k s t r u c t u r e ，t h ea l g o r i t h m sa n d t h e t r a i n i n gf u n c t i o n k e y w o r d s ：n e u r a ln e t w o r k ，b pn e t w o r k ，s e l f - o r g a n i z i n gn e t w o r k ，p u l s es i g n a l ， h e r o i na d d i e t s 1 1 1 重庆大学硕士学位论文1 绪论 1 绪论 1 1 课题研究的意义 本课题旨在对人工神经网络及其在中医脉象信号处理中的应用进行研究，利 用神经网络检测识别吸毒者的脉象信号，希望能为戒毒治疗的评估和改进提供客 观的依据。 中医历史悠久，源远流长，它为中华民族的繁荣昌盛立下了不可磨灭的功绩。 直到今天，还在中国的卫生保健事业和世界领域中发挥着巨大的作用。中医脉诊 最晚可以追溯到公元前七世纪，是我国最早创用的独特诊断方法。经过历代医学 家的反复临床实践与不断研究，己使之发展成为一门诊断学科脉象学。脉象 学是通过检查与分析脉象的变化，了解人体气血的运行状态，脏腑生理病理改变， 以及阴阳、寒热、虚实程度与疾病的表里等，来达到临床诊断和治疗的目的【”。脉 诊古有遍诊法、三部诊法和寸口诊法。后世则以寸口诊法为主，并依脉的位、数、 律、形、势，在几经归纳总结之后分为2 8 种脉象。“微妙在脉，不可不察”，脉诊 对于察知体内病变，具有重要的诊断意义。中医诊断疾病通过望、闻、问、切四 诊合参。脉诊虽居四诊之末，但却是验证望、闻、问诊所得的临床资料，进行综 合分析从而得出正确诊断结果的一项客观指标，具有初步的定量概念【2 1 ，是一种简 便、可靠、无创伤的诊断方法，受到历代医家的高度重视。 现代医学认为脉象是心脏、血管、血液的质和量等因素共同作用，互相影响 的表现，反映整个循环系统的状态，而循环系统又受植物神经系统和内分泌系统 功能的影响。祖国医学认为，心、脉是形成脉象的主要器脏，气、血是形成脉象 的物质基础；与肺的呼吸系统、脾的生化、肝的疏泻、肾的温煦推动都有关，反 映的是人体整体功能l 。因而，脉象可对人体的许多疾病的性质和发展趋势提供重 要信息。然而，诸如脉象信号的生物医学信号是种相当复杂的信号，其主要特 点是【4 】随机性强、背景噪声强等。脉象反映的是人体生物信息，包含有人体自身在 生命运动过程中产生的生理、生化信息，也有人体受到外界环境刺激所产生的信 息，因而其重复性差，具有整体性和可调性，非线性等特点【4 1 。中医理论体系是建 立在古代朴素的辩证法之上的，长期以来未能从经验医学中解脱出来，中医诊断学 的某些内容长期停留在直观的臆测上，这切束缚了中医事业的发展，也限制了 中医疗效的提高。脉诊是“切”诊的主要内容，自古以来只是靠不同指法下的指面感 觉来分辨脉象，尽管力求用生动的自然现象来取类比象，但由于缺乏明确的物理 含义，加之切脉者的主观差异，脉象的鉴别始终没有统一的客观标准，“在心易了， 指下难明”反映了学习和掌握脉诊的困难【2 。因此，人们希望能有专门的测量和记 重庆大学硕士学位论文 1 绪论 录仪器，将中医脉象客观化、规范化，进而建立一定的指标，直接用于临床诊断。 随着现代科学技术的发展和应用，客观、准确地将脉搏信号提取出来并进行相应 的信号处理、分析，具有重要的临床诊疗意义。 当今社会，毒品泛滥全球，吸毒已经成为全世界面临的严重问题之一。中国 社会的吸毒现象自上世纪8 0 年代后也是沉渣泛起，具有来势凶猛，蔓延快等特点 【5 1 。吸毒者不仅自身组织器官全方位受损，还极易引起传染病和爱滋病的传播与流 行【6 1 。长期吸毒，导致人体全身器官均发生严重的病理改变，尤以对心脏、肝脏、 血液和肺的损害最大，并且随着吸龄的增加，毒害会加深【7 。近年来，吸毒已经弓j 起社会的广泛关注，如何帮助吸毒者戒毒也成为大家关注的焦点。根据中医诊断 学理论i ”，人体左手关位的脉搏可以反映肝脏的生理及病理信息，因此，本文分别 选取了吸毒者和正常人左手关位为取脉部位，模拟中医切脉进行脉象信号的分析， 希望能为戒毒治疗的研究提供现代化的诊疗手段。 本文将利用人工神经网络对吸毒者和正常人的脉象信号进行分析。人工神经 网络是一种模拟大脑神经传递信息的方式而建立起来的一种人工智能的方法，它 是一种分布式的并行处理系统，其处理结果以权值形式分布存储在矩阵中。这种 网络能够实现任意的非线性输入输出映射关系，具体的映射关系体现在构成网络 的神经元之间的分布连接权上【9 1 。由于人工神经网络是基于生理神经网络的自适应 非线性动态系统，因此它具有独特的功能和特点i lo 】：可以充分逼近任意复杂的 非线性关系；所有定量和定性的信息的保存为等势分布，储存在网络内的各种 神经元上，具有很强的鲁棒性和容错性；并行分布处理使得运用计算机和特 定的硬件，快速进行大量的运算成为可能；可学习和自适应未知的或不确定的 系统；能够同时处理定量和定性的知识。神经网络可以把专家知识和先验知识 结合进一个数学框架，完成提取特征和分类、识别等功能，而不需要任何对数据 和噪声的先验假设，也不需要把专家知识和经验归纳成严密的条文，很适应予研 究和分析生物医学信号【l l 】。人工神经网络的最新发展使其成为信号处理的强有力 工具，对于那些用其它信号处理技术无法解决的问题，神经网络的应用开辟了新 的领域，广泛用于心电、脑电等信号的识别，心电信号数据的压缩，医学图象的 识别和处理等 ”卅6 1 。在所查的文献资料中，除了文献【1 7 外，没有发现其它人工神 经网络在中医脉象信号中的应用的例子。 1 2 脉象信号的分析 ， 脉诊的客观化要求研制出能实现中医指感特征检测的脉象仪，以便准确提取人 体的脉象信号。用脉象仪描记脉搏信号己经有百余年的历史。1 8 6 0 年，法国的 v i e r o r d t 研制出第一台弹簧杠杆式脉搏描记仪，使脉象研究由示意图阶段进入示波 重庆大学硕士学位论文 i 绪论 图阶段【1 8 。白本世纪5 0 年代以来，已经研制出种类繁多的脉象仪。其主要方法都 是把适当的换能器置于被测部位上，将脉搏的脉动转换成电信号，再输入放大电 路，将微弱的生理、病理信号用记录仪记录，或运用电子计算机处理，对脉搏波 进行分析诊断 19 1 。脉象仪的总体构成包括信号检测、信号预处理和信号分析3 个 环节。从测量原理上讲脉象传感器可分为机械式、压电式、光电容积式等几种， 其中以压电式较为成熟和实用【2 0 。 脉象信息的分析方法随着数学、生物力学、工程学的发展而发展，同时又受 到脉象信息检测方法所制约。近年来，常用的脉象信息分析方法有如下几种1 9 】1 2 们。 ( 】) 时域分析法：是目前应用最广泛的一种分析方法。它直接通过脉象的形态 分析，来阐明动脉廊管内流体参量与时间和空间的函数关系，从而了解脉动频率 和节律、脉力的强弱、脉势的虚实和脉象形态特征等。 ( 2 ) 频域分析法：频域分析法是近代工程力学中常用的一种处理波动信息的方 法。该方法主要是观察信号的振幅、相位随频率变化的规律，找出信号在时域中 不太明显而在频域中比较明显的特征。 ( 3 ) 建立数学模型：某些脉图所属脉象不甚明确，是与否的界限不很明显，因 而采用模糊数学的方法，利用生物力学等理论，对脉象进行数理描述，建立脉搏 波的数学模型，依据模糊理论中的择近原理，将数据进行类比，定出脉象的类型。 ( 4 ) 速率分析法：速率又称斜率，即动脉内压力的变化率，反映脉动在每一点 上的变化速度。该方法是对经微分处理后的脉象图进行识别。 ( 5 ) 自回归一滑动平均模型：这是运用时间序列分析建立的信号自回归滑动 平均信号模型( a r m a ) ，提取波形的特征参数，比较各特征参数的组内均差与总均 差的比值，然后作f 检验，确定判别能力大小进行筛选，利用b a y e s 推测来求判 别函数，而进行识别。 ( 6 ) 模糊识别法：该方法是采用模糊数学对脉图进行识别的方法。 ( 7 ) 统计分析法：该方法是从统计学的角度对大量脉图进行分析，提取特征信 息的方法。 ( 8 ) 时频分析法：该方法是从时频分析的角度对脉象信号进行分析，提取特征 信息。 总之，脉搏信号的各种分析方法，为中医脉诊获取各种病理信息作出了贡献， 极大地推动了中医脉诊向客观化、现代化方向发展。 1 3 神经网络的发展及国内外研究现状 人工神经网络的研究有半个世纪的历史，中间有过很长时期的低潮期。大体 上分为四个阶段【2 2 】【2 3 】。 重庆大学硕士学位论文1 绪论 ( 1 ) 早期阶段 1 9 4 3 年美国心理学家w a r r e nsm o c u l l o c h 与数学家w a l t e rhp i t t s 合作，用逻 辑的数学工具，研究客现事件在形式神经网络中的表述，从此开创了对神经网络 的理论研究。他们首先提出了神经元的数学模型，简称为m p 模型。1 9 4 9 年，心理 学家d o h e b b 提出了关于神经网络学习机理的“突触修正假设”。h e b b 学习规则 作为假设提出，正确性在3 0 年后得到证实。现在被作为经典的学习算法加以发展 和应用。1 9 5 7 年f r o s e n b l a r 首次提出并设计制作了著名的感知机( p e r c e p t r o n ) 。 第一次从理论研究转入工程实现阶段，掀起了第一次研究人工神经网络的高潮。 1 9 6 2 年，b e m a n dw i d r o w 和m a r t i a nh o f f 提出了自适应线性元件网络( a d a p t i v e l i n e a r e l e m e n t ) 。 1 9 5 1 年m a r v i n m i n s k y 和d e a n e d m o n d s 合作创建了学习机。还设计了一个成 功模拟老鼠走迷宫搜索食物的行为的机器。但到了1 9 6 9 年，m i n s k y 和p a p e r t 发表 的专著( ( p e r c e p t r o n ) ) 却引起了神经网络研究的一场灾难。这本书指出线性感知机 不能解决非线性分类和高阶谓词问题。悲观的结论使人工神经网络的研究迅速转 入低潮。而实际上，他们提出的问题是可以用多层网络解决的。 ( 2 ) 7 0 年代( 过渡期) 低潮期的a n n 研究并没有停顿。1 9 6 7 年、日本的甘利俊( s h u n i c h i a m a r r i ) 提 出了自适应模式分类的一种学习理论，以后又多次扩展了他的工作。1 9 7 2 年，j a m e s a n d e r s o n 和芬兰的t u e r ok d i o n e n 分别提出了各自的联想技术。a n d e r s o n 的模型后 来经过发展，称为盒中脑状态b s b 0 3 r a i n - s t a t e - i n - a - b o x ) 。k o h o n e n 最著名的成果 是学习向量量化l v q ( l e a r n i n g v e c t o rq u a n f i z a f i o n ) 网络。两种模型都发展出了各自 的人工神经元系统。 ( 3 ) 8 0 年代的新高潮 a n n 研究第二次高潮到来的标志和揭开神经网络计算机研制序幕的是美国加 州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国神学院院刊上发 表的两篇文章。他提出了h o p f i e l d 网络模型，并首次引入能量函数( 李雅普诺夫 函数) 的概念，给出了网络稳定性的判据。1 9 8 4 年提出了网络模型实现的电子电 路，为神经网络的工程实现指明了方向。1 9 8 4 年h i n t o n 和s e j m o n s k i 提出了并行 分布处理( p d p - p a r e l l ed i s t r i b u t e dp r o c e s s i n g ) 理论，1 9 8 6 年又提出了误差反向传播 算法( b a c kp r o p a g a t i o n ，简称b p 算法) 。该算法由w e r b o s 于1 9 7 4 年最先提出，但 当时未引起注意。 ( 4 ) 8 0 年代后期到现在的平稳发展时期 1 9 8 7 年6 月2 1 日在美国圣地亚哥召开了第一届国际神经网络学术会议，宣告 国际神经网络协会成立。同年，美国神经计算机专家r h e c h t - n i e l s o n 提出了对 4 重庆大学硕士学位论文 1 绪论 向传播( c o u n t e rp o p a g a t i o n ) 神经网络。1 9 8 8 年、美国加洲大学的蔡少堂( l 0 c h a n e ) 等人提出了细胞神经网络( c n n ) 模型。 进入9 0 年代后，a n n 的各类模型己达几十乃至上百种，与之相伴的是大量出 现边缘交叉学科，例如脑科学和神经生理科学、计算神经学、数理科学、信息论 和计算机科学等删j 。 近年来，神经网络的硬件实现技术取得了突破性的进展，使神经网络逐渐从 实验室走向了国民经济主战场，这一点在日本体现得尤为明显。日本松下电气工 业公司研制出一种可用算法直接处理光信号而不需将光信号变成电信号的光学神 经网络神经元。这种神经元是一种用于对自学习结果信息进行检验的特殊薄膜。 新研制的此种系统无需受电控制，因而可制得很轻巧，预期可将其用作传感器和 检测机器人的“眼睛”，或将用于手写字符识别系统。日本三菱电机公司i s i 研究所 采用硅i s i 技术研制成世界上规模最大的动态型模拟神经芯片。该芯片由4 0 0 多个 神经元、4 万余个突触组成，具有自学习功能，可识别数十个字符图形，其运算和 自学习速度分别为2 x i o c p s 和8 0 x i o u p s 。日本n e c 公司已开发出一种神经网络， 可利用类似于人脑的演算方式侦测股情之相似性 矧。 我国学术界大约在8 0 年代中期关注神经网络领域，有一些科学家起到先导的 作用。1 9 8 4 年和1 9 8 5 年，生物物理学家汪云九提出了视觉神经元的广义g a b o r 函数( e g ) 模型，以及有关立体视觉、纹理检测、运动方向检测、超视觉度现象的 计算模型。汪云九等人还建立了初级视觉神经动力学框架，开辟了一条新的途径。 从这时起，我国有些数学家和计算机科学家开始对这一领域产生兴趣，开展了一 定的研究工作。 1 9 9 0 年我国召开了首届全国神经网络学术年会，成立了“中国神经网络委员 会”，由4 5 位专家教授组成，负责组织全国学术会议和与国际同行联系。现已召 开过四届全国学术会议和两届在北京召开的国际会议。国内也出版了不少有关著 作，并有数百人的队伍从事a n n 的研究。 1 9 9 4 年寥晓听对细胞神经网络建立了新的数学理论与基础，得出了一系列结 果。如耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周 期解的存在性和吸引性等。使这个领域取得了新的进展。 值得重视的是，吴佑寿等人提出了一种激励函数可调的神经网络模型，对神 经网络理论的发展有重要意义。可以认为，先验知识不充分利用岂不可惜，但问 题是先验知识有时不一定抓住了实质，存在一定局限性。因此，在设计激励函数 可调网络( t a f ) 时要谨慎沣p 对一个典型的模式分类难题，即双螺线问题来讨论t a f 网络的设计、激励函数的推导及其网络训练等，其实验结果表明这种网络方法的 有效性和正确性，尤其对一些可用数学描述的问题。另外，对模式识别中的手写 重庆大学硕士学位论文1 绪论 汉字识别问题研究，有重要的理论和应用价值。郝红卫和戴汝为把统计识别方法 与多层感知机网络综合起来，提出了一种网络集成法，对4 个不同手写汉字分类 器进行集成。这个方法有一定的推广性，对其它类似问题提供了一个范例。 9 0 年代，国内许多学者对h o p f i e l d 神经网络的进一步研究很感兴趣，使它得 到了一定的完善和发展。戴先中等人提出了连续非线性系统的神经网络a 阶逆系 统控制方法，他们一方面用静态神经网络逼近静态非线性函数；另一方面用积分 器或微分器来体现系统的动态特性，并结合线性系统理论和方法，从而构成一种 满足系统要求的复合控制器【2 ”。 神经网络的应用领域很广，包括金融、股票预测，自动控制、机器人，模式 识别，计算机视觉和图像处理，信号处理等等。从所查的文献来看，神经网络在 医学信号处理f 1 6 1 ，电力系统故障分类、检测f 2 7 】【2 b 】，控制系统 2 9 】，材料加工f 9 ， 金融预测【30 】等等方面获得了广泛应用。 综上所述，人工神经网络的发展正在成熟，它的研究还在进一步深入，其应 用领域也将越来越广。 1 4 本论文的研究工作 ( 1 ) 对神经网络基本概念和基础知识进行了较系统的阐述，对神经网络b p 算 法和改进的b p 算法，也即l e v e n b e r g m a r q u a r d tb p 算法的理论进行了推导验证。 ( 2 ) 建立了一个4 0 2 0 1 的二层b p 网络。为了减小网络的规模，输入信号是 选取每一例脉象信号的一段，即2 5 6 4 这4 0 个点；经过反复训练，隐含层神经元 的数目选取为2 0 ；输出层神经元的数目为l 。网络选取目标输出1 代表输入信号 为正常入对应的脉象，目标输出1 代表输入信号为吸毒者对应的脉象。用基本b p 算法对3 0 例脉象信号进行了分析，经训练的网络除对一例正常人误判外，其余全 被正确识别出来，其正确识别率达到了9 6 7 。用改进的l e v e n b e r g - m a r q u a r d tb p 算法训练网络，网络同样达到了很高的识别率。研究还发现，b p 网络对加噪声的 样本识别能力强，网络容错性好。 ( 3 ) 对自组织网络( 包括竞争网络和l v q 网络) 的理论和算法进行了推导和验 证。用训练完成的竞争网络和l v q 网络对3 0 例脉象信号进行了分析，均有3 例 脉象信号被误判，其中两例正常人被误判为吸毒者，一例吸毒者被误判为正常人。 两网络对添加噪声的脉象信号进行分析时，网络表现出一定的不稳定性。 ( 4 ) 对b p 网络和自组织网络分析脉象信号的性能做了比较，得出了实验结论， 并初步分析了原因。 ( 5 ) 用m a t l a b 6 5 编写了b p 网络和l v q 网络分析脉象信号的程序，同时用 c 语言实现了前述功能，所得的结果与用m a t l a b 6 5 分析结果一致。 在上述研究工作中，具有创新性的工作是第2 点、3 点和4 点。 6 重庆大学硕士学位论文 2 神经网络的基本概念和基础理论 2 神经网络的基本概念和基础理论 2 1 生物神经元简介 人脑由大量( 约1 0 “个) 高度互连的单元( 每个单元约有1 0 4 个连接) 组成， 这些单元被称为神经元。这些神经元由三部分组成：树突、细胞体和轴突。树突 是树状的神经纤维接收网络，它将电信号传送到细胞体，细胞体对这些输入信号 进行整合并进行域值处理。轴突是单根长纤维，它把细胞体的输出信号导向其他 神经元。一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触。神经元 的排列和突触的强度( 由复杂的化学过程决定) 确立了神经网络的功能。图2 1 是 两个生物神经元的简化图示。 图2 i 生物神经元简图 f i 9 2 is c h e m a t i cd r a w i n g o f b l o l o g c a l n e i o n s 神经结构在攘个生命期内不断地进行着改变，后期的改变主要是加强或减弱 突触连接。例如，现在已经确认，新记忆的形成是通过改变突触强度而实现的。 人工神经网络没有人脑那么复杂，但它们之间有关键的相似之处。首先，两个网 络的构成都是可计算单元的高度互连，尽管人工神经元比生物神经元简单得多。 其次，处理单元之间的连接决定了网络的功能。 2 2 人工神经元模型和网络结构 2 2 1 单输入神经元 一个单输入神经元如图2 2 所示。标量输入p 乘上标量权值w 得到w p ，再将 其送入累加器。另一个输入1 乘上偏置值6 ，再将其送入累加器。累加器输出 的n 通常被称为净输入，它被送入一个传输函数，在，中产生神经元的标量输出 重庆大学硕士学位论文2 神经网络的基本概念和基础理论 口。 若将这个简单模型和前面的生物神经元相对照，则权值w 对应于突触连接强 度，细胞体对应于累加器和传输函数，神经元输出口代表轴突的信号。 输通用神经元 ，一，_ 、 ul ! j 4 = f ( w p + 6 1 图2 2 单输入神经元模型图 f i 9 2 2 s i n g l e - i n p u tn e u r o n 神经元输出口按下式计算： 口= f ( w p + 6 ) ( 2 1 ) 实际输出取决于所选择的特定传输函数_ 厂。 偏置值b 用于对常数输入值1 加权。但是，如果不想在神经元中使用偏置值， 也可以忽略它。w 和b 是神经元的可调整标量参数。设计者可以选择特定的传输函 数，在一些学习规则中调整参数w 和b ，以满足特定的需要。依据不同的目的可以 选择不同的传输函数- 厂。 2 2 2 传输函数 传输函数是一个神经元及其网络的核心。网络解决问题的能力与功效除了与 网络结构有关，在很大程度上取决于网络所采用的传输函数。传输函数的基本作 用是：控制输入对输出的激活作用：对输入、输出进行函数转换；将可能 无限域的输入变换成指定的有限范围内的输出f 3 2 1 。 传输函数有多种，下面介绍其中最常用的几种。 1 硬极限传输函数 硬极限传输函数如图2 3 ( a ) 所示，当函数的自变量小于0 时，函数的输出为0 ； 当函数的自变量大于或等于0 时，函数的输出为1 。用该函数可以把输入分成两类。 图2 3 0 0 ) 描述了使用硬极限传输函数的单输入神经元的输入输出特征衄线。 一 甲 重庆大学硕士学位论文2 神经网络的基本概念和基础理论 a l + l 一 o 1 a = h a d l i m ( n ) 硬极限传输函数 n a l + 1 一b w o r 一1 a = h a d l im ( w p + b ) 单输八h a d l i 口神经元 ( a )( b ) 图2 3 硬极限传输函数 f i 9 2 3 h a r dl i m i ta “a n s f e rf u n c t i o n 2 线性传输函数 线性传输函数的输出等于输入，如图2 4 所示： 口= n 图2 4 ( b ) 是带偏置的单输入线性神经元的输入输出特征曲线。 十1 一， o 口。 l b ，w b 一 么。 o t 2 p l i te 上1 n 【n 】 t = p 盯e l i n “p + b ) 垃性律输叠簟 革袖 p u r t i i b 抻睦元 ( a ) ( b ) 图2 4 线性传输函数 f i 9 2 4l i n e a rt r a n s f e rf u n c t i o n 3 对数s 形传输函数 对数s 形( l o g s i g ) 传输函数如图2 5 所示： - + 1 i 厂 3 一b w ：0 1 a 7 jo g s i g ( n ) a = i o g s ig ( w p + b ) l o g s ig l o id 传输函数 单输入1 0 9s ig 神经元 ( a ) ( b ) 图2 5 对数s 形传输函数 f i 9 2 5l o g - s i g m o i d t r a n s f e rf u n c t i o n 9 p p p 重庆大学硕士学位论文 2 神经网络的基本概念和基础理论 该输入函数的输入在( 一o o ，m ) 之间取值，输出则在0 到1 之间取值，其数学表达 式为： n = 专 ( 2 3 ) 在某种程度上可以说，正是由于对数s 形函数是可微的，所以误差反向传播 算法( b p ) 的训练的多层网络才采用了该传输函数。 4 竞争传输函数 竞争函数的数学表示为： 4 = c o m p e t ( n )( 2 4 ) 它找到最大净输入的下标，并将其输出设置为1 ，而所有其他下标对应的输出值都 为0 。 n ，= ：三二( 其中n ，n ，v f ，且r f v ”，= ”，) ( 2 s ) 可以用图2 6 举例说明该函数，在图2 6 中，横坐标第三个值对应的输入值为 4 ，是当前四个输入中的最大值。在网络输出中，其对应坐标的输出值为1 ，其余 坐标对应的网络输出值都被抑制为0 。 霓争幽敦时稿 输出 图2 6 竞争函数功能示例 f i 9 2 6c o m p e m t r a n s f e rf u n c t i o n 2 2 3 多输入神经元 1 权值矩阵 通常，一个神经元有不止一个输入。具有r 个输入的神经元如图2 7 所示。其 输入p 1 ，p 2 ，p 。分别对应权值矩阵的元素w 1 1 w 1 | 2 ，w l 。该神经元有一个偏 置值b ，它与所有输入的加权和累加，从而形成净输入打： 玎= w 1 ，i p l + w l ，2 p 2 + + w 1 皿m + b( 2 6 ) 这个表达式也可以写成矩阵形式： n = w p + b ( 2 7 ) 其中单个神经元的权值矩阵w 只有一列元素。神经元的输出可以写成： a = f ( w p + 6 )( 2 8 ) 里盎查堂堡主兰堡垒奎 ! 塑丝塑塑塑茎查塑鱼塑垄型! ! 丝一 输八多输入神经元 ，_ 、，一、 l 、 a = f ( w p + b ) 图2 7 多输入神经兀 f i 9 2 7m u l t i p l e - i n p u t 1 3 e u r o n 2 权值下标 本论文将采用习惯的方法表示权值矩阵元素的下标。权值矩阵元素下标的第 一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示连接到这 个神经元的源信号编号。据此，w 】：的含义是：, 一- - 一- - _ l z a , 一1 0 第一个 神经元的连接。 3 简化符号 图2 8 是用简化符号表示的多输入神经元。左边垂直的实心条表示输入向 输入多输入神经元 ，、，、 除晒1 x 1 图2 8 具有r 个输入的神经元的简化符号 f i 9 2 8 n e u r o nw i t hr i n p u t ，a b b r e v i a t e dn o t a t i o n 量p ，p 下面的变量r x l 表示p 的维数，也即输入是由r 个元素组成的一维列向量。 这些输入被送入权值矩阵w ，w 的维数是l r 。常量1 则作为输入与标量偏置值 b 相乘。传输函数， 的净输入是n ，它是偏置值b 与积w p 的和。在这种情况下， 神经元的输出a 是一个标量。如果网络有多个神经元，那么网络输出就可能是一 个向量。网络的输入是由问题的外部描述决定的。 2 2 4 网络结构 一般来说，有多个输入的单个神经元并不能满足实际应用的要求。在实际应 用中需要有多个并行操作的神经元。这些可以并行操作的神经元组成的集合称为 重庆大学硕士学位论文 2 神经网络的基本概念和基础理论 “层”。 1 神经元的层 图2 9 是由s 个神经元组成的单层网络。r 个输入信号中每一个均与每个神经 元相连，权值矩阵有s 行。该神经网络层包括权值矩阵、累加器、偏置值向量b 、 传输函数框和输出向量a 。输入向量p 的每个元素均通过权值矩阵w 和每个神经 元相连。每个神经元有一个偏置僮b ，、一个累加器、一个传输函数厂和一个输出a ，。 将所有神经元的输出结合在一起，可以得到一个输出向量a 。通常，每层的输入个 数并不等于该层中神经元的数目( 即有r s ) 。同一层神经元也不必有相同的传输 函数。 输入 s 个神经元的层 n ，_ 、 a = f ( w p + b 、 图2 9s 个神经元组成的层 f i 9 2 9l a y e ro f sl l c u r o r l g 输入向量通过如下权值矩阵w 进入网络： w = w i ，1w 1 2 。 w 2 11 4 2 ，2 。 w s 1w s ，2 ( 2 9 ) 同样，矩阵w 中元素的行下标代表该权值相应连接的目标神经元，而列下标 代表该权值相应连接的输入信号源。例如，的下标表示该元素是从第二个信号 源到第三个神经元的连接权值。 具有s 个神经元、r 个输入的单层网络也能用简化的符号表示为如图2 1 0 的 形式。从该圈中可以知道，p 是长度为r 的向量，w 是一个s x r 矩阵，a 和b 是 长度为s 的向量。如前所述，该层包括权值矩阵，加操作和乘操作，偏置值向量b ， 传输函数框和输出向量。 2 多层神经元 多层神经元就是具有多个如前所定义的神经元层的网络结构。每层都有自己的 权值矩阵w ，偏置值向量b ，净输入向量n 和一个输出向量a 。 1 2 町掣w 重庆大学硕士学位论文 2 神经网络的基本概念和基础理论 输入多输入神经元 ，、r 弋 、，。 口= f ( w p + 6 ) 图2 1 0由s 个神经元组成的层的简化表示 f i 9 2 1 0l a y e ro f s n e u 3 0 1 1 s ，a b b r e v i a t e dn o t a t i o n 我们用上标来标注这些层次，即每个变量都附加一个上标来表示其所处层次。这 样，第一层的权值矩阵可以写为w 1 ，第二层的权值矩阵可以写为w 2 ，以此类推。 下面用简化方法表示一个三层网络，如图2 1 1 所示。第一层有r 个输入，s 个神经元，第二层有s 2 个神经元。当然，不同层可以有不同的神经元数目。第一 层和第二层的输出分别是第二层和第三层的输入。据此，可以将第二层看作是一 个单层网络，它有r = s 1 个输入，s = s 2 个神经元，和一个s 2 s 1 维的权值矩阵w 2 。 第二层的输入是a 1 ，输出是a 2 。 3 多层神经元的输出层与隐含层 如果多层神经元某层的输出是网络的输出，那么称该层为输出层，而其它层 叫隐含层。对于图2 1 1 中的网络，它有一个输出层( 第三层) 和两个隐含层( 第 一层和第二层) 。 黼黻 厂 厂、 a 1 = f l 删)蒈= 产饼矛= f 8 国 图2 11 三层网络的简化表示 f i 9 2 1 lt h r e e d a y o r n e t w o r k ，a b b r e v i a t e d n o t a t i o n 重庆大学硕士学位论文2 神经网络的基本概念和基础理论 多层网络的功能要比单层网络强大得多。比如，一个第一层具有s 形传输函 数，第二层具有线性传输函数的网络，经过训练可对大多数函数达到任意精度的 逼近，而单层网络则不能做到这一点。 由此可以看出，