（检测技术与自动化装置专业论文）基于多权值神经网络的语音情感识别的研究.pdf

浙江工业大学硕士学位论文 基于多权值神经网络的语音情感识别的研究 摘要 如何识别说话人情感是目前语音技术领域中一个比较热门的话 题。有许多学者对情感语音特征提取和自动情感分类进行了研究， 并提出了许多方法，但是目前语音情感识别的效果远低于人们所期 望的识别结果。针对这个问题，本文提出了一种新的语音情感识别 方法基于多权值神经网络的语音情感识别。 本文首先提出了特征空间样本点的图几何理论以及图几何理论 中的有关性质，通过图论的概念，研究了特征空间样本点的性质， 在凸胞的基础上提出了有关子图的运算方法，并且利用子图的空间 样本点之间距离作为权值提出基于图几何理论的多权值神经元。对 情感语音的特性进行了探讨，对特征向量的提取、数据信息的压缩 处理等语音的前处理方法进行研究。参考大量的情感语音理论，根 据各个情感特征参数对于语音情感识别方面的影响程度，最终确定 了最具有影响力的特征参数作为语音情感识别的特征参数，对预处 理后的语音信息进行特征提取，并提出了各特征参数的具体算法。 然后根据特征参数研究了基于多权值神经元的语音情感识别的训练 和识别算法，通过相关的实验论证了该方法的可行性。 浙江工业大学硕士学位论文 与s v m 方法相比较的实验结果表明，随着样本数量的增多，两 种方法的识别率之间的差距也会慢慢减小，当样本数量趋近无穷时， 它们的正确识别率都会渐渐逼近一个峰值。但在神经元个数足够的 前提下，基于多权值神经网络的情感语音识别方法的正确识别率仍 将高于s v m 模型方法的识别率，这是因为基于多权值神经网络的方 法描述的是情感语音特征样本点在高维空间的形态分布，而s v m 模 型方法却仅仅是一种在高维空间中非线性划分的方法，尤其在4 , i 7 t l 练样本的情况下，由于划分所需的支持向量有限，其精确程度自然 不如多权值神经网络的方法。 关键词：多权值神经网络，s v m 模型，特征参数，语音情感识 别，图几何理论 浙江工业大学硕士学位论文 t h ei 己e s e a r c ho ns p e e c h e m o t i o nr e c o g n i t i o nb a s e do n m u l 月i w e i g h t sn e r u a l n e t w o r k a b s t r a c t d e a l i n gw i t ht h es p e a k e r se m o t i o ni so r l eo f t h el a t e s tc h a l l e n g e si n s p e e c ht e c h n o l o g i e s v a r i o u s r e c e n ts t u d i e sh a v ed e a l tw i t h c h a r a c t e r i z a t i o no fe m o t i o n a ls p e e c ha n da u t o m a t i cc l a s s i f i c a t i o no f e m o t i o n a lu t t e r a n c e s i ts h o u l db en o t e dt h a tt h ee x p e c t e dr e c o g n i t i o nr a t e i sm u c hl o w e rt h a nw h a ti se x p e c t e df r o ms p e e c hr e c o g n i t i o nt a s k s ， t h o u g hav a r i e t yo fm e t h o d sh a v eb e e np r o p o s e d i nt h i sp a p e r , an o v e l s p e e c he m o t i o nr e c o g n i t i o n ，t h a ti ss p e e c he m o t i o nr e c o g n i t i o nb a s e do n m u l t i - w e i g h t sn e u r a ln e t w o r kf m w m o ，h a sb e e np r o p o s e d f i r s t l y ，t h eg r a p h i cg e o m e t r yt h e o r yf o rf e a t u r es p a c es a m p l ep o i n t s a n di t sp r o p e r t i e sh a v eb e e np r e s e n t e di nt h i sp a p e r ，w h i l et h ef e a t u r e s p a c es a m p l ep o i n t sp r o p e r t i e s h a v eb e e nr e s e a r c h e d t h r o u g ht h e c o n c e p t so fg r a p ht h e o r y t h e nt h ea l g o r i t h mb a s e do nc o n v e xh u l lf o r s u b g r a p hi sp r e s e n t e d f i n a l l yt h em u l t i w e i g h t sn e u r o nb a s e do ng r a p h i c 浙江工业大学硕士学位论文 g e o m e t r yt h e o r yi sp r o p o s e dw i t hd i s t a n c ea m o n gs u b g r a p h ss a m p l e p o i n t sa st h ew e i g h t w ed i s c u s s e dt h ec h a r a c t e r i s t i c so fe m o t i o n a ls p e e c h ， a n di n v e s t i g a t e dt h em e t h o d sf o rf e a t u r ee x t r a c t i o na n dd a t ac o m p r e s s i o n a f t e rr e f e r r i n gv a r i o u se m o t i o n a ls p e e c ht h e o r i e sa n d c o n s i d e r i n ge f f e c t s o ns p e e c he m o t i o nr e c o g n i t i o nf r o me a c he m o t i o nf e a t u r ep a r a m e t e r s ，w e c o n f i r m e dt h em o s te f f e c t i v e p a r a m e t e r s a st h ef e a t u r e sf o rt h e r e c o g n i t i o nt a s ka n dp r o p o s ea l g o r i t h m so ff e a t u r ee x t r a c t i o na f t e rs p e e c h p r e t r e a t m e n t a c c o r d i n gt ot h ep a r a m e t e r s ，w ec o n s i d e r e dt h ea l g o r i t h m o fs p e e c he m o t i o nr e c o g n i t i o nb a s e do n m u l t i w e i g h t s n e u r o n sf o r t r a i n i n ga n dr e c o g n i t i o n t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ed i f f e r e n c eo fr e c o g n i t i o nr a t e b e t w e e nm w n na n ds v mm o d e lw i l ld e c r e a s ea st h en u m b e ro f t r a i n i n gs a m p l e si n c r e a s e s b o t ho ft h e i rr a t e st e n dt ob eap e a kv a l u ei f t h en u m b e ro ft r a i n i n gs a m p l e si si n f i n i t e b u tt h er e c o g n i t i o nr a t eo f m w n n - b a s e dm e t h o di sa l w a y sh i g h e rt h a nt h a to fs v m b a s e dm e t h o d w h e nt h en e u r o n sa r ee n o u g hb e c a u s et h ef o r em e t h o dc a r ld e s c r i b et h e m o r p h o l o g i c a ld i s t r i b u t i o no fe m o t i o n a ls p e e c hs a m p l e si nt h eh i g h d i m e n s i o n a l s p a c e w h i l et h el a t t e ro n e j u s tp a r t i t i o n s t h e h i g h d i m e n s i o n a ls p a c ei n t oaf e wa r e a s e s p e c i a l l yw h e nt h en u m b e ro f t r a i n i n gs a m p l e si sv e r yf e w , t h ep r e c i s i o no fs v m b a s e dm e t h o di s w o r s et h a nt h a to fm w n nm e t h o dd u et ot h el i m i t a t i o no fs u p p o r t v e c t o r s 浙江工业大学硕士学位论文 k e yw o r d s ：m u l t i - w e i g h t sn e u r a ln e t w o r k , s v mm o d e l ，f e a t u r e p a r a m e t e r s ，s p e e c he m o t i o nr e c o g n i t i o n ，g r a p h i cg e o m e t r yt h e o r y 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江 工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作出 重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明的 法律责任。 作者签名：叼天段 日期：2 年，月2 护日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 i 、保密口，在年解密后适用本授权书。 2 、不保密豳。 ( 请在以上相应方框内打“”) 作者签名：饲天瞅 聊磁咖呷 j 日期：2 年胁月2 0 日 日期p c 啦g 年，乙月2 。日 浙江工业大学硕士学位论文 第一章绪论 语言是人类交际的最重要的交流工具。人类的话语中不仅包含了文字符号 信息，而且还包含了人们的感情和情绪等信息。例如，同样一句话，往往由于 说话人的情感不同，其意思和给听者的印象就会不同。当人们通过电话交谈的 时候，他能通过对方的声音感知到对方的情感。从这点上看，我们认为通过分 析语音来判断人的情感是可能的。从语音信号提取情感特征，判断说话人的喜 怒哀乐，是这些年刚刚兴起的研究课题。语音情感是指语音信号中蕴涵的话者 的情感，其中话者包括自然人以及具备情感能力的计算机。对于语音情感相关 的语音识别称为语音情感识别。通过对语音信号的测量、分解、分析等方法来 进行情感方面的参数计算，从而使计算机通过语音具备一定程度的情感识别能 力。 1 1语音情感识别的研究背景和现状 语音情感识别是语音识别的一个重要的研究方向，而语音识别则是语音学 与数字信号处理技术相结合的交叉学科，它和认知科学、心理学、语言学、计 算机科学、模式识别和人工智能等学科联系紧密。语音识别的研究工作【l 】已经 有相当多的方法可以实现，例如动态规划( d p ) 1 2 1 ，线性预测分析技术( l p c ) 1 3 1 ，动态时间归正技术( d t w ) 【4 1 ，矢量量化( v q ) 【5 1 ，隐马尔可夫模型( h m m ) 理论1 6 1 和人工神经元网络( a n n ) 7 1 。随着多媒体时代的来临，迫切要求语音 识别系统从实验室走向实用。许多发达国家如美国、日本、韩国以及i b m 、a p p l e 、 a t t 、n t t 等著名公司都为语音识别系统的实用化开发研究投以巨资。本世 纪初，中科院半导体所的王守觉院士1 8 1 又提出了一种基于高维空间覆盖动态搜 索方法的非特定人连续数字语音识别的方法。 浙江工业大学硕士学位论文 然而传统的语音处理系统仅仅着眼于传达语音词汇的准确性，而完全忽略 了包含在语音信号中的情感因素，所以它只反映了信息的一个方面。直到近年 来，人们发现情感和态度所引起的变化对语音合成、语音识别、说话人确认等 方面的影响较大，因而语音信号中情感处理的研究逐步引起了人们的重视。目 前许多研究者都在致力于研究情感对语音的影响以及情感状态下语音信号处理 的有效方法。 第一本有关动物和人类情感表达的著作是由1 9 世纪c h a r l e sd a r w i n 9 1 写的。 在这个里程碑式的工作以后心理学家逐渐在这个领域中积累了丰富的知识。目 前一股新的研究热潮不仅仅影响着心理学家，它还正在吸引着人工智能专家的 兴趣。当然，激起如此旺盛的研究热潮，存在着很多原因：记录存储技术的进 步；音频和视觉信息技术的发展；抗干扰传感器的发展；便携式电脑的出现； 人机交互界面从点触式向感观式的转变。因此在这种情况下，在人工智能研究 方面一种被称为情感计算【l0 】的新领域应运而生。情感计算是关于、产生于和影 响于情感方面的计算，其目的是赋予计算机识别、理解、表达和适应人情感的能 力。情感计算通过各种传感器获取由人的情感所引起的表情及生理变化信号。 利用“情感模型”f l 对这些信号进行识别，从而理解人的情感并做出适当的响 应。让计算机具有情感也就是让计算机具有智能。“问题并不是智能机器是否能 有情感，而是智能的机器怎么能没有情感”的问题，情感计算是建立和谐人一 机环境的基础之一。为了解释和描绘语音信号中的情感因素，一方面，心理学 家在6 0 年的研究工作中已经进行了许多实验，并提出了有建设性的理论【j 2 l 【1 3 1 。 另一方面，人工智能科学家在情感语音合成【1 4 1 ，情感识别【旧，解析和表达行为 情感1 1 q 方面做了大量贡献。 斯坦福大学的r e e v e s 和n a s s 强过研究发现，在人机交互中所需要解决 的问题同人和人交流中的是一致的，最关键的都是“情感智能【埔】”的能力。因 此计算机要能够更加主动地适应操作者的需要，首先必须能够识别操作者的情 感，而后再根据情感的判断来调整对话的方式。对于情感识别研究包括多个方 面，如情感特征分析、肢体情感识别、面部情感识别和语音情感识别。各国在 这些方面都投入了大量的资金进行研究。美国的m i t 媒体实验室的情感计算研 究小组( a f f e c t i v ec o m p u t i n gr e s e a r c hg r o u p ) 就在专门研究机器如何通过对外 2 浙江工业大学硕士学位论文 界信号的采样，如人体的生理信号( 血压，脉搏，皮肤电阻等) 、面部快照、语 音信号来识别人的各种情感，并让机器对这些情感作出适当的反应f 1 0 1 。目前， 关于情感信息处理的研究正处在不断的深入之中，而其中语音的情感识别因为 涉及到不同语种之间的差异，发展也不尽相同。英语、日语、德语、西班牙语 的语音情感分析处理都有较多的研究，而汉语语音的情感分析还处在刚刚起步 的阶段。 近些年，国外的学者对于情感识别方面的工作进行了大量的研究。v a l a - y a p e t r u s h i n l l 9 1 使用了7 0 0 个短语对4 类情感进行了识别，包括：高兴，生气，悲 伤，害怕。c h u lm i nl e e ，s h r i k a n t hs n a r a y a n 锄刚运用声学和语言信息，使用 l d c 和k 近邻方法，研究了基于电话语音的情感识别问题。a n d r e wj c a l d e r l 2 1 】 对扁桃体被破坏后的情感进行了识别，说明了面部表情跟特殊的神经末梢有关。 a l b i n on o g u e i r a s ，a s u n c i 6 nm o r e n o ，a n t o n i ob o n a f o n t e ，和j o s db m a r i f l 0 1 2 2 介 绍了运用隐马尔可夫的方法，对r a m s e s 的6 种由m p e g - 4 定义的情感语音进 行了识别。j n i c h o l s o n ，k t a k a h a s h i ，r n a k a t s u 【2 3 】利用神经网络对具有平稳语 速的大型情感语音库进行了识别，他们对8 种情感进行了识别，平均的识别率 超过了5 0 。t h o m a ss h u a n g ，l a w r e n c es c h e r t & h a l1 a o 脚】使用语音和机器 视觉对情感进行识别，实验结果表明考虑多种因素可以提高识别效果。d es i l v a , l c m i y a s a t o ，t n a k a t s u ，r 2 5 1 介绍了一个使用多模态信息在不同文化背景 中进行了面部的情感识别。b j 6 ms c h u l l e r , g e r h a r dr i g o l l ，a n dm a n f r e dl a n g 刚 对于英语和德语的情感语音，使用基于高斯混合模型的隐马尔可夫模型以及连 续隐马尔可夫模型的方法进行了识别。c m l e e ，s n a r a y a n a n ，rp i e r a e c i n i 2 r l 使用主元分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 对消极情感的语音信号进 行了识别。r y o h e i n a k a t s u ，j o y n i c h o l s o na n d n a o k o r o s a 2 8 】同样使用了神经网络 的方法对非特定人和非文本的情感语音进行了识别。k o s t o v 2 9 1 研究多种语言： 英语、巴西语、意大利语、日语等。多数研究对男声和女声分开研究，f u k u d a t 3 0 l 进一步对不同年龄、社会地位和教育背景的人分组进行了研究。 d es i l v a t 3 1 】做了一个实验：首先，让被测试者听一些声音片断，然后再让他 们看一些无声的视频片段，最后，让他们看有声的视频片段。研究表明，愤怒、 欢乐和惊奇，这类情感容易通过图像表现，而害怕和忧伤则容易通过声音来表 浙江工业大学硕士学位论文 现。他得出的结论是用图像识别情感比用语音好，图像和语音结合效果更好。 根据这点，学者们认为将语音的情感识别技术和其他技术相结合有助于提高情 感识别的准确率。有许多学者己经把语音情感识别和人脸表情识别结合起来研 究。y o s h i t o m i t 3 2 1 还提出了结合人脸部的热成像帮助识别情感的方法。 国内也有众多的学者致力于情感计算以及情感识别的建模方面的研究，罗 森林，潘丽敏【3 3 】介绍了有关情感计算的发展、应用、研究内容和关键技术。张 颖和罗森林瞰】讨论了p i c a r d 教授在情感计算中情感识别部分的研究成果。清华 大学的刘丹等【3 5 】介绍了一个根据音乐的曲式和情感识别的音乐动画c a d 系统。 刘丹等【3 6 】还全面总结了音乐特征识别领域所取得的主要研究成果。马希荣，刘 琳和桑婧1 3 7 提出了一个基于情感计算的e - l e a r n i n g 系统模型。电子学习 ( e - l e a r n i n g ) i 3 s l 也称在线学习，是指利用互联网技术来设计、执行、选择、管理、 支持和扩展的学习活动，包括电子阅读、多媒体远程教育、虚拟教室、数字图 书馆和电子出版等网络学习的各种形式。中科院的傅小兰【3 9 1 同样也进行了这类 研究。另外王伟凝等1 4 0 针对人对图像的感知和理解是主观性的，开展了图像的 情感语义研究。由于情感识别的真正目的是人机交互，所以薛为民等f 4 1 】在软件 a g e n t 技术基础上，提出具有识别真实人情感，同时又能够表达虚拟人个性情感 的m u l t i - a g e n t s y s t c m 体系结构。毛峡【4 2 】从情感信息以及情感信息处理的模型、 方法和研究课题等几个方面对情感信息处理进行了介绍。谷学静，石志国等【4 3 】 介绍了b d ia g e n t 技术在情感机器人实现中的应用。张彦铎，吴华t 4 4 为使得机 器人舞蹈与音乐更好地配合，并能够快速地进行舞蹈编排，以音乐的情感特征 识别为基础，以多机器人舞蹈系统为应用对象，构建了能够自动识别音乐情感 特征并根据不同曲目特点设计出体现音乐内涵的多机器人舞蹈表演程序的系 统。王上飞等【4 5 】提出了一种情感模型用来处理这些表达心理的形容词。王志良 等 4 6 1 针对计算机如何进行情感计算，提出一种情感空间的概率模型并对其进行 了计算机仿真。王玉洁等【4 7 】根据隐马尔可夫模型h m m 的基本理论和算法设计 了一个情感模型。宋亦旭等1 4 8 】简要概括了当前人工情感的应用，提出一种基于 人工情感的拟人机器人控制体系结构，并给出了仿真示例。 而国内，语音情感识别研究较早的是东南大学，目前已有许多学者参与到 语音情感识别的研究工作当中。赵力等f 4 9 】提出了3 种基于主元素分析的语音信 4 浙江工业大学硕士学位论文 号中的情感识别方法，使用这些方法获得了基本上接近于人的正常表现的识别 效果。王治平等【5 0 】利用模糊熵理论来分析语音信号情感特征参数相对于识别情 感模式的不确定度，并提出了一种利用模糊熵对情感参数有效性进行度量的方 法。南京航空航天大学电子工程系的钱向民等【5 1 】分析了含有欢快、愤怒、惊奇、 悲伤等4 种情感语音信号的时间构造、振幅构造、基频构造和共振峰构造的特 征，通过和不带情感的平静语音信号的比较，总结了不同情感语音信号的情感 特征的分布规律。赵力等【5 2 】还在利用全局特征进行语音情感特征分析的基础上， 提出了采用情感语句中各元音时序结构作为新的特征，并针对不同语句中包含 不同元音个数的情况，提出了零补齐、全局均值补齐、前均值补齐三种不同的 规整方法对语音情感特征进行了分析。另外，赵力和王治平【5 3 1 针对语音情感识 别特征识别问题，利用支持向量机进行了研究。江苏大学的詹永照等矧也针对 语音情感识别的实时性与可用性问题，提出了利用加权欧氏距离模板匹配识别 语音情感。陈建厦和李翠华【5 5 】总结了语音情感识别研究的主要成果。 1 2 语音情感识别的实用意义和存在的问题 语音情感识别技术在将来的用途是很广泛的，可以用来设计人性化的语音 人机界面；可以用在互动电影，让电影里的角色对参与者的情感做出反应：可 用于辅助语音识别，以前在语音识别中都把情感当作“噪音”来处理，如果能 从已经识别出所包含情感的语音中“去除”情感，将有助于提高语音识别系统 的性能：还可以用于情感翻译，同一种语调在不同的文化和语言中可能表达不 同的情感，在一种语言中表示尊敬，在另一种语言中却表示怀疑，如果能够处 理这种差别，将有助于不同国度人们的交流；该技术还可以用在测谎、电子游 戏和辅助心理治疗等方面。 正是看到了这项技术的运用前景，人们开始研究从语音中提取人类情感。 这方面的研究刚刚起步，技术还不成熟，许多方法尚处在试验阶段。从以上所 论述的文献资料中可以看出，目前的研究主要集中在从语音韵律中提取情感特 征信息，少量的研究是基于语音内容的。大多数实验都是基于某种特定的语言， 比如中文、英文、日文等等。少数试验是基于多种语言的，另外，从实验的样 浙江工业大学硕士学位论文 本来看，数量还是太少，只有几百句或几千句，这对于研究复杂的人类情感来 说，还是远远不够的。而且样本是由人根据要求有意识表演录制的，有的是从 电影原声截取的，情感可能不真实。上述方法只能识别出入类的少数几种基本 情感，而不能识别出这几种基本情感混合的情况，而人的情感是十分复杂的， 所以在这方面还要做大量艰苦细致的工作。 有学者对人对语音情感的识别和计算机对语音情感的识别做了比较。在研 究中发现，即使是人也不一定能准确区分某些情感，比如忧伤和厌恶经常被混 淆，愤怒和惊奇亦是如此，图卜1 说明了人对语音情感的识别情况。得出的结论 是，即使是人对语音情感的识别也不可能达到完美的地步，目前计算机对简单 的情感识别的处理能力已经和人的水平比较接近，在这方面还是很有发展潜力 的，今后可以尝试将人工神经网络与隐含马尔可夫模型相结合处理这方面的闯 题，以求达到更好的效果。 i d 啦斑 蝻鼬对强啊黟嘲锄 n o p n s e 嚏列也正 n 髑暇畦 8 争3 1 3 3 1 3 3 j j 9 3 9 9 啪 1 7 3 7 重啻1 3 3 1 3 3 5 3 ， s d1 3 ，o9 0 3 1 3 3 3 j 峥 曲畦田 ol j 3 2 6 嚣8 9 - 3 6 6 艿 图卜l 【1 q 人对情感语音的测试结果 另外，语音中情感的识别和合成带有情感的语音是相辅相成的，在这些方 面的研究将有助于人工智能向更人性化的方向发展。 1 3 神经网络的发展背景与现状 神经网络 5 6 5 7 1 近几十年的飞速发展，激起了不同学科与领域的科学家的浓 厚兴趣。它的产生与发展必将使电子科学和信息科学发生革命性的变化。 a l e k s a n d e r 和m o r t o n 是这样定义神经网络的【5 8 】：一个神经网络是一个由简 单处理元构成的规模宏大的并行分布式处理器，天然具有存储经验知识和使之 可用的特性，神经网络在两个方面与人脑相似，即神经网络获取的知识是从外 界环境中学习得来的；互连神经元的连接速度，即突触权值用于存储获取的知 浙江工业大学硕士学位论文 识。 现代神经网络的研究开始于2 0 世纪4 0 年代，1 9 4 3 年m c c u l l o c h 和a i t t s t 5 9 】 在他们的经典论文中结合了神经生理学和数理逻辑的研究描述了一个神经网络 的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”( a l l - o r - n o n e ) 规 则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作， m c c u l l o c h 和p i t t s 证明这样构成的网络原则上可以计算任何可计算函数。这是 一个有重大意义的结果，有了它就标志着神经网络和人工智能学科的诞生。 到1 9 4 9 年，心理学家d o 。h e b b l 6 0 ) , t 0 , 版行为组织学一书，在该书中首 先建立了被称为h e b b 算法的连接权训练规则。他认为学习的过程就发生在两 个神经细胞相互连接的突触处，并首先提出了神经元权值的修改方案h e b b 学 习规则至今都产生深刻影响。 2 0 世纪5 0 年代初m i m k y l 6 1 】在普林斯顿大学写了“神经网络”的博士论文， 题目是“t h e o r yo f n e u r a la n a l o gr e i n f o r c e m e n ts y s t e m sa n di t sa p p f i c a t i o nt ot h e b r a i n - m o d e lp r o b l e m ”。同时，g a b o r l 6 2 】也提出了非线性自适应滤波器的思想， 他是早期通信理论的先驱者之一和全息照相技术的发明者。 到1 9 5 8 年e r o s e n b l a t t t 6 3 】首次设计制作著名的感知器，提出了一种具有三 层网络的结构，第一次从理论研究转入工程实现阶段，从工程角度出发，研究 了用信息处理神经网络模型。他在1 9 6 0 年概述了感知器收敛定理的第一个证 明，该定理的证明也出现在n o v i k o t t l “1 和其他人的工作中。 1 9 6 2 年，w i d r o w 和h o f f 6 5 】提出了一种连续取值的线性加权求和阀值网络， 即自适应线性元件网络，也可以看成是感知器的变形，它成功地应用于自适应 信号处理和雷达天线控制等连续可调过程。他们在人工神经网络理论上创造了 一种被人们熟知的w i d r o w - h o f f 学习训练算法，即l m s ( 最小均方) 算法，并 用硬件电路实现人工神经网络方面的工作。 1 9 6 9 年，m i n s k y 和p a p e n 惭】出版一本名为感知器的专著，书中利用数 学证明单层感知器所能计算的根本局限，简单的神经网络只能进行线性分类和 求解一阶谓词问题，而不能进行非线性分类和解决比较复杂的高阶谓词问题。 在之后的十几年中，由于感知器的局限性使得神经网络的发展渐渐进入了 一个低潮时期。但是仍有不少研究工作者坚持不懈地努力工作，提出了各种不 7 浙江工业大学硕士学位论文 同的网络模型，增加网络的功能和各种学习算法的研究，为后来神经网络理论、 数学模型、网络结构体系等奠定一些基础。例如1 9 7 2 年，芬兰的k o h o n e n 6 7 】 教授提出了自组织映射理论，并称神经网络结构为“联想存储器”。同一时期， 美国生理和心理学家a 丑d e 始o n 【6 8 l 提出另一个类似的神经网络，称为“交互储存 器”。他们在网络结构、学习算法和传递函数方面的技术几乎完全相同。 8 0 年代神经网络的理论和设计主要在几个前沿方面取得了成绩，并且开始 了新一轮的研究热潮。其中在1 9 8 0 年，g r o s s b e r g 6 9 基于他的竞争学习理论的 早期工作，建立了一个新的自组织原则，即著名的自适应共振理论( a d a p t i v e r e s o 咖c et h e o r y , 觚t ) 。 1 9 8 2 年美国加州理工学院物理学家h o p f i e l d l 7 0 】教授发表的一篇具有里程 碑性的论文，他提出一种递归网络h o p f i e l d 网络，将网络作为一个动态系 统，引入能量函数训练该系统，使网络稳定性的研究有了明确的判据，并证明 了一个互连单元的神经网络系统将达到能量损耗最小的原理。并且他在这种递 归网络和统计物理中使用的i s i n g 模型之间建立了同构【7 l 】。这个类比为一连串的 物理理论进入到神经元模型铺平了道路，因此神经网络的领域变化了。这类具 有反馈的特殊神经网络在8 0 年代引起了大量的关注，在那个时期产生巨大的影 响。尽管h o p f i e l d 网络可能不是真正的神经生物系统模型，但他们包含的原理 是及其深刻的。 另外，在此基础上c o h e n 和g r o s s b c r g 7 2 3 于1 9 8 3 年建立了包括时间连续 h o p f i e l d 网络作为特例的评价按内容寻址记忆的一般原则。吸引子神经网络的 一个与众不同的特征，是以自然的方式证明自己处于网络的非线性动力学中， 用这种方式，时间是学习的重要维数。 同时，另外的一个重大发展是k o h o n e n l 7 3 1 关于使用一维或二维格网结构的 自组织映射研究的文章，这在某些方面与w i l l s h a w 和v o nd e cm a l s b u r 9 1 7 4 】稍早 的工作不同。在文献中k o h o n e n 工作在分析和应用方面比w i l l s h a w 和y o nd e r m a l s b u r g 的模型得到了更多的注意，已经成为这一领域其他创新的评估标准。 1 9 8 3 年k i r k p a t r i c k ，g e l a t t 和v e c e h i l 7 5 描述了解决组合最优化的问题的称为 模拟退火的新方法。模拟退火植根统计力学，是基于m e t r o p o l i se ta 1 【嘲在计算 机仿真中首先使用的一种简单技术。a c k l e y , h i n t o n 和s e j n o w s k i 7 7 1 利用模拟退 浙江工业大学硕士学位论文 火的思想发展称为b o l t z m a n n 机的随机机器，它是多层神经网络的第一个成功 实现。虽然证明b o l t z m a n n 机的学习算法没有b p 算法的计算效率高，但它证明 了m i n s k y 和p a p e r t 的猜想是不成立的，打破了心理障碍。b o l t z r n a n n 机也为 n e a l 7 8 1 随后的s i g m o i d 信度网络的发展作了铺垫工作。s i g m o i f l 信度网络学习性 能的进一步提高是s a u l ，j a k k o l l a 和j 0 r d 锄【7 9 】利用一个植根于统计力学的平均 场理论作出的。 到了1 9 8 6 年r u m e l h a r t ，h i n t o n 和w i l l i a m s i 报告了反向传播算法( b p 算 法) 的发展，他们提出b p 算法在机器学习中的应用并演示了它怎样工作 而在1 9 8 8 年，b r o o m h e a d 和l o w e l 8 i 】描述了使用径向基函数( r a d i a lb a s i s f u n c t i o n , i m f ) 设计多层前馈网络的过程，r b f 提供了多层感知器的另一种选 择。径向基函数的基本想法最早追溯到b a s h k i r o v , b r a v c r m a n 和m u c h n i k i s 2 1 首 先提出了的势函数方法以及a i z c m m n , b r a v e r m a n 和r o z o n o s 3 发展的势函数 理论。d u d a 和h a r t u 的著作 p a t t e r nc l a s s i f i c a t i o na n ds c e n ea n a l y s i s 给出了 势函数方法的一个描述。不过，b r o o m h e a d 和l o w e 的文章导致了联系神经网 络设计和数值分析中的重要领域以及线性自适应滤波器的大量研究工作。 1 9 9 0 年p o g g i o 和g i r o s i 8 s 1 利用1 设h o n o v 【踟的正则化理论进一步丰富了r b f 网络理论。同年，l i n s k e r 8 7 1 描述了认知网络中自组织问题的新原理。这个原理 被设计成保持有关输入活动模式的最大信息，以这样的约束限制突触连接和突 触动态范围。l i n s k e r 的文章重新激发了把信息理论应用到神经网络中的兴趣 进入2 0 世界9 0 年代，v a p n i k 船】和他的合作者发明了具有强大计算能力的 一种有监督学习网络称为支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 用于解决 模式识别，同归和密度估计等问题。这种新方法是基于有限样本学习理论的结 果。支持向量机的一个新颖的特征就是在它们的设计中以自然的方式包含了 v a p n i k c h e r v o n e n k i s ( v c ) 维数。v c 维数提供了神经网络从一个样本集中学 习能力的一种度量。 2 0 世纪9 0 年代以后，神经网络已经开始从理论阶段走向实际应用的阶段， 大量实践中开始使用神经网络来改进工作的精确度。 另外神经网络已经不再是单一的一门学科，许多相关的学科知识已经融入 其中，衍生出一批跨学科的神经网络理论。例如神经网络与小波分析的结合 9 浙江工业大学硕士学位论文 【剜刚；混沌神经网络p 1 】；基于粗集理论的神经网络【蜘【蜘；神经网络与分形理论 的结合l 舛】嗍：模糊神经网络嗍明；随机神经网络【9 8 1 。 1 4 仿生模式识别与多权值神经网络介绍 多权值神经网络是由中科院半导体所的王守觉院士首先提出的，他1 9 9 1 提出 了输出特性具有多值和多阈值特性的神经元，这种新神经元的功能在于它用多 个阈值把输入空间划分成多个超平带，并可把各个超平带按需求归类或赋以不 同的输出值作为标号。 这种神经网络的基础是仿生模式识别理论1 1 0 0 ，这是一种模式识别理论的新 方法，它是基于“认识”事物而不是基于“区分”事物为目的，与传统以“最 佳划分”为目标的统计模式识别相比，它更接近于人类“认识”事物的特性， 故称为“仿生模式识别”，它的数学方法在于研究特征空间中样本集合的拓扑性 质，故亦称作“拓扑模式识别”，“拓扑模式识别”的理论基点在于它确认了特 征空间中同类样本的连续性( 不能分裂成两个彼此不邻接的部分) 特性，王院 士用“仿生模式识别”理论及其“高维空间复杂几何形体覆盖神经网络”识别 方法，对地平面刚体目标全方位识别问题作了实验，对各种形状相像的动物及 车辆模型作全方位8 8 0 0 次识别，结果正确识别率为9 9 7 5 ，错误识别率与拒 识率分别为o 与0 2 5 $ 。 多权值神经元网络的建立是对传统的神经元网络的一种扩展【j o l 】，广义地看待 一个神经元可以理解为个如下的基本运算操作： y = 九( ，) 一7 h ( 1 - 1 ) 其中，形为神经元的权值，x 为神经元的输入信息，砌为神经元的阈值。 m ( x ，w ) 为神经元的基本运算规则。 如对于b p 网络的神经元 ( ，) = x w = w j x ，0 - 2 ) i s | ( x ，) 一t h = 00 - 3 ) 1 0 浙江工业大学硕士学位论文 而对于r b f 网络的神经元，则可取 h l m 伍，形) = l i x - i v i = 【( t m ) 2 】( 1 - 4 ) i - i 中( z ，w ) 一t h = 0 ( 1 - 5 ) 神经元输出函数，的基是输入空间的输入点偏离该超平面或超曲面的程度。 多权值神经元可以表示为： y = 以西( z ，彤，既) 一砌】( 1 甸 其e p 西( x ，阡名) 表示输入点x 与m 个权值，既的关系。 王院士运用仿生模式识别理论和多权值神经网络在人脸识别和语音识别中 都取得了成果。他n 0 2 1 实现了一种基于仿生模式识别的人脸识别系统，并将其识 别效果同最近邻分类器与不同核函数的s v m 进行了分析比较。以o r l 人脸库 为识别对象，针对有“拒识”的情况下，通过改变不同识别算法的可调参数， 在保证参与训练人的正确识别率在大致相同水平的条件下，分析了参与训练人 的错误识别率( 错识别为参与训练的其他人) 与未参与训练人的错误接受率( 错识 别为参与训练的某人1 的优劣。比较结果表明，基于仿生模式识别的方法明显优 于其它模式识别方法。 另外，王院士【1 0 3 1 还将基于多权值神经元网络的仿生模式识别方法用于连续 语音有限词汇量固定词组识别的研究中，并将其识别效果与 m m 方法及d t w 方法进行了比较分析。以1 5 个词组的词汇表做测试，通过调整这三种识别算法 的参数，在它们的拒识率相同的情况下，针对参加训练的词汇，比较他们的错误 识别率( 某类误认为他类) ；针对未参加训练的词汇，比较他们的错误接受率( 误认 为某类) 。结果表明，在低训练样本数量的情况下，仿生模式识别方法能获得更好 的识别效果。 王院士还将仿生模式识别( 拓扑模式识别1 在非感性抽象对象的信息处理方 面的应用作了一些探索【1 0 4 1 ，提出了一种基于仿生模式识别的d o a 估计方法。 这种方法的建模过程是用在实际环境下采集的训练样本构造人工神经网络模 型，对环境的适应能力较强，且这种方法的计算量较小，可以实现系统实时处 理。实验结果表明：在信噪比为2 0 d b 和0 d b 时，该方法的正确估计率可达1 0 0 浙江工业大学硕士学位论文 ；在信噪比降为一2 0 d b 时，该方法仍有8 3 的可识别率。 因此可以看出基于仿生模式识别的多权值神经网络具有相当好的性能，在 几类实验中体现了优越性。王院士在这些理论