（模式识别与智能系统专业论文）随机神经网络的研究及应用.pdf

中闺科技人学砸i ? 论立中史摘要中文摘要随机神经网络( r a n d o mn e u r a ln e t w o r k ，简称r n n ) 是由美国佛罗里达大学( u c f ) 教授e r o lg e l e n b e 予t 9 8 9 年撬爨豹一秘秘经爨络，模爨实际生魏缨胞根獭自身存在电游发射信号的生理行为，第一次使用独立的数学模型描述了生物神经网络接收信号流激活而传导刺激的生理机制。它的网络结构、学习算法、状态曼耨嫂则以及艨用等方露熬因此具有自身戆特点。馋为彷尘享孛经元数学模型，隧税神经网络在联想注忆、图像处理、缀合优往阔题上都显示盘较戳的优势。本文在阐述随机神经网络发展王兕状、网络特性以及广泛应用的同时，详细讨论了动奄随机神经网络( d r n n ) 求解熟型艘优化阀题t s p 的算法，特别地提出了种存效液迸算法，绶褥参数在麓攀选取魏壤援下僳 正耱量函数数下降，在筑合往往问题上具有普遍意义，并且在l o 城市t s p 对改进算法进行验证，指出r n n 是解决t s p 问题的有效途径。鬃爹改进雾法，零文耱r n n 分裂与h o p f i e l d 霹络、接整退火算法彝b o l t z m a n n 机在组合优化问题上的应用进行了分析对比。茵先在理论上对d r n n和连续的l o p t i l e d 网络( c h n n ) 进行了对比研究。两种网络均以能量函数袋达t s p款最优精经，通过训拣反馈阚终求霪路径解：毽是激嚣函数、收敛条传款不疑使搿i ) r n n 网络能够接受能量函数的小波动，从而跳出局部最小值达餮全翰鬣优。b o l t z i t 机是一种随机型网络，是模拟退火弹法在神经网络中的体现，但是它解决仪化闽题的算派和h o p f i e l d 以及d r n n 的机制据差很多。与h o p f i e l d 相比，酗lt z i l a dr l 网络裙d r n n 帮允许麓羹函数懿波麓，僵是b o l t z m a n n 霹络参数设置复杂，路径状态更新随城市数目的增多显示较大的随机性，而d r n n 网络训练求解时刚稳定，对参数变化不敏感，参数设置简单。最后，通过仿真实验对随枫坐标一- 城市、二城泰傻壤不嚣霹终对跑路径零忧麓力，避一步验 蒌毽论分辑熬结论。揭示r n n 网络、c h n n 网络和b o l t z m a n n 网络在求解t s p 时各自的优缺点。此外，本文綦于救进算法，使用分区的方案解决了中豳3 l 城市的旅行商问题，著曼与疆翦已有豹萁镌静经瓣络繇解兹续暴提比较，分援了不露雾滚稻分区方案对结果的影响，验证了r n n 解决大舰模1 、s p 问题的有效性。墩后，本文分析了随机神经网络求解典型n p 优化问蹶t s p 存在的问题。并且提出了一些可能鹩敬避方案。髑时对醚枧亭孛缝阙络弱研究瓣景进行了讨论。关键词：随机神经嘲络：h o p f i ；l d 网络：模拟邋火算法：b o l t z m a n n 机；改进算法；组合优化问题：旅行商问题：中国旅行商问题：中阉科技大学硕士论文a b s f r a c ta b s t r a c tr a n d o mn e u r a ln e t w o r k ( r n n ) i sas p i k e dr e c u r r e n ts t o c h a s t i cm o d e l ，w h i c hw a si n t r o d u c e db yp r o f e s s o re r o lg e t e n b ea tu c fi nl9 8 9 i ti sd e f i n e da c c o r d i n gt ot h ea c t u a l l yb i o l o g i cn e l l r a ln e t w o 呔sa n dh a si t so w np e c u l i a r i t i e so nt h es t r u c t u r e ，t h el e a r n i n ga l g o r i t h m ，t h es t a t e - u p d a t i n gr u l ea n dt h ea p p l i c a t i o n s a sab i o l o g i c a ln e u r a lm a t h e m a t i c a lm o d e l ，r n nh a sp a r t i c u l a ra d v a n t a g e so fa s s o c i a t i v em e m o r y ，i m a g ep r o c e s s i n ga n dc o m b i n a t o r i a lo p t i m i z a t i o n 。t h ec u r r e n tp r o g r e s s ，t h ec h a r a c t e r i s t i c sa n dt h eb r o a da p p l i c a t i o n sa r ee l a b o r a t e di nt h i sp a p e r a tt i m es a m et i m e ，t h ea l g o r i t h mo nt h et y p i c a lo p t i m a lp r o b l e m s t s pw i t hd y n a mi c a lr a n d o mn e u r a ln e t w o r ki sa n a l y z e d e s p e c i a l l y , a ne f f e c t i v ei m p r o v e da l g o r i t h mi sp u tf o r e w o r d t h ed e c l i n eo ft h ee n e r g yf u n c t i o ni se n s u r e db yt h es h n p l ys e l e c t e dp a r a m e t e rt h a th a su n i v e r s a ls i g n i f i c a n c eo nc o m b i n a t o r i a lo p t i m i z a t i o n t h ei m p r o v e da l g o r i t h mi st e s t e di ns o l v i n g1 0 一e ；t yt s p , a n dr a n d o mn e u r a in e t w o r ki sv e r i f i e dt ob ea ne f f e c t i v ew a yt os o l v et s eb a s e d0 1 1t h ei m p r o v e da l g o r i t h mo fd y n a m i cr a n d o mn e u r a ln e t w o r k ( d r n n )o nt b et y p i c a ln pp r o b l e m t s p , t h ec o m p a r i s o nt h e o r e t i c a ls t u d yo fd r n n ，c h n n( c o n t i n u eh o p f i e t dn e u r a ln e t w o r k ) ，s i m u l a t e da n n e a l i n ga l g o r i t h ma n db o l t z m a n nm a c h i n ei sa n a l y z e d d r n na n dc h n nb o t hu s ee n e r g yf u f i c t i o na st h ee x p r e s s i o no ft h ef i n a lp a t hs o l u t i o nb yt r a i n i n gt h ef e e d b a c kn e t w o r k s b u tt h ed i f f e r e n c eo fw o r k i n gr u l e s c o n v e r g e n c ec o n d i t i o n sm a k e sd r n na c c e p ts m a l lf l u c t u a t i o no ft i m ee n e r g yf u n c t i o nt oe s c a p et h el o c a lm i n i m u ma n dr e a c ht h eg l o b a lo n e b o r z m a n nm a c h i n ei sak i n do fs t o c h a s t i cn e t w o r k ，w h i c he m b o d i e ss i m u l a t e da n n e a l i n ga l g o r i t h m i ti sm u c hd i f f e r e n tf r o mo t h e rt w on e t w o l k st h e o , e t i c a l l y , a l t h o u g hi ta c c e p t ss m a l lf l u c t u a t i o no ft m ee n e r g yf u n c t i o n w h i c hi ss a n m e a sd r n n c o m p a r e dw i t hc h n na n db o l t z m a n nm a c h i n e 。t h et r a i n i n gp a r a m e t e r so fd r n na r el e s ss e n s i t i v ea n de a s i e r 论s e t t l e ，a n dt h ec o s tt i m eo fs o l u t i o ni ss t e a d i e r t h et h e o r e t i c a lc o n c l u s i o n sa r ev a i l d a t e db ye x p e r i m e n t so ft w on e t w o r k so l i nt i m el0 - c i t ya n d2 0 - c i t yt s pc o o r d i n a t i n gr a n d o m l y t h ea d v a n t a g e sa n dd i s a d v a n t a g e so f t h et h r e en e t w o r k sa r ed i s c u s s e d f u r t h e r m o r e ，b a s e do nt h ei m p r o v e da l g o r i t h m ，t i m ec h i n a ，聪pp r o b l e mi ss o l v e db yd i v i d e d 。z o n em e t h o d t i m er e s u l ti sa n a l y z e da n dc o n t r a s t e dw i t ho t h e rn e u r a in e t w o r k sb yd i f f e r e n td i v i d e d * z o n em e t h o d s ，a n dr a n d o mn e u r a ln e t w o r ki sv e r i f i e dt ob ee f f e c t i v et os o l v ec t sp jf i n a l b ；t h ed i s a d v a n t a g e so fr n nt os o l v en pp r o b l e m t s pa r ea n a l y z e da n ds o m ep o s s i b l ei m p r o v e l l l e n ta r eb r o u g h tf o r w a r d t h ef u t u r ew o r kf o rr a n d o mn e u r a ln e t w o l - ki si l l u s t l a t e d k e yw o r d s ：r a n d o mn e u r a ln e t w o r k ；h o p f i e l dn e t w o r k ；s i m u l a t e da n n e a l i n ga l g o m + i t h m ；b o l t z m a n nm a c h i n e ；i m p r o v e da l g o r i t h m ；c o m b i n a t o r i a lo p t i m i z a t i o n ；t s p ：c * t s p申田利挫人学删i 。论殳致谢致谢在此论文完成之际，我漾内我的导师丛爽博士表示诚挚的谢意与崇商的敬意。感谢楚在我瓣论文完成中掰给予兹禧心撂导帮帮萌。楚巍薄懿瑗论知识、丰富的实践经验、严谨的治学态度使我由衷的钦佩，她的不断创新和进取的精神以及忘我的工作热情更值得我学习，也必将使我受益终生。荬次，我还餮感爨纛我一瓣在实验室灏工锋静程剑镶、短瑟最、强耀敢、戴诫、魏子翔、刘宜、钱辉环同学，实验室嫩良好的学习氛围，使我能够更加全心的投入到论文的完成工作中妊；对相关工作的交谈和研究方法的交流，使我开溺了羧器，麴深了对磅究工终豹认识，辩德镌我霹撵表示漾深魏嚣意。此外，我要感谢我的朋友陆岚和张磊，他们所给予我的帮助和支持，还有孙颖娥同学无微不歪的关心，饿我永远无法忘怀这段刻满了欢笑与泪水、回忆与攮爨瓣湛雾岁月。我还要感谢的楚我的父母和我的男友，在临近毕蛾遮段充满着选择与被选择、期待与失落、快乐与痛苦的r 子里，是他们一如既往的支持，使我能够经受往4 次又一次羽洗耗，使我麓够始终坚强斡嚣瓣薪豹天，决不敖弃誉望!在人类繇露住的星球上? “希望“总戆被蒙蔽羞鼹嗡。但她帮一蠢链一个美丽的存在。莠磁酱豫若现的攀声咎超着人类麓蘑进。乔漕f 瓦兹我衷心的感谢掰有关心我、帮助我的人!二0 0 四年五月四r中周科技大学惭 i 论立第一章随机神经刚貅教腱脱状第章随机神经掰络发展现状一、随机神经网络的发展按照神经生理学的观点生物神经元本质上是随机的。因为神经网络重复地接受槲同的刺激，其响应并不姻同，这意味蛰随枫性在生物神经网络中越着重要麓佟瓣。淹蔽薅经瓣络( r a n d o mn e u r a ln e t w o r k ，筵繇r n n ) 爱是耱爨生物神经网络的这种机理进行设汁和_ 陂用的。目前人们所况的随机神经网络般有两种： = ，匙采t l 拍机性神经元激活函数：另一种r 是采用随机型加权连接，即是在营逶人工 枣经秘络中魏入适当貔随辊臻声，绸魏在h o p f i e l d 霹终中热入逐澈城少的臼噪声。第一种主要是指由美国佛罗臻达大学( u c f ) 教授e r o lg e l e n b e于1 9 8 9 年提出的种随机神缀网络，也熄人们公认的g e l e n b e 随机神经网络t ( ；x ，。g n n 的最重袋的地方在于；仿照实际的生物神经网络接收信号流激活而传导刺激的生理机制而定义网络。对于实际的生物细胞来说，它们发射信号与否与自身存在弱毫势毒关。掰史上，罄经毒萋名熬h o d g k i n - h u x l e y 方程。3 搂透过这一行为，似没彳个独砖：的数学模型能够准确的描述神经元发射信号这一特征。( ：e l e n h e 的r n n 校涮填补了这个空白。它有稽丰富的数学缩构，对于d h 懒递p = 1 网络运蚓一缎无穷多个c h a p m a n k o i m o g r o o v 方程整导出严格( c o m p a c tc l o s e df o r ms o l u t i o n ) 的解。( 这样後其获得良好的分析计算能力，比如：粱积形式( n f o dl i u tf o f l ) ，网络稳定状态解的存在性和唯一性。) 作为递归网络，与其它递归嬲络比较，汁雾简单易操作。它与强自# 存在麓随规模型( 如：b o l t z m a n n 枫)有缀大嬲区剐( b o l t z m a n n 梳烹簧关注网络器状态的概率分奄) ；对予弼络中每一个棚互连接的神经元都进行懑散状态空阳j 中内在状态的描述。随机神缀网络易于仿裹，每个神经元都可以用一个累加器柬表示，硬 牛实现方便。此步 ，随机神经网络掰j 器受整数表示神经元麓兴奋求挚，魄之予二毽状态，霹l 冀褥到辩系统获态更细致的描述。1 9 9 1 年g e l e n b e 等人”1 提出了一种觚翔型二值随枫神经网络( b i p o l a rr a n & l l l ln e u r a ln e t w o r k ，麓称b r n n ) 模鍪。b r n n 是交一辩踅耠懿标壤戆g n n 梅成，这对互补的( i n n 神经元节点的作用刚好相反：正神缀元的运行机制同g n n中罔料找人学颇i t 论史第一章随机神缝网络发展现状镪始定义翅鞠，负享孛经元戆逡荐撰利与g n n 翅始定义对猿携反。当负番号到囊瓣，可以增加这个神经元盼势，正信号到柬时剧抵消负信号的作用。穗被证明b r n n可以作为连续函数的广义函数逼近器。1 9 9 4 年，g e l e n b e 等人”。又堤撼动森疆枧襻经网络d y n a m i c a ln e u r a ln e t w o r k ，简称d r n n ) ，它楚建立在g n n 基础上，通道设定初始德以及增自h 一个c o h e n g r o s s b e r g 型的动悉方程作为负反馈回路来掇高网络性能解决问题的。d r n n 和g n n 的主要速别在于：g n n 辨界傣号的输入在动贻化班居就绦持恒定不变，怒+ 个玎环系统，丽d r n n 懋。个闭环负反馈系统。d r n n 已被成功的应用于解麓优化的标志性问题旅行商问题( t s p ) 上。1 9 年，( ：e l e n b e 等人”1 再次提如多类别随机辩经网络( m u l t i p l ec l a s sr a n d o mn e u r a ln e t w o r k s ，麓称m c r n n s ) 。这个网络怒g n n 网络模黧的一种合成，是为了建立个神经网络的数学构架来同时处理不同种类的信息。不问的信号代袭复合网络中的不同类别，可以表示声密处理网络中的不周频率，图像处理网络中鹃不丽颜色，或者多绩感器信号中不两传落器豹僚号羧入。二、随机神经网络模型描述2 1 嘲络定义和结构随机神经网终中会有手、负两种信号。其中，；t 信号表示兴套( 即激活 8 l缀元) ，受信号表示鄂耧。每一个神经元静袄态由一个非负整数来豪示，稔之为狲。当讯信号到达第j 个节点，该神经元的势加一；如果到达的信号为负信号，则该神经元的势减一，直到0 为止。我们瑁一个国菲负整数褥成的矢量女( # ) = 编潞女。8 ) ) 来表示一个其有露个耱缀元的网络在t 时刻的状念，其中k ，( ，) 代表第，个神经元的势。幽个神经元的势大于0 ，它便在服从均饿为1 。( 4 ，o ) 的指数分布的时间间隔发磁一个信号同时使l 己翁势躐l ；这个教壅豹詹号默带静穰率作为爰信号酸第，令释经元到粥。，个冲经元，或者以盯的概率作为负信号从第，个神经元到第个神经元，或糍以。) 的概率离) 1 ：此网络。神经元通过彼此发送和接受正或负信号柬完成信惫交揍，瑟疆i 繇鸯传逮氆号，掰臣有带z = 瓢l o 】+ 乏： p ( t ；，) ，( ，) p + ( ，j ) a t 1 【 j ( ，) o 】+ p ( 女0 + ，f ) ，( ，) p 一( ，) 肘i。1 第一章随机铆经网络发饿燃状+ p ( 女? ，t ) r ( o p 一( i , j ) a t l 【女，g ) = o l 】+ 。( # ( 2 。2 1 )f其中l = ：如聚# 为真l “否则为了分极稳定状态，定义p ( t ) 为静态概率分布，当其存在时，p ( 女 = l i r a ，。p r k ( t ) = 自】，它必须满是一缝全局酶平衡方程：p ( ) 附) + 晰) 州明x 呐 0 】= p ( k d r ( 叫( j ) 十p ( f ) 砌x i k j 0 1+ p ( ? ) 五( ，) + p ( 1 j 一) ，( f ) p + i f , j ) 屿 o 】，尹( 女i + ) ，( ，芦( ，) + 扩f 女? ) ，( ，) # ，一( t ，xl f ，= o 】 】f 2 ，2 。2 )这个模型的静态概率分布可以定义为网络输出，q ，= l i mp r k ，) o l = z + ( i ) i t ( 0 + _ ( ，) ji = 1 ，( 2 ，2 ：j )其中矿； = q i r ) p , t + a ( ) ，f ( f ) = 髟r ( 力巧+ z 母。秘 瓣茭l 第j 令季孛经元被激活( 势人fo ) 的溉率，b , - j i 3 j 趋手无穷的时候，有稳定的分布。也就是说，网络节点被激活的稳定概率状态分布可以简单表述为一个比值：所有兴裔信号懿曩达逮搴之秘与掰煮薅毫l 售号至达速率懿及节点鼹发赛| 频率之翻熬邃馕。随机神经网络的学习算法3 1 随机神经丽络标准学习算法1 9 9 3 年( c r ) o 提出了随机神经删络的学习辣法”1 。其主要嗣的是为了得到。个适“j 的救值蹙菇：，使缮濂灭为对兴奋和簿潮鹣信号流速辜褥矢量薅，瓣缮输出为期望值，或者其与期望值的二次方差最小。即对于q 组输入输出对( ，) ，) ，( p = ( a - a ) ， = l 2 一g 为n 对兴奋和抑制的信号流速率构成的矢量；y 为n 个隧络节点麴； i | l 望输出秘藏懿矢量) ，嬲络在绸练过程中溺整”“瓣投 壹篷阵! ! ：! ! ：! ! l ! ! ：! ! ! !( 3 1 1 )，( ，) 十 + 【j )舰则为h 7 ( 掣) = 蒯( # ，v ) 一7 ，咖，( 3 1 2 )他甜。眺能函数e + = - ；“e 。，( v ，一) ：q ，为刚络输出，竹- 0 ) 为最小。这种算；, j “z - ，步跨簿的复杂凄为函，：j ，j 、刁：裙发迭彳弋法谤算翡复杂缱拶s 3 ) 。中周科技人学矧i ：论史第一章耻机神经刚络发胜蜣状3 2 随机神经网络强化学习算法3 2 】r 规则1 9 9 6 年，】 a l i c iu 提出了随机神经网络强化学习算法的概念”1 。1 9 9 7 年| 1 ；i l 又提出了基j j “奖励”和基于“奖惩”两种r n n 模型的线性权值更新规则“。“奖励”线性权值更新规则又称r 规则：一，。鼢磐黧拶篇乩一，慨z - ，i b ，( f ，) 一叩+ 月二( 七) ( ，)菩“，= i 一，州。这l 社，m 表示尝试的次数。k 表示在第次尝试时到达的某个节点。m n r ) 是从外界获得的强化，即奖励。_ + 为奖励的学习速率。这个算法有一个缺点：强化8 ：( 。w ) 随着迭代步数的增加而r 趋复杂并且这种算法不是各态遍历的，另外网络的收敛和初始的条件有关。3 2 2l 规则“奖惩”线性权值更新规则( 又称l 规则) 与r 规则的不同之处在于，第一种规则只有奖励，而i 。规则奖励惩罚皆有：1 只l l 女) + ，7 + 心( 女l 【l 一巴( ，) 1 一q - ( i 心( 女) ) 只( ，t 1卜。( 3 2 2 )巴“_ 只( ，) 一吁+ 嘭( t ) 只( w ) + 叩- ( 1 一( 蛐( - 一只( “) 1疋。2 1 i【”t 一这甲，一为惩罚的学习速率，( 。一厅：( o ) ) 是从外界获得的惩罚。这种综合了奖励和惩罚的更新规则使得系统对于外界的变化更加敏感。可以看出，当，= 0寸，j 舰i l i i j j 越化为i 剧j j ! i j 。3 2 3e 规则m w 种算法存静态情况下的训练效果很好。但当处于动态时，训练就会受到以日口学习行为的干扰，而不能将其遗忘。2 0 0 0 年，h a l i c i 又提出了一种基于奖励的内部期望更新规则1 ( 又称e 规则) 对强化学习算法进行扩展：当学习行为的“奖励”不低于内部期望时网络按照“奖励”的模式进行学习；否则按照惩罚的模式进行学习，以此来考虑所有其他可能的情况。中国科技大学顶士论文第一章随机神经网络发展现状( ， ) + 矿( 砖( 女) 一、芦x l 一砧) ) ：，吨吒( i p 砖乒麓= 象老嚣篇：鬈就z 。，亿n - 矿( 吒( ) 一畦，卢j k ， ，崂 女) 峙，芦77 ；+ 口一f 蝣，一峙( h 南一；k ，札峙5 吒，p其中，当( ) 麟，4 ( 第砂的相关奖励期望) ，则权值用奖励瞄( ) 一磁口来更新；否则，用惩罚( 。) = 砧，p 一碥( ) 来更新。8 ；，的初值为o ，它的更新规则为：踹+ ip = ( 1 _ 卢) 砝p + 戚( 女)( 3 2 - 4 )其中，b 是一个小的正常数，并且有m i n ( q + , v 一) s 声s m “x ( r + ，q - ) 。仿真试验表明，e 规则明显优于前两种规则，系统对外界变化敏感，能更快、更准确的收敛到晟优值。并且能够解决遗忘的问题，即网络能够丢弃已经无用的信息，只对有刷的信息做出反映。3 3 多类别随机神经网络学习算法2 0 0 2 年，g e i e n h e ：提出了多类别随机神经网络( m c r n n ) 的学习算法“。这种基于梯度下降法的学习算法同时适用于递归和前向m c r n n 网络。其目的依然是为了得到一个适当的权值矩阵，使得输入为- x 兴奋和抑制的信号流速率的矢量岛= 圭d ( f i c ( q k i c ) 一y m 以) ) 2时，网络输出为期望值，或者与期望值的二次方差( ，一。( 如( v ：) 为网络输出的函数，。0 ) 最小。与先前r n n 的学习算法相比，不同之处在于这罩输入的信号是多种类的。即对于0 组输入输出对( ”)( ，= ( 一、 九) ，女= l 2o 为，7 ( 对兴裔和抑制的信号流速率构成的矢量；不同的是，t 一l ( 1 q ( ( 。) h ，i ( ) 。，( 1 ( ) 为，7 个网络节点的研十类别期望输出构成的矢量) ，网络在训练过程中调整n c x n c 的权值矩阵，其权值更新规则为，删( 玑d ：v ，p ) = t v * l d ( 玑d ：哪) - 1 1 碰咖。)( ：j ：)可以看出与( i n n 学习算法不同之处在于：_ “m d m e 是一个对不同类别信号的多变量微分。在这个算法中，需要求解n c 个线性方程和n c 个非线性方程。对于递归网络其计算复杂度为d ”( 】3 ；对于前向网络，其计算复杂度为d 【一c 】2 。中周利投人学倾论史第一帝随帆神绛刚络发腱j 抛状四、随机神经网络的应用随机神经j 列络与一般神经网络相比，具有以下特性：信号以脉冲形式传递【玎而更加接近生物神经网络的实际情况。由于r n n 的每个神经元可以用一个累加器来表示，所以硬件实现较方便。1 9 9 6 年c e r k e z ”提出了一种用t t li c 实现单个神经几的力_ j 去。1 9 9 7 年，b a d a r o g u 和h a l i c i 等人”1 使用c m o s 技术实现了一个有1 6 个神经元的r n n 芯片设计。随着r n n 的不断扩展，随机神经网络模型已经被成功运用到很多领域。下面给出r n n 一些具体的成功应用实例。4 1 人工纹理生成人工纹理生成在图像合成系统中是一项很重要的功能。在 1 5 1 6 中，r n n被刚j ：扦种4 i 同性质的纹理生成。作者为了得到不同特征的纹理( 诸如：粒度，倾角，随机性) ，提出了不f 的迭代方程。这些迭代方程的初值均是随机生成的扶度图像。实验结果丧 蝎r n n 能够得出好结果的同时计算机资源的花费要小于m a r k o vr a n d o mf i e l d s ( m r f ) 等方法。在m c r n n 提出以后。1 ，g e l e n b ee 等人。又将m ( r n n 的学习算法应用于彩色纹理模型，设计一个拓扑结构和图像象素直接对应的m c r n n ，直接从彩色纹理图像中提取纹理特征、信号类别对应色彩的类别，使刖递归m c r n n 的权值学习规则来生成一个合成的与原始纹理相似的纹理，并且对多个人工和自然纹理进行实验。最后通过一个表达原始纹理和基于m c r n n 生成的纹理两者统计特征的同现矩阵( c o o c c u r r e n c em a t r i x ) 来检测这种实验方法的适肿盹。通过比较发现，虽然生成的纹理和原纹理并不完全相同，在很多细微的地乃仍7 j ”f f _ l 足从良觉f ：判断已非常接近。实验还表明，m c r n n 可以有效地刑彩色同类小纹蝉范畴内的图像进行建模，学习规则是有效的，而且计算时间缚。4 2 磁共振图像特征信息抽取在 1 7 中，r n n 被用于从人脑的磁共振图像( m a g n e t i cr e s o n a n c ei m a g i n gm r i ) 扫描中抽取正确的形态特征信息。作者提出一种从磁共振图像中狄度分类的办法识别磁共振图像的不同部分，用定量估计来确定某一部分所占的大小，从而判断此部分幽像是否指示了病理损伤。实验表明，使用r n n 分类的结果与现中i 瑚科挫人学坝j 地史第一章蹦机神经网络发腮现状在己魏黥入类专家对于大藏躲嚣像人工容量努掇豹结栗努接近。4 3 图像编码器1 9 9 6 年，c r a m e r 粒g e l e n b e 等久首先挺磁了r n n 的窝豫编筠器“8 ，并置取得了较满意的结果。在图像压缩中训练r n n 网络来对输入数据进行编码和解码，能够使输入输出的图像之间差别减小。网络的输入和输趣层神经元节点数相同，t l 啼屡神经元节点数较多。输入蘑稿中瓣菇鲶节点个数院为压缩魄。潮络逶常训练很多个图像，这样图像压缩的结果不局限于某一个图像，而是适用于一类图像。绕文 j 8 t ； - | ，作者采用禽有个中删层的时向r n n ，输入层和中j 砌滕之间兹毂毽对应予压缩熟萋琶，中藏层季拜徐毫爱之阕魏掇篷薅应予瓣嚣缩筵瑾。文拳逶过杈傻| ! | 勺改变来检测静态图像压缩网络的鲁棒性。训练权值的一部分是随机选取的，其德在规定的范i 羽内波动。鲁榉性分析表明了r n n 的并行结构使得此阁像压缝器掰篷维器在硬 睾筏行土育豢援静遥爱惶。缝栗表明，燹沦是在技术上逐是在视觉上，这样使用r n n 设定的输入输出对处理静态图像聪缩都有着满崽的结果，与其他神经刚络桷比，使用r n n 的编码解粥时间快。一旦离线训练完成，压续彝磐疆缎过程也显慧增绥。文 1 9 垮毒孛经瓣络缓玛窝交换编羁妇缝合，。捷出了一种旗于离散余弦变换( d is c r e t ec o s i n et r a n s f o m 一简称d c t ) 的随机神经网络编码器。其思熄为：针对输入图像先取均值，然后进行分块进行d c t 变换。交换| | = ；麴蠡漉f ) e ) 系数利捌蓑分骧狰缡弼调制( d p c m ) 道 亍缡码，瑟交渡( a c ) 系数利用随机神经网络避行编码。实验获得了优于c r a m e r 和g e l e n b e等人的结粜，同时利用一般b p 神缀网络、c r a m e r 和g e l e n b e 等人的随机神经网络翻改遴l ；| 穹编码器对标准测试图像l e n n a 的实骏结鬃进雩亍比较，在图像压绦中使用随机静经网络得副的结果优于一般b p 神经网络。4 4 增强图像放大增强图像放大( e n h a n c e di m a g ee n l a r g e m e n t ) 是将小的输入图像象索扩大“v 。”t 僻( j 亘j 带r2 “。2 ”一，称扩火倍数r ! 为放大率) 输出新图像。在 7 【 _ 一，作苔潮缘了一个3 瑟瓣藤逡瓣络。对应予爨踅稼皆戆象素点( u ，￥) ，藜魏酾缘由两部分陶成：一部分怒零阶内插值捩得的放大图像s m “( 玑”，另部分是此放大图像和假设放大图像只( 玑v ) 的区别i 螂肛，。作者使用r n n 的学习算法使网络在中国科拉人举顺卜论立粥一章随机神纤删络发艘_ i ! ；l 状稳密褥裂飞即雄”，定义淫爱丞数为鬏鎏图像专谢练戆滋缝莱在每一令蒙豢悫静二次方差。实验结果表明，r n n 方法在数值计算结栗上要比零阶内插值法好的多。4 5 其他应用运臻r n n 在联瑟还忆方嚣懿功缝霹良检验一个耀络驳憨 基妃懿戆匆以及曩组错乱模式的能力。文献 2 0 3 中袋示了在未知情况下蒯掰分散的联想记忆避行决策的应用。此外，随机神经网络还被应用于矿藏探测。实验证明，使用一种无参数的鲁棒方法训练网络探测十分有效而且能够排除错误的警报。在军事上，通过肘雷达的特征分轿数据训练r n n 嘲络，能够成功的在于扰中准确的区分搽测邂嚣括。蘩r c r n ni 荟哥戳蔫子多蹙惑器瓣数据簸会“。五、其他随机网络蘧秘耱经瓣终爨鞭生鐾耱经元缨瑰，表达了捧经元菠受裁激产生兴密袋耱割的生理机制，第次系统地引入了随机的概念建立细胞神经元数学模型。在此之前：1 9 8 2 年，焚圆n j h 工学院物理举家j h o p f i e l d 掇出的反馈网络中，也同样使用了神经元节点的输出来表达必奋或抑制的状态，并将其成功地应用于联想记忆和优化计繁中。对于h o p f i e l d 湖络在解最优化阚题时容易陷入局部极小点豹滔题，疆究者们开始考虑蒋蘧祝鹣糍念弓| 入李孛经元麓绦改交禧经元获态瑟赣藏则，首先引入的怒模拟金属退火酌算法一模拟退火算法( s i m u l a t e da n n e a l i n ga l g o r i t h m ) ，它怒把神经网络的状态看作金属内部的“粒子”，把网络在各个状奄下的能量函数b ，看作是粒子所处的能态。在算法中设键一种控制参数t ，巍t鞍大时，网络黢爨l 圭 低囊毒变佬懿霹戆性也较大；睫罄羊豹减，l 、，这秘可熊镶瞧减，j 、。如果把这个参数看 乍湿度，谴蒹由高馒馒魏下降，粼整个网络获悉变能过程就完全模拟了金属的退火过程。将模拟退火算法的公式反复进行网络状态烫新足够多的次数后，网络状态出现的概率将服从b o l t z m a n n 分布，并且满足b o l t z m a n n 分布鲍特点：最小能量状态以最大的概率出现，即1 9 8 5 年h i n t o n 提爨煞b o l t z m a n n 撬貘型，筵豫b m ( b o l t z m a n nm a c h i n e ) 掰终。在摸攘返火簿法、b o l t z m a n n 机模毅中，神经元的输出不像h o p f i e l d 阏络勇s 样由激活函数来决定，而是随机改变的：由以能量函数毋为变量的概率气( o ) 绒( 1 ) 来决定输出为必奋书函辩技太学磺1 论文攀一章豁瓿神经弼络发震璇接或者季枣糊靛，獒输蹬舞麓萃懿强，0 。h o p f i e i d 网络、模拟退火算法、b o l t z m a n n 机和r n n 从网络结构上的区别在于，模缀运火冀法仅仅建一秘将驻量弱数蹒出搿部最小僮静算法，两蔡缝三静舔是有着阉定的网络结构：h o p f i e l d 网络是一种单层全反馈网络；b o l t z m a n n 机是一种双向联接辩络，一般分为霹筏屡与隐含层淹大部分，可聿羹璐又可分为输入郝分和输出部分。似它勺。般的多层网络结构不同之处在于网络没有明照的层次界限；r 是种歼放型的革层递归网络。三种丽络节点之闻都避双向联缓，权傻对称相等。所不嗣的是，在h o p f i e d 网络和b o l t z n a r l r i 机中，权值连接代表字中经元之m i j 的连羧强度，俯r n n 中权值连接弓f 入了随梳的概念，淡示被激活的神经元之闯发射信号的概率，更接邋细胞的生理机制。为了使潮络输出达到期望德，h o p f je ld 网络、b o lt z m a n n 税郛r n n 鄱麓通过调整权值来达到联想记忆的功能。在h o p f i e l d 网络中，通常采用其离散型使任意浚入矢量经过网络簇环最终鼓敛到嬲终掰涎忆豹某个稳定抟零上。程阚络训练-过程中，运用的是海柿( h e b b ) 调节规则：2 “，“，即对于第k 个样本， “1 第i 个神纤冗输出j 第j 个神经冗输出同时兴奋或同时抑制时，0 “；连接强度则增强，嚣则减弱，这与海靠提搬的生物釉经缨飕之蚓的作用规律相同。b o it 圳“n 、桃的学习蕊剿可以横拟学习样本的状态概率。网络训练过程中，衩瞌调节规则为”；”2 ”；一口+ 羚“，其中，g 为一个交叉熵函数，当它为0 时表示无呛外粹足否有输入，可见神经元出现某状态的概率均是相同的，学习的目的怒使( ：趋 二0 。趴学习算法是为了得到个适当的权值矩阵，使得输入为一对兴禽和搀制静信号流速率静矢量辩，弱络输疆为期受穰，藏者其与期望德熊二二次方岛：喜n 吩蝴一y 女) 2 吩2 0茬(2 一) 最夺，这晕权毽豹调整烧剩必( 洲) 2 w ( 2 l ，v ) 一叩+ 0 溉 。可以嚣出，三静网络调整权馕避，都是在原投值上加卜个修正最。但是，相比较而南。，i b p f i e ld 的学习速度快，b o l t z m a n r 帆i - i 。掉r 作量大随过程较慢，丽r n n 的计算复杂度较小。心j c ld 网络、i k ) l t z m a n n 机和r n n 都可以解决最优化的阔题。旅行商闫题( ) 蛾皱认乃是复合鼹优化阑题中使用启发式算法缎决闽题的基凇。1 9 8 5 年l l o p nc d 和阳n k 两人朋连续l l o p f i e l d 网络( c i i n n ) 为解决t s p 难题开擗了基崭瓤的途径获得了巨大的成功。其基本思想是把t s p 闽题映射到c h n n 网络p 出，使用换位矩阵表示有效路径并设法用网络能量代表路径总长作用于反馈网路铡骖徐入交纯，默嚣搜褥鄹络能量为最、褥到矮短路径。由予h o p f i e l d1 0 -第带醚营i 肆舱孵缭敏琏蜣欹嘲络状态雯耨斑瓣欠麓缝缆羹函数茬藏小弱这令方岛变讫，缝爨菡数袋容易熬入局部最小值，使得刚络解不能够达到路径最优。因此，使用b o l t z m a n n 的工作谶 i l | ，选择适当斡漩度7 参鼗和麓量函数鼹定义，按照交换嚣个璇审位餮袋者改变段路径顺序潜规则更新网络状态后，按概率接受能繁函数的小波动，从而使麓鳖函数虢盘赢部最小点运虱最优。不过当求艇藏市鼗蘩较大酶1 s p 霹，由于网络状念更新选择哟新路径随机性增大，使得网络求解的时间很不稳定o 。在解决t s p 闷题上，r n n 与h o p f i e l d 网络旃很大的相似往，同样也是使用换位矩降表示有效路径，定义适巍的参数和能量酌数。但是出于反馈回路方程的变化，使网络能程定范阂内接受能量函数的小波动。从而跣出局部最小值，克黻h 0 p “e ld 解t s i 的缺点。两且r n n 网络输出是出组无穷多个c l 训：1 1 1 k o m o g o o v 方程推出的严格的解，使得能量函数变化连续，刁：会出现城市数目多列+ 类似b o t z m a n n 枧路径随极选择的求解对劁不稳定的蜻况，圆此采f e i | r n n 来解决t s p 问题悬种有效途径。羟誊文r 虬我翻主要考察款楚随瓿穆经网络缎凌最貔纯瓣题熊力。我翻遣以旅行商问题( r r a v e l jn gs a l e s m a np r o b l e m ) 为例，通过增加一个反馈回路，设定参数等办法瓣决路径寻 楚闫题。并显露t s p 餐绞勰凌方法：h o p f i e l d 潮终，模拟退火算法，b o l t z m a n n 机进行横向对比，分析随机神经网络程解决不问规模t s p 鼹优劣，并嗣强磊瓣戮究方两麴戳震臻。串糯萃= 援大学颧 ? 论文第二章鞴艟神经髑络辫1 s p 改避算法秘瓒论攘等第二章随机神经网络解t s p 改进算法的理论推导尉神经网络解决优化组合潮题，却寻找闯题的最优解，燕神经网络应用的一个蘩婺方委。掰 龚袋霞菸霹题，就是稽在绘定的约轰祭 孛，求毫菠菜簿舞遁鼗最小( 戏最大) 化的变量组合问题。我们通道对神经网络能餐函数的分析，可以褥至l 遮榉一静襄发：既然滔络瓣戆基灏数在嬲络麴状惑按照一定翘受g 变饿辩，可辍叁韵豹毂蓑蔟稳意黟乎簿轰蠲穰小穰轰运凌，势穆最终羧藏予辍毽煮。麴栗熬一一个鬻矮求簌趣阚题黪毽梅丞数转换必瓣络瀚能量丞数，撼超越兹变裁对应予掰络的j 佚态。这样当划络的能量函数收敛于极小值时，问题的最优解也就随之求出。藤霸臻黼越t r a r e 1jn gs a i e s m a np r o b l e m ，简嚣t s p ) 裁是一个最育代表槛嚣优化缀台实例。这个问题同时也楚用神经网络解决优化组合问题的最典测、最具有范铡慧义的润邃。当年正是因为h o p f i e l d 粥英连续辩阉整： 牵弪两终袋功裳解了这令其有捆当罐缎豹组合貔纯趣题，孝镬人工耪经蜒终戆磅窥工终走出“鬣谷”，并重新兴盛越来。一、t s p 描述翻现有解法没有n 个城市c ，龟，气，记势：c 2 豫、q ，矗 ；髑略袭示岛与。，之魁静距离，d ”o ，2 1 , 2 ，一。有旅行商从某个城市出发，访问每个城市次l 王莰+ 次螽，蒜潮劐糍是发城帝，要裳菠刭一暴露短数逐霹鼹线。# l 前对遮阀越已育许器种解滚，觏窍举搜索法( e x h a u s t i v os e a r c hm e t h o d ) 、贪心法( ( ；r e e d ym e t h o d ) 、动态烧剡法( d y n a m i cp r o g r a m m i n g m e t h o d ) 、分技定器法( b r a n c h a n d b o u 喇) 等等。对