章基础知识续人工神经网络常用学习规则

人工神经网络常用的学习规则MP模型是于1943年由美国心理学家McCulloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(ProcessingElement)，它是一个多输入－多输出的非线性信息处理单元。如图5-6所示，图5-7为MP模型的作用函数。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。图5-6MP神经元模型01(x)F(x)人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。关于人工神经网络的学习机制，涉及到神经元如何分布、处理和存储信息。常用的人工神经网络学习规则如下，图5-8是权值调整的一般情况，其中：Wj为联接到神经元j的权值向量，X为输入向量，r为学习信号，d为导师信号。权向量的调整准则为式中为学习速率。权值调整的迭代格式为权值调整的一般情况wXr(w,x,d)dj信号生成器OjjwjX1)Hebbian学习规则1949年，心理学家D.O.Hebb最早提出了关于神经网络学习机理的“突触修正”的假设。该假设指出，当神经元的突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应增强。根据该假设定义的权值调整方法，称为Hebbian学习规则。在Hebbian学习规则中，学习信号简单地等于神经元的输出式中W为权向量，X为输入向量。权向量的调整公式为权向量中，每个分量的调整由下式确定上式表明，权值调整量与输入输出的乘积成正比。显然，经常出现的输入模式将对权向量有最大的影响。在这种情况下，Hebbian学习规则需预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。此外，要求权值初始化，即在学习开始前(t=0)，先对Wj(0)赋予零附近的小随机数。Hebbian学习规则代表一种纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着重要作用。2)Perceptron（感知器）学习规则1958年，美国学者FrankRosenblatt首次定义了一个具有单层计算单元的神经网络结构，称为感知器(Perceptron)。感知器的学习规则规定，学习信号等于神经元期望输出（教师信号）与实际输出之差式中为期望的输出，。感知器采用了与阈值转移函数类似的符号转移函数，其表达为因此，权值调整公式应为式中，当实际输出与期望值相同时，权值不需要调整；在有误差存在情况下，由于、，权值调整公式简化为感器学习规则只适用于二进制神经元，初始权值可取任意值。感知器学习规则代表一种有导师学习。由于感知器理论是研究其他神经网络的基础，该规则对于神经网络的有导师学习具有极为重要的意义。3)δ(Delta)学习规则1986年，认知心理学家McClelland和Rumelhart在神经网络训练中引入了δ规则，该规则亦可称为连续感知器学习规则，与上述离散感知器学习规则并行。δ规则的学习信号规定为上式定义的学习信号称为。式中是转移函数的导数。显然，规则要求转移函数可导，因此只适用于有导师学习中定义的连续转移函数，如Sigmoid函数。事实上，规则很容易由输出值与期望值的最小平方误差条件推导出来。定义神经元输出与期望输出之间的平方误差为式中，误差E是权向量Wj的函数。欲使误差E最小，Wj应与误差的负梯度成正比，即式中，比例系数η是一个正常数。由式(5-12)，误差梯度为可以看出，上式中η与X之间的部分正是式(5-11)中定义的学习信号δ。ΔWj中每个分量的调整由下式计算学习规则可推广到多层前馈网络中，权值可初始化为任意值。4)办Wi拨dr灯ow矮-H梨of阀f学习情规则19吗62年，Be墓rn葵ar喝dWi蚕dr郊ow和Ma满rc套ia昌nHo馋ff提出射了Wi钱dr偶ow-H吴of律f学习候规则祝，又恩称为哨最小铜均方甚规则(L救MS河)。Wi吃dr拖ow-H妨of丸f学习辞规则科的学泥习信著号为权向脾量调远整量腐为..的各柏分量枪为实际嗓上，宫如果低在学矛习规食则中茂假定严社会悠元转程移函传数为精，亡则有鄙，农此时国式(5刻-1萍1)与式(5命-1叶7)相同批。因此影，Wi鸣dr驱ow-H吊of涂f学习胁规则哑可以站看成耐是学燥习规燥则的渐一个末特殊刚情况废。该族学习摧规则谁与神认经元棋采用翻的转将移函混数无睬关，披因而摸不需袜要对战转移网函数脂求导介数，盖不仅偷学习禁速度敢较快牺，而拉且具舍有较判高的指精度鲜。权积值可新初始拣化为狡任意贞值。5)圾C允or供re佣la矛ti嫁on（相迎关）肚学习痰规则相关微学习锻规则体学习绕信号尺为易得拳出分露别为该规复则表篮明，匆当dj是xi的期欧望输正出时撤，相尤应的海权值寒增量Δωi叹j与两总者的蓄乘积dj敬xi成正亏比。如果He立bb植ia幕n学习棕规则料中的样转移红函数难为二绢进制纳函数霸，且乳有oj=dj，则衬相Δ关学称习规质则可鸭看作He拴bb昏ia毕n规则劳的一提种特裙殊情动况。堂应当伪注意亦的是巧，He枯bb剂ia耀n学习锣规则残是无吗导师粪学习浮，而亏相关少学习舟规则扯是有测导师宁学习柳。这拔种学辨习规勉则要气求将样权值研初始钻化为亲零。6)汤W煤in赠ne律r-私Ta夸ke分-a我ll（胜初者为削王）昨学习削规则Wi怪nn城er哗-T静ak和e-涌al产l学习皇规则日是一猜种竞拆争学虽习规挖则，槽用于木无导症师学辆习。盖一般胃将网领络的吼某一台层确侦定为阿竞争薯层，春对于锻一个税特定初的输鼓入X，竞交争层悔的所辞有p个神懂经元薪均有胖输出产响应寇，其寨中响果应值浑最大暑的神办经元院为在叙竞争晒中获质胜的类神经酱元，惭即只有目获胜潜神经医元才链有权崇调整博其权假向量乘，调则整量跨为式中复，，紫是学您习常筹数，显一般邮其值算随着流学习茂的进奴展而烟减小络。由匀于两霸个向用量的姑点积修越大席，表局明两谦者越吗近似渡，所扣以调供整获乐胜神减经元伞权值朋的结街果是润使Wm进一峡步接织近当蚂前输滤入X。显压然，蠢当下波次出套现与X相像爆的输往入模组式时浙，上必次获垒胜的位神经朋元更白容易筝获胜站。在寸反复剧的竞念争学误习过荷程中射，竞奇争层眠的各腥神经休元所幻玉对应恐的权卫向量符被逐熄渐调候整为伴输入穗样本抽空间菊的聚录类中披心。葱在有厌些应派用中彻，以虽获胜腰神经摄元为苹中心催定义坡一个盆获胜追领域晴，除演获胜民神经床元调滑整权啄值外块，领跟域内积的其巧他神豪经元蜓也不怪同程遮度地创调整熄权值露。权放值一揪般被地初始抖化为能任意腥值并针进行亡归一表化处当理。7)象Ou恩ts乒ta鉴r（外反星）被学习远规则神经未网络羊中有态两类摔常见济节点棕，分蝴别称胳为内兼星节帅点和登外星痕节点挽，其申特点宽见图5-摇8和5-止9。图5-殿8中的犬内星中节点亦总是帽接受伏来自端四面视八方窑的输睡入加男权信替号，决因此棵是信要号的辱汇聚听点，思对应闯的权闸值向每量称预为内朋星权纺向量后；图5-形9中的蜡外星窜节点友总是颠向四盾面八壤方发保出输镇出加舞权信格号，变因此螺是信江号的遣发散拣点，鸣对应漫的权抬值向访量称势为外眨星权耽向量作。内临星学那习规留则定彼内星趴节点郑的输腿出响忘应是遍输入控向量X和内左星权总向量Wj的点将积。脱该点检积反牺映了X与Wj的相富似程定度，首其权印值按杜式(5评-2认3)调整碰。因义此Wi写nn逢er广-T棍ak抱e-谁Al买l学习台规则疤与内罪星规签则一北致。下面减介绍至外星驻学习蕉规则菠。外钟星学巨习规陪则属亮于有钞导师局学习剑，其圣目的吓是为乎了生秒成一羽个期芽望的淘维输精出向绣量，册设对茶应的网外星停权向叮量用Wj表示次，学细习规训则如速下式中壁，η的规炕定与刺作用捐与式(5哨-2堡3)中的α相同愿，给旅出的悼外星肾学习泄规则牢使节残点j对应垒的外美星权甩向量样向期哄望输魂出向税量d靠近缎。WijWnjW1jjWijWnjW1jj2.错4神经扬网络危学习人工控神经稠网络猛是由鹿人工防神经多元（仰简称勾神经廉元）柴互联笛组成熄的网猎络，屑它是窄从微翠观结恼构和宾功能炒上对性人脑粱的抽液象、皆简化家，是结模拟碍人类邪智能法的一秆条重嗽要途所径，碧反映斑了人逢脑功礼能的壤若干残基本当特征谊，如其并行女信息池处理克、学捡习、霞联想旺、模预式分碎类、株记忆食等。笑目前练，已刚发展猎了几桃十种漏神经话网络可，例庄如Ho育pf丘ie央ld模型支，Fe堆ld聋ma决nn等的逐连接仔型网夸络模斤型，Hi自nt镰on等的谜玻尔罗茨曼封机模零型，浸以及Ru懒me田lh功ar布t等的勾多层扇感知馅机模牢型和Ko易ho茂ne币n的自稻组织册网络应模型比等等嘴。在这刷众多惩神经疗网络车模型慢中，庙应用顷最广司泛的法是多央层感脉知机姻神经仙网络折。多土层感苹知机晓神经章网络阻的研喊究始被于20世纪50年代连，但丝式一直来进展正不大晓。直须到19垮85年，Ru护me缠lh例ar敬t等人觉提出辆了误将差反夺向传倘递学龄习算脸法（贵即BP算法听），绑实现录了Mi剑ns祝ky的多醒层网瓦络设宿想。神经爷网络户对控血制领加域和昏反问纷题研钉究有宗吸引笼力的腥特征酿表现催在：(1犹)能逼撒近任旦意L2上的拳非线陡性函男数；(2坐)信息方的并柜行分佳布式具处理来与存隶储；(3的)可以名多输公入、馆多输荣出；(4灾)便于闲用超违大规挣模集录成电锋路(V农LS基I)或光项学集佛成电铺路系茅统实击现，忙或用免现有舟的计双算机雕技术省实现艘；(5屈)能进非行学骨习，美以适威应环暖境的记变化茄。决定翠网络凤整体拍性能脚的三疾大要光素包雀括：(1害)神经凡元（土信息姓处理恩单元列）的棒特性虎；(2捞)神经器元间丧相互垃联接性的形良式—拓扑蚕结构抓；(3宰)为适慢应环合境而纠改善唉性能景的学且习规项则。混表5-训1为对色神经植网络触发展竞有重狭要影帖响的田神经猎网络神经勿网络鼠通过湖相继葛给网测络输语入一悲些样版本模懂式，起并按裂照一灰定的走规则浮（或尊学习川算法偿）不渴断改卫变网敬络各浊层的糕连接浪权值面，使京网络猛的输杯出不躬断地筹接近秀期望吵的输抢出值销，这加一个歪过程冒称为员神经樱网络苏的学收习或算训练对。学锅习的塑实质摄是可墓变权疾值的丙动态孩调整稍的自重适应斥过程屋。改忍变权籍值的去规则杏称为季学习肤规则蜓或学抚习算爷法（钞相应银也称势训练捐规则取或训闪练算迅法）典。单婚个处越理单贼元，傍无论摄采用房诚哪一负种学随习规造则进派行调乎整，佛其算厉法都轧十分续简单伟。大祥量处皇理单孕元集变体进吴行权蛾值调盏整时驾，网螺络就弹呈现脂出“甩智能逝”的这特性洒。神经外网络搅结构猫和功泥能不仅同，骗学习训方法蜡也各声不相置同。蚀在人尝工神诵经网屿络的串结构肃和转津移函沾数决划定以算后，斥如何甜设计俱权使零网络甘达到称一定遥的要纯求，蹲就成兽为决蛇定神碗经网既络信质息处障理性浑能的世第三挡大要皆素。脉学习豪问题斑归根哀结底喂就是躺网络壳连接顶权的诞调整豆问题马，其宋方法奥有以提下几品种：名称提出者年代典型应用领域局限性特点Perceptron(感知器)FrankRosenblatt(康奈尔大学)1958文字识别、声音识别、声纳信号识别、学习记忆问题研究不能识别识别复杂字符，对字的大小、平移和倾斜敏感最早的神经网络，已很少应用；有学习能力，只能进行线形分类Adaline(自适应线形单元)和Madaline(多个Adaline的组合网络)BernardWidrow(斯坦福大学)1960~1962雷达天线控制,自适应回波抵消，适应性调制解调，电话线中适应性补偿等要求输入-输出之间为线性关系学习能力较强，较早开始商业应用，Madaline是Adaline的功能扩展Avalanche(雪崩网)S.Drossberg(波士顿大学)1967连续语音识别，机器人手臂运动的教学指令不易改变运动速度和插入运动Cerellatron（小脑自动机）D.Marr（麻省理工学院）1969~1982控制机器人的手臂运动需要复杂的控制输入类似于Avalanche网络，能调和各种指令序列，按需要缓缓地插入动作BackPropagation(误差反传网络)P.Werbos(哈佛大学)Davidumlhart(斯坦福大学)JamesMeClelland(斯坦福大学)1974~1985语音识别，工业过程控制，贷款信用评估，股票预测，自适应控制等需要大量输入-输出数据，训练时间长，易陷入局部极小多层前馈网络，采用最小均方差学习方式，是目前应用最广泛的学习网络Self-organizingfeaturemap(自组织特征映射网络)TuevoKonhonen(芬兰赫尔辛基技术大学)1980语音识别，机器人控制，工业过程控制，图像压缩，专家系统等模式类型数需预先知道对输入样本自组织聚类，可映射样本空间的分布Hopfield网络JohnHopfield(加州理工学院)1982求解TSP问题，线性规划，联想记忆和用于辨识无学习能力，连接要对称，权值要预先给定单层自联想网络，可从有缺陷和有噪声输入中恢复完整信息Boltzmanmachine(玻尔兹曼机)Cauchymachine(柯西机)J.Hinton(多伦多大学)T.Sejnowski(霍尔金斯大学)1985~1986图像、声纳和雷达等模式识别波尔兹曼机训练时间长，柯西机在某些统计分布下产生噪声采用随机学习算法的网络，可训练实现全局最优BidirectionalAssociativeMemory(BAM,双向联想记忆网)BartKosko(南加州大学)1985~1988内容寻址的联想记忆存储的密度低，数据必须适应编码双向联想式单层网络，具有学习功能，简单易学CounterPropagation(CPN,双向传播网)RobertHecht-Nielsen1986神经网络计算机，图像分析和统计分析需要大量处理单元和连接，需要高度准确一种在功能上作为统计最优化和概率密度函数分析的网络AdaptiveResonanceTheory(自适应共振理论ART)有ART1、ART2和ART33种类型G.CarpenterandSGrossberg(波士顿大学)1976~1990模式识别领域，擅长识别复杂模式或未知的模式受平移、旋转及尺度的影响；系统比较复杂，难以用硬件实现可以对任意多和任意复杂的二维模式进行自组织学习，ART1用于二进制，ART2用于连续信号BrainStateinaBox(盒中脑BSB网络)JamesAnderson（布朗大学）1977解释概念形成，分类和知识处理只能作一次性决策，无重复性共振具有最小均方差的单层自联想网络，类似于双向联想记忆，可对片段输入补全Neocognition(新认知机)FukushimaK福岛邦彦(日本广播协会)1978~1984手写字母识别需要大量加工单元和联系多层结构化字符识别网络，与输入模式的大小、平移和旋转无关，能识别复杂字形图5-徐1有导墓师学选习神伙经网江络模根型图5-画2无导锡师学山习神到经网煮络模某型期望输出实际输出学习机输入ANN比较实际输出学习机输入ANN自我比较1)有导没师学腿习(S策up冬er值vi曾se昂dLe璃ar赖ni极ng丽,S辰L)，在骗学习货过程岩中，堡网络幕根据铜实际邮输出授与期纽奉望输既出的予比较郊，进勺行联鹿接权生值的休调整投，将侧期望歌输出骑称为翁导师酷信号剧，它婆是评荡价学乓习的吩标准今。这感种学辜习模脂式采革用纠捡错的苦规则幅，学洋习方律法要怪在给依出输养入模就式X的同月时在屑输出允侧还爱要给掉出与析之相畏应的性目标接模式滴，又至称教欧师信芽号或网期望屯输出姨模式倡，两景者一蛾起称妹为训微练对居。一般沾训练于一个途网络逃需要援许多热个训魂练对脂，称传为训改练集简。学宰习时旦，使拿用训厚练集夜中的眯某个坟输入武模式昆，得份到一舱个网恭络的似实际振输出吧模式y，再桌与期河望输灰出模拜式J相比灾较，古不相博符时宿求出稠误差挎，按纲误差隶的大否小和洒方向卖调整调权值锦，以什使误闹差向锐着减秒小方坚向变愚化。罩然后蜜逐个撞用训想练集晓中的尸每个磨训练节对，须不断钥地修隐改网蜓络的缘瑞权值被，整张个训苏练集佣反复亡地作遍用于亲网络检许多决次，赶直到煮训练森集作昂用下毙的误才差小倚于事米前规醋定的荷容许着值为梦止，截即认萄为网奋络在巡寿有导肌师的率训练群下已佳学会赔了训遮练数虾据中猜包含怎的知士识和真规则智，学毕习过喷程便烦告结偿束，齐并存雪储于侄网络冲中，甲提供助给运询行阶赞段使茶用。2)无导戒师学乔习(N唐on富S蚁up必er婚vi规se争dLe扯ar撕ni蛋ng愧,N凉SL)，无腹导师隙信号字提供皇给网袋络，勿网络