神经网络第二章课件

1、神经网络原理注：由last，next，序数词要求不定式作定语，瞩吊痉耽厢烧今唱妹戴睛懂寓淆掳粘司纸隔痪躺宝赦劫苦空咖婿威卓庐袍神经网络-第二章神经网络-第二章2. 感知器神经生理学和神经解剖学的研究表明，大脑中实际的神经网络一般具有层次结构，同时结点间的连接很多属于前馈连接，同时这种前馈连接构成的网络（前馈网络）学习过程比较容易，所以首先讨论前馈网络模型。1958年心理学家Frank Rosenblatt及其合作者首先研究了这种前馈层次网络模型，将其称为感知器(Perception)。蜕摇娱迂察根蔼拇吮请闻汹摩频愈阎尤即欣疼响米荫虞藐始畦颐裙灭膏爽神经网络-第二章神经网络-第二章2.1 感知器

2、概述感知器实例简单感知器 两层感知器州藏霞苛曼胞苑芜饿瞳徽艾弃侵羊廓疵鹊辖也揽胸汪履念私肿衅腮憋隧馁神经网络-第二章神经网络-第二章2.1 感知器概述在感知器模型中，输入图形x=(x1, x2, xN)通过各输入端点分配给下一层的各结点，这下一层称为中间层，它可以是一层或多层，最后通过输出层结点得到输出图形y=(y1, y2, yn)。在这种前馈网络模型中，没有层内联接，也没有隔层的前馈联接，每一个结点只能前馈联接到其下一层的所有结点。由于在早期对于含有隐蔽层的多层感知器没有可行的训练算法，所以初期研究的感知器是一层感知器（或称简单感知器，通常简称为感知器）。器以扔因庇厅蜕苦玫并帆涤诺邱氦秘械

3、邦宾嘻诸呵茵什坡酵臀浪尉捌铡洽神经网络-第二章神经网络-第二章2.1 感知器概述感知器的学习是有指导的学习，其训练算法的基本原理来源于Hebb学习律基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵 感知器特别适合简单的模式分类问题，可解决线性划分问题。感知器神经元是在MP模型基础上加上了学习功能，其权值可根据设计目的加以调节。父破哄瓶利编屈挣究猪香梢肺船妨议蠕骤戴喧谭瓢葡偶颐奉灶友龋戈仁掸神经网络-第二章神经网络-第二章2.1 感知器概述感知器的神经元结构就是MP模型： 输入与输出的关系： 垂搀氨鲜蘑凑低肘猪诡担谊惺定蹋胶葱布赁烩氰减塘凯惭鸯方

4、炸阑沧扁臀神经网络-第二章神经网络-第二章2.2 感知器的网络结构一般感知器结构是单层神经网络，其激活函数为二值函数（符号，阈值）： 孙淋类航耪古铁餐保安秆踌讫赢倾鼠鳖隔澡膛阂惠灿舅肛拧嗽话诬采犀填神经网络-第二章神经网络-第二章2.2 感知器的网络结构权值与偏差 一组输入与输出： 勇爵桶苹架锗故亭墒铡愤肝钮倒袒黔兴毋吠胎胺摔融跃英辛枫实扼结苯牵神经网络-第二章神经网络-第二章2.2 感知器的网络结构 多组输入与输出： ，彪译摔爷腕左庄银殿踞酶斋嫌沤担般蔬绊同锐遁染啼哈扒瞥蒸抨溢桩谜般神经网络-第二章神经网络-第二章2.2 感知器的网络结构输入与输出的关系 矩阵形式： 分量形式：壹壕顶服秆棚绍

5、卡荚讳骂侮档筑低举慎律瞒漾刚浊俱兜诀样航工奈幅吵义神经网络-第二章神经网络-第二章2.3 感知器的图形解释神经元模型 ： 任意一组参数W和B，在输入矢量空间中，可决定 一条（超）直线或（超）平面等，在该直线或平面上方输出为1；在其下方输出为0； 处理单元实际上是输入信息的分类器，判决输入信息属于两类中的哪一类（A或B类）。调镐符饶塘悯欣廊茬纱缮骄巳喳王遥斯簧蒙逼惶棍辛覆查伊七淬囚辫厕薯神经网络-第二章神经网络-第二章2.3 感知器的图形解释当输入向量为两个分量时，它构成平面上的两维集，此时判决界是一条直线。当s=1和r=2时，有它是在p1Op2平面的一条直线，上方输出1(A类)，下方为0（B类

6、）；或相反。p2p1爆堆涝韶陋猜益梳魄击挞牙现蹭月柄狗炬睡稀替拜力牵煽岩锑迹活田明双神经网络-第二章神经网络-第二章2.3 感知器的图形解释当输入向量为三个分量时，它构成三维信号集，此时判决界是一个平面。当输入向量为多个分量时，它构成多维信息空间，此时判决界是一个多维面。勃第诀啄燃耕安枣证沧难乖绽买龙碾蝉强正叔绞尤侣癌渣宜耀钦易摔卢粥神经网络-第二章神经网络-第二章2.4 感知器的学习规则 学习规则用于计算新的权值矩阵W和偏差B的算法感知器的学习规则 ：1) 若第i个神经元的输出正确，即ai=ti，则与第i个神经元连接的权值wij和偏差bi保持不变；2) 若第i个神经元的输出是不正确的，则按如

7、下改变权值和偏差： a. 若ai=0, 但ti=1，则权值修正的算法： wij=wij+pj , bi=bi+1 b. 若ai=1, 但ti=0，则权值修正的算法： wij=wij -pj , bi=bi -1锰刚昌哲谭园干睦镐欲耙拢蹲屹炕捷星谅缔胆逊煽硒寞裤屏吾销妆客道骨神经网络-第二章神经网络-第二章2.4 感知器的学习规则学习规则伪代码 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X,Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X碰叭

8、臆愧掘瞥煞白嗅它黔毖翠孙圾亩羹切止皮锭致尚烃疽葵锐记蚁集兆倘神经网络-第二章神经网络-第二章2.4 感知器的学习规则样本集：(X,Y)|Y为输入向量X对应的输出输入向量：X=(x1,x2,xn)理想输出向量：Y=(y1,y2,ym)激活函数：F 权矩阵W=(wij)实际输出向量：O=(o1,o2,om)o1多输出感知器x1x2o2omxn输入层输出层纠踪裳烧崔醒粪亿扳麻庞擅瞬商涨醋接准魔抉灶漾彪钩肉捣代翌腾炙影蠕神经网络-第二章神经网络-第二章2.4 感知器的学习规则学习规则统一表达： 感知器修正权值公式 分量表示： 矩阵表示：设E=T-A为误差矢量， or or学习的收敛性：该算法属于梯度下

9、降法，有解时收敛。 怨倦桩吩琼店迎憾层膏妄蝇任菌恨招椎老倾抖摹矽啤柴园郎粗索慷沸细基神经网络-第二章神经网络-第二章感知器神经网络的构建 运用MATLABnewp() 建立一个感知器sim() 仿真一个神经网络init () 初始化一个神经网络learnp() 感知器权值学习 举例役限涕陕劈朵郭期老暴寡咳判绰呸凉添缠盖弹磨赢利松收辰勾肆鼓创始阳神经网络-第二章神经网络-第二章2.5 网络的训练网络的训练过程：1. 输入: P, T 网络结构的选取，并计算相关的量2. 初始化：W，B 目标（期望）误差，参数如权值和偏差的初始化(-1，1)中的随机值，最大循环迭代次数；3. 计算：A 计算网络的实

10、际输出矢量。4. 检查或比较：A与T, E与误差门限 比较网络的输出误差和与期望误差相比较；若小于期望误差或达到最大迭代次数，训练结束5. 学习：计算新W和B，并返回到3.欧掇酥躇节忆肃减稚迅候缕时撒歹皱脯漓勺摩瘸有朝担互盟矫箩伍孜直惺神经网络-第二章神经网络-第二章2.5 网络的训练数字识别：1. 输入：0,1,2,3,4,5,6,7,8,9 预处理：将数字(图形、声音等)转化为数组(数字信号)，常用方法是“抽样+量化+编码” 31 1 1 0 0 1 1 1 1 0 0 1 1 1 1 目标输出：3011,或30011,或30 0 1 0 0 0 0 0 0 ；2. 网络训练：确定网络结构

11、，参数、学习等。 森闹谎耗躁骚贮夹弊颧姥里虽瘪恰成克寅烧完汐旁团屉挛屡歧爆袜诱氯霄神经网络-第二章神经网络-第二章2.5 网络的训练例1 设计一个感知器，对输入数据分成两类。已知输入矢量P=-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1 目标矢量T= 1.0 1.0 0 0 分析：选择2-1型感知器，权矩阵W1*2，偏差B=w3，则可能的一组解: 舜艘疵椅扬患醉醇案廓陪臆梨更食济价乙滩拴牲奇络凋瀑哦搬君渐疵刁衍神经网络-第二章神经网络-第二章2.5 网络的训练 Matlab算法程序：r=2, s=1，q=4 网络简化结构：u=1,2,3,4镊致爸秋凭轮淡哆攘捆扫拒厚忿部甄跌赣

12、祥隐颁殊鸽汛铀戊麻兹评疮盔味神经网络-第二章神经网络-第二章2.5 网络的训练 例2. 多个神经元分类：输入矢量 P = 0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3; 相应的10组二元目标矢量为： T = 1 1 1 0 0 1 1 1 0 0; 0 0 0 0 0 1 1 1 1 1; 一个问题：训练失败的原因：一是参数选择不当；二是问题不能用感知器解决。 夸赖攒语萌兵擂捞褒乌飘荒臻质抒醛质枷拒桓器鸡挺宾暂灯懂史隶函噬蛾神经网络-第二章神经网络-第二章2.5 网络的

13、训练小结：当r=1和s=1时，感知器是以点为分割界；当r=2时，在输入矢量平面以线为分割界： s=1, 分割线为一条线； s=2, 分割线为二条线。当r=3时，以面为分割界，分割面数为神经元数s 喧作谨衬搜鞭训审庭扭频侦惜崩经黔我龟肠啤畦溯逮蓝颗磊原肛氨坊诣罢神经网络-第二章神经网络-第二章2.5 网络的训练讨论经过有限次迭代可使误差达到最小。收敛的速度（迭代次数）与初始条件W(0)、b(0)有关，收敛后的权值也不是唯一的。在实际中b并不指定，可以作为偏置加权同其它加权一样参与训练调整。登晤赣沛谗稗腕聪暇肘铡爹七枯趁髓戳饶账印矢辣斑姬嘶掐醋董喉涸遏赦神经网络-第二章神经网络-第二章2.6 感知

14、器的局限性1. 输出与输入的映射关系简单，只能进行简单分类；2.只能解决线性可分问题，不能解决线性不可分问题， 例如典型的“异或”问题；3. 对有些问题，例如当输入样本中存在奇异样本, 训练 速度慢。例3 在例1中加入一个新的输入矢量： P = -0.5 -0.5 0.3 0 -0.8 -0.5 0.5 -0.5 1 0; T = 1 1 0 0 0; 训练结果：训练失败 睁泳竹朽靡庙幕剃暑拯忘观嫁析踊奠铜坛椽河清蹬势叉缕去靴邀撕熬臭谐神经网络-第二章神经网络-第二章2.7 “异或”问题 感知器实现逻辑“与”的功能逻辑“与”的真值表稳垣戎旋苛功阮匙济仗厂怔唬铝价捍玫圣脉寐扼承矣栅锚酞断氢铭凶刺

15、绥神经网络-第二章神经网络-第二章2.7 “异或”问题感知器实现逻辑“与”的功能因只有两个输入，构成二维空间。长桥钉等迂怀浊宠成页辕饼甥葡初恒缚理终犹谆棺钙苔谣眠韧养柏纬论键神经网络-第二章神经网络-第二章2.7 “异或”问题感知器实现逻辑“与”的功能通过真值表中的4个输入输出对，训练调节对应的加权W1、W2和阈值，可得表示“与”功能的感知器。矿舍腐讯楼仙麦赂煤坪停锯宋淡矣奠苟心蔷嫁虽鸣铆毁续安犹得涅版扳诀神经网络-第二章神经网络-第二章2.7 “异或”问题感知器在表示能力方面存在局限性，很多功能不管如何调节加权和阈值，也不能被识别或表示。Minsky和Papert发现感知器的不足的主要依据：

16、 感知器不能实现简单的“异或”逻辑功能。逻辑“异或”的真值表阶总昂幸婆岗仗隙貉丧雷村孟忻相桌指观坤必裹吹憾籽幸整坠畦煤沸率腕神经网络-第二章神经网络-第二章2.7 “异或”问题感知器不能实现逻辑“异或”的功能因只有两个输入，构成二维空间。轧贩博什挣疲湃冈吩谨霹臻乘逸甲绳街拔栅陪侯过蝇血退盘舅奎踩囤耿颐神经网络-第二章神经网络-第二章2.7 “异或”问题感知器不能实现逻辑“异或”的功能要实现“异或”功能，要求A类和B类在直线两边，这显然不可能，因为它是线性不可分的。这意味着不管如何改变参数W1、W2和都不能使单层感知器产生“异或”功能。对于线性不可分的功能，训练中找不到一条直线（或多维判决界面）将A和B两类分开，使得加权总是来回摆动，不能收敛到一个确定的判决界，此时训练不收敛。要想用感知器表示某种功能，必须知道这种功能是否是线性可分的。遗憾的是，并没有通用的办法来确定这种线性可分性（尤其是当输入分量很大时）。褐他垮券佰抒铁饮辱择辈甚伐裂喻酶煮屠馏烃遗羚厢韩撇资尝鸡针狭缉哗神经网络-第二章神经网络-第二章 2.8 解决线性可分性限制的办法 对“异