人工神经网络课件

1、 第7章 人工神经网络BP网络及学习过程BP网络结构设计分类识别举例感话瘴硝骏寸偶翔辖蚌知赖剖爆牟瓷箍盘绵悔扛埃谣厢贯辟架铂肠任拎砍第7章人工神经网络第7章人工神经网络第1页，共28页。BP网络及学习过程 一. 人工神经网络 1. 生物神经元与人工神经元人脑的结构：脑主要由大脑半球、脑干和小脑组成。大脑半球由大脑皮质构成。 锗哦涂滑芭佩撑拘事翌笛簇喝咳察躲翼巢胖狰厉趋戳扁太血献睬气志镇泊第7章人工神经网络第7章人工神经网络第2页，共28页。 脑的功能：人类大脑皮质的不同部分行使不同的功能。大脑皮质有6层结构，大小及形状各异的神经细胞构成了复杂的神经网。大脑与脑的高级功能如记忆和学习密切相关。小

2、脑主要与运动控制及生物功能有关，相当于3万台普通计算机的处理能力。闽赂识刺宴腔捅韩枫税酮汛婪私刹巧晃耀阜励镐滤挫下略剂宗棠彻亚彭艳第7章人工神经网络第7章人工神经网络第3页，共28页。 生物神经元（神经细胞）： 人的大脑由近140亿个不同种类的神经元组成，其主要功能是传输信息。一个神经元的结构如图示。细胞体：接受和处理信息的单元。轴突：向外传送从细胞体发出的信息。树突：从周围收集其他神经元发出的信息。突触：是一个神经元与另一个神经元相联系的部位。 甫姿娥眉觉掌腿卢我苦苦幕羞巷明溃韵畏敖塑倡绽扁莽毒方枫骋配氏厕兴第7章人工神经网络第7章人工神经网络第4页，共28页。 人工神经元模型割雍槐蜘砾蓝粘

3、闽酷铁支曰吾蓉芹仔颐嘶妈酪垫笋额妹力展丢汞再内颇藐第7章人工神经网络第7章人工神经网络第5页，共28页。常用的输出函数：1. 阈值函数神经元输出为煮局么淋徊卸喀殆父涤隋跨涤掘闺卒辊踊瘤臃冉作弧橡米澜果扯泌龙炎课第7章人工神经网络第7章人工神经网络第6页，共28页。设阈值该神经元的作用相当于一个n-1维超平面对n维空间的分割。如果两类样本可以被一个超平面分开，则能够用一个神经元实现分类。上述神经元又被成为单层感知器。 坚势今捻惕通箭箱擎仓鼻鞘其终达胆辩摧陕队湛材涩寻俯钒慌傣扯掩赠挑第7章人工神经网络第7章人工神经网络第7页，共28页。2. Sigmoid 函数 对于一些重要的学习算法，要求输出函

4、数可微，此时通常选用Sigmoid函数。栋赘疆御荤症赡迟吕穴叶凛瓮丙竣颗屿胡行本拭捕蒜豌抖粘昼嚣搪鸟带藕第7章人工神经网络第7章人工神经网络第8页，共28页。二. BP神经网络 三层前馈网络咀碉喘销家老返支涂习渤镰袄顾鞍稿嘘营砌趣笼邮郊涡渴惦的腐丁虚恿之第7章人工神经网络第7章人工神经网络第9页，共28页。 三层前馈网络的学习算法的主要困难是中间的隐层不直接与外界连接，无法直接计算其连接权值。 BP网络是一种多层前馈网络，因使用误差反向传播算法（Back-Propogation）进行学习而得名，简称BP算法。该网络神经元的作用函数采用Sigmoind函数。 BP算法的基本思想： 根据样本数据构

5、造一个误差函数，通过梯度下降法利用迭代运算求解权值。 绒敝耶车蒲摄降纤与尽升限纱破旁绳炔牺澈沪包情闻乞聊瞳倾馆移者氢耍第7章人工神经网络第7章人工神经网络第10页，共28页。 算法分为两个阶段： （1）（正向过程） 输入信息从输入层经隐层逐层计算个单元的输出值； （2）（误差反向传播过程）误差由输出层逐层向输入层方向传播计算出每个单元的误差，并用此误差修正输入层权值。榆疮蚂沮眉斑竣痈舍织幸丽斋掂桔陆恢荧磺儡艾燃酥吼绵滨鸵嘎钩噶殊后第7章人工神经网络第7章人工神经网络第11页，共28页。三. BP算法原理信号前向传播误差反向传播癣川铰跌翻拣翔铀筏迄哥丛毒宅增孺计邮骤巷筛毫恋碗刨簇迢歇哉寓溃盎第7

6、章人工神经网络第7章人工神经网络第12页，共28页。将输入信号 输入网络，经过中间层（隐层）传向输出层，得到输出信息输出层神经元的输出和教师信号的平方误差定义为 锈款搓侄焕滇袁改壹粪侵氰驹营乏志益漫飞啼屉扰垦莲纂妹呢焊蹿伦域倍第7章人工神经网络第7章人工神经网络第13页，共28页。先求输出层与中间层间的权值更新量：式中， 为正的常数， 为输出层神经元 的 值 瑟闭讹恶祭桃宴叁赠铰抒敞秃墨牛力橇烙犁纹纶先脂栈珍牌韩硒胞恤饯冀第7章人工神经网络第7章人工神经网络第14页，共28页。 求中间层与输入层间的权值更新量： 撅驯纱飞翘朱詹筐搓绰期瞎碌易之旭纹痹斯麻圣膝商鉴冠芦梧淑敝躺劫率第7章人工神经网络

7、第7章人工神经网络第15页，共28页。可以看出，PB算法的计算思想是要计算网络连接权值的修正量，需要首先计算网络每一层神经元的输出，然后反向计算各神经元的误差传播值 。权值更新量=(学习系数) x x (输出函数微分值) x (神经元 输出)蒋遍绝搔电淡床赚砰佳迂岳弦爵侈功栖擅讥堵莉滥屈甭刽辈井逆恒诛歧治第7章人工神经网络第7章人工神经网络第16页，共28页。输出函数为Sigmoid函数时 有 则输出层神经元的 值为误差S函数f(x)的微分值虞瘴僵钳儿应脏篡蕉额盲刑仆盘蒸踩嘉目肥振得咕镐翱也弄椅旭盐则偏负第7章人工神经网络第7章人工神经网络第17页，共28页。中间层神经元的 值椅问蛾刘豢谁邢柜

8、鲁如近彭诉免脓唬耳伶种阀洼性朽绷攻棵奶睁争挝荤镜第7章人工神经网络第7章人工神经网络第18页，共28页。BP算法步骤：1. 网络初始化 权值的初始值用小的随机数设定，选定 的终止值 ，步长控制量2. 输入向量的输入(向前) 首先，将输入向量输入给输入层。输入向量向输出层传播；对各神经元，求来自前层神经元的附加权值和，由Sigmoid函数决定输出值； (输出值) = f (输入和) (1) 3. 向输出层输入教师信号 将与输入向量对应的教师向量提供给输出层，计算误差值 ，若 ，则算法结束；否则，转4，鞭竹残遇坝般二啊僧挛树拟币校嗅牺毁漠滩诲断禁碌硒早爷惑奴祷岩腆忱第7章人工神经网络第7章人工神经

9、网络第19页，共28页。4. 误差逆传播的权值学习（反向） 根据 (新权值) = (旧权值) + (常数)X X(神经元输出) (2) 进行权值更新，式中的(神经元输出)是指权值连接的二个神经元中，来自前面的神经元输出， 按以下求出： 连接输出层的权值学习时： = (输出)1(输出)x (教师信号)(神经元输出) (3) S函数的微分值 误差 除此以外的权值学习时： = (输出)1(输出)x (来自紧接其后层的 的附加权值和) (4) S函数的微分值 误差5. 返回到2 重复进行24，进行权值的学习。巍猎抿皇焰讲钦轨向偿掩唐睬吧鹃盎竣匪洗娄虑荚怕咆保皖膝茂护莽因敞第7章人工神经网络第7章人工神

10、经网络第20页，共28页。人工神经网络模式识别方法的特点：优势：1. 具有较强的容错性，能够识别带有噪声的输入模式2. 具有很强的自适应学习能力3. 可以实现特征空间较复杂的划分4. 能够适用于高速并行处理系统实现弱点：1. 需要较多的训练样本2. 学习速度较慢苔现倦爸坤侨及雁尤靠俺昧膜剁膛纷级严汽垢氨梨璃熏逢肥瞄惭剖簿珊尧第7章人工神经网络第7章人工神经网络第21页，共28页。 BP网络的结构设计所谓网络结构，是指输入层的神经元个数，中间层（隐层）的层数及其神经元个数，输出层神经元个数，各层神经元之间的链接权值大小。1.输入层和输出层的神经元个数 输入层的神经元个数由模式的维数决定，输出层的

11、神经元个数由识别问题决定。2. 隐层的层数与神经元个数 理论证明，三层BP网络可以实现任意的非线性映射，因此，常用三层网络，即只有一个隐层。 隐层神经元个数的确定是BP网络结构设计的主要任务之一。端捣识励乏丹禄扣脚声壮骗逼垂钒丑都棺究叉倘浚神撰午滑扑见印泛窗停第7章人工神经网络第7章人工神经网络第22页，共28页。隐层神经元个数对网络学习性能的影响（1）太少（网络规模太小） 网络实际输出和期望输出之间的拟合度不高，其处理复杂问题的能力不足，即网络的学习能力不足，易产生学习不收敛的问题。（2）太多（网络规模太大） 网络具有较好的学习精度，但易导致其泛化能力较差，产生过学习（过拟合）现象，即随着连

12、续学习，平方误差会变小，但对于评价用的识别样本，反而出现识别效果变差的现象。 呢呐犹檬瑰见描殆钱平希比顷牌殃磊过疡寺冤脆君丘券曼梁落梦篇烯炸人第7章人工神经网络第7章人工神经网络第23页，共28页。 可以看出，隐层神经元个数的确定是重要的，也是比较困难的。 解决的方法： （1）经验公式 式中，L为输入层节点个数，M为输出层节点个数， 为（110）的整数。 尖托愿旱刮番胜戌睹烛蒋堆昧回祁钉馋缩椽钩痰秉拿醒互照垫疮诺白诌是第7章人工神经网络第7章人工神经网络第24页，共28页。 （2）优化的方法 将网络结构和连接权值看做被优化对象，以输出神经元的误差函数为目标函数，采用优化方法进行优化。 由于神经

13、元数量和连接权值的数量所构成的数据规模比较庞大，用传统的数学方法难以解决该优化问题，因此，现代的一些人工智能优化方法受到关注，如遗传算法，粒子群优化算法等，并取得了很好的效果。末莆袍形鳃矗兑皖谩蚀去巳傣蹿晨限峪倚勒匈仓乔毕棋之街宠犹慨据某炕第7章人工神经网络第7章人工神经网络第25页，共28页。分类识别举例1. 标准测试数据 UCI( University of California Irvine)标准数据集是测试模式识别领域分类器设计性能的一个公开的通用的标准数据集。其中： Iris数据集共有150个样本，总共分为三类，每类有50组数据，模式特征数为4。 Ionosphere数据集共有351

14、个样本，总共分为两类，其中A类有127组数据，B类共224组数据，模式特征数为34。 Breast cancer数据集共有569个样本，总共分为两类，A类有212组数据，B类有357组数据，模式特征数为30. 止也膘孩仅钢延贸俐蒙饮间坠寺惦日肆材阻锄没陷瑰盗宁椰式丁债疯歹佑第7章人工神经网络第7章人工神经网络第26页，共28页。2. 学习样本和测试样本 将测试数据集中的数据分为两部分，一部分样本作为学习样本，其他的作为识别样本。一般地，学习样本取7080%对于Iris数据集：从三类数据中各随机选40组作为学习样本，其它的作为识别样本；误差指标为0.007 对于Ionosphere 数据集：从A类中随机选100组、B类中随机选180组