BP神经网络基本原理简介

1、BPBP神经网络基本原理简介神经网络基本原理简介智能优化算法课程展示人工神经网络基本原理简介x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn 一个神经网络的典型结构：一个神经网络的典型结构：人工神经网络基本原理简介 人工神经元的模型人工神经元的模型 激活函数激活函数 网络模型网络模型 工作方式工作方式人工神经元的模型 作为神经网络的基本元素，神经元的作为神经网络的基本元素，神经元的模型模型如下：如下： x1xn是从其他神经是从其他神经元传来的元传来的输入信号输入信号 wij表示表示从神经表示表示从神经元元j到神经元到神经元i的连接的连接权权值值 表示一个阈值表示一个阈值 ( thr

2、eshold )，或称，或称为偏置为偏置( bias )。人工神经元的模型 若用若用X X表示输入向量，用表示输入向量，用W W表示权重向量：表示权重向量： 则则012012,.,TniiiinXxx xxWwwww()iyf XWinetXW10nniijjijjjjnetw xw x()iiyf net 神经元的输出与输入的关系为：神经元的输出与输入的关系为： 净激活量净激活量 激活函数激活函数激活函数 激活函数是对净激活量与输出进行映射的函数。激活函数是对净激活量与输出进行映射的函数。一些常用的激活函数一些常用的激活函数 线性函数线性函数S S形函数形函数 阈值函数阈值函数 双极双极S

3、S形函数形函数( )*f xkxc,( )* ,|, Txcf xkxxcTxc1( )1xf xe2( )11xf xe激活函数 S S形和双极形和双极S S形函数图像为：形函数图像为： S S形和双形和双极极S S形函数的导形函数的导函数均为连续函数均为连续函数。函数。网络模型 根据网络中神经元的互联方式的不同，网络模型根据网络中神经元的互联方式的不同，网络模型分为：分为： 前馈神经网络前馈神经网络只在训练过程会有反馈信号，而在分类过程中数据只能向前传送，直到到达输出层，层间没有向后的反馈信号 反馈神经网络反馈神经网络从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多 自组织网

4、络自组织网络通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。网络模型前馈神经网络反馈神经网络自组织网络工作状态 神经网络的工作状态分为学习和工作学习和工作两种状态 学习学习 利用学习算法来调整神经元间的连接权重，使得网络输出更符合实际 工作工作 神经元间的连接权值不变，可以作为分类器或者预测数据之用。工作状态 学习分为有导师学习与无导师学习有导师学习与无导师学习 有有导师导师学习学习 将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权 例如：BP算法 无导师无导师学习学习 抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。 例

5、如：Hebb学习率BP算法(Back Propagation) 采用BP学习算法的前馈神经网络称为BP神经网络BP算法(Back Propagation) BP算法基本原理 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。信号的信号的正向传播正向传播& &误差的反向传播误差的反向传播BP算法(Back Propagation) 正向传播：正向传播：输入样本输入层各隐层输出层输入样本输入层各隐层输出层 判断是否转入反向传播阶段：判断是否转入反向传播阶段：若输出层的实际输出与期望的输出不符若输出

6、层的实际输出与期望的输出不符 误差反传误差反传误差以某种形式在各层表示修正各层单元的误差以某种形式在各层表示修正各层单元的权值权值 网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止BP算法(Back Propagation)假设输入层有假设输入层有n n个神经元，隐含层有个神经元，隐含层有p p个神经元个神经元，输出层有输出层有q q个神经元个神经元 符号定义符号定义输入向量输入向量; ;隐含层输入向量；隐含层输入向量；隐含层输出向量隐含层输出向量; ;输出层输入向量输出层输入向量; ;输出层输出向量输出层输出向量; ;期

7、望输出向量期望输出向量; ; 误差函数误差函数.12nx =x , x , x12,phihihihi12,pho hohoho12,qyiyiyiyi12,qyoyoyoyo12,qdddod211( )( )2qoooedkyo kBP算法(Back Propagation) 首先，计算各层神经元的输入和输出首先，计算各层神经元的输入和输出0( )( )1,2,nhhiiihikw x khp( )f( )1,2,hhho khi khp0( )( )1,2,poohhhyi kw ho koq( )f( )1,2,ooyo kyi koqBP算法(Back Propagation) 第二

8、步利用网络期望输出和实际输出，第二步利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏计算误差函数对输出层的各神经元的偏导数。导数。 oohoohyieewyiw( )( )( )pohhohhohohw ho kyi kho kww211( ( )( )2( ( )( )( )( ( )( )f( )( )qooooooooooood kyo keyiyid kyo k yo kd kyo kyi kkBP算法(Back Propagation)( )( ) oohohoohyieek ho kwyiw0( )( )( )( )( )hhihhinhiihiihihihi kee

9、whi kww x khi kx kww第三步：利用第三步：利用隐含层到输出层的连接权值、隐含层到输出层的连接权值、输出层的输出层的 和隐含层的输出计算误差函和隐含层的输出计算误差函数对隐含层各神经元的数对隐含层各神经元的偏导数偏导数 。 ( )hk( )okBP算法(Back Propagation)21212101( )( ) )( )2( )( )( )1( )f( ) )( )2( )( )1( )f( ) )( )2( )( )qooohhhhqooohhhqpohohohhhhdkyo kho kehi kho khi kdkyi kho kho khi kdkw ho kho k

10、ho khi k11( )( )( )f ( )( )( )f ( )( ) qhooohoohqohohhoho kdkyo kyi k whi kk whi kkBP算法(Back Propagation) 第四步，利用输出层各神经元的第四步，利用输出层各神经元的 和隐含层各神经元的输出来修正连接权和隐含层各神经元的输出来修正连接权值值 。 1( )( )( )( )( )ohohohNNohohohewkk ho kwwwk ho k ( )ok( )ohwk是设置的学习率。是设置的学习率。BP算法(Back Propagation) 第五步，利用隐含层各神经元的第五步，利用隐含层各神经

11、元的 和输入层各神经元的输入修正连接权。和输入层各神经元的输入修正连接权。 ( )hk1( )( ) ( )( ) ( )hihihiNNhihihiew kk x kwwwk x kBP算法(Back Propagation) 第六步，计算全局误差第六步，计算全局误差 第七步，判断网络误差是否满足要求。当误差第七步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则结束算法。否则，选取下一个学习样本及对应的期望输出，返回进入下一轮学习。应的期望输出，返回进入下一轮学习。 2111( )( )2qmookoEdky km参考资料：参考