计算智能-神经网络计算(1)

1、神经网络计算v单个处理单元可以执行简单的图形检测功能,但更强的识别处理能力却来自多个结点“连成”的网络,即人工神经网络单层网络v最简单的网络是把一组几个结点形成一层, 输入信号可表示为行向量， 其中每一分量通过加权连接到各结点。每一结点均可产生一个输入的加权和。v实际的人工神经网络和生物神经网络中有些连接可能不存在,为了更一般化, 采用了全连接,并且都是前馈连接。各加权表示为加权矩阵111212122212mmnnnmW输入信号的加权和11121212221212( ,)mmnnnnmSXWx xx输出向量12( )( ( ),(),()myf Sf sf sf s多层网络v一般大而复杂的网络

2、能提供更强的计算能力。v多层网络,只要将单层网络进行级联就可以了,即一层的输出作为下一层的输入。v在多层网络中,层间的转移函数应是非线性的,否则多层网络的计算能力并不比单层网络的强。v因为在线性转移函数的情况下,两层网络的输出是第一层的输出作为第二层的输入,通过第二个加权矩阵得到网络输出。1212()()YXW WX WWXW回归型网络v凡包含反馈连接的网络均称为回归型网络,或称反馈网络。横向反馈连接和纵横连接。感知器网络模型v输出只有两种状态, 实际上是输入模式的分类器,判决输入模式属于两类中的哪一类( A 或B 类)一个三层的感知器网络可以产生任意复杂的判决域。110,00t p331,1

3、0t p441,01tp220,11t p2p1p4p3p2p1p4p3p110,00t p331,10t p441,01tp220,11t p2p1p4p3p122210 xx 121.50 xx5 . 15 . 05 . 15 . 02p1p22115 . 11115 . 12p1p4p3p122210 xx 121.50 xx5 . 15 . 05 . 15 . 02p1p+22115 . 1122115 . 1111-1.5x1x2110,00t p331,10t p441,01tp220,11t p2p1p4p3pBack-propagation神经网络模型( )( )hiihiSk

4、x k( )( )( )hhiihiy kf Skfx k( )( )( )jhhjhhjiihhiS ky kfx k( )( )( )jjhjiihhiy kf S kffx k( )( )( )jjje kdky k2211( ) ( )( )( )22jjjkjkjJe kd ky k( )( )( )( )( )( )( )( )jjjhhjhhhhiihiy kf S kS ky ky kf SkSkx k2211( ) ( )( )( )22jjjkjkjJe kd ky k( )( )( )( )( )( )( )( )jjjhhjhhhhiihiy kf S kS ky ky

5、 kf SkSkx k中间层到输出层权值调整( )( )( )( )( )( )( )( )( )( )jjkhjjjhjjjjhky kS kJJy kS kdky kfS ky k 2211( )( )( )( )22jjjkjkjJe kdky k( )( )( )( )( )( )jjjjjjkdky kfS ke k fS k( )( )( )( )jjjhhjhy kf S kS ky k( )( )( )jhkhjJk y k ( )( )( )jhkhjJk y k 中间层到输出层权值的调整量为( )( )( )hjjhkhjJk y k 中间层到输出层权值的调整量为( )(

6、)( )hjjhkhjJk y k 由输入到中间层权值的调整221( ) ( )21( )( )2jkjjjkjJe kd ky k( )( )( )( )( )( )( )( )jjjhhjhhhhiihiy kf S kS ky ky kf SkSkx k( )( )( )( )( )( )( )( )( )( )jjhhkhjjjhhhiy kS ky kSkJJy kS ky kSk,( )( )( )( )( )( )( )( )( )( )( )( )( )( )( )( )jjhhk jihjjhhhijjjhjhik jy kS ky kSkJJy kS ky kSkdky k

7、fS kk fSkx k ( )( )( )( )( )( )( )hjjjhjhjhjhjjkdky kfS kfSkfSkk( )( ) ( )hikihJk x k 输入到中间层权值的调整量为( )( ) ( )ihkikhiJk x k 中间层到输出层权值的调整量为( )( )hjjhkk y k输入到中间层权值的调整量为( ) ( )hikikk x k任意层间权值调整的一般式( )( )pqpkqk yk( )( )( )( )( )( )jjjjjjke k fS ke kdky k( )( )( )( )( )hhhhjhjjkfSke ke kk输出层中间层( )( )( )

8、( )( )hjjjhjhjkdky kfS kfSk输出层( )( )( )( )( )( )jjjjjjke k fS ke kdky k中间层( )( )( )( )( )hhhhhjjjkfSke ke kkBP网络的训练步骤( )( )( )( )( )( )jjjjjjke k fS ke kdky k( )( )( )( )( )hhhhjhjjkfSke ke kk1)用均匀分布随机将各权值设定为一个小的随机数2)从训练数据对中,将一个输入数据加在输入端。3)计算输出层的实际输出y(k)4)计算输出层的误差5)计算中间层的误差6)权值更新(1)( )( )( )pqpqqpkk

9、k yk7) 重复进行BP训练算法存在的问题v1)对于一些复杂的问题往往训练时间很长;v2)由于采用梯度下降法,可能陷入局部极小,而不是目标函数的全局最小。v为了减小局部极小的发生,可以采用增加中间单元,自动调整训练速率,由多种初始权值开始多次训练等方法。v为了加快训练速度,增加附加冲量项,称为冲量法,权值更新式用:(1)( )( )( )(1)ppqpqpqqpqkkk ykkk BP算法的改进方法vBP算法实质：把一组样本输入输出问题转化为一个非线性优化问题。vBP算法运用梯度算法利用迭代运算求解权值问题的一种学习方法。vBP算法缺陷: 1)易形成局部极小而得不到整体最优;2)迭代次数多,收