[工学]42-人工神经网络的模型及算法

1、4.2 人工神经网络的模型及算法人工神经网络的模型及算法 常用的神经网络模型：常用的神经网络模型：BP网络、网络、Hopfield网络、动网络、动态递归网络、自组织神经网络、态递归网络、自组织神经网络、RBF网络等。网络等。4.2.1 感知器模型（感知器模型（perceptron）l 美国心理学家美国心理学家Rosenblatt于于1957年提出年提出l 是一个具有单层神经元的神经网络是一个具有单层神经元的神经网络l 最简单的前向网络最简单的前向网络l 主要用于模式分类，以及基于模式分类的学习控制和主要用于模式分类，以及基于模式分类的学习控制和多模态控制中多模态控制中nxnmmmynxn212

2、y1y2x1xm2m12n1n图4.2.1 单层感知器网络 图4.2.2单层单个神经元的感知器 ) 1 ()()(1ufxfyniii)2(1niiixu)3(0 , 10 , 1)(uuuf方程方程是把是把n维输入空间分为维输入空间分为 两个子空间、其分界线为两个子空间、其分界线为n-1维的维的超越平面超越平面。 如果存在一组权参数如果存在一组权参数 ，i=1，2，n及及 使公式使公式 (1)满足满足 则称样本集为则称样本集为线性可分的线性可分的，否则称为，否则称为线性不可分的。线性不可分的。01niiixBASS 、iBASxSxy, 1, 1令令 ， ，则在（，则在（1）式中，）式中，

3、其中，其中， 。学习步骤为：。学习步骤为：（1）随机地给定一组连接权随机地给定一组连接权 （较小的非零值），这里（较小的非零值），这里 为为 时刻第时刻第 个输入上的权个输入上的权( ) ， 为为 时刻的阈值。时刻的阈值。（2）输入一组样本输入一组样本 和期望的输出和期望的输出 （亦（亦 称之为教师信号）。称之为教师信号）。0Tn),.,(10)(0niiixfy10 x)0(i)(kini 1)(0kkki,.,10nxxxx dyBAdSxSxy, 1, 1（3）计算感知器实际输出：计算感知器实际输出：（4）按下式修正权值：按下式修正权值： 0)( , 10)( , 1)()(0i0i0n

4、iiniiniiixkxkxkfky),01(0 xidiixkykykk)()()() 1(ni,.,1 , 010（5）选取另外一组样本，重复（选取另外一组样本，重复（2）（4）过程，直到）过程，直到权值对一切样本均稳定不变为止，学习过程结束。权值对一切样本均稳定不变为止，学习过程结束。单层感知器只能满足线性分类，如果有两类样本单层感知器只能满足线性分类，如果有两类样本A、B，它们不能用一个超平面将它分开，则感知器的学习算，它们不能用一个超平面将它分开，则感知器的学习算法不能收敛，得不出任何结果。法不能收敛，得不出任何结果。例如，不能实现异或（例如，不能实现异或（XOR）逻辑运算）逻辑运算

5、l单层感知器有它的局限性。但是，它在神经网络研究中有单层感知器有它的局限性。但是，它在神经网络研究中有着重要的意义和地位。着重要的意义和地位。l它提出了自组织、自学习的思想，对能够解决的问题，有它提出了自组织、自学习的思想，对能够解决的问题，有一个收敛的算法，并从数学上给出了严格的证明。一个收敛的算法，并从数学上给出了严格的证明。l 感知器算法是至今存在的众多算法中最清楚的算法之一。感知器算法是至今存在的众多算法中最清楚的算法之一。l它不但引起了众多学者对神经网络研究的兴趣，推动了神它不但引起了众多学者对神经网络研究的兴趣，推动了神经网络研究的发展，而且后来的许多神经网络模型都是在经网络研究的

6、发展，而且后来的许多神经网络模型都是在这种指导思想下建立的，或者是这种模型的改进和推广。这种指导思想下建立的，或者是这种模型的改进和推广。1aps1si1nj1p1tqqL1Lijjtpb1bqCtC1CjbjstL图图4.2.3 BP网络结构网络结构输出层隐含层输入层ianaBP(Back Propagation)是误差逆传播是误差逆传播（Error back-propagation）网络的简称。）网络的简称。它是应用最广、其基本思想直观、最容易理它是应用最广、其基本思想直观、最容易理解的多层前向神经网络。解的多层前向神经网络。一、网络的结构与学习算法一、网络的结构与学习算法典型的典型的BP

7、网络是三层的前向网络，即输入层、网络是三层的前向网络，即输入层、隐含层（也称中间层）和输出层。各层之间实行隐含层（也称中间层）和输出层。各层之间实行全连接，如图所示。全连接，如图所示。lBP网络的学习由四个过程组成：网络的学习由四个过程组成：“模式顺传播模式顺传播”“误差逆传播误差逆传播”“记忆训练记忆训练” “学习收敛学习收敛” lBP网络学习规则有时也称广义网络学习规则有时也称广义规则。规则。（1） 模式的顺传播模式的顺传播设输入模式向量为设输入模式向量为其中，其中， m 学习模式对的个数，学习模式对的个数， n输入层单元个数；输入层单元个数；;,.,2 , 1 ),.,(21mkaaaA

8、knkkk对应输入模式的希望输出向量为对应输入模式的希望输出向量为 输出层单元个数；输出层单元个数；中间层各单元的输入中间层各单元的输入式中，式中， 输入层至中间层的连接权；输入层至中间层的连接权； 中间层单元的阈值；中间层单元的阈值； 中间层单元的个数。中间层单元的个数。qyyyYkqkkk ),.,(21jnikiijkjas1pj,.,2 , 1ijjp中间层各单元的输出：中间层各单元的输出：式中式中 为中间层单元的激活值为中间层单元的激活值s函数具有可微分性函数具有可微分性BP算法中要求函数可微算法中要求函数可微饱和非线性特性饱和非线性特性增强了网络的非线性映射能力增强了网络的非线性映

9、射能力nijkiijkjaskjkjeesfb11111)(pj,.,2 , 1jb图图4.2.3 BP网络结构网络结构计算输出层各单元的输入、输出计算输出层各单元的输入、输出：式中，式中， 中间层至输出层连接权；中间层至输出层连接权； 输出层单元阈值；输出层单元阈值； S函数；函数；tpjkjjtktbL1)(ktktLfCqt,.,2 , 1jttf（2）误差的逆传播）误差的逆传播输出层各单元的校正误差：输出层各单元的校正误差：中间层各单元的校正误差：中间层各单元的校正误差：)()(tktktkLfCydtmkqt,.,2 , 1 ;,.,2 , 1)(1jqtktjtksfdejm1,2

10、,.,k ;,.,2 , 1pj)(1)()(xfxfxf 调整输出层至中间层之间的连接权，以及输出层各单元调整输出层至中间层之间的连接权，以及输出层各单元的阈值：的阈值： （学习系数）（学习系数）kjktjtbd kttdqtpj,.,2 , 1 ;,.,2 , 110 ;,.,2 , 1mk中间层至输入层之间的连接权，以及中间层各单元的阈值：中间层至输入层之间的连接权，以及中间层各单元的阈值： kikjijae kjje10 ;,.,2 , 1mkpjni,.,2 , 1 ;,.,2 , 1（学习系数）（学习系数）（3） 训练过程训练过程 所谓训练过程，是指反复学习的过程，也就是根据所谓训

11、练过程，是指反复学习的过程，也就是根据教师示教的希望输出与网络实际输出的误差调整连接权教师示教的希望输出与网络实际输出的误差调整连接权的过程的过程（4） 收敛过程收敛过程 学习或者说训练的收敛过程就是网络全局误差趋向于学习或者说训练的收敛过程就是网络全局误差趋向于极小值的过程。极小值的过程。一般全局误差有以下两种定义：一般全局误差有以下两种定义： i）平均平方（）平均平方（RMS）误差）误差式中式中 m为样本模式对的个数，为样本模式对的个数，q为输出单元的个数。为输出单元的个数。qmCyEmkqjkjkj112)(ii）误差平方和）误差平方和式中式中 为一对样本模式的所有输出单元的误差平方和；

12、为一对样本模式的所有输出单元的误差平方和； 为所有样本模式对的误差平方和，也即检验网络收敛为所有样本模式对的误差平方和，也即检验网络收敛的误差标准；的误差标准； 为输出单元个数，为输出单元个数， 为样本模式对数。为样本模式对数。2/)(21kjqjkjKCyEmkkEE1kEEqm整个学习过程的具体步骤：整个学习过程的具体步骤：1.初始化初始化 给各连接权给各连接权 、 及阀值及阀值 、 赋赋予（予（-1，+1）间的随机值。）间的随机值。2.随机选取一模式对随机选取一模式对 ， 提供给网络。提供给网络。3.计算中间层各单元的输入和输出：计算中间层各单元的输入和输出：ij jt j t ),.,

13、(21kkkknaaaA ),.,(21kkkkqyyyY jniiijjas 1)(jjsfb pj,.,2 , 1 4.计算输出层各单元的输入输出计算输出层各单元的输入输出 ：5.计算输出层的各单元的校正误差计算输出层的各单元的校正误差6.中间层各单元的校正误差中间层各单元的校正误差tpjjjttbL1)(ttLfC qt,.,2 , 1qCCCydtttktkt1,2,., t),1 ()()1 (1jjqtktjtkbbdejpj,.,2 , 17.修正中间层到输出层的连接权和输出层各单元的阈值：修正中间层到输出层的连接权和输出层各单元的阈值：8.修正输入层到中间层的连接权和中间层各单

14、元的阈值：修正输入层到中间层的连接权和中间层各单元的阈值：kjktjtjtbdNN)() 1(ktttdNN)() 1(qtpj,.,2 , 1 ;,.,2 , 11)0 ( kikjijijaeNN)() 1(kjjjeNN)() 1(pjni,.,2 , 1 ;,.,2 , 11)0 (9.随机地选取下一个学习模式对提供给网络，返回步骤随机地选取下一个学习模式对提供给网络，返回步骤3， 直至全部直至全部m个模式对训练完毕，即完成了一个训练周期。个模式对训练完毕，即完成了一个训练周期。10. 计算网络全局误差函数计算网络全局误差函数E，若，若E小于预先设定的一个极小小于预先设定的一个极小值，

15、即网络收敛；或学习回数大于预先设定的值，即网值，即网络收敛；或学习回数大于预先设定的值，即网络无法收敛；则结束学习。络无法收敛；则结束学习。 否则重新从否则重新从m个学习模式对个学习模式对中随机地选取一个模式对，返回步骤中随机地选取一个模式对，返回步骤3。二、二、BP算法的推导算法的推导 输出层的各单元的校正误差：输出层的各单元的校正误差：)()(ktktktkLfCydt mkqt,.,2 , 1 ;,.,2 , 1中间层各单元的校正误差：中间层各单元的校正误差：)(1jqtktjtksfdejm1,2,.,k ;,.,2 , 1pjkjktjtbd kttdqtpj,.,2 , 1 ;,.

16、,2 , 1调整输出层至中间层之间的连接权，以及输出层各单元的阈值：调整输出层至中间层之间的连接权，以及输出层各单元的阈值：调整输出层至中间层之间的连接权，以及输出层各单元的阈值：调整输出层至中间层之间的连接权，以及输出层各单元的阈值：kikjijae kjje10 ;,.,2 , 1mkpjni,.,2 , 1 ;,.,2 , 1设第设第k个样本误差的均方值为个样本误差的均方值为按梯度下降法，有按梯度下降法，有2/)(21ktqtktKCyE )()()()(ktktktktkjktkjktktktjtktktktktkjtkjtLfCydbdbLfCyLLCCEE 其中其中 同理同理 )(

17、)()()()()()(11111kjqtjtktkjkikjkikjqtjtktkikjqtjtktktktkikjqtjtktktktkkikjqtkjktktkijkjkjkjkjkijkijsfdeaeasfdasfLfCyasfLCCEasfbLLEssbbEE 其其中中同理可推得阈值的调整算式同理可推得阈值的调整算式三、三、BP算法的改进算法的改进 评价神经网络学习算法优劣的指标：评价神经网络学习算法优劣的指标：1. 学习所需的时间；学习所需的时间；2. 泛化能力；泛化能力；3. 神经网络结构的复杂性；神经网络结构的复杂性；4. 鲁棒性鲁棒性 标准标准BP算法存在的缺陷：算法存在的

18、缺陷：1. 易陷入局部极小点易陷入局部极小点2. 收敛速度慢收敛速度慢3. 泛化能力不能保证泛化能力不能保证带动量项的带动量项的BP算法：算法：10)1()( NdN神经网络性能的衡量在于其泛化能力，而不是对训神经网络性能的衡量在于其泛化能力，而不是对训练样本的拟合程度。练样本的拟合程度。培训样本的质量直接影响到训练后神经网络的性能。培训样本的质量直接影响到训练后神经网络的性能。1. 训练和测试样本集的准备训练和测试样本集的准备a. 首先要在大量的原始数据中确定最主要的输入模首先要在大量的原始数据中确定最主要的输入模式。式。 这需要对原始数据进行统计和相关性分析。这需要对原始数据进行统计和相关性分析。b. 进行尺度进行尺度 变换和预处理。变换和预处理。 目的是使网络的训练和学习更加容易和方便。目的是使网络的训练和学习更加容易和方便。 通过尺度变换，把原始数据统