[工学]42 人工神经网络的模型及算法.ppt

4.2 人工神经网络的模型及算法 常用的神经网络模型：BP网络、Hopfield网络、动 态递归网络、自组织神经网络、RBF网络等。 4.2.1 感知器模型（perceptron） l 美国心理学家Rosenblatt于1957年提出 l 是一个具有单层神经元的神经网络 l 最简单的前向网络 l 主要用于模式分类，以及基于模式分类的学习控制和 多模态控制中 1 1 图4.2.1 单层感知器网络 图4.2.2单层单个神经元的感知器 2 2 按不同特征的分类是相互独立的，因此可以取出其中 的 一个神经元来讨论，其输入输出关系为 3 3 方程 是把n维输入空间分为 两个子空间、其分界线为n-1 维的超越平面。 如果存在一组权参数 ，i=1，2，n及 使公式 (1) 满足 则称样本集为线性可分的，否则称为线性不可分的。 4 4 令 ， ，则在（1）式中， 其中， 。学习步骤为： （1）随机地给定一组连接权 （较小的非零值），这 里 为 时刻第 个输入上的权( ) ， 为 时刻的阈值。 （2）输入一组样本 和期望的输出 （亦 称之为教师信号）。 5 5 （3）计算感知器实际输出： （4）按下式修正权值： 6 6 （5）选取另外一组样本，重复（2）（4）过程，直到 权值对一切样本均稳定不变为止，学习过程结束。 单层感知器只能满足线性分类，如果有两类样本A、 B，它们不能用一个超平面将它分开，则感知器的学习 算法不能收敛，得不出任何结果。 例如，不能实现异或（XOR）逻辑运算 7 7 l单层感知器有它的局限性。但是，它在神经网络研究中 有着重要的意义和地位。 l它提出了自组织、自学习的思想，对能够解决的问题， 有一个收敛的算法，并从数学上给出了严格的证明。 l 感知器算法是至今存在的众多算法中最清楚的算法之一 。 l它不但引起了众多学者对神经网络研究的兴趣，推动了 神经网络研究的发展，而且后来的许多神经网络模型都 是在这种指导思想下建立的，或者是这种模型的改进和 推广。 8 8 图4.2.3 BP网络结构 输出层 隐含层 输入层 9 9 3.2.2 BP网络 BP(Back Propagation)是误差逆传播（ Error back-propagation）网络的简称。 它是应用最广、其基本思想直观、最容易理解 的多层前向神经网络。 一、网络的结构与学习算法 典型的BP网络是三层的前向网络，即输入层 、隐含层（也称中间层）和输出层。各层之间 实行全连接，如图所示。 1010 lBP网络的学习由四个过程组成： “模式顺传播”“误差逆传播”“记忆训练” “ 学习收敛” lBP网络学习规则有时也称广义规则。 （1） 模式的顺传播 设输入模式向量为 其中， m 学习模式对的个数， n输入层单元个数； 1111 对应输入模式的希望输出向量为 输出层单元个数； 中间层各单元的输入 式中， 输入层至中间层的连接权； 中间层单元的阈值； 中间层单元的个数。 1212 中间层各单元的输出： 式中 为中间层单元的激活值。 s函数具有可微分性BP算法中要求函数可微 饱和非线性特性增强了网络的非线性映射能力 1313 图4.2.3 BP网络结构 1414 计算输出层各单元的输入、输出： 式中， 中间层至输出层连接权； 输出层单元阈值； S函数； 1515 （2）误差的逆传播 输出层各单元的校正误差： 中间层各单元的校正误差： 1616 1717 调整输出层至中间层之间的连接权，以及输出层各单 元的阈值： （学习系 数） 1818 中间层至输入层之间的连接权，以及中间层各单元的阈值 ： （学习系数） 1919 （3） 训练过程 所谓训练过程，是指反复学习的过程，也就是根据 教师示教的希望输出与网络实际输出的误差调整连接权 的过程。 （4） 收敛过程 学习或者说训练的收敛过程就是网络全局误差趋向于 极小值的过程。 2020 一般全局误差有以下两种定义： i）平均平方（RMS）误差 式中 m为样本模式对的个数，q为输出单元的个数 。 2121 ii）误差平方和 式中 为一对样本模式的所有输出单元的误差平方和； 为所有样本模式对的误差平方和，也即检验网络收 敛的误差标准； 为输出单元个数， 为样本模式对数。 2222 整个学习过程的具体步骤： 初始化 给各连接权 、 及阀值 、 赋 予（-1，+1）间的随机值。 随机选取一模式对 ， 提供给网络。 计算中间层各单元的输入和输出： 2323 计算输出层各单元的输入输出 ： 计算输出层的各单元的校正误差 中间层各单元的校正误差 2424 修正中间层到输出层的连接权和输出层各单元的阈值： 修正输入层到中间层的连接权和中间层各单元的阈值： 2525 随机地选取下一个学习模式对提供给网络，返回步骤3 ， 直至全部m个模式对训练完毕，即完成了一个训练 周期。 10. 计算网络全局误差函数E，若E小于预先设定的一个极 小值，即网络收敛；或学习回数大于预先设定的值，即 网络无法收敛；则结束学习。 否则重新从m个学习模式 对中随机地选取一个模式对，返回步骤3。 2626 2727 二、BP算法的推导 输出层的各单元的校正误差： 中间层各单元的校正误差： 调整输出层至中间层之间的连接权，以及输出层各单元的阈值： 调整输出层至中间层之间的连接权，以及输出层各单元的阈值： 2828 设第k个样本误差的均方值 为 按梯度下降法，有 2929 同理 3030 同理可推得阈值的调整算式 3131 三、BP算法的改进 评价神经网络学习算法优劣的指标： 1. 学习所需的时间； 2. 泛化能力； 3. 神经网络结构的复杂性； 4. 鲁棒性 标准BP算法存在的缺陷： 1. 易陷入局部极小点 2. 收敛速度慢 3. 泛化能力不能保证 3232 带动量项的BP算法： 3333 四、神经网络的训练和测试 神经网络训练的目的是找出隐藏在样本数据背后的输 入与输出之间的映射关系。 训练后的神经网络不仅能对培训样本中的输入向量产 生正确的响应，而且还能对未包含在培训样本中的输入 向量产生正确的响应。 神经网络这种能对未经训练的输入模式产生正确或近 似正确的响应的能力，称为神经网络的泛化能力。 3434 神经网络性能的衡量在于其泛化能力，而不是对训 练样本的拟合程度。 培训样本的质量直接影响到训练后神经网络的性能 。 1. 训练和测试样本集的准备 a. 首先要在大量的原始数据中确定最主要的输入模 式。 这需要对原始数据进行统计和相关性分析。 b. 进行尺度 变换和预处理。 目的是使网络的训练和学习更加容易和方便。 通过尺度变换，把原始数据统一变换到 -1,1 或 0,1 的范围内。 3535 c. 确定训练样本的个数 训练样本数的多少取决于网络的大小、网络测试的需 要以及输入输出的分布等多方面的因素。 较大的网络需要较多的样本，经验值为连接权总数的 510倍。 网络的泛化能力需要作测试，该测试是通过输入独立 的测试样本集来进行。最简单的做法是把样本集随机地 分成两部分，一部分用于训练，另一部分用于测试。随 机选取的目的