第三章：前向网络(1).ppt

第二讲 前馈神经网络 主要内容 一 前向网络简介二 具有硬限幅函数的单层网络的分类功能 感知器 三 具有线性函数的单层网络的分类功能四 前向多层网络的分类功能五 BP网络及BP算法以及BP网络的应用 上一讲内容回顾 模拟生物神经网络的ANN的这一数学方法问世以来 人们已慢慢习惯了把这种ANN直接称为NN NN在数学 优化与运筹学 计算机科学与智能理论 信号处理 控制科学 机器人 系统科学等领域吸引来了众多的研究者 呈现勃勃生机 给这些学科中的一些困难问题 带来了新的分析 求解的新思路和新方法 对控制科学领域 NN在系统辨识 模式识别 智能控制等领域有着广泛而吸引人的前景 特别在智能控制中 人们对NN的自学习功能尤其感兴趣 并且把NN这一重要特点看作是解决控制器适应能力这个难题的关键钥匙之一 上一章内容回顾 此外 在控制领域的研究课题中 不确定性系统的控制问题 非线性系统控制问题长期以来都是控制理论研究的中心主题 但是这些问题一直没有得到有效的解决 利用NN的学习能力 使它在对不确定性系统的控制过程中自动学习系统的特性 从而适应系统变化的环境和内在特性 以达到对系统的最优控制 利用NN的非线性逼近能力 将NN用于非线性系统控制问题中的模型表达 控制器设计 在线控制计算 自适应控制等 显然 NN对于控制科学领域是一种十分振奋人心的意向和方法 上一章内容回顾 NN的基础在于神经元 神经元是以生物神经系统的神经细胞为基础的生物模型 在人们对生物神经系统进行研究 以探讨AI的机制时 把神经元数学化 从而产生了神经元数学模型 大量的形式相同的神经元连结在 起就组成了NN 虽然 单个神经元的结构和功能都不复杂 但是NN的动态行为则是十分复杂的 是一个高度非线性动力学系统 因此 用NN可以表达实际物理世界的复杂现象 2 1前向网络简介 1 前向网络的结构前向网络主要分为单层网络和多层网络 多层网络不能隔层传递 无反馈 2 输出函数主要有 硬限幅函数1 sgn 线性函数非线性函数s th 3 前向网络的功能只能完成联想和分类 前向网络的本质由输入到输出的静态映射 4 学习算法 算法 LSM算法 BP算法 误差反向传递算法 2 2单层网络分类功能 感知器 本节主要介绍 单层网络的结构调整连接权和阈值的学习规则 算法 单层网络的训练和设计单层网络分类的局限性 2 2单层网络分类功能 感知器 一 感知器是由美国计算机科学家罗森布拉特 F Roseblatt 于1957年提出的 单层感知器神经元模型图 图2 1感知器神经元模型 硬限幅函数 2 2单层网络分类功能 感知器 根据网络结构 可以写出第i个输出神经元 i 1 2 s 的加权输入和ni以及其输出ai为 其中 为阈值 f 是阶跃函数 线性可分概念设有二维输入矢量 共有两类 若可以用一条直线将其无误的分开 称为线性可分 F Roseblatt已经证明 如果两类模式是线性可分的 指存在一个超平面将它们分开 则算法一定收敛 感知器特别适用于简单的模式分类问题 也可用于基于模式分类的学习控制中 本节中所说的感知器是指单层的感知器 多层网络因为要用到后面将要介绍的反向传播法进行权值修正 所以把它们均归类为反向传播网络之中 2 2单层网络分类功能 感知器 2 2单层网络分类功能 感知器 一个简单的单神经元 感知器 分类的例子 例 二维矢量 两类如图 L为分类线 区为区为设一个单神经元硬限幅函数 感知器的学习算法目的在于找寻恰当的权系数w w1 w2 wn 使系统对一个特定的样本x x1 x2 xn 能产生期望值d 当x分类为A类时 期望值d 1 x为B类时 d 1 为了方便说明感知器学习算法 把阈值 并入权系数w中 同时 样本x也相应增加一个分量xn 1 故令 wn 1 xn 1 1则感知器的输出可表示为 感知器的学习算法 感知器学习算法步骤如下 步1 对权系数w置初值权系数w w1 wn wn 1 的各个分量置一个较小的初始随机值 并记为wl 0 wn 0 同时有wn 1 0 wi t 为t时刻从第i个输入上的权系数 i 1 2 n wn 1 t 为t时刻时的阈值 步2 输入一样本x x1 x2 xn 1 以及它的期望输出d期望输出值d在样本的类属不同时取值不同 如果x是A类 则取d 1 如果x是B类 则取 1 期望输出d也即是教师信号 感知器的学习算法 步4 根据实际输出求误差ee t d y t 步5 用误差e去修改权系数wi t 1 wi t e t xii 1 2 n 1其中 称为权重变化率 0 1 的值不能太大 如果 取值太大则wi t 的稳定性差 的值也不能太小 否则wi t 的收敛速度太慢 感知器的学习算法 步3 计算实际输出值y 当实际输出和期望值d相同时有 wi t 1 wi t 步6 转到第2步 一直执行到一切样本均稳定为止 算法的收敛性分析见后面的证明 感知器的学习算法 从上面分析可知 感知器实质是一个分类器 它的这种分类是和二值逻辑相应的 因此 感知器可以用于实现逻辑函数 下面对感知器实现逻辑函数的情况作一些介绍 例用感知器实现或逻辑函数OR 即x1 x2 的真值 真值表如右所示 感知器的学习算法 即有 0 w2 w1 w1 w2 以x1 x2 1为A类 以x1 x2 0为B类 则有方程组 令w1 1 w2 1 则有 1 取 0 5 则有分类判别曲线x1 x2 0 5 0 分类情况如图2 2a所示 实现的NN如图2 2b 感知器的学习算法 感知器的学习算法 类似地 对与逻辑函数AND 真值表如下所示 即x1 x2 也可设计如图所示的分类面 分类函数 感知器的学习算法 感知器的学习算法 但对异或逻辑函数XOR 真值表如下所示 则不可能利用单层感知器设计的线性分类面 线性分类函数 如下图所示 感知器的学习算法 对此 只能设计多层感知器 如下图所示的XOR函数的2层设计 感知器的学习算法 而其函数空间的分类面如下图所示 感知器学习算法的收敛性定理 如果样本输入函数是线性可分的 那么感知器学习算法经过有限次迭代后 可收敛到正确的权值或权向量 可证 在训练样本Xk k 1 2 N是线性可分时 采用上式的学习方法 在有限次迭代后 必能得到正确解 2 2单层网络分类功能 感知器 为证明此定理 不失一般性 先对该分类问题做一些假设 A1 输入样本Xk k 1 2 N全部归一化 即 Xk 1 A2 对最优权向量W 有 W 1 A3 如果样本可分 那么任意给定的一个输入样本Xk 要么属于某一区域F 要么不属于这一区域 记为F F 和F 构成了整个线性可分的样本空间 在这里仅讨论Xk F 的情况 2 2单层网络分类功能 感知器 证明 因为N个样本线性可分 所以存在单位权向量W 和一个较小的正数d 0 使得W TXk d对所有的样本输入Xk都成立 任意权值向量W和最优权值向量W 之间的余弦角cos 为由学习律可得W k 1 W k X k 是学习系数 上式左乘W 可得W WT k 1 W WT k XT k W WT k d从k 0迭代 可得W WT k W WT 0 k d 2 2单层网络分类功能 感知器 选择W 0 Xk 满足W Xk 0 此时有W WT k k d在W k 未达到W 时 W k XT k 0 所以迭代可得 所以 由于余弦值S k 1 当W k W 时 S k 1 于是我们求解得到这说明在 和d选定后 可以在有限的次数k达到最优加权W 2 2单层网络分类功能 感知器 三 感知器网络的设计设输入矢量连接权 2 2单层网络分类功能 感知器 感知器设计训练的步骤可总结如下 1 对于所要解决的问题 确定输入矢量P 目标矢量T 并由此确定各矢量的维数以及确定网络结构大小的神经元数目 2 参数初始化 a 赋给权矢量w在 l 1 的随机非零初始值 b 给出最大训练循环次数max epoch 3 网络表达式 根据输人矢量P以及最新权矢量W 计算网络输出矢量A 4 检查 检查输出矢量A与目标矢量T是否相同 如果是 或已达最大循环次数 训练结束 否则转入5 5 学习 根据感知器的学习规则调整权矢量 并返回3 四 硬限幅函数单神经元 感知器 分类特性 1 由于激活函数为阈值函数 输出矢量只能取0 1 说明仅可以解决简单的分类问题 对于线性不可分或重叠时无法分类 但多层感知器网络却具有复杂的非线性分类能力 是一类非常有效的分类器 2 2单层网络分类功能 感知器 2 输入矢量线性可分时 学习在有限次数内收敛 3 异或问题不可解 4 感知器网络在NN的研究中有着重要意义和地位 其学习算法的自组织 自适应思想 是NN学习算法的基础 2 2单层网络分类功能 感知器 2 3具有线性函数的单层网络的分类功能 它与感知器的主要不同之处在于其神经元的激活函数是线性函数 这允许输出可以是任意值 而不仅仅只是像感知器中那样只能取0或1 它采用的是W H学习法则 也称最小均方差 LMS 规则对权值进行训练自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想 2 3 1线性神经元模型和结构 一 线性神经元模型和结构 图2 5自适应线性神经网络的结构 单神经元 多个神经元 2 3 2LMS 梯度下降 学习规则 二 采用线性函数分类任务的目标 所有可能的输入矢量与输出矢量的误差平方的统计量最小 线性函数单神经元的分类任务中采用LMS算法调节连接权 LMS的算法如下 2 3 2LMS 梯度下降 学习规则 LMS梯度下降算法训练方法 逐个处理 成批处理 采用成批处理的方法 设误差E采用下式表示 其中yi f w xi 是对应第i个样本xi的NN实时输出 oi是对应第i个样本xi的期望输出 对W求偏导 有 令 则有 可写为 其中 所以 2 3 2LMS 梯度下降 学习规则 要使误差E最小 可先求取E的梯度 考虑到yi f ui f wi xi 因此 有 2 3 2LMS 梯度下降 学习规则 最后有按负梯度方向修改权系数w的修改规则 即 其中 是权重变化率 一般取0 1之间的小数 若BP网络的神经元的非线性激发函数f u 1 1 e u 则有 2 3 2LMS 梯度下降 学习规则 因此 学习算法则为 若BP网络的神经元的线性激发函数f u ku 则有f u k因此 学习算法则为 2 3 2LMS 梯度下降 学习规则 梯度法比原来感知器的学习算法进了一大步 其关键在于 神经元的激发函数采用连续的可导函数 而不是阶跃函数 权系数的修改采用误差的梯度去控制 而不是采用误差去控制 故而有更好的动态特能 即加强了收敛进程 2 3 2LMS 梯度下降 学习规则 1 由于该网络采用线性作用函数 可以处理连续输入模式 网络可用于模式联想和函数的线性逼近 线性系统的建模和滤波等 2 线性神经网络只能反映输入和输出样本矢量间