神经网络导论第二章课件

1、第二章前馈神经网络模型 内容提要 自适应线性元模型 感知机 多层感知机和BP算法第一节自适应线性元模型自适应线性元模型结构自适应线性元模型数学描述 输入 该模型实际上是一自适应阈值逻辑单元。图中x0，x1k，x2k，xnk为该自适应线性元在t时刻的外部输入，用向量表示为:Xk（x0，x1k，x2k，xnk）T 这个向量称为自适应线性元的输入信号向量或输入模式向量。自适应线性元模型数学描述 输出 模拟输出 二值输出自适应线性元模型数学描述 理想输入 在图中的自适应线性元中有一特殊的输入dk，即理想输入。 该输入是用来将理想响应信号送入自适应线性元中，在自适应线性元中通过比较yk和理想响应dk，并

2、将差值送入最小均方差(LMS)学习算法机制中来调整权向量Wk，使得yk和所期望的输出dk相一致。LMS学习过程（文字说明）1、提交学习样本；2、计算神经网络的输出；3、计算实际输出和理想输出的误差；4、按照权值修改规则修改神经网络权值；5、计算学习结束判据；6、学习结束否？7、达到要求学习结束，否则转1。LMS学习算法权值修改规则 其中： 为当前的误差（即理想输出与模拟实际输出之间的差值）； 称为学习速度(Learning Rate)。ADALINE学习算法实质分析LMS算法的几何解释ADALINE模型计算能力分析 若ADALINE输入为二值，它可以完成一定的逻辑功能。 若有n个输入，即则有2

3、n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成和两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。ADALINE模型学习过程举例网络模型x1=1.2x2=2.7x0=1w1=-0.045w2=1.1w0=1y =?d=2.3E=?y =4.57E=-2.27w0=0.546w1=0.5w2=-0.126y =0.153E=2.15ADALINE模型的学习曲线第二节感知机感知机模型结构 感知机(Perceptron) 结构如下图所示。它是一个简单的单层神经网络模型。输入层是含有n个处理单元的神经元组，输出层只有

4、一个处理单元，所有处理单元都是线性阈值单元。xiwiy感知机的计算感知机的几何意义 感知机的几何意义在于它在多维空间上利用一超平面将两类模式A和B分开。这时超平面方程为：感知机权值调整算法（图示）样本E=0.85E=0.45E=0.25E=0.05感知机的缺陷 Rosenblatt已经证明，如果两类模式在分布空间中可以找到一个超平面将它们分开，那么感知机的学习过程就一定会收敛。否则判定边界就会振荡不休，永远不会稳定，这也正是单层感知机所无法克服的缺陷，所以它连最简单的异或（XOR）问题也解决不了。XOR问题多层感知机简介 多层感知机（Multilayer Perceptron）是一种在输入层与

5、输出层之间含有一层或多层隐含结点的具有正向传播机制的神经网络模型。多层感知机克服了单层感知机的许多局限，它的性能主要来源于它的每层结点的非线性特性（节点输出函数的非线性特性）。如果每个结点是线性的，那么多层感知机的功能就和单层感知机一样。多层感知机的结构输入层隐含层输出层多层感知机的分类能力 一个单层感知机构成一个半平面判决区域，一个二层感知机可能构成任意无边界的空间区域，这些判决区域有时是凸多边形，有时是无边界的凹区域。凸区域是多层感知机中第一层各个处理单元所构成的半平面决定区域（即判决区域）相交而成。各种感知机能力分析各种感知机能力分析多层感知机性能等价问题 第一层中的处理单元就像一单层感

6、知机，所形成的凸区域的边数最多和第一层结点个数一样多。一个三层感知机能形成任意复杂的决定区域，也能把表中所示的那些相互渗透的区域分开。多层感知机学习算法概述BP算法的基本过程初始化阶段前馈阶段权值调整阶段学习精度计算学习结束判断BP学习算法描述（初始化阶段）1、对所有处理单元的阈值及处理单元之间的连接权值取一个较小的随机数。2、设定一个较小的数作为学习期望达到的最终学习精度。该值作为学习过程的结束判断条件。BP学习算法描述（前馈阶段）3、给定输入样本 和理想输出 。4、对于层p的处理单元i，以下式计算层p中处理单元i的活跃值，也即输出到层p+1的输出值。BP学习算法描述（权值调整阶段）5、利用

7、下面公式，从输出层开始向输入层方向进行权值调整：权值调整中的误差项求解输出层误差项求解隐含层误差项求解实际输出理想输出神经元阈值的修改 如果把层p中处理单元的阈值看成是层p-1中处理单元到其一个附加的常数输入连接权值，也可以照类似的方法进行该单元域值的修改。BP学习算法描述（计算累计误差）6、按下式计算当前学习样本的误差：实际输出理想输出BP学习算法描述（结束条件判断）7、样本学习完否？没有学习完，转3；8、计算所有样本的累积误差：9、判E否？是，学习过程结束，否则转3。多层感知机应用说明 反传（BP）算法广泛使用在神经网络实际应用领域中，其有效性得到了许多问题的证明，如XOR问题、语言合成和识别等。反传算法实际上是使系统朝误差梯度下降的方向移动，把非线性感知机系统决策能力和LMS的客观误差函数沿梯度下降结合了起来。正是这些原因，多层感知机也得到了日益广泛的应用。多层感知机应用