神经网络第二章ppt课件

神经网络原理 注：由last，next，序数词要求不定式作定语， 2. 感知器 神经生理学和神经解剖学的研究表明，大脑 中实际的神经网络一般具有层次结构，同时 结点间的连接很多属于前馈连接，同时这种 前馈连接构成的网络（前馈网络）学习过程 比较容易，所以首先讨论前馈网络模型。 1958年心理学家Frank Rosenblatt及其合作者 首先研究了这种前馈层次网络模型，将其称 为感知器(Perception)。 2.1 感知器概述 感知器实例 简单感知器 两层感知器 2.1 感知器概述 在感知器模型中，输入图形x=(x1, x2, xN)通过 各输入端点分配给下一层的各结点，这下一层称 为中间层，它可以是一层或多层，最后通过输出 层结点得到输出图形y=(y1, y2, yn)。 在这种前馈网络模型中，没有层内联接，也没有 隔层的前馈联接，每一个结点只能前馈联接到其 下一层的所有结点。 由于在早期对于含有隐蔽层的多层感知器没有可 行的训练算法，所以初期研究的感知器是一层感 知器（或称简单感知器，通常简称为感知器）。 2.1 感知器概述 感知器的学习是有指导的学习，其训练算法的基 本原理来源于Hebb学习律 基本思想：逐步地将样本集中的样本输入到网络 中,根据输出结果和理想输出之间的差别来调整网 络中的权矩阵 感知器特别适合简单的模式分类问题，可解决线 性划分问题。 感知器神经元是在MP模型基础上加上了学习功能 ，其权值可根据设计目的加以调节。 2.1 感知器概述 感知器的神经元结构就是MP模型： 输入与输出的关系： 2.2 感知器的网络结构 一般感知器结构是单层神经网络，其激活函数为二 值函数（符号，阈值）： 2.2 感知器的网络结构 权值与偏差 一组输入与输出： 2.2 感知器的网络结构 多组输入与输出： ， 2.2 感知器的网络结构 输入与输出的关系 矩阵形式： 分量形式： 2.3 感知器的图形解释 神经元模型 ： 任意一组参数W和B，在输入矢量空间中，可决 定 一条（超）直线或（超）平面等，在该直线或 平面上方输出为1；在其下方输出为0； 处理单元实际上是输入信息的分类器，判决输入 信息属于两类中的哪一类（A或B类）。 2.3 感知器的图形解释 当输入向量为两个分量时，它构成平面上的两 维集，此时判决界是一条直线。 当s=1和r=2时，有 它是在p1Op2平面的一条直线，上方输出1(A类)， 下方为0（B类）；或相反。 p2 p1 2.3 感知器的图形解释 当输入向量为三个分量时，它构成三维信号集， 此时判决界是一个平面。 当输入向量为多个分量时，它构成多维信息空间 ，此时判决界是一个多维面。 2.4 感知器的学习规则 学习规则用于计算新的权值矩阵W和偏差B的算法 感知器的学习规则 ： 1) 若第i个神经元的输出正确，即ai=ti，则与第i个神经 元连接的权值wij和偏差bi保持不变； 2) 若第i个神经元的输出是不正确的，则按如下改变权 值和偏差： a. 若ai=0, 但ti=1，则权值修正的算法： wij=wij+pj , bi=bi+1 b. 若ai=1, 但ti=0，则权值修正的算法： wij=wij -pj , bi=bi -1 2.4 感知器的学习规则 学习规则伪代码 1. 初始化权向量W； 2. 重复下列过程，直到训练完成： 2.1 对每个样本（X,Y），重复如下过程： 2.1.1 输入X； 2.1.2 计算o=F（XW）； 2.1.3 如果输出不正确，则 当o=0时，取 W=W+X， 当o=1时，取 W=W-X 2.4 感知器的学习规则 样本集：(X,Y)|Y为输入向量X对应的输出 输入向量：X=(x1,x2,xn) 理想输出向量：Y=(y1,y2,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,om) o1 多输出感知器 x1 x2o2 omxn 输入层输出层 2.4 感知器的学习规则 学习规则统一表达： 感知器修正权值公式 分量表示： 矩阵表示：设E=T-A为误差矢量， or or l学习的收敛性：该算法属于梯度下降法，有解时收 敛。 感知器神经网络的构建 运用MATLAB newp() 建立一个感知器 sim() 仿真一个神经网络 init () 初始化一个神经网络 learnp() 感知器权值学习 举例 2.5 网络的训练 网络的训练过程： 1. 输入: P, T 网络结构的选取，并计算相关的量 2. 初始化：W，B 目标（期望）误差，参数如权值和偏差的初始 化(-1，1)中的随机值，最大循环迭代次数； 3. 计算：A 计算网络的实际输出矢量。 4. 检查或比较：A与T, E与误差门限 比较网络的输出误差和与期望误差相比较；若 小于期望误差或达到最大迭代次数，训练结束 5. 学习：计算新W和B，并返回到3. 2.5 网络的训练 数字识别： 1. 输入：0,1,2,3,4,5,6,7,8,9 预处理：将数字(图形、声音等)转化为数组(数字信 号)，常用方法是“抽样+量化+编码” 31 1 1 0 0 1 1 1 1 0 0 1 1 1 1 目标输出：3011,或30011,或30 0 1 0 0 0 0 0 0 ； 2. 网络训练：确定网络结构，参数、学习等。 2.5 网络的训练 例1 设计一个感知器，对输入数据分成两类。 已知输入矢量P=-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1 目标矢量T= 1.0 1.0 0 0 分析：选择2-1型感知器，权矩阵W1*2，偏差B=w3 ，则 可能的一组解: 2.5 网络的训练 Matlab算法程序：r=2, s=1，q=4 网络简化结构：u=1,2,3,4 2.5 网络的训练 例2. 多个神经元分类：输入矢量 P = 0.1 0.7 0.8 0.8 1.0 0.3 0.0 -0.3 -0.5 -1.5; 1.2 1.8 1.6 0.6 0.8 0.5 0.2 0.8 -1.5 -1.3; 相应的10组二元目标矢量为： T = 1 1 1 0 0 1 1 1 0 0; 0 0 0 0 0 1 1 1 1 1; 一个问题：训练失败的原因：一是参数选择不当； 二是问题不能用感知器解决。 2.5 网络的训练 小结： 当r=1和s=1时，感知器是以点为分割界； 当r=2时，在输入矢量平面以线为分割界： s=1, 分割线为一条线； s=2, 分割线为二条线。 当r=3时，以面为分割界，分割面数为神经 元数s 2.5 网络的训练 讨论 经过有限次迭代可使误差达到最小。 收敛的速度（迭代次数）与初始条件 W(0)、b(0)有关，收敛后的权值也不 是唯一的。 在实际中b并不指定，可以作为偏置 加权同其它加权一样参与训练调整。 2.6 感知器的局限性 1. 输出与输入的映射关系简单，只能进行简单分类； 2.只能解决线性可分问题，不能解决线性不可分问题 ， 例如典型的“异或”问题； 3. 对有些问题，例如当输入样本中存在奇异样本, 训 练 速度慢。 例3 在例1中加入一个新的输入矢量： P = -0.5 -0.5 0.3 0 -0.8 -0.5 0.5 -0.5 1 0; T = 1 1 0 0 0; 训练结果：训练失败 2.7 “异或”问题 感知器实现逻辑“与”的功能 逻辑“与”的真值表 2.7 “异或”问题 感知器实现逻辑“与”的功能 因只有两个输入，构成二维空间。 2.7 “异或”问题 感知器实现逻辑“与”的功能 通过真值表中的4个输入输出对，训练调节对 应的加权W1、W2和阈值，可得表示“与”功 能的感知器。 2.7 “异或”问题 感知器在表示能力方面存在局限性，很多功能 不管如何调节加权和阈值，也不能被识别或表 示。 Minsky和Papert发现感知器的不足的主要依据 ： 感知器不能实现简单的“异或”逻辑功能。 逻辑“异或”的真值表 2.7 “异或”问题 感知器不能实现逻辑“异或”的功能 因只有两个输入，构成二维空间。 2.7 “异或”问题 感知器不能实现逻辑“异或”的功能 要实现“异或”功能，要求A类和B类在直线两边 ，这显然不可能，因为它是线性不可分的。 这意味着不管如何改变参数W1、W2和都不能 使单层感知器产生“异或”功能。 对于线性不可分的功能，训练中找不到一条直 线（或多维判决界面）将A和B两类分开，使得 加权总是来回摆动，不能收敛到一个确定的判 决界，此时训练不收敛。 要想用感知器表示某种功能，必须知道这种功 能是否是线性可分的。