人工神经网络1第1,2章.ppt

人工神经元模型 1、M-P模型 1943年ANN起始年代，Warren Mcculloch 和Walter Pitts提出 的第一个模型，简称M-P模型。 M-P模型的数学表达式： i X1 X2 Xj Xn i1 i2 ij iN yi 1 2 第i个神经元接收到的第j个神经元送入的信号（二值量） 突触强度（第j个神经元与第i个神经元连接的权值）固定值 第i个神经元的阈值 净输入： 如果考虑输入至输出的延时作用（动态），表达式可修正为： 3 以上M-P模型只允许在二进制状态离散时间下操作，并且假设权值和 阈值固定不变。因此，它是最古老的神经元模型。 2、通用的神经元模型 1 一个静态的神经元模型 f（.） y 神经元处理 节点 I 4 3、常用的功能函数 （1）线性函数 (3) s函数（又称sigmoid函数） (2)硬限幅函数（包括符号函数） f(u) u u 1 0 fh(u) +1 -1 0u 1 0、5 u0 0 fs(u) 5 注： 是单调上升函数，而且必须是有界函数。因为细胞传递的信号不 可能是无限增加，必有最大值。 1、5 人工神经网络的基本结构、工作方式、学习（训 练）及它的基本功能 一、网络的基本结构 1、单层前向网络 Q0 Qi Qm1 。 。 。 。 0 0 01 0 j 0,N-1 ij m-1,0 m-1,N-1 6 a、对第i个神经元而言 b、对整个网络而言 7 2、多层前向网络（由单层级联而成） 。 。 。 输出层 隐含层 （一般12层） 输入层 输入节点层 （零层） 8 注1：构成多层网络时，各层间的功能函数 应是非 线性的，否则再多层的功能只能相当于一层。 设：两层网络，功能函数 是线性的。 将阈值放入X中， 9 3、反馈网络 输入 输出 i j ij ji 10 注2：前向网络主要是函数映射。可用于模式识别和函数逼近和分类 。 反馈网络按对能量函数的极小点的利用来分类。 有两种：（1）主要用作各种联想存储器 （2）主要用于求解最优化问题 二、工作方式及学习（训练） 1、工作方式 主要分两个阶段： 第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值 可通过学习来修改。（记忆） 第二个阶段 是工作期，此时各连接权固定，计算单元状态变化，以 达到某种稳定状态。（分类、识别、逼近、聚类、等） 2、学习（训练） （1）学习方式： （a）有监督的学习（有导师的学习）：在学习开始前，要提供由已知 输入向量和应该输出变量所构成的“样本对”集（导师）。该类 学习多用为函数逼近、分类和模式识别等。 （b ）无监督的学习：学习开始前，只提供由已知输入向量所构成的“ 样本”集（训练集）。该类学习多用为聚类。 11 样本对集W 输出 调整 导师 实际响应 误 差 信 号 E 应有的响应 训练集 W（自动调节） 输出 图1 有监督学习的ANN 图2 无监督学习的ANN 12 (2) 学习算法（学习规则） a、误差修正法或叫 规则（有导师的学习） 举例：被训练网络中的第i个神经元 ：首先随机设置初始权重值 ：t时刻加入样本矢量 当输入矢量第j个元素是 时， “ 导 师”期望输出为 而实际输出 产生误差为 ： t时刻调整 的规则为： i i 0 i1 ij iN1 yi 13 b、Hebb规则（无监督学习规则） 神经心理学家D.O.Hebb于1949年提出生物神经元学习的假设：“当 某一突触（连接）两端的神经元的激活同步时（同时兴奋或同时抑 制时），他们间的连接强度应增加，反之则减弱。” 假设：具有代表性的、反映环境的一组样本M个： 每个样本由N个元素构成 ij 反映该样本的 的特征 14 Hebb规则 nHebb规则表明：将全部M个样本的第i个元素与第j个元 素作相关运算，以求得ij 值。如果两者符合越多，则 ij 值越大，也即两神经元之间连接权重越强。如果两 者符合越少，则ij 值越小，也即两神经元之间连接权 重越弱。 15 第二章 前向多层ANN 2、1 概述 2、2 采用硬限幅函数时，单个神经元的分类功能 单个神经元分类对象严格线性可分类“客体”“环境”。且只有 两类 严格线性可分的“客体”在n维空间中的两类，总可以用某个超 平面（可以不唯一）将他们严格分开。 （1）若观察向量X是二维（ ） 集合R1 C1类集合R2 C2类 16 （2）若观察向量X是三维（ ） 集合R1 C1类 集合R2 C2类 17 一、分类思想 分隔线L： 在L上方的点必定使得： 在L下方的点必定使得： 1、当X（观察矢量）是上述两类时，可用单个神经元硬限幅函数分类 。 由于 使得网络权值 R1 R2 。 。 0 1 18 则此时的I0就是分隔线L 该网络具有的功能： 2、类推：若观察矢量X是“n维”的，只要客体是线性可分的两类， 总 可以由一个（n1）维超平面S： 分开两类样本 。 使得训练后的权值满足： 时： 时 ： 0 1 jN- 1 19 二、训练网络的算法步骤 1、准备足够的多个已知类别的训练“样本对”集 当 当 用样本对集，对神经网络进行“训练”，使网络能自动调整到具有 分类功能之权值系数 和阈值 2、将 归入 中去，使得N维 扩成N1维 3、设置初始权值 4、依次逐个向神经元送入训练样本对 20 5、调整 实际输出 三、算法收敛性的证明 由左图二维观察样本 的证明为例，可以推 及：无论X是多少维矢 量，采用上述算法，只 要 足够小，训练样本 足够多， 定能够收 敛到给出正确分类结果 的权值矢量 。 21 2、4 采用硬限幅函数的前向多层ANN的分类功能 一、采用硬限幅函数的前向两层ANN的分类功能 1、分类对象可分凸集合 其中蓝色花纹为可分凸集合，红色花纹为非凸集合 22 可分集合若被区分的客体有M种类别，记为 属于各个类别的集合 相互之间互不相交。 可分凸集合属于各个类别的集合 每个都是凸 集合，且互不相交。 2、由一个凸集合说明分类思想 R0 R1 23 （1）对此凸集合R可用三条分割直线 来描述， 当 （2）由三个神经元可以完成分类功能 000102 。 。 。 24 (3)最后的判决由第二层输出神经元完成分类功能。 又 3、分类算法 （1）第一层： 第一层所有权值包括阈值 ，有待于对训练样本集（X,d）的 学习后，自动调整 （ 2） 第二层：25 为了保证当 时，输出 ，其它时刻 则必须人为设置 设置为2.5而不是2或者3，是为了防止网络中出项干扰噪声而 引起误判。 4、推论：如果有3个可分凸集合，最简单的方法可在第二层安排 3个输出神经元来分类。 R2 R3 R1 R0 四条 线 五条 线 三条 线 26 第一层网络权值系数 由训练样本对训练而得 第二层网络权值系数 据三个集合之间逻辑关系人为设定。 二、采用硬限幅函数前向三层网络的分类功能 1、分类对象可分的非凸集合 2、举例说明分类思想：将一个非凸集合分成若干个可分凸集合 (1) 将一个非凸集合 (2) 用二层网络判别两个凸集合 (3) 再根据两个凸集合 与非凸集 合的逻辑关系，人为的设定 3、推论： （1）M个互不相交的非凸集合分类时，可以在第三层安排M个神 经元。 （2）以上算法可以推广到n维空间的分类问题。用（n1）维超 平面代替二维空间中的直线。 27 4、缺陷 当客体不同类的集合相交时，上述方法没有实用价值。 （1） 严格不可分 “任何”直线都不可能严格分开 （2） 需要无数条直线才能分 R1 R2 R2 R1 28 2、5 采用S型函数的前向多层神经网络及其逆推的学习 算法（BP算法） 其中：Q表示 层神经元的个数，则Q 层输出维数 。 L表示( -1)层神经元的个数，则L 层输入维数 。 层权矩阵 n一、网络结构及各层之间输入、输出、权重系数之间的关系。 n1、通用层“ ”（三层中的任意一层） 29 层净输入 输出 若将阈值归到输入中去，则输入增加一维。 并令： 此时： 30 2、三层 M个神经元 Q3=M 3 Q2=K K个神经元 Q2=K 2 L2=J J个神经元 Q1=J 1 L1=N 31 二、学习算法 按“最陡下降法”思想，导出采用S型函数时，前向三层网络的LMS 学习算法。 1、指导思想 （1）对于某个训练样本矢量Xp,其分量 期望输出的理想矢量（导师）Dp，其分量 分析： 32 （2）在一个样本P输入下，构造输出所有分量的误差平方和 （3）按照 下降最快方向，寻找一个 ,使得 最小。 2、构造算法的调整量（一步中的调整量） 引用（241）式中 用 换J(k) 构造调整量 n实际输出的矢 量 n输出误差矢量 33 34 35 36 3、由调整公式（256）可得三层网络调整公式如下： 37 4、上述调整公式，如果用矢量矩阵来表示，则更简单。 通用层: i j Q维 L+1维 38 39 40 41 BP算法训练网络时有两种方式： n1：顺序方式（标准BP） n每个权调整节拍k只从训练集中取一个样本训练。即每输入一个训 练样本就修改一次权值。 n2：批处理方式（累积BP） n每个权调整节拍k要从训练对集中取所有样本来训练。即要等所有训 练样本输入一次以后，才修改一次权值。 42 权矩阵赋初值 随机输入样本对 计算各层响应及 计算误差 计算每层梯度 及权值修整量 是否学完所 有训练样本 ？ 修整权矩阵 结束 43 权矩阵赋初值 计算各层响应及误差 迭代次数达限 计算每层梯度 权值修整量 是否学完所 有训练样本 ？ 修整权矩阵 结束 输入第一个样本对 送下一个样本对 44 三、在实用中考虑的一些问题 45 2.6 按照BP算法进行训练时的模拟试验实例 T-C辨识问题： 两类图形： 一、要求： 对两类图形在四种旋转角度下的8种图形 任意平移后，网络能辨识分类。 如：输入T时，输出y=1 输入C时，输出y=0 46 输入信号 阵列 接收场 隐含层阵列 输出层 =2 隐含层 =1 1 y0 规定：输入信号阵列与隐含层所有神经元的连接权，只要它在相对该 神经元的（33）小方阵中的位置相同，则权系数也就相同，恒保持 一致。 二、网络结构前向二层网络 前向二层网络图如下： 47 例如： 三、学习步骤： 1、按照前一节给出的逆推学习算法，算出网络中的所有权重系数的调 整量。 i 123 j 1 23 k 1 2 3 输入阵列 48 2、隐含层（ ）权系数调整 把所有（33）小方阵对应脚（如，第三脚）的权系数的调整量（ 开始各不相同）相加，总和形成所有（33）中对应脚（第三脚 ）的总调整量。 一共形成9个总的第一层权系数调整量 用这9个总 调整量去调整所有（33）中的分别在9个位置上的连接权系数。 目的是使（33）中每个相应位置权系数最终变得相同。 3、输出层（ ）权系数调整 将 层所有权系数调整量相加 去调整 输出层所有权系数。目的，使输出层每个权系数相同。 由前可知：BP网络任一层权系数，一旦相同，便永远保持一致。 4 、将8种图形随机抽选，随机的置于接收场任何位置，一次的送入 网络进行学习。 49 四、学习结果 1、当输T图时，无论T如何旋转，移动，在输入信号阵列中， 点可以找到一个（33）小方阵，其输送到某个神经元的点 输入 2、当输入C图时，在输入阵列中，没有一个（33）小方阵能 使某个神经元输入 111 121 111 ijk 22 2 1 1 （33）小方阵上权系数值，分布图见书图220 50 3、 由于学习结果使隐含层（ 1）各神经元阈值为0.5,从而保证 ： 输入T时至少有一个隐含层神经元输出“1” 输入C时所有隐含层神经元输出“0” 4、 输出层：输出层所有权系数为1，阈值为0.5 51 2、7 前向 多层神经网络的实际应用举例 一、手写体拉丁字母及阿拉伯数字的识别 1、首先对输入字符进行恰当地“预处理”或“编码”。 预处理方案之一： 采用光电器件（LED）构成的“影码符号读出器”，将字符“ 读出来”见书P71图221（b）（c） 52 2、按照从上到下由左到右的顺序，将13段LED杆的输出值 ，排成一个13维矢量Xx0 ，x1