基础知识+续人工神经网络常用学习规则课件

1、基础知识+续人工神经网络常用学习规则1 人工神经网络常用的学习规则人工神经网络常用的学习规则 lMP模型是于1943年由美国心理学家 McCulloch和数学家Pitts建立的第一个神经 元模型，也可以称为处理单元(Processing Element)，它是一个多输入多输出的非 线性信息处理单元。如图5-6所示，图5-7为 MP模型的作用函数。MP神经元是人工神 经元模型的基础，也是人工神经网络模型 的基础。 基础知识+续人工神经网络常用学习规则2 图5-6 MP神经元模型 )( i xf i 0 1 (x) F(x) 基础知识+续人工神经网络常用学习规则3 l人类具有学习能力，人类的知识和

2、智慧是 在不断的学习与实践中逐渐形成和发展起 来的。关于人工神经网络的学习机制，涉 及到神经元如何分布、处理和存储信息。 常用的人工神经网络学习规则如下，图5-8 是权值调整的一般情况，其中：Wj为联接 到神经元j的权值向量，X为输入向量，r为 学习信号，d为导师信号。权向量的调整准 则为 基础知识+续人工神经网络常用学习规则4 l式中 为学习速率。权值调整的迭代格式为 )()(),(),()(tXtdtXtWrtW jjj )()(),(),()() 1(tXtdtXtWrtWtW jjjj 基础知识+续人工神经网络常用学习规则5 权值调整的一般情况 w X r(w,x,d) dj 信号生成

3、器 Oj j wj X 基础知识+续人工神经网络常用学习规则6 1)Hebbian学习规则 l1949年，心理学家D.O.Hebb最早提出了关于神 经网络学习机理的“突触修正”的假设。该假设 指出，当神经元的突触前膜电位与后膜电位同时 为正时，突触传导增强，当前膜电位与后膜电位 正负相反时，突触传导减弱，也就是说，当神经 元i与神经元j同时处于兴奋状态时，两者之间的连 接强度应增强。根据该假设定义的权值调整方法， 称为Hebbian学习规则。在Hebbian学习规则中， 学习信号简单地等于神经元的输出 基础知识+续人工神经网络常用学习规则7 l式中 W为权向量，X为输入向量。权向量的 调整公式

4、为 XWfr T j XXWfW T jj 基础知识+续人工神经网络常用学习规则8 权向量中，每个分量的调整由下式确定 l上式表明，权值调整量与输入输出的乘积成正比。 显然，经常出现的输入模式将对权向量有最大的 影响。在这种情况下，Hebbian学习规则需预先 设置权饱和值，以防止输入和输出正负始终一致 时出现权值无约束增长。此外，要求权值初始化， 即在学习开始前 (t=0)，先对Wj(0)赋予零附近的 小随机数。Hebbian学习规则代表一种纯前馈、 无导师学习。该规则至今仍在各种神经网络模型 中起着重要作用。 iji T jij xoxXWf 基础知识+续人工神经网络常用学习规则9 2)P

5、erceptron（感知器）学习规则 l1958年，美国学者Frank Rosenblatt首次定 义了一个具有单层计算单元的神经网络结 构，称为感知器(Perceptron)。感知器的学 习规则规定，学习信号等于神经元期望输 出（教师信号）与实际输出之差 jj odr 基础知识+续人工神经网络常用学习规则10 l式中 为期望的输出 ，。 感知 器采用了与阈值转移函数类似的符号转移 函数，其表达为 WWfo T jj j d 0, 1 0, 1 sgn XW XW XWXWf T j T T j T j j 因此，权值调整公式应为XXWdW T jjj sgn nixXWd i T jjij

6、, 1 , 0sgn 基础知识+续人工神经网络常用学习规则11 l式中，当实际输出与期望值相同时，权值不需要 调整；在有误差存在情况下，由 于 、 ， l权值调整公式简化为 l感器学习规则只适用于二进制神经元，初始权值 可取任意值。 l感知器学习规则代表一种有导师学习。由于感知 器理论是研究其他神经网络的基础，该规则对于 神经网络的有导师学习具有极为重要的意义。 1,1sgnXW T j XWj2 j d 基础知识+续人工神经网络常用学习规则12 l3)(Delta)学习规则 l1986年，认知心理学家McClelland和 Rumelhart在神经网络训练中引入了规则， 该规则亦可称为连续感

7、知器学习规则，与 上述离散感知器学习规则并行。规则的学 习信号规定为 jjj T j T jj netfodWWfWWfdr 基础知识+续人工神经网络常用学习规则13 l上式定义的学习信号称为。式中是转移函 数的导数。显然，规则要求转移函数可导， 因此只适用于有导师学习中定义的连续转 移函数，如Sigmoid函数。 l事实上，规则很容易由输出值与期望值的 最小平方误差条件推导出来。定义神经元 输出与期望输出之间的平方误差为 基础知识+续人工神经网络常用学习规则14 l式中，误差E是权向量Wj的函数。欲使误差 E最小，Wj应与误差的负梯度成正比，即 l式中，比例系数是一个正常数。由式(5- 12

8、)，误差梯度为 2 2 2 1 2 1 XWfdodE T jjjj EW j XentfodE jjj 基础知识+续人工神经网络常用学习规则15 l可以看出，上式中与X之间的部分正是式 (5-11)中定义的学习信号。Wj中每个分 量的调整由下式计算 l学习规则可推广到多层前馈网络中，权值 可初始化为任意值。 nixnetfod ijjjij , 1 , 0 基础知识+续人工神经网络常用学习规则16 l4)Widrow-Hoff学习规则 l1962年，Bernard Widrow和Marcian Hoff 提出了Widrow-Hoff学习规则，又称为最小 均方规则(LMS)。Widrow-Ho

9、ff学习规则的 学习信号为 XWdr T j 基础知识+续人工神经网络常用学习规则17 l权向量调整量为. l的各分量为 l实际上，如果在学习规则中假定社会元转 移函数为 ，则有， 此时 式(5-11)与式(5-17)相同。 XXWdW T jj nixXWd i T jjij , 1 , 0 XWXWf T j T j 1XWf T j 基础知识+续人工神经网络常用学习规则18 l因此，Widrow-Hoff学习规则可以看成是学 习规则的一个特殊情况。该学习规则与神 经元采用的转移函数无关，因而不需要对 转移函数求导数，不仅学习速度较快，而 且具有较高的精度。权值可初始化为任意 值。 基础知

10、识+续人工神经网络常用学习规则19 l5) Correlation（相关）学习规则 l相关学习规则学习信号为 l易得出分别为 j dr XdW jj nixd ijij , 1 , 0 基础知识+续人工神经网络常用学习规则20 l该规则表明，当dj是xi的期望输出时，相应 的权值增量ij与两者的乘积djxi成正比。 l如果Hebbian学习规则中的转移函数为二进 制函数，且有oj=dj，则相关学习规则可看 作Hebbian规则的一种特殊情况。应当注意 的是，Hebbian学习规则是无导师学习，而 相关学习规则是有导师学习。这种学习规 则要求将权值初始化为零。 基础知识+续人工神经网络常用学习规

11、则21 l6) Winner-Take-all（胜者为王）学习规则 lWinner-Take-all学习规则是一种竞争学习规 则，用于无导师学习。一般将网络的某一 层确定为竞争层，对于一个特定的输入X， 竞争层的所有p个神经元均有输出响应，其 中响应值最大的神经元为在竞争中获胜的 神经元，即 基础知识+续人工神经网络常用学习规则22 l只有获胜神经元才有权调整其权向量，调 整量为 XWXW T i pi T m ,2, 1 max mm WXW 基础知识+续人工神经网络常用学习规则23 l式中，是学习常数，一般其值随着学习的进展 而减小。由于两个向量的点积越大，表明两者越 近似，所以调整获胜神

12、经元权值的结果是使Wm 进一步接近当前输入X。显然，当下次出现与X相 像的输入模式时，上次获胜的神经元更容易获胜。 在反复的竞争学习过程中，竞争层的各神经元所 对应的权向量被逐渐调整为输入样本空间的聚类 中心。在有些应用中，以获胜神经元为中心定义 一个获胜领域，除获胜神经元调整权值外，领域 内的其他神经元也不同程度地调整权值。权值一 般被初始化为任意值并进行归一化处理。 基础知识+续人工神经网络常用学习规则24 l7)Outstar（外星）学习规则 l神经网络中有两类常见节点，分别称为内星节点 和外星节点，其特点见图5-8和5-9。图5-8中的内 星节点总是接受来自四面八方的输入加权信号， 因

13、此是信号的汇聚点，对应的权值向量称为内星 权向量；图5-9中的外星节点总是向四面八方发出 输出加权信号，因此是信号的发散点，对应的权 值向量称为外星权向量。内星学习规则定内星节 点的输出响应是输入向量X和内星权向量Wj的点 积。该点积反映了X与Wj的相似程度，其权值按 式(5-23)调整。因此Winner-Take-All学习规则与 内星规则一致。 基础知识+续人工神经网络常用学习规则25 l下面介绍外星学习规则。外星学习规则属 于有导师学习，其目的是为了生成一个期 望的维输出向量，设对应的外星权向量用 Wj表示，学习规则如下 )( jj WdW 基础知识+续人工神经网络常用学习规则26 l式

14、中，的规定与作用与式(5-23)中的相同， 给出的外星学习规则使节点j对应的外星权 向量向期望输出向量d靠近。 WijWnj W1j j WijWnj W1j j 基础知识+续人工神经网络常用学习规则27 2.4神经网络学习神经网络学习 表2.1 常用学习规则一览表 权值调整 学习规则 向量式元素式 权 值 初始化 学习方式转移函数 HebbianXXWW)( T jj f i )(xfw T jij XW0无导师任意 PerceptronXXWW)( T jjj sgn-d i )(xsgn-dw T jjij XW任意有导师二进制 Delta XW)()( jjjj netf-od ijj

15、jij xnetf-odw)()( 任意有导师连续 Widrow-Hoff XXWW)( T jjj -d i T jjij x-dw)(XW 任意有导师任意 相关 XW jj d ijij xdw 0有导师任意 Winner-take- all )( mm WXW)( iimm wx W 随机、归 一化 无导师连续 Outstar )( jj WdW)( kjkkj wdw 0有导师连续 基础知识+续人工神经网络常用学习规则28 l人工神经网络是由人工神经元（简称神经元）互 联组成的网络，它是从微观结构和功能上对人脑 的抽象、简化，是模拟人类智能的一条重要途径， 反映了人脑功能的若干基本特征

16、，如并行信息处 理、学习、联想、模式分类、记忆等。目前，已 发展了几十种神经网络，例如Hopfield模型， Feldmann等的连接型网络模型，Hinton等的玻尔 茨曼机模型，以及Rumelhart等的多层感知机模型 和Kohonen的自组织网络模型等等。 基础知识+续人工神经网络常用学习规则29 l在这众多神经网络模型中，应用最广泛的 是多层感知机神经网络。多层感知机神经 网络的研究始于20世纪50年代，但一直进 展不大。直到1985年，Rumelhart等人提出 了误差反向传递学习算法（即BP算法）， 实现了Minsky的多层网络设想。 基础知识+续人工神经网络常用学习规则30 l神经

17、网络对控制领域和反问题研究有吸引 力的特征表现在：(1)能逼近任意L2上的非 线性函数；(2)信息的并行分布式处理与存 储；(3)可以多输入、多输出；(4)便于用超 大规模集成电路(VLSI)或光学集成电路系统 实现，或用现有的计算机技术实现；(5)能 进行学习，以适应环境的变化。 基础知识+续人工神经网络常用学习规则31 l决定网络整体性能的三大要素包括：(1)神 经元（信息处理单元）的特性；(2)神经元 间相互联接的形式拓扑结构；(3)为适应 环境而改善性能的学习规则。表5-1为对神 经网络发展有重要影响的神经网络 基础知识+续人工神经网络常用学习规则32 l神经网络通过相继给网络输入一些

18、样本模式，并 按照一定的规则（或学习算法）不断改变网络各 层的连接权值，使网络的输出不断地接近期望的 输出值，这一个过程称为神经网络的学习或训练。 学习的实质是可变权值的动态调整的自适应过程。 改变权值的规则称为学习规则或学习算法（相应 也称训练规则或训练算法）。单个处理单元，无 论采用哪一种学习规则进行调整，其算法都十分 简单。大量处理单元集体进行权值调整时，网络 就呈现出“智能”的特性。 基础知识+续人工神经网络常用学习规则33 l神经网络结构和功能不同，学习方法也各 不相同。在人工神经网络的结构和转移函 数决定以后，如何设计权使网络达到一定 的要求，就成为决定神经网络信息处理性 能的第三

19、大要素。学习问题归根结底就是 网络连接权的调整问题，其方法有以下几 种： 基础知识+续人工神经网络常用学习规则34 名称提出者年代典型应用领域局限性特点 Perceptron(感感 知器知器) Frank Rosenblatt(康康 奈尔大学奈尔大学) 1958文字识别、声音文字识别、声音 识别、声纳识别、声纳 信号识别、信号识别、 学习记忆问学习记忆问 题研究题研究 不能识别识别复不能识别识别复 杂字符，对杂字符，对 字的大小、字的大小、 平移和倾斜平移和倾斜 敏感敏感 最早的神经网络，已最早的神经网络，已 很少应用；有学很少应用；有学 习能力，只能进习能力，只能进 行线形分类行线形分类 A

20、daline(自适应自适应 线形单元线形单元) 和和 Madaline (多个多个 Adaline的的 组合网络组合网络) Bernard Widrow(斯斯 坦福大学坦福大学) 1960 1962 雷达天线控制雷达天线控制,自自 适应回波抵适应回波抵 消，适应性消，适应性 调制解调，调制解调， 电话线中适电话线中适 应性补偿等应性补偿等 要求输入要求输入-输出之输出之 间为线性关间为线性关 系系 学习能力较强，较早学习能力较强，较早 开始商业应用，开始商业应用， Madaline是是 Adaline的功能的功能 扩展扩展 Avalanche(雪崩雪崩 网网) S.Drossberg(波士顿波

21、士顿 大学大学) 1967连续语音识别，连续语音识别， 机器人手臂机器人手臂 运动的教学运动的教学 指令指令 不易改变运动速不易改变运动速 度和插入运度和插入运 动动 Cerellatron（小（小 脑自动机）脑自动机） D.Marr（麻省理工（麻省理工 学院）学院） 1969 19 82 控制机器人的手控制机器人的手 臂运动臂运动 需要复杂的控制需要复杂的控制 输入输入 类似于类似于Avalanche网网 络，能调和各种络，能调和各种 指令序列，按需指令序列，按需 要缓缓地插入动要缓缓地插入动 作作 Back Propagatio n(误差反传误差反传 网络网络) P.Werbos(哈佛大学

22、哈佛大学) David umlhart(斯坦斯坦 福大学福大学)James MeClelland(斯斯 坦福大学坦福大学) 1974 19 85 语音识别，工业语音识别，工业 过程控制，过程控制， 贷款信用评贷款信用评 估，股票预估，股票预 测，自适应测，自适应 控制等控制等 需要大量输入需要大量输入-输输 出数据，训出数据，训 练时间长，练时间长， 易陷入局部易陷入局部 极小极小 多层前馈网络，采用多层前馈网络，采用 最小均方差学习最小均方差学习 方式，是目前应方式，是目前应 用最广泛的学习用最广泛的学习 网络网络 基础知识+续人工神经网络常用学习规则35 Self-organizing f

23、eature map(自组织自组织 特征映射网特征映射网 络络) Tuevo Konhonen (芬兰赫尔芬兰赫尔 辛基技术辛基技术 大学大学) 1980语音识别，机器语音识别，机器 人控制，工人控制，工 业过程控制，业过程控制， 图像压缩，图像压缩， 专家系统等专家系统等 模式类型数模式类型数 需预先知需预先知 道道 对输入样本自组织对输入样本自组织 聚类，可映射聚类，可映射 样本空间的分样本空间的分 布布 Hopfield网络网络John Hopfield (加州理工加州理工 学院学院) 1982求解求解TSP问题，问题， 线性规划，线性规划， 联想记忆和联想记忆和 用于辨识用于辨识 无学

24、习能力，无学习能力， 连接要对连接要对 称，权值称，权值 要预先给要预先给 定定 单层自联想网络，单层自联想网络， 可从有缺陷和可从有缺陷和 有噪声输入中有噪声输入中 恢复完整信息恢复完整信息 Boltzman machine(玻玻 尔兹曼机尔兹曼机) Cauchy machine( 柯西机柯西机) J.Hinton(多伦多伦 多大学多大学) T.Sejnowski( 霍尔金斯霍尔金斯 大学大学) 1985 19 86 图像、声纳和雷图像、声纳和雷 达等模式识达等模式识 别别 波尔兹曼机波尔兹曼机 训练时间训练时间 长，柯西长，柯西 机在某些机在某些 统计分布统计分布 下产生噪下产生噪 声声

25、采用随机学习算法采用随机学习算法 的网络，可训的网络，可训 练实现全局最练实现全局最 优优 Bidirectional Associative Memory(BA M,双向联想双向联想 记忆网记忆网) Bart Kosko(南南 加州大学加州大学) 1985 19 88 内容寻址的联想内容寻址的联想 记忆记忆 存储的密度存储的密度 低，数据低，数据 必须适应必须适应 编码编码 双向联想式单层网双向联想式单层网 络，具有学习络，具有学习 功能，简单易功能，简单易 学学 Counter Propagation (CPN,双向双向 传播网传播网) Robert Hecht- Nielsen 1986

26、神经网络计算机，神经网络计算机， 图像分析和图像分析和 统计分析统计分析 需要大量处需要大量处 理单元和理单元和 连接，需连接，需 要高度准要高度准 确确 一种在功能上作为一种在功能上作为 统计最优化和统计最优化和 概率密度函数概率密度函数 分析的网络分析的网络 基础知识+续人工神经网络常用学习规则36 Adaptive Resonanc e Theory(自 适应共振 理论ART) 有ART1、 ART2和 ART3 3种 类型 G.Carpenter and S Grossb erg(波 士顿大 学) 1976 1 9 9 0 模式识别领域， 擅长识别 复杂模式 或未知的 模式 受平移、旋

27、 转及 尺度 的影 响； 系统 比较 复杂， 难以 用硬 件实 现 可以对任意多和任 意复杂的二 维模式进行 自组织学习， ART1用于 二进制， ART2用于 连续信号 Brain State in a Box(盒中 脑BSB网 络) James Anders on（布 朗大学） 1977解释概念形成， 分类和知 识处理 只能作一次 性决 策， 无重 复性 共振 具有最小均方差的 单层自联想 网络，类似 于双向联想 记忆，可对 片段输入补 全 Neocognition(新 认知机) Fukushima K 福岛邦 彦(日 本广播 协会) 1978 1 9 8 4 手写字母识别需要大量加 工单

28、 元和 联系 多层结构化字符识 别网络，与 输入模式的 大小、平移 和旋转无关， 能识别复杂 字形 基础知识+续人工神经网络常用学习规则37 l图5-1 有导师学习神经网络模型图 5-2 无导师学习神经网络模型 期望输出 实际输出 学习机 输入 ANN 比较 实际输出 学习机 输入 ANN 自我比较 基础知识+续人工神经网络常用学习规则38 l1)有导师学习(Supervised Learning,SL)， 在学习过程中，网络根据实际输出与期望 输出的比较，进行联接权值的调整，将期 望输出称为导师信号，它是评价学习的标 准。这种学习模式采用纠错的规则，学习 方法要在给出输入模式X的同时在输出侧还 要给出与