数学建模神经网络算法

1、学习目标 拓宽视野 感受神经网络算法的应用背景 能够用神经网络算法解决一些简单问题 不探究详细的理论基础内容安排 人工神经网络简介 人工神经网络的基本功能 人工神经网络的发展历史 人工神经网络的生物学基础 M-P模型 前馈神经网络 单层感知器 多层感知器 BP算法 BP网络 应用案例（MATLAB计算）1. 人工神经网络简介 生物神经网络生物神经网络 人类的大脑大约有人类的大脑大约有1.41011个神经细胞，亦称为神经个神经细胞，亦称为神经元。元。 每个神经元有数以千计的通道同其它神经元广泛相互每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。连接，形成复杂的生物神经

2、网络。 人工神经网络人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经络进行抽象，并建立某种简化模型，就称为人工神经网络（网络（Artificial Neural Network，缩写，缩写 ANN）。）。 对人类大脑系统的一阶特性的一种描述。对人类大脑系统的一阶特性的一种描述。 （生理角度的模拟）（生理角度的模拟） 基本原理基本原理 存在一些输入和相应的输出，而对如何由输入得到输存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚出的机理并不清楚 把输入与输出之间的未知过程看成是一

3、个把输入与输出之间的未知过程看成是一个“网络网络”，通过不断地给这个网络输入和相应的输出来通过不断地给这个网络输入和相应的输出来“训练训练”这个网络，网络根据输入和输出不断地调节自己的各这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。节点之间的权值来满足输入和输出。 当训练结束后，给定一个输入，网络便会根据已调节当训练结束后，给定一个输入，网络便会根据已调节好的权值计算出相应的输出。好的权值计算出相应的输出。 严格定义严格定义ANN 最典型的定义由最典型的定义由Simpson在在1987年提出年提出 人工神经网络是一个非线性的有向图，图中含有可以人工神经网络是一个

4、非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。完整的或未知的输入找到模式。 ANN算法算法 根据人的认识过程而开发出的一种算法根据人的认识过程而开发出的一种算法2. 人工神经网络的基本功能 （1）联想记忆功能）联想记忆功能 由于神经网络具有分布由于神经网络具有分布存储信息和并行计算的存储信息和并行计算的性能，因此它具有对外性能，因此它具有对外界刺激信息和输入模式界刺激信息和输入模式进行联想记忆的能力。进行联想记忆的能力。 联想记忆有两种基本形联想记忆有两种基本形式式 自联想记忆自联想记忆 异联

5、想记忆异联想记忆 自联想记忆自联想记忆 网络中预先存储（记忆网络中预先存储（记忆)多种模式信息多种模式信息 当输入某个已存储模式的部分信息或带有噪声干扰的当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全信息时，网络能通过动态联想过程回忆起该模式的全部信息部信息 异联想记忆异联想记忆 网络中预先存储了多个模式对网络中预先存储了多个模式对 每一对模式均由两部分组成，当输入某个模式对的一每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分络也

6、能回忆起与其对应的另一部分 不完整模式的自联想不完整模式的自联想 神经网络通过预先存储信息和学习机制进行自适应训神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完练，可以从不完整的信息和噪声干扰中恢复原始的完整信息整信息 这一能力使其在图象复原、图像和语音处理、模式识这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值别、分类等方面具有巨大的潜在应用价值2. 人工神经网络的基本功能（续）输输 入入 样样 本本 神神 经经 网网 络络 输输 出出 样样 本本 自自 动动 提提 取取 非非 线线 性性 映映 射射 规规 则则（

7、2）非线性映射功能）非线性映射功能 非线性映射功能非线性映射功能 在客观世界中，许多系统的输入与输出之间存在复杂在客观世界中，许多系统的输入与输出之间存在复杂的非线性关系，对于这类系统，往往很难用传统的数的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。理方法建立其数学模型。 设计合理的神经网络，通过对系统输入输出样本对进设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性行自动学习，能够以任意精度逼近任意复杂的非线性映射。映射。 神经网络的这一优良性能使其可以作为多维非线性函神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模

8、型。该模型的表达是非解析的，输入数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动输出数据之间的映射规则由神经网络在学习阶段自动抽取并分布式存储在网络的所有连接中。抽取并分布式存储在网络的所有连接中。 具有非线性映射功能的神经网络应用十分广阔，几乎具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。涉及所有领域。2. 人工神经网络的基本功能（续）（3）分类与识别功能）分类与识别功能 传统分类能力传统分类能力 ANN 分类能力分类能力 分类与识别功能分类与识别功能 神经网络对外界输入样本具有很强的识别与分类能力。神经网络对外界输入样本具有很强的识

9、别与分类能力。 对输入样本的分类实际上是在样本空间找出符合分类对输入样本的分类实际上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。要求的分割区域，每个区域内的样本属于一类。 传统分类方法只适合解决同类相聚，异类分离的的识传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。别与分类问题。 但客观世界中许多事物（例如，不同的图象、声音、但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可的，相近的样本可能属于不同的类，而远离的样本可能同属一

10、类。能同属一类。 神经网络可以很好地解决对非线性曲面的逼近，因此神经网络可以很好地解决对非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。比传统的分类器具有更好的分类与识别能力。2. 人工神经网络的基本功能（续）（4）优化计算功能）优化计算功能 优化计算功能优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。合，使由该组合确定的目标函数达到最小值。 某些类型的神经网络可以把待求解问题的可变参数设某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数。计

11、为网络的状态，将目标函数设计为网络的能量函数。 神经网络经过动态演变过程达到稳定状态时对应的能神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。量函数最小，从而其稳定状态就是问题的最优解。 这种优化计算不需要对目标函数求导，其结果是网络这种优化计算不需要对目标函数求导，其结果是网络自动给出的。自动给出的。 问问 题题 解解 答答 知知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取 、 知知 识识 库库 神神 经经 网网 平平 行行 推推 理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变变 换换 求求 解解 的

12、的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构 成成2. 人工神经网络的基本功能（续）（5）知识处理功能）知识处理功能 知识处理功能知识处理功能 知识是人们从客观世界的大量信息以及自身的实践中知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。总结归纳出来的经验、规则和判据。 神经网络获得知识的途径与人类似，也是从对象的输神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。知识分布在网络的连接中予以存储。 神经网络的知识抽取

13、能力使其能够在没有任何先验知神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的并通过自组织过程将自身构建成适合于表达所发现的规律。规律。 另一方面，人的先验知识可以大大提高神经网络的知另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一识处理能力，两者相结合会使神经网络智能得到进一步提升。步提升。 神经网络的发展历程经过了神经网络的发展历程经过了4个阶段。个阶段。 （1） 启蒙期（启蒙期（1890-1969年）年） 189

14、0年，年，W.James发表专著发表专著心理学心理学，讨论了脑的结构和功能。，讨论了脑的结构和功能。 1943年，心理学家年，心理学家W.S.McCulloch和数学家和数学家W.Pitts提出了描述脑提出了描述脑神经细胞动作的数学模型，即神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。模型（第一个神经网络模型）。 1949年，心理学家年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。学习法则。 1958年，年，

15、E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（模型，即著名的感知机模型（Perceptron）。）。 1962年，年，Widrow和和Hoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即Adaline网网络，并提出了网络学习新知识的方法，即络，并提出了网络学习新知识的方法，即Widrow和和Hoff学习规则学习规则（即（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。3. 神经网络的发展历史3. 神经网络的发展历史（续） （2） 低潮期（低潮期（1969-1982） 受当时神经

16、网络理论研究水平的限制，以及冯受当时神经网络理论研究水平的限制，以及冯诺依曼诺依曼式计算机发展的冲击等因素的影响，神经网络的研究式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。陷入低谷。 在美、日等国有少数学者继续着神经网络模型和学习在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。算法的研究，提出了许多有意义的理论和方法。 例如，例如，1969年，年，S.Groisberg和和A.Carpentet提出了至今为止提出了至今为止最复杂的最复杂的ART网络，该网络可以对任意复杂的二维模式进行自网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大

17、规模并行处理。组织、自稳定和大规模并行处理。1972年，年，Kohonen提出了提出了自组织映射的自组织映射的SOM模型模型。3. 神经网络的发展历史（续） （3） 复兴期（复兴期（1982-1986） 1982年，物理学家年，物理学家Hoppield提出了提出了Hoppield神经网络神经网络模型，该模型通过引入能量函数，实现了问题优化求模型，该模型通过引入能量函数，实现了问题优化求解，解，1984年他用此模型成功地解决了旅行商路径优化年他用此模型成功地解决了旅行商路径优化问题问题(TSP)。 在在1986年，在年，在Rumelhart和和McCelland等出版等出版Parallel Di

18、stributed Processing一书，提出了一一书，提出了一种著名的多层神经网络模型，即种著名的多层神经网络模型，即BP网络。该网络是迄网络。该网络是迄今为止应用最普遍的神经网络。今为止应用最普遍的神经网络。3. 神经网络的发展历史（续） （4） 新连接机制时期（新连接机制时期（1986-现在）现在） 神经网络从理论走向应用领域，出现了神经网络芯片神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。和神经计算机。 神经网络主要应用领域有神经网络主要应用领域有 模式识别与图象处理（语音、指纹、故障检测和图象压缩等）模式识别与图象处理（语音、指纹、故障检测和图象压缩等） 控制与优化

19、控制与优化 预测与管理（市场预测、风险分析）预测与管理（市场预测、风险分析） 等等神经生理学和神经解剖学的研究结果表明，神经元神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最是脑组织的基本单元，是人脑信息处理系统的最小单元小单元。4. 人工神经网络的生物学基础1. 神经元及其联接；2. 神经元之间的联接强度决定信号传递的强弱；3. 神经元之间的联接强度是可以随训练改变的；4. 信号可以是起刺激作用的，也可以是起抑制作用的；5. 一个神经元接受的信号的累积效果决定该神经元的状态；6. 每个神经元可以有一个“阈值”4.1 生物神经元的信息处理机

20、理生物神经元的信息处理机理（1）信息的产生）信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。神经元间信息的产生、传递和处理是一种电化学活动。神经元状态神经元状态膜电位膜电位4.1 生物神经元的信息处理机理（续）生物神经元的信息处理机理（续）（2）信息的传递与接收）信息的传递与接收4.1 生物神经元的信息处理机理（续）生物神经元的信息处理机理（续）（3）信息的整合）信息的整合 空间整合空间整合 同一时刻产生的刺激所引起的膜电位变化，大致同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和等于各单独刺激引起的膜电位变化的代数和 时间整合时间整合 各输入脉冲抵

21、达神经元的时间先后不一样。总的各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积突触后膜电位为一段时间内的累积4.2 神经元的人工模型神经元的人工模型 神经元及其突触是神经网络的基本器件。神经元及其突触是神经网络的基本器件。 因此，模拟生物神经网络应首先模拟生物神经元因此，模拟生物神经网络应首先模拟生物神经元 人工神经元人工神经元(节点节点), 从三个方面进行模拟从三个方面进行模拟: 节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型) 节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构) 相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人

22、工神经网决定人工神经网络整体性能的三络整体性能的三大要素大要素 神经元的建模神经元的建模(1) (1) 每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2) (2) 神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6) (6) 神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3) (3) 神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞, , 主要取决于

23、突触延搁；主要取决于突触延搁；(5) (5) 忽略忽略时间整合作用；时间整合作用；模型的六点假设：模型的六点假设：假设1：多输入单输出 正如生物神经元正如生物神经元有许多激励输入有许多激励输入一样，人工神经一样，人工神经元也应该有许多元也应该有许多的输入信号的输入信号 图中，每个输入图中，每个输入的大小用确定数的大小用确定数值值x xi i表示，它们同表示，它们同时输入神经元时输入神经元j j，神经元的单输出神经元的单输出用用o oj j表示。表示。假设2：输入类型兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输

24、入更为重要。 图中，对神经元的每一个图中，对神经元的每一个输入都有一个加权系数输入都有一个加权系数w wijij，称为权重值，其正负模拟称为权重值，其正负模拟了生物神经元中突触的兴了生物神经元中突触的兴奋和抑制奋和抑制，其大小大小则代表了突触的不同连接强度。假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果 图中，表示组合输入信号的“总和值”，相应于生物神经元的膜电位。 神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。神经元的输出 图中，人工神经元的输出也同生

25、物神经元一样仅有一个 如，用oj表示神经元输出，则输出与输入之间的对应关系可用图中的某种非线性函数来表示。神经元模型示意图4.2.1 人工神经元的数学模型人工神经元的数学模型 人工神经元模拟生物神经元的一阶特性，具有生物神经元人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征的六大特征 一个人工神经元一般有多个输入和一个输出一个人工神经元一般有多个输入和一个输出 一个人工神经元有一个转移函数（激发函数），不同的转一个人工神经元有一个转移函数（激发函数），不同的转移函数对应了不同的网络，也决定了网络的用途移函数对应了不同的网络，也决定了网络的用途4.2.1 人工神经元的数学模型人工神经

26、元的数学模型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触连接系数或称权重值；的突触连接系数或称权重值； f ( )神经元转移函数。神经元转移函数。(4. 1) 为简单起见，将4.1上式中的突触时延取为单位时间，则式(4.1)可写为4.2式。 上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中 输入xi的下标i=1,2,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。 权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。 Tj代表假定(

27、3)中神经元的“阈值”； “输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：)()(jn1iiijjTtxwf1to(4. 2)n1iiijjtxwttne)()(4.3) netnetj j= =W Wj jT TX X W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(4.4)4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续） netnetj j(t) (t) 体现了神经元体现了神经元j j的空间整合

28、特性而未考虑时间整的空间整合特性而未考虑时间整合，当合，当netnetj j-T-Tj j00时，神经元才能被激活。时，神经元才能被激活。o oj j(t+1)(t+1)与与x xI I(t(t之间的单位时差代表所有神经元具有相同的、恒定的工作之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定节律，对应于假定(4)(4)中的中的“突触延搁突触延搁”；w wijij与时间无关与时间无关体现了假定体现了假定(6)(6)中神经元的中神经元的“非时变非时变”。 为简便起见，在后面用到式为简便起见，在后面用到式(2.3)(2.3)时，常将其中的时，常将其中的(t)(t)省略。省略。式式(

29、2.3)(2.3)还可表示为权重向量还可表示为权重向量W Wj j和输入向量和输入向量X X的点积的点积W WT TX X。其中其中W Wj j和和X X均为列向量，定义为均为列向量，定义为 Wj=(w1 w2 wn）T，X=(x1 x2 xn)T 如果令如果令x x0 0= =-1-1，w w0 0= =T Tj j，则有，则有- -T Tj j= =x x0 0w w0 0，因此净输入与阈值之，因此净输入与阈值之差可表达为差可表达为: :XWTjn0iiijjjjxwnetTtne(4.5) oj=f(netj)=f (W Wj jT TX X)(4.6)4.2.1 人工神经元的数学模型（

30、续）人工神经元的数学模型（续）综合以上各式，神经元模型可简化为：综合以上各式，神经元模型可简化为：人工神经元的转移函数人工神经元的转移函数l 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。l 神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。(1)阈值型转移函数 1 x0f(x)= (4.7) 0 x0 f (x) 1.0 x0人工神经元的转移函数人工神经元的转移函数单位阶跃函数，也称为硬限幅函数(2)非线性转移函数xe11f(x)xxxe1e11e12f(x) f

31、(x) 1.0 0.5x0 f (x) 1.0 0 x-1.0人工神经元的转移函数人工神经元的转移函数 非线性转移函数为实数域非线性转移函数为实数域R R到到0.10.1闭集的非减连续函数，闭集的非减连续函数，代表了状态连续型神经元模型。代表了状态连续型神经元模型。 非线性转移函数称为非线性转移函数称为sigmoid sigmoid ，简称，简称 S S型函数型函数 。 特点是函数本身及其导数都是连续的，因而在处理上十分特点是函数本身及其导数都是连续的，因而在处理上十分方便。方便。 S S型函数函数又分为单极性和双极性两种。型函数函数又分为单极性和双极性两种。(3)分段线性转移函数 0 x0f

32、(x)= cx 0 0 xxc (4.9) 1 xc x f (x) 1.0 x0 xc人工神经元的转移函数人工神经元的转移函数l神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性l也称为伪线性函数(4)概率型转移函数x/Te11P(1)温度参数温度参数人工神经元的转移函数人工神经元的转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为确定的，需用一个随机函数来描述输出状态为1 1或为或为0 0的概率。的概率。上式中，上式中，T T称为温度参数。由于采用该转移函数的神

33、经元输出状称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（态分布与热力学中的玻尔兹曼（BoltzmannBoltzmann）分布类似，因此这）分布类似，因此这种神经元模型也称为热力学模型。种神经元模型也称为热力学模型。4.2.2 神经网络模型神经网络模型 分多层，层数根据实际需求设定：输入层、隐含层、输出分多层，层数根据实际需求设定：输入层、隐含层、输出层层 层数越多越准确，计算时间越长层数越多越准确，计算时间越长 人工神经元人工神经元图中的每个节点图中的每个节点人工神经网络模型分类人工神经网络模型分类 按网络连接的拓扑结构分类按网络连接的拓扑结构分类 层次型结构层次

34、型结构 互连型网络结构互连型网络结构 按网络内部的信息流向分类按网络内部的信息流向分类 前馈型网络前馈型网络 反馈型网络反馈型网络（一）网络拓扑结构类型（一）网络拓扑结构类型 层次型结构层次型结构 将神经元按功能分成若干层，如输入层、中将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。间层（隐层）和输出层，各层顺序相连。 互连型网络结构互连型网络结构 网络中任意两个节点之间都可能存在连接路网络中任意两个节点之间都可能存在连接路径径. .层次型网络模型层次型网络模型 层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连。 输入

35、层输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层； 最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层输出层向外界输出信息处理结果。 层次型网络结构有3种典型的结合方式。 层次型模型层次型模型(1)(1)单纯型层次网络结构单纯型层次网络结构神经元分层排列，神经元分层排列，各层神经元接收前各层神经元接收前一层输入并输出到一层输入并输出到下一层；下一层；层内神经元自身以层内神经元自身以及神经元之间不存及神经元之间不存在连接通路。在连接通路。 层次型模型

36、层次型模型（2）输出层到输入层有连接）输出层到输入层有连接输入层神经元既输入层神经元既可接收输入，也可接收输入，也具有信息处理功具有信息处理功能能 层次型模型层次型模型（3）层内有连接层次型结构）层内有连接层次型结构同一层内神经元同一层内神经元有互连；有互连；特点是在同一层特点是在同一层内引入神经元间内引入神经元间的侧向作用，使的侧向作用，使得能同时激活的得能同时激活的神经元个数可控，神经元个数可控，以实现各层神经以实现各层神经元的自组织。元的自组织。 互联型网络结构互联型网络结构 网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中任意两个节点之间都可能存在连接路径，因此可以根据网络

37、中节点的互连程度将互连型网络结构细分为三种情况网络中节点的互连程度将互连型网络结构细分为三种情况：(1)(1)全互连型全互连型：网络中的每个节点均与所有其它节点连接网络中的每个节点均与所有其它节点连接 互联型网络结构互联型网络结构（2 2）局部互连型网络结构）局部互连型网络结构网络中的每个节点网络中的每个节点只与其邻近的节点只与其邻近的节点有有 连接连接（3 3）稀疏连接型：稀疏连接型：网络中的节点只与少数网络中的节点只与少数相距较远的节点相连相距较远的节点相连 说明：神经网络的分层结构说明：神经网络的分层结构 与激发函数一起决定了神经网络的不同与激发函数一起决定了神经网络的不同 还可分为还可

38、分为 单级网单级网 多级网多级网 反馈网反馈网 循环网循环网 等等简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层简单单级网简单单级网 W=W=（w wijij） 输出层的第输出层的第j j个神经元的网络输入记为个神经元的网络输入记为netnetj j： netnetj j=x=x1 1w w1j1j+x+x2 2w w2j2j+ +x+xn nw wnjnj 其中其中, 1 j m, 1 j m。取。取 NET=NET=（netnet1 1，netnet2 2，netnetm m） NET=XWNET=XW O=FO=F（NETNET）单级横

39、向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V单级横向反馈网单级横向反馈网 反馈权值矩阵反馈权值矩阵 ：V=V=（v vijij） 神经元的网络输入：神经元的网络输入：NET=XW+OVNET=XW+OV 网络输出：网络输出：O=FO=F（NETNET） 反馈网中可以引入时间参数反馈网中可以引入时间参数 神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化 NETNET（t+1t+1）=X=X（t t）W+OW+O（t t）V V O(t+1)=F(NET(t+1)O(t+1)=F(NET(t+1) O O（0 0）=0=0

40、多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn 层次划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。大者，层次较高。 输入层：被记作第输入层：被记作第0 0层。该层负责接收来自网络外部的层。该层负责接收来自网络外部的信息信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网 第第j j层：第层：第j-1j-1层的直接后继层（层的直接后继层（j0j0），它直接接受第），它直接接受第j-1j-1层层的输出。的输出

41、。 输出层：它是网络的最后一层，具有该网络的最大层号，负输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号层不直接接受外界的信号，也不直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网 约定约定 : : 输出层的层号为该网络的层数：输出层的层号为该网络的层数：n n层网络，或层网络，或n n级网络。级网络。 第第j-1j-1层到第层到第j j层的联接矩阵为第层

42、的联接矩阵为第j j层联接矩阵，输出层对应的矩阵叫层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用输出层联接矩阵。今后，在需要的时候，一般我们用W W（j j）表示第表示第j j层层矩阵矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多级网多级网多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多级网多级网 非线性激活函数 F(X)=kX+CF(X)=kX+C 每层的网络输出举例F F1 1(XW(XW(1)(1) )F F3 3(F(F2 2(F(

43、F1 1(XW(XW(1)(1)W)W(2)(2)W)W(3)(3) )循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn循环网循环网 将输出信号反馈到输入端将输出信号反馈到输入端 输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复” 符合大脑的符合大脑的短期记忆特征短期记忆特征看到的东西不是一下子就从脑海里消失的看到的东西不是一下子就从脑海里消失的 网络的稳定性网络的稳定性反馈信号会引起网络输出的不断变化反馈信号会引起网络输出的不断变化我们希望这种变化逐渐减小，并且最后能消失我们希望这种变化逐渐减小，并且最后能消失当变化最后消失时，网络达到了平衡

44、状态。如果这种变化不能消当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。失，则称该网络是不稳定的。（二）网络信息流向类型（二）网络信息流向类型 前馈型网络前馈型网络 前馈前馈:网络信息处理的方向是从输入层到各隐层再到网络信息处理的方向是从输入层到各隐层再到输出层逐层进行输出层逐层进行 反馈型网络反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入，同时又可以向外每个节点既可以从外界接收输入，同时又可以向外界输出。界输出。 （二）网络信息流向类型（二）网络信息流向类型（1）前馈型网络）前

45、馈型网络前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名 单纯前馈型（上图） 从信息处理能力看，网络中的节点可分为两种 一种是输入节点，只负责从外界引入信息后向前传递给第一隐层； 另一种是具有处理能力的节点，包括各隐层和输出层节点。 前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。 多层前馈网络可用一个有向无环路有向无环路的图表示输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层）当提到具有单隐

46、层的网络时，指的应是一个三层前馈网络 （二）网络信息流向类型（二）网络信息流向类型（2）反馈型网络）反馈型网络在反馈网络中所有在反馈网络中所有节点都具有信息处节点都具有信息处理功能，而且每个理功能，而且每个节点既可以从外界节点既可以从外界接收输入，同时又接收输入，同时又可以向外界输出。可以向外界输出。 单纯反馈型网络单纯反馈型网络 单层全互连结构网络：单层全互连结构网络：是一种典型的反馈型网络，可以用上图所示的完全的无向图表示。 注意 上面介绍的分类方法、结构形式和信息流向只是对目前常见的网络结构的概括和抽象。 实际应用的神经网络可能同时兼有其中一种或几种形式。例如，从连接形式看，层次网络中可

47、能出现局部的互连；从信息流向看，前馈网络中可能出现局部反馈。4.2.3 神经网络学习神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是神经网络的学习或训练，其本质是可变权值的动态调整可变权值的动态调整。 神经网络的学习方式是决定神经网络信息处理性能的第三大要素（神经网络研究的重点）。 改变权值的规则称为学习规则或学习算法学习规则或学习算法（亦称训练规则或训练算法）。 在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“

48、智能”特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。4.2.3 神经网络学习：分类神经网络学习：分类 有导师学习有导师学习(有监督学习有监督学习) 这种学习模式采用的是纠错规则。这种学习模式采用的是纠错规则。 在学习训练过程中需要不断给网络成对提供一个输入在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为模式和一个期望网络正确输出的模式，称为“教师信教师信号号”。 将神经网络的实际输出同期望输出进行比较，当网络将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和的输出与期望的教师信号不符时，根据差错的方向和大小

49、按一定的规则调整权值。大小按一定的规则调整权值。 当网络对于各种给定的输入均能产生所期望的输出时，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下即认为网络已经在导师的训练下“学会学会”了训练数据了训练数据集中包含的知识和规则，可以用来进行工作了。集中包含的知识和规则，可以用来进行工作了。 无导师学习无导师学习(无监督学习无监督学习) 学习过程中，需要不断给网络提供动态输入信息，网学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络中发

50、现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自的功能和输入信息调整权值，这个过程称为网络的自组织组织 其结果是使网络能对属于同一类的模式进行自动分类。其结果是使网络能对属于同一类的模式进行自动分类。 在这种学习模式中，网络的权值调整不取决于外来教在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。网络的内部。 死记式学习死记式学习 是指网络事先设计成能记忆特别的例子，以后当给定是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回

51、忆起来。有关该例子的输入信息时，例子便被回忆起来。 死记式学习中网络的权值一旦设计好了就不再变动，死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。因此其学习是一次性的，而不是一个训练过程。学习的过程（权值调整的一般情况学习的过程（权值调整的一般情况 ） w0 j -1 w1 j x1 X wij j oj xj xn wn j Wj r (Wj , X ，dj) 学 习 信 号 X 生 成 器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd ,t,trt1tjjjjXXWWW4.2.3 神经网络学习神经网络学习常用学习

52、规则一览表 权值调整 学习规则 向量式 元素式 权 值 初始化 学习方式 转移函数 Hebbian XXWW)(Tjjf i)(xfwTjijXW 0 无导师 任意 Perceptron XXWW)(Tjjjsgn-d i)(xsgn-dwTjjijXW 任意 有导师 二进制 Delta XW)()(jjjjnetf-od ijjjijxnetf-odw)()( 任意 有导师 连续 W idrow-Hoff XXWW)(Tjjj-d iTjjijx-dw)(XW 任意 有导师 任意 相关 XWjjd ijijxdw 0 有导师 任意 W inner-take-all )(mmWXW )(iim

53、mwx W 随机、归一化 无导师 连续 Outstar )(jjWdW )(kjkkjwdw 0 有导师 连续 5. M-P模型M-PM-P（McCullochMcCullochPittsPitts）模型，也称为处理单元（）模型，也称为处理单元（PEPE） x2 w2 fo=f（net）xn wnnet=XWx1 w1输入：输入： X=X=（x x1 1，x x2 2，x xn n）联接权：联接权： W=W=（w w1 1，w w2 2，w wn n）T T网络输入：网络输入： net=xnet=xi iw wi i= =XW 输出：输出： o=fo=f（netnet）6. 前馈神经网络 19

54、58年，美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络，称为Perceptron，即感知器。 感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递的层次型神经网络。 感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。6.1 单层感知器单层感知器单层感知器的结构与功能都非常简单，以至于在解决实际问题时很少采用，但由于它在神经网络研究中具有重要意义，是研究其它网络的基础，而且较易学习和理解，适合于作为学习神经网络的起点。单层感知器是指只有一层处理单元的感知器，如果包括输入层

55、在内，应为两层。图中输入层也称为感知层，有n个神经元节点，这些节点只负责引入外部信息，自身无信息处理能力，每个节点接收一个输入信号，n个输入信号构成输入列向量X。输出层也称为处理层，有m个神经元节点，每个节点均具有信息处理能力，m个节点向外部输出处理信息，构成输出列向量O。两层之间的连接权值用权值列向量Wj表示，m个权向量构成单层感知器的权值矩阵W。感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn单层感知器单层感知器l 最早也是最简单的一种神最早也是最简单的一种神经网络，它的神经元激发函经网络，它的神经元激发函数为阶跃函数，数为阶跃函数，l 主要用于分类主要用于

56、分类感知器神经元感知器神经元j=1,2, ,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W感知器模型感知器模型净输入净输入：输出输出：n1iiijjxwnet)()()(XWTjn0iiijjjjsgnxwsgnTnetsgno感知器模型感知器模型 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(1)(1)设输入向量设输入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出输出：则由方程则由方程 wijx1+w2jx2-Tj=0 确定了二维平面上的一条分界线确定了二维平面

57、上的一条分界线ojx1-1x2感知器的功能感知器的功能（1）输入是二维w1j x1+w2j x2 Tj = 0 w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c x1 * * * * O * * O * * O O * O x2 * * O O O O感知器的功能（二维）0TjXW0TjXW x1 * * * * O * * O * * O O * O x2 * * O O O O0TjXW0TjXW0TjXW0TjXW x1 * * * * O * * O * * O O

58、* O x2 * * O O O O感知器的功能感知器的功能l线上方的样本用*表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为-1。l显然，由感知器权值和阈值确定的直线方程规定了分界平面在样本空间的位置，从而也确定了如何将输入样本分为两类。l假如分界平面的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界平面也会随之改变，因此总可以将其调整到正确分类的位置。(3) (3) 设输入向量设输入向量X=(x1，x2,，xn)T则由方程则由方程 wijx1+w2jx2+wnj Tj=0 确定

59、了确定了n n维空间上的一个分界平面维空间上的一个分界平面( (超平面），超平面），该平面可以将输入样本分为两类该平面可以将输入样本分为两类输出输出：wijx1+w2jx2+wnj Tj=0 感知器的功能感知器的功能一个最简单的单计算节点感知器具有分类一个最简单的单计算节点感知器具有分类功能。功能。其分类原理是将分类知识存储于感知器的其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定权向量（包含了阈值）中，由权向量确定的分类判决界面将输入模式分为两类。的分类判决界面将输入模式分为两类。感知器的功能感知器的功能例一 用感知器实现逻辑“与”功能x1x2y00001010011

60、1逻辑逻辑“与与”真值真值表表从真值表中可以看出，4个样本的输出有两种情况，一种使输出为0，另一种使输出为1，因此属于分类问题。例一例一 用感知器实现逻辑用感知器实现逻辑“与与”功功能能感知器结构和训练结果感知器结构和训练结果 x1 0.5 0.5 y x2 0.75 -1wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0用单计算节点感知器实现，用感知器学习规则进行训练，得到的连接权值如右图例二 用感知器实现逻辑“或”功能x1x2y000011101111逻辑逻辑“或或”真值表真值表例二 用感知器实现逻辑“或”功能感知器结构感知器结构 x1 1 1 y x2 0.5 -1wix