神经网络 前向网络课件

1、 太原科技大学电子信息工程学院 智 能 控 制 INTELLIGENT CONTROL 孙志毅 电话邮箱：脑 神 经 系 统枕叶-视觉区颞叶-听觉区中央后回-躯体感觉中央前回-运动额叶、顶叶、颞叶- 信息综合、设计、推理等脑神经系统特征：1）并行处理-同样机能在大脑皮层不同区域大量神经细胞并行和串行处理；2）分布处理-机能的特殊组成部分在许多特殊地点进行处理；3）层次结构-同层细胞相互作用，不同层细胞以多种形式互联；4）不同功能分区的层次组织结构存在差别。神经元的结构细胞体-由细胞核、细胞质和细胞膜组成；Nuclus-细胞核。Axon-轴突。神经纤维，由于传出神经冲

2、动；Synapse-突触。细胞与细胞之间通过突触和树突相互连接（每个细胞103-104）；Dendrite-树突。接受来之四面八方传入的神经冲动；膜电位-细胞膜内外有电位差（约20-100mV），外正内负；结构可塑性-细胞之间的连接是柔性的（连接强度可变）神经元的功能1、时空整合功能-不同时间通过同一突触传入的神经冲动具有时间整合功 能，同一时间 通过不同突触传入的神经冲动具有空间整合功能；2、兴奋与抑制-传入的冲动经时空整合结果使膜电位升高，超过兴奋阈（40mV）值，细胞进入兴奋态，否则细胞处于抑制态；3、脉冲与电位转换-突触界面将电脉冲离散信号转变为连续变化的电位信号；4、神经纤维传导速度

3、-沿着神经纤维信号传导速度0150m/s5、突触延时和不应期-在相邻两次冲动之间有一个间隔，及延时，该间隔为不应期；6、学习、遗忘和疲劳-由于可塑性，细胞具有学习、遗忘和疲劳（饱和效应）； *神经元不是简单的逻辑器件，而是超级微型生物信息处理机，对其结构有待进一步的了解。神经网络的特点 自适应性-改变自身，适应环境，适应环境变化 自学习性-经过训练，改变连接，产生期望输出 自组织性-通过自组织，实现自适应 强容错性-同一信息存储在不同的神经元，同一神经元存储不同的信息 巨并行性-大量神经元同时工作，处理信息 联想记忆-可对相关信息联想记忆人工神经元模型 三个要素：一组连接权； 一个求和单元；一

4、个激活函数。 j 表示任意一个神经元； b 表示神经元的阈值；常见的几种激活函数形式几种常用的激活函数1、线性：2、伪线性：3、符号：4、S 型：神经网络及分类1、前馈型网络 各神经元仅接受前一层神经元的输出作为输入，并输出给下一层。输入层不是计算单元 。 主要用于模式识别和函数逼近。2、反馈型网络 每个神经元都是计算单元， 接受包括自身输出和其他单元的输出作为自己的输入，并向外界输出 。 主要用于优化计算。前向神经网络1.线性阈值单元-MP适当选取权值，可以实现一个或门的功能实现真值表的要求: x10011x20101F0111 右图说明，对于四个模式，或门将其分为两类，及直线上为一类，直线

5、下为另一类，该直线的方程为： 取-McCulloch 和Pitts 提出前向神经网络MP神经元不可实现异或门x10011x20101F0110 不可能找到一条直线实现要求的分类。如下图。要想在平面内将这四种模式分为两类，需要用二次曲线，称为非线性可分性 。前向神经网络2、感知机-Perceptron由F.Rosenblatt 1957年提出感知机结构1、采用线性阈值单元；2、仅输出层权值可调。学习算法1、随机给定初始权值w；2、输入样本X和对应的期望输出D；3、计算实际输出Y；4、修正权值W5、转到2，直到W对一切样本均稳定不变为止。前向神经网络异或函数的一种分类方法 属I类 属II类 结论：

6、一个线性不可分问题，可以影射到一个更高维空间，实现线性可分。多层前向网络多层前向网络多层前向网络的函数逼近一个三层的前向网络可以表示为：当为非常量连续单调函数时，可以逼近任意非线性函数。上述结果说明： 只含有一个隐层的前馈网络是一种通用函数逼近器，为逼近一个非线性函数，一个隐层是足够的，但并不意味着从网络结构、学习速度等方面来看一个隐层是最好的。神经网络学习学习方法分类：1、有导师学习：给网络提供一组输入和相应的期望输出，网络输出与期望输出存在误差时修正网络权值；2、无导师学习：只给网络提供输入信息，网络内部结构和根据学习规则，更新权值，确定输出；3、灌输式学习：先将网络设计成能记忆特别的例子

7、，当以后给定有关例子的的输入信息时，该例子便被回忆起来。神经网络学习1、Hebb 学习规则神经元 I 和神经元 J 同时处于兴奋状态时，两者之间的连接应该加强。 Hebb假设：当细胞I的轴突到细胞J 的距离近到足够激励它，且反复或持续的激励J，那么这两个、或一个细胞会发生某种增长过程或代谢反应，从而增加I 对J 的刺激效果。-The Organization of Behavior，1949（ - 学习效率）神经网络学习Hebb 学习例4输入单神经元网络，1、 当 f 为符号函数时，即f=sgn（）神经网络学习2、当f 为 s型函数时，即 神经网络学习2、Perceptron学习规则Frank

8、 Rosenblatt，1958， 定义了具有单层计算单元的神经网络Perceptron，称为感知器网络。为输入向量为输出向量为权矩阵为期望输出定义误差前向神经网络-BP网络BP 网络是前向网络；采用S 型激活函数；输入层不是真正的神经元；输入/输出层神经元数由问题决定；隐层数和各隐层的神经元数可选择。反传算法（BackPropagation Algorithm ） m-输入层神经元数；n-隐层神经元数；l-输出层神经元数反传算法（BackPropagation Algorithm ）假设：输入为m维向量隐层为n个神经元输出层为L个神经元训练样本对为P个其中：定义神经元k输出误差：取性能指标：

9、对所有训练样本：反传算法（BackPropagation Algorithm）分别为偏置权和偏置值1、随机给定网络权值2、前向计算 3、计算输出误差输入层隐 层输出层（权值的修正可以看作一个优化问题） 式中：4、反向计算（采用梯度下降法），权值修正的公式为：反传算法（BackPropagation Algorithm）输入层-隐层的权值修正隐层-输出层权值修正反传算法（BackPropagation Algorithm） 反向传播算法的计算过程反传算法（BackPropagation Algorithm）BP 算法训练网络时有两种方式：方式1、每输入一个样本，计算一次输出误差，随即修正一权值；

10、方式2、全部样本依次输入后计算总的平均误差。BP算法步骤：1、初始化，选择合理的网络结构，置权值、阈值、步长；2、对每个输入样本计算 1) 前向计算，计算网络的输出； 2）计算输出误差e； 3）逐层反向修正权值。3、n=n+1，输入新样本，返回（2），直到 J 满足要求。 *（训练时各周期输入样本要重新随机排序）反传算法（BackPropagation Algorithm）BP网络应用举例由该函数产生的训练样本：用网络逼近非线性函数：定义网络输出误差：随机产生网络初始值：选择神经网络：选择激活函数：反传算法（BackPropagation Algorithm）1、前向计算-计算网络输出 任意选

11、取一个样本：2、反向计算-修正网络权值反传算法（BackPropagation Algorithm）反传算法（BackPropagation Algorithm）前向计算反传算法（BackPropagation Algorithm）反传算法（BackPropagation Algorithm）BP算法存在的问题：收敛速度慢，一般需要数千次以上的迭代次数；存在局部极小问题，即有误差，但继续迭代误差不再减小。BP算法改进措施：收敛速度慢，一般需要数千次以上的迭代次数；存在局部极小问题，即有误差，但继续迭代误差不再减小。1、增加动量项 其意义是，如果上一步权值的修正量较大，本次修正量也要较大。BP算

12、法改进措施2）合理选择迭代步长3) 合理选择Sigmoid 函数 大，收敛快，但容易震荡，一般 一般反对称函数比不对称函数要好。 BP算法改进措施4）各权值和阈值的初始值应选均匀分布的小数。 建议值： 之间， 也有建议： 之间。 其中， 为所连接单元的输入端的个数。5）网络中各神经元的学习速度（步长）应差别不大，一般可使输出单元的值大一些，隐层单元的小一些；输出单元较多时 小些，反之大一些。6）每一个周期的训练样本输入顺序要随机排序。学习理论与网络结构选择1、概念环境：学习的对象。可向学习机提供一组来自概率分布P(x) 的样本向量 x； 教师：包含有关环境知识，可对每个输入根据未知条件分布P(

13、d/x) 给出 相应的响应，即期望输出d，x与d之间由未知函数关系d=g（x）描述。学习机：可以实现一组输入/输出映射。对神经网络而言就是算法和网络。学习：在一组给定的函数族（固定结构的网络）中选择一个特定的F(x,w)，使 得 输出y在某种统计意义上最佳逼近应有的响应d。这个选择基于一组N个独立同分布的训练样本（xi，di）。学习理论与网络结构选择2、学习机应有的功能 1）对学习的内容和结果（训练样本）有一个合适 的表示； 2）能判断自身内部决策的正确与否； 3）当输出有误差时，能判断误差是由哪一部分引起； 4）能对引起误差哪一部分进行修正。学习理论与网络结构选择3、对环境和教师的要求 1）

14、给定的学习样本中应包含了足够的环境信息，使得学习机能够学到环境内在的规律；研究这个问题需要统计学知识，对于大多数实际问题，训练样本趋于无穷多时，通过样本学到的权值参数在概率上收敛于真正要求的权值。 2）应有足够的训练样本。在训练样本有限时，多少样本才能满足给定误差要求，与问题的复杂性和时间复杂性有关。学习理论与网络结构选择4、推广能力问题 即经过学习，训练样本点误差满足要求后，未经训练的样本点的误差大小反映了网络的推广能力。也称为泛化能力或一般化能力问题。也即，网络通过学习，学到隐含在样本中的有关环境本身的内在规律性，从而对未出现的样本也能给出正确反映的能力。推广能力和下列问题有关：网络结构。

15、即，隐层数、隐层中神经元数；训练样本。样本数量和质量（反映环境规律）；结构和样本的关系。样本一定时，如何选择结构（许多实际问题很难获得足够的样本）。学习理论与网络结构选择 神经网络的泛化a）推广能力好 b）推广能力差过拟合径向基函数（RBF）网络RBF-Radial Basis Function Network1、RBF是前向网络2、隐层神经元常采用高斯函 数G3、输出层采用线性或S型函数4、输入层-隐层权值不可调，一般取 15、输入层-隐层为非线性映射6、隐层-输出层为线性映射高斯函数-中心-输入向量-方差径向基函数学习算法 假设输入P为向量，隐层N个神经元（基函数），输出层L个神经元。期望输出为：网络实际输出：误差为：性能指标为：径向基函数学习算法1、前向计算2、反向计算径向基函数学习算法-最小二乘法例 RBF网络实现异或门X1X2X3X4x10011x20101F0110异或门真值