智能控制基础：4神经网络理论基础

神经网络控制神经网络控制

5.1神经网络概述

5.2人工神经网络的基本概念

5.3前馈网络

5.4反馈网络

5.5神经网络控制神经网络概述人工神经网络的定义Hecht—Nielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PE—ProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。神经网络概述人工神经网络的定义强调点并行、分布处理结构；一个处理单元的输出可以被任意分枝，且大小不变；输出信号可以是任意的数学模型；处理单元完全的局部操作。神经网络概述人工神经网络的定义Simpson（1987年）美国国防高级研究计划局简单描述人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。

神经网络的基本属性(1)非线性：人脑智慧的非线性(2)非局域性：神经元相互作用(3)非定常性：自适应、自组织(4)非凸性：系统演变多样性神经网络概述

神经网络与计算机相比的特点(1)以大规模模拟并行处理为主(2)具有较强的鲁棒性和容错性(3)具有较强的自学习能力(4)是一个大规模自适应非线性动力学系统，具有集体运算的能力神经网络概述人工神经网络的特征结构特征-------并行处理、分布式存储、容错性。神经网络是由大量简单处理元件连接组成的高度并行的非线性系统，具有大规模并行处理特征。虽然每个处理单元的功能十分简单，但大量简单处理单元的并行活动使网络呈现出丰富的功能。结构上的并行性使神经网络的信息存储必然采取分布式方式，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。这两个特点使神经网络表现出良好的容错性。当部分神经元损坏时不对系统整体性能造成影响。当输出模糊、残缺或变形时，神经网络通过联想恢复完整的记忆。

神经网络概述神经网络概述人工神经网络的特征能力特征-------自学习、自组织、自适应自适应性包含自学习与自组织两层含义：自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经能过自动调整网络参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐建立起神经网络。神经网络概述人工神经网络的功能联想记忆由于神经网络具有分布存储信息和并行处理信息的特点，因此它具有对外界刺激信息和输入模式进行联想记忆的能力。这种能力通过神经元之间的协同结构以及信息处理的集体行为而实现。神经网络概述人工神经网络的功能非线性映射设计合理的神经网络通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性映射。神经网络概述人工神经网络功能分类与识别对输入样本的分类是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。神经网络概述人工神经网络功能优化计算优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小。可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数，从而稳定状态就是问题的最优解。神经网络概述人工神经网络功能知识处理神经网络从对象的输入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中予以存储。神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的规律。

神经网络在控制系统中的作用(1)在基于模型的各种控制结构中充当对象的模型(2)用作控制器(3)在控制系统中起优化计算的作用神经网络概述

神经网络在控制系统中的作用神经网络逼近非线性函数的能力为自动控制理论发展提供了生机从控制角度，对神经网络的要求更注重其实时学习训练能力和网络结构的简单性神经网络概述生物神经元结构人脑大约由1012个神经元组成，神经元互相连接成神经网络神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干主要由细胞体、树突、轴突和突触组成5.2人工神经网络的基本概念——生物神经元生物神经元细胞体：由细胞核、细胞质和细胞膜等组成。树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经冲动。轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经冲动。相当于神经元的输出端。突触：神经元间的连接接口，每个神经元约有1万～10万个突触。神经元通过其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的可塑性。细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，此时，细胞膜内外有电位差，称膜电位。电位膜内为正，膜外为负。生物神经元突触的信息处理生物神经元传递信息的过程为多输入、单输出；神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；突触有两种类型，兴奋性突触和抑制性突触;当神经元脉冲信号在轴突的末端触及突触前膜时，突触前膜将向突触间隙释放神经传递的化学物质（递质），经突触间隙的液体扩散，在突触后膜与受体相结合。据此改变后膜的离子通透性，从而使后膜电位发生变化。例如，当前膜释放的兴奋性递质使突触后膜的电位超过了某个阈值，后一个神经元有神经脉冲输出，从而将前一个神经元的信息传递给了后一个神经元。生物神经元信息传递功能与特点具有时空整合能力同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。不可逆性——脉冲只从突触前传到突触后，不逆向传递生物神经元信息传递功能与特点神经纤维传导的速度——脉冲沿神经纤维传递的速度，在1—150m／s之间信息传递时延和不应期——一般为0.3～lms可塑性——突触传递信息的强度是可变的，即具有学习功能存在学习、遗忘或疲劳（饱和）效应——对应突触传递作用增强、减弱和饱和5.2人工神经网络的基本概念——人工神经元模型神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元（节点）从三个方面进行模拟:节点本身的信息处理能力（数学模型）节点与节点之间连接（拓扑结构）相互连接的强度（通过学习来调整）决定人工神经网络整体性能的三大要素人工神经元模型人工神经元的建模模型的六点假设每个神经元都是一个多输入单输出的信息处理单元；神经元输入分兴奋性输入和抑制性输入两种类型；神经元具有空间整合特性和阈值特性；神经元输入与输出间有固定的时滞；忽略时间整合作用和不应期；神经元本身非时变，即其突触时延和突触强度均为常数。1943年心理学家McCulloch数学家W.Pitts在分析总结神经元基本特性的基础上提出M-P模型，经过不断改进形成广泛应用的神经元模型。人工神经元模型M-P模型图解人工神经元模型M-P模型图解正如生物神经元有许多激励输入一样，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。人工神经元模型M-P模型图解生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。人工神经元模型M-P模型图解作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。人工神经元模型M-P模型图解人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。人工神经元模型人工神经元数学模型θj——神经元j的阈值；

wij——神经元i到j的突触连接系数或权重值；

f()——神经元激活函数（活化函数、转移函数）。

M

)(isf

å

jq

人工神经元模型人工神经元数学模型设

M

)(isf

å

jq

人工神经元模型人工神经元数学模型激活函数线性函数xoof(x)=x神经元的各种不同模型的主要区别在于采用了不同的激活函数，从而使神经元具有不同的信息处理特性。激活函数反映了神经元输出与其激活状态之间的关系。人工神经元模型人工神经元数学模型激活函数饱和线性函数

1 ifx≥1/kf(x)=k*x if|x|<1/k -1 ifx≤-1/k1-1

1/k

-1/k

x

o

人工神经元模型人工神经元数学模型激活函数阈值函数

βifx≥kf(x)= -γ ifx<kβ

-γkox0人工神经元模型人工神经元数学模型激活函数S形函数人工神经元模型人工神经元数学模型激活函数Matlab中的激活函数神经元的十个激活函数及导数5.2人工神经网络的基本概念——人工神经网络分类按性能连续型、离散型确定型、随机型（不是基于某种确定性算法调整权值，而是按某种概率分布进行修改；不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态的转移）静态（网络的输出只依赖于当前的输入）、动态（网络的输出不仅依赖于当前的输入，同时依赖于前面的输入输出）人工神经网络分类按逼近特性全局逼近——是在整个输入空间上逼近，如BP网络局部逼近——是在输入空间中某条状态轨迹附近的逼近，例如CMAC、B样条、RBF人工神经网络分类按连接方式：前馈（前向）型、反馈型、自组织按学习方式有导师学习（监督学习）无导师学习（无监督学习）再励学习（强化学习）5.2人工神经网络的基本概念——神经网络学习方法神经网络学习学习方式有导师学习无导师学习再励学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。人工神经网络学习学习方式有导师学习（监督学习）在学习过程中，网络根据实际输出与期望输出的比较，进行联接权系数的调整，将期望输出称导师信号是评价学习的标准。期望输出实际输出学习机输入NN比较人工神经网络学习学习方式无导师学习（监督学习）无导师信号提供给网络，网络能根据其特有的结构和学习规则，进行联接权系数的调整，此时，网络的学习评价标准隐含于其内部。实际输出学习机输入NN自我比较人工神经网络学习学习方式再励学习（强化学习）把学习看为试探评价过程，学习机选择一动作作用于环境，环境的状态改变，并产生再励信号反馈至学习机，学习机依据再励信号与环境当前的状态，再选择下一动作作用于环境，选择的原则是使受到奖励的可能性增大。状态输入

NN1

NN2学习机输出---动作环境人工神经网络学习学习方法Hebb学习规则两个神经元同时处于兴奋状态或同时处理抑制状态时，它们之间的连接强度将得到加强，当一个神经元兴奋而另一个抑制时，它们之间的连接强度就应该减弱。这一论述的数学描述被称为Hebb学习规则Hebb学习规则只根据神经元连接间的激活水平改变权值，因此这种方法又称为相关学习或并联学习。人工神经网络学习学习方法Hebb学习规则权向量的调节方法：上式定义的Hebb学习规则是一种无导师的学习方法。上式表明，权值调整量与输入输出的乘积成正比，显然经常出现的模式将对权向量有较大的影响。在这种情况下，Hebb学习规则需预先定置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。人工神经网络学习学习方法δ学习规则δ学习规则实现了误差准则函数E中的梯度下降，因此使误差函数达到最小值。BP网络的学习算法称为BP算法，是在δ规则基础上发展起来的，可在多层网络上有效地学习。误差准则函数误差E是权向量Wj的函数，欲使误差E最小，Wj应与误差的负梯度成正比人工神经网络学习学习方法概率式学习从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率主要取决于在此状态下的能量，能量越低，概率越大。同时，此概率还取决于温度参数T。T越大，不同状态出现概率的差异便越小，较容易跳出能量的局部极小点而到全局的极小点；T越小时，情形正相反。概率式学习的典型代表是Boltzmann机学习规则。Pij表示网络受到学习样本的约束且系统达到平衡状态时第i个和第j个神经元同时为1的概率；pij’表示系统为自由运转状态且达到平衡状态时第i个和第j个神经元同时为1的概率。5.3前馈网络——感知器人的视觉是重要的感觉器官，人通过视觉接受的信息占全部信息量的80~85%。感知器是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。感知器分单层与多层，是具有学习能力的神经网络。感知器单层感知器单层感知器是指只有一层处理单元的感知器，如果包括输入层，应为2层感知器单层感知器单神经元感知器单神经元感知器是具有单个处理单元的神经网络，实质上是一个M-P神经元模型，激活函数f(x)是单极性阈值函数或者符号函数。感知器的输出为：感知器单层感知器单神经元感知器功能分析（1）设输入向量U=(u1,u2)T，则输出为则由方程w1ju1+w2ju2-θj=0

确定了二维平面上的一条分界线。感知器单层感知器单神经元感知器功能分析（2）设输入向量U=(u1,u2,u3)T，则输出为则由方程w1ju1+w2ju2+w3j

u3–θj=0确定了三维空间上的一个分界平面感知器单层感知器单神经元感知器功能分析（3）设输入向量U=(u1,u2,…un)T，则输出为则由方程w1ju1+w2ju2+…+wnjun–θj=0确定了n维空间上的一个分界超平面一个最简单的单神经元感知器具有分类功能，其原理是将分类知识存储于感知器的权向量（包含阈值）中，由权向量确定的分类判决界面将模式分为两类。感知器单层感知器的学习算法构建感知器与感知器学习算法(1)对各权值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m（m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对{Up,dp}，其中Up=(-1,u1p,u2p,┄,unp)，dp为期望的输出向量（导师信号），上标p代表样本对的模式序号，设样本集中的样本总数为L，则p=1,2,┄,L；(3)计算各节点的实际输出(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+η[djp-yjp(t)]Up,j=1,2,┄,m,

其中η为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1；(5)返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。感知器单神经元感知器用于两类模式分类时相当于在高维样本空间中，用一个超平面将两类样本分开。已证明若输入的两类模式是线性可分集合（指存在一个超平面能将其分开），则算法一定收敛。局限性：若输入模式为线性不可分集合，感知器的学习算法不收敛，不能进行正确分类感知器线性可分集合感知器线性可分集合感知器线性可分集合（2）三维空间上的两类模式，见表。感知器线性可分集合（2）三维空间上的两类模式，见表。可引伸到n>3维空间上的线性可分集合，一定可找到一超平面，将输入模式分为两类。由n输入/单输出的单层感知器实现。感知器线性不可分集合二维平面上的两类模式——异或（XOR）问题，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不可分集合，见图。可见：单层感知器不能解决异或问题。5.3前馈网络——BP网络BP网络模型u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐含层和输出层节点组成，隐含层可一层，也可多层（图中是单隐含层），前层至后层节点通过权连接。BP神经网络5.3前馈网络——BP网络多层前馈网络模型权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前馈神经网络，其神经元的激活函数通常是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}5.3前馈网络——BP网络BP神经网络的特点是一种多层网络，包括输入层、隐含层和输出层层与层之间采用全互连方式，同一层神经元之间不连接；神经元激活函数经常选用S函数；层与层的连接是单向的，信息的传播是双向的。5.3前馈网络——BP网络BP网络主要用于下述方面函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类；数据压缩：减少输出矢量维数以便于传输或存储构建BP神经网络（应用Matlab）5.3前馈网络——BP网络BP学习算法已知网络的输入/输出样本，即导师信号。BP学习算法由正向传播和反向传播组成：正向传播是输入信号从输入层经隐含层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播是将误差(样本输出与网络输出之差）按原连接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。正向传播反向传播BP神经网络BP算法过程演示5.3前馈网络——BP网络算法步骤5.3前馈网络——BP网络算法步骤5.3前馈网络——BP网络算法步骤5.3前馈网络——BP网络算法步骤5.3前馈网络——BP网络多层前馈网络与BP学习算法5.3前馈网络——BP网络算法流程初始化加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样本训练样本终止？迭代终止？NoNoyy5.3前馈网络——BP网络BP网络的能力非线性映射能力泛化能力容错能力多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。多层前馈网络与BP学习算法BP算法的局限性BP网络的误差是各层权值和输入样本对的函数。误差函数的可调整参数的个数nw等于各层权值数加上阈值数。误差E是nw+1维空间中一个形状极为复杂的曲面，该曲面上的每个点的“高度”对应于一个误差值，每个点的坐标向量对应着nw个权值。曲面的分布特点--------算法的局限性(1)存在平坦区域--------误差下降缓慢，影响收敛速度(2)存在多个极小点--------训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。5.3前馈网络——BP网络BP算法的内在缺陷易形成局部极小而得不到全局最优；训练次数多使得学习效率低，收敛速度慢；隐含层节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。多层前馈网络与BP学习算法BP算法的改进方法增加动量项原因：标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。方法：在权值调整公式中增加一动量项实质：从前一次权值调整量中取出一部分迭加到本次权值调整量中作用：动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。多层前馈网络与BP学习算法BP算法的改进方法自适应调节学习率原因：标准BP算法中，学习率（学习算子、步长）η确定一个从始至终都合适的最佳学习率很难。平坦区域内，η太小会使训练次数增加；在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。方法：设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且

=β

(β<1)；若经过一批次权值调整后使总误差↓，则本次调整有效，且

=θ

(θ>1)。思想：自适应改变学习率，使其根据环境变化增大或减小。BP算法的改进方法引入陡度因子原因：误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元输出进入了激活函数的饱和区。多层前馈网络与BP学习算法方法：在原激活函数中引入一个陡度因子λ思想：如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出激活函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。BP算法的改进方法引入陡度因子方法：当发现ΔE接近零而d-y仍较大时，可判断已进入平坦区，此时令λ>1；当退出平坦区后，再令λ=1。多层前馈网络与BP学习算法作用分析：1.λ>1：净输入坐标压缩了λ倍，神经元的激活函数曲线的敏感区段变长，从而可使绝对值较大的净输入退出饱和值。2.λ=1：激活函数恢复原状，对绝对值较小的净输入具有较高的灵敏度。3.应用结果表明该方法对于提高BP算法的收敛速度十分有效。5.3前馈网络——BP网络BP神经网络设计基础训练样本集的准备1.输入输出量的选择2.输入量的提取与表示3.输出量的表示4.输入输出数据的预处理5.训练集的设计BP网络结构设计网络训练与测试5.3前馈网络——BP网络输出量的选择代表系统要实现的功能目标系统的性能指标分类问题的类别归属非线性函数的函数值输入量的选择必须选择那些对输出影响大且能够检测或提取的变量各输入变量之间互不相关或相关性很小5.3前馈网络——BP网络输入输出量的性质数值变量的值是数值确定的连续量或离散量。语言变量是用自然语言表示的概念，其“语言值”是用自然语言表示的事物的各种属性。当选用语言变量作为网络的输入或输出变量时，需将其语言值转换为离散的数值量。5.3前馈网络——BP网络输入量的提取与表示文字符号输入——必须先对其进行编码，变成网络可接受的形式曲线输入——提取波形在各区间分界点的值，以其作为网络输入向量的分量值。采样周期大小满足香农采样定理，采样区间可以不等分。函数自变量输入——一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。图像输入——在这类应用中，一般先根据识别的具体目的从图象中提取一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。5.3前馈网络——BP网络输出量的表示“n中取1”表示法——令输出向量的分量数等于类别数，输入样本被判为哪一类，对应的输出分量取1，其余n-1个分量全取0。例如，用0001、0010、0100和1000可分别表示优、良、中、差4个类别。“n-1”表示法——如果用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点。例如，用000、001、010和100也可表示优、良、中、差4个类别。数值表示法——对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。5.3前馈网络——BP网络输入输出数据的预处理归一化分布变换归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在[0，1]或[-1，1]区间内。适于网络训练的样本应分布比较均匀，相应的样本分布曲线应比较平坦。当样本分布不理想时，最常用的变换是对数变换，其它常用的还有平方根、立方根等。由于变换是非线性的，其结果不仅压缩了数据变化的范围，而且改善了其分布规律5.3前馈网络——BP网络输入输出数据的归一化进行归一化的主要原因网络的各个输入数据常常具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位；BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在0~1或-1~1之间。导师信号如不进行归一化处理，势必使数值大的输出分量绝对误差大，数值小的输出分量绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大。多层前馈网络与BP学习算法归一化的方法将输入输出数据变换为[0，1]区间的值将输入输出数据变换为[-1，1]区间的值5.3前馈网络——BP网络训练集的设计训练样本的确定样本的选择与组织一般来讲，训练样本越多，训练结果越能正确反映其内在规律，但样本的收集整理往往受到客观条件的限制。此外，样本多到一定程度时，网络的精度也很难再提高。映射关系越复杂，所需样本数越多。可以参考一个经验规则：训练样本数是网络连接权总数的5-10倍。样本一定要有代表性，样本的选择要注意样本类别的均衡，尽量使每个类别的样本数量大致相等。即使是同一类样本也照顾样本的多样性与均匀性。样本的组织要注意将不同类别的样本交叉输入，或从训练集中随机选择输入样本。5.3前馈网络——BP网络初始权值的设计BP网络结构设计隐含层层数的设计——理论分析证明，单隐含层的感知器可以映射所有连续函数，只有当学习不连续函数时，才需要两个隐含层。隐含层节点数的设计——数量太小，从样本中获取信息的能力差，不足以概括和体现训练集中样本的规律；数量过多，可能把样本中非规律性的内容（如噪声）学会牢记，降低泛化能力。常用方法为试凑法。若每个节点的初始净输入在零点附近，则输出处在转移函数的中点。这个位置不仅远离激活函数的两个饱和区，而且是其变化最灵敏的区域，必然使网络的学习速度加快。常采用两种方法：一、取足够小的初始权值；二、使初始值为+1、-1的权值数相等。隐含层采取第一种方法，输出层采取第二种方法。原因是如果输出层权值太小，会使隐含层权值在训练初期的调整量变小。5.3前馈网络——BP网络网络训练与测试网络的性能好坏主要看其是否具有很好的泛化能力，而对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。一般的作法是，将收集到的可用样本随机地分为两部分，一部分作为训练集，另一部分作为测试集。如果网络对训练集样本的误差很小，而对测试集样本的误差很大，说明网络已被训练得过度吻合，因此泛化能力很差。5.3前馈网络——BP网络网络训练与测试在隐含层节点数一定的情况下，为获得好的泛化能力，存在着一个最佳训练次数。5.3前馈网络——BP网络BP算法的应用实例例：应用BP神经网络逼近非线性函数解:

（1）取三层BP网络，隐含层选对称型S函数，输出层为线性函数（2）训练样本集u=-0.5:0.05:0.45，d=f(u)，样本对长度L=20（3）测试输入数据集u1=-0.48:0.05:0.47，d1=f(u1)（4）输入层一个节点，隐含层3个节点，输出层一个节点

径向基函数神经网络全局逼近网络与局部逼近网络如果网络的一个或多个连接权系数或自适应可调参数在输入空间的每一点对任何一个输出都有影响，则称该神经网络为全局逼近网络。若对输入空间的某个局部区域，只有少数几个连接权影响网络的输出，则称该网络为局部逼近网络。局部逼近神经网络CMACB样条RBF模糊神经网络径向基函数神经网络径向基函数(RBF-RadialBasisFunction)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐含层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域（或称感受野-ReceptiveField）的神经网络结构，因此，RBF网络是一种局部逼近网络，已证明它能任意精度逼近任意连续函数。

输入层

隐含层

输出层

节点

节点

节点

uyq径向基函数神经网络网络输出计算

输入层

隐含层

输出层

节点

节点

节点

RBF神经网络

uyq网络输入n维向量u，输出m维向量y，输入／输出样本对长度＝L。

RBF网络隐层第i个节点的输出：

qRii=-()uc

ci：第i个隐节点的中心，hi,,2,1L=；

：通常为欧氏范数；

R()·：RBF函数，具有局部感受的特性，它有多种

形式，体现了RBF网络的非线性映射能力。通常为高斯函数。网络输出层第k个节点的输出，为隐节点输出的

线性组合：

ywqkkiiik=-åq

wki：qyik®的联接权；

qk：第k个输出节点的阈值。

径向基函数神经网络高斯径向基函数一维

径向基函数神经网络高斯径向基函数（RBF）网络二维

径向基函数神经网络RBF神经网络的特点RBF神经网络与BP神经网络的主要不同点是在非线性映射上采用上不同的激活函数。分别为径向基函数与S型函数。前者的激活函数是局部的，如高斯RBF，后者的激活函数是全局的。BP网络的隐含层节点采用输入模式与权向量的内积作为激活函数的自变量，而RBF网络则采用输入模式与隐含层节点的中心的距离作为激活函数的自变量。RBF网络只有一个隐含层，而BP网络的隐含层可以是一层也可以是多层。径向基函数神经网络RBF神经网络的特点径向基函数关于N维空间的一个中心点具有径向对称性，神经元的输入离该中心点越远，神经元的激活程度就越低。隐含层节点的这个特性常被称为“局部特性”。RBF网络具有唯一最佳逼近的特征，且无局部最小。径向基函数有多种，最常用的是高斯函数。高斯RBF神经网络较广泛用于非线性辨识与控制，虽具有唯一最佳逼近的特性以及无局部最小的优点，但隐含节点的中心及扩展参数难求。5.4反馈网络——Hopfield神经网络Hopfield神经网络简介美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。Hopfield的主要贡献有：<1>提出了利用能量函数研究反馈网络稳定状态的方法。<2>给出了利用模拟电子线路实现反馈型人工神经网络的电路模型。<3>成功求解了组合优化中的TSP问题。5.4反馈网络——Hopfield神经网络Hopfield神经网络简介以此为基础，人们对Hopfield网络进行了深入研究，主要有以下几个方面：寻找Hopfield网络的稳定性规律并进而研究其信息容量；提出各种改进的Hopfield网络模型；参照Hopfield电子线路模型研究人工神经网络的硬件实现方法；借助能量函数方法用Hopfield网络求解优化计算、组合数学、人工智能问题的多种实例。Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。5.4反馈网络——Hopfield神经网络离散型Hopfield神经网络网络的结构与工作方式Hopfield神经网络模型一般由单层全互连的神经元组成。神经元没有自连接，神经元与神经元之间的连接是对称的。Hopfield神经网络离散型Hopfield神经网络网络的结构与工作方式DHNN网中的每个神经元都有相同的功能，其输出称为状态，用

xj表示。所有神经元状态的集合就构成反馈网络的状X=[x1,x2,…,xn]T反馈网络的输入就是网络的状态初始值，表示为X(0)=[x1(0),x2(0),…,xn(0)]T反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为j=1,2,…,n

DHNN网的激活函数常采用符号函数

j=1,2,…,nHopfield神经网络离散型Hopfield神经网络网络的结构与工作方式j=1,2,…,n反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为网络由单层全互连的神经元Ti(i=1,…，n)组成。神经元没有自连接,即wii＝0；神经元与神经元之间的连接是对称的，即wij＝wji。Hopfield神经网络离散型Hopfield神经网络网络的结构与工作方式网络的异步（串行）工作方式网络运行时每次只有一个神经元进行状态的调整计算，其它神经元的状态均保持不变，即Hopfield神经网络离散型Hopfield神经网络网络的结构与工作方式网络的异步（串行）工作方式网络的同步（并行）工作方式j=1,2,…,n网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子网络的稳定性DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)＝X(t)，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子网络的稳定性若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子网络的稳定性如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数网络达到稳定时的状态X，称为网络的吸引子。

如果把吸引子视为问题的解，从初态朝吸引子演变的过程便是求解计算的过程。

若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。

Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数定义1

若网络的状态X满足X=f(WX-T)，则称X为网络的吸引子。

定理1

对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数证明：定义网络的能量函数为令网络的能量改变量为ΔE，状态改变量为ΔX，有Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数则网络能量可进一步展开为Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数将代入上式，并考虑到W为对称矩阵，有

上式中可能出现的情况：情况a：xj(t)=-1,xj(t+1)=1,则Δxj(t)=2,又因为netj(t)≧0，所以ΔE(t)≦0。Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数情况b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,又有netj(t)<0，所以ΔE(t)<0。情况c：xj(t)=xj(t+1),所以Δxj(t)=0,所以有ΔE(t)=0。

由此可知在任何情况下均有ΔE(t)≦0

。由于网络中各节点的状态只能取1或–1，能量函数E(t)作为网络状态的函数是有下界的，因此网络能量函数最终将收敛于一个常数，此时ΔE(t)=0

。综上所述，当网络工作方式和权矩阵均满足定理的条件时，网络最终将收敛到一个吸引子。离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数Hopfield神经网络定理2：对于DHNN网，若按同步方式调整状态，且连接权矩阵W为非负定对称阵，则对于任意初态，网络都最终收敛到一个吸引子。

同步方式对权值矩阵W要求更高。异步方式比同步方式有更好的稳定性。Hopfield神经网络离散型Hopfield神经网络网络的稳定与吸引子吸引子与能量函数以上分析表明，在网络从初态向稳态演变的过程中，网络的能量始终向减小的方向演变，当能量最终稳定于一个常数时，该常数对应于网络能量的极小状态，称该极小状态为网络的能量井，能量井对应于网络的吸引子。

离散型Hopfield神经网络Hopfield神经网络对于同步方式，由于无调整次序问题，所以相应的吸引域也无强弱之分；对于异步方式，对同一个状态，若采用不同的调整次序，有可能弱吸引到不同的吸引子。例：离散型Hopfield神经网络Hopfield神经网络解：离散型Hopfield神经网络Hopfield神经网络解：离散型Hopfield神经网络Hopfield神经网络可见：当网络的异步调整次序一定时，最终稳定于哪个吸引子与其初态有关；而对于确定的初态，网络最终稳定于哪个吸引子与其异步调整次序有关。Hopfield神经网络连续型Hopfield神经网络结构与离散型Hopfield神经网络相似，但连续型Hopfield神经网络中所有神经元都同步工作，各输入输出均是随时间连续变化的模拟量。Hopfield用模拟电路（电阻、电容和运算放大器）实现网络的节点。

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

系统由n个节点组成，第i个节点方程为：Hopfield神经网络连续型Hopfield神经网络

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

设则Hopfield神经网络连续型Hopfield神经网络

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

设则其中可见：1.R和C的并联模拟了生物神经元的时间常数；2.1/Rij模拟了神经元间的突触特性；3.运算放大器模拟了神经元的非线性特性；4.Ii相当于阈值Hopfield神经网络连续型Hopfield神经网络于离散型的区别多了一个微分方程(惯性环节)激活函数采用s函数

ijR

jV

iV

iC

iR

iu

iI

)(·f

)(·f

Hopfield神经网络关于Hopfield神经网络的几个问题由于Hopfield神经网络能收敛于稳定状态，因此可用于联想记忆。若将稳态视为一个记忆，则由初始状态向稳态收敛的过程就是寻找记忆的过程。初态可认为是给定的部分信息，收敛过程可认为是从部分信息找到了全部信息，于是实现了联想记忆的功能。若将稳态视为某一优化计算问题目标函数的极小点，则由初态向稳态收敛的过程就是优化计算的过程

5.4反馈网络——Boltzmann机Ackley、Hinton等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。GeoffreyHintonDavidH.Ackley

Boltzmann机Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点，是建立在Hopfield网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。Boltzmann机Boltzmann机由输入部、输出部和中间部构成Boltzmann机输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换每一对神经元之间的信息传递是双向对称的，即

而且自身无反馈，即。显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。Boltzmann机Boltzmann机神经元模型每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入图中vj表示神经元j的输出Boltzmann机Boltzmann机神经元模型神经元的全部输入信号的总和由下式给出为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式Boltzmann机Boltzmann机神经元模型神经元的输出依概率取1或0ui越大，则vi取1的概率越大，而取0的概率越小Boltzmann机Boltzmann机神经元模型温度T的作用如图所示，T越高时，曲线越平滑，即使uj有很大变动，也不会对vj取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络Boltzmann机Boltzmann机神经元模