神经网络及其控制课件.doc

第一章 神经网络计算1-1神经元模型一、概述神经网络的特点1. 定义：用于模拟人脑神经元活动过程，包括对信息的加工、处理、存贮和搜索过程。2. 特点（1） 信息分布式存贮（2） 信息的并行处理与推理（3） 信息的自组织、自学习二、神经元的模型特征神经元多输入单输出的信息处理单元膜电位细胞内部和外部具有不同的电位，当外部电位为零时，内部电位称为膜电位。i0 兴奋性神经元的突触i时，无论输入信号多强大，也不会有输出信号。4. 突触结合的可塑性：即权重i是实时变化的。二、 神经模型 入图13 神经元模型输入处理： (12)活化处理： （13）输出处理： （14）式中，fi（）输出函数，根据不同模型而定。介绍三种典型的神经元模型：1. 阈值单元模型（MP模型）MP模型处理0和1二值离散信息的阈值单元模型。MP模型的数学表达式为： 阶跃函数2. 准线性单元模型特点：输入和输出均为连续值。（BP网络）神经元i的总输入为： （16）输出为： （17）3. 概率神经元模型：特点：输入信号采用0与1的二值离散信息，并把神经元的兴奋与抑制以概率表示。神经元的总输入为 （18）有到输出的概率分布为： (19)式中：T网络温度的函数应用：用于Boltzman神经网络。三、 基于控制观点的神经元模型其主要功能由下列三部分完成：1. 加权加法器-空间总和，即： （110） j常数，其作用是控制神经元保持某一状态。2. SISO线性动态系统-时间总和：SISO线性系统对于单位脉冲函数的响应就完成了时间总和，该响应为卷积分： （112）式中，h（t）函数常选用下列五种形式：附：函数是用于处理许多集中于一点或一瞬时常，例如，点电荷，点热源，窄脉冲，集中力等现象，它可用以下三种形式来定义： 图a 图b 图c图a图b图c0 故有：对应于上述五种时间函数，与之间的关系分别为： (114)3. 非线性函数-输出函数： （116）式中，非线性函数的常见类如下表所示：名称阈值函数双向阈值函数Sigma函数双曲正切函数高斯函数g(x)图形特征不可微，类阶跃，正值不可微，类阶跃，零均值可微，类阶跃，正值可微，类阶跃，零均值可微，类脉冲1-3 神经网络的结构和学习规则一、 结构 层状结构：每层中有若干个神经元，相邻层中神 经元单向联接，同层内的神经内不连接网状结构：任何两个神经元之间都可能双向联接。. 前向网络（前馈网络）属于层状网络，如图所示：图前向网络特点：（）.相邻层之间的神经元之间相互连接，各层内神经元之间无连接（）无反馈（）各神经元可以有多个输入（输入层除外），并只有一个输出给下一层的各神经元（）输入层中各输入关节无计算功能。.反馈网络：属于层状结构，如图所示：图反馈网络特点：（）每个神经元都具有计算功能，即为计算节点。（）每一个节点接收两个输入）外界输入）其它节点的反馈输入（）自环反馈：同一节点的输出反馈给自身做输入。.相互结合型网络属于网状结构，如图所示：图相互结合型网络特点：（）各个神经元之间都有可能双向连接（）各个神经元既作输入又做输出. 混合型网络介于层状结构和网状结构之间的一种网络。如图所示：图混合型神经网络特点：在前向网络中，同层神经元之间有互联的结构，目的：限制同层内神经元同时兴奋或者抑制的神经元数目。二、 神经网络的学习和训练学习一个节点收到兴奋输入，而且兴奋输入抑制输入足够大时，使神经元对另一个神经元的影响发生变化，此即发生了学习行为。学习方式：有教师学习无教师学习（网络输出）（教师数据）输出误差样本数据输入输出.无教师学习有教师学习图19 有无教师学习的直观描述图三、 神经网络的学习规则. 联想式学习Hebb规则 如图110所示： j输出教师信号 图110 Hebb规则权重变化： （117）输出与之间满足： j （118）式中非线性函数当无教师信号时，式（117）就变为： （119）式中：学习效率（0）. 误差传播式学习Delta规则（规则）前述的函数G表示为： （120）则，把差值称为 正数 即0设，函数H与成比例，即： （0） (121)根据Hebb规则可得：即： （0） (122)式中：在式（122）中，若将教师信号作为期望的输出di，作为实际输出yi，则该式变为： （123）式中：期望输出与实际输出的差值，该式即为规则（误差修正规则）中心思想：通过反复迭代运算，求出最值的值，使min.缺点：只适用于线性可分函数第二章 典型神经网络2-1 前向网络-BP网络一、 感知器（Perception）一种用于模式分类的网络模型，是一种具有单层计算单元的神经网络，信息处理规则为： （2-1）第j个神经元输出采用阶跃函数 学习规则： 式中，-学习率（00 -节点j的误差（其定义与（2-5）式相同） （2-13）当使用冲量时，权值调整公式为： （2-14）式中，-动量因子，e）返回第2步重复，直至误差满足要求为止。（图2-2为其等法框图）全部满足？初始化给定输入向量和期望输出求隐层、输出层各单元输出求实际输出与期望输出的误差EE满足要求？END权值学习（修改）求误差梯度计算隐层单元误差YYNN图2-2 BP算法框图三、 BP网络的改进算法BP算法的优缺点：优点：具有Sigmoid函数的三层网络可以任意精度逼近任何连续函数。缺点：（1）迭代次数多，收敛速度慢 （2）易形成局部最小，得不到整体最优（3）无反馈连接，影响信息交换速度和效率（4）输入及输出节点据实际问题而定，而隐节点的选取无理论指导，据经验而定（5）在训练学习样本，有遗忘旧样本的趋势。1、MFBP算法思路：在BP算法，增益系数为一固定值，因此收敛速度慢。为此，克服该缺点的基本出发点：（1）网络中每个参数的调节应有各自的学习率（增益）（2）在网络学习过程中，应根据网络误差曲面上的不同区域的曲率变化自适应调节。自适应调节规则为：网络中每个节点的输入输出关系修改为： （2-15）式中，-模式输至网络时，节点j的输出 -模式输至网络时，与节点j以权重相连接的节点i的输出 -节点j的阈值节点j的误差信号变为 （2-16）式中，-当模式（样本）输入网络时，第j节点（输出层）的期望输出。根据上述公式，可以得出一种快速FBP算法（MFBP算法之一） 权重调节公式： 式中，学习率的算法公式为： 式中， 式中， 预先初始化为-1,1内随机数 为预先给定的一个小的正数3、 自构形学习算法（隐节点重组过程）在在网络拓扑结构中，隐节点的选择没有依据，隐节点较少，学习过程不收敛，隐节点多了，存在冗余节点，网络性能下降。学习过程分为预估和自构形两个阶段，预估就是根据经验设定一个隐节点数很大的步向网络结构，自构形就是网络根据学习情况合并无用的冗余节点，从而得到一个合适的网络。设, ,隐节点i和j在学习完所有几个样本后的平均输出 则，定义：同层隐节点的相关系数及样本分散度如下： 同层隐节点i和j之间相关系数 过大，说明节点i和j功能重复，应合并压缩样本分散度： Si过小，表明隐节点i的输出值变化很小，对网络的训练没有起什么作用。基于上述定义，给出以下隐节点动态合并与删减规则：（1） 合并规则：若且si,sjC2,则同层隐节点i和j可以合而为一。式中C1=0.80.9，C2=0.0010.01。合并方法：令yjayi+b 输出节点k的输入为（如下图所示）：得合并算法： WkjWkiWkbiJyiYjBiaskbWkjWkjWkiWkbiJyiYjBiask+aWkj(2)删减规则：若sic2，节点i可以删除。删减方法：令，则输出节点k的输入为删减方法：如下图所示：WkiWkbKiBiasKBiasiWkb+yiWki总结：BP算法实质上是把一组样本输入输出问题转化为一个非线性优化问题，并通过梯度算法利用替代运算求解数值问题的一种算法。常见的改进算法有（1） 冲量算法：其数值调整公式为-冲量算法中的动量因子对比试验算法学习误差学习次数BP基本算法0.36无0.0013361冲量BP算法0.360.260.0012580（2） 数值和阀值的初始化：一般为0,1之间的随机值，但是改变赋值范围可以改变BP网的收敛性。下表为其他条件相同的情况下，初始数值范围不同得出的结果数值范围（赋值）学习误差学习次数【0，1】随机值0.360.473253361【0，0.5】随机值0.360.0012580（3） 学习样本的预处理合适选择样本的数量级，可以明显改善网络的收敛特性。定义：学习样本输入向量之间的Hamming距离式中-第i和j个样本向量。 -第i个样本向量的第i个对应元素。 n-向量的长度。Hamming距离大，数量级大，反之，Hamming距离小，数量级小。下表位神经网络结构，初始数值，学习函数，算法条件相同的情况下，Hamming距离变化对网络的影响。学习样本预处理学习误差学习次数原样本/100.361.9990710000原样本0.360.0013361原样本*100.360.4425610000模糊遗传算法及建模（genetic algorithm）一、 GA算法简介GA算法是具有“生成+检测”（generate and test）的迭代过程的搜索算法。GA算法的三个主要操作算子为（1） selection（2） crossover（3） mutationGA算法的五个基本要素（1） 参数编码（2） 初始群体的设定（3） 适应度函数的设计（4） 遗传操作设计（5） 控制参数设计（群体大小，遗传操作的概率）编码和初始群体的生成群体中个体适应度的检测评估选择selection交叉crossover变异mutation用一个求函数数值为例，来概述遗产算法的基本概念及处理过程。例：用GA求f(x)=x2的最大值，x0,31下表为计算过程及结果串编号初始群体（随机产生）（n=4）二进制X值（无符号整数）适应度f(x)=x2选择概率Ps适应度期望值fi/实际计数复制后交配率配对（随机选择）交叉位置（随机选择）新一代群体X值f(x)=x2101101131690.140.581011011240110012144211000245760.491.9721100101411001256253010008640.060.220111000421101127729410011193610.311.231101011321000016256适应度总和11701.004.004.01754平均适应度2930.251.01.0439最大适应度5760.491.972.0729其中：Ps=fi/f平均适应度表中计算数据的解释（1） 编码GA不能直接处理解空间的解数据，数通过编码将其表示程遗传空间的基因型串结构数据。如x=13表示成01101的形式。（2） 初始群体的组成遗传操作需要一个由若干初始解组成的初始解群体。为简化起见，取群体大小为4，即4个个体组成（如表中13，24，8，19）。初始群体的每个个体都是随机产生的。初始群体也叫第一代（first generation）（3） 适应度评价检测GA是用评估函数来评估个体或解的优劣，并作为遗传操作的依据。评估函数值又称为适应度（fitness）。例中，根据f(x)=x2来评估群体中各个个体。显然，为了利用f(x)=x2这一评估函数即适应度函数，要将基因型个体（即二进制个体）译码成表现性个体（即十进制个体），亦即搜索空间中的解。（4） 选择（selection）（或者叫复制操作）目的是为了从群体中选择出优良的个体，使他们有机会作为父代为下一代繁殖子孙。判断优良的准则就是各自的适应度值。个体适应度越高，其被选择的机会就越多。其选择方式是采用概率方式，即计算每个个体的适应度值与群体中的所有个体的适应度值的总和之比来表述选择概率。即fi/f（表中，给出了选择4个个体的概率）。由概率可以计算出每个个体被选择的次数。可采用如图所示的赌轮（roulette wheele）的方式来决定各个个体的选择份数。在赌轮上，按照各个个体适应度值按比例进行了分配，转动赌轮4次，就可以决定各自的选择份数。表中的结果是：个体1和4各复制（或选择）1份，个体2复制2份（各占个体3的位置），个体3被淘汰了。由此。得到4份复制送到配对库，以备繁殖。31%49%14%6%（5） 交叉操作可分两步进行：配对库的个体进行随机配对（如个体1和2，3和4）在配对个体中随机设定交叉处如：0110101100011001100111011110001001110000交叉交叉即形成了新一代。由表中可以看出，新群体中的个体适应度的平均值和最大值都有了明显的提高。事实上，对于有几十个到几百个变量组成的函数，GA可以不依靠任何外部知识，而仅用适应度函数来指导优化搜索方向。(6)变异（mutation）变异是按位进行的，即把某一位的内容进行变异。对于二进制编码的个体来说，若某位原为“0”，变异后就变成了“1”。变异操作也是随机进行的。一般而言，变异概率Pm取值很小，如本例中，取Pm=0.001，由群体中可以变异的位数为：4个个体5位=20位。则可变异的位数为：200.001=0.02位。即说明群体中没有异味可以变异。变异的目的是克服有可能限于局部最优解的缺点。上述GA算法为简单遗传算法（SGA）二、遗传算法在模糊规则优化和模糊模式识别中的应用。 1、基于遗传算法的模糊推理规则的优化 （1）编码： 为讨论方便，条件都以可变的三角行录属函数为例结论都以实数值构成。如下图所示：对录属函数的每一个个体的编码由三部分组成：1） 条件都录属函数的顶点之间的距离S2） 以顶点横坐标为基点，至底边两端点的距离M和N (2)适应度函数：为对上述个体进行定量评价，须设定适应度函数（评价函数），为此，定义：实际输出和期望输出（计算输出）之间的误差平方和E，E则适应度函数高，则定义适应度函数如下式：式中： Si - 第i个个体 E - 误差平方和（3）交叉操作在初始群体中，随机选取A和B两个个体进行交叉操作，如下图，以S为例，可以交叉点为界，分为左右两侧 可以产生四种子本：子本1： 子本2： b (交差点左侧，继承A左侧信息，右侧，按 （交叉点左侧继承B左侧信息，右比例继承A的部分信息) 侧按比例）继承B的部分信息）子本3： 子本4 c d 其他遗传操作，如变异，选择等可按常规方法，通过GA对录属函数进行初调，确定录属函数的形状。2、遗传算法在模糊模式识别中的应用模糊模式识别方法一般采用将模式空间进行分割的方法，这种方法有一定局限性。例如，如图所示黑白两种员的模式识别问题，很显然，左半边需要细的模糊分割，右半边则教粗。若采用单一的模糊格子要进行合适的模糊分割是很困难的。因此，提出一种同时采用粗的模糊分割和细的模糊分割想结合，这种多种模糊分割，将引起模糊if-then 规则数大大增加的问题。因此，下面介绍一种从对应于多种模糊分割的多个模糊if-then规则中选出最必须的最小限度规则，并建立小型高性能的模糊识别系统。下面分两步进行介绍：第一步：介绍一种基于一般模糊if-then规则的模式识别，它首先将构成模糊识别系统作为一种选择if-then规则组合优化问题，其目标函数是正确率最大和规划数最小化。第二步，介绍采用遗传算法，将模糊if-then规则的集合作为一个个体，将上述两个目标的加权和作为个体的适应度，然后用GA进行优化组合。（1） 由模糊if-then规则的模式识别说明一下模糊if-then规则的生成方法。以二维问题为例。定义：模式之间设定为0,10,1,学习用数据分成M个群C1,C2,-Cm)对应于M个模式，p=1,2,-M.各维由模糊分割成k个模糊集合 则，基于模糊if-then规则的模糊识别系统可采用如下规则： ：if x1 is and x2 is Then (x1, x2) belongs to with CF=C 式中：，-规则条件部的模糊集合。 -规则的结论。 C-规则的可信度对于k=2和k=3时，各维的模糊分割和模糊集合的标志关系为： X2 A 的下标表示分割的空间编号 A的上标表示分割的总数上图中,Si-规则的顺序符号（将在GA中应用）上图是采用三角形模糊集合（不是三角行录属函数）对应的，三角形模糊集合的录属函数可写成i=1，2，-，k式中：-三角形模糊集合的中心， If-then规则的结论及可信度,可由学习模式Xp(p=1,2,-M)按下述程序自动生成：（1） 对t群（Ct），求出： （t=1，2，-，m）（2） 求出最大的数据群Cx，即：Cx：=max则若有若干个群取最大值，则就不能唯一确定，此时，