[工学]第8章模糊神经网络方法.doc

第八章 模糊神经网络算法火灾火情决策是一个复杂的过程，它包括接收输入信号，与已知信息和经验进行比较，对输入信号作出判决，并给出正常、火警或故障信号。通常火灾自动报警系统的决策系统是很简单，它根据单个传感器送来信息作出是否发生火灾的判决。例如，当感烟探测器探测到的粒子数达到预定阈值，就发出火警信号。这些粒子可能是烟雾粒子，也可能是水雾或灰尘等非火灾产生的粒子，普通感烟探测器无法区分烟雾粒子，还是水雾和灰尘粒子，这就导致误报的发生。经过长期的研究发现，火灾的发生具有双重性，既有它的随机性一面，又有它的确定性一面。人们并不能确切的知道何时发生火灾，但是当具备了发生火灾的条件，就会发生火灾，出现表征火灾的火灾参量。如果同时测量这些火灾参量，对信号进行综合分析处理，那么，火灾的误报率便大大降低。然而火灾的复杂性还在于相同的材料在不同的环境下，具有不同的着火温度，相同的环境不同的材料，着火条件也不一样，人类的活动以及环境的变化事先也无法确定，所以实际的火灾参量是随着空间和时间的变化而变化，很难用建立一种或几种数学模型进行精确描述。因此，火灾探测信号检测是一种十分困难的信号检测，它要求信号处理算法能够适应各种环境条件的变化，自动调整参数以达到既能快速探测火灾，又有很低的误报率。而神经网络与模糊系统都属于一种数值化的和非数学模型的函数估计和动力学系统。它们都能以一种不精确的方式处理不精确的信息。因而它在火灾探测领域具有美好的应用前景。第一节 模糊逻辑与模糊计算一、模糊集合及其运算规则（一） 模糊集合与隶属度人们往往把讨论的议题限制在某个相关的范围内,例如讨论火灾问题,不会去谈论如何打乒乓球，讨论的范围称为“论域”。用大写字母U、V、X、Y表示。论域中的每个对象称为“元素”，用小写字母u、v、x、y表示。具有某些特定属性的元素的全体称为U上的一个“集合”，常用大写字母A、B表示。普通集合概念是论域中的任一元素，要么属于某个集合，要么不属于该集合，不允许有含混不清的说法，例如乒乓开关不是接通，就是断开。但是在现实生活中，却充满了模糊事物和模糊概念，例如“瘦子”集合，“少年”集合，“温度低”集合等等，其边界都是不明确的。将这类边界不明确的集合称为模糊集合，这里用表示一个模糊集合。 给定论域U上的一个模糊集合A，是指对于任意都确定一个数，01，它表示x对的隶属程度。 式中：隶属函数可简为；表示所有的。 由定义可见，模糊集合完全由其隶属函数来描述，可以说与等价。表示x对隶属程度的大小，它在值域0，1区间上连续取值。特别当的值域取0,1闭区间的两个端点，即0,1两个值时，就退化为特征函数，模糊集合就退化为普通集合A，因此，特征函数是隶属于函数的特殊情况。 在模糊集中，空集、全集和模糊独点集是几类特殊的模糊集，其各自的定义如下： 是论域U中的模糊集，对于：若0，则称为模糊空集，记作，即；若1，则称为模糊全集，记作，即；对于，如果仅在处有0，则称为模糊独点集，记作，即。（二）模糊集合的表示1Zadeh表示法 在论域U中，0的全部元素组成的集合成为模糊集合的“台”或“支集”。也就是说，当某个元素的隶属度为0时，它就不属于该模糊集合。当模糊集合有一个有限的台时，可表示为 （81） 当模糊集合的台有无限多个元素时，应用Zadeh表示法，模糊集合可表示为 （82）式中的积分符号不代表普通的积分，也不意味着求和，而是表示无限多个元素与相应隶属度对应关系的一个总括。2向量表示法 当模糊集合的台由有限个元素构成时，模糊集合还可表示为向量形式，即： （83）3隶属函数表示法 给出隶属函数的解析表达式，也能表示出相应的模糊集合。例如“老年人”和“青年人”两个模糊集合的隶属函数和，即： （84） （85）来表示模糊集合“老年人”与“青年人”，其中年龄论域，x是在之间取值的年龄变量。（三）隶属函数及其确定1隶属函数 上面说到模糊集合可以用隶属函数来表征，模糊集合的运算也是通过其隶属函数的相应运算来实现。用模糊数学方法解决任何问题，一般总是要建立模糊集合的隶属函数。在普通集合论中，描述集合的特征函数只允许取0,1两个值，它与二值逻辑相对应。在Fuzzy集合论中，为描述客观事物的Fuzzy性，将二值逻辑0,1推广至可取0,1区间内任意值的无穷多个值的连续值逻辑，从而必须把特征函数作适当的拓宽，这就是隶属函数。2隶属函数的确定 隶属函数是模糊集合应用于实际问题的基石。对一个具体的模糊对象，首先应当确定其切合实际的隶属函数，才能应用模糊数学方法作具体的定量分析。正确构造隶属函数是应用模糊数学的关键所在，但这个问题至今尚未得到令人满意的解决。确定隶属函数的主要方法有如下几种：推理法、模糊统计法、二元对比法和模糊分布。这里仅讨论模糊（Fuzzy）统计法和模糊分布。（1） 模糊统计法 首先选定一个论域U，例如“人的集合”，在U中选择一个固定元素，例如“李明”，然后再考虑U的一个运动着的边界可变的普通集合（例如“高个子”），而“高个子”到底是多高，这个概念是随着条件、场合以及不同观点而变化的，让不同观点的人评论“李明”是不是属于“高个子”这个集合，即或，则对高个子的隶属度表示为 （86）其中n为总的实验次数，只要充分大就可以了，随着n的增大，就会趋向一个0,1闭区间的数，即隶属度。（2） 模糊分布当模糊集的论域为实数域R时，其隶属函数称为模糊分布，即当为R上的模糊分布，。根据模糊分布的变化趋势，可以大体分为三类：偏小型（戒上型）、中间型（正态型）和偏大型（戒下型）。 实际工作中，应根据实际情况确定取哪一类隶属函数作为问题分析用。a) 正态型 （87） 自然界的许多特性都符合这种分布。例如“人的身高”的分布、“人的重量”的分布，都是这种类型。b) 戒上型 （88） 其中a0，b0c) 戒下型 （89）其中a0，b0d) 厂型 （810） 其中（四）模糊集合的基本运算包含论域U里所有元素的集合称为全集。不包含任何元素的集合称为空集。A和B是同一论域上的两个集合：若A中的元素全都是B的元素,则称A是B的子集；由属于A或属于B的元素组成的集合称为并集；由属于A和属于B的元素组成的集合称为交集；由属于A但不属于B的元素组成的集合称为差集；A是全集中的子集，补集就是全集中所有不属于A的元素组成的集合。 定义：设、是论域U上的两个模糊子集，规定与“并”运算（）、“交”运算（）及“补”运算（，）的隶属函数分别为、及，则对U上的每一个元素x（）有： （811） （812） （813） （814）其中max及表示取大运算，即取两个隶属度较大者作为运算结果；而min及表示取小运算，即取两个隶属度中较小者作为运算结果。此外，模糊集合运算还有一些基本规则，如分配律、结合律、交换律、吸收律等等，这里就不一一介绍了，请参考有关书籍。二、模糊逻辑和模糊推理（一） 模糊逻辑 模糊逻辑是模糊数学中很重要的一个分支，它对于模糊控制、模糊语言、智能信息处理、计算机科学等方面都有着实际的意义。模糊逻辑的真值x在0,1中连续取值，X越接近1，说明真的程度越大。由此可见，模糊逻辑实质上是无限多值逻辑，也即是一种形式化的连续值逻辑。应用模糊理论，可以对用模糊语言描述的模糊命题进行符合模糊逻辑的推理（演绎推理，归纳推理）。 语言是人们进行思维和信息交流的重要工具，是一种符号系统。语言可分为两种：自然语言和形式语言。人们日常所用的语言属于自然语言，通常的计算机语言是形式语言。自然语言的突出特点在于它具有模糊性，如“今天是个好天”，“小王很年轻”等等。 Zadeh于1965年对语言变量作出了如下的定义： 语言变量由一个五元体（N，U，T（N）G，M）来表征，其中a) N是语言变量名称，如年龄，数的大小等。b) U是N的论域。c) T(N)是语言变量值X的集合，其中每个x都是论域U上的模糊集合，如： T(N)T（年龄）“很年轻”“年轻”“中年”“较老”“很老” x1x2x3x4x5d) G是语法规则，用于产生语言变量N的值X的名称，研究原子单词构成合成词后词义的变化，并求取其隶属函数。e) M是语义规则，根据语义规则给出模糊子集X的隶属函数。（二）模糊推理1 假言推理在形式逻辑中，推理有直接推理、演绎推理、归纳推理以及类比推理等形式。在科学研究工作中，最常用的推理方法是演绎推理中的假言推理，其基本规则是如果已知命题A（即可以分辩真假的陈述句）蕴含B，即AB（或A则B），如今确为A时，则可得结论为B，其逻辑结构为：若A，则B。2 模糊推理设X和Y是两个各自具有基础变量x和y的论域，其中模糊集合及的隶属函数分别为及。又设是XY论域上描述模糊条件语言“若则”的模糊关系，其隶属函数为 式中E为代表全域的全称矩阵。 近似推理情况下的假言推理具有如下逻辑结构： （815） 其中表征推理合成规则，算符“”代表合成运算。推理合成规则是假言推理的近似推广。3 模糊条件推理a) 模糊条件语句“If then else ”推理，在论域XY上的模糊关系为： （816）基于推理合成规则，已知模糊子集对应的模糊推理结论子集为 b) 模糊条件语句“If and then ”的条件推理关系为： （817）合成 （818）c) 模糊条件语句“If and then else ”的Fuzzy关系为： （819）合成推理： （820）d) 模糊条件语句“If and and then ”的Fuzzy关系为： （821）合成推理： （822）e) 模糊条件语句“If or and or ”的Fuzzy关系为： （823）合成推理： （824）f) 模糊条件语句“If and then and ”的Fuzzy推理为： （825）合成： （826）三、模糊逻辑控制的信息处理经典控制论和现代控制论已经成功地应用于工业控制、军事科学、空间飞行等学科领域。要将控制理论应用于各个对象，首先需要建立对象的数学模型。但在一些复杂的控制系统中（例如复杂的工业过程控制系统、大规模交通和电力系统、核电运行控制系统等），由于它们的复杂性，建立精确的数学模型是很困难的。正是由于这些系统所呈现的各种不确定性，使得模糊逻辑成为研究这类系统的一个有力工具。（一） 模糊控制的基本结构和组成 模糊控制器的基本结构包括以下四个部分：a) 模糊化：这部分的作用是将输入的精确量转换成模糊化量。b) 知识库：知识库中包含了具体应用领域中的知识和要求的控制目标，即存放控制规则。c) 模糊推理：它具有模拟人的基本模糊概念的推理能力。d) 清晰化（去模糊化）：主要是将模糊推理得到的控制量（模糊量）变换为实际用于控制的精确量。（二） 基本模糊控制器的设计方法 自模糊控制产生以来，为了改善系统的动态及稳态性能，其控制器的控制算法经历着不断的改进和完善过程。设计模糊控制系统的关键是设计模糊控制器，用以实现自然语言控制。其设计大体可按照以下步骤进行。1 确定输入输出的模糊子集及其论域对于双输入单输出模糊控制器，选用偏差语言变量和偏差变化语言变量，输出控制变量，并将它们各自的论域分成若干级。例如分成八档： 用级表示为：共14级，和的级可同样划分。2 选择控制规则控制规则的选择是非常关键的一步，只有选择恰当的控制规则，才能获得较好的控制效果。控制规则的形式为： 例如： 3 确定各模糊子集的隶属函数主要是选取隶属函数的形状、模糊集对论域的覆盖度以及模糊集之间的相互影响。4 模糊控制器的关系运算 （827）5 计算采样时刻的偏差和偏差变化 （828）6 偏差和偏差变化的模糊化变量在系统中的实际变化范围称为基本论域，具有清晰性。基本论域和语言变量模糊状态的论域往往是不一致的。例如某一系统偏差e的实际变化范围是-100,100，而确定的偏差模糊状态论域是-6,6，偏差变化ec的实际变化范围是-20,20，而确定偏差变化模糊状态的论域也是-6,6，因此必须引入偏差比例因子Ge和Gc，以将e和ec进行模糊化。 设偏差的基本论域写成-em, em，偏差变化的基本论域写成-ecm, ecm，偏差模糊状态的论域写成-n,n，偏差变化模糊状态的论域写成-m,m，则偏差比例因子Ge和偏差变化比例因子Gc由下式确定： （829） （830）ep和ecq应根据实际情况选定。确定了比例因子Ge和Gc以后，某一采样时刻所得的偏差e(K)和偏差变化ec(K)的精确量就可以按下式模糊化为模糊量 （831） （832） 比例因子也可以按下面的方法确定：设某变量的清晰量x的基本论域为(a,b)，其模糊状态论域为-p,q，则该变量的模糊量为： （833）这里a和b或p和q的绝对值可以不相等。7 进行模糊决策 （834）8 模糊判决 （835）其中表示隶属函数，表示的模糊状态论域。9 实际的控制量 （836）因此有： （837）也即： （838）对于8位字长的，模糊控制器的最终输出为： （839）（三） 自组织模糊控制系统 上面介绍的模糊控制器的设计中，控制规则的修改需由人来进行调整，且缺乏一定数学依据，因而这种算法并不理想。 如何才能改善模糊控制系统的性能呢，这既可以从如何建立模糊子集的隶属函数去分析性能的变化，也可以从改变误差、误差变化率及控制量的比例系数等方面进行探索。而其中改善模糊控制规则显然更为关键，因为它是产生控制表的决定因素。一般情况下，控制规则都来源于人们对过程控制的经验总结，而对于较为复杂的系统，人们的经验是不够完整的，因而控制规则可能会很粗糙，必须予以调整，以适应环境的变化。这就是所谓的自适应模糊控制系统。它的控制修改已无需人的参与，而是直接由系统根据受控过程与工作环境的改变来作出。因此，自适应模糊控制器须同时完成两个方面的任务：一是根据过程的现状给出适当的控制量；二是根据这些控制量的控制效果，对控制规则进行改进。前一个任务为控制，后一个任务即所谓学习或辨识。 自适应（即自组织）模糊控制系统（SOC）是在前述简单的模糊逻辑控制系统的基础上，增加了性能测量、过程模型、修改算法三个功能块而构成的。自适应模糊控制器的基本工作思路是控制器首先在很粗糙的控制规则下起动，然后通过对控制性能的观测，再由自组织机构（上述三个功能块）去改进原有的规则。四、模糊逻辑在火灾探测中的应用（一）单输入火灾探测信号的模糊处理 火灾探测信号的各种处理方法归结到最后还是要根据门限确定报警，为了减少误报警，通常可设置多个报警级别和延迟报警，但延迟时间的长短却很难确定，太短不能有效的减少误报警，太长会推迟对真实火灾的报警，不利于扑救。目前在火灾探测系统中开始用模糊逻辑判断代替简单的门限判断和延迟时间的确定，使系统输出更能满足实际需要。使用模糊逻辑方法进行火灾信号处理，首先应该定义判断规则。以模糊处理烟雾探测信号为例，模糊逻辑可以对一定时间内的烟雾浓度信号进行火灾和非火灾的判断识别，以控制报警延迟时间，图81显示了对某光电烟雾探测器输出信号的延迟时间的控制。300.20.40.60.8010507090延时后再判断第二次判断，最长延时50s报警门限延时，最小延时10s归一化烟浓度t/s图81 烟雾探测器输出信号的延迟时间为了实现其控制过程，定义输入变量表如表8-1所示，处理过程为：1 首先判断输入信号的大小，根据其大小作出火灾或非火灾的判决，为此需要定义输入变量的隶属函数，对于输入信号“大”和“小”的隶属函数可采用梯形分布。表81 模糊逻辑判断变量函数定义减光率（烟雾浓度）从1.0%上升到5.0%从5.0%上升到10.0%（报警）报警前1min的烟雾平均浓度报警前3min的平均烟雾浓度报警前1min内前30s和后30s的平均烟雾浓度差报警前3min烟雾从0.1%到2.5%的次数报警前3min烟雾从2.5%到5.0%的次数2 火灾或非火灾的逻辑判断，首先是由输入变量之间进行模糊逻辑“与”运算，得到输出变量的隶属度，然后对输出隶属度进行判断。3 根据输出隶属度确定延迟时间的长短，延迟时间长短定义为：若输出变量隶属度0.50，判断为火灾，延迟10s；若输出变量隶属度0.50，判断为非火灾，延迟2050s。4 在判断延迟期间，采用非模糊逻辑方法判断，如果输入信号（烟雾浓度）减小，则输出非火灾判断；如果输入信号增大，则立即输出火灾报警信号；当延迟结束时，输入信号仍维持报警水平，则也输出报警信号。这种火灾探测的信号处理方法，经过ISO的标准试验火和实际安装在日本某公司大楼内的火灾探测系统采集到的非火灾数据进行了模拟测试，测试结果有70%的火灾报警信号有所提前，而误报警减少了50%。（二）复合“火灾量”算法的模糊处理在前面论述了根据烟雾和温度信号进行火灾探测的复合偏置滤波算法，即复合“火灾量”算法，如对这种算法结合模糊逻辑处理可以得到较短的报警延迟时间和较低的误报警率。设输入烟雾信号为xR(n)，温度信号为xT(n)，烟雾火灾量计算门限为SRB，对于烟雾信号的火灾量计算，有 （840）设温度火灾量计算门限为，考虑到一般使用暖气等人为因素造成的温度变化十分缓慢，因此温度的火灾量计算应该在一段区间内考虑，即有 （841）计算区间条件为xT(n-k)-xT(n-k-1)0,0kL，L为区间长度。对于火灾量大小的判断采用模糊集定义方法，选定烟雾和温度信号火灾量“大”的隶属函数分别如图8-2和图8-3所示。图8-2中定义了两种烟雾火灾量隶属函数1，2，相当于两级火灾报警处理。设最后的火灾报警门限为S，由模糊逻辑输出的火灾判断。 （842）1，21.012BR（n）BT（n）T1.0 图82 烟雾火灾量“大”的隶属函数 图83 温度火灾量“大”的隶属函数 当z(n)经过模糊逻辑运算后所得结果超过门限S，则探测器输出火灾报警。这种模糊符合“火灾量”方法已经用于后向散射光点型烟雾探测信号和半导体温度探测信号进行模糊处理，并经过德国Duisburg市立医院厨房非火灾条件下的水蒸汽信号的试验，图84显示了这种条件下，烟雾和温度信号以及相应的烟雾和温度火灾量的隶属度的变化。从图84中可以看到，对于隶属函数在干扰情况下，1BR(n)已接近最大值1，而2BR(n)相对较小，温度信号有一个至32的阶跃，其BT(n)0.6。在时间段N1中n N2中，由于2BR(n)1BR(n)，而且BT(n)1BR(n)，所以z(n)=BT(n)；在N2nN3区间内，z(n)=2BR(n)。如果报警门限确定为S=0.6，这时不会产生误报警。这种算法与普通复合火灾量算法的比较见表8-2，其中还包括z(n)取不同最大值时的误报警情况。(a)n0.53025n归一化烟雾信号温度信号(b)(c)1.00.5N1N2N3n，图84非火灾条件下烟雾和温度干扰信号(a)烟雾信号变化；(b)温度信号变化;(c)火灾量“大”的隶属度变化表82两种算法的误报比较范围 误 报 次 数医 院 厨 房 钢 铁 厂普通算法模糊算法普通算法模糊算法0.10.237 36 1 00.20.3 25 19 2 00.30.4 14 21 0 00.40.5 13 10 1 00.50.6 4 6 0 00.60.7 1 3 2 00.70.8 2 1 1 00.80.9 9 2 0 00.91.048 14 1 1第二节 神经网络火灾信息处理方法一、神经元结构模型人工神经网络是由一些简单的处理单元（神经元）组织而成的大规模互联网络,它是现代神经生物学和认知科学对人类信息处理研究成果基础上提出的对人的神经系统的简化、抽象和模拟的模型。神经元是一个多输入、单输出的非线性元件，其处理信号的大致过程为首先完成输入信号与神经元连接强度的内积运算，然后将其结果通过激活函数判决，决定该神经元是否被激活或抑制。图85为神经元的简化结构图。 图85 神经元结构图中：输入信号，输出信号，内部状态的反馈信号，阈值，F表示神经元活动的特征函数。图85的功能可以用下列数学公式描述： （843）F（） （844）上式表示：1、每个神经元都是一个多输入、单输出的信息处理基元；2、神经元的输入分兴奋性输入和抑制性输入二种类型；3、神经元输出有阈值特性，服从“全或无”定律：只有当输入总和超过其阈值时，神经元才被激活，而当输入总和未超过阈值时，神经元不会发放冲动；4、神经元输入与输出之间有固定的时滞，主要取决于突触延搁。由于是固定延时，式中未作考虑；5、神经元本身是非时变。当多个神经元时，可用矢量形式表示为：=F（X+S） （845）其中输入X为N维矢量，输出为M维矢量，W为MN维矩阵，式（843）意指网络连接模型输入层有N个神经元，输出层有M个神经元，有N个内部反馈信号，在特征函数作用下，按阈值控制输出。根据输入输出特性不同，可用不同的特征函数表示，图86列出了几种神经元的特征函数。图86 神经元的特征函数而人工神经元又与生物原形的神经元有所不同，其结构中忽略了许多生物原形神经元的特性，如它没有考虑影响网络动态特性的时间延迟，而是输入立即产生输出；更为重要的是，它不包括同步或异步的影响。但神经元构成的网络仍显示了很强的生物原形特性，这或许是因为它抓住了生物神经元的某些基本特性的缘故。而如果考虑上述特性后会否使神经网络与生物原型有更多的一致性，这还有待研究。各类神经元改变状态的次序有二种：1、同步进行,即各神经元并行计算，同时改变其输出。2、异步进行，又分各神经元改变状态的次序是随机的和有序的二种情况。同步易于理解和处理输出,结论也清楚，异步更接近生物原型，能反映各种复杂的现象。单一的神经元只能完成一些简单的功能，然而一旦构成神经网络就显示出强大的威力。二、神经网络的分类神经网络按结构分：层次型神经网络和互联型神经网络；从学习计算角度分：有教师学习和无教师学习二种。这里先以结构分类说明神经网络的构成方法。（一）、神经网络按结构分类1 层次型神经网络X1层次型神经网络中神经元是分层排列，这种网络由输入层、一层或多层的隐层和输出层组成，每一个神经元只与前一层的神经元相连接，如图87a所示的层次型神经网络通常用于模式识别和自动控制等领域，典型的网络有多层感知器、BP网络和Hamming等。图87 人工神经网络2 互联型神经网络 互联型神经网络中任意二个神经元之间都可能有连接，因此，输入信号要在神经元之间反复传递，从某一初始状态开始，经过若干次的变化，渐渐趋于某一稳定状态或进入周期振荡等其它状态，如图87b所示。互联型神经网络可分为联想存贮模型和用于模式识别及优化的网络。联想存贮模型与计算机中使用的存贮器有很大不同，它可以根据内容进行检索，类似于人的记忆方式，有广阔的应用前景。而后者的网络特别适合用于优化领域，并已获得了很多成果。其中最常用的反馈式人工神经网络为Hopfield网络。（二）、神经网络按学习分类神经网络的卓越能力来自于神经网络中各神经元中各神经元之间的连接权。连接权一般不能预先准确地确定，故神经网络应该具有学习功能。由于它能根据样本（输入信号）模式逐渐调整权值，使神经网络具有卓越的处理信息的功能。1、有教师学习对于有教师学习，神经网络的输出和希望的输出进行比较，然后根据二者之间的差的函数（如差的平方和）来调整网络的权值，最终使函数达到最小。最常见的有教师学习方法是梯度下降法，该方法是根据希望的输出Y(k)与实际的网络输出之间的误差平方最小原则来修改网络的权向量。定义误差函数J(W)： （846）W是网络的所有权值组成的向量。梯度下降法就是沿着J(W)的负梯度方向不断修正W(k)的值，直至J(W)达到最小值。梯度下降法可用数学式表述成 （847）式中：WW(k) ；是控制权值修改速度的变量，即步长。2、无教师学习对于无教师学习，当输入样本模式进入神经网络后，网络按预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类的功能。常见的无教师学习方法是Hebb学习规则，该规则假设：当两个神经元同时处于兴奋状态时，它们之间的连接应当加强。令表示神经元i到神经元j的当前权值，表示神经元i,j的激活水平，则Hebb学习规则可表述成 （848）对于图85的人工神经元，有 （849） （850）于是Hebb学习规则可进一步表述成 （851）三、反向传播算法（BP算法）BP网络是由多层感知机发展起来的层次型网络，Kolmogorov定理证明了一个三层BP网络可以任意精度逼近一个0,1范围内的任意函数，故反向传播算法在神经网络算法中，是研究得最多和应用得最广的一种学习算法，是一种典型的误差修正方法。其基本思路是：把网络学习时输出层出现的与“事实”不符的误差，归结为连接层中各节点间连接权和阈值的“过错”，通过把输出层节点的误差逐层向输入层逆向传播，以“分摊”给各连接节点，从而可算出各连接节点的参考误差，并据此对各连接权进行相应的调整，使网络适应要求的映射。本节仅讨论其算法原理和推导方法。（一）反向传播算法的导出 BP算法基本上用于图88所示的BP神经网络，相同层的神经元之间没有连接。这里，用图中表示的符号来导出BP算法。 将输入信号输入网络，经过中间层传向输出层。输出层的神经元输出和教师信号的平方误差和定义为： （852） 式中， 表示输出层神经元的输出，表示输出层神经元的输入和，分别为： （853） （854）图88 层次结构的神经元网络 应用最小二乘平均原理，先求中间层和输出层间的权值的更新量 （855）式中，为正的常数，为输出层神经元的值。当为中间层神经元的输出，为中间层神经元的输入和时，输入层与中间层间的权值更新量有： （中间层神经元的输出） （856） （中间层神经元的输入和） （857） 同样，可求得： （858） 式858取的和，是因为所有的直接依存于。为学习常数。 BP算法中，除了这样对一个模式逐次进行权值更新的方式外，还将修正量在全部训练模式上归纳，同时进行权值更新的批学习方式，多数情况下逐次更新方式更好一些。反向传播算法的步骤可概括为选定权系数初值和重复下述过程，直到收敛： 对k=1到N正向过程计算：计算每层各单元的Okjl-1，netkjl和，k=2,N 反向过程计算：对各层(l=L-1到2)，对每层各单元，计算kjl 修正权值 （859） 其中 （860）1 神经元输入输出函数 BP算法中的神经元输入输出函数应该满足的条件为单调增函数，最常用的是下面的S函数： （861） 图89表示了该函数（Sigmoid函数）及其微分值的大致形状。图89 Sigmoid函数及其微分值 那么在这里考察一下BP的权值更新公式。比如，公式855和公式858为：（更新量）（学习系数）（误差）（Sigmoid函数微分值）（神经元输出）实际上，对Sigmoid函数进行微分，有 （862） 可以看出，神经元输出在0或1附近时，更新量变小，使得稳定性增强。这样的方法在数理规划中经常用到。 下面讨论对神经元输出范围的影响。式8-61的神经元输入输出函数中，神经元输出在（0,1）区间内，但极其接近0或1的情况却经常发生。这样权值的更新量趋近于0，学习变得很慢。 那么，输出范围为（-1,1）的情形会怎么样呢？这种情况下，神经元的激发即使很弱，也会输出接近-1的值，权值的更新持续进行。因此，神经元输出范围取为（-1,1）,学习时间变短。但是，也有研究指出，网络特性的通用能力会变得较差。2 权值的初始值 权值和偏置项的初始值，用较小的随机数设定的情况比较多。值太大，学习的时间可能很长；反之，如果太小，神经元的输入和很难增大，也要花很长的学习时间。 当所使用的输入输出函数为奇函数神经元模型时，初始值设定针对不同的神经元而不同，理论上在-a/(给神经元输入的权值的数量)，a/(给神经元输入的权值的数量)范围内比较好，这里的a为1位的常数。（二） BP网络的训练步骤为了应用神经网络，在选定所要设计的神经网络的结构之后(其中包括的内容有网络的层数、每层所含神经元的个数和神经元的激活函数)，首先应考虑神经网络的训练过程，下面用两层神经网络为例来叙述BP网络的训练步骤。1 用均匀分布随机数将各权值设定为一个小的随机数，如W(0)=-0.2,+0.2；2 从训练数据对x(k),d(k)中，将一个输入数据加在输入端；3 计算输出层的实际输出o(k)；4 计算输出层的误差 （863） 式中m为输出层结点数；5 计算中间层的误差 （864） 式中h为某一中间层的一个结点，H为该中间层的结点数，l为该中间层结点h的下一层的所有结点。6 对网络所有权值进行更新 （865） 式中Wpq为由中间层结点p或输入p到结点q的去反正，op为结点p的输出或结点q的输入p，为训练速率，一般在0.011之间；7 返回2)重复进行。（三）BP算法的几种改进方法 BP算法实质上是把一组样本输入输出问题转化为一个非线性优化问题，并通过梯度算法利用迭代运算求解权值问题的一种学习方法。但是BP算法尚存在一些缺陷，主要是容易形成局部极小而得不到整体最优，且迭代次数多，收敛慢。针对BP算法的缺点，国内外文献提出了一些改进的方法。1 自适应学习率法（1） （866）其中 （867）为期望值，为实际输出值。 （868）式中表示最大学习率(步长)，表示一个小的误差偏移量（）（2） （869） （870） （871） （872）其中 （3） （873）2 共轭梯度法 （874） （875）其中 （876）或 （877）3 变尺度法 标准的BP学习算法所采用的是一阶梯度法，因而收敛较慢。而如采用二阶梯度法，则其收敛性将得到大大改善。二阶梯度法的算法为： （878）其中 （879） 虽然二阶梯度法具有较好的收敛性，但是它需要计算E对W的二阶导数，这个计算量是很大的。所以一般不直接采用二阶梯度法，而是采用变尺度法或共轭梯度法，它们既具有二阶梯度法收敛较快的优势，又无需直接计算二阶梯度。下面给出变尺度法的算法 （880）其中 （881） （882） （883）四、神经网络在火灾探测中的应用（一）日本Nohmi Bosai 公司的Y.Okayama最早提出的火灾探测神经网络方法是采用BP网络的前馈神经网络算法，它分别对光电烟雾、温度和CO等火灾信号进行了研究。三个输入信号分别用表示烟雾,温度,CO的值，并归一化到0，1的范围内。三个输出信号分别表示火灾概率、火灾危险性和阴燃概率，它们分别用表示，输出值范围也是0，1。隐层为一层，有五个单元即，因此，隐层与输入层之间有15条连线，其权值为，隐层与输出层之间也有15条连线，其权值为。从输入到隐层的和定义为 （884）隐层的输出由S函数转换到0，1，得 （885）特征函数采用S形函数，并引入形状调节因子。越大，S曲线越接近单位阶跃函数；越小，S曲线越平坦。从隐层到输出层的信号为 （886）由得到网络的输出信号为 （887）式中的意义同如果烟雾信号范围0，1对应020/m，温度信号范围0，1对应010/min，CO信号范围0，1对应0100ppm.。使用一个12种模式的学习定义表，见表8-3，表中D为定义值，R为计算值。用884至887式，通过学习（183次计算）可以得到各权因子如表8-4所示，由此，神经网络的模型便确定下来。通过学习，定义值和计算值的误差基本上没有超过0.1。表83 模式定义序号信号值 火灾概率 火灾危险性 阴燃概率烟雾 温度CODRDRDR10.101.00.700.6610.600.7020.900.80220.30.51.00.900.8850.900.8891.000.03730.100.20.300.2540.200.1870.400.28940.50.10.80.800.8290.800.7860.700.772500.30.10.100.0940.100.0980.1006001.00.400.4530.700.5880.300.37670100.200.1990.300.3070.05080.30.20.50.700.7810.600.7010.300.24790.60.80.80.950.9020.950.9040.050.073100.200.30.600.5420.400.4310.750.756110.100.10.100.1890.050.1190.100.205120.40