1-4295071-神经网络在智能信息处理中的应用

神经网络在智能信息处理方面的研究PAGEPAGE40湖南工学院D012401219彭枫林第一章概述神经网络与智能信息技术处理是当今领衔世界信息技术处理潮流的一门边缘学科。世界主要信息技术大国诸如日.美.德等均不遗余力里在研究这门技术。各国都想通过研究和在这方面的研究的突破在21世纪的信息王国占领一席之地。神经网络是一类新的计算模型，它是模仿人脑神经网络的结构和某些工作机制而建立的一种计算模型。这种计算模型的特点是，利用大量的简单计算单元（即神经元）连成网络，来实现大规模并行计算。神经网络的工作机理是通过学习，改变神经元之间的连接强度。常用的神经计算模型有多层感知机、反传网络、自适应映射网络等。最流行的神经网络学习算法是BP算法（Back-propagationalgorithm）。自1986年美国科学家莫克兰迪发表了"ParallelDistributedProcessing"论著后，从事人工智能、计算机科学、信息科学的许多科学家对人工神经网络掀起了新的研究热潮。1.1神经网络产生的背景人工神经网络（ArtificialNeuralNetworks）理论是在怎样的科学背景下产生的呢？要回答

这个问题，首先要明确什么是“智能”和“智能理论”？虽然到目前为止对“智能”还没有一个统一、确切的定义，但简单说来，智能是指人们认识客观事物并运用知识解决实际问题的能力。它表现为运用知识认识新情况、解决新问题、学习新方法、预见新趋势、创造新思维的能力。智能的高低反映在对客观事物认识的深刻、正确、全面的程度以及运用知识解决实际问题的速度和质量上。有了对

什么是“智能”的解释，就不难推而得知什么是“智能理论”。简言

之，“智能理论”包括两个基本问题：探索人类智能的奥秘（研究人类的认识过程）和运用—从硬件结构上模拟人脑的构成；功能主义——撇开人脑的具体结构，仅从输出输入关

系上构造出与人脑功能相一致的人工智能系统。功能主义成了传统人工智能理论的研究基础人工手段模仿人类的智能行为。在对后一问题的研究上又有两种主导思想：结构主义—。这种理论的核心就是以冯·诺依曼型数字计算机为支持，编制出本领超凡的软件程序，以此达到模拟人脑智能的目的。传统人工智能理论在求解高精度计算问题以及过程模拟、过程控制等方面取得了巨大的成功。但是，这种理论也遇到了许多它无法克服的问题，对此读者可从本书第一章结论中详细了解到。与传统的人工智能理论相对应，以结构主义为主导思想，从分析人脑神经网络的微观结构上入手，抓住人脑结构的主要特征，即大量相对简单的非线性神经元之间复杂而又灵活的联接

关系，深刻揭示人脑认识过程的结构作用的研究——人工神经网络理论研究，成为人工智能理论研究的一大分支。正如本书始终贯穿的一个思想，人工智能理论研究的这两大分支，不是相互替代、相互对立的关系，而是相辅相成、相互补充的关系。它们有着共同的研究基础，这就是对信息的处理；所不同的只是处理方法上的差别。对于人工神经网络理论的研究，从80年代开始获得蓬勃发

展，但人类对这一理论的探索可追溯到1943年，法国心理学家

McCulloch和数学家Pitts合作提出的神经元数学模型，即著名的

M－P模型。这一模型的提出，开创了人工神经网络这一新兴边缘

学科研究的先河。在这之后，有关研究异常活跃，一系列关于神经元及神经网络的模型、计算方法被提出来，并引起学术界的极大兴趣。1.2智能信息处理的产生及发展1.2.1计算智能的产生20世纪90年代以来，在智能信息处理研究的纵深发展过程中，人们特别关注到精确处理与非精确处理的双重性，强调符号物理机智与联接机智的综合，倾向与冲破“无路学式”框架的“新进化论”新路，一门成为计算智能（ComputatiaonalIntelligence）的新学科分支被概括地提了出来了，并以更加明确的目标蓬勃发展。1994年IIIE为了促进多学科渗透和结合，把模糊系统（Fuzzysustems）、和进化计算（eovlutionarycomputation）三个年会合并举行，于1994年6月25日至7日计算智能大会（WWCL），出版了《计算智能、模仿生命》的论文集。大会决定计算智能会议每三年召开一次。此次会议是计算智能的第一次综合性的大会，共收集了来自世界各国学者的约1600篇论文，大会的主题是计算智能。人们会提出这样的问题：人工智能和计算智能有什么不同，有什么关系呢？首次给出计算智能定义的是美国学者JamesC.bezdek。1992年，他在近似推理的国际杂志上论道：计算智能依靠生产者提供的数字材料，而不是依赖于知识，而人工智能使用的是知识精华。Bezdek还说，人工神经网络称为计算神经网络，即“人工”两字应该为“计算”。在人工智能AI和计算只能CI的关系上，Bezdek认为CI是AI的子集，即CI∈AI。而致辞大会主席Jacke.M.Zurada却认为CI不是AI的子集，两者只有部分重合。J.Bezdek在题为“什么是计算智能”的报告中讲到:智能有三个层次,第一层是生物智能(BiologicaIntelligence,简称BI),它是由人脑的物理化学过程反映出来的,人脑是有机物,它是智能的物质基础.第二层是人工智能(ArtificialIntelligence,简称AI),它是生物的,是人造的,常用符号表示,AI的来源是人的知识精华和传感器数据.第三层是计算智能(ComputationalIntelligence,简称CI),它是由数学方法和计算机实现的,CI的来源是数值计算和传感器.以上三者第一个英文字符取出来称之为ABCS.显然,从复杂性看有三个层次,即B(有机)、A(符号)、C(数值)、而且BI包含了AI,AI包含了CI.按Bezdek的看法,AI是CI→BI的中间过度,因为AI中除了计算酸法外,还包含符号表示和数值信息处理.模糊集和模糊逻辑是CI→AI的平滑过度,因为它包含了数值信息和语义信息.他还认为:计算神经网络CNN是一个最底层最基本的环节,也是CI的一个重要基石,组要用于模式识别.CNN由以下四个点决定:功能、结构(连接拓扑和更新策略)、形式(集成和传递的节点函数式)、数据(用于训练/测试的数据).按以上几点,CNN有多种形式,如前馈、自组织以及与Fuzzy结合的模糊神经网络等.目前国际上是提出计算智能就是以人工神经网络为主导、与模糊逻辑系统、进化计算以及信号与信息处理科学的综合集成。我们认为新一代的计算智能信息处理技术是神经网络、模糊系统、进化计算、混沌动力学、分形理论、小波变换、人工生命等交叉学科的综合集成。尽管对计算智能的定义、内容以及与其他智能学科分支的关系尚没有同意的看法,但计算智能的下两个重要特征却是人们比较共同的认识政治；1.计算智能与传统人工智能不同，主要依赖的是生产者提供的数字材料，而不是依赖与知识在；它主要借助数学计算方法（特别是与数值相联系的计算放发）的使用。这就是说，一方面，CI的内容本身具有明显的数值计算信息处理特征;另一方面,CI强调用”计算”的方法来研究和处理智能问题.需情调的是,CI中计算的概念的理解上已经加以拓广和加深。一般地,在接空间进行搜索的过程都被称为计算。2.计算智能这个概念的提出(1992年由美国学者JamesC.Bezdek首先使用),显然远不止于具有科学研究分类学的意义,其积极意义在于促进基于的或基于符号物理想结合的各种的智能理论、模型、方法的综合集成,以便在计算智能这个主题下发展思想更先进、功能更强大、能够解决更复杂问题的大系统的智能科学成果。由此看来,当前计算智能发展的重要方向之一就是不断引进深入的数学理论和方法,以”计算”和”集成”作为学术指导思想,进行更高层次的综合集成研究。这种综合集成研究不仅不局限在模型及算法层次的综合集成的框框,而且还进入了感知层次及认识层次的综合集成。一般来说,智能信息处理可以划分为两大类,一类为基于传统计算机的智能信息处理,另一类为基于神经计算的智能信息处理.基于传统计算机的只能信息处理系统包括智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断系统等.在人工智能系统中,他们具有模仿或代替与人的思维有关的功能,通过逻辑符号处理系统的推理规则一步一步进行计算和操作，目前引用领域很广。基于计算机（包括高速信号处理器开发系统）和人工智能信息处理系统仍在继续向高新技术发展，但其发展速度已不太是适应社会信息数量增长速度已不太适应社会细心数量增长速度的需求，因而促使人们注意到新型智能信息处理系统的研究。人工神经网络是模仿延伸人脑认知功能的新型智能处理系统。由于大脑是人的智能、思维、意识等一切高级活动的物质基础，构造具有脑智能的人工智能信息处理系统，可以解决转同方法所不能或难以解决性、存储的分布性、高度的容错性、结构的可变性、计算的非精确性等特点，它是由大量的简单处理单元（人工神经元）广泛互连而有全新计算结构模型的智能信息处理系统。它可以模仿人脑处理不完整的、不准确的信息、甚至具有主力非常模糊的信息的能力。这种系统能联想记忆和从部分信息中获得全部信息。由于其非线形，当不同模式在模式特征空间的分界面极为复杂时，仍能进行分类和识别。由于其自适应、自学习功能，系统能从环境及输入中获取信息来自动修改网络结构极具连接强度，以适应各种需要而用于知识推广及知识分类。由于分布式存储和自组织性，而使系统连接线即使被破坏50%，它仍能处在优化工作状态，在军事电子系统设备中有着特别重要的意义。因此，基于神经计算的智能信息处理是模拟人类形象思维、联想记忆等高级精神活动的人工智能信息处理系统。总的来说，上述两类智能信息处理系统有何不同呢？可以有传统计算机与神经计算机（即人工神经网络信息处理系统）的主要特征来看出其本质上的区别。1.神经计算机由大量简单圣经处理系统连成，解剖学表明，人脑有1011个神经元，每个神经元相当于一个处理器，神经网络是以网络形式进行计算的并行处理系统。而传统计算机是以冯·诺依曼计算机思想设计的，即使用并行机连接成超高速的信息处理系统，但每个分机仍按一系列指令串行计算工作，且并行机之间的信息原很少有相互协作关系，故在计算原理上两者有本质的差异。2.从存储记忆功能来看，冯·诺依曼计算机中信息与知识是存储在是处理器分开的独立存储器中的，而神经计算机是以各处理器本身的转台与他们的连接形式分布存储信息的，这是神经计算机具有强的自学习性、字组织性和高的鲁棒性。3.传统计算机和人工智能采取逻辑符号推理的途径去研究人类智能的机器化，其智能信息处理系统具有人类的逻辑思维功能，神经网络计算机则以神经员连接机制为基础，从网络结构上去直接地模拟人类的智能，有人类的联想思维功能。其智能信息处理系统具有形象思维灵感，当然也有推理意识诸功能。4.从知识处理来看，在处理能明确定义的问题或运用能明确定义的概念作为知识时，计算机一般具有极快的速度和很高的精度。但是对于无法将知识用明确的数学模型表达，或者解决问题所需的信息是不完整的或局部的，或者问题中许多概念的定义是非常模糊的，例如从人群中迅速识别出一个熟人，从车辆繁忙的马路上迅速决定自己能否通过等，这类智能处理，即使用超级计算机也显得无能为力或相当笨拙，而模仿人脑功能的新型智能信息处理系统就能快速处理。1.2.2智能信息处理的主要技术智能信息处理技术可以分为模糊计算技术和神经计算技术两大类。。模糊计算技术1965年，美国加洲大学伯克分校L。Zadeh教授发表了著名的论文“FuzzySets”（模糊集），开创了模糊理论。经历三十年曲折，这一领域已取得长足的进步，Zadeh也被国际上誉为“模糊之父”。最近十年来，模糊理论又在实际应用中获得重大突破，作为一种高新技术正在迅速发展，预计21世纪它将成为信息科学中的核心技术之一。Zadeh教授当曾提出过一个著名的不相容原理：“随着系统复杂性增加人们对系统进行精确而有效地描述的能力会降低，直至一域直，精确和有效成为互斥”。其实质在于：真实世界中的问题，概念往往没有明确的界限，而转同数学的分类总试图定义清晰的界限，这是一种矛盾一定条件下会变成对立的东西，从而引出一个极其简单而有重要的思想：任何事情都离不开隶属程度这样一个概念。这就是模糊理论的基本出发点。因此可以这样认为，随着系统越来越复杂，当其复杂性达到与人类思维系统可比拟时，传统的数学分析方法就不适应了。神经计算技术脑神经系统是以离子电流机构为基础的由神经细胞组成的非线性的（Nonlinear）、适应的（Adaptive）、并行的（Parallel）和模拟的（Analog）网络（Network），简称NAPA。各个细胞基本上只有兴奋与抑制两种状态。神经细胞的响应速度是毫秒级，比半导体器件要慢的多。神经细胞主要依靠网络的超并行性来实现高度的实时信息处理和信息表现的多样性。神经细胞上的突触机构具有很好的可塑性。这种可塑性使神经网络具有记忆和学习功能。突触结合的连接形成了自组织特性，并随学习而变化，使神经网络具有强大的自适应功能。由于脑神经系统的复杂性，至今还没有可用于分析和设计NAPAN的理论。尽管人们早已经知道在人的大脑中存在着NAPAN，但由于研究NAPAN的难度很大，而且电子计算机的功能已经十分强大，因而人们一直未能对它进行深入的研究。只有在开始注重到数字计算机的局限性的今天，人们才感到必须研究NAPAN，希望通过它能实现崭新的超并行模拟计算机。在这种趋势中，对神经网络模型和学习酸法的研究独具魅力。这种研究把学多简单的神经细胞模型并行地、分层地相互结合成网络模型，提供了实现新的信息处理的一种手段，为建立NAPAN理论提供了一种途径例如对于颜色等感觉信息，在脑内的表现是多种而广泛的多样体，只有采用新的信息处理方法才能对它描述。也就是说，原先靠生理心理实验难以分析高级中枢的信息处行为，由于采用神经网络理论与技术使之成为可能。这里所说的神经网络指的是人工神经网络，它是对真实脑神经系统构造和功能予以极端简化的模型。对神经网络的研究，有助与人类对NAPAN的理解，有助与探明大脑的信息处理方式，建立脑模型，进一步弄清脑的并行信息处理的基本原则，并应用角度寻求工程实现的方法。第二章神经网络的基础知识模拟人类实际神经网络的数学方法问世以来人们早已习惯了把这种人工神经网络直接称为神经网络。神经网络在系统辨识．模式识别，智能控制等领域有着广泛而吸引人的前景。特别在智能控制中，人们对神经网络的自学习功能尤其感兴趣，并且把神经网络这一重要特点看作是解决自动控制中控制器适应能力这个难题的关键钥匙之一。2.1神经网络的基本原理神经网络的基础在于神经元。神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度的线性动力学系统。虽然，每个神经元的结构和功能都不复虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。神经网络模型是以神经元的数学模型为基础来引述的。神经网络模型由网络拓扑．节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：1．并行分布处理。2．高度鲁棒性和容错能力。3．分布存储及学习能力。4．能充分逼近复杂的非线性关系。2.1.1神经网络处理单元一.神经细胞的基本结构一个神经细胞或神经元的结构如图2.1.1-1所示。主要包括：细胞体、树突、轴突和突触。图2.1.1-1神经元的结构1.细胞体细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。2.树突细胞体伸延部分产生的分枝称为树突，树突是接受从其它神经元传人的信息的入口。3.轴突细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。4.突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。突触如图2.1.1-2所示。它由突触前成分，突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间，间隙一般为200—300Å。突触后成分可以是细胞体，树突或轴突。图2.1.1-2突触的结构目前，根据神经生理学的研究，已经发现神经元及其问的突触起码有不同的4种行为。神经元的4种生物行为有：(1)能处于抑制或兴奋状态；(2)能产生爆发和平台两种情况；(3)能产生抑制后的反冲；(4)具有适应性。突触的4种生物行为有：(1)能进行信息综合；(2)能产生渐次变化的传送；(3)有电接触和化学接触等多种连接方式；(4)会产生延时激发。目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。所以，神经网络的研究只是处于起步的初级阶段，后边还有大量的工作等人们去探讨和研究。目前，神经网络的研究已向人们展示了其美好的前景；只要按阶段不断取得进展，神经元和突触的其它行为是完全可以实现人工模拟的。二.神经元的信息处理与传递1.神经元的兴奋与抑制人工神经网络对神经元的兴奋与抑制进行模拟，故而首先应了解神经元的兴奋与抑制状态。一个神经元的兴奋和抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在-50—-100mv之间。在兴奋状态，则产生内正外负的相反电位差，这时表现为约60—100mv的电脉冲。细胞膜内外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为1ms。神经元的兴奋过程电位变化如图2.1.1-3所示。图2.1.1-3神经元的兴奋过程电位变化2.神经元的信息传递及阀值特性对神经细细胞的研究结果表明：神经元的电脉冲几乎可以不衰减地沿着轴突传送到其它神经元去。由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，这时则使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突中。树突上的受体能够接受神经递质从而去改变膜向离子的通透性．使膜外内离子浓度差产生变化；进而使电位产生变化。显然，信息就从一个神经元传送到另一个神经元中。当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。神经元这种膜电位高达一定阀值才产生脉冲传送的特性称域值特性。这种阀值域特性从图2.1.1-3中也可以看出。神经元的信息传递除了有阀域值特性之外，还有两个特点。一个是单向性传递，即只能从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性传递．信息通过突触传递，通常会产生0.5—1ms的延时。3.神经元的信息综合特性神经元对来自其它神经元的信息有时空综合特性。在神经网络结构上，大量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突上，神经元可以对不同来源的输入信息进行综合。这就是神经元对信息的空间综合特性。对于来自同一个突触的信息，神经元可以对于不同时间传人的信息进行综合。故神经元对信息有时间综合特性。4.神经元、突触的D/A、A/D特性从神经元轴突上传递的信息是等幅、恒宽、编码的离散电脉冲信号，故而是一个数字量。但在突触中神经递质的释放和树突中膜电位的变化是连续的。故而，这时说明突触有D/A功能。在神经元的树突膜电位高过一定阀域值时，则又变成电脉冲方式由轴突传送出去。故而，这个过程说明神经元有A/D功能。很明显，信息通过一个神经元传递时，神经元对信息执行了D/A、A/D转换过程。从上面可知，神经元对信息的处理和传递有阀值，D/A、A/D和综合等一系列特性和功能。三、神经元的数学模型从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。工程上用的人工神经元模型如图2.1.1-4

所示。图2.1.1-4

神经元的数学模型在图2.1.1-4

中，X1，X2，……，Xn是神经元的输入，即是来自前级n个神经元的轴突的信息A是i神经元的阎值；Wi1，Wi2……，Win分别是i神经元对X1，X2，……，Xn的权系数，也即突触的传递效率；Yi是i神经元的输出；f[·]是激发函数，它决定i神经元受到输人X1，X2，……，Xn的共同刺激达到域值时以何种方式输出。从图2.1.1-4

的神经元模型，可以得到神经元的数学模型表达式：(2—1)图2.1.1-5

典型激发函数对于激发函数f[·]有多种形式，其中最常见的有阶跃型、线性型和S型三种形式，这三种形式如图2.1.1-5

典型激发函数所示。为了表达方便，令：(2—2)则式(2-1)可写成下式：Yi=F[Ui]；

(2—3)显然，对于阶跃型激发涵数有：(2—4)对于线性型激发函数，有：f(Ui)=Ku；

(2—5)对于S型激发函数，有：(2—6)对于阶跃型激发函数，它的输出是电位脉冲，故而这种激发函数的神经元称离散输出模型。对于线性激发函数，它的输出是随输入的激发总量成正比的；故这种神经元称线性连续型模型。对于用s型激发函数，它的输出是非线性的；故这种神经元称非线性连续型模型。上面所叙述的是最广泛应用而且人们最熟悉的神经元数学模型；也是历史最长的神经元模型。近若干年来，随着神经网络理论的发展，出现了不少新颖的神经元数学模型，这些模型包括逻辑神经元模型，模糊神经元模型等，并且渐渐也受到人们的关注和重视。2.1.2神经网络结构及功能神经元和神经网络的关系是元素与整体的关系。神经元的结构很简单，工作机理也不深奥；但是用神经元组成的神经网络就非常复杂，其功能也十分奥妙。人们平常十分清楚砖头是很简单的，但是用简单的砖头，人们就可以筑造出各种美伦美焕的建筑物；无论是优雅的别墅，亦或是高耸雄伟的大厦，或者是粗旷的金字塔，亦或是庄严肃穆的教堂，无一不是由简单的砖头堆砌而成。简单的神经元也是如此，通过不同方式的连接和信息传递，也就能产生丰富多彩的神经网络结构，创造出令人赞叹的优异功能。一、神经网络神经网络就是由许多神经元互连在一起所组成的神经结构。把神经元之间相互作用的关系进行数学模型化就可以得到神经网络模型。1.神经网络的基本属性神经网络有些基本属性，它们反映了神经网络的特质。(1)非线性人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。(2)非局域性非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。(3)非定常性神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。(4)非凸性神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态。这种属性会使系统的演化多样化。神经网络的全局优化算法就反映了这一点，例如模拟退火法。2.神经网络模型神经网络在目前已有几十种不同的模型。人们按不同的角度对神经网络进行分类，通常可按5个原则进行神经网络的归类。按照网络的结构区分，则有前向网络和反馈网络。按照学习方式区分，则有教师学习和无教师学习网络。按照网络性能区分，则有连续型和离散性网络，随机型和确定型网络。按照突触性质区分，则有一阶线性关联网络和高阶非线性关联网络。按对生物神经系统的层次模拟区分，则有神经元层次模型，组合式模型，网络层次模型，神经系统层次模型和智能型模型。通常，人们较多地考虑神经网络的互连结构。一段而言，神经网络有分层网络，层内连接的分层网络．反馈连接的分层网络，互连网络等4种互连结构，这些结构如图1—6所示。在人们提出的几十种神经网络模型中，人们较多用的是Hopfield网络、BP网络、Kohonen网络和ART(自适应共振理论)网络。(c)有反馈连接的分层网络

(d)互连网络图2.1.2-1

几种神经网络模型Hopfield网络是最典型的反馈网络模型，它是目前人们研究得最多的模型之一。Hopfield网络是由相同的神经元构成的单层，并且不具学习功能的自联想网络。它需要对称连接。BP网络是反向传播(BackPropagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。它可用于语言综合，识别和自适应控制等用途。BP网路需有教师训练。Kohonen网络是典型的自组织神经网络，这种网络也称为自组织特征映射网络SOM。它的输入层是单层单维神经元；而输出层是二维的神经元，神经元之间存在以“墨西哥帽”形式进行侧向交互的作用。因而，在输出层中，神经元之间有近扬远抑的反馈特性；从而使Kohonen网络可以作为模式特征的检测器。ART网络也是一种自组织网络模型。这是一种无教师学习网络。它能够较好地协调适应性，稳定性和复杂性的要求。在ART网络中，通常需要两个功能互补的子系统相互作用．这两个子系统称注意子系统和取向子系统。ART网络主要用于模式识别，它不足之处是在于对转换、失真和规模变化较敏感。二、神经网络信息处理的数学过程神经网络信息处理可以用数学过程来说明，这个过程可分为两个阶段；执行阶段和学习阶段。下面以前向网络情况说明这两个阶段。1.执行阶段执行阶段是指神经网络对输入信息进行处理，并产生对应的输出过程。在执行阶段，网络的连接结构和权系数是已经确定并且不会变化的。这时有：(2—7)Xi(t+1)=fi[ui(t+1)]其中：Xi是前级神经元的输出；Wij是第i个神经元和前级j个神经元突触的权系数θi：是第i个神经元的域值；fi为第i个神经元的非线性激活函数；Xi为第i个神经元的输出。2.学习阶段学习阶段是指神经网络自完善的阶段；这时，网络按一定的学习规则修改突触的权系数Wij，以使到结点的测度函数E达到最小。一般取：E=(Ti,Xi)

其中，Ti是教师信号；Xi是神经元的输出。学习公式可以表示为下面数学表达式：(2—8)其中：Ψ是一个非线性函数；ηij是权重变化率；n是学习时的迭代次数。对于梯度学习算法，则可以采用下面具体公式：(2—9)神经网络对信息的处理一般都需要学习阶段和执行阶段结合，才能实现合理的处理过程。神经网络对信息的学习是为了取得对信息的适应特性，或信息的特征；而神经网络对信息的执行过程是对特征的检索或者是对信息的分类过程。学习和执行是神经网络不可缺少的两个处理和功能。神经网络的各种有效的行为和作用，都是通过这两个关键的过程来实现的。通过学习阶段，可以把神经网络训练成对某种信息模式特别敏感，或具有某种特征的动力学系统。通过执行阶段，可以用神经网络识别有关信息模式或特征。在智能控制中，用神经网络作为控制器，则在学习时就是以神经网络去学习被控对象的特征，从而使神经网络能适应被控对象的输入输出关系；这样，在执行时，神经网络就能以学习到的知识对被控对象实现恰如其分的控制。2.2模糊神经网络在模糊神经网络中，混合模糊神经网络在目前还是表示一种算法，所以它不存在学习问题。所谓学习，是指对逻辑模糊神经网络和常规模糊神经网络而言的。在这一节中，分别介绍逻辑模糊神经网络的学习，算术模糊神经网络的学习方法。2.2.1逻辑模糊神经网络的学习算法在图中，xi，i＝O，1，…，n，是模糊输入信号；Wj，j＝0，1，…，n，是模糊权系数。设Yd是输出的期望值，Yd∈[-1，1]。而Y是模糊神经元的实际输出；则有输出误差e:e-Yd-Y∈[-1,1]执行学习的目的就是修改神经元中的权系数W'和增益参数g。使到输出的误差e最小。学习结构框图如图2.2.1-1所示。图2.2.1-1模糊神经元学习框架如果输入的信号属于[0，1]n+1超立方体空间的，则先变换到[-1，1]n+1超立方体空间。再送入神经元中，神经元的输出Y和给定的期望值Yd比较。产生误差e。学习机构根据误差的情况分别对权系数W和激发函数的增益g进行修改。使神经元的输出Y趋于期望Yd。模糊神经元的学习算法如下:1.权系数W'的学习算法W'(t+1)=W'(t)ORΔW'(t)=S[W'(t),ΔW'(t)]

(2-10)其中ΔW'(t)=Z(t)ANDe(t)=T|Z(t),e(t)|2.S函数的增益g的学习算法g(t+1)=g(t)ORΔg(t)=S|g(t),Δg(t)|

(2-11)其中Δg(t)=u(t)ANDe(t)=T[u(t),e(t)]图2.2.1-2模糊神经元的学习结构在上面式(2-10)中，结出了模糊神经元权系数学习的算法；它也表示了一种模糊神经结构的实际模型。如果认为权系数是外部输人和树突输入之间的模糊关系，那么，模糊神经网络是可以通过经验进行学习的。

在上面式(2-11)中，修改g实际上是修改激发的灵敏度。因为参数g影响S函数的斜率，很明显也就影响神经元受激发的灵敏度。模糊神经元的学习结构如图2.2.2-2所示。在图2.2.2-2中，很明显有2个学习环节，一个是权系数W'的学习环节，另一个是增益g的学习环节，它们是相互独立的。在这两个环节中，其中的Z-1处理框图是表示延时一个采样周期，故而它的输入为W'(t+1)时，输出为W'(t)；输入为g(t+1)时，输出为g(t)。就是说这时Z-1的z是脉冲传递函数的符号；而不是双极信号z(t)中的信号。2.2.2算术模糊神经网络的学习算法算术模糊神经网络也称常规模糊神经网络，对算术模糊神经网络的学习算法随着这种网络的提出也同时提出了，但在这方面的研究方法有多种，而这些方法各有特点；在不同的场合和条件下有各自的优点。1992年，Buckley和Hayashi提出了模糊反向传播算法；同时．Ishibuchi等人提出了基于。截集的反向传播法。1994年，Buckley和Hayashi提出模糊神经网络的遗传算法。1995年，Ishibuchi等人提出了具有三角模糊权的模糊神经网络的学习算法。还有人提出了一些其它的算法。在各种学习算法中，较有实际意义的是具有三角模糊权的模糊神经网络的学习算法．和遗传学习算法。对于模糊数N的α截集，用N[α]表示，并且有：(2-12)其中：N(n)是隶属函数，R是全体实数集。

由于模糊数的水平截集是一个闭区间，故α截集N[α]可以表示为(2-13)其中nL(α)是N[α]的下限值；

nu(α)是N[α]的上限值。

根据区问算法，模糊数的运算可以写成α截集的运算(2-14)(2-15)在bu(α)>bL(α)>0的情况中，则式(2-15)化为(2-16)一.模糊神经网络输出的计算考虑一个三层的前向神经网络，用I表示输入层，H表示隐层，O表示输出层。假设其输入、输出、权系数和域值都是模糊量；其中输人、输出是任意模糊量，但权系数和阀值是三角模糊量。这种模糊神经网络如图2.2.2-1所示:图2.2.2-1模糊神经网络很明显，对于图2.2.2-1所示的网络有如下输入输出关系，输人层的输出为Ii:

Ii=Xii=1,2,...,nI

(2-16)隐层的输出为Hj： Hj=f(Uj),j=1,2,...,nH

(2-17)(2-18)输出层的输出为Ok：

Ok=f(Uk),k=1,2,...,nO

(2-19)(2-20)在上面(3—16)到(2-20)式中，Xi是模糊输入，Wji，Wkj是模糊权系数，θj，θk是模糊域值。为方便计算，在图2.2.2-1所示的模糊神经网络中，采用水平截集进行计算。对于α截集，则模糊神经网络输入输出关系可以写为下面式子：对于输入层，有Ii[α]=Xi[α]

(2-21)对于隐层，有Hj[α]=f(Uj[α])

(2-22)(2-23)对于输出层，有Ok[α]=f(Uk[α])

(2-24)(2-25)从上面(2-21)到(2-25)式中，可以看出：神经网络的模糊量α截集输出是由输入，隐层和域值的α截集计算出来的。在输入的模糊量的α截集Xi[α]是非负的，即有Xi[α]=[XL(α),XU(α)]

(2-26)并且0≤XL(α)≤XU(α)从而，对于输入层，隐层及输出层，可以用下列式子计算：1.对于输入层:Ii[α]=Xi[α]=[XiL(α),XiU(α)]

(2-27)2.对于隐层：Hj[α]=[hjL(α),hjU(α)]

=[f(UjL(α)),f(UjU(α))]

(2-28)其中(2-29)(2-30)3.对于输出层Ok[α]=[OkL(α),OkU(α)]

=[f(UkL(α)),f(UkU(α))]

(2-31)其中(2-32)(2-33)二.模糊神经网络的学习在模糊神经网络的学习中首先要给出目标函数，然后给出学习算法公式，再给出学习步骤。图2.2.2-2目标函数1.目标函数考虑对应于模糊输人Xi，i＝1，2，…，nI，有目标输出Tk，k＝1，2，…，nO；对于网络的第k个输出端Ok的α截集以及相应的目标输出Tk，可以定义目标函数e。在图2.2.2-2中，取Ok和Tk的α截集的上限值和下限值的误差的平方，并用α值进行加权作为目标函数e，有ek(α)=ekL(α)+ekU(α)

(2-34)其中：ekL(α)是Ok和Tk的α截集的下限值的误差平方的。加权值(2-35)ekU(α)是Ok和Tk的α截集的上限值的误差平方的α加权值(2-36)从而Ok和Tk的α截集的目标函数可以定义为e(α)(2-37)则输入输出对Xi，Tk的目标函数可以给出如下：(2-38)2.学习算法假设三角模糊权系数Wkj，Wji可以用三个参数表示，即Wkj=(WkjL,WkjC,WkjU)

(2-39)其中：WkjL是权系数的最小值，即其零截集的下限值；WkjC是权系数的中值，即其顶角所对应的值；WkjU是权系数的最大值，即其零截集的上限值；Wji=(WjiL,WjiC,WjiU)

(2-40)其中参数的意义和Wkj中的类同。很明显，有(2-41)(2-42)由于Wkj是表示隐层和输出层之间的权系数，可以先考虑其学习算法。根据梯度法．可以用目标函数对Wkj进行修正：(2-43)(2-44)其中：η是学习常数，β是修改常数。在上面式(2-43)，(2-44)中，说明利用目标函数e修改权系数的零截集下限值WkjL以及上限值WkjU；故而也就修改了权系数Wkj。很明显，在式(2-44)(2-44)中，关键在于求取从e(α)的定义可知：e(α)必定是权系数Wkj的函数，故而也是Wkj的α截集的上下限值的函数，即有e(α)=g(WkjL(α),WkjU(α))

(2-45)而WkjL，WkjU分别是Wkj的零截集的上下限值，则可知：WkjL(α)是WkjL或WkjU的函数；WkjU(α)也是WkjL或WkjU的函数。从全微分的角度则有：(2-46)(2-47)为了求式(2-46)(2-47)的结果，很明显，需要求出WkjL、WkjU和WkjL(α)、WkjU(α)之间的关系。由于权系数Wkj是一个三角对称模糊数，它的形状如图2.2.2-3所示。图2.2.2-3WkjL、WkjU和WkjL(α)、WkjU(α)的关系示意在图2.2.2-3中，可以看出有:即有

X=α.Y故有即最后有(2-48)(2-49)把式(2-48)(2-49)改写为下列形式(2-50)(2-51)上两式则明显说明WkjL、WkjU和WkjL(α)、WkjU(α)的关系。

从而式(2-46)(2-47)则为：(2-52)(2-53)很明显，要求取ae(α)/aWkjL，ae(α)/WkjU的结果，应首先求出ae(α)/aWkjL(α)和ae(α)/WkjU(α)的结果。由于从式(2-21)—(2-26)可知：e(α)、UkL(α)和WkjL(α)之间，e(α)、UkU(α)和WkjU(α)之间有一定的函数关系。故而有：(2-54)(2-55)考虑：由于

OkL(α)=f(UkL(α))而故而f'(X)=f(X).(1-f(X))(2-56)(2-57)对于aUkL(α)/aWkjL(α)和aUkU(α)/aWkjU(α)，应考虑WkjL(α)和WkjU(α)的值不同的情况。当0≤WkjL(α)≤WkjU(α)时(2-58)(2-59)当WkjL(α)≤WkjU(α)≤0时(2-60)(2-61)当WkjL(α)<0≤WkjU(α)时(2-62)(2-63)很明显；从式(2-52)—(2-63)则能求出的值，从而式(2-43)、(2-44)可解。最后，对称三角形模糊权系数Wkj可以用下面公式进行学习校正WkjL(t+1)=WkjL(t)+ΔWkjL(t)

(2-64)WkjU(t+1)=WkjU(t)+ΔWkjU(t)

(2-65)(2-66)在校正之后．有可能出现WkjL>WkjU的情况，这时．令WkjL(t+1)=min{WkjL(t+1),WkjU(t+1)}WkjU(t+1)=max{WkjL(t+1),WkjU(t+1)}对于模糊权系数Wji和模糊域值θj，θk．也可以采用模糊权系数Wkj的校正方法进行校正。3.学习步骤假设有m个模糊向量输入输出对(XP，TP)，P＝1，2，…，m；用于神经网络学习的截集有n个，即α1，α2，α3...，αn，在这种条件下，模糊神经网络的学习算法如下步骤：(1)对模糊系数和模糊域值取初值。(2)对α＝α1，α2，α3，...，αn，重复执行第(3)步。(3)对I=1，2，…’m；重复执行下列过程：正向计算：对应于模糊输入向量Xp，求其输出模糊向量Op，并计算Op的。截集上下限。反向传播：用目标函数e(α)，校正神经网络的模糊权系数和模糊域值。如果预定的结束条件未能满足，则返回第(2)步；否则校正结束。第三章神经网络控制神经网络控制的研究始于20世纪60年代，1960年，widrow和Hoff首先把神经网络用于控制系统。Kilmer和McCulloch提出了KMB神经网络模型，并在“阿波罗”登月计划中应用取得良好的效果。1964年，widrow等用神经网络对小车倒立摆系统控制取得了成功。70年代神经网络研究处于低谷，所以神经网络控制没有再发展。在80年代后期开始，神经网络控制随着形势发展至重受到重视．但大多数集中在自适应控制方法上。目前，正朝智能控制深度的方向发展。3.1神经网络控制系统的结构神经网络的非线性，学习功能，并行处理和综合能力，使到它十分适用于智能控制：神经网络控制系统的形式很多。英国Glasgow大学K.J.Hunt等神经网络控制系统分为监视控制、直接逆控制、模型参考控制、内部模型控制、预测控制、适应控制等。IEEE神经网络协会出版刊物主席ToshioFukuda教授和“神经计算应用手册”作者P.J.Werbos则把神经网络控制系统主要分成如下五大类：1.监视控制(SupervisedControl)2.逆控制(InverseControl)3.经适应控制(NeuralAdaptiveControl)4.实用反问传播控制(Back—propagationofUtility)5.适应评价控制(AdaptiveCritics)根据这五大类的划分情况，神经网络控制系统有五类不同的结构；而且，神经网络在控制系统中的位置和功能有所不向，学习方法也相异。3.1.1监视控制系统用神经网络模拟人的作用而组成的控制器去对被控对象执行控制称为监视控制。在很多情况中，人们可以根据对象的输出状态而提供恰当的控制信号，从而实现良好的控制；也即是说人们在系统中能执行反馈控制作用。往往在这种情况中，无法取得对象的分析模型；也即是说，用标准的控制技术无法设计出合适的控制器。

由子交替逼近的专家系统可以用于提供知识表达和控制形式；所以．神经网络可以用于模拟人的作用的控制器中。监视控制系统的结构如图3.1.1-1中所示。从图中可知：神经网络的功能在于取代人的控制作用。图3.1.1-1监视控制系统的结构在监视控制系统中，神经网络需要脱机进行训练。训练时是采用一系列示教数据的，这些数据是人们执行人工控制时的输入输出数据。输入数据一般是传感器所检测出的数据，输出数据则是人所确定的数据。也就是说，神经网络的学习是执行传感输入到人工控制作用的影射。这种控制在机器人控制等领域中有相当大的作用。3.1.2逆控制系统逆控制系统有时也称直接逆控制系统。在逆控制系统中，如果被控对象的模型用F表示，那么，神经网络所构成的控制器的模型则是F-1，也即是说是一个逆模型。逆控制系统的结构如图3.1.2-1所示图3.1.2-1逆控制系统的结构如果被控对象的模型可以表示为Fy=F(u)

(3.1)那么，逆控制系统中神经网络控制器的模型则为F-1:u=F-1(y)

(3.2)在实际上，被控对象可以是一个未知的系统；在被控对象输入端加入u*，则其输出就会产生y*。用y*作为输人，u*作为输出去对神经网络进行训练．则得到的神经网络就是被控对象的逆模型。在训练时，神经网络的实际输出用u’表示。则用(u'-u*)这个偏差可以控制网络的训练过程。一般来说，为了获取良好的逆动力学性能．通常在训练神经网络时所取值的范围比实际对象的输入输出数据的取值范围要大一些。在逆控制系统中，神经网络直接连在控制回路作为控制器用。则控制效果严重地依赖于控制器对对象逆向模型的真实程度。由于这种系统缺少反馈环节；所以，其鲁棒性严重不足。对于要求有—定鲁棒性的应用目的，这种控制系统则存在问题。一般而言．通过在线学习可以在一定程度克服其鲁棒性不好的问题。在允许在线学习的情况中．在线学习可以调整神经网络的参数．使神经网络对逆模型的真实度提高。直接逆控制在机器人中应用较为广泛。3.1.3神经适应控制系统神经网络模型参考适应控制系统的结构如图3.1.3-1所示。它由参考模型M，非线性对象P，神经网络Nc，神经网络Ni等四个主要环节组成。神经网络模型参考适应控制简称NMRAC(NeuralModelReferenceAdaptiveControl)．在系统结构中，参考模型M是期望模型，其输出ym是期望输出。参考模型M由下式描述：M={r(t),ym(t)}

(3.3)图3.1.3-1神经网络模型参考适应控制系统的结构神经网络Ni是非线性对象P的辩识器。它主要是利用对象P当前和以前时刻的输入输出数据来预报下一时刻对象的输出。预报输出Yp和对象输出yp的伯差ei反映了预报的准确度：(3.4)神经网络Nc是控制器。它根据自身输出，对象输出和给定信号r而产生下时刻的控制信号u。Nc通常是Ni对对象辨识之后所得到的对象逆模型。NMRAC控制的目的在于产生一个恰当的控制信号u(k)，使对象输出yp和参考模型的输出ym的偏差小于给定误差值c，即(3.5)yp和ym的偏差用ec来表示，可以写下式：ec(k)=yp(k)-ym(k)(3.6)如果ec＝0．则说控制结果和期望值一样。在NMRAC控制系统中，首先对辨识器Ni进行训练，预报偏差ei用于训练Ni。如果学习之后，Ni能精确地描述对象P，并P的逆模型存在；那么，则有Ni输出yp(k+1)：(3.7)设参考模型为ym(k+1)=h[ym(k),ym(k-1),ym(k-s)]+r(k)

(3.8)则有逆模型(3.9)以ym(k+1)取代yp(k+1)，代入式(3.9)有u(k)=g-1{h[ym(k),ym(k-1),,ym(k-s)]+r(k)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.10)为了构成控制器，用对象输出yp取代式(3.10))中的参考模型输出ym，有u(k)=g-1{h[yp(k),yp(k-1),,yp(k-s)]+r(k)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.11)用式(3.11)就可以组成神经网络控制器Ne。显然，控制器Nc的输入由三部分组成，即是给定r(t)，对象输出yp(t)和控制器的输出u(t)。如果对象P的逆模型难以用式(3.10)表示，那么．可以用辨识器Ni的输出和参考模型M输出的偏差；或者对象输出和参考模型的偏差ec＝yp(k)—ym(k)对神经网络Nc进行训练．从而最终确定Nc。神经网络自校正控制简称NSTC(NeuralSelf-TuningControl)。在这种控制方式中，神经网络是一个自校正调节器。设对象模型和式(3.7)式同，则有yp(k+1)=f[yp(k),yp(k-1),,yp(k-n)]+g[u(k),u(k-1),,u(k-m)]

(3.12)

如果对象的逆模型存在，则得u(k)=g-1{yp(k+1)-f[yp(k),yp(k-1),yp(k-n)]}-g'[u(k-1),,u(k-m)](3.13)在g-1[·]和g’[·]未知时，可以采用两个神经网络通过学习来逼近。则所得的神经网络控制器就是一个自校正控制器。这个系统就是NSTC系统。在系统中，要求yp(k+1)向I(k+1)逼近，故而上式(3.13)可写成：u(k)=g-1{r(k+1)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.14)NSTC系统的结构如图3.1.3-2所示。很明显图3.1.3-2NSTC系统的结构神经网络控制器Nc是出实现g‘和g功能的两个网络组成的。学习训练时，用偏差信号。ep=r(k+1)-yp(k+1)来描述神经网络对逆模型的逼近程度。3.1.4实用反向传播控制和适应评价控制实用反向传播控制和适应评价控制是用神经网络实现最优控制的通用方法。这两种方法有着不同的思想。一、实用反向传播(Back-propagationofutility)控制实用反向传播是依时间反向传播的一种扩展算法。由Werbos提出的依时间反向传播(Back—Propagationthroughtime)是一种通常用于训练循环网络的算法。在其基础上发展的实用反向传播在控制系统上可以形成间接逆控制系统。这种系统如图3.1.4-1所示。图3.1.4-1实用反向传播控制实用反向传播在目前要很透彻描述还存在一定困难；但是，它毕业是—种具有多方面应用潜力的方法。二、适应评价控制适应评价(AdaptiveCritics)概念是增强学习(ReinforcementLearning)的扩充方法。增强学习是Barto等人提出来的；它用两个神经网络执行工作。适应评价控制的结构如图3.1.4-2所示。图3.1.4-2适应评价网络适应评价的学习机构由一个联想搜索单元ASE(AssociativeSearchElement)和一个适应评价单元(AdaptiveCriticElement)组成。在学习时，ASE在增强反馈的影响下通过搜索求取输入与输出的相联关系；ACE构成比增强反馈单独可以提供的更丰富的信息评价函数。在这种学习算法中，ASE是作用网络；ACE是评价网络；并且无需被控过程的模型。这种由两个网络组成的适应评价算法已经在很多小的控制问题上取得了很好的效果。但是，由于评价的输出J用于表示总效果，也即表示评价结果；而评价结果不足以确定作用网络在学习中寻优的方向。所以，在大的控制问题还有各种困难。和实用反向传播一样，适应评价在目前还存在不少困难；但是它仍是一种有潜力的方法。3.2神经网络控制器与学习在神经网络控制系统中，有时需要对对象进行仿真；所以，在系统中设置有神经对象仿真器NPE(NeuralPlantEmulator)；同时，在系统中还有神经控制器NC(NeuralController)。不论对象仿真器PC，还是神经控制器NC，都需要学习；而对于控制系统中，联机学习是最重要的。在这一节中，介绍对象仿真器，神经控制器，学习训练的结构，联机学习方法及算法。3.2.1对象仿真器及神经控制器在控制中，大量采用多层前向神经网络。多层神经网络MNN(MultilayerNeuralNetwork)可以认为是一个有映射学习能力的结构。基于映射能力，得到两种通用的神经控制结构：即对象仿真器PE和神经控制器NC。对于一个单输人单输出的过程，从数字控制技术可知有如下离散数学模型：y(k+1)=f[y(k),y(k-1),,y(k-P+1),u(k),u(k-1),,u(k-Q)]

(3.15)其中：y是输出，u是输入，k是离散时间系数，P，Q是正整数．f[·]是函数。在很多情况中，对象的输入信号u是在幅度上范围有限的；既存在下限um和上限uM对于任何k，有um≤u(k)≤uM

(3.16)在描述对象的式(3.15)中，对应P，Q的估计值分别用P，q表示。一、对象仿真器PE对象仿真器PE的作用和意义如图3.2.1-1(a)所示。；图3.2.1-1(b)表示PE框图。从图中看出，用多层神经网络MNN组成的PE有p+q+1=m个输入，一个输出。它可以用于对式(3．15)描述的对象进行仿真。PE的映射功用ΨE(.)表示，输出用yE表示当输入为m维向量XE(k)，XE(k)=[y(k),,y(k-p+1),u(k),,u(k-q)]T

(3．17)则仿真器PE有输出：yE=ΨE(XE)

(3.18)(a)(b)图3.2.1-1对象仿真器PE二、神经控制器NC神经控制器NC的作用和意义如图3.2.1-2所示。图3.2.1-2(a)是NC在系统中的位置，图3.2.1-2(b)是NC框图。假定由式(3．15)所描述的过程对象是可逆的，则会存在函数g[·]，并且有u(k)=g[y(k+1),y(k),,y(k-p+1),u(k-1),u(k-2),,u(k-Q)]

(3.19)以神经网络可实现式(3.19)所描述的对象逆模型。并且，输入为m维向量Xc，输出为Uc，则输出输入关系表示为Uc=ψc(Xc)

(3.20)其中：ψc为输入输出映射。

如果ψc(·)的输出逼近g(·)的输出．则逆模型的神经网络可以看作是控制器。在k时刻，假设输入xc(k)为Xc(k)=[r(k+1),y(k),,y(k-p+1),u(k-1)...,u(k-q)]T

(3.21)在上式(3.21)中，以给定输入r(k+1)取代未知的y(k+1)；p和q分别是P和Q的估值。根据式(3.20)，则神经网络控制器NC有输出uc(k)=ψc[r(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]

(3.22)在神经网络控制器NC的训练结果足以使输出偏差e(k)＝r(k)-y(k)保持为一个很小的值时．则有Xc(k)=[r(k+1),r(k),...,r(k-p+1),u(k-1),...,u(k-q)]T

(3.23)在上式中，是以r(t)取代y(t)；这个式子明显突出了神经网络控制NC的前馈特性。(a)(b)图3.2.1-2神经控制器NC3.2.2学习训练的结构在神经网络控制器的训练中，一般要求对象输出的偏差e(k)＝r(k)—y(k)所定义的偏差函数J最小化。为了能采用梯度法进行学习，同时还需考虑J对NC输出的微分，即δ=—3J／Juc。有S之后，通过BP算法就可以改善NC的权系数。在这种基础上，考虑直接逆控制，直接适应控制和间接适应控制的训练结构。直接逆控制中的神经网络控制器NC是对象的逆模型。因此，可以通过图3.2.2-1所示的结构训练逆模型。图3.2.2-1直接逆控制训练结构在K+1时刻，设神经网络控制器NC的学习输入为Xc*(k)Xc*(k)=[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]T

(3.24)则神经网络控制器NC有输出Uc(k)uc(k)=ψc[Xc*(k)]

(3.25)即有uc(k)=ψc[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]

(3.26)对于NC而言，有训练输出偏差ecec(k)＝u(k)一uc(k)

(3.27)定义偏差函数J为J(k)=0．5[ec(k)]2=0．5[u(k)—uc(k)]2

(3.28)则J对uc的导数为δk(3.29)很明显，这种训练结构用BP算法是十分方便的。第四章神经网络在智能信息方面的应用人脑是自然界中存在的非常有效的语音识别系统。人工神经网络是对生物神经网络的简化的模拟，它保持生物神经网络的许多特性，而又便于在计算机上实现。因此，用人工神经网络构识别系统有可能在人工语音识别系统的实时性和准确率等方面取得进展。也正是由于神经网络这些优点，人们在神经网络语音识别领域或进行了许多研究。4.1语音的神经网络识别技术芬兰科学家Kohonen使用他所提出的著名的神经网络模型构成了一种神经网络语音识别器并用于芬兰语和日语的是被。这里我们可用Kohoonen神经网络模型来设计研制一个汉语语音是被系统。系统由语音信号出发器、5.3KHz低通滤波器、12bit模数转换器、微机等组成(如图4.1-1)。话筒触发/LPFA/D话筒触发/LPFA/DFFT滤波器阵Kohonen神经网络阵列参考匹配模板终端显示识别结果图4.1-1语音识别系统4.2基于玻耳兹曼机的音素识别统计玻耳兹曼机为求熵的全局稳定状态而采用退火方法的计算量是十分庞大的，所以尽管它在理论上很完善，但在语音识别等应用中却显得并不实用，作为这种玻耳兹曼机的改进，有人提出了一种基于均场理论的算法模型。在该模型中，神经元，神经元取连续值且不断改变，这个模型被称为DBM模型（DeterministicBoltzmannMachine）。这里简单介绍一下DBM算法在声爆破中的应用。该算法的学习过程分两个阶段，即正向阶段和负向阶段。在正向阶段中，输入层单元值是固定的（对应于输入功率谱模式的值），而隐层和输出层的神经元值则根据下述的逐次确定算法逐步变更值到实现稳定状态。在负向阶段中，输出层单元的值也是先对应于输入模式固定于1或0，然后再逐步变更。在上述两个阶段中，自由状态的神经元值都按式(4.1)进行计算(4.1)式中Oi是神经元I的状态值，Wij是神经元I和神经元j间的连接全重，б是Sigmoid函数，通过计算要使自由F逐渐变小。F的表达式为F=-(4.2)在DBM模型中，由于不进行模拟退火处理，所以系统仅存在着能量局部最小的可能。但是和B-P算法一样，在实际应用中问题不是很大。在逐次计算中，全重Wij是按下式更新的△Wij=ε(O+iO+j-O-iO-j)(4.3)式中ε是计算步长，O+i是正向阶段中神经元I的兴奋值，O-i则市负向阶段中神经元i的兴奋值。实验中的学习样本是从单词音中的/b，d，g/中抽选出来的682个样本，另外抽选出来的658个/b，d，g/语音数据则供识别评价用。由于网络的初始值对识别率有影响，所以实验所得到的识别率在98.2%-99.1%之间变动，学习次数则在37-55次之间变动。上述识别率十分接近基于B-P方法的TDNN模型和下面将要介绍LVO2 模型的识别率。用微机，DBM模型学习大约需要6h左右，这比TDNN模型的学习时间大几十倍。但是，由于玻耳兹曼机采用熵（自由能量）这种更一般的尺度来进行判别，所以是一种B-P方法通用性更好的很有前途的方法。4.3基于矢量化器（LVQ）方法的音素识别采用Kohonen网络进行语音识别的方法被视为是一种传统的用多参照矢量进行模式匹配的手法。Kohonen网络的核心在于用统的计学习方法有效地建立矢量空间类别判定边界，其中，所用的矢量以及矢量间距离的选择对于类别判定能力是十分重要的。发音者 样本 识别数识别率 b 4 MAU d 4 93.3 g 3 b 5MHF d 0 98.7 g 8 b 8MHM d 1 97.8 g 5表4.3-1识别结构通过上述的介绍可以看到基于神经网络的语音识别正在从基于B-P模型的音素识别向采用更优秀的网络模型的连续语音识别或不特定说话者的语音识别进展，这显然是今后的一端时间内语音识别领域中的神经网络研究的方向。辅音LVQ2K-means误识数识别率（%）平均（%）平均（%）b5/22797.897.7%914.5%d4/17997.8g14/25294.4p9/1540.0t10/44097.7k151/116398.7m4/48199.2n6/26599.7N12/48897.5s17/53896.8sh0/316100h5/20797.6z8/11593.0ch7/12394.3ts6/17796.6τ9/72298.8W3/7896.2y8/17498.3表3.3-2实验结果4.4小波神经网络信息融合故障诊断处理小波变换具有时域局部化特性，神经网络具有非线性映射特性，将小波变换和人工神经网络的优点结合起来，用加权法实现细心的初级融合，用小波变换实现特性提取，再用神经网络实现细心的二极融合，这种融合方法可用于细心分类、故障诊断分析等方面。一、引言随着设备自动化程度和复杂性的提高，设备运行的安全性和可靠性也越来越重要。这就需要新的状态监测和故障诊断方法与之相适应。采用能够全面反映设备状态的多个传感器，并多传感器信息进行有效的融合和综合是解决问题的有效途径。在以往的监测系统，虽然有的采用了多个传感器，但各传感器信息通常是单独处理的，很少对信息进行融合与综合处理。因此监测系统的可靠性和诊断的有效性有待提高。多传感器信息融合和综合是在机器人领域率先提出的，是指经过集成处理的多传感器信心进行合成一个完善和准确地反映被测对象特征。机械设备发生故障时，所测得的信号中含有非平稳成分或时变成分而这些成分又往往直接反映了设备的运行状态。因此基于平稳信号的处理方法就不能有效地提取这些故障特征。小波变换具有时域局部化等特性，适合于非平衡信号和时变信号的特征提取。特别是连续小波变换，可提取信号中所需频段随时间变化的成分，不仅适合于设备稳态信号特征提取，而且适合于状态发生变化的识别，实现故障与征兆之间复杂的非线性映射，但它依赖于特征参数的有效性和网络参数的选取。若将二者结合起来，必将提高诊断准确性。二、基于小波变换特征提取的人工神经网络信息融合方法在信息融合的许多方法中，人工神经网络被认为是很有前途方法。但是，将含有丰富信息并含有噪声的多传感器信号直接应用于人工神经网络，不仅网络结构复杂，计算量大，而且效果也不理想。只有将人工神经网络与有效的特性提取方法结合起来才可能获得满意的效果。鉴于小波变换Wx（s，t）是将信号x（t）与一个在时域和频域都具有良好局部化特性的伸缩小波函数Ψs(t)=进行卷积，即(4.4)可提取x（t）信号有Ψs（t）频谱所确定的成分。当给Ψs（t）乘以频移因子，小波变换(4.5)恰能用于提取x（t）中特征频率ω1频带（由Ψs（t）频谱确定）的状态信息，又由于设备状态变化或者出现故障时，Ψs（t）的带通特性适应特征频率成分的活动。因此，小波变换可用于故障诊断中特征提取。若需提取较宽频带的成分，可用组合小波实现。网络性能的好坏主要取决于小波变换特征成分的提取、特征参数的选择以及网络结构。在实际应用中，适当调整几次，就可达到满意的效果。当用标准故障模式对网络训练后，可循环采集多个传感器的信号进行提取和识别，以准确、实时地诊断故障。特征提取x1(k) i1Wjm特征提取 WmnO1特征提取x2(k) 12特征提取On特征提取xi(k) ij特征提取输入信号小波变换层特征提取层网络输入隐层网络输出层4.4-1网络结构示意图三、旋转机械故障诊断应用实例在转字实验带轴承座的水平和垂直方向安装传感器，所采集的6类转子故障模式振动信号为x1（k），x2（k）包络包络包络包络包络包络包络包络包络包络包络包络 i2 WmnO1x1(k) i3 i4 I5 i6 OnX2(k) i7图4.4-2旋转机械故障诊断网络图在图3.3-2中，利用小波变换提取特征频率成分进行特征提取的小波函数为故障模式输入期望值i1i2i3i4i5i6i7O1O2O3O4O5综合故障1综合故障2座松动座平移座偏斜不平衡0.2380180.3453620.9110240.4531110.5417990.3869680.3340580.3086870.9398660.4578360.6243180.4132301.0000001.0000001.0000001.0000001.0000001.0000000.6121220.4717410.8948870.9695250.9421840.6380680.187530.5837400.8143510.7846920.9617870.7887190.148480.1055460.1348450.2464140.1609870.1231520.260460.1214650.1190060.3140170.2053320.142491110001000100010010000020010000表4.4-1