第三章 神经网络

第三章神经网络第1页，课件共94页，创作于2023年2月神经网络概述OriginsofANNResearch1)McCullochandPitts(1943),Mind-likemachine2)Hebb(1949),Learningmachine3)Rosenblatt(1958),Perceptron4)Widrow&Hoff(1960),Adaline5)Steinbuch(1963),Learningmatrix6)Grossberg&Kohonen(1970),Self-organizing7)Werbos(1974),BPalgorithm8)Hopfield(1982),Recurrent-typeNN9)Kosko(1987),Bidirectionalassociativememory第2页，课件共94页，创作于2023年2月人工神经网络

人工神经网络（ANNs）也称为神经网络（NNs）或称作连接模型（connectionistmodel），是对人脑或自然神经网络（NaturalNeuralNetwork）若干基本特性的抽象和模拟它采用物理可实现的器件或采用现有的计算机来模拟生物体中神经网络的某些结构与功能，并反过来用于工程或其他领域ANNs的着眼点不是用物理器件去完整地复制生物体中神经细胞网络，而是采纳其可利用的部分来克服目前计算机或其他系统不能解决的问题，如学习、识别、控制、专家系统等第3页，课件共94页，创作于2023年2月人工神经网络

神经网络具有以下基本特性：（1）分布存贮和容错性（2）可塑性与自适应性和自组织性（3）并行处理（parallelprocessing）性（4）层次性大量神经元的集体行为（collectivebehavior）并不是各单元行为的简单相加，而是表现出一般复杂非线性系统的特性（如不可预测性、不可逆性、多吸引子、可能出现混沌现象等）和作为神经网络系统的各种性质第4页，课件共94页，创作于2023年2月神经网络的发展概况

初始发展期（1890-1969年）（1）1890年，美国生理学家W.James出版了《生理学》一书，该书首次阐明了有关人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（2）大约经过半个世纪后，McCulloch和Pitts用已知的神经细胞生物基础，描述了一个简单的人工神经元模型（后被称为MP模型）（3）1949年，Hebb发表论著《行为自组织》，首先定义了一种调整权的方法，称为Hebbian（4）1958年F.Rosenblatt定义了一个神经网络结构，称为感知器，这是第一个真正的ANN第5页，课件共94页，创作于2023年2月神经网络的发展概况

低潮时期（1969-1982年）1969年，Minsky和Papert发表了Perseptrons一书，严格证明了当时所用的单层线性网在理论上不能求解许多很简单的问题（如“异或”门的功能），此后神经网络的研究进入引退时期。复兴时期（1982-1986）1982年，加州技术学院的优秀物理学家J.J.Hopfield在论文中提出了全连接网络，即Hopfield网络，在网络的理论分析和综合上达到了相当的深度，最有意义的是其网络很容易用集成电路来实现，由此点亮了ANN复兴的火把第6页，课件共94页，创作于2023年2月神经网络的发展概况

发展高潮期（1986-1996）1987年，美国召开了第一届国际神经网络会议，涉及到生物、电子、计算机、物理、控制、信号处理、人工智能等各个领域，各类模型和算法纷纷出台。在神经网络深入广泛应用的基础上，尽管会碰到难点，它终将继续发展，并促进科学技术的进步继续发展期（1996-）在神经网络深入广泛应用的基础上，尽管会碰到难点，它终将继续发展，并促进科学技术的进步。第7页，课件共94页，创作于2023年2月神经元模型

∑f(-)…x1x2xn-1--阈值--连接权值系数n–输入的数目yj–神经元的输出f(-)–传输函数第8页，课件共94页，创作于2023年2月一些传输函数10x0x10x0x10x-1(a)Two-valuefunction.(b)Sigmoidfunction.(c)Hyperbolictangentfunction.第9页，课件共94页，创作于2023年2月神经网络的结构神经网络或称作连接模型，是对人脑或自然神经网络若干基本特性的抽象和模拟。它采用物理可实现的器件或采用现有的计算机来模拟生物体中神经网络的某些结构与功能，并反过来用于工程或其他领域。神经网络的着眼点不是用物理器件去完整地复制生物体中神经细胞网络，而是采纳其可利用的部分来克服目前计算机或其他系统不能解决的问题。第10页，课件共94页，创作于2023年2月神经网络的结构神经网络具有以下基本特性：（1）分布存贮和容错性（2）可塑性与自适应性和自组织性（3）并行处理性（4）层次性大量神经元的聚集行为并不是各单元行为的简单相加，而是表现出一般复杂非线性系统的特性（如不可预测性、不可逆性、多吸引子、可能出现混沌现象等）和作为神经网络系统的各种性质。

第11页，课件共94页，创作于2023年2月神经网络的学习方式（1）有监督学习：需要有教师来提供期望或目标输出信号。有监督学习算法的例子包括规则、广义规则或反向传播（BP）算法以及LVQ算法等。（2）无监督学习：无监督学习算法不需要知道期望输出。算法的例子包括Kohonen算法和自适应谐振理论（ART）等。（3）增强学习：增强学习是有监督学习的特例。它不需要教师给出目标输出。增强学习算法采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。增强学习算法主要有：遗传算法、Q学习等。

第12页，课件共94页，创作于2023年2月神经网络系统的设计（1）系统输入的设计。包括训练集的选择、编码的设计以及输入方式的确定。1）训练集的选择2）编码的设计3）输入方式的确定（2）系统输出的设计（3）网络的设计1）神经网络模型的选择2）神经网络参数的确定第13页，课件共94页，创作于2023年2月神经网络的研究范畴

神经网络模型的研究神经网络基本理论的研究神经网络智能信息处理系统的应用研究神经网络理论的应用已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、语音识别、传感技术与机器人、生物医学工程等方面取得了令人鼓舞的成绩第14页，课件共94页，创作于2023年2月神经网络的研究范畴

神经网络模型的研究1）人脑的生理结构，即神经网络原型的研究2）人脑思维的机制，特别要从信息科学和认知科学的角度来阐明这种机制3）神经元生物特性如时空特性、不应期、电化学性质等完善的人工模拟，如高阶非线性模型、多维局域连接模型4）神经网络计算模型，特别是统一化的便于实现的模型5）神经网络学习算法与学习系统第15页，课件共94页，创作于2023年2月神经网络的研究范畴

神经网络基本理论的研究1）非线性内在机制——自适应、自组织、协同作用、突变、奇怪吸引子与浑沌、分维、耗散结构、随机非线性动力学等2）神经网络的基本特性——稳定性、收敛性、容错性、鲁棒性、动力学复杂性等3）神经网络的能力与判别准则——计算能力、准确性、存贮容量、准则的表达综合性能判别4）面向应用的网络设计与综合——专用和通用神经网络计算机的设计、单元连接、运算模式、I/O、存贮/计算，与现有技术的兼容与匹配等第16页，课件共94页，创作于2023年2月神经网络的研究范畴

神经网络智能信息处理系统的应用研究

1）自适应信号处理——自适应滤波、时间序列预测、均衡、谱估计、阵列处理、检测噪声相消2）非线性信号处理——非线性滤波、非线性预测、非线性谱估计、非线性编码、映射、调制、解调、中值预处理等3）优化与控制——优化求解、辨识、鲁棒性控制、自适应、变结构控制、决策与管理、并行控制、分布控制、智能控制等4）认知与人工智能——模式识别、计算机视觉、听觉、特征提取、语言翻译、联想记忆、逻辑推理、知识工程、专家系统、智能计算机与智能机器人、故障诊断、自然语言处理等第17页，课件共94页，创作于2023年2月神经网络的基本理论3.2.1有监督学习神经网络3.2.2无监督学习和反馈神经网络第18页，课件共94页，创作于2023年2月感知器模型感知器是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成第19页，课件共94页，创作于2023年2月多层感知机模型多层感知机的输入和输出之间的关系，可以看成是一个映射关系，这个映射是一个高度非线性映射，如果输入节点数为n，输出节点数为m，网络是从n维欧氏空间到m维欧氏空间的映射第20页，课件共94页，创作于2023年2月BP神经网络几种学习算法:（1）单样本学习法（2）随机学习法（3）集中学习法（4）加快反传算法的收敛速度第21页，课件共94页，创作于2023年2月小脑模型神经网络CMAC由一个固定的非线性输入层和一个可调的线性输出层组成输入空间由所有可能的输入矢量组成第22页，课件共94页，创作于2023年2月小脑模型神经网络

第23页，课件共94页，创作于2023年2月B样条神经网络B样条神经网络是基于样条函数插值的原理而设计的神经网络它的基函数是由一些局部的多项式组成，如CMAC即可看成是由一阶基函数组成的最简单的B样条神经网络(a)单输入单输出（b）多输入多输出第24页，课件共94页，创作于2023年2月径向基函数神经网络径向基函数（RBF）神经网络，是一种局部逼近的神经网络局部逼近神经网络的特点是，它对于输入空间的某个局部区域，只有少数几个连接权影响网络的输出，从而使局部逼近网络具有学习速度快的优点第25页，课件共94页，创作于2023年2月无监督学习和反馈神经网络在没有监督或判别指令的情况下，只有输入向量可以用作训练，这种学习方法称为无监督学习无监督学习通常抽取输入样本的特征或规律而不必知道与输入模式有关的输出或其类别无监督学习神经网络用其不同部分来响应不同的输入模式，网络训练的结果常常加强对经常出现的输入模式的响应。因此，这种网络也叫作概率估计器第26页，课件共94页，创作于2023年2月竞争学习网络无监督学习网络只根据输入模式来更新权值。竞争学习是这种类型网络最普遍学习方法第27页，课件共94页，创作于2023年2月自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征特征图，它实际上是一种非线性映射关系。由于这种映射是通过无监督的自适应过程完成的，所以也称它为自组织特征图第28页，课件共94页，创作于2023年2月Hopfield神经网络J.J.Hopfield提出了神经网络能量函数（也称李雅普诺夫函数）的概念，使网络的运行稳定性判断有了可靠而简便的依据Hopfield网络在联想存贮及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围另外，Hopfield网络还有一个显著的优点，即它与电子电路存在明显的对应关系，使得该网络易于理解和便于实现通常Hopfield网络有两种实用形式，即离散型Hopfield网络和连续型Hopfield网络第29页，课件共94页，创作于2023年2月Hopfield神经网络离散型Hopfield神经网络第30页，课件共94页，创作于2023年2月Hopfield神经网络连续型Hopfield神经网络第31页，课件共94页，创作于2023年2月动态反馈神经网络TD神经网络一般有如下差分方程描述当是一加权线性求和函数时，它等效于一线性FIR滤波器，在这一网络中不存在反馈，因此可用标准BP算法训练。动态网络模型包括:时延神经网络（TD神经网络）具有反馈动力学的网络第32页，课件共94页，创作于2023年2月动态反馈神经网络具有输出反馈的TD神经网络当是一加权线性求和函数时，它等效于一线性IIR滤波器第33页，课件共94页，创作于2023年2月动态反馈神经网络动态神经网络的学习算法：1）有不动点的学习2）轨线学习它们与静态神经网络的学习算法一样，都属于非线性优化算法动态神经网络很适合作为非线性动态系统的状态空间模型第34页，课件共94页，创作于2023年2月波尔兹曼机模型从宏观上看，各神经元的状态可看作是一个随机变量。从统计观点分析，也可以寻找神经网络系统中某神经元的状态的概率分布，分布的形式与网络的结构有关，其参数则是权系数Hinton等人借助统计物理学的方法提出了波尔兹曼机（Boltzma神经网络），它可用于模式分类、预测、组合优化及规划等方面第35页，课件共94页，创作于2023年2月波尔兹曼机模型波尔兹曼机是一种多层网络，它由输入层、输出层和隐层构成。网络没有明显的层次，隐单元之间互相连接，网络状态按照概率分布变化网络状态服从统计学的波尔兹曼机分布。两个状态出现的概率之比只与它们的能量差有关。对于温度参数T，T越大则状态变化越容易。为了使网络收敛到低温下的平衡状态，可以从高温开始，然后徐徐退火，最后系统将以相当高的概率收敛到网络的最小能量状态，这是模拟退火算法在波尔兹曼机中应用的基本原理采用模拟退火算法，可以避免局部极小，而达到全局能量最小的状态，通用性强第36页，课件共94页，创作于2023年2月双向联想记忆网络Kosko提出的BAM，它是两层反馈网络，可以实现异联想记忆的功能。它使前向和反向双向联想，从一输入对回忆一相关的双极性向量对，即称为异（双向）联想存储器第37页，课件共94页，创作于2023年2月模糊神经网络（1）由模糊规则描述的模糊神经元（2）对非模糊神经元直接模糊化得到模糊神经元（3）模糊神经元的学习和自适应机制第38页，课件共94页，创作于2023年2月模糊联想记忆通过将单位立方体映射为单位立方体的方法，将模糊集映射为模糊集的变换。最简单的情况下，FAM系统可以只有一对关联。一般地，FAM系统由一组不同的FAM关联组成第39页，课件共94页，创作于2023年2月模糊极大—极小神经网络每个超盒及其隶属函数可以用神经网络来实现极小－极大点变成网络中的连接权值，转移函数则变成隶属函数利用一种扩张/收缩过程实现模糊极小—极大学习，该学习过程由两部分组成：1）扩张——辨别出可以扩张的超盒并将其扩张，如不可能则再添上一个新的超盒；2）收缩——消除表示不同类的相邻超盒之间的重叠。第40页，课件共94页，创作于2023年2月模糊关系神经网络（1）对参数a和Q初始化，即赋值a(1)、Q(1)；（2）更新a和Q输入节点集和输出节点集，极大－极小复合算子，在模糊集X和模糊关系R上运算，得出另一个模糊集Y第41页，课件共94页，创作于2023年2月模糊Hopfield神经网络

模糊Hopfield网络具有Hopfield型神经元网络的体系结构模糊Hopfield网络的神经元对应模式集合中的元素，模式间的模糊相似关系作为联接神经元的权值矩阵被存储在模糊Hopfield网络中第42页，课件共94页，创作于2023年2月模糊Modular神经网络系统的训练采用混合学习算法，即门网络的学习采用无监督FCM算法，而专家网络的训练则采用有监督的LMS算法，以提高系统的收敛性能第43页，课件共94页，创作于2023年2月模糊Modular神经网络采用有监督学习和无监督学习相结合的训练方法第44页，课件共94页，创作于2023年2月模糊超球神经网络模糊超球神经网络的学习算法有三步：1）超球扩张；2）超球重叠测试与收缩；3）U权值的确定第45页，课件共94页，创作于2023年2月pi-sigma神经网络一种既有求和节点，又含有乘积节点的网络模型可方便地在线修正前项参数（隶属参数）和结论参数，很适合于复杂系统的模糊预测和控制第46页，课件共94页，创作于2023年2月基于TS型的模糊神经网络第47页，课件共94页，创作于2023年2月具有结构与参数学习的模糊神经网络第48页，课件共94页，创作于2023年2月基于神经网络的系统建模神经网络逼近理论动态递归网络提供了一种极具潜力的选择，代表了神经网络建模、辨识与控制的发展方向

第49页，课件共94页，创作于2023年2月神经网络控制系统结构由于分类方法的不同，神经网络控制器的结构也就有所不同。本节将简要介绍神经网络控制系统的典型结构方案第50页，课件共94页，创作于2023年2月基于神经网络的学习控制神经网络学习控制的结构：包括一个监督程序和一个可训练的神经网络控制器（NNC）。控制器的输入对应于由人接收（收集）的传感输入信息，而用于训练的输出对应于人对系统的控制输入第51页，课件共94页，创作于2023年2月基于神经网络的直接逆控制采用受控系统的一个逆模型，它与受控系统串接以便使系统在期望响应（网络输入）与受控系统输出间得到一个相同的映射。因此，该神经网络直接作为前馈控制器，而且受控系统的输出等于期望输出。这种方法在很大程度上依赖于作为控制器的逆模型的精确程度。逆模型参数可通过在线学习调整，以期把受控系统的鲁棒性提高至一定程度第52页，课件共94页，创作于2023年2月基于神经网络的自适应控制神经网络间接自校正控制第53页，课件共94页，创作于2023年2月基于神经网络的自适应控制神经网络直接模型参考自适应控制第54页，课件共94页，创作于2023年2月基于神经网络的自适应控制神经网络间接模型参考自适应控制第55页，课件共94页，创作于2023年2月基于神经网络的内模控制图中的状态估计器由一个充分逼近被控对象动力学的神经网络担任。控制器可以是神经网络控制，也可以是常规控制器。为了获得更好的控制效果，通常在控制器前加一个常规的滤波器。NNC不去直接学习被控系统的逆动力学映射关系，而由NN状态估计器来训练学习，以减轻NNC的负担第56页，课件共94页，创作于2023年2月基于神经网络的预测控制预测控制，又称为基于模型的控制，其本质特征是预测模型、滚动优化和反馈校正。神经网络模型的目的就是要提供输出的预报值第57页，课件共94页，创作于2023年2月基于神经网络的自适应评价控制第58页，课件共94页，创作于2023年2月基于CMAC控制第59页，课件共94页，创作于2023年2月基于多层神经网络的控制第60页，课件共94页，创作于2023年2月间接学习结构第61页，课件共94页，创作于2023年2月一般学习结构第62页，课件共94页，创作于2023年2月特殊学习结构第63页，课件共94页，创作于2023年2月基于神经网络的递阶控制第一部分是常规反馈环，通常是一个PI控制器第二部分是与NN1连接的路径，该部分为系统动态识别器第三部分是NN2，它检测期望的输出和装置输入。第64页，课件共94页，创作于2023年2月模糊逻辑与神经网络的集成skillsFuzzysystemsNeuralnetworksKnowledgeacquisitionHumanexperts(interaction)Sampledatasets(algorithms)UncertaintyQuantitativeandqualitative(decisionmaking)Qualitative(perception)ReasoningHeuristicsearch(lowspeed)Parallelcomputations(highspeed)AdaptationLowVeryhigh(adjustinglinkweights)模糊系统与神经网络的比较第65页，课件共94页，创作于2023年2月SeekingafunctionalmappingbetweenfuzzyreasoningalgorithmsandneuralnetworkparadigmsFindingastructuralmappingfromafuzzyreasoningsystemtoakindofneuralnetwork模糊逻辑与神经网络的集成第66页，课件共94页，创作于2023年2月ConceptsofFuzzyNeuralNetworksAregularfuzzyneuralnet(RFNN)isaneuralnetworkwithfuzzysignalsand/orfuzzyweights,(Buckely)

(1)FFN1hasrealnumberinputsignalsbutfuzzyweights;(2)FNN2hasfuzzysetinputsignalsandrealnumberweights;(3)FNN3hasbothfuzzysetinputsignalsandfuzzyweights.第67页，课件共94页，创作于2023年2月三层前馈模糊神经网络第68页，课件共94页，创作于2023年2月ConceptsofFuzzyNeuralNetworksAhybridfuzzyneuralnetisanotherkindofFNNwhichcombinethefuzzysignalsandweightsusingotheroperationsbesidesadditionandmultiplicationtoobtainneuralnetinput.(FuzzyArithmetic)第69页，课件共94页，创作于2023年2月FNN的学习算法Twomaingroups:supervisedlearningandunsupervisedlearning,suchas:Fuzzybackpropagationalgorithm-cutbasedbackpropagationalgorithmsGeneticalgorithmsOtherlearningalgorithms(1)Fuzzychaosandalgorithms第70页，课件共94页，创作于2023年2月FuzzyNeuralControlSchemesTheseschemescanbemainlydividedintotwoaspects:Structuralequivalenttofuzzysystems;Functionalequivalenttofuzzysystems.Sometypicalschemes:MixedFNNNeural-likefuzzyset(FAM)AdaptiveFNNMultilayerFNN第71页，课件共94页，创作于2023年2月混合FNN第72页，课件共94页，创作于2023年2月类神经网络的模糊集(FAM)第73页，课件共94页，创作于2023年2月自适应FNNStructuralmappingfromafuzzysystemtoneuralnetworks.(Off-linetrainingrulesandon-linelearningalgorithms)Adaptive-network-basedfuzzyinferencesystemANFIS.(on-line)第74页，课件共94页，创作于2023年2月多层FNN第75页，课件共94页，创作于2023年2月模糊神经网络控制器第76页，课件共94页，创作于2023年2月基于模糊神经网络的控制将神经网络的学习机制引入模糊系统，使模糊系统具有自学习、自适应能力，以及并行分布处理结构完成模糊推理过程。NNC进行学习，模糊控制器进行似然推理，使得输出控制信号平滑，同时加快了学习速度第77页，课件共94页，创作于2023年2月神经网络专家控制把神经网络和专家系统结合起来，发挥各自的优势，可产生更好的控制效果系统的运行状态有三种：专家系统控制器（EC）单独运行；神经网络控制系统（NNC）单独运行；NNC和EC同时运行，运行监控器（EM）负责进行切换第78页，课件共94页，创作于2023年2月其他类型的神经网络ChaoticNNEvolutionaryNNCellularNNNN-basedExpertSystemsImmuneNN第79页，课件共94页，创作于2023年2月......OutnetPheValStop神经网络的应用——DNA序列神经网络分类器第80页，课件共94页，创作于2023年2月神经网络的应用——ATM的流量控制在ATM的流量控制中，连接允许控制（CAC）作为一种预防拥塞的控制手段，在用户接入点（UNI）上起着重要的作用。基于神经网络流量预测的连接允许控制模型由两个前向神经网络构成：1）一个神经网络作为预测器，分别采用BP算法、改进的BP算法和径向基函数网络2）第二个神经网络作为连接允许的控制器，在流量预测的基础上，把预测的流量作为神经网络控制器的输入，使连接允许控制能有效地根据当前的流量状况和申请接入的业务源的特性参数进行连接允许判定，提高ATM网络的带宽利用率第81页，课件共94页，创作于2023年2月神经网络的应用——ATM的流量控制神经网络连接允许模型第82页，课件共94页，创作于2023年2月神经网络的应用——ATM的流量控制神经网络流量预测器第83页，课件共94页，创作于2023年2月神经网络的应用——ATM的流量控制神经网络控制器结构第84页，课件共94页，创作于2023年