神经网络专业知识专家讲座

Contents神经网络介绍

1神经网络经典结构2神经网络学习算法3BP神经网络4进化神经网络5神经网络应用6神经网络专业知识专家讲座第1页2.1神经网络介绍什么是神经网络？神经网络（NeuralNetwork，NN）普通也称为人工神经网络（ArtificialNeuralNetwork，ANN），是科学家们在对生物神经元、神经系统等生理学研究取得了突破性进展以及对人脑结构、组成和基本工作单元有了深入认识基础上，经过借助数学和物理方法从信息处理角度对人脑神经网络进行抽象后建立简化模型。神经网络专业知识专家讲座第2页2.1.1基本原理生物神经元基本结构示意图神经网络专业知识专家讲座第3页2.1.1

基本原理树突细胞体轴突突触生物神经元人工神经元类比关系输入层加权和阈值函数输出层神经网络专业知识专家讲座第4页2.1.1

基本原理模拟神经元树突接收输入信号输入层加权和阈值函数输出层模拟神经元细胞体加工和处理信号模拟神经元轴突控制信号输出模拟神经元突触对结果进行输出人工神经元结构功效示意图神经网络专业知识专家讲座第5页2.1.2

研究进展1943年McCullonch和Pritts提出了M-P模型，该模型提出了神经元数学描述和网络结构方法，这标志着神经网络计算时代开始。1957年Rosenblatt定义一个称为感知器神经网络结构，第一次把神经网络从纯理论探讨推向了工程实现，掀起了神经网络研究高潮。Minsky和Papert在1969年发表论著《Perceptrons》指出感知器仅能处理一阶谓词逻辑，只能完成线性划分，对于非线性或者其它分类会碰到很多困难，就连简单XOR（异或）问题都处理不了。由此，神经网络研究进入了反思期。启蒙萌芽时期1940s至1960s低潮反思时期1960s至1970s神经网络专业知识专家讲座第6页2.1.2

研究进展20世纪90年代中后期，神经网络研究进入了一个新发展阶段，首先已经有理论在不停地深化和得到深入推广，另首先，新理论和方法也在不停出现。光学神经网络、混沌神经网络、含糊神经网络、进化神经网络等新模型陆续出现。1982年Hopfield提出全连接网络模型才使得人们对神经网络有了重新认识,开辟了一条新研究道路。1986年Rumelhart等人提出反向传输算法，使Hopfield模型和多层前馈神经网络成为应用最广泛神经网络模型之一。复兴发展时期1980s至1990s新发展时期1990s中后期之后神经网络专业知识专家讲座第7页2.1.2

研究进展主要学术期刊IEEETransactionsonNeuralNetworksIEEETransactionsonSystems,ManandCyberneticsJournalofArtificialNeuralNetworksJournalofNeuralSystemsNeuralNetworksNeuralComputationNetworksComputationinNeuralSystemsMachineLearning……神经网络专业知识专家讲座第8页2.1.2

研究进展主要学术会议InternationalJointConferenceonNeuralNetworksIEEEInternationalConferenceonSystems,Man,andCyberneticsWorldCongressonComputationalIntelligence神经网络专业知识专家讲座第9页2.2神经网络经典结构按网络结构区分前向网络反馈网络按学习方式区分有教师（监督）学习网络无教师（监督）学习网络按网络性能区分连续型和离散型网络随机型和确定型网络神经网络专业知识专家讲座第10页2.2神经网络经典结构按突触性质区分一阶线性关联网络高阶非线性关联网络按对生物神经系统层次模拟区分神经元层次模型组合式模型网络层次模型神经系统层次模型智能型模型通常，人们较多地考虑神经网络互连结构。本节将按照神经网络连接模式，对神经网络几个经典结构分别进行介绍

神经网络专业知识专家讲座第11页2.2.1单层感知器网络单层感知器是最早使用，也是最简单神经网络结构，由一个或多个线性阈值单元组成因为这种网络结构相对简单，所以能力也非常有限，普通比较少用

单网层络感示知意器图神经网络专业知识专家讲座第12页2.2.2前馈型网络前馈型网络信号由输入层到输出层单向传输每层神经元仅与其前一层神经元相连，仅接收前一层传输来信息是一个最为广泛使用神经网络模型，因为它本身结构也不太复杂，学习和调整方案也比较轻易操作，而且因为采取了多层网络结构，其求解问题能力也得到显著加强，基本上能够满足使用要求神经网络专业知识专家讲座第13页2.2.3前馈内层互联网络这种网络结构从外部看还是一个前馈型网络，不过内部有一些节点在层内互连神经网络专业知识专家讲座第14页2.2.4反馈型网络这种网络结构在输入输出之间还建立了另外一个关系，就是网络输出层存在一个反馈回路到输入层作为输入层一个输入，而网络本身还是前馈型这种神经网络输入层不但接收外界输入信号，同时接收网络本身输出信号。输出反馈信号能够是原始输出信号，也能够是经过转化输出信号；能够是本时刻输出信号，也能够是经过一定延迟输出信号此种网络经惯用于系统控制、实时信号处理等需要依据系统当前状态进行调整场所神经网络专业知识专家讲座第15页2.2.5全互联网络全互联网络是网络中全部神经元之间都有相互间连接如Hopfiled和Boltgmann网络都是这种类型全互联网络神经网络专业知识专家讲座第16页2.3神经网络学习算法神经网络专业知识专家讲座第17页2.3.1学习方法有监督学习无监督学习再励学习在有监督学习方式中，网络输出和期望输出（即教师信号）进行比较，然后依据二者之间差异调整网络权重，最终使差异变小。在无监督学习方式中，输入模式进入网络后，网络按照一预先设定规则（如竞争规则）自动调整权重，使网络最终含有模式分类等功效。再励学习是介于上述二者之间一个学习方法神经网络专业知识专家讲座第18页2.3.2

学习规则Hebb学习规则这个规则是由DonaldHebb在1949年提出他基本规则能够简单归纳为：假如处理单元从另一个处理单元接收到一个输入，而且假如两个单元都处于高度活动状态，这时两单元间连接权重就要被加强Hebb学习规则是一个没有指导学习方法，它只依据神经元连接间激活水平改变权重，所以这种方法又称为相关学习或并联学习Delta（

）学习规则

Delta规则是最惯用学习规则，其关键点是改变单元间连接权重来减小系统实际输出与应有输出间误差这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则BP网络学习算法称为BP算法，是在Delta规则基础上发展起来，可在多层网络上有效地学习神经网络专业知识专家讲座第19页2.3.2

学习规则梯度下降学习规则梯度下降学习规则关键点为在学习过程中，保持误差曲线梯度下降误差曲线可能会出现局部最小值，在网络学习时，应尽可能摆脱误差局部最小值，而到达真正误差最小值

Kohonen学习规则该规则是由TeuvoKohonen在硕士物系统学习基础上提出，只用于没有指导下训练网络后向传输学习规则后向传输（BackPropagation，BP）学习，是当前应用最为广泛神经网络学习规则神经网络专业知识专家讲座第20页2.3.2

学习规则概率式学习规则从统计力学、分子热力学和概率论中关于系统稳态能量标准出发，进行神经网络学习方式称概率式学习神经网络处于某一状态概率主要取决于此状态下能量，能量越低状态，出现概率越大；此概率还取决于温度T，T越大，不一样状态出现概率差异越小，较轻易跳出能量局部极小点而到全局极小点，T越小时，恰好相反。竞争式学习规则竞争式学习属于无监督学习方式。这种学习方式是利用不一样层间神经元发生兴奋性联接以及同一层内距离很近神经元间发生一样兴奋性联接，而距离较远神经元产生抑制性联接竞争式学习规则本质在于神经网络中高层次神经元对低层次神经元输入模式进行竞争识别神经网络专业知识专家讲座第21页2.4BP神经网络神经网络专业知识专家讲座第22页2.4.1基本思想BP神经网络也称：后向传输学习前馈型神经网络（BackPropagationFeed-forwardNeuralNetwork，BPFNN/BPNN），是一个应用最为广泛神经网络在BPNN中，后向传输是一个学习算法，表达为BPNN训练过程，该过程是需要教师指导；前馈型网络是一个结构，表达为BPNN网络构架反向传输算法经过迭代处理方式，不停地调整连接神经元网络权重，使得最终输出结果和预期结果误差最小BPNN是一个经典神经网络，广泛应用于各种分类系统，它也包含了训练和使用两个阶段。因为训练阶段是BPNN能够投入使用基础和前提，而使用阶段本身是一个非常简单过程，也就是给出输入，BPNN会依据已经训练好参数进行运算，得到输出结果神经网络专业知识专家讲座第23页2.4.2算法流程4.网络权值与神经元偏置调整3.反向误差传输2.向前传输输入1.初始化网络权值神经网络专业知识专家讲座第24页2.4.2算法流程神经网络专业知识专家讲座第25页1.初始化网络权值每两个神经元网络连接权重被初始化为一个很小随机数（如-1.0~1.0或-0.5~0.5等）；每个神经元有一偏置θi，初始化为一随机数。神经网络专业知识专家讲座第26页2.向前传输输入将训练样本输入到网络输入层，计算每个神经元输出。——上一层单元i到本单元j网络权重；——上一层单元i输出——本单元偏置，充当阈值。——激活函数，logistic函数，sigmoid函数神经网络专业知识专家讲座第27页3.反向误差传输比较预期输出和实际输出，计算输出层误差。Tj——输出单元j预期输出将得到误差从后向前传输，前一层单元j误差经过和它连接后一层全部单元k误差计算得到。神经网络专业知识专家讲座第28页4.网络权值与神经元偏置调整能够一边后向传输误差，一边调整网络权重和神经元阈值，也能够先计算得到全部神经元误差，再统一调整网络权重和神经元阈值。调整权重：从输入层与第一隐含层连接权重开始，依次向后进行调整。l——学习率，通常取0~1之间常数。太大会造成学习慢，太小会造成算法在不适当解之间振动。普通将学习率设为迭代次数t倒数，即1/t。神经网络专业知识专家讲座第29页4.网络权值与神经元偏置调整调整偏置：对每个神经元j进行以下更新：l——学习率，通常取0~1之间常数。太大会造成学习慢，太小会造成算法在不适当解之间振动。普通将学习率设为迭代次数t倒数，即1/t。神经网络专业知识专家讲座第30页5.判断结束对每个样本，若最终输出误差小于可接收范围，或迭代次数到一定阈值，则选取下一样本，转步骤2继续执行；不然迭代次数加1，转步骤2继续使用当前样本训练。神经网络专业知识专家讲座第31页2.4.3应用举例例2.1

已知一个前馈型神经网络例子以下列图所表示。设学习率l为0.9，当前训练样本为x={1,0,1}，而且预期分类标号为1，同时，下表给出了当前该网络各个连接权值和神经元偏置。求该网络在当前训练样本下训练过程。w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1神经网络专业知识专家讲座第32页例10.3

BPNN分类系统训练过程w14w15w24w25w34w35w46w560.2-0.30.40.1-0.50.2-0.3-0.2-0.40.20.1神经网络专业知识专家讲座第33页2.5进化神经网络对于某一详细问题，人工神经网络设计是极其复杂工作，至今仍没有系统规律能够遵照当前，普通凭设计者主观经验与重复试验挑选ANN设计所需工具这么不但使得设计工作效率很低，而且还不能确保设计出网络结构和权重等参数是最优，从而造成资源大量浪费和网络性能低下人工神经网络存在问题神经网络专业知识专家讲座第34页2.5进化神经网络使用进化算法去优化神经网络，经过进化算法和人工神经网络结合使得神经网络能够在进化过程中自适应地调整其连接权重、网络结构、学习规则等这些在使用神经网络时候难以确定参数，从而形成了进化神经网络（EvolutionaryNeuralNetworks，ENN/EANN）进化算法和神经网络结合给神经网络指明了新发展方向，对突破神经网络结构复杂、参数难调等问题起到了重大作用进化神经网络优势神经网络专业知识专家讲座第35页2.6神经网络应用民用应用领域语言识别、图像识别与了解、计算机视觉、智能机器人故障检测、实时语言翻译、企业管理、市场分析、决议优化、物资调运、自适应控制、教授系统、智能接口、神经生理学、心理学和认知科学研究等等军用应用领域语音、图像信息录用与处理、雷达、声纳多目标识别与跟踪、战场管理和决议支持系统、军用机器人控制、各种情况、信息快速录用、分类与查询、导弹智能引导、保密通讯、航天器姿态控制等等神经网络专业知识专家讲座第36页2.6神经网络应用识别与聚类应用模式识别和分类是指经过使用一系列训练数据对神经网络进行训练，在有教师指导学习方法下，让神经网络在训练数据训练下调整网络结构和权重，以到达正确识别目标神经网络专业知识专家讲座第37页2.6神经网络应用计算与优化应用神经计算是人工神经网络一个主要应用伎俩，也为各种优化问题提供了处理方案。优化问题就是需要在问题解空间里面寻找一个最优解在满足一定约束条件下使得目标函数最大化或者最小化。因为神经网络含有并行搜索处理信息、联想记忆等特点，在搜索系统全局最优或局部最优解方面，含有很好优势，所以在优化问题上得到了广泛研究和应用神经网络专业知识专家讲座第38页2.6神经网络应用建模与预测应用人工神经网络应用在非线性系统建模上时候，实质上就是经过训练神经网络，让其在训练数据中获取知识，而且完成从