神经网络原理与应用

神经网络原理与应用神经网络原理与应用神经网络原理与应用第一章绪论一．概述二．神经网络(ANN)研究简史三．神经网络(ANN)原理简介四．ANN的分类及研究方向

第一章绪论

一．概述二．神经网络(ANN)研究简史三．神经网络(ANN)原理简介四．ANN的分类及研究方向一．概述近几十年，人工神经网络的研究和应用，引起了国内外学术界的广泛注重，并在许多领域取得了明显成果。对于电子技术和信号处理专业的学生和科技人员，对神经网络理论进行必要的学习和掌握，甚至可能的话，在实际中加以应用，是非常有意义的。2023/10/103神经网络与模式辨认研究室从第一台数字计算机问世（1946年），计算机系统几经更新换代，经历了由电子管、晶体管、LSI、VLSI，到后来的奔腾4、双核技术等发展阶段。近年来，软件方面也在不断升级更新，计算机性能越来越优越，应用也越来越广泛。尽管如此，但计算机系统并非万能，它存在着本身的不足和物理极限（小型化），其特点是串行运算，输入输出存在线性的和拟定性的关系。

所以要进一步提升性能，就必须要求在器件、原理及思绪上有所突破，要充分体现并行运算、非线性、不拟定性关系等特点。以非线性大规模并行处理为特点的人工神经网络，突破了老式线性处理为基础的数字计算机的局限，受到各学科领域的广泛关注，将为计算机技术的发展带来一场革命，并促使以神经计算机为基础的高技术群的诞生和发展。神经网络与模式辨认研究室2023/10/105

那么，什么是神经网络？它与老式数字计算机的区别在于，它是模拟人脑的一种信息处理系统，具有许多特点，功能强大。ANN与数字计算机比较:①并行处理←→串行处理②鲁棒性、容错性←→拟定性、精确性③自学习能力←→教授经验的知识库,无更新④大规模自适应非线性动力系统←→线性拟定性系统⑤运算、存储合而为一←→运算、存储分离2023/10/106神经网络与模式辨认研究室二．ANN研究简史ANN研究简史可追溯到四十年代初，但因为种种原因，起始阶段发展不快，并曾一度陷入低谷。近几十年，科学技术的不断发展，为ANN发展奠定了基础，使得ANN异军突起，空前活跃，成为研究热点。2023/10/107神经网络与模式辨认研究室1943年，MP模型(McCulloch和Pitts)1944年，Hebb学习规则(条件反射规则)1957年，Rosenblatt提出：感知器(perceptron)1962年，自适应线性元件（Adaline）1969年，Minsky和Papert证明了感知器的不足，刊登《perceptron》论文2023/10/108神经网络与模式辨认研究室

1966-1982年，陷入低谷,期间：维纳学生Grossberg（美科学院院士）提出：自适应共振理论Kohonen提出：自组织特征映射网络Amari（甘利俊一）从事数学理论研究Anderson提出：盒中脑（BSB）模型Webos提出：BP理论（1974年）在这期间，数字计算机跨越三代，老式人工智能较快发展。2023/10/109神经网络与模式辨认研究室

1982年，加州工学院Hopfield提出：HNN模型，在网络中引入能量函数概念，作为稳定性判据，给出RC电路模型，推动了NN发展，使ANN用于联想记忆和优化计算。之后，ANN研究进入空前活跃期，Hinton等提出Boltzman机，采用多层网络学习措施，在学习过程中借用统计物理学的措施,引入模拟退火技术。2023/10/1010神经网络与模式辨认研究室Rumelhart等提出：并行分布处理理论，发展了BP算法。Kosko提出：双向联想记忆网络1988年，加州大学蔡少堂和复旦大学杨林提出：细胞神经网络。2023/10/1011神经网络与模式辨认研究室

近年来，ANN研究愈加火热，提出了多种新的网络模型，并结合模糊理论、小波理论、混沌理论、分形理论等技术，应用也愈加广泛。受到各国政府、科学家和企业家的注重，各门学科联合研究，提出重大研究计划，如：美国DARPA计划、日本HFSP计划、法国尤里卡、德国欧洲防御、俄罗斯高技术发展计划，中国863计划等。86.4,召开第一届ANN国际会议,87.6,召开第一届IEEENN国际会议，同年国际NN学会成立，88年元月，NN杂志创刊。88年后NN国际学会与IEEE联合每年一次国际会议，90年3月IEEENN会刊问世。2023/10/1012神经网络与模式辨认研究室ANN研究热潮出现，除了神经科学研究本身的突破和进展外，更主要的是因为计算机科学和人工智能发展的需要以及VLSI技术，生物技术，超导技术和光学技术等领域迅速发展，为ANN技术发展提供了技术上的可能性。ANN研究涉及到计算机科学、控制论、信息科学、微电子学、心理学、认知科学、物理学与数学等学科。2023/10/1013神经网络与模式辨认研究室

除此之外，还有某些其他科学背景的支撑，如70年代产生的新三论：协同论，突变论与耗散构造论以及近年来广泛研究的混沌动力学理论等，都揭示了复杂系统怎样经过微观元件的集体协同作用，使系统构造在宏观上达成从无序到有序，功能由简朴到复杂的非线性动力学过程。这种过程类似于生物系统的进化过程和智能系统的学习过程。所以，对NN的研究予以了不可或缺的启示。

2023/10/1014神经网络与模式辨认研究室NN的问世标志着认知科学、计算机科学及人工智能的发展又处于一种新的转折点，它的应用和发展，不但会推动神经动力学本身，而且将影响新一代计算机的设计原理，可能为新一代计算机和人工智能开辟一条崭新的途径，并为信息科学带来革命性的变化。2023/10/1015神经网络与模式辨认研究室三．神经网络原理简介神经网络是模拟人脑的一种信息处理系统，它只是一种抽象、简化的模拟。NN模型有几十种甚至上百种，都是由许多简朴的、相同的神经元构成的，不同模型的区别在于反应神经元非线性特征的鼓励函数、神经元之间的连接方式和所采用的学习规则不同。这是决定NN特征的三个基本要素。为了对三要素分别简介，我们首先看一下生物神经元的构造和机理。2023/10/1016神经网络与模式辨认研究室1.生物神经元模型生物神经元由细胞核、轴突、树突和突触等构成。生物神经元的功能：①时空整合功能②兴奋和克制状态③突触延时和不应期④学习、遗忘和疲劳2023/10/1017神经网络与模式辨认研究室

2.人工神经元模型及常用的非线性函数

人工神经元模型是对生物神经元的模拟和近似，所以类似于生物神经元，其结构模型由下图示：

2023/10/1018神经网络与模式辨认研究室它是一种多输入单输出的非线性器件，其中X1,…Xn为外界输入信号，能够是来自其他神经元的输出信号，Wi为连接权值，为阈值,Yi为经神经元处理后的输出信号，神经元对外界输入信号进行处理。可分为三步：1）加权求和2）阈值比较3）非线性处理所以整个过程可由如下公式描述：

2023/10/1019神经网络与模式辨认研究室对于不同的神经网络模型，其中神经元的非线性鼓励函数f(.)可能取不同的形式，常用的非线性函数有如下三种类型：a)阈值型:

这是最早提出的二值离散神经元模型。2023/10/1020神经网络与模式辨认研究室

b)线性或分段线性型：

2023/10/1021神经网络与模式辨认研究室

c)Sigmoidal函数型：或

此类曲线可连续取值，反应了神经元的饱和特征。2023/10/1022神经网络与模式辨认研究室

3.神经网络的连接方式

神经网络是由大量的神经元以不同的方式连接而成的大规模复杂系统，不同的网络模型可能具有不同的连接方式，常用的连接方式有：2023/10/1023神经网络与模式辨认研究室

1)不含反馈的前向网络：这种网络中的神经元分层排列，每层神经元只接受前一层神经元的输入。感知器和BP网络，径向基函数网络等均是这种类型。2023/10/1024神经网络与模式辨认研究室

2)从输出层到输入层有反馈的前向网络：

如：ART网络（自适应共振理论网络）

3)层内有相互接合的前向网络，经过层内相互接合可达成同层中神经元之间的侧向克制和兴奋机制。如：SOFM网络（自组织特征映射网络）2023/10/1026神经网络与模式辨认研究室4)全互联网络（相互结合型网络）网络中各神经元之间都有可能连接，在这种网络中信号要在神经元之间反复往返屡次传递，网络状态不断变化，直到某时刻才达成某种平衡状态。HNN和Boltzman机等网络均属于这种。4.神经网络的工作方式及学习规则在老式的数字计算机中，计算与存储是完全独立的两个部分，即计算机在计算之前要从存储器中取出待处理的数据，然后计算，最终又将成果存入存储器，这么存储器与计算器之间的通道就构成了计算机的瓶颈，从而大大限制了它的运算能力。2023/10/1028神经网络与模式辨认研究室

在人工神经网络中，信息的存储与处理是合二为一的，即信息的存储体目前神经元连接的权值分布之中，并以大规模并行分布方式处理。神经网络的信息处理过程能够分为两个阶段，一种是学习期，此时各神经元的状态不变，而各连接权值经过学习进行修正，这个过程相对较慢，权值的调整过程即为学习过程，最终的权值分布即为长久记忆。2023/10/1029神经网络与模式辨认研究室而另一阶段则是工作期，此时神经网络已经训练好，连接权值保持不变，即经过信息的不断传递，使各神经元状态发生变化，从而使网络最终达成一种稳定平衡态，这就像人脑寻找记忆的过程，这一过程相对较快，各神经元的状态也称之为短期记忆。2023/10/1030神经网络与模式辨认研究室不同网络的学习规则有所不同，学习规则即为权值调整的一种算法，有的网络学习或权值调整是在网络信息处理过程中自发地完毕的，而有的网络则需要从例子中进行学习，常用的学习规则有如下几种：2023/10/1031神经网络与模式辨认研究室1)有关规则：仅根据连接间的激活水平变化权值，例如Hebb规则为：与条件反射学说相一致，即外界鼓励越强，神经元越兴奋，连接权值越增强。2023/10/1032神经网络与模式辨认研究室2)纠错规则：依赖于输出节点的外部反馈信息变化权值，相等于梯度下降法，经过变化权值不断纠正错误，从而达成最终所期望的输出。所以需要有一种指导信号或参照信号，这种规则又称为有导师监督学习规则。2023/10/1033神经网络与模式辨认研究室4)无导师监督学习规则：这种规则是网络经过向外界客观事物学习，自发地完毕权值修正，希望经过修正权值，以使网络能客观反应事物的真实分布，学习过程是经过竞争而自适应地进行的，从而使不同节点有选择地接受或响应输入空间中的具有不同特征的鼓励。。2023/10/1034神经网络与模式辨认研究室四．ANN的分类及研究方向目前神经网络模型已经有近百种，不同的模型从不同的侧面模拟人脑的某些特征，所以能够完毕不同的功能。假如说要将神经网络进行分类的话，能够从如下几种方面进行分类：2023/10/1035神经网络与模式辨认研究室

1.按网络的性能可分为：连续型与离散型拟定性与随机性网络2.按网络构造可分为：反馈网络，存在稳定性问题前向网络，不存在稳定性问题，只有算法的收敛性3.按学习方式可分为：有导师学习网络无教师学习网络2023/10/1036神经网络与模式辨认研究室4.按连接突触性质可分为：一阶线性关联网络高阶非线性关联网络5.按网络模型所模拟人脑神经系统的功能层次可分为：神经元层次模型：研究单个神经元特征及对输入响应机理。如Adaline组合式模型：由数种不同特征的神经元构成，它们相互补充，相互协作，完毕某些特定的功能。如模式辨认等。2023/10/1037神经网络与模式辨认研究室

网络层次模型：由许多相同的神经元互联而成，从整体上研究网络的集体特征。如HNN等。神经系统层次模型：由多种不同性质的网络构成的复杂系统，模拟生物神经系统更复杂或更抽象的性质。如概念形成。智能型模型：这是最抽象层次，试图模拟人脑信息处理的过程和策略。如感知，思维等过程。2023/10/1038神经网络与模式辨认研究室近年来，神经网络受到了国内外科技人员的广泛关注，得到了大量的研究，归纳起来，研究主要涉及三个方面：理论应用实现其特点和详细的研究课题简介如下：2023/10/1039神经网络与模式辨认研究室1．理论研究：其特点是NN的数学理论相对比较单薄，所以轻易提出某些新措施和新思想，这方面的研究课题主要涉及：a)模型的研究：﹡例如人脑的生理构造、思维机制、神经元的生物特征（时空特征）、不应期、电化学性质等完善的人工模拟，如高阶非线性模型，多维局域连接模型等。2023/10/1040神经网络与模式辨认研究室﹡神经网络计算模型及学习算法等研究。例如提出某些新的网络构造，不同的神经元模型和非线性特征及新的学习措施（混沌神经元，模糊神经元，随机逻辑神经元，高斯型非线性特征，负阻型非线性特征，随机算法，模拟退化算法，强化学习算法，遗传算法等）2023/10/1041神经网络与模式辨认研究室b）神经网络基本理论研究﹡非线性内在机制--自适应、自组织、协同作用、突变、奇怪吸引子与混沌、分维、耗散构造、随机非线性动力学等。﹡神经网络基本性能：稳定性、收敛性、容错性、鲁棒性、动力学复杂性等。2023/10/1042神经网络与模式辨认研究室﹡NN的计算能力与鉴别准则—计算能力、精确性、存储容量、准则体现、综合性能鉴别等。﹡有关智能本质的研究，这是自然科学与哲学的课题之一，成各学科共同关心的焦点。2023/10/1043神经网络与模式辨认研究室2.应用研究其特点是还处于起始研究阶段，但因为NN本身所具有的特点，使得其应用非常广泛，所以应用研究范围也相当广泛。例如神经网络在智能信息处理方面的应用研究涉及