神经网络课程大作业

目 录摘要 .1Abstract .11 绪论 .21.1 人工神经网络概述 .21.2 人工神经网络的基本模型 .31.3 人工神经网络的特点 .51.4 人工神经网络的分类 .52 神经网络发展 .62.1 早期阶段 .62.2 过渡阶段 .62.3 复兴时期 .72.4 发展时期 .73 神经网络基本原理 .93.1 人工神经网络的工作机理 .93.2 人工神经网络的互连方式 .94 其他神经网络 .124.1 回归神经网络（RNN ） .124.2 卷积神经网络（CNN） .124.3 模糊神经网络 .135 深度学习的发展与应用 .155.1 深度学习在语音识别中的应用 .155.2 深度学习在语言处理中的应用 .16总结 .17参考文献 .181摘要神经控制是一种新型的控制系统,其在动态模拟、建模和控制方面应用广泛。人工神经网络是人工智能的重要分支，具有自适应、自组织和自学习的特点。 回顾了人工神经网络理论的发展历史，并介绍了其在信息、医学、经济、控制等领域的应用及研究现状。 随着人们对人工神经网络不断地探索和研究 ，并将其与一些传统方法相结合，将推动人工智能的发展，在以后的生产生活中发挥更大的作用。关键词： 人工神经网络； 应用； 现状； 发展AbstractNeural control is a new type of control system in the dynamic simulation, modeling and control applications. As an important branch of artificial intelligence， artificial neural network own the characteristics of self-adaption,self-organization and self-learning. Review the development history of artificial neural network theory and its application and research status in the field of information，medicine， economic，control and others are introduced. As continuous exploring and researching the combination of artificial neural network and some traditional methods will promote the development of artificial intelligence and play a bigger role in the production and living later.Key words: Artificial Neural Network； application； current situation； prospect21 绪论1.1 人工神经网络概述人工神经网络是对生理学上真实人脑生物神经元网络的结构、功能、以及若干基本特性的某种理论抽象、简化和模拟，它实际上是一种复杂的信息处理系统，是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统。众所周知，人类的智能来源于大脑，而大脑是由大量生物神经元（生物神经细胞）组成的，众多的生物神经元按照某种方式相互连接，形成了人脑内部的生理神经网络，也就形成了人体内结构复杂的信息处理中心。医学研究表明，人脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果由神经元的状态表现出来。图 1-1 神经网络结构示意图神经元在结构上由细胞体、树突、轴突和突触四部分组成。树突是精致的管状延伸物，是细胞体向外延伸出的许多较短的分支，围绕细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信息，相当于细胞的“输入端”信息从树突出发，经过细胞体，然后由轴突传出。轴突是由细胞体向外伸出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端” 。突触是神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入输出的接口。31.2 人工神经网络的基本模型人工神经网络是对生物神经网络的工作原理和功能的抽象和模拟，它的构成以一定的数学模型为依据，以数值的输入、输出反映系统对激励的响应结果。因此，功能和解决方案不同的人工神经网络，具有不同的数学模型，下面简要介绍几种典型的人工神经网络数学模型：图 1-2 人工神经元模型（1） MP 模型由美国心理学家 Warren McCulloch 和数学家 Walter H Pitters 提出的形式神经元数学模型(MP 模型 )，它是人工神经网络理论研究的基础。它假设有 N 个神经元互连，每个神经元的活性状态 (i = 1,2,3,4，N)取 0 或 1，分别表示抑制或兴奋，每个神经元的状态按照公式(11) 所表示的规则受其他神经元的制约：（1-1）=(=1)其中 表示神经元 i 与神经元 j 之间的突触连接强度， 表示神经元 i 的阈 值，f(.) 是去阶跃函数 U(.)。机器学习的过程就是调整 的过程。（2） 改进 MP 模型具有延时的 MP 模型表示为:（1-2 ）=(=1()其中 为突触延时，它具有如下特征：1）神经元活动遵循“0/1”规律；2）神经元为“多入单出”单元；3）具有“空间整合”与“阈值”作用，它描述为4（1-3 ）()=1 () 00 () 0 4）所有神经元具有相同的、恒定的工作节律，它们取决于突触延时 ；5）神经元突触延时 为常数，权系数也为常数，即（1-4 ）=1 当 为兴奋输 入 时 0当 为 抑制 输 入 时 （3）多层网络 Rumelhart 的并行分布处理模型并行分布处理模型或 PDP 模型相当于一个神经网络，他的功能是单一化的，通常一个模型解决一个问题，因此，以该类模型为基础的人工神经网络必定是多种多样的，正如人的大脑一样，各个功能区负责一定的功能和执行一定的任务。它对信息的处理是并行的，但是对信息的表示却是分布的，知识被各单元之间的连接所“编码” ，学习的目的就是寻求一组正确的连接强度，以便在一定条件下产生正确的激活模式，信息处理本身就在使用知识，而学习也就是在处理过程中完成。 主/ 从模型Lapedes 和 Farber 提出的主 /从网络则是对 Hopfield 模型的发展。Hopfield模型有两个局限性:一是要求连接的对称性；二是不能求解高阶间题。主/从网络模型的目标正是为了克服这两个限制。其从网络与 HoPfield 模型一致，但其权 由主网络决定，且并不要求具有对称性。 多层感知器模型多层感知机(Perceptron)模型 ,是在输入输出结点间具有一个以上结点层的前馈监督训练网络。从理论上说,三层感知机可以创造分类器中所需的任何连续决策函数。 CMAC 模型CMAC 模型是一种类似于多层感知机的前馈结构,适当地形成连续值输入与输出间的非线性映射,可以迅速地自适应。 特征图模型（4）HoPfield 模型HoPfield 网络模型有离散和连续两种。亦设网络由 N 个神经元组成，神经元的状态随机地异步变化，且为对称连接。通过引入能量函数 E，且已证明 E单调下降，从而该网络必趋于定态吸引子。两种 Hopfield 模型等价,由此模型研制的神经计算机,共计算时间就是网络趋于定态的时间。51.3 人工神经网络的特点由于人工神经网络是基于生理神经网络的自适应非线性动态系统，因此它具有独特的功能和特点（1）可以充分逼近任意复杂的非线性关系；（2）所有定量和定性的信息的保存为等势分布，储存在网络内的各神经元上，具有很强的“鲁棒性”和“容错性” ；（3）并行分布处理使得运用计算机和特定的硬件，快速进行大量的运算成为可能；（4）可学习和自适应未知的或不确定的系统；（5）能够同时处理定量和定性的知识。1.4 人工神经网络的分类目前人工神经网络的模型已经有 50 多种，为了研究方便，从不同角度对它进行分类：1）按网络结构分类：分为前馈型和反馈型网络；2）按网络的性质分类：分为连续性、离散性、确定性和随机性网络；3）按网络学习方式分类：分为有导师和无导师（包括自组织学习）学习；4）按突触连接的性质分类：分为一阶线性关联和高阶非线性关联网络。62 神经网络发展人工神经网络的整个发展过程，大致可以分为 4 个阶段：早期阶段，过渡阶段，复兴阶段，发展阶段。 2.1 早期阶段1943 年，生理学家 McCulloch 和数学家 Pitts 发表文章 ，提出了第一个神经元模型（M-P 模型） ，他们的努力奠定了网络模型和以后神经网络开发的基础，开启了人们对人工神经网络的研究。1951 年，心理学家 Donala O. Hebb 提出了连接权值强化的 Hebb 法则：在神经网络中，信息存储在连接权中，神经元之间突触的联系强度是可变的，这种变化建立起神经元之间的连接。Hebb 法则为构造有学习功能的神经网络模型奠定了基础。1954 年，生物学家 Eccles 提出了真实突触的分流模型，这一模型通过突触的电生理实验得到证实，因而为神经网络模拟突触的功能提供了原型和生理学的证据。1956 年，Uttley 发明了一种由处理单元组成的推理机，用于模拟行为及条件反射。70 年代中期，他把该推理机用于自适应模式识别，并认为该模型能反映实际神经系统的工作原理。1960 年，Widrow 和 Hoff 提出了自适应线性元件 Adaline 网络模型，这是一种连续取值的自适应线性神经元网络模型，他们对分段线性网络的训练有一定作用，此方法速度较快且具有较高的精度。2.2 过渡阶段在第一次神经网络研究热潮中，人们忽视了其本身的局限性。1969 年Minskyh 和 Papert 经过多年的研究，提出了对当前成果的质疑，指出当前的网络只能应用于简单的线性问题，却不能有效地应用于多层网络，由此开始了神经网络的低谷期。1972 年，芬兰的 Kohonen 教授，提出了自组织映射（SOM ）理论；同时美国的神经生理学家和心理学家 Anderson，提出了一个与之类似的神经网络，称为“交互存储器 ”。现在的神经网络主要是根据Kohonen 的工作来实现的 3。1980 年福岛邦彦发表的“新认知机”是视觉模式识别机制模型，它与生物视觉理论结合 ，综合出一种神经网络模型，使它像人类一样具有一定模式识别能力。 在低谷时期，许多重要研究成果都为日后神经网络理论研究打下了坚实的基础。72.3 复兴时期1982 年，美国物理学家 Hopfield 博士提出了 Hopfield 模型理论，他证明了在一定条件下，网络可以达到稳定的状态。在他的影响下，大量学者又重新开始了对神经网络的研究。1986 年，由美 国的 Rumelhart 和 McCkekkand 提出了 PDP（Parallel Distributed Processing）网络思想，再一次推动了神经网络的发展。20 世纪 90 年代中后期，神经网络研究步入了一个新的时期，在已有理论不断深化的同时，新的理论和方法也不断涌现。1995 年，Jenkins 等人开始研究光学神经网络（PNN） ，建立了光学二维并行互连与电子学混合的光学神经网络系统。经过多年的发展，目前已有上百种的神经网络模型被提出与应用。2.4 发展时期20 世纪 80 年代，随着人工神经网络在世界范围内的复苏，我国也逐步掀起了对其的研究热潮。1990 年 2 月由国内 8 个顶尖学会（生物物理学会和心理学会、人工智能学会、自动化学会、中国电子学会、中国计算机学会、通信学会、物理学会）联合在北京召开“中国神经网络首届学术会议” 。这次大会的主题是“八学会联盟，探智能奥秘” ，并且收到 300 多篇学术论文，开创了中国人工神经网络及神经计算机方面科学研究的新纪元。经过十几年的不断发展中国学术界和工程界在人工神经网络的理论研究和应用方面取得了丰硕成果。与此同时，国外人工神经网络也在迅速发展着。1987 年，在美国加州召开了第一届国际神经网络学会。此后每年召开两次国际联合神经网络大会（IJCNN） 。同时也创建了很多相关刊物。至此，神经网络理论研究在国内国外学术领域已经受到了相当的关注。90 年代，国内外许多学者进一步完善和发展了神经网络领域。特别是通过神经网络方法来解决非线性系统的控制问题，并取得了突出的成果。1991 年在南京召开了中国神经网络学术大会（第二届） ，并成立了中国神经网络学会。我国“863” 高技术研究计划和“攀登”计划 、相关基金 、年会 、期刊等都把神经网络的研究列入重要课题范围。这些都为我国发展神经网络创造了良好的条件，INNS 开始重视我国。 1992 年，在北京召开由国际神经网络学会 、IEEE 神经网络委员主办的国际性学术会议 IJCNN。Wunsch 在 90OSA 年会提出一种Annual Meeting，用光电执行 ART，主要计算强度由光学硬件完成，它的学习过程有自适应滤波和推理功能，具有快速和稳定的学习特点。1995 年 Jenkins 等人研究了光学神经网络（PNN） ，建立了光学神经网络系统，用光学二维并行互连与电子学混合实现了光学神经元，意味着应用新的方法来解决光学实现相减8和取阈的问题。充分发挥了光学强大的互连能力和并行处理能力，提高神经网络的实现规模，从而加强了网络的自适应功能和学习功能。Albus 在 1975 年提出了小脑模型关节控制器（CMAC） 。依此，Miller 等人进一步研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的特点，但采用间断超平面对非线性超曲逼近时，会出现精度不够，也有可能得不到相应的导数估计的情况。1992 年 Lane 对它作了改进使逼近超平面的光滑性更好，逼近精度有一定提高。1993 年 Bulsari 提出了以乘积 Sigmoid 函数作为激发函数，并给出非线性系统用神经网络逼近的构造性描述，得到了节点数目的上界估计。1997 年罗忠等人对CMAC 的收敛性以及 hash 编码对它的影响作了矩阵分析和证明。2000 年，Setiono 提出了快速规则抽取算法。所谓快速是相对于其他的基于结构的规则抽取算法而言，去掉不重要的连接，但要对网络进行训练，保证神经网络的精度，这增加了算法的消耗，降低了效率。所以，Setiono 又提出来了 FERNN 算法该算法不用对神经网络进行多次的训练，可以抽取 MOFN 规则或DNF 规则。几年来混沌神经网络也得到很好的发展，Aihara 等提出了混沌神经网络模型之后出现多种改进模型，2004 年，提出了用于计算混沌神经网络最大 Lyapunov 指数的一种算法，基于最大指数的计算，研究网络混沌区域的分布和特征，可以合理的选择网络参数。2004 年，武妍、王守觉等人提出了一种基于结果反馈的神经网络训练算法，其将输入调整与权值调整的 BP 算法结合起来 ，通过双重调整来最小化误差函数。该方法是通过对输入样本集的模糊化处理来避免学习过程中的过拟合，提高了网络的泛化能力。2011 年第 12 届国际语音通信协会上，微软研究人员发布了人工神经网络进行大词汇语音识别的论文，其利用深度网络模型（DNNs ）建立因素模型用于语音识别实验，此法与常规方法相比误差较小，这是神经网络应用的一大进步。93 神经网络基本原理3.1 人工神经网络的工作机理神经元网络对信息的处理是由大量的神经元共同完成的，是一种集合的功能：与之相适应的是信息的分布式存储和联想记忆的存取方式。网络由这些不同层次的节点集合组成，信息在节点之间传递，并且由于节点间连接权值的不同而被放大!衰减或抑制。在整个网络系统中, 隐层起着决定性作用。它把输入样本的特征形成更接近于输出模式的概念。人工神经网