第一章：神经网络基础

神经网络与遗传算法山东大学控制科学与工程学院课程目的和基本要求神经网络在信号处理、自动控制、模式识别等领域中具有广泛的应用前景。本课程将学生引入人工神经网络及其应用的研究领域。介绍人工神经网络基本概念及其基本网络模型的结构、特点、典型训练算法、运行方式、典型问题等。了解人工神经网络的有关研究思想，从中学习开拓者们的部分问题求解方法。课程目的和基本要求通过实验进一步体会有关模型的用法和性能，获取一些初步的设计经验。查阅适当的参考文献，将所学的知识与自己未来的研究课题（包括研究生论文阶段的研究课题）相结合起来，达到既丰富学习内容，又有一定研究和应用的目的。讲授计划第一章：神经网络基础第二章：前向神经网络第三章：反馈神经网络第四章：随机神经网络第五章：自组织神经网络第六章：神经网络控制第七章：遗传算法授课方式讲授与课后自学相结合注意听讲和记笔记。自学包括1）看最新文献（中、英文），形成word文档；2）课后作业（不定期），形成程序代码，并写明如何使用该文件。期末考试：1）考试；2）论文（综述）。总学时：32学时其中课堂讲授：26学时；课后练习：6学时。参考书目《人工神经网络》高等教育出版社1992杨行俊郑君里《人工神经网络-第六代计算机的实现》科普出版社1993周继成《神经网络系统理论》西安电子科大出版社1992焦李成《神经元网络控制》机械工业出版社1998王永骥徐建第一章：神经网络基础一序言二神经网络的发展史及研究现状三神经元数学模型四神经网络的构成原理五神经网络的功能及特点第一节

序言智能控制是控制科学发展的高级阶段，是一门新兴的交叉学科，具有广泛的应用领域。按照智能控制创始人K.S.Fu的观点，智能控制（IC）是自动控制（AC）、人工智能（AI）和运筹学（OR）的交集。20世纪末，研究智能控制的学者把智能控制的内容分为三大分支，即神经网络、模糊控制和专家系统。随着对不确定性系统处理的要求，适应于全局寻优的遗传算法、处理海量数据的粗糙集理论、处理小样本数据的支持向量机等理论为智能控制的发展增加了新的研究方法。

第一节

序言

以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。

第一节

序言人工神经网络（ArtificialNeuralNetworks,简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。神经网络主要用于非线性系统的辨识建模、非线性过程的预测、神经网络控制及故障诊断等。美国军方认为，神经网络技术是比原子弹工程更重要的技术。第二节

神经网络的发展史及研究现状

2．1萌芽期（20世纪40年代）对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为Synapse，即突触)接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。

1943年，心理学家W.S.McCulloch和W.Pitts根据上述研究发表了他们的神经元模型，通常称为MP模型。1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。直到现在也是重要的学习法则。第二节

神经网络的发展史及研究现状2．2第一次神经网络研究高潮（1950~1968）50年代末，F.Rosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。

M.Minsky和S.Papert进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机。1960年，B.Widraw在稍后于感知机一些时候提出了自适应线性单元Adaline分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。

第二节

神经网络的发展史及研究现状

1961年，E.R.Caianiello提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。

2．3反思期（1969~1982）1969年，MIT的AI专家M.L.Minsky和S.Papert共同出版《Perceptron》（MITPress，1969年）,遗憾地指出单层感知器只能用于线性问题的求解，而对于像XOR（异或）这样简单的非线性问题都无法求解。并指出能够求解非线性问题的网络，应该是具有隐层的多层神经网络，而将感知器模型扩展到多层网络是否有意义，还不能从理论上得到有力的证明。这个悲观的结论对当时神经网络的研究是一个沉重的打击。二十世纪70年代和80年代早期的研究结果，表明了认识规律：认识——实践——再认识。第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状2．4第二次神经网络研究高潮（1982~1990）

以Rumelhart为首的PDP(ParallelDistributedProcessing)并行分布处理研究集团对联结机制(connectionist)进行了研究。具有并行分布处理模式的神经网络又重新受到人们的重视。1982年，美国物理学家Hopfield对神经网络的动态特性进行了研究，提出了所谓Hopfield神经网络模型。T．J．Sejnowski等人还研究了神经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。第二节

神经网络的发展史及研究现状Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推销商问题(TravelingSalesmanProblem)，简称TSP问题。第二节

神经网络的发展史及研究现状

1983年，S.E.Farmann和Hiton提出了波尔兹曼机BM(BoltzmannMachine)，该神经网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。1985年，W.O.Hillis发表了称为联结机(connection)的超级并行计算机。他把65536个lbit的微处理机排列成起立方体的互连形式，每个微处理机还带有4kbit的存贮器。误差反向传播神经网络BP(ErrorBackPropagationNeuralNetwork)是1986年由Rumelhart和Hinton提出的，解决了多层前向神经网络的学习问题。是目前影响最大、应用最广的一种网络学习算法。

第二节

神经网络的发展史及研究现状2．5

再认识与应用研究期（1991~）1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法。3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。第二节

神经网络的发展史及研究现状2．6存在的问题神经网络识别机的原型是感知机，而BP只是学习方法改进了的感知机，所以把它当作识别机械时，可能存在着中间层神经元的个数会很庞大、学习时间太长、结合系数的范围太宽等严重缺点。当把Hopfield神经网络模型和波尔兹曼机用作最优解的求解机时，还需要弄清楚该模型对具体的对象是否适用。当把神经网络用于运动控制装置时，另一个重要的问题是如何获得自组织的运动模式。综上所述，神经网络的研究虽然时有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。

第二节

神经网络的发展史及研究现状2．7研究现状日本通产省早在1988年也提出了所谓人类尖端科学计划(HumanFrontierScienceProgram)，即所谓的第六代计算机计划，研制能模拟人类智能行为的计算机系统。第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状

1987年6月21至24日在美国加州圣地亚哥(SanDiego)召开的第一届神经网络国际会议;1988年，我国在北京召开了神经网络的国际研究工作会议，并出版了论文集。关于神经网络的主要国际性杂志有：(1)NeuralNetworks(国际神经网络协会会刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)Neurocomputing(6)NeuralComputation(7)InternationalJournalofNeuralSystems第三节神经元数学模型（ANN）一神经网络定义：基于模仿生物大脑的结构或功能构成的信息处理系统或计算机。80年代美国的H.Nidsen定义：神经网络是由多个非常简单的处理单元（神经元）彼此以某种方式相联接而形成的计算机系统。该系统是靠其状态对外部输入信息的动态响应来处理信息的。第三节神经元数学模型（ANN）二生物神经元的结构和动作原理以及功能1.生物神经元的结构

人脑大约由1012个神经元组成，神经元互相连接成神经网络。生物神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。细胞体树突轴突轴突末梢细胞核图1-1a神经元的解剖图1-1b神经元的解剖第三节神经元数学模型（ANN）细胞体：细胞体是由很多分子形成的综合体,内部含有一个细胞核、核糖体、原生质网状结构等,它是神经元活动的能量供应地,在这里进行新陈代谢等各种生化过程。包括细胞核，细胞膜和细胞质。轴突：细胞体突起的最长的外伸管状纤维称为轴突，轴突是把神经元兴奋的信息传出到其它神经元的出口。树突：细胞体的伸延部分产生的一至多个突起，呈放射状的分枝称为树突,它是细胞体向外伸出的许多较短的树状分支,相当于细胞的输入。树突具有接受刺激并将冲动传入细胞体的功能，树突与其树突末梢是接受从其它神经元传入的信息的入口。每个神经元有大约10000个树突连接。第三节神经元数学模型（ANN）突触：突触是神经元的树突末梢连接另一神经元的突触后膜(postsynapticmembrane)的部分。它是神经元之间相联系并进行信息传送的结构,是神经元之间连接的接口。两个神经元的细胞质并不直接连通,两者彼此联系是通过突触这种结构接口的。膜电位：神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。膜电压接受神经其它神经元的输入后,电位上升或下降。当传入冲动的时空整合结果，使膜电位上升，而且当超过叫做动作电位的阈值时,细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。第三节神经元数学模型（ANN）2突触传递信息动作原理兴奋期,大于动作阈值绝对不应期：不响应任何刺激相对不应期：很难相应根据突触传递信息的动作过程可以分为两种类型：兴奋型和抑制型。神经冲动使得细胞膜电压升高超过动作电压进入兴奋状态产生神经冲动，若使膜电压下降，低于阈值细胞膜进入