人工智能与神经网络-神经网络基础

神经网络与遗传算法神经网络基础一序言二神经网络的发展史及研究现状三神经元数学模型四神经网络的构成原理五神经网络的功能及特点第一节

序言

智能控制是控制科学发展的高级阶段，是一门新兴的交叉学科，具有广泛的应用领域。按照智能控制创始人K.S.Fu的观点，智能控制（IC）是自动控制（AC）、人工智能（AI）和运筹学（OR）的交集。20世纪末，研究智能控制的学者把智能控制的内容分为三大分支，即神经网络、模糊控制和专家系统。随着对不确定性系统处理的要求，适应于全局寻优的遗传算法、处理海量数据的粗糙集理论、处理小样本数据的支持向量机等理论为智能控制的发展增加了新的研究方法。

第一节

序言

以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。

第一节

序言

人工神经网络（ArtificialNeuralNetworks,简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。神经网络主要用于非线性系统的辨识建模、非线性过程的预测、神经网络控制及故障诊断等。第二节

神经网络的发展史及研究现状

2．1萌芽期（20世纪40年代）对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为Synapse，即突触)接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。

1943年，心理学家W.S.McCulloch和W.Pitts根据上述研究发表了他们的神经元模型，通常称为MP模型。

1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。直到现在也是重要的学习法则。第二节

神经网络的发展史及研究现状2．2第一次神经网络研究高潮（1950~1968）

50年代末，F.Rosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。

M.Minsky和S.Papert进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机。

1960年，B.Widraw在稍后于感知机一些时候提出了自适应线性单元Adaline分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。

第二节

神经网络的发展史及研究现状

1961年，E.R.Caianiello提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。

2．3反思期（1969~1982）

1969年，MIT的AI专家M.L.Minsky和S.Papert共同出版《Perceptron》（MITPress，1969年）,遗憾地指出单层感知器只能用于线性问题的求解，而对于像XOR（异或）这样简单的非线性问题都无法求解。并指出能够求解非线性问题的网络，应该是具有隐层的多层神经网络，而将感知器模型扩展到多层网络是否有意义，还不能从理论上得到有力的证明。这个悲观的结论对当时神经网络的研究是一个沉重的打击。二十世纪70年代和80年代早期的研究结果，表明了认识规律：认识——实践——再认识。第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状2．4第二次神经网络研究高潮（1982~1990）

以Rumelhart为首的PDP(ParallelDistributedProcessing)并行分布处理研究集团对联结机制(connectionist)进行了研究。具有并行分布处理模式的神经网络又重新受到人们的重视。

1982年，美国物理学家Hopfield对神经网络的动态特性进行了研究，提出了所谓Hopfield神经网络模型。

T．J．Sejnowski等人还研究了神经网络语音信息处理装置。这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。第二节

神经网络的发展史及研究现状Hopfield模型的动作原理是：只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。

1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推销商问题(TravelingSalesmanProblem)，简称TSP问题。第二节

神经网络的发展史及研究现状

1983年，S.E.Farmann和Hiton提出了波尔兹曼机BM(BoltzmannMachine)，该神经网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。

1985年，W.O.Hillis发表了称为联结机(connection)的超级并行计算机。他把65536个lbit的微处理机排列成起立方体的互连形式，每个微处理机还带有4kbit的存贮器。误差反向传播神经网络BP(ErrorBackPropagationNeuralNetwork)是1986年由Rumelhart和Hinton提出的，解决了多层前向神经网络的学习问题。是目前影响最大、应用最广的一种网络学习算法。

第二节

神经网络的发展史及研究现状2．5

再认识与应用研究期（1991~）1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法。3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。第二节

神经网络的发展史及研究现状2．6存在的问题神经网络识别机的原型是感知机，而BP只是学习方法改进了的感知机，所以把它当作识别机械时，可能存在着中间层神经元的个数会很庞大、学习时间太长、结合系数的范围太宽等严重缺点。当把Hopfield神经网络模型和波尔兹曼机用作最优解的求解机时，还需要弄清楚该模型对具体的对象是否适用。当把神经网络用于运动控制装置时，另一个重要的问题是如何获得自组织的运动模式。综上所述，神经网络的研究虽然时有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。

第二节

神经网络的发展史及研究现状2．7研究现状日本通产省早在1988年也提出了所谓人类尖端科学计划(HumanFrontierScienceProgram)，即所谓的第六代计算机计划，研制能模拟人类智能行为的计算机系统。第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状第二节

神经网络的发展史及研究现状

1987年6月21至24日在美国加州圣地亚哥(SanDiego)召开的第一届神经网络国际会议;1988年，我国在北京召开了神经网络的国际研究工作会议，并出版了论文集。关于神经网络的主要国际性杂志有：(1)NeuralNetworks(国际神经网络协会会刊)(2)IEEETransactionsonNeuralNetworks(3)IEEETransactionsonParallelDistributedSystem(4)ConnectionsScience(5)Neurocomputing(6)NeuralComputation(7)InternationalJournalofNeuralSystems第三节神经元数学模型（ANN）一神经网络定义：基于模仿生物大脑的结构或功能构成的信息处理系统或计算机。

80年代美国的H.Nidsen定义：神经网络是由多个非常简单的处理单元（神经元）彼此以某种方式相联接而形成的计算机系统。该系统是靠其状态对外部输入信息的动态响应来处理信息的。第三节神经元数学模型（ANN）二生物神经元的结构和动作原理以及功能

1.生物神经元的结构

人脑大约由1012个神经元组成，神经元互相连接成神经网络。生物神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。细胞体树突轴突轴突末梢细胞核图1-1a神经元的解剖图1-1b神经元的解剖第三节神经元数学模型（ANN）细胞体：细胞体是由很多分子形成的综合体,内部含有一个细胞核、核糖体、原生质网状结构等,它是神经元活动的能量供应地,在这里进行新陈代谢等各种生化过程。包括细胞核，细胞膜和细胞质。轴突：细胞体突起的最长的外伸管状纤维称为轴突，轴突是把神经元兴奋的信息传出到其它神经元的出口。树突：细胞体的伸延部分产生的一至多个突起，呈放射状的分枝称为树突,它是细胞体向外伸出的许多较短的树状分支,相当于细胞的输入。树突具有接受刺激并将冲动传入细胞体的功能，树突与其树突末梢是接受从其它神经元传入的信息的入口。每个神经元有大约10000个树突连接。第三节神经元数学模型（ANN）突触：突触是神经元的树突末梢连接另一神经元的突触后膜(postsynapticmembrane)的部分。它是神经元之间相联系并进行信息传送的结构,是神经元之间连接的接口。两个神经元的细胞质并不直接连通,两者彼此联系是通过突触这种结构接口的。膜电位：神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。膜电压接受神经其它神经元的输入后,电位上升或下降。当传入冲动的时空整合结果，使膜电位上升，而且当超过叫做动作电位的阈值时,细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。第三节神经元数学模型（ANN）2突触传递信息动作原理兴奋期,大于动作阈值绝对不应期：不响应任何刺激相对不应期：很难响应根据突触传递信息的动作过程可以分为两种类型：兴奋型和抑制型。神经冲动使得细胞膜电压升高超过动作电压进入兴奋状态产生神经冲动，若使膜电压下降，低于阈值细胞膜进入抑制状态，无神经冲动输出。t(ms)膜电位（mv）-70-553ms1ms1ms123动作阈值图1-2生物神经元动作原理第三节神经元数学模型（ANN）

第j路输入信号，从第j路与第i个神经元的连接权，第i个神经元的阈值，

第i个神经元的输出。xNwiNx1wi1x2wi2…...直接刺激三神经元的数学模型图1-3神经元数学模型第三节神经元数学模型（ANN）数学模型MP模型：1943年由美国心理学家Mcloch和数学家Pitts提出的。

其中常用的有阈值型，sgnx为符号函数。式中涉及的符号如1-3图所示。第三节神经元数学模型（ANN）四人工神经元与生物神经元区别（1）模型传递的是模拟信号，生物输入输出均为电脉冲（2）没有考虑其不应期，时滞，疲劳现象。（3）只考虑空间叠加性，没有考虑时间迭加。第四节神经网络的构成原理本节主要从构成神经网络的一些规则和算法来介绍神经网络的构成原理！包括五个方面：一：传播规则:用来描述从外部输入到净输入的产生规则。二：激活规则：由本时刻的激活状态（内部状态），决定下一时刻激活状态的规则。三：神经网络的输出函数四：神经网络的连接方式五：神经网络的学习规则第四节神经网络的构成原理PDP模型：1986年由Rumelhart提出PDP分布式并行处理神经网络模型，有8条原则。主要介绍核心的5条。一：传播规则:用来描述从外部输入到净输入的产生规则。

1线性规则：

2多项式函数:第四节神经网络的构成原理二：激活规则：由本时刻的激活状态（内部状态），决定下一时刻激活状态的规则。在MP模型中三：神经元的输出函数（3种类型）

1静态映射关系模型在MP模型中表示为

第四节神经网络的构成原理2动态系统模型：差分方程的形式3概率统计模型：如随机网络，输出按Beltzmann分布另外从输出与输入静特性上又分为3类线性函数：第四节神经网络的构成原理硬限幅函数（阈值函数）阶跃函数1（.）符号函数sgn（.）非线性函数：值在两个有限值之间取值，连续非递减函数

sigmoid函数双曲正切函数10.5-11第四节神经网络的构成原理响应函数的基本作用：1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。

第四节神经网络的构成原理四：连接方式（一）前向网络（前馈网络）……输出层输入节点隐蔽层计算层第四节神经网络的构成原理（二）反馈网络，只要存在反馈。单层反馈网络（Hopfield网络）(a)。从输出到输入有反馈的前向网络(b）。a）反馈网络b)输入到输出反馈的前向网络第四节神经网络的构成原理层内互联的前向网络（c）全互联网络（d）第四节神经网络的构成原理五：学习规则人工神经网络最具有吸引力的特点是它的学习能力，学习方法是人工神经网络研究中的核心问题。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程。

1.分类：有导师学习、无导师学习有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。输入向量与其对应的输出向量构成一个“训练对”。概念：拿出足够多的样本对，就可以得到一组基本不变的连接权，一次学习过程完毕。存储和运算都是在连接权上，知识存储在连接权上。第四节神经网络的构成原理第四节神经网络的构成原理有导师学习的训练算法的主要步骤包括：1）

从样本集合中取一个样本（Ai，Bi）；2）计算出网络的实际输出O；3）

求D=Bi-O；4）根据D调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。

误差神经网络输入期望输出

输出调整连接权第四节神经网络的构成原理无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。如：Hebb学习规则2算法应具备的条件有一定的准确性：连接权要稳定在唯一的一组解上，按照误差规则或者按照目标函数极小等原则。第四节神经网络的构成原理自适应性收敛性以及收敛速度可推性，对目标样本能完成所要求的任务，对非目标样本也能完成相应的任务！3两种学习算法D.O.Hebb在1961年提出的Hebb学习规则，核心为当两个神经元同时处于激发状态时被加强，否则被减弱。数学表达式表示，即a>0称为学习因子，无导师学习第四节神经网络的构成原理Delta规则（算法，误差修正算法）对于给定一组训练样本期望输出为d，则：其中误差：a>0称为学习因子第五节网络的功能以及特点一网络功能分为三类，一一介绍。联想记忆（AM）从一种事物联想到与其相关