人工神经网络简介

人工神经网络,讲座人：冯源,人工神经网络,人工神经网络（ArtificialNeuralNetworks，简记为ANN）是对人类大脑系统的一阶特性的一种描述。它是一个数学模型，可以用计算机程序来模拟，是人工智能的一种方法。,智能的含义,人类能记忆事物，能有目的地进行一些活动，能通过学习获得知识，并能在后续的学习中不断地丰富知识，还有一定的能力运用这些知识去探索未知的东西，去发现、去创新。,人类个体智能是一种综合能力,感知与认识客观事物、客观世界和自我的能力通过学习取得经验秘积累知识的能力理解并运用知识和经验分析、解决问题的能力联想、推理、判断、决策的能力运用语言进行抽象、概括的能力发现、发明、创造、创新的能力实时、迅速、合理地应付环境的能力预测、洞察事物发展、变化的能力,人工智能,人工智能（ArtificialIntelligence,简记AI）最早在1956年被引入的。人工智能就是研究如何让计算机模仿人脑进行工作。,学术流派,有代表性的包括：符号主义（或符号/逻辑主义）学派联接主义（或并行分布处理）学派进化主义（或行动/响应）学派,物理符号系统,Newell和Simon在1976年提出的假说，他们认为：一个物理系统表现智能行为的充要条件是它有一个物理符号系统。,联接主义观点,认为：智能的本质是联接机制，神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统。,人工神经网络,力求从四个方面模拟人脑的智能行为1、物理结构2、计算模拟3、存储与操作4、训练,两种模型的比较,两种人工智能技术的比较,细胞体（Cellbody）树突（Dendrite）轴突（Axon）突触（Synapse）人的大脑由个神经元构成，神经元互相连接构成神经网络。,生物神经元的组成,生物神经元,电脑模拟的锥体神经细胞,生物神经系统有基本特征,神经元及其联接神经元之间的联接强度决定信号传递的强弱神经元之间的联接强度可以随训练而改变的信号可以是起刺激作用的，也可以是起抑制作用一个神经元接受的信号的累积效果决定该神经元的状态每个神经元可以有一个“阈值”,突触传递信息特点：,1、时延性（0.31ms）2、综合性：时间与空间的累加3、类型：兴奋与抑制4、脉冲与电位转换（D/A功能）5、速度:1150m/s6、不应期（死区）35ms7、不可逆性（单向）8、可塑性：强度可变,大脑处理信息的特点,分布存储与冗余性并行处理信息处理与存储合一可塑性与自组织性鲁棒性,人工神经网络的定义,1988年，Hecht-Nielsen曾经给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元（PEProcessingElement）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处量单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处量单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。处理单元就是人工神经元。,PDP（ParallelDistributedProcessing）理论框架,Rumellhart、McClelland、Hinton等人提出1一组处理单元（PE或AN）2处理单元的激活状态3每个处理单元的输出函数4处量单元之间的联接模式,PDP（ParallelDistributedProcessing）理论框架,5传递规则6把处理单元的输入及当前状态结合起来产生激活值的激活规则7通过经验修改联接强度的学习规则8系统运行的环境（样本集合）,PDP模型下的人工神经元网络模型,人工神经网络的定义,1987年，Simpson从人工神经网络的拓朴结构出发，给出一个虽不太严格但简明扼要的定义：人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。,人工神经网络的特点,学习能力泛化能力信息的分布存放适用性问题1、对大量的数据进行分类，并且只有较少的几种情况2、必须学习一个复杂的非线性映射,人工神经网络的发展是曲折的,萌芽期1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型；心理学家D.O.Hebb提出Hebb学习律人工神经网络学习训练算法的起点，是里程碑,Hebb学习律,联接两个神经元的突触的强度按如下规则变化：在任意时刻，当这两个神经元处于同一种状态时，表明这两个神经元具有对问题响应的一致性，所以它们应该互相支持，其间的信号传输应该加强，这是通过加强它们之间的突触的联接强度实现的。反之，在某一时刻，当这两个神经元处于不同的状态时，表明它们对问题的响应不一致，因此它们之间的突触的联接强度被减弱。,第一高潮期,大体上可以认为是从1950年到1968年，也就是从单级感知器(Perceptron)的构造成功开始，到单级感知器被无情的否定为止。人们乐观地认为找到了智能的关键,反思期,M.L.Minsky和S.Papert对单级感知器进行了深入的研究，从理论上证明了当时的单级感知器无法解决许多简单问题，包括最基本的“异或”问题。,第二高潮期,1、1982年，J.Hopfield提出循环网络，并将Lyapunov函数引入人工神经网络，作为网络性能判定的能量函数。这是一个突破性的进展。2、1984年，J.Hopfield设计研制了Hopfield网的电路。人工神经元被用放大器来实现，而联接则是用其他电子线路实现的。它较好地解决了著名的TSP问题，找到了最佳解，引起了较大轰动。,第二高潮期,3、1985年，美国加州大学圣地亚哥分校（UCSD）的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出了所谓的Boltzmann机。首次提出了多层网的学习算法。4、1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。,类似的算法分分别被Paker和Werbos在1982年和1974年独立地提出过。但当时并未受到重视。,再认识与应用研究期,20世经90年代后，人们发现，关于人工神经网络还有许多待解决的问题，因此又开始新一轮的再认识。人工神经网络的不精确推理，使它因结果精度低而不能满足用户需要。因此一部分研究者在系统中将其作为初步“筛选工具”，取得结果后再用传统方法求精。另外，目前还无法对人工神经网络的工作机理进行严格的解释。,目前研究方向,1开发