神经网络分类器-第八章

神经网络分类方法,郏东耀,1.神经网络的结构特点2.神经网络的数学模型3.感知器模型4.神经网络的应用字符识别,主要内容,1.大规模并行计算2.非线性处理3.鲁棒性4.自组织及自适应性5.学习能力7.联想能力,人类神经网络的特点：,21世纪:智能科学,神经网络发展历史,上世纪40年代兴奋与抑制型神经元模型（Mcculloch，Pitts）,1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文神经活动中所蕴含思想的逻辑活动中，提出了一个非常简单的神经元模型，即MP模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究。,神经元连接强度的规则修改（Hebb）,神经网络发展历史,上世纪50年代、60年代感知机（Rosenblatt）和自适应性元件（Widrow）上世纪70年代Perceptron一书出版（Minsky和Papert）研究处于低潮。上世纪80年代后Hopfield，Mcclelland以及Rumelhart等取得突破性进展上世纪90年代开始功能柱和神经场模型的提出,“人工大脑之父”的雨果德加里斯教授：“可能20年、30年后人工智能机器就可以和人做朋友了，但50年后，人工智能将成为人类最大的威胁。世界最终会因人工智能超过人类而爆发一场战争，这场智能战争也许会夺去数十人的生命。”这种听起来像“骇客帝国”一样的描述却是建立在科学研究的基础上。,2000美元就能“制造大脑”2.人工大脑迟早会超过人类,人工神经网络是对人脑的模拟人工神经元模拟生物神经元人工神经网络模拟生物神经网络,讨论内容：1.生物神经元与生物神经网络2.人工神经元模型3.人工神经网络模型4.神经网络的学习,人工神经网络的生物学基础,神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。,人类大脑大约包含有10101012个神经元，每个神经元与大约103105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。,生物神经元的结构,生物神经元在结构上由：细胞体(Cellbody)树突(Dendrite)轴突(Axon)突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。,信息输入,信息整合,信息输出,生物神经网络由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。注意：生物神经网络的功能不是单个神经元信息处理功能的简单叠加。神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。,神经元的建模神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发常把它称为“节点”。人工神经元是对生物神经元的一种形式化描述。,(1)每个神经元都是一个多输入单输出的信息处理单元；,(2)神经元输入分兴奋性输入和抑制性输入两种类型；,(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。,(3)神经元具有空间整合特性和阈值特性；,(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；,(5)忽略时间整合作用和不应期；,模型的六点假设：,神经元的数学模型,ij输入输出间的突触时延；Tj神经元j的阈值；wij神经元i到j的突触连接系数或称权重值；f()神经元转移函数(激励函数、激活函数)。,神经元的数学模型,netj=WjTX,Wj=(w1w2wn)TX=(x1x2xn)T,oj=f(netj)=f(WjTX),令x0=-1，w0=Tj则有-Tj=x0w0,人工神经元信息处理单元,前馈型网络,网络拓扑结构类型层次型结构,反馈型网络,网络拓扑结构类型层次型结构,前馈型神经网络是广为应用的一种网络，其原理或算法也是其它一些网络的基础。径向基函数(RBF)神经网络也是一种前馈型神经网络，由于RBF网络学习收敛速度较快，近年来在应用中受到重视。Hopfield神经网络是反馈型网络的代表。网络的运行是一个非线性的动力学系统，已在联想记忆和优化计算中得到成功应用。自组织竞争型神经网络的特点是能识别环境的特征，并自动聚类。它们在特征抽取和大规模数据处理中已有极为成功的应用,几种神经网络介绍,神经网络的性质主要取决于以下两个因素：一个是网络的拓扑结构；另一个是网络的权值。二者结合起来就可以构成一个网络的主要特征。神经网络的学习问题就是网络的权值调整问题。神经网络的连接权值的确定一般有两种方式：一种是通过设计计算确定，即所谓死记式学习；Hopfield网络作联想记忆和优化计算时就是属于这种情况。另一种是网络按一定的规则通过学习（训练）得到的。大多数神经网络使用后一种方法确定其网络权值。如自组织学习、有/无监督学习等。,神经网络学习,神经网络学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出，其本质是可变权值的动态调整。,神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督学习)死记式学习,非监督学习看起来非常困难：目标是我们不告诉计算机怎么做，而是让它（计算机）自己去学习怎样做一些事情。非监督学习一般不为其指定明确的分类，而是在成功时采用某种形式的激励制度。它的目标不是产生一个分类系统，而是做出最大回报的决定。这种思路很好的概括了现实世界，可以对那些正确的行为做出激励，并对其他的行为进行处罚。,神经网络的学习问题就是网络的权值调整问题。连接权wij通常在-1,1之间取值：wij0，称为正连接，表示神经元i对j有激活作用wij0，称为负连接，表示神经元i对j有抑制作用神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。,神经网络学习,感知器的学习分类：,y=sgn(x),详细讨论权值的确定：,权值的确定：,激励函数：通常选取下列函数之一：,激励函数的选择,激励函数的选择,BP网络是一种前馈网络,即误差反向传播神经网络一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络，不一定是分层网络或全连接的网络。多层前馈网络的每一层都是单层的网络，却无法用单层感知器的学习方法。其解决方法：通过误差函数求导使误差沿网络向后传播。,BP网络,BP模型学习算法的基本思想为：(1)从训练样例中取出一样例，把输入信息输入到网络中(2)由网络分别计算各层节点的输出(3)计算网络的实际输出和期望输出的误差(4)从输出层反向计算到第一隐层，根据减小误差原则调整网络的各个连接权值(5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止,BP模型学习公式推导：BP网络表示为：Oi。：结点i的输出netj:结点j的输入wij，结点i到结点j的连接权值yk、:分别表示输出层上结点k的实际输出和期望输出。,在BP算法中，为了使学习以尽可能快的减少误差的方式进行，对误差采用基于梯度法极小化二次性能的指标函数：连接权值的修正公式为：,结论：输出结点：权值调整为增益因子隐结点：权值调整,基于神经网络的字符识别,系统采用了粗网格特征提取办