人工神经网络PPT

1、人工神经网络人工神经网络 Artificial Neural Networks概述1.1 什么是人工神经网络v人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，

2、也可能是对一种逻辑策略的表达。v简单来说, 大脑是由大量神经细胞或神经元组成的。v每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。v这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。v现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。v由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。v需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的

3、水平。v按美国神经网络学者Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。v人工神经网络与一般计算机的区别在一般的计算机中，通常有一个中央处理器，它可访问其存储器。该处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。任何动作都按照确定的操作程序，以串行方式执行。在人工神经网络中，操作既不是串行的

4、，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平），否则低于阈值时呈现抑制状态（低电平）。人工神经网络并不执行指令序列，它对并行加载的输入信号也按并行方式来处理和响应，结果也不存储在特定的存储单元中。当它达到某种平衡状态后，网络的整个状态就是所求的结果。目前还没有用硬件真正实现的并行处理的人工神经网络，对它的实现还是基于一般计算机的软件模拟，这显然并没有真正发挥出人工神经网络并行快速的特点。v人工神经网络的两种操作过程训练学习v训练时，把要教给神经网络的信息（外部输

5、入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。v这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）v对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。v文本（英文）朗读机实例输入装置是一个阅读窗口，当它沿文本的一行移动时，每次前移一个字母，但每个瞬间输入七个相邻的字母（包括空格和句号）信息。由于英文字母的发音与其前后字母有关，所以训练人工神经网络时，只要求每次七个字母的中间字母发音（靠人工神经网络的输出相应状态驱动一个语音综合发生器）。训练时，将一篇有1024个字的文本一

6、行一行通过阅读窗口，并要求对应每个字母时人工神经网络的输出结点能输出相应音素的状态值。这样通过十遍阅读（训练），可以达到输出可理解的语音。通过50遍阅读（训练），可以达到95%的精确度。训练过程中听上去像小孩学说话一样，由不清楚到清楚。训练完成后，再阅读从未见过的课文，朗读精度仍可达78%，完全可以听懂。v人脸识别实例用10个人的照片，每个人都在不同的角度照5张照片，共有50张照片的输入信息。对人工神经网络进行训练，每个照片信息作为输入时，代表10个人的10个结点中相应的一个结点输出最大，每个人的5张照片都对应着同一个结点的最大输出。经过训练后，再对原来的10个人中的一个从不同角度拍照（尺寸不

7、变），进行识别，结果是他本人对应的结点的输出比其它9个结点的输出都高得多。v总结和讨论传统计算机采用的是串行处理方式，限制了大量信息的快速传输和处理，即使用了多个处理器并行工作，还是会把许多时间浪费在完成串行操作上，而且问题的并行化分解和并行程序的编写也是一个难题。虽然至今开发出的超型计算机，其速度和容量都大得惊人，但仍不能很好地完成诸如小孩可以做到的事情，如认识面孔、学习说话、识别图像等。尽管人工神经网络还是生物大脑的极低水平的模仿，但在图像识别、语音识别、记忆、预测以及优化等方面表现出了良好的智能特性和应用前景，可以完成传统计算机不易实现的智能性工作。1.1.3 人工神经网络的特点v固有的

8、并行结构和并行处理人工神经网络与人类的大脑类似，不但结构上是并行的，其处理顺序也是并行的和同时的。在同一层内的处理单元都是同时工作的，即神经网络的计算功能分布在多个处理单元上，而传统的计算机通常只有一个处理单元，其处理顺序是串行的。目前的神经网络功能常常用一般计算机的串行工作方式来模拟，所以显得很慢，真正意义上的神经网络将会大大提高处理速度，实现快速处理。v知识的分布存储在神经网络中，知识不是存储在特定的存储单元，而是分布在整个系统中，要存储多个知识就需要很多连接。在计算机中，只要给定一个地址就可以得到一个或一组数据，在神经网络中，要获得存储的知识则采用“联想”的办法，这类似于人类和动物的记忆

9、。1.1.3 人工神经网络的特点v容错性人类大脑具有很强的容错能力，这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。v每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和做出决定v由于知识存在整个系统中，而不是在一个存储单元内，因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影响。v神经网络中承受硬件损坏的能力比一般计算机要强得多。1.1.4 人工神经网络的基本原理v人工神经网络(Artificial Neural Networks,or ANN)是对人类大脑系统一阶特性的一种描述。v简单的讲，它是一个数学模

10、型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能的一种方法。什么是人工智能？v人工智能（Artificial Intelligence,or AI）最初是在1956年被引入的，它研究怎样用计算机，模拟人脑从事推理、设计、思考、学习等思维活动，以解决和处理较复杂的问题，简单的说，人工智能就是让计算机模仿人脑进行工作。联接主义观点：v在现代神经科学的研究成果基础上，人们提出了一种观点认为：智能的本质是联接机制。神经网络是一个由大量简单的处理单元，组成的高度复杂的大规模非线性自适应系统。人工智能的代表学派v一、符号主义（或逻辑主义）学派v二、连接主义(或并行分布处理主义）学派v三、进化

11、主义（或行动/响应)学派典型生物的神经元生物神经元结构与功能特点v生物神经元在结构上由四部分组成： 细胞体（cell body） 树突（dendrite） 轴突（Axon） 突触（synapse） 用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿突触以及它们的连接体。一、MP模型 MP模型属于一种阈值元件模型，它是提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 1.2 人工神经网络基本模型vMP模型v感知器模型v自适应线性神经元图2 不带激活的人工神经元 神经元的数学模型 激活函数（Activation Function）v线性函数（Liner

12、Function）v非线性斜面函数（Ramp Function）v阈值函数（Threshold Function）vS型函数（Squaing Function）vetc激活函数：执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o=f（net） 人工神经网络的基本构成v人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T网络输入：网络输入：net=xiwi向量形式：向量形式：net=XWx2 w2 fo=f（net）xn wnnet=XWx1 w12.2.2 激活函数激活函数(A

13、ctivation Function) v1、线性函数（、线性函数（Liner Function） f（net）=k*net+c netooc2、非线性斜面函数、非线性斜面函数(Ramp Function) if netf（net）= k*netif |net|0为一常数，被称为饱和值，为该神经元为一常数，被称为饱和值，为该神经元的最大输出。的最大输出。 2、非线性斜面函数（、非线性斜面函数（Ramp Function） - - net o 3、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数if netf（net）=-if net 、均为非负实数，均为非负实数，

14、为阈值为阈值二值形式：二值形式：1if netf（net）=0if net 双极形式：双极形式：1if netf（net）=-1if net 3、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数 -onet02.2.4 人工神经网络处理单元v符号函数（sgn()）硬限幅函数的一种4、S形函数形函数 a+b o(0,c)netac=a+b/23.2 人工神经网络基础3.2.2 人工神经网络处理单元vSigmoid函数S型函数的一种y = F(s) = 1/(1+e-s)3.2 人工神经网络基础v可以把该型函数看作为处理单元定义了一个非线性增益，增益的大小决定于曲线在

15、给定s点的斜率。当s由负无穷增到0时，增益由0增至最大；当s由0增到正无穷时，增益又由最大返回到0。v发现，用该函数可使同一网络既能处理小信号，也能处理大信号。该函数的中间高增益区解决了处理小信号的问题；伸向两边的低增益区正好适合于处理大的激励信号；这种现象正像生物神经元在输入电平范围很大的情况下能正常工作一样。人工神经网络处理单元是生物神经元的简单近似，在模仿生物神经网络时，具备了生物神经元的某些特性。v至于模仿效果，还需进一步研究，修改模型。人工神经网络处理单元忽略了生物神经元的很多特征。v它没有考虑影响系统动态特性的时间延迟，而认为一个输入立即产生一个输出。v它没有包括同步机能和神经元的

16、频率调制功能的影响。v其它未知的生物神经元的功能和特性。人工神经网络的拓扑结构 v虽然单个处理单元可以处理简单的图形检测功能，但更强的识别处理能力是来自多个结点“连成”的网络，即人工神经网络。v这里的“连成”，是靠输入至结点或者结点至结点间的信号传输通路实现的，这一通路相当于生物神经系统中的轴突和突触，它们影响着输入信号。v以后我们把这种信号传输通路称为“连接”，每一个连接都具有一个加权值，称为“连接权”，反映连接的强度。单层网络 最简单的网络是把一组结点形成一层。左边的黑色圆点只起着分配输入信号的作用，没有计算作用，不看作是网络的一层。右边用圆圈表示的一组结点被看作一层。输入信号表示为行向量

17、：x = (x1, x2, xN)，其中每一分量通过加权连接到各结点。每一个结点均可产生一个加权和。输入和结点间采用全连接，并且都是前馈连接。v实际的人工神经网络和生物神经网络中有些连接可能不存在。在这种单层网络中，可把各加权表示为加权矩阵W。矩阵的维数是N x n，N是输入信号向量（也称输入图形）的分量数，n是该层内的结点数。v由第三个输入连接到第二个结点的连接权表示为W32。v单层网络输入信号的加权和表示为：s是各结点加权和的行向量，s=(s1, s2, sn)。输出向量 y=(y1, y2, yn)，其中yj=F(sj)。人工神经网络的拓扑结构v多层网络一般来说，大而复杂的网络能提供更强

18、的计算能力。虽然目前已构成了很多网络模型，但它们的结点都是按层排列的，这一点正是模仿了大脑皮层中的网络模块。多层网络是由单层网络进行级联构成的，即上一层的输出作为下一层的输入。v多层网络两层网络（前馈全连接网络）三层网络（前馈全连接网络）v多层网络注意：在构成多层网络时，层间的转移函数应是非线性的，否则多层网络的计算能力并不比单层网络强。v在线性转移函数的情况下，两层网络输出的计算是第一层的输出xW1作为第二层的输入，通过第二个加权矩阵得到网络的输出y=(xW1) W2=x(W1W2)v这表明两层线性网络等效于单层网络，只是后者的加权矩阵为两个加权矩阵的乘积。多层网络中，接收输入信号的层称为输

19、入层。v它不计入网络层数，因为它只起着输入信号缓冲器的作用，没有处理功能。产生输出信号的层称为输出层。除此之外的中间层称为隐藏层（或隐蔽层），它不直接与外部环境打交道。v隐藏层的层数可从零到若干层。v实际情况中，层与层之间可能有部分连接的情况。v回归型网络（反馈网络）一般来说，凡包含反馈连接的网络均称为回归型网络，或称反馈网络。一层反馈网络v回归型网络（反馈网络）一层反馈网络中，连接均限于一层之内，这种连接称为层内连接或层内横向反馈连接。相对于一层反馈网络的为多层反馈网络，其连接不限于一层之内。v非回归型网络与回归型网络（反馈网络）的比较非回归型网络不需存储记忆，它的输出只是由当前的输入和加权

20、值确定。而在反馈网络中，要将以前的输出循环返回到输入，所以其输出不但取决于当前的输入，还要取决于以前的输出。反馈网络类似于人类的短期记忆，即网络的输出状态部分取决于以前的输入，是一类广泛应用的网络。3.2 存储和回忆 v存储就是将信息或图形存在某种存储器中，而回忆则是将已存储的信息按某种方式恢复出来。v为了与人类大脑的功能类比，我们把这种信息的恢复称为回忆。v人工神经网络中存储图形的类型在计算机中，数据和信息是存放在存贮器中（RAM或ROM)，以8比特字节作为存储单位。在人工神经网络中，信息或图形不再限定为8比特，它是多维的二进制数据或连续信息。v人工神经网络中存储的两类图形空间图形的存储v存

21、储单个空间静态图像，如一幅画面。时空图形的存储v存储一系列随时间变化的图像，比如电影。我们讨论的人工神经网络存储的图形大多是空间图形，因它是构成时空图形的基础。v人工神经网络中图形的存储人工神经网络中的图形存储器与计算机中存储器的差别v在计算机中，一般采用RAM，将数据信息存在确定地址的存储单元内，有了地址就可检索数据。v在人工神经网络中，则是用内容寻址存储器和联想存储器来存储图形信息。2 感知器模型感知器模型 感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学模型中得到了一定程度的模拟

22、，所以引起了广泛的关注。1简单感知器简单感知器 简单感知器模型实际上仍然是MP模型的结构，但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。其结构如下图所示 感知器处理单元对n个输入进行加权和操作v即：其中，wi为第i个输入到处理单元的连接权值,为阈值。 f取阶跃函数.)(0iniiixwfv 多层感知器多层感知器 如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络，这里称为多层感知器。 这里需指出的是：多层感知器只允许调节一层的连接权。这是因为按感知器的概念，无法给出一个有效的多层感知器学习算法。上述三层感知器中，有两层连接权，输入层与隐层单元间

23、的权值是随机设置的固定值，不被调节；输出层与隐层间的连接权是可调节的。4 4、人工神经网络的基本特点、人工神经网络的基本特点 （1）可处理非线性 （2）并行结构对神经网络中的每一个神经元来说；其运算都是同样的这样的结构最便于计算机并行处理 （3）具有学习和记忆能力一个神经网络可以通过训练学习判别事物；学习某一种规律或规则神经网络可以用于联想记忆（4）对数据的可容性大在神经网络中可以同时使用量化数据和质量数据（如好、中、差、及格、不及格等）（5）神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码4.2 基本基本BP算法算法 v4.2.1 网络

24、的构成网络的构成 神经元的网络输入：神经元的网络输入：neti=x1w1i+x2w2i+xnwni神经元的输出：神经元的输出：netenetfo11)()1 ()()1 (1)(22ooooeenetfnetnet输出函数分析输出函数分析 0.5f (net)0.25o0 1 1（0,0.5） net（0,0）oneteo11应该将应该将net的值尽量控制在收敛比较快的范围内的值尽量控制在收敛比较快的范围内可以用其它的函数作为激活函数，只要该函数可以用其它的函数作为激活函数，只要该函数是处处可导的是处处可导的BP神经网络神经网络-简单单级网简单单级网x1x2xno1o2omwnmw11w1mw

25、2mwn1OkojInput layer Hidden layer Output layer BP学习算法v1 权值初始化；v2 依次输入p个学习样本；v3 依次计算各个层的输出；v4 求各个层的反传误差；v5 记录已经学习过的样本数p，若pP,则转到步骤2，若p=P则转到步骤6；v6 按照权值修整公式修整各个层的权值或阈值；v7 按照新的权值再计算，当达到误差要求或最大学习次数，则终止学习，负责转到步骤2.网络的拓扑结构网络的拓扑结构 1.BP网的结构网的结构2.2.输入向量、输出向量的维数、网络隐藏层输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定的层数和各个隐藏层

26、神经元的个数的决定3.3.实验：增加隐藏层的层数和隐藏层神经元实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能个数不一定总能够提高网络精度和表达能力。力。4.4.BPBP网一般都选用二级网络。网一般都选用二级网络。4.2.2 训练过程概述训练过程概述 样本：样本：(输入向量，理想输出向量输入向量，理想输出向量) )权初始化：权初始化：“小随机数小随机数”与饱和状态；与饱和状态；“不不同同”保证网络可以学。保证网络可以学。1 1、向前传播阶段：、向前传播阶段：（1）从样本集中取一个样本）从样本集中取一个样本(Xp，Yp)，将，将Xp输入网络；输入网络；（2）计算相应的实际

27、输出）计算相应的实际输出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)4.2.2 训练过程概述训练过程概述 2 2、向后传播阶段、向后传播阶段误差传播阶段：误差传播阶段：（1）计算实际输出）计算实际输出Op与相应的理想输出与相应的理想输出Yp的差；的差；（2）按极小化误差的方式调整权矩阵。）按极小化误差的方式调整权矩阵。（3）网络关于第）网络关于第p p个样本的误差测度：个样本的误差测度：mjpjpjpoyE1221（4） 网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：ppEE4.2.3 误差传播分析误差传播分析 1、输出层权的调整、输出层权的调整wpq= wpq+wpqwpq=qo