神经网络基础

神经网络基础1教学内容神经网络概述自适应线性元感知器模型

BP网络(前馈多层感知器网络)

RBF网络(径向基函数网络)2神经网络概述什么是神经网络

神经网络的发展历史人工神经元模型激活函数网络结构神经网络的学习方式3什么是神经网络现代计算机具有很强的计算和信息处理能力但缺乏识别、感知和从复杂环境中学习知识的能力；人脑是由极大数量的生物神经元经过复杂的相互连接而形成的一种高度复杂的、非线性的、并行处理的信息处理系统；单个神经元的反应速度在毫秒级，计算机的基本构成单元－逻辑门的反应速度在10-9秒级，差5－6个数量级；每个神经元可与几千个其他的神经元连接，对有些问题的处理速度反而比计算机快得多。45神经元组成；树突：较短的神经纤维，是接收信息的。细胞体：对接收到的信息进行处理。轴突：较长的神经纤维，是发出信息的。突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。神经元具有如下性质：多输入单输出；突触具有加权的效果；信息进行传递；信息加工是非线性。6神经网络（NN）就是对人脑的模拟和抽象，是模拟人脑的工作方式而设计的一种“机器”，它可用电子或光电元件实现，也可以用软件在计算机上仿真；或者说神经网络是一种具有大量连接的并行分布式处理器，它具有通过向环境学习获取知识并解决问题的能力，且知识是分布存储在连接权中。对应于生物神经元的突触从模拟人脑智能的角度出发，来探寻新的信息表示、存储和处理方式，设计全新的计算机处理结果模型，这就促使人们研究神经网络；7神经网络的发展历史现代神经网络开始于神经生理学家McCulloch和天才数学家Pitts1943年的开创性的工作，他们提出了著名的M-P模型；神经网络的第二个重要发展是在1949年神经心里学家Hebb的书《行为组织学》出版，他提出了著名的Hebb学习；在McCulloch和Pitts的经典论文发表15年以后，Rosenblatt于1958年提出了著名的感知器模型；60年代的主要贡献还有Widrow和Hoff引进了最小均方(LMS)算法，并成功用于自适应线性元(Adaline)模型8在20世纪60年代感知器的经典时期，好像神经网络可以做任何事情。但是，在1969年Minsky和Papert出版的书中用数学证明了单层感知器所能计算的根本缺陷，如连简单的异或问题单层感知器都不能解决，20世纪70年代神经网络的研究陷入了低谷；

但20世纪70年代神经网络的研究也有较突出的成果：自组织映射；20世纪80年代神经网络的研究进入了恢复期。1980年Grossberg建立了著名的自适应共振理论(AdaptiveResonanceTheory,ART)；1982年Hopfield提出了著名的Hopfield网络。920世纪80年代神经网络的研究成果非常丰富，这一时期著名的工作还有：1982年Kohonen的自组织映射网络；1985年Ackley,HintonandSejnowski利用模拟退火算法发展的Boltzmann网络；

1986年Rumelhart,HintonandWilliams提出了著名的方向传播算法(BP算法)；1988年BroomheadandLowe提出著名的RBF网络；……1020世纪90年代Vapnik和他的合作者发明了具有强大计算能力的一种有监督学习网络，即支持向量机。进入21世纪后，神经网络是持续发展阶段……11人工神经元模型人工神经元是对生物神经元的模拟和抽象，是人工神经网络的基本构成单位；人工神经元是一个基本信息处理单位，如图1所示；人工神经元的四个基本要素：一组赋权连接，它们对应于生物神经元的突触；一个求和单元，或称为线性组合器，用于求各输入信号的加权和(线性组合)；一个激活函数，起映射作用并将神经元输出幅度限制在一定范围内；一个阈值或偏置。12图1人工神经元模型13求和单元，或称为线性组合器的输出为：(1)14神经元的输出为：若把输入的维数增加1维，则可把阈值(或偏置)包含进去如图2所示：15图2人工神经元模型16此时17激活函数常用的激活函数主要有以下几种：阈值函数，如图3所示f(v)图318分段线性函数，如图4所示f(v)图419Sigmoid函数，有两种类型的Sigmoid函数，如图5是第一种类型的Sigmoid函数f(v)

；第二种类型的Sigmoid函数为fhts(v)。f(v)图520网络结构按神经元的连接方式，神经网络主要有以下两种：前馈型网络各神经元接收前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入节点和计算节点，每一个计算节点可有多个输入，但只有一个输出，通常前馈型网络可分为不同的层，第i层的输入只与第i-1层的输出相连，输入与输出节点与外界相连，而其他中间层则称为隐层。反馈型网络所有节点都是计算节点，同时可接收输入，并向外界输出。21神经网络的工作过程主要分为两个阶段：第一个阶段是学习阶段，此时各计算节点状态不断变化，连接权值不断修正；第二个阶段工作期，此时各连接权固定，计算节点状态变化，以达到某种稳定状态。22神经网络的学习方式通过向环境学习而获取知识并改进自身性能是神经网络的一个重要特点。一般情况下，性能的改善是按某种预定的度量通过调节自身参数逐步达到的，学习方式有三种：1)监督学习也称为有导师学习，这种学习方式需要一位“教师”，他可对一组给定输入提供应有的输出结果。这组已知的输入－输出数据称为训练集。学习系统(神经网络)可根据已知输出与实际输出之间的误差来条件系统参数。232)非监督学习也称为无导师学习，这种学习方式不存在外部“教师”，学习系统完全按着环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某种固有特性。3)增强学习这种学习方式介于上述两种方式之间，外部环境对系统输出结果只给出评价(奖励或惩罚)而不给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。24自适应线性元

简单自适应线性组合器和LMS算法(Delta规则)自适应线性元(Adaline)

多自适应线性元(MultipleAdaline)25简单自适应线性组合器和LMS算法

LMS算法(又称Delta规则)是由美国斯坦福大学的B.Widrow和M.E.Hoff于1960年提出；

Adaline(Adaptivelinearelement)是一个单神经元模型，其连接权更新按LMS算法(或Delta规则)进行；最早的、可训练的、具有多个自适应线性元的分层网络之一就是由B.Widrow和他的学生提出的，他们称之为Madaline(MultipleAdaline);

LMS算法是BP算法的基础，或者说BP算法就是由LMS算法发展而来的26简单自适应线性组合器的结构如图6所示，不失一般性，设w0(k)=

＝0，第k次训练的输入向量和权值向量分别为：则线性组合器输出为：27图6简单自适应线性组合器28设线性组合器的期望输出为d(k)，则误差为：在均方误差(MSE)判别规则中，将x(k)和

d(k)均看作随机向量，均方误差为：展开整理得：(8)29其中，是输入向量于期望输出的互相关向量，是输入向量的协方差矩阵，(8)的图像如图7所示。为求其的最小值，令(9)实践中，用(9)求解(8)的最优解是行不通的。为什么？30图7MSE的误差面31实用中，一般用(8)的下列近似形式用梯度下降法来搜索的其最小值。并按下列方式更新权值32其中是Cx的最大特征值。标量形式：33LMS算法令k＝1，初始化权向量，选择μ；按下式更新权值若达到中止条件，则结束，否则k=k+1转2)按下式计算误差34自适应线性元(Adaline)自适应线性元是一个用LMS算法训练的模式分类网络；是许多网络的基本构成单位；自适应线性元的结构如图8所示35图8自适应线性元36从图8可以看出，自适应线性元由一个线性组合器级连一个对称硬阈值量化器组成；线性误差；量化误差(感知器学习规则的基础)；自适应线性元和我们将要讨论的感知器很相似，但有区别。37在训练Adaline的过程中，网络的输入和期望输出分别为x=(1,x1,x2,…,xn)R(n+1)1和dR；网络的权值w=(

,w1,w2,…,wn)R(n+1)1按LMS算法更新；网络训练结束后，对于给定的一对(x,w)，可得到一个标量输出；网络相当于一个映射

：RnR；在训练过程中，没有用的激活函数，故Adaline的训练过程和线性组合器的训练过程一样。38Adaline(单神经元网络)的一个重要应用是可实现线性可分的逻辑函数AND,NOT,OR和MAJ:39下面的图(a),(b),(c)是AND,OR和MAJ的实现404142Adaline

相当于一个两类分类器；如图9是一个有两输入(实际上是三输入)的Adaline

的一个例子，线性组合器的输出为：分类边界为：(19)GO43图9具有两输入的AdalineRETURN44(19)表示二维空间中的一条分类直线，如图10所示；一般Adaline表示一个线性分类器，这限制了其应用，例如对如图11所示的分类问题，假设要训练一个网络来完成此分类问题，此时Adaline就无能为力了。这个问题可用一个非线性变换的预处理来解决，考虑一个具有两输入的网络如图12所示。45分类边界为即它表示二维空间中的一个椭圆，如图13所示46图10Adaline的线性可分性RETURN47图11非线性可分问题RETURN48图12具有非线性预处理的AdalineRETURN49图13非线性分类边界RETURN50多自适应线性元(MultipleAdaline)多自适应线性元(Madaline)是由若干自适应线性元(Adaline)组合而成的前馈网络；有两种类型的Madaline网络：MadalineⅠ和Madaline

Ⅱ；MadalineⅠ是一个单层网络，如图14是由三个Adaline构成的MadalineⅠ；51图14由三个Adaline构成的MadalineⅠ52Madaline

Ⅱ是一个具有多输出的多层网络，如图15是Madaline

Ⅱ的一个例子；Madaline可解决异或问题，如图16是一个具有两输入，由两个Madaline构成的MadalineⅠ。令v1(k)=0和v2(