2011神经网络基本要点回顾.doc

第1章1.人工神经网络（Artificial Neural Network，ANN），是由大量处理单元（神经元）互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特性。P12.神经元模型应具备三个要素：P7-P8。3.常用的激励函数有以下三种：（1）阈值函数（阶跃函数、符号函数等）；（2）分段线性函数（饱和型函数）；（3）Sigmoid函数；（4）对称的Sigmoid函数（双曲型函数）；（5）高斯函数。P8激励函数采用阶跃函数的人工神经元模型即为MP（McCulloch-Pitts）模型。4.人工神经网络的分类：（1）按网络性能角度可分为连续型与离散型网络、确定性与随机性网络；（2）按网络结构角度可分为前向网络与反馈网络；（3）从学习方式角度可分为有导师学习网络与无导师学习网络。P105.神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络自由参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。6.学习方式可分为：有导师学习和无导师学习。（1）有导师学习，又称为有监督学习，在学习时需要给出导师信号或称为期望输出。（2）无导师学习，包括强化学习与无监督学习（或称自组织学习）。P137.神经网络学习规则有：Hebb学习、纠错学习、基于记忆的学习、随机学习、竞争学习等。P13-P148.人工神经网络的计算能力有三个显著的特点：（1）非线性特性；（2）大量的并行分布结构；（3）学习和归纳能力。P169.一个人工智能系统有三个关键部分：表示、推理和学习。P19机器学习包括两种截然不同的信息处理方向：归纳和演绎。第2章1.感知器是神经网络用来进行模式识别的一种最简单模型，但是由单个神经元组成的单层感知器只能用来实现线性可分的两类模式的识别。它与MP模型的不同之处是假定神经元的突触权值是可变的，这样就可以进行学习。感知器模型包含了自组织、自学习的思想。P232.单层感知器通常采用纠错学习规则的学习算法。P253.感知器算例1：某单计算节点感知器有3个输入。给定3对训练样本对如下：X1 = (-1，1，-2，0)Td1 =-1X2 = (-1，0，1.5，-0.5)Td2 = -1X3 = (-1，-1，1，0.5)Td3 =1设初始权向量W(0)=(0.5, 1, -1, 0)T，=0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值，试训练该感知器。解：第一步 输入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T 第二步 输入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T 由于d2= o2(1)，所以W(2)= W(1)。 第三步 输入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1)=-1 W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T 第四步 返回到第一步，继续训练直到dp- op=0，p=1,2,3。4. 感知器算例2：P355.单层感知器的局限：只能解决线性可分问题，而大量的分类问题是线性不可分的。解决的两种基本办法：（1）在输入层与输出层之间加上隐含层作为输入模式的“内部表示”，将单层感知器变成多层感知器。（2）采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。（简答）6.自适应线性元件的学习算法采用LMS算法（感知器和自适应线性元件都是基于纠错学习规则的学习算法）。单个神经元只能实现线性可分函数。用自适应线性元件实现非线性可分函数的方法有两种：（1）对神经元施加非线性输入函数；（2）采用由多个自适应线性元件和AND逻辑器件构成的MADALINES网络。自适应线性元件原理图：第3章1.多层感知器（MLP）也称为多层前向神经网络，它由输入层、隐含层（一层或多层）、输出层构成。输入层神经元的个数为输入信号的维数；隐含层个数及隐节点的个数视具体情况而定；输出层神经元的个数为输出信号的维数。2.多层感知器同单层感知器相比具有四个明显的特点：P44。3. 从误差曲面的角度试分析BP算法的局限性：（论述）（1）存在平坦区域，误差下降缓慢，影响收敛速度。平坦的原因：误差的梯度变化小，接近于零；另一种情况是输出层神经元的实际输出始终接近于0或1，表明神经元的输出进入平坦区。（2）存在多个极小点，易陷入局部最小点不能自拔。BP算法以误差梯度下降为权值调整原则，误差曲面的这一特点，使之无法辨别极小点的性质，因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。4. 标准BP算法的3种较常用的改进方法。（论述）（1）增加动量项。提出原因在于标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。（2）自适应调节学习率。使其根据环境变化增大或减小。提出原因在于标准BP算法中，学习率也称为步长，确定一个从始至终都合适的最佳学习率很难。平坦区域内，太小会使训练次数增加；在误差变化剧烈的区域，太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。基本方法：设一初始学习率，若经过一批次权值调整后使总误差，则本次调整无效，且h=h(1 )。(3) 引入陡度因子。原因在于误差曲面上存在着平坦区域，而权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。基本方法：调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。具体地，我们在原转移函数中引入一个陡度因子，当发现E接近零而d-o仍较大时，可判断已进入平坦区，此时令1；当退出平坦区后，再令=1。5. RBF（Radial Basis Function，径向基函数）网络由三层构成。它是单隐含层的前向网络，根据单元的个数，RBF网络有两种模型：正规化网络和广义网络。P556. 写出三种以上的径向基函数：7. 试从函数逼近观点与模式识别观点讨论RBF的原理：（简答）函数逼近观点：若把网络看成对未知函数的逼近，则任何函数都可以表示为一组基函数的加权和。径向基函数网络相当于选择隐含层神经元的激活函数从而构成一组基函数逼近待学习函数。模式识别观点：将低维非线性可分问题映射到一个高维空间使之线性可分。RBF网络通过隐层单元径向基函数非线性映射，将原线性不可分的特征空间变换到另一个空间（通常是高维空间），使之可以线性可分。表现为隐层基函数非线性，输出层为线性。 8. 实例1用MATLAB相关函数建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，x=1：0.1：5，绘出网络的逼近误差曲线图，并给出代码的解释。9. RBF网络与多层感知器的比较（5点）：P62第4章1.统计学习理论是建立在结构风险最小化原则以及VC维概念基础上的一种小样本统计学习理论。P782.人工神经网络的过学习现象产生的原因：学习样本不充分；学习机器设计不合理。这两个问题是相互关联的。P813.学习机器的实际风险由两部分组成：经验风险 ，即训练误差；置信范围（Confidence Interval）可以简单的表示为（h表示函数集的VC维；l表示样本数）：P824. 几种常用的核函数：多项式核函数；Gauss核函数；sigmoid核函数等。P88-P905. SVM机理可以简单描述为：寻找一个满足分类要求的最优分类超平面，使得该超平面在保证分类精度的同时，能够使超平面两侧的空白区域最大化；从理论上来说，支持向量机能够实现对线性可分数据的最优分类。为了进一步解决非线性问题，Vapnik等人通过引入核映射方法转化为高维空间的线性可分问题来解决。P846.实例2一个班级里面有两个男生和两个女生，其中：男生1 身高：176cm 体重：70kg；男生2 身高：180cm 体重：80kg；女生1 身高：161cm 体重：45kg；女生2 身高：163cm 体重：47kg。将男生定义为1，女生定义为-1，并将上面的数据放入矩阵data中，在label中存入男女生类别标签（1、-1）；此时该班级又转来两名新学生：身高190cm，体重85kg身高161cm，体重50kg试问这两名新学生的性别？要求：采用matlab编程调用libsvm SVM工具箱中的函数实现一个分类器，完成上述问题。data = 176 70; 180 80; 161 45; 163 47label = 1; 1; -1; -1model = svmtrain(label,data,-s 0 -t 2 -c 1 -g 0.1);testdata = 190 85; 162 50testdatalabel = 1; 1predictlabel,accuracy = svmpredict(testdatalabel,testdata,model);predictlabel第5章1.Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN和CHNN。DHNN的激励函数可取阶跃函数或符号函数。Hopfield网络的工作方式主要有两种形式：（1）串行（异步）工作方式，在任一时刻t，只有某个神经元j的状态改变，而其它神经元的状态保持不变，即（2）并行（同步）工作方式。在任一时刻t，部分神经元或全部神经元的状态同时改变。即2.Hopfield网络存在稳定状态，则要求Hopfield网络模型满足如下条件：（1）网络为对称连接，即Wij=Wji；（2）神经元自身无连接，即Wii=0。这样Hopfield网络的权值矩阵W为零对角对称矩阵。3. 联想记忆可分为自联想与异联想。Hopfield网络属于自联想。P118（1）自联想记忆(Auto-Associative Memory)自联想能将网络中输入模式映射到存贮在网络中不同模式中的一种。联想记忆网络不仅能将输入模式映射为自己所存贮的模式，而且还能对具有缺省/噪音的输入模式有一定的容错能力。一般情况下，自联想的输入与输出模式具有相同的维数（2）异联想记忆(hetero-associative memory）异联想网络在受到具有一定噪音的输入模式激发时，能通过状态的演化联想到原来样本的模式对。异联想的输入模式维数与输出模式一般不相等。4. 联想记忆的工作过程分为两个阶段：一是记忆阶段，也称为存储阶段或学习阶段；二是联想阶段，也称为恢复阶段或回忆阶段。（简答）（1）记忆阶段：在记忆阶段就是通过设计或学习网络的权值，使网络具有若干个稳定的平衡状态，这些稳定的平衡状态也称为吸引子，吸引子也就是联想记忆网络能量函数的极值点。记忆过程就是将要记忆和存储的模式设计或训练成网络吸引子的过程。（2）联想阶段：联想过程就是给定输入模式，联想记忆网络通过动力学的演化过程达到稳定状态，即收敛到吸引子，回忆起已存储模式的过程。P1185. 吸引子有一定的吸引域。吸引域就是能稳定该吸引子的所有初始状态的集合，吸引域的大小用吸引半径来描述，可定义为：吸引域中所含所有状态之间的最大距离或吸引子所能吸引状态的最大距离。吸引子的数量代表着AM的记忆容量（或存储容量），存储容量就是在一定的联想出错概率容限下，网络中存储互不干扰样本的最大数目。存储容量与联想记忆的允许误差、网络结构、学习方式以及网络的设计参数有关。 AM的吸引子越多，则网络的存储容量就越大。吸引子具有一定的吸引域，吸引域是衡量网络容错性的指标，吸引域越大网络的容错性能越好，或者说网络的联想能力就越强。P118-P1196.将Hopfield网络作为联想记忆网络需要设计或训练网络的权值，使吸引子存储记忆模式。常用的设计或学习算法有：外积法；投影学习法；伪逆法；特征结构法等。P119第6章1. 神经网络陷入局部最小点的主要两点原因：（简答）（1）网络结构上存在着输入到输出之间的非线性函数关系，从而使网络误差或能量函数所构成的空间是一个含有多极点的非线性空间。（2）在算法上，网络的误差或能量函数只能单方向减小，不能有一点上升。2. 模拟退火的基本思想：P145（简答）首先在高温下进行搜索，此时各状态出现概率相差不大，可以很快进入“热平衡状态”，这时进行的是一种“粗搜索”，也就是大致找到系统的低能区域；随着温度的逐渐降低，各状态出现概率的差距逐渐被扩大，搜索精度不断提高。这就可以越来越准确的找到网络能量函数的全局最小点。 误差或能量函数绝大部分的时间在下降，但不是一直下降，即误差或能量函数的总趋势向减小的方向变化，但有时也向增大的方向变化，这样可跳出局部极小点，向全局最小点收敛。第7章1.竞争式学习属于无导师学习方式。此种学习方式利用不同层间的神经元发生兴奋性联接，以及同一层内距离很近的神经元间发生同样的兴奋性联接，而距离较远的神经元产生抑制性联接。2. Winner-Take-All（胜者为王）竞争学习原理：竞争网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为Winner Take All。（论述）3. 竞争学习三步骤：（论述）（1）向量归一化。将当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj全部进行归一化处理；（2）寻找获胜神经元。当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。欲使两