神经网络设计考试要点总结.doc

1、 神经网络的定义：由大量与自然神经系统的神经细胞类似的人工神经元互联而成的网络。分类：前向网络、反馈网络，静态网络、动态网络，连续时间网络、离散时间网络，阵列网络、非阵列网络。2、 如何选择一种网络结构：1、应用问题的输入数=网络的输入个数2、输出层神经元的数目=应用问题的输出数3、输出层的传输函数选择至少部分依赖于应用问题的输出描述。3、 神经网络优点：非线性特征，并行分布处理方式，便于硬件实现，自学习和自适应能力，数据融合的能力，多变量系统。4、 写出两种神经网络传输函数a = hard lim(n)硬极限传输函数 a =hard lims(n) 对称硬极限函数a =purelin(n) 线性传输函数a = poslin(n) 正线性a =satlin(n) 饱和线性a =satlins(n)a =logsig(n) a = 1/1+e-na =tansig(n) a = en-e-n/en+e-n5、 单层感知机学习方法收敛的条件：a、问题的解存在（即满足X*TZ(i)）；b、仅在输入向量被错误分类时才改变的权值；c、输入向量长度的上界存在=max|Z（i）|26、 监督学习算法w(k+1)=w(k)+2e(k)pT(k)的物理定义：该算法在每输入一个训练值的情况下就更新权值，他能调整权值知道使均方误差达到最小。他尽力使判定边界远离训练（参考）模式，从而减小网络受噪声的影响。7、 误差后向传播算法存在的主要问题及其改进措施：主要问题：训练太慢，训练时间长，多层非线性网络的均方误差性能指数不是一个标准二次函数，他可能存在多个局部极小值，并且在参数空间内的曲率也不一样；改进措施：使用启发式信息技术：(1)、动量方法（MOBP）特征：1）维持算法稳定的前提下使用更高的学习速度；2）当轨迹进入某个一致方向后，加速收敛；(2)、VLBP：a、如果一次权值改变后（在整个训练集上）均方误差的递增超过某个百分数(典型值为1%5%)，则权值改变被取消，学习速度乘以一个小于1的因子，动量系数设为0；b、如果权值改变后的平方误差递减，则接受权值更新，学习速度乘以大于1的因子，如果过去设置为0，则恢复到原来的值；c、如果平方误差递增不超过，则接受权值更新，学习速度和动量系数不变。8、 数值优化技术：共轭梯度法(CGBP)它不需要计算二次导数，但是仍具有二次收敛的特性，它通过区间定位和区间缩小来确定函数在某个特定方向的权值。9、 Levenberg-Marquardt算法(LMBP):J(x)是一阶偏导矩阵10、 批处理：在整个训练集都提及网络后才提及系数，平均每个样本计算出的梯度以得到更精确的梯度值，如果训练集是完全的，即覆盖了所有可能的输入/输出时，则梯度估计是精确的。11、 Kohonen规则：iW(q)=iW(q-1)+(P(q)-iW(q-1),iX(q) 类似于instar规则，kohonen规则允许神经元的权值学习输入向量，因此适用于识别和应用，与instar规则不同的是学习并不正比于神经元输出ai(q),他的学习发声在神经元的下标i是集合X(q)的元素时，如果instar规则应用于返回值为0或1的传输函数（如硬极限函数）的一层神经元时，kohonen规则可以通过将X(q)定义为满足ai(q)=1d的所有i的集合，从而与instar规则等价。12、 Outstar规则：instar网络（有一个向量输入一个标量输出）可以利用特定向量刺激与响应相联想起来实现模式识别。Outstar网有一个标量输入和一个向量输出，他可以利用一个刺激和向量响应之间的联想完成模式回忆。Wj(q)=Wj(q-1)+(a(q)-Wj(q-1)Pj(q),这里Wj是矩阵W的第j列。a = satlims(WP)13、 单层感知机的缺点及其原因（思考题）答：单层感知机只能识别线性可分的模式（即能够用一个线性边界区分），因为单层感知机存在一个线性边界wp+b=0，单层感知机只能对那些能够被线性边界分开的输入向量进行分类，对噪声敏感，因为训练模式常接近网络的判定边界。14、 多层前向神经网络模型、算法、应用（论述）LMS算法和BP算法都是使均方误差最小化的最速下降法，唯一区别是梯度的计算方法不同，对多层网络而言，为了计算均方误差对隐层权值和偏置值得导数，BP算法使用了链法则，首先计算最后一层的导数，然后反向传播通过网络并用链法则计算隐层中得导数，算法也因此被称为反向传播算法。BP算法的主要问题是：训练时间长，收敛速度慢，存在多个局部极小点，要选择多个不同的初始值以确保算法收敛到全局极小点。15、 监督学习算法的特点：在监督学习中，学习规则由一组描述网络行为的训练集给出p1,t1pq,tq,pq表示网络输入，tq表示网络的目标输出。当输入作用到网络时，网络的实际输出与目标输出作比较，然而学习规则调整网络的权值和偏置值，从而使网络的实际输出越来越接近于目标输出直到网络的性能指数达到一定的精度或最优时停止训练。16、 感知机学习相关知识：(1)、规则：Wnew=Wold+epT e=t-a bnew=bold+e(2)、收敛条件：a、问题的解存在；b、只有输入向量被错误的分类时才改编权值；c、输入向量的长度存在上界； (3)、局限性：只能对那些能够被线性边界分开的输入向量进行分类，即只能解决线性可分问题； (4)、感知机网络模型：a=hardlim(wp+b)14 自联想存储器：期望输出量等于网络的输入向量（即tq=pq）21、BP算法小结：第一步通过网络将输入向前传播a0= p am+1=fm+1(wm+1am+bm+1),其中m=1,2,3M-1 a=aM最后一层输出；第二步通过网络将敏感性反向传播：SM=-2FM(nM)(t-a) Sm=Fm(nm)(Wm+1)TSm+1 ； 最后，使用近似的最速下降法更新权值和偏置值：Wm(k+1)=Wm(k)-Sm(am-1)T bm(k+1)=bm(k)-Sm22、无监督的hebb规则：w(q)=w(q-1)+a(q)pT(q)带衰减的hebb规则：w(q)=w(q-1)+a(q)pT(q)-w(q-1)23、监督学习方法的特点：(1)、首先需要输出一组正确的训练样本p1，t1pn，tn；(2)、每输入一个样本就更新一次网络参数；(3)、使军方误差达到最小。24、反馈网络的工作原理：反馈网络在初始输入向量中产生竞争，他通过设置权值矩阵为Wij=1,i=j;Wij=-w,i=j；来使每个神经元对其他神经元产生抑制作用，这种抑制使得初始状态最大的神经元的输出在下降的同事保持最大，而其他神经元逐渐衰减为0，最终这个竞争网络的输出只有一个非零值，该非零输出对应的神经元的输入为与原型向量最匹配的输入模式。25、神经网络的应用：神经网络的应用越来越广泛，他不仅可以应用于工程，数学，科学领域，也可广泛应用于医学、商业、金融和文学等领域。它可以用于完成模式识别问题，作函数逼近器，函数拟合，自适应滤波，消除回声和噪声等。神经网络还能用于求解优化问题。同时，基于高速计算机和快速算法，也可用神经网络解决过去许多计算量很大的复杂工业问题。26、Hebb学习的变形相关：(1)、过滤权值变化,过滤学习：Wnew=(1-)Wold+tqpqT； (2)、调整学习速度，增量规则：Wnew= Wold+(tq-aq)pqT，该规则使均方误差最小，F(x)=E(t-a)T(t-a)。(3)无监督Hebb：Wnew= Wold+aqpqTHebb规则是使误差平方和最小 ，它要等待所有输入输出已知后才计算一次权值，而增量规则是每输入一个模式就更新一次权值。27、人工神经网络的特点：人工神经网络没有人脑那么复杂，但他们之间有两个关键相似之处。首先，两个网络的构成都是可计算单元的高度互连（虽然人工神经元比生物神经元简单得多）。其次，处理单元之间的连接决定了网络的功能。28、稳定性概念：1、 稳定性：（在lyapunov的意义下）：一个原点是稳定的平衡点，如果对于任意给定的值0，总存在一个数()0,使