第六章-神经网络

神经网络一、填空题1、神经元（即神经细胞）是由、、和四部分构成。2、按网络结构分，人工神经元细胞可分为和，按照学习方式分可分为和。3、人工神经网络常见的输出变换函数有和。4、人工神经网络的学习规则有、和。5、国内外学者提出了许多面向对象的神经网络控制结构和方法，从大类上看，较具代表性的有以下几种、和。6、在一个神经网络中，常常根据处理单元的不同处理功能，将处理单元分成有以下三种、和。7、在一个神经网络中，基本单元神经元的三个基本要素是、和。8、人工神经网络常见的激发函数或作用函数有、、和。9、BP网络的学习算法的改进有、和。10、神经网络是由大量广泛互联而成的网络。11、人工神经网络的学习方法有和。12、从生物控制论的观点来看，神经元具有以下功能和特性、和。13、一般来讲，人工神经网络的结构可以分成两种基本类型和。14、人工神经网络的学习算法有、和。15、BP学习算法实际包含了两类信号不同方向的传播过程，一类是施加输入信号由输入层经隐层到输出层，产生输出响应的过程；另一类是希望输出与实际输出之间的误差信号由输出层返回隐层和输入层，反向逐层修正连接权值和神经元输出阈值的过程。神经网络的学习方式可以分成、和。Anbiologicneuroniscomposedofand.二、选择题1、一般认为，人工神经网络(ANN)适用于（）A、线性系统B、多变量系统C、多输入多输出系统D、非线性系统2、最早提出人工神经网络思想的学者是（）A、McCulloch-PittsB、HebbC、Widrow-HoffD、Rosenblatt3、神经元模型一般为（）A、单输入多输出 B、多输入单输出 C、单输入单输出D、多输入多输出三、简答题1、简述神经网络的特点。2、试画出一个2-3-5-2BP网络的结构图，说明节点函数。3、简要说明多层感知器的结构和学习算法。4、前馈型神经网络有什么特点？哪些结构的神经网络属于前馈神经网络？5、简要说明典型的人工神经元模型。6、神经网络控制系统的结构形式有哪些？7、什么是感知器？8、神经网络的基本属性是什么？9、试画出BP网络的结构图，并说明其特点。10、给出典型的神经元模型。11、人工神经网络有哪些学习方法？简述之。12、试画出5输入、3个输出、蕴含层有10个神经元的3层BP网络，并说明BP网络的优点。13、BP基本算法的优缺点。14、人工神经元网络的拓扑结构主要有哪几种？15、BP基本算法的优缺点。16、什么是神经网络的学习算法？神经网络中常用的学习规则有哪些？17、试论述对BP网络算法的改进。18、神经元计算与人工智能传统计算有什么不同？19、请说出神经网络与模糊系统的融合方式。20、模糊神经网络由哪些学习算法？21、简述自适应神经-模糊推理系统ANFIS的结构和学习算法。22、模糊神经网络分哪两大类？各有什么特点？23、简单叙述生物神经元和人工神经元的结构。24、从人工神经网络的结构来看，神经网络可以分成几种类型？并说明它们的特点。25、人工神经网络在工程上得到广泛应用，说明它具有的突出优点。26、神经网络的学习方式和学习算法有哪些？各有什么特点，并适合什么样的网络？27、前馈型神经网络有什么特点？哪些结构的神经网络属于前馈神经网络？28、构建一个BP网络完成逻辑“与”的分类。29、反馈神经网络的拓扑结构有什么特点？哪些神经网络属于反馈神经网络？30、什么是神经网络控制？其基本思想是什么？31、神经网络控制系统可以分为哪几类？举例说明三种神经网络控制系统的结构。32、神经元的种类有哪些？它们的函数关系如何？33、为什么由简单的神经元连接而成的神经网络具有非常强大的功能？34、神经网络按连接方式分有哪几类？35、为什么说神经控制具有潜在发展前景？试结合ANN的特性加以讨论。36、人工神经网络可分为哪两类，通过网络中神经元的连接情况加以说明37、试画出一个3-5RBF网络的结构图，说明节点函数和学习过程。38、试比较单层感知器和多层感知器。39、神经网络控制系统主要分为哪五类？40、试说明BP学习算法中包含的两类信号不同方向的传播过程。41、RBF网络与BP网络的主要区别是什么？42、生物神经元主要有哪些部分组成？试给出等效的MP模型。43、画出静态多层前向人工神经网络（BP网络）的结构图，并简述其特点44、试画出一个3-5-2BP网络的结构图，说明节点函数和学习算法，并说明BP网络的缺点。45、试画出一个RBF神经网络的结构图，并说明其节点函数。四、计算题1、如图4-24所示的多层前向传播神经网络结构。假设对于期望的输入,。网络权系数的初始值见图。试用BP算法训练此网络。并详细写出第一次迭代学习的计算结果。这里，取神经元激励函数。学习步长为。最大迭代次数为iterafemax。误差为e。（四舍五入，精确到小数后1位）2、试设计一个离散型Hopfield网络，具有联想记忆功能，使其能正确识别0～9的阿拉伯数字。并且每次随机改变2个、4个和6个象素后，分别测试一下网络对加入噪声的数字的正确诊断率。3、试设计一个单神经元感知器，利用MATLAB编程解决下述训练样本的模式分类，并找出其分界线。8个训练样本为；；；；；；4、利用MatLab中神经网络函数创建一个RBF网络，并对非线性函数进行逼近。编写MatLab程序并给出仿真结果。答案：一、1、细胞体、树突、轴突、突触2、层状结构、网络结构、有教师学习、无教师学习3、略。无监督Hebb学习规则、有监督δ学习规则或Widow-Hoff学习规则、有监督Hebb学习规则略。6、略。7、略。8、阈值函数，分段线性函数，双曲函数、Sigmoid函数9、引入动量项、变尺度法、变步长法10、略。11、略。12、略。13、前馈（前向）网络、反馈（递归）网络14、误差修正规则或Delta（）学习规则、Hebb学习规则、竞争学习规则15、输入模式正向传播、误差逆传播16、有教师学习（有监督学习）、无教师学习（无无监督学习、UnsupervisedLearning）、增强学习（ReinforcementLearning）17、细胞体（Soma）、突起（Neurites）二、1D2A3C三、1、1）神经网络可以充分逼近任意复杂的非线性函数。2）神经网络具有分布式信息存贮特点，有很强的鲁棒性和容错性。3）神经网络具有巨量信息并行处理和大规模平行计算能力。4）神经网络具有自组织、自学习功能，是自适应组织系统。2、答案：XX2y1y2XX1隐含结点函数为S型函数。输出结点函数为S型函数或线性函数3、答案：图中为输入特征向量，各分量为，为到第一隐层的连接权值，为第一隐层神经元的阈值；为到第二隐层的连接权值，为第二隐层神经元的阈值；输出量，各分量为，为到输出层的连接权值，为输出神经元的阈值；为激励函数，通常用阶跃函数、双极值函数。学习算法可以采用Hebb学习规则。4、答案：前馈型神经网络中的神经元按层排列，网络从输入层到输出层是单向连接，只有前后相邻两层之间神经元实现相互连接，从上一层接收信号输送给下一层神经元，同层的神经元之间没有连接，各神经元之间也没有反馈。前馈网络是一种静态的非线性映射，大部分前馈网络都是学习网络，比较适用于模式识别、分类和预测评价问题典型的前馈网络有感知器（MLP）、误差反向传播网络（BP）和径向基函数神经网络（RBF）、小脑模型连接控制网络（CMAC）等。5、答案：其中，（）是从其它神经元传来的输入信号；表示从其它神经元到该神经元的连接权值；为该神经元激活阈值；为神经元输出；为输出变换函数，一般为非线性函数，也可以称为激励函数、响应函数等。6、答案：直接逆动态控制神经网络自适应控制包括自校正控制和模型参考自适应控制神经网络PID控制神经网络内模控制神经网络模型预测控制或者监视控制、直接逆控制、模型参考控制、内部模型控制、预测控制、自适应控制、系统辨识、滤波预报等更加细致的分类形式。或者基于传统控制理论的神经控制和基于神经网络的智能控制两大类7、答案：感知器（Perceptron）是一个具有单层神经元的神经网络，并由线性阀值元件组成，是最简单的前向神经网络，它主要用于模式分类。由感知器的网络结构，我们可以看出感知器的基本功能是将输入矢量转化成0或1的输出。感知器利用其学习规则来调整网络的权值，以便使该网络对输人矢量的响应达到数值为0或1的目标输出。感知器的学习是有指导的学习，其训练算法的基本原理来源于著名的Hebb学习规则。基本思想是：逐步地将样本集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权系数。8、答案：神经网络的基本属性：1)非线性2)非局域性3)非定常性4)非凸性9、答案：BP网络的主要特点是：1）输入和输出是并行的模拟量；2）网络的输入输出关系是各层连接的权因子决定，没有固定的算法；3）权因子是通过学习信号调节的，这样学习越多，网络越聪明；4）隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响10、略。11、略。12、略。13、略。14、略。15、略。16、答案：“学习”是指在外界环境激励作用下，神经网络的连接权值不断调整适应的过程。神经网络的学习算法是指一系列事先定义好的解决学习问题的规则，它决定了如何调整神经网络连接权值的方式。误差修正规则（Error-CorrectionLearning）、误差修正规则（Error-CorrectionLearning）Hebb学习规则（HebbianLearning）、竞争学习（CompetitiveLearning）。17、略。18、略。19、略。20、略。21、略。22、略。23、略。24、略。25、略。26、略。27、略。28、略。29、略。30、略。31、略。32、答案：神经元模型是生物神经元的抽象和模拟。它是模拟生物神经元的结构和功能、并从数学角度抽象出来的一个基本单元。它是神经网络的最基本的组成部分。神经元一般是多输入-单输出的非线性器件。模型可以描述为假设，即为神经元的内部状态；为阀值；为输入信号，；为表示从单元到单元的连接权系数；为外部输入信号。常用的神经元非线性特性有以下四种阀值型分段线性型Sigmoid函数型Tan函数型33、答案：神经系统是一个高度复杂的非线性动力学系统，虽然每一个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为却是丰富多彩和十分复杂的。从神经元模型角度来看，有线性处理单元和非线性处理单元。从网络结构方面来看，有：前向网络、反馈网络和自组织网络。34、答案：神经网络按连接方式分属于网状结构网络。神经网络是由通过神经元的互连而达到的。根据神经元的连接方式的不同，神经网络可分为以下四种形式：前向网络由输入层、隐含层和输出层组成。每一层只接受前一层神经元的输入。各神经元之间不存在反馈。属于层次型网络。反馈网络只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。属于层次型网络。相互结合型网络这种神经网络在任意两个神经元之间都可能有连接。在这个状态中，信号要在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中，从某种初态开始，经过若干次的变化，才会达到某种平衡状态。混合型网络通过同一层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。它是层次型网络和网状结构网络的一种结合。35、答案：1)

并行分布处理。神经网络具有高度的并行结构和并行实现能力,因而能够有较好的耐故障能力和较快的总体处理能力。这特别适于实时控制和动态控制。

2)

非线性映射。神经网络具有固有的非线性特性,这源于其近似任意非线性映射(变换)能力。这一特性给非线性控制问题带来新的希望。

3)

通过训练进行学习。神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此,神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。

4)

适应与集成。神经网络能够适应在线运行,并能同时进行定量和定性操作。神经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号,解决输入信息间的互补和冗余问题,并实现信息集成和熔合处理。这些特性特别适于复杂、大规模和多变量系统的控制。

5)

硬件实现。神经网络不仅能够通过软件而且可借助软件实现并行处理。近年来,一些超大规模集成电路实现硬件已经问世,而且可从市场上购到。这使得神经网络具有快速和大规模处理能力的实现网络。

十分显然,神经网络由于其学习和适应、自组织、函数逼近和大规模并行处理等能力,因而具有用于智能控制系统的潜力。36、答案：人工神经网络的结构基本上分为两类,即递归(反馈)网络和前馈网络。

1)

递归网络

在递归网络中,多个神经元互连以组织一个互连神经网络,如图4所示。有些神经元的输出被反馈至同层或前层神经元。因此,信号能够从正向和反向流通。Hopfield网络,Elmman网络和Jordan网络是递归网络有代表性的例子。递归网络又叫做反馈网络。

图4

递归(反馈)网络

图5

前馈(多层)网络

图4中,表示节点的状态,为节点的输入(初始)值,为收敛后的输出值,i=1,2,...,n。

2)

前馈网络

前馈网络具有递阶分层结构,由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通;神经元从一层连接至下一层,不存在同层神经元间的连接,如图5所示。图中,实线指明实际信号流通而虚线表示反向传播。前馈网络的例子有多层感知器(MLP)、学习矢量量化(LVQ)网络、小脑模型联接控制(CMAC)网络和数据处理方法(GMDH)网络等。37、答案：径向基函数有3种形式：1）多二次函数，；2）逆多二次函数，；3）高斯函数，。在RBF网络中，RBF网络的学习过程分为两个阶段，首先根据所有的输入样本集利用聚类分析方法求解隐含层各节点的径向基函数的中心向量或隐层基函数的宽度参数，这属于无教师学习；第二阶段根据给定训练样本，利用有教师学习算法训练和调整隐含层和输出层之间的连接权值或阈值。38、答案：单层感知器具有对线性可分的输入模式进行自动分类的功能。为了克服单层感知器的缺陷，实现任意输入模式的分类和功能，可以加入隐含层构成多层感知器。对于多层感知器，如果隐含层的节点可任意设置，则用双层感知器可以实现任意的二值逻辑函数；如果隐含层的节点可任意设置，且隐含层用S型激励函数，双层感知器结构可以一致逼近任意的连续函数。39、答案：神经网络控制系统主要分成监视控制、直接逆动态控制、神经适应控制、实用反向传播控制、自适应评价控制五大类。40、答案：BP学习算法实际包含了两类信号不同方向的传播过程，一类是施加输入信号由输入层经隐层到输出层，产生输出响应的“输入模式正向传播”过程；另一类是希望输出与实际输出之间的误差信号由输出层返回隐层和输入层，反向逐层修正连接权值和神经元输出阈值的“误差逆传播”过程。“输入模式正向传播”和“误差逆传播”过程反复交替进行网络训练，最终达到网络的全局误差向极小值收敛（即实际输出逐渐逼近希望输出）而结束学习过程，这种学习规则就是上节课讲到的Delta（）学习规则。41、答案：1）对于RBF和BP网络，从理论上可以证明，只要隐层神经元的数量足够多，都可以以任意精度逼近任何单值连续函数。两者的主要区别在于非线性映射上采用了不同的激励函数，BP网络隐含层神经元采用S型函数，对输入信号无限大的范围内均会产生非零值，作用函数具有全局接收域；而RBF网络隐含层神经元采用高斯等径向基函数，只有距离基函数中心较近的范围产生较大输出，作用函数具有局部化接收域，属于局部映射网络。2）从结构方面BP网络一般是双层网络，但也可以由三层至更多层组成；而RBF网络只有一个隐含层和一个输出层组成的两层形式。3）RBF网络隐含层和输出层之间是线性方程组合，理论证明网络具有惟一最佳逼近特性，且无局部极小值问题。4）RBF网络与BP网络相比较具有训练收敛速度快、函数逼近能力和模式分类能力强等优点，因此比较适合于系统的实时辨识和在线控制。另外，RBF网络在数值计算、函数拟合、模式识别与分类等领域得到了广泛的应用，取得了巨大的成果。但是BP网络的泛化能力，即对未知样本的预测能力要好于RBF网络。5）RBF网络的学习过程分为两个比较直观的阶段，但是具体求解RBF网络隐节点的中心向量和隐层基函数的宽度参数比较困难。BP网络的学习过程只有一个有监督学习。42、答案：生物神经元主要有树突、轴突和细胞体组成。图4-1-2MP神经元模型输出函数43、略。44、答案：XX1X2X3y1y2隐层中的神经元一般均采用S型函数作为激励函数，输出层神经元可以根据实际情况选择线性激励函数，则整个网络的输出可以取任意值；输出层神经元如果同样选择S型函数作为激励函数，则整个网络的输出就限定在一个较小的范围内。（a）Sigmoid函数,（b）S型正切函数,线性激励函数BP网络采用BP学习算法。BP学习算法属于有教师监督的学习方式，训练模式提供给BP网络后，输入信号先向前传播到隐节点，经过激励函数之后，把隐节点的输出信息传播到输出节点，给出输出响应结果。然后再按照减小希望输出与实际输出误差的方向，从输出层向隐含层逐层修正网络的权值和阈值，直至回到输入层，如此反复直到误差达到最小，因此得名“误差反向传播算法”。BP网络的缺陷（要求至少答出3点）：1）由于B