第09-1讲 NN辨识.ppt

1、第九讲 现代辨识方法选讲 -1 神经网络辨识,主要内容(1),主要内容 引言 人工神经网络概述 神经网络辨识并联方法 神经网络辨识串并联方法 神经网络辨识的发展,1. 引言(1/7),1. 引言 由于NN,尤其是多层感知器(MLP),对连续函数映射关系具有较好的逼近能力,能以任意精度逼近平方可积的连续函数影射. 基于函数最优一致逼近的Weistrass定理可以证明,对任何平方可积函数,可以由多层BP网络以任意精度最优一致逼近. 因此NN是一种良好的函数逼近工具,可广泛应用于实质上可以归结为函数逼近问题的应用领域中,如 各种专门领域的数学模型实验建模、 控制与系统科学领域的系统辨识、,1. 引言

2、(2/7),模式识别中的分类问题、 曲线拟合、 回归分析等 对控制和系统科学的系统辨识问题,即为通过建模对象的实验数据或在线系统运行数据构造学习样本,去学习和逼近描述系统的动静态特性的输入输出函数关系,得到被控系统的数学模型并应用于系统分析、控制、决策及系统综合. 因此,系统辨识问题本质上属于函数逼近问题,具有良好函数逼近能力,万能(universal)的逼近工具-NN能很好地承担起系统辨识的任务.,1. 引言(3/7),总所周知,传统辨识方法在线性离散系统的参数辨识领域已发展得非常深刻,应用也较成熟. 因此,研究NN辨识方法主要应利用NN处理具有 非线性、 并行性、 分布性、 容错性等特性,

3、 以及未来的硬件可实现性所带来的高速信息运算与处理能力.,1. 引言(4/7),着眼于研究 非线性系统辨识、 非参数辨识、 非结构辨识、 具有良好性鲁棒性和容错性的辨识方法、 在线高速或硬件辨识方法.,1. 引言(5/7),NN辨识比传统辨识方法优越之处： 避免了传统辨识方法的非线性系统辨识中的结构辨识问题,省去系统结构建模这一步,可调参数为NN的权值. 由于多层NN的神经元间的连接(突触)通过训练和自学习生成,无须辨识或确定非线性系统非线性环节的结构,因此NN辨识适宜于目前传统方法难以处理的非线性系统辨识问题. 可对本质非线性系统进行辨识,在网络外部含系统I/O特征,非算法式的. 辨识算法不

4、依赖于辨识系统的维数,仅与NN本身和学习算法有关.,1. 引言(6/7),由于NN能硬件实现,因此未来的硬件实现的NN辨识算法和NN模型将具有芯片级的处理速度,较之传统辨识方法具有无可比拟的速度优势,尤其对在线辨识和自适应控制更具优势. NN为实际系统的物理实现,可用于在在线控制.,1. 引言(7/7),自80年代末,NN已成功应用于系统建模和辨识领域. 目前,动态系统NN辨识方法的研究成果主要有： NN辨识系统的结构 提高辨识方法(NN学习方法)的速度 增强辨识方法和辨识模型的鲁棒性 本讲主要介绍NN辨识系统的结构. 应用于控制领域系统辨识问题的NN辨识系统的结构主要有 并联结构 串并联结构

5、,1. 引言(8/7),下面分 人工神经网络概述 神经网络辨识并联方法 神经网络辨识串并联方法 神经网络辨识的发展 4个部分来介绍神经网络辨识方法.,2. 人工神经网络概述 本节简单回顾一下人工神经网络(Artificial Neural Networks, ANN)的发展、原理、模型与学习算法.主要内容有： 人工神经网络研究的起源 人工神经网络的结构 神经元及其特性 人工神经网络的基本类型 人工神经网络的典型模型 人工神经网络示例及其算法,2. 人工神经网络概述(1/1),2.1 人工神经网络研究的起源 ANN研究的先锋,McCulloch和Pitts曾于1943年提出一种叫做“似脑机器”(

6、mindlike machine)的思想,这种机器可由基于生物神经元特性的互连模型来制造,这就是ANN的概念. 60年代以前萌芽期 他们构造了一个表示大脑基本组分的神经元模型,对逻辑操作系统表现出通用性. 随着大脑和计算机研究的进展,研究目标已从“似脑机器”变为“学习机器”,为此一直关心神经系统适应律的Hebb提出了学习模型. Hebb规则是第一个ANN的学习算法.,2.1 ANN研究的起源(1/6),60年代高潮期 Rosenblatt命名感知器,并设计一个引人注目的结构. 由于感知器的概念简单,但具有一定的逼近、分类和学习能力,使得ANN的研究吸引辽许多计算机科学领域、数学领域的研究的极大

7、兴趣,掀起起了第一个ANN研究的热潮. 研究人员对感知器及其ANN的研究及未来的潜在应用前景寄与很大希望. 到60年代初期,关于学习系统的专用设计指南有Widrow等提出的Adaline(adaptive linear element,即自适应线性元)以及Steinbuch等提出的学习矩阵.,2.1 ANN研究的起源(2/6),然而,在不久之后的60年代末期,Minsky和Papert从数学上证明了感知器不能实现复杂逻辑功能,不具备非线性分类能力,这使得ANN的研究落入低潮. 70年代低潮期 到了70年代,Grossberg和Kohonen对NN研究作出重要贡献. 以生物学和心理学证据为基础,

8、Grossberg提出几种具有新颖特性的非线性动态系统结构. 该系统的网络动力学由一阶微分方程建模,而网络结构为模式聚集算法的自组织神经实现. 基于神经元组织自己来调整各种各样的模式的思想,Kohonen发展了他在自组织映射方面的研究工作.,2.1 ANN研究的起源(3/6),Werbos在70年代开发一种反向传播算法. 70年代提出的小脑模型(CMAC). 80年代以来发展高峰 Hopfield在神经元交互作用的基础上引入一种递归型NN,这种网络就是有名的Hopfield网络. 在80年代中叶,作为一种前馈NN的学习算法,Parker和Rumelhart等重新发现了反向传播(BP)算法. 8

9、0年代末期的径向基函数(RBF)网络、模糊神经网络(FNN). 90年代的支持向量机(SVM).,2.1 ANN研究的起源(4/6),由于这些新型的ANN模型所具备的 良好的学习、逼近和分类能力,尤其是 处理复杂的非线性问题、 存储信息的分布性和容错特征、 信息处理隐含的并行性 等使得ANN的研究进入了其第二个高潮,并且快速地向应用领域发展,广泛地应用于 信号处理、 运筹与优化、 控制科学、,2.1 ANN研究的起源(5/6),系统科学 等领域,形成一个前所未有繁荣景象. 迄今为止,已提出的ANN模型已超过100种,其应用触角可以说进入了任一个技术领域.,2.1 ANN研究的起源(6/6),2

10、.2 人工神经网络的结构 ANN的结构是由基本处理单元及其互连方法决定的. 因此,研究讨论ANN,主要研究： 神经元及其特性 人工神经网络的基本类型(神经元的连接) 人工神经网络的典型模型与学习算法,2.2 ANN的结构(1/1),2.2.1 神经元及其特性 连接机制结构的基本处理单元与神经生理学类比往往称为神经元. 每个构造起网络的神经元模型模拟一个生物神经元,如图1所示.,2.2.1 神经元及其特性(1/4),该神经元单元由多个输入,i=1,2,.,n和一个输出y组成. 中间状态由输入信号的权和表示,而输出为:,2.2.1 神经元及其特性(2/4),其中qj为神经元单元的偏置(阈值), w

11、ji为连接权系数, n为输入信号数目, yj为神经元输出, t为时间, f()为非线性激发函数,往往采用0和1二值函数或S形函数,见图2,这三种函数都是连续和非线性的.,2.2.1 神经元及其特性(3/4),常用的神经元非线性激发函数有: 如图2(a)所示的阶跃型二值逻辑函数,2.2.1 神经元及其特性(4/4),如图2(b)所示的S形函数 f(x)=1/1+e-a(x-) 0f(x)1 (3) 如图2(c)所示的双曲正切函数 f(x)=1-e-a(x-)/1+e-a(x-) -1f(x)1 (4),2.2.2 人工神经网络的基本类型 下面介绍： 人工神经网络的基本特性 人工神经网络的基本结构

12、 人工神经网络的主要学习算法,2.2.2 ANN的基本类型(1/1),(1) 人工神经网络的基本特性 ANN由神经元模型构成;这种由许多神经元组成的信息处理网络具有并行分布结构. 每个神经元具有单一输出,并且能够与其它神经元连接; 存在许多(多重)输出连接方法,每种连接方法对应一个连接权系数. 严格地说,ANN是一种具有下列特性的有向图: 对于每个节点i存在一个状态变量xi; 从节点j至节点i,存在一个连接权系统数wij; 对于每个节点i,存在一个阈值qi; 对于每个节点i,定义一个变换函数fi(xi,wji,qi),ij;对于最一般的情况,此函数取fi(wjixi+qi)形式.,(1) AN

13、N的基本特性(1/1),(2) 人工神经网络的基本结构 A. 递归网络 在递归网络中,多个神经元互连以组织一个互连NN,如图3所示. 有些神经元的输出被反馈至同层或前层神经元.因此,信号能够从正向和反向流通. 递归网络又叫做反馈网络,有代表性的例子有： Hopfield网络, Elmman网络和 Jordan网络.,(2) ANN的基本结构(1/4),图3 递归(反馈)网络,(2) ANN的基本结构(2/4),图3中,vi表示节点的状态,xi为节点的输入(初始)值,xi为收敛后的输出值,i=1,2,.,n.,从输入层至输出层的信号通过单向连接流通; 神经元从一层连接至下一层,不存,B. 前馈网

14、络 前馈网络具有递阶分层结构,由一些同层神经元间不存在互连的层级组成.,(2) ANN的基本结构(3/4),在同层神经元间的连接,如图4所示. 图中,实线指明实际信号流通而虚线表示反向传播.,图4 前馈(多层)网络,前馈网络的例子有 多层感知器(MLP)、 学习矢量量化(LVQ)网络、 小脑模型联接控制(CMAC)网络和 数据处理方法(GMDH)网络等.,(2) ANN的基本结构(4/4),(3) 人工神经网络的主要学习算法 NN主要通过两种学习算法进行训练,即 指导式(有师)学习算法和 非指导式(无教师)学习算法. 此外,还存在第三种学习算法,即 强化学习算法;可把它看做有师学习的一种特例.

15、 下面分别作简单介绍。,(3) ANN的主要学习算法(1/4),有教师学习 有教师学习算法能够根据期望的和实际的网络输出(对应于给定输入)间的差来调整神经元间连接的强度或权. 因此,有教师学习需要有个老师或导师来提供期望或目标输出信号. 有教师学习算法的例子包括d规则、广义d规则或BP算法以及LVQ算法等.,(3) ANN的主要学习算法(2/4),无教师学习 无教师学习算法不需要知道期望输出. 在训练过程中,只要向NN提供输入模式,NN就能够自动地适应连接权,以便按相似特征把输入模式分组聚集. 无教师学习算法的例子包括Kohonen算法和Carpenter-Grossberg自适应谐振理论(A

16、RT)等.,(3) ANN的主要学习算法(3/4),强化学习 如前所述,强化学习是有教师学习的特例. 它不需要老师给出目标输出. 强化学习算法采用一个“评论员”来评价与给定输入相对应的NN输出的优度(质量因数). 强化学习算法的一个例子是GA.,(3) ANN的主要学习算法(4/4),2.2.3 人工神经网络的典型模型 迄今为止,有100多种ANN模型被开发和应用.下面是它们之中有代表性的一些模型. Hopfield网 由Hopfield提出的,是一类不具有学习能力的单层自联想网络. Hopfield网模型由一组可使某个能量函数最小的微分方程组成.其短处为计算代价较高,而且需要对称连接. 适合

17、于求解控制与信号处理领域中的优化问题、方程求解问题、记忆存储问题。,2.2.3 ANN的典型模型(1/10),反向传播(BP)网络 最初由Werbos开发的反向传播训练算法是一种迭代梯度算法,用于求解前馈网络的实际输出与期望输出间的最小均方差值. BP网是一种反向传递并能修正误差的多层映射网络. 当参数适当时,此网络能够收敛到较小的均方差,是目前应用最广的网络之一. BP网的短处是训练时间较长,且易陷于局部极小. 适合于求解控制与信号处理领域中的建模问题、学习问题、逼近问题、分类问题。,2.2.3 ANN的典型模型(2/10),RBF网络和FNN 诞生于80年代末的RBF网络和FNN与BP网络

18、同属于多层感知器。 具有较好的局部逼近能力,以及较快的学习速度和适应能力,得到控制界的较大关注. 适合于求解控制与信号处理领域中的建模问题、学习问题、逼近问题、分类问题。 Boltzmann机(BM) 由Hinton等提出的,是建立在Hopfield网基础上的,具有学习能力,能够通过一个模拟退火过程寻求解答. 不过,其训练时间比BP网络要长.,2.2.3 ANN的典型模型(3/10),Madaline算法 是Adaline算法的一种发展,是一组具有最小均方差线性网络的组合,能够调整权值使得期望信号与输出间的误差最小. 此算法是自适应信号处理和自适应控制的得力工具,具有较强的学习能力,但是输入输

19、出之间必须满足线性关系. 适合于求解控制与信号处理领域中的建模问题、学习问题、逼近问题、分类问题。,2.2.3 ANN的典型模型(4/10),CMAC网络 CMAC网络出现于70年代的一种具有联想记忆特性的监督式(有导师)前馈NN. 由于其算法实现简单、速度快,非常适宜于在线控制. 其不足为适应能力差. 适合于控制与信号处理领域中的记忆存储问题。 自适应谐振理论(ART) 由Grossberg提出的,是一个根据可选参数对输入数据进行粗略分类的网络. ART-1用于二值输入,而ART-2用于连续值输入. ART的不足之处在于过份敏感,输入有小的变化时,输出变化很大.,2.2.3 ANN的典型模型

20、(5/10),认知机(Neocogntion) 由Fukushima提出的,是至今为止结构上最为复杂的多层网络. 通过无教师学习,认知机具有选择能力,对样品的平移和旋转不敏感. 不过,认知机所用节点及其互连较多,参数也多且较难选取. 双向联想存储器(BAM) 由Kosko开发的,是一种单状态互连网络,具有学习能力. BAM的缺点为存储密度较低,且易于振荡.,2.2.3 ANN的典型模型(6/10),感知器 由Rosenblatt开发的,是一组可训练的分类器,为最古老的ANN之一,现已很少使用. 自组织映射网(SOM) 由Kohonen提出的,是以神经元自行组织以校正各种具体模式的概念为基础的.

21、 SOM能够形成簇与簇之间的连续映射,起到矢量量化器的作用. 对流传播网络(CPN) 由Hecht-Nielson提出的,是一个通常由五层组成的连接网. CPN可用于联想存储,其缺点是要求较多的处理单元.,2.2.3 ANN的典型模型(7/10),根据W.T.Illingworth提供的综合资料,最典型的ANN模型(算法)及其学习规则和应用领域如表1所列. 表1 ANN的典型模型,2.2.3 ANN的典型模型(8/10),表1 ANN的典型模型 (续1),2.2.3 ANN的典型模型(9/10),表1 ANN的典型模型 (续2),2.2.3 ANN的典型模型(10/10),2.3 人工神经网络

22、示例及其算法 由于许多ANN已成为NNC系统的主要环节,ANN的许多算法已在NNC中获得广泛采用, 也就是说,许多ANN算法也就是NNC算法或者是NNC算法的基础, 因此,有必要对下述的一些重要的ANN网络及其算法加以简要讨论. 多层感知器 数据群处理方法网络 自适应谐振理论网络,2.3 ANN示例及其算法(1/2),学习矢量量化网络 Kohonen网络 Hopfield网络 Elman and Jordan CMAC网络 RBF网络,2.3 ANN示例及其算法(2/2),2.3.1 多层感知器 多层感知器(MLP)可能是最著名的前馈网络.图4给出一个三层MLP,即输入层、中间(隐含)层和输出

23、层.,2.3.1 MLP(1/7),输入层的神经元只起到缓冲器的作用,把输入信号xi分配至隐含层的神经元. 隐含层的每个神经元j(见图1在对输入信号加权wij 之后,进行求和,并计算出输出 作为该和的f函数,即 yi=fi(wjixi+qi) (5),其中f可为一简单的阈值函数、S型函数、双曲正切函数或径向基函数,如表2所示. 表2 激发函数,2.3.1 MLP(2/7),在输出层神经元的输出量也可用类似方法计算. BP算法是一种最常采用的MLP训练算法,它给出神经元i和j间连接权的变化Dwji,如下式所示: Dwji =djxi (6) 式中h为一称为学习速率的参数, dj为一取决于神经元j

24、是否为一输出神经元或隐含神经元的系数.,2.3.1 MLP(3/7),对于输出神经元, dj=f/netj(yj(t) - yj) (7) 而对于隐含神经元, dj=f/netjwqjdjq (8) 其中netj表示所有输入信号对神经元j的加权总和, dj为神经元j的目标输出.,2.3.1 MLP(4/7),对于所有问题(多数平凡问题除外),为了适当地训练MLP需要几个信号出现时间. 一种加速训练的方法是对式(6)加上一个“动量”项,以便使前面的权变化有效地影响新的权值变化,即 Dwji (k+1) =djxi + Dwji (k) (9) 式中Dwji(k) 为k时刻的权值变化量,m为“动量

25、”系数.,2.3.1 MLP(5/7),另一种适于训练MLP的学习算法是GA,其流程如图5所示.,2.3.1 MLP(6/7),图5 简单的遗传算法流程图,2.3.1 MLP(7/7),GA是一种基于进化原理的优化算法,它把连接权值看作一染色体内的一些基因. 染色体的优点在于直接涉及MLP被训练得怎么好. 该算法以某个随机产生的染色体群体开始,并应用基因算子产生新的更为合适的群体. 最普通的基因算子为选择、交叉和变异算子. 选择算子从现有群体选择染色体供繁殖用. 通常采用一个有倾向性的选择程序来促成更合适的染色体.,2.3.2 数据群处理方法网络 图6和图7分别表示一个数据群处理方法(GMDH

26、)网络及其一个神经元的细节.,2.3.2 GMDH网络(1/4),图6 一个受训练的GMDH网络,2.3.2 GMDH网络(2/4),图7 一个GMDH神经元的详图,每个GMDH神经元是一N-Adalilne,后者为一含有非线性预处理器的自适应线性元件. 与以前介绍过的具有固定结构的前馈NN不同,GMDH网络的结构在训练过程中发展.,2.3.2 GMDH网络(3/4),GMDH网络中的每个神经元通常有两个输入(x1和x2),并产生一个输出y,它是这些输入的二次组合(如图7所示),即,训练GMDH网络包含下列过程: 从输入层开始构造网络,调整每个神经元的权值,增加层数直至达到映射精度为止. 第一

27、层的神经元数决定了可能得到的外部输入数. 对于一对外部输入,需要使用一个神经元. 进行训练时,把一个输入模式送至输入层,并根据适当的学习算法调整每个神经元的权值.,2.3.2 GMDH网络(4/4),3.3 自适应谐振理论网络 ART网络具有不同的版本.,2.3.3 ART网络(1/6),图8表示ART-1版本,用于处理二元输入. 新的版本,如ART-2,能够处理连续值输入.,从图8可见,一个ART-1网络含有两层,一个输入层和一个输出层.这两层完全互连,该连接沿着正向(自底向上)和反馈(自顶向下)两个方向进行. 自底向上连接至一个输出神经元i的权矢量Wi形成它所表示的类的一个样本. 全部权矢

28、量Wi构成网络的长期存储器,用于选择优胜的神经元,该神经元的权矢量Wi最相似于当前输入模式. 自顶向下从一个输出神经元i连接的权矢量 用于警戒测试,即检验某个输入模式是否足够靠近已存储的样本. 警戒矢量Vi构成网络的短期存储器. Vi和Wi是相关的,Wi是Vi的一个规格化副本,即 Wi=Vi/(+ Vi) (11),2.3.3 ART网络(2/6),式中e为一小的常数,Vji为Vi的第j个分量(即从输出神经元i到输入神经元j连接的权值). 当ART-1网络在工作时,其训练是连续进行的,且包括下列步骤: 1) 对于所有输出神经元,预置样本矢量Wi及警戒矢量Vi的初值,设定每个Vi的所有分量为1,

29、并据式(11)计算Wi. 如果一个输出神经元的全部警戒权值均置1,则称为独立神经元,因为它不被指定表示任何模式类型. 2) 给出一个新的输入模式x. 3) 使所有的输出神经元能够参加激发竞争.,2.3.3 ART网络(3/6),4) 从竞争神经元中找到获胜的输出神经元,即这个神经元的x. Wi 值为最大;在开始训练时或不存在更好的输出神经元时,优胜神经元可能是个独立神经元. 5) 检查看该输入模式x是否与获胜神经元的警戒矢量足够相似. 相似性是由x的位分式r检测的,即 r=xVi/xi (12) 如果r值小于警戒阈值r(0r1),那么可以认为x与Vi是足够相似的.,2.3.3 ART网络(4/

30、6),6) 如果rr ,即存在谐振,则转向第(7)步; 否则,使获胜神经元暂时无力进一步竞争,并转向第(4)步,重复这一过程直至不存在更多的有能力的神经元为止. 7) 调整最新获胜神经元的警戒矢量Vi,对它逻辑加上x,删去Vi内而不出现在x内的位; 据式(11),用新的Vi计算自底向上样本矢量Wi;激活该获胜神经元. 8) 转向第(2)步.,2.3.3 ART网络(5/6),上述训练步骤能够做到: 如果同样次序的训练模式被重复地送至此网络,那么其长期和短期存储器保持不变,即该网络是稳定的. 假定存在足够多的输出神经元来表示所有不同的类,那么新的模式总是能够学得,因为新模式可被指定给独立输出神经

31、元,如果它不与原来存储的样本很好匹配的话(即该网络是塑性的).,2.3.3 ART网络(6/6),2.3.4 学习矢量量化网络 图9给出一个学习矢量量化网络,它由三层神经元组成,即输入转换层、隐含层和输出层. 该网络在输入层与隐含层间为完全连接,而在隐含层与输出层间为部分连接,每个输出神经元与隐含神经元的不同组相连接. 隐含-输出神经元间连接的权值固定为1. 输入-隐含神经元间连接的权值建立参考矢量的分量(对每个隐含神经元指定一个参考矢量). 在网络训练过程中,这些权值被修改.隐含神经元(又称为Kohnen神经元)和输出神经元都具有二进制输出值.,2.3.4 LVQ网络(1/4),当某个输入模

32、式送至网络时,参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争,因而允许它产生一个“1”.其它隐含神经元都被迫产生“0”. 与包含获胜神经元的隐含神经元组相连接的输出神经元也发出“1”,而其它输出神经元均发出“0”. 产生“1”的输出神经元给出输入模式的类,每个输出神经元被表示为不同的类.,2.3.4 LVQ网络(2/4),图9 学习矢量化网络,2.3.4 LVQ网络(3/4),最简单的LVQ训练步骤如下: 预置参考矢量初始权值. 供给网络一个训练输入模式. 计算输入模式与每个参考矢量间的欧氏距离. 更新最接近输入模式的参考矢量(即获胜隐神经元的参考矢量)的权值. 如果获胜隐神经元以输入

33、模式一样的类属于连接至输出神经元的缓冲器,那么参考矢量应更接近输入模式. 否则,参考矢量就离开输入模式. 转至(b),以某个新的训练输入模式重复本过程,直至全部训练模式被正确地分类或者满足某个终止准则为止.,2.3.4 LVQ(4/4),3.5 Kohonen网络 Kohonen网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一为输出层,见图10.,2.3.5 Kohonen网络(1/4),图10 Kohonen网络,输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经元. 连接权值形成与已知输出神经元相连的参考矢量的分量. 训练一个Kohonen网络包含

34、下列步骤: 对所有输出神经元的参考矢量预置小的随机初值. 供给网络一个训练输入模式. 确定获胜的输出神经元,即参考矢量最接近输入模式的神经元. 参考矢量与输入矢量间的欧氏距离通常被用作距离测量.,2.3.5 Kohonen网络(2/4),更新获胜神经元的参考矢量及其近邻参考矢量.这些参考矢量(被引至)更接近输入矢量. 对于获胜参考矢量,其调整是最大的,而对于离得更远的神经元,减少调整. 一个神经邻域的大小随着训练进行而减小,到训练末了,只有获胜神经元的参考矢量被调整.,2.3.5 Kohonen网络(3/4),对于一个很好训练了的Kohonen网络,相互靠近的输出神经元具有相似的参考矢量. 经

35、过训练之后,采用一个标记过程, 其中,已知类的输入模式被送至网络,而且类标记被指定给那些由该输入模式激发的输出神经元. 当采用LVQ网络时,如果一个输出神经元在竞争中胜过其它输出神经元(即它的参考矢量最接近某输入模式),那么此获胜输出神经元被该输入模式所激发.,2.3.5 Kohonen网络(4/4),2.3.6 Hopfield网络 Hopfield网络是一种典型的递归网络(见图3).,2.3.6 Hopfield网络(1/5),图11表示Hopfield网络的一种方案.,图3,图11 Hopfield网络,2.3.6 Hopfield网络(2/5),图11所示的为Hopfield网络的一种

36、方案. 这种网络通常只接受二进制输入(0或1)以及双极输入(+1或-1). 它含有一个单层神经元,每个神经元与所有其它神经元连接,形成递归结构. Hopfield网络的训练只有一步,网络的权值 被直接指定如下:,2.3.6 Hopfield网络(3/5),式中wij为从神经元i至神经元j的连接权值, xic(可为+1或-1)是c类训练输入模式的第i个分量, p为类数, N为神经元数或输入模式的分量数. 从式(1.3)可以看出,wij =wji以及wii=0,为一组保证网络稳定的条件. 当一种未知模式输至此网络时,设置其输出初始值等于未知模式的分量,即 yi(0)=xi 1iN (14),2.3

37、.6 Hopfield网络(4/5),从这些初始值开始,网络根据下列方程迭代工作,直至达到某个最小的能量伏态,即其输出稳定于恒值: yi=fi(wjixi+qi) 1iN (15) 式中f为一硬性限制函数,定义为:,2.3.6 Hopfield网络(5/5),2.3.7 Elman and Jordan网络 图12和图13分别示出Elman网络和Jordan网络.,2.3.7 Elman and Jordan网络(1/3),2.3.7 Elman and Jordan网络(2/3),图12 Elman网络,图13 Jordan网络,这两种网络具有与MLP网络相似的多层结构. 在这两种网络中,除

38、了普通的隐含层外,还有一个特别的隐含层,有时称为上下文层或状态层; 该层从普通隐含层(对于Elman网)或输出层(对于Jordan网)接收反馈信号. Jordan网还对上下文层的每个神经元进行自反馈连接. 对于这两种网络,上下文层内的神经元输出被前(正)向送至隐含层. 如果只有正向连接是适用的,而反馈连接被预定为恒值,那么这些网络可视为普通的前馈网络,而且可以采用BP算法进行训练. 否则,可采用遗传算法.,2.3.7 Elman and Jordan网络(3/3),2.3.8 小脑模型联接控制网络 CMAC网络可视为一种具有模糊联想记忆特性监督式(有导师)前馈NN.图14表示CMAC网络的基本

39、模块.,2.3.8 CMAC网络(1/8),图14 CMAC网络的基本模块,CMAC由一系列映射组成:,2.3.8 CMAC网络(2/8),式中S=输入矢量, M=中间变量, A=联想单元矢量, u=CMAC的输出。 上述映射(变换)可说明于下: 1) 输入编码(SM映射) S映射是一子映射的集合,每个子映射对应一个输入变量,即:,2.3.8 CMAC网络(3/8),si的域可通过量化函数q1,q2,.,qk被近似地离散化.每个量化函数把域分为k个间隔. 图15作图举例说明在CMAC内的内映射.图中,S映射表示在图的最左面.,2.3.8 CMAC网络(4/8),图15 CAMC模块内的内映射,

40、2.3.8 CMAC网络(5/8),图15中,两个输入变量S1和S2均由至域内的单位分辩度表示.每个输入变量的域采用三个量化函数来描述. 例如,S1的域由函数q1,q2和q3描述.q1把域分为A、B、C和D四个间隔;q2给出间隔E、F、G和H;q3提供间隔I、J、K和L.也就是: q1=A,B,C,D q2=E,F,G,H q3=I,J,K,L,2.3.8 CMAC网络(6/8),对于每个S1值,存在一元素集合m1为函数q1和q2的交积,使得S1的值唯一地确定m1集合,而且反之亦然. 例如,S1=5映射至集合m1=B, G, K,而且反之亦然. 类似地,值S2=4映射至集合m2=b, g, j

41、,而且反之亦然. S映射为CMAC网络提供了两个好处. 首先,可把单个精确变量 通过几个非精确信息通道传送,每个通道只传递Si的一小部分信息.这可提高信息传送的可靠性. 另一个好处是Si值的较小变化不会对mi内的大多数元素产生影响;这导致输入特性的一般化.对于存在噪声的环境,这一点是很重要的.,2.8 CMAC 3.8 CMAC,2) 地址计算(MA映射) A为一与权值表相连系的地址矢量集合,且由mi的元素组合而成. 例如,图15中,集合m1=B,G,K和m2=b,g,j被组合并得到元素集合A=a1,a2,a3= Bb, Gg, Kj. 3) 输出映射(Au映射) 这一映射包括查询权值表和加入

42、地址位置的内容,以求取网络的输出值.采用下列计算公式: u=wi(ai) (19) 这就是说,只对那些与a内的地址有关系的权值求和.例如,这些权值为: w(Bb)=x1, w(Gg)=x2, w(Kj)=x3 于是可得输出为 u=x1+x2+x3 (20),2.3.9 RBF网络(1/1),2.3.9 RBF网络 RBF网络为一具有隐单元层的三层NN,其隐单元层的神经元具有良好局部逼近能力.RBF网络具有较强的生物学背景. 在人的大脑皮层区域中,局部调节及交替的感受野(Receptive Field)是人脑反映的特点,基于感受野这一特性,Moody和Darken提出了RBF网络. 常用的RBF

43、网络的隐单元的输入输出关系为高斯函数,其主要需要学习的参数和结构为： 隐单元层神经元数、 每个隐单元的中心和 宽度.,3. 神经网络辨识并联方法(1/10),3. 神经网络辨识并联方法 神经网络辨识并联方法与串并联方法是最早应用神经网络的动态系统辨识方法. 该类方法的基本特点是将系统作为一个黑箱,无需了解系统的内部结构,亦无需对系统进行结构建模. 仅通过测取系统可测的输入输出信号,通过多层神经网络感知器(包括BP网络、RBF网络、模糊神经网络等)去逼近所测量到的系统输入输出信号所蕴含的系统的输入输出间的动态关系. 在神经网络辨识问题中，避免了许多传统系统辨识问题中的困难问题，如结构辨识问题中的

44、：,3. 神经网络辨识并联方法(2/10),线性模型还是非线性模型，以及非线性模型结构确定问题 数量（数值）关系模型还是逻辑关系模型问题 参数模型还是非参数模型问题 该类方法采用规范/标准的多层感知器模型与学习算法,仅需要预先确定隐层神经网络的层数与隐单元数. 具有既易于采用软件实现, 又易于未来神经网络硬件实现的特点. 该类方法可适用于建模输入输出间的动态模型,也可适应于建模 状态空间模型,3. 神经网络辨识并联方法(3/10),逆系统模型 静态模型/函数 下面通过对离散动态系统的输入输出模型的逼近,来介绍该类神经网络辨识方法. 考虑如下离散非线性系统 yk=f(yk-1,yk-n;uk-1

45、,uk-m)+wk (1) 其中yk和uk分别为系统的输出和输入, wk为系统所受到的所有内不及外界扰动在输出端的综合反映, n和m分别为系统的输出和输入的阶次, f()为未知的,待辨识的非线性函数.,3. 神经网络辨识并联方法(4/10),若忽略扰动因素wk,实际上控制领域的动态离散系统模型(1)可视为如下的函数映射关系 f: (yk-1,yk-n;uk-1,uk-m) yk 因此,利用MLP的良好函数映射逼近能力去辨识(逼近)动态离散系统模型(1). 对系统(1),考虑建立如下NN非线性模型,其中 为非线性系统(1)的NN模型(2)的输出,为NN对系统非线性的输入输出关系f()的逼近.,3

46、. 神经网络辨识并联方法(5/10),NN模型(2)辨识的原理图如图1所示,其中逼近非线性系统(1)的非线性关系的NN的拓扑结构如图2所示.,图1 并联型神经网络辨识方法原理图,3. 神经网络辨识并联方法(6/10),图2 并联型神经网络模型的神经网络拓扑结构,3. 神经网络辨识并联方法(7/10),在该神经网络模型中的TDL为时间延迟逻辑单元,其结构如下图所示.,3. 神经网络辨识并联方法(8/10),由于多层NN具有较好的函数逼近能力,因此,在这里选择多层NN,诸如 BP模型、 RBF模型、 FNN、 CMAC网络、 MADALINE网络 等,用于逼近非线性关系f().,3. 神经网络辨识并联方法(9/10),下面简单介绍一个神经网络并联辨识的仿真. 对象模型为：,由于对象的 n=1, m=1 所选取的神经网络模型采用2-5-1型的网络. 输入为y(k-1