小脑模型CMAC神经网络1ppt课件

1、 CMAC CMAC网络的根本思想与构造模型网络的根本思想与构造模型 CMAC CMAC网络的任务原理网络的任务原理 CMAC CMAC算法的程序文语描画算法的程序文语描画 CMAC CMAC网络的泛化才干网络的泛化才干 CMAC CMAC网络的几个问题网络的几个问题 仿真例如仿真例如 生物学研讨阐明，人脑在人体运动中起到维持躯体平衡、生物学研讨阐明，人脑在人体运动中起到维持躯体平衡、调理肌肉紧张程度、协调随意运动等功能。因此，模拟人的调理肌肉紧张程度、协调随意运动等功能。因此，模拟人的小脑构造与功能无疑是脑的宏观构造功能模拟的重要组成部小脑构造与功能无疑是脑的宏观构造功能模拟的重要组成部分。

2、早在分。早在19751975年，年，AlbusAlbus便根据神经生理学小脑皮层构造特便根据神经生理学小脑皮层构造特点提出的一种小脑模型关联控制器点提出的一种小脑模型关联控制器(Cerebellar Model (Cerebellar Model Articulation Controller)Articulation Controller)，简称，简称CMACCMAC网络。经过多年的研讨，网络。经过多年的研讨，其中包括其中包括Miller, ParksMiller, Parks和和WongWong等人的出色任务，目前等人的出色任务，目前CMACCMAC已得到人们越来越多的注重。已得到人们越来

3、越多的注重。CMACCMAC是一种部分逼近网络，是一种部分逼近网络，算法基于算法基于LMS(LMS(最小均方最小均方) )，学习速度快，具有局域泛化，学习速度快，具有局域泛化(generalization)(generalization)才干，防止了才干，防止了BPBP网络的部分最优问题，且易网络的部分最优问题，且易于硬件实现。这些优点使得于硬件实现。这些优点使得CMACCMAC网络非常适宜用于复杂系网络非常适宜用于复杂系统的建模和快速辨识。统的建模和快速辨识。11-1 CMAC11-1 CMAC网络的根本思想与构造模型网络的根本思想与构造模型 人的小脑是经过一些神经纤维束跟脑干相联，并进一人

4、的小脑是经过一些神经纤维束跟脑干相联，并进一步同大脑、脊髓发生联络。人主要靠小脑管理运动功能，步同大脑、脊髓发生联络。人主要靠小脑管理运动功能，它经过小脑皮层的神经系统从肌肉、四肢、关节、皮肤等它经过小脑皮层的神经系统从肌肉、四肢、关节、皮肤等接受觉得信息，并感受反响信息，然后将这些获得的信息接受觉得信息，并感受反响信息，然后将这些获得的信息整合到一特定的区域整合到一特定的区域“存储器记忆起来。当需求的存储器记忆起来。当需求的时候，将这些存储器储存的信息取出来，作为驱动和协调时候，将这些存储器储存的信息取出来，作为驱动和协调肌肉运动的指令肌肉运动的指令控制信号控制信号: :当感受信息和反响信息

5、出现当感受信息和反响信息出现差别时，便经过联想加以调整，从而到达运动控制的目的，差别时，便经过联想加以调整，从而到达运动控制的目的，这一过程便是学习。这一过程便是学习。 11-1 CMAC11-1 CMAC网络的根本思想与构造模型网络的根本思想与构造模型 Albus Albus根据小脑在生物运动协调方面的重要作用，提出了根据小脑在生物运动协调方面的重要作用，提出了CMACCMAC网络，其构造模型如图网络，其构造模型如图4.14.1所示：所示：11-1 CMAC11-1 CMAC网络的根本思想与构造模型网络的根本思想与构造模型 图图 11-1 CMAC构造构造 CMAC CMAC是前馈网，构造见

6、图是前馈网，构造见图11-2 11-2 ，有两个根本映射，表，有两个根本映射，表示输入输出之间的非线性关系。示输入输出之间的非线性关系。yACU输入空间输入空间杂散编码杂散编码AP(W)输出输出输入向量输入向量图图 11-2 CMAC构造构造11-2 CMAC 11-2 CMAC 网络的任务原理网络的任务原理 11-2-1 概念映射概念映射UAC 从从输输入入空空间间 U 至至概概念念（虚虚拟拟）存存储储器器 AC 的的映映射射。 n 维维输输入入向向量量：upppnpTuuu ,12量量化化编编码码为为up，之之后后映映射射至至 AC 的的c个个存存储储单单元元，即即被被 up激激活活的的单

7、单元元（c 为为二二进进非非零零单单元元的的数数目目），映映射射后后的的向向量量（0 次次接接收收域域函函数数），见见图图：RuuuuppppcpTSsss()(),(),()12 sjcjp(), ,u11 2 映映射射原原则则：输输入入空空间间邻邻近近两两点点（一一点点为为一一个个输输入入 n 维维向向量量），在在 AC 中中有有部部分分重重叠叠单单元元被被激激励励。距距离离越越近近，重重叠叠越越多多；距距离离远远的的点点，在在 AC 中中不不重重叠叠，称称局局域域泛泛化化，c泛泛化化常常数数。 （a） 一维 c=4 1 c=4 yACU输入空间输入空间杂散编码AP(W)输出输入向量图2-

8、7-1 CMAC构造11-2-2 实践映射实践映射ACAP 假设输入是假设输入是n n维，每一维有维，每一维有q q个量化级，那么个量化级，那么ACAC占很大容量。但是，占很大容量。但是，训练样本不能够遍历一切输入空间，在训练样本不能够遍历一切输入空间，在C C中被鼓励的单元是很稀中被鼓励的单元是很稀疏的。疏的。杂散存储：可将杂散存储：可将ACAC紧缩到较小的紧缩到较小的APAP中。中。有多种方法，有多种方法，“除余数法是其中较好的一种。除余数法是其中较好的一种。杂散存储弱点：产生碰撞杂散存储弱点：产生碰撞( (冲突冲突) )即即ACAC中多个联想单元，被映射到中多个联想单元，被映射到APAP

9、的同一单元的同一单元( (见图见图) )，这意味着信息的丧失。，这意味着信息的丧失。c临近两点输入重叠单元临近两点输入重叠单元=3,有碰撞有碰撞b临近两点输入重叠单元临近两点输入重叠单元=3,无碰撞无碰撞那么那么CMACCMAC是怎样实现上述各种映射的？碰撞的缘由？是怎样实现上述各种映射的？碰撞的缘由？下面经过一个详细例如来阐明见板书。下面经过一个详细例如来阐明见板书。11-3 CMAC11-3 CMAC算法及程序文语描画算法及程序文语描画 学习算法学习算法 CMAC为为有导师的学习算法。有导师的学习算法。 设单输出，给定输入设单输出，给定输入 /输出样本对输出样本对 导师信号导师信号 ：ud

10、Pp/，Lp, 2 , 1。 由由d规那么调整权值：规那么调整权值：DwtdytsjppjpP( )( )()-huR2 其中其中 RuPjjcpsc221()将将2PR代入得代入得 Dwtdytcetcjppp( )( )( )-hh可见可见：c 个单元权值的调整量是一样的。个单元权值的调整量是一样的。 CMAC的学习算法与自顺应线性神经元的一样。但，因有重叠、碰撞，故对学习算法及收敛性，需予以分析讨论单输出。 分析算法 Gauss-Seidel迭代法; Jacobi迭代法 分析情况、结论 1 输入样本有重叠，杂散编码无碰撞 假设重叠少，解收敛 2 输入样本有重叠，杂散编码有碰撞 因碰撞，收

11、敛速度降低、收敛性态变坏、也能够不收敛11-3 CMAC11-3 CMAC算法及程序文语描画算法及程序文语描画b临近两点临近两点输入重叠单元输入重叠单元=3,无碰撞无碰撞 a 一 维c=4c=41c临近两点输入重叠单元=3,有碰撞11-3 CMAC11-3 CMAC算法及程序文语描画算法及程序文语描画11-4 CMAC11-4 CMAC网络的泛化才干网络的泛化才干 最早进展泛化实际研讨的是Amaril，他以为泛化是将输入集中样本点的给定邻域映射到输出集中映射点(与样本点对应)的某一邻域。由此可见，泛化才干除了由精度决议外，还取决于映射方式和输入的量化级。所以多层感知器的泛化才干是极其有限的，实

12、际也证明了这点。而CMAC神经网络是在对小脑进展神经解剖生理学研讨的根底上提出的，它被证明具有局域泛化才干。 CMAC网络中，假设两个输入向量相距较近，那么它们所触发的神经元有重叠，间隔越近，重叠越多；假设两个输入向量相距较远，那么它们触发的神经元没有重叠。因此CMAC网络具有局域泛化才干，它的泛化才干源自于它的网络构造本身。 影响CMAC泛化精度的主要要素有:训练精度、泛化常数和样本点的选择，但其结论还显得相对简单。 11-4-1 CMAC11-4-1 CMAC网络泛化目的网络泛化目的11-4 CMAC11-4 CMAC网络的泛化才干网络的泛化才干 对于一个神经网络来说，泛化才干越强，意味着

13、经样本点训练后，对于样本点附近非样本点(即测试点)的输入，网络输出与期望输出间的误差越小。设测试点序列 ,对应的期望输出为 。CMAC输出为 , 那么可用测试点的误差平方和：itiy)(itf-PiiiytfSSE12)( 作为目的，来衡量网络整体泛化性能的优越。 越小，那么意味着网络泛化才干越强。 SSE11-4 CMAC11-4 CMAC网络的泛化才干网络的泛化才干11-4-2 CMAC11-4-2 CMAC参数对网络性能的影响参数对网络性能的影响CMAC网络的构造本身保证了对于训练样本点邻域内的测试点具有一定的泛化才干。在训练样本采样精度不变的条件下，量化精度越高，CMAC网络整体泛化性

14、能越好，但随着量化精度的提高，CMAC学习收敛要求的最小泛化常数值随之增大。在训练样本采样精度和网络量化精度坚持不变的条件下，在一定范围内，泛化常数的添加可以提高CMAC网络整体的泛化性能，但当泛化常数增大到一定程度后，它的变化不再影响网络泛化性能。在训练样本采样精度和网络量化精度坚持不变的条件下，CMAC泛化常数存在一个相对最优值，可保证样本点和测试点误差都较小。为保证CMAC收敛，应防止采用网络量化精度小于训练样本采样精度的参数配置训练网络。提高训练样本采样精度，可提高CMAC网络整体泛化性能，但同时必需保证，网络量化精度要等于或大于样本采样精度。11-4 CMAC11-4 CMAC网络的

15、泛化才干网络的泛化才干11-4-3 11-4-3 样本训练顺序对样本训练顺序对CMACCMAC网络性能的影响网络性能的影响 下面分四种情况以CMAC网络逼近复杂的“海底深度函数为例，研讨训练样本学习次序的变化对CMAC网络性能的影响。 d-) 1()2()2() 1(22227 . 02 . 1500),(yxyxeeyxf 5 , 5-x 5 , 5y- d其中 为规范差为0.05的随机误差。 将 等间距取64个点，即样本采样间隔和网络量化间距均约为0.15625, 泛化常数 取4, 物理存储单元数取400(=100 ), 最大训练次数设为500。实验选取了四种不同的训练顺序： 5 , 5-

16、x 5 , 5y-CC三种样本训练顺序三种样本训练顺序 格雷码(英文：Gray Code，又称作葛莱码，二进制循环码)是1880年由法国工程师Jean-Maurice-Emlle Baudot发明的一种编码，是一种绝对编码方式，典型格雷码是一种具有反射特性和循环特性的单步自补码，它的循环、单步特性消除了随机取数时出现艰苦误差的能够，它的反射、自补特性使得求反非常方便。函数真实值如以下图所示。 11-4 CMAC11-4 CMAC网络的泛化才干网络的泛化才干11-4-3 11-4-3 样本训练顺序对样本训练顺序对CMACCMAC网络性能的影响网络性能的影响函数真实值图先后顺序仿真图先后顺序仿真图

17、 串联顺序仿真图 格雷码顺序仿真图 (1.406)SSE (4.156)SSE (1.3526)SSE (7.9623)SSE 样本训练的顺序对小脑模型神经网络的训练结果是有影响的。训练时样本间跨度(或坐标变化)较大的那些点网络学习效果较差，因此在样本输入训练过程中，应尽量让样本按照临近且延续的顺序学习。 1 1 CMAC CMAC的逼近原理：用分段超平面，拟合非线性超曲面。的逼近原理：用分段超平面，拟合非线性超曲面。2 2 因是部分网络，每次学习调整的权数为因是部分网络，每次学习调整的权数为c c个，故学习速个，故学习速 度快，不存在部分极小。度快，不存在部分极小。3 3 泛化才干与泛化才干

18、与c c有关，有关，c c增大，泛化才干加强。相近的输入，增大，泛化才干加强。相近的输入，有相近的输出有相近的输出 在无碰撞情况下。在无碰撞情况下。4 4 决议网络性能的主要参数：泛化常数决议网络性能的主要参数：泛化常数c c；相邻输入间的；相邻输入间的重叠程度；输入的量化级。影响到逼近精度、泛化才干重叠程度；输入的量化级。影响到逼近精度、泛化才干和学习速度。和学习速度。5 5 为提高量化分辨率和泛化才干，需添加存储容量。它随为提高量化分辨率和泛化才干，需添加存储容量。它随输入维数的添加而添加。输入维数的添加而添加。11-5 CMAC11-5 CMAC网络的几个问题网络的几个问题 图 2-7-

19、3 1 次接收域函数例 （b）邻近两点输入重叠单元=3 c=4 （a）一维 c=4 6 6 高阶高阶CMACCMAC：为提高逼近精度，也可提高接纳域函数：为提高逼近精度，也可提高接纳域函数的阶次，假设以下图的阶次，假设以下图2 2为为0 0次接纳域函数，高阶次接纳域函数，高阶CMACCMAC用用1 1次次接纳域函数，见以下图。接纳域函数，见以下图。11-5 CMAC11-5 CMAC网络的几个问题网络的几个问题（1）离散化离散化)(uf)36012sin() 1()(uufufdd, 161:20:11u样本长度样本长度9（2）采用一维输入、一维输出结构的采用一维输入、一维输出结构的 CMAC

20、 逼近函数；逼近函数；（3）采用采用 c=6，邻近两点输入重叠单元，邻近两点输入重叠单元=5；（4）无碰撞，训练无碰撞，训练 10 次，结果见图；次，结果见图；（5）有碰撞，训练有碰撞，训练 10 次，结果见图。次，结果见图。可见，与无碰撞比较，收敛性态变坏，逼近样本的程度较差。可见，与无碰撞比较，收敛性态变坏，逼近样本的程度较差。例例 11-111-1 用用 CMAC 逼近函数逼近函数)360/2sin()(uufd11-6 11-6 仿真例如仿真例如CMAC 逼近sin函数例例11-1 演示Sin函数 sin 函数： uuf2sin)( 离散化)(uf： 161:20:1,360/2sin

21、)(uuufd 输入、输出样本杂散编码无冲撞杂散编码无冲撞杂散编码无冲撞：c=6 b=5 学习0次杂散编码无冲撞：c=6 b=5 学习1次杂散编码无冲撞：c=6 b=5 学习2次杂散编码无冲撞：c=6 b=5 学习3次杂散编码无冲撞：c=6 b=5 学习4次杂散编码无冲撞：c=6 b=5 学习5次杂散编码无冲撞：c=6 b=5 学习6次杂散编码无冲撞：c=6 b=5 学习7次杂散编码无冲撞：c=6 b=5 学习8次杂散编码无冲撞：c=6 b=5 学习9次杂散编码无冲撞：c=6 b=5 学习10次杂散编码无冲撞：c=6 b=5 学习10次杂散编码有冲撞杂散编码有冲撞杂散编码有冲撞：c=6 b=5

22、 学习0次杂散编码有冲撞：c=6 b=5 学习1次杂散编码有冲撞：c=6 b=5 学习2次杂散编码有冲撞：c=6 b=5 学习3次杂散编码有冲撞：c=6 b=5 学习4次杂散编码有冲撞：c=6 b=5 学习5次杂散编码有冲撞：c=6 b=5 学习6次杂散编码有冲撞：c=6 b=5 学习7次杂散编码有冲撞：c=6 b=5 学习8次杂散编码有冲撞：c=6 b=5 学习9次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有冲撞：c=6 b=5 学习10次杂散编码有、无冲撞无冲撞 输入输出样本 有冲撞无冲撞 学习0 次 有冲撞无冲撞 学习1 次 有冲撞无冲撞

23、 学习2 次 有冲撞无冲撞 学习3 次 有冲撞无冲撞 学习4 次 有冲撞无冲撞 学习5 次 有冲撞无冲撞 学习6 次 有冲撞无冲撞 学习7 次 有冲撞无冲撞 学习8 次 有冲撞无冲撞 学习9 次 有冲撞无冲撞 学习10 次 有冲撞无冲撞 学习10 次 有冲撞024680246800.20.40.60.81例例11-2 用用CMAC逼近非线性函数。逼近非线性函数。（1）离离散散化化),(yxf，见见图图（a）：82, 10,)3022sin()3012sin()2, 1()(uuuuuuffddua024680246800.511.5（2）用用 2 维输入维输入)2, 1(uuu，一维输出结构的

24、，一维输出结构的 CMAC 逼近非线性函数逼近非线性函数，输入输出样本集：输入输出样本集：811),(/pfpdppuu；（3）用用 c=6，邻近两点输入重叠单元，邻近两点输入重叠单元=5；（4）无碰撞，训练无碰撞，训练 10 次，结果见图次，结果见图（b），图），图（d）目标函数）目标函数 J；（5）有碰撞，训练有碰撞，训练 10 次，结果见图次，结果见图（c）；图）；图（e）目标函数）目标函数 J1。可见可见，J1J，与无碰撞比较，收敛性态变坏，逼近样本的程度较差。，与无碰撞比较，收敛性态变坏，逼近样本的程度较差。024680246800.511.5051000.511.522.53J051000.511.522.533.5J1b c d