《神经网络基本理论》ppt课件

1、第四章第四章 神经网络根本实际神经网络根本实际College of Electrical and Information Engineering, Hunan Univ.24.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的假设干根本特性的笼统和模拟。人工神经元是对人或其它生物的神经元细胞的假设干根本特性的笼统和模拟。 n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突担任传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突担任传入和传出信息，兴奋性的激动沿树突抵达细胞体，在细胞膜上累积构成兴奋性电位；信息，兴奋性的激动沿树突抵达

2、细胞体，在细胞膜上累积构成兴奋性电位；相反，抑制性激动到达细胞膜那么构成抑制性电位。两种电位进展累加，相反，抑制性激动到达细胞膜那么构成抑制性电位。两种电位进展累加，假设代数和超越某个阈值，神经元将产生激动。假设代数和超越某个阈值，神经元将产生激动。 College of Electrical and Information Engineering, Hunan Univ.34.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模拟生物神经元产生激动的过程，可以建立一个典型的人工神经元数学模型模拟生物神经元产生激动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，

3、为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。 Wi为神经元与其为神经元与其它神经元的衔接强度，也称权值。它神经元的衔接强度，也称权值。College of Electrical and Information Engineering, Hunan Univ.44.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类 ：1阈值型函数阈值型函数0 x00 x1f(x)0 x10 x1f(x)College of Electrical and Information Engineering, Hunan Univ.54.1 人工神经元模型人工神

4、经元模型2饱和型函数饱和型函数k1x1k1xk1kxk1x1f(x)3双曲函数双曲函数arctan(x)f(x)College of Electrical and Information Engineering, Hunan Univ.64.1 人工神经元模型人工神经元模型4S型函数型函数0,x)exp(11f(x)5高斯函数高斯函数)bxexp(f(x)22College of Electrical and Information Engineering, Hunan Univ.74.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，经过广泛地相互衔接而构成的复杂网

5、络系神经网络系统是由大量的神经元，经过广泛地相互衔接而构成的复杂网络系统。统。n 定义定义n 特点特点1非线性映射逼近才干。恣意的延续非线性函数映射关系可由多层神经网络以恣非线性映射逼近才干。恣意的延续非线性函数映射关系可由多层神经网络以恣意精度加以逼近。意精度加以逼近。2自顺应性和自组织性。神经元之间的衔接具有多样性，各神经元之间的衔接强自顺应性和自组织性。神经元之间的衔接具有多样性，各神经元之间的衔接强度具有可塑性，网络可以经过学习与训练进展自组织，以顺应不同信息处置的要求。度具有可塑性，网络可以经过学习与训练进展自组织，以顺应不同信息处置的要求。3 并行处置性。网络的各单元可以同时进展类

6、似的处置过程，整个网络的信息处并行处置性。网络的各单元可以同时进展类似的处置过程，整个网络的信息处置方式是大规模并行的，可以大大加快对信息处置的速度。置方式是大规模并行的，可以大大加快对信息处置的速度。4分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丧失仍可以使完好的信息得到恢复，因此使网络具有容错性和联想记忆功部分的信息丧失仍可以使完好的信息得到恢

7、复，因此使网络具有容错性和联想记忆功能。能。5便于集成实现和计算模拟。神经网络在构造上是一样神经元的大规模组合，特便于集成实现和计算模拟。神经网络在构造上是一样神经元的大规模组合，特别适宜于用大规模集成电路实现。别适宜于用大规模集成电路实现。 College of Electrical and Information Engineering, Hunan Univ.84.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有单年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。层计算单元的神

8、经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否那么为0或-1。l它的权系W可变，这样它就可以学习。 n感知器的构造感知器的构造College of Electrical and Information Engineering, Hunan Univ.94.3 感知器模型感知器模型n感知器的学习算法感知器的学习算法为方便起见，将阈值为方便起见，将阈值(它也同样需求学习它也同样需求学习)并入并入W中，令中，令Wn+1=-，X向量也向量也相应地添加一个分量相应地添加一个分量xn+1=1，那么，那么1n1iii)xWf(y学习算法：学习算法： 给

9、定初始值：赋给给定初始值：赋给Wi(0)各一个较小的随机非零值，这里各一个较小的随机非零值，这里Wi(t)为为t时辰第时辰第i个个输入的权输入的权(1in)，Wn+1(t)为为t时辰的阈值；时辰的阈值； 输入一样本输入一样本X=(xi,xn,1)和它的希望输出和它的希望输出d； 计算实践输出计算实践输出1n1iii)(t)xWf(Y(t) 修正权修正权W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 转到直到转到直到W对一切样本均稳定不变为止。对一切样本均稳定不变为止。 College of Electrical and Information Engineering

10、, Hunan Univ.104.3 感知器模型感知器模型根据某样本训练时，均方差随训练次数的收敛情况根据某样本训练时，均方差随训练次数的收敛情况College of Electrical and Information Engineering, Hunan Univ.114.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络经过一组形状方程和一组学习方程加模型可以看出神经网络经过一组形状方程和一组学习方程加以描画。以描画。l 形状方程描画每个神经元的输入、输出、权值间的函数关系。形状方程描画每个神经元的输入、输出、权值间的函数关系。l

11、学习方程描画权值应该怎样修正。神经网络经过修正这些权值来进展学习，学习方程描画权值应该怎样修正。神经网络经过修正这些权值来进展学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。 n分类分类 1从构造上划分从构造上划分 通常所说的网络构造，主要是指它的联接方式。神经网络从拓扑构造通常所说的网络构造，主要是指它的联接方式。神经网络从拓扑构造上来说，主要分为层状和网状构造。上来说，主要分为层状和网状构造。 College of Electrical and Information Engineering, Hunan Univ.124.4 神经网络的构成和分类神经网络的构

12、成和分类层状构造：网络由假设干层组成，每层中有一定数量的神经元，相邻层中神层状构造：网络由假设干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，普通同层内神经元不能联接。经元单向联接，普通同层内神经元不能联接。前向网络：只需前后相邻两层之间神经元相互联接，各神经元之间没有反响。前向网络：只需前后相邻两层之间神经元相互联接，各神经元之间没有反响。每个神经元从前一层接纳输入，发送输出给下一层。每个神经元从前一层接纳输入，发送输出给下一层。 College of Electrical and Information Engineering, Hunan Univ.134.4 神经网络的构成

13、和分类神经网络的构成和分类网状构造：网络中任何两个神经元之间都能够双向联接。网状构造：网络中任何两个神经元之间都能够双向联接。反响网络：从输出层到输入层有反响，反响网络：从输出层到输入层有反响，每一个神经元同时接纳外来输入和来自其每一个神经元同时接纳外来输入和来自其它神经元的反响输入，其中包括神经元输它神经元的反响输入，其中包括神经元输出信号引回本身输入的自环反响。出信号引回本身输入的自环反响。 混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。College of Electrical and Information Engineerin

14、g, Hunan Univ.144.4 神经网络的构成和分类神经网络的构成和分类2从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 3从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进展训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进展训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。有导师学习神经网络有导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数

15、据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。 4从学习算法上来划分：从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。College of Electrical and Information Engineering, Hunan Univ.154.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进展开展。再次进展开展。 n 多

16、层前向神经网络的构造多层前向神经网络的构造多层前向神经网络由输入层、隐层不少于多层前向神经网络由输入层、隐层不少于1层、输出层组成，信号沿层、输出层组成，信号沿输入输入输出的方向逐层传送。输出的方向逐层传送。 College of Electrical and Information Engineering, Hunan Univ.164.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的形状方程，用沿信息的传播方向，给出网络的形状方程，用Inj(i)， Outj(i)表示第表示第i层第层第j个神个神经元的输入和输出，那么各层的输入输出关系可描画为：经元的输入和输出，那么各层

17、的输入输出关系可描画为： 第一层输入层：将输入引入网络第一层输入层：将输入引入网络 iiixInOut) 1 () 1 (ni, 2 , 1第二层隐层第二层隐层niiijjOutwIn1) 1 () 1 ()2()()2()2(jjInfOutlj, 2 , 1第三层输出层第三层输出层 ljjjOutwInOuty1)2()2()3()3(College of Electrical and Information Engineering, Hunan Univ.174.4 多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的根本思想是：误差反传算法调整网络的权值，使网络的实践输出

18、尽能学习的根本思想是：误差反传算法调整网络的权值，使网络的实践输出尽能够接近期望的输出。够接近期望的输出。 MkyXkk, 2 , 1),(TknkkkxxxX,21假设有假设有M个样本个样本: 将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 ky定义学习的目的函数为定义学习的目的函数为 ：MkkkyyJ12)(21College of Electrical and Information Engineering, Hunan Univ.184.4 多层前向多层前向BP神经网络神经网络为使目的函数最小，训练算法是：为使目的函数最小，训练算法是：)()() 1(t

19、wJtwtw)()() 1()2(1)2()2(twJtwtwjjj)()() 1() 1 (2) 1 () 1 (twJtwtwijijij令令 2)(21kkkyyJ那那么么MkkwJwJ1)2()2()2()(jkkjkkkjkOutyywyyJwJ) 1 ()2() 1 ()2()2()2()2() 1 ()(ijkkijjjjjkkkijkOutfwyywininoutoutyyJwJ College of Electrical and Information Engineering, Hunan Univ.194.4 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：1依

20、次取第依次取第k组样本组样本 MkyXkk, 2 , 1),(，将，将Xk输入网络。输入网络。2依次计算依次计算 MkkkyyJ12)(21，假设，假设 J，退出。，退出。3计算计算wJk4计算计算MkkwJwJ15)()() 1(twJtwtw，修正权值，前往，修正权值，前往1 假设样本数少，那么学习知识不够；假设样本多，那么需计算更多的假设样本数少，那么学习知识不够；假设样本多，那么需计算更多的dJk/dw, ，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调整权值。，调整权值。 Colleg

21、e of Electrical and Information Engineering, Hunan Univ.20例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络构造：网络构造：College of Electrical and Information Engineering, Hunan Univ.21网络输入输出关系：网络输入输出关系：)(2iiiizfwy)exp(11)(iiiizzfiiixwz1需训练的量：需训练的量：iiiiww,21Colle

22、ge of Electrical and Information Engineering, Hunan Univ.22训练算法：训练算法：515125122)()(kiikikkkkikizfkewyyJwJwJ51221515111)()exp()()()(kiiiiiiiiiiikiikkkkikixzfzwkewzzzfzfyyJwJwJ51225151)()exp()()()(kiiiiiiiiikiikkkkikizfzzwkezfzfyyJJJ51225151)()exp()()()(kiiiiiiiiiiikiikkkkikizfzwkezzzfzfyyJJJ25151251)(

23、)( (2121kykyeJJkkkkkCollege of Electrical and Information Engineering, Hunan Univ.231111iiiwJww2222iiiwJwwiiiJ3iiiJ4训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;College of Electrical and Information Eng

24、ineering, Hunan Univ.24训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;College of Electrical and Information Engineering, Hunan Univ.25训练训练1000次目的函数的变化曲线：次目的函数的变化曲线：College

25、of Electrical and Information Engineering, Hunan Univ.26训练终了后神经网络的输出与样本的拟和情况训练终了后神经网络的输出与样本的拟和情况College of Electrical and Information Engineering, Hunan Univ.274.4 多层前向多层前向BP神经网络神经网络n前向网络进一步需研讨的问题前向网络进一步需研讨的问题 部分最优问题，网络初值选取不恰当。部分最优问题，网络初值选取不恰当。学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而B

26、P算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络的运转是单向传播，没有反响，是一个非浅性映射，而不是非网络的运转是单向传播，没有反响，是一个非浅性映射，而不是非浅性动力系统。浅性动力系统。网络隐层节点个数和初始权值的选取，尚无实际指点。网络隐层节点个数和初始权值的选取，尚无实际指点。 College of Electrical and Information Engineering, Hunan Univ.284.5 大脑自组织神经网络大脑自组织神经网络 是一种无导师学习的网络是一种无导师学习的网络脑神经科学研讨阐明：传送觉得的神经元陈列是按某种规律有序进展的，这

27、种脑神经科学研讨阐明：传送觉得的神经元陈列是按某种规律有序进展的，这种陈列往往反映所感受的外部刺激的某些物理特征。陈列往往反映所感受的外部刺激的某些物理特征。 大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的方式具有不同的呼应特征，即不同的神经元以最正确方式呼应不同性质不同的方式具有不同的呼应特征，即不同的神经元以最正确方式呼应不同性质的信号鼓励，从而构成一种拓扑意义上的有序陈列的信号鼓励，从而构成一种拓扑意义上的有序陈列 在这种网络中，输出节点与其邻域其他节点在这种网络中，输出节点与其邻域其他节点广

28、泛相连，并相互鼓励。输入节点和输出节广泛相连，并相互鼓励。输入节点和输出节点之间经过强度点之间经过强度wij(t)相衔接。经过某种规那相衔接。经过某种规那么，不断地调整么，不断地调整wij(t)，使得在稳定时，每一，使得在稳定时，每一邻域的一切节点对某种输入具有类似的输出，邻域的一切节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入方式的概率并且这种聚类的概率分布与输入方式的概率分布相接近。分布相接近。 College of Electrical and Information Engineering, Hunan Univ.294.5 大脑自组织神经网络大脑自组织神经网络自组织学习算

29、法：自组织学习算法：权值初始化并选定领域的大小；权值初始化并选定领域的大小；(2) 输入方式；输入方式； (3) 计算空间间隔计算空间间隔102)()(Niijijtwtxd式中式中xi(t)是是t时辰时辰i节点的输入，节点的输入，wij(t)是输入节点是输入节点i与输出节点与输出节点j 的衔接的衔接强度，强度，N为输入节点的数目；为输入节点的数目； (4) 选择节点选择节点j*，它满足，它满足jjdmin(5) 按下式改动按下式改动j*和其领域节点的衔接强度和其领域节点的衔接强度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的领域，的领域，0iN-1 式中式中

30、(t)称之为衰减因子。称之为衰减因子。 (6) 前往到第前往到第(2)步，直至满足步，直至满足xi(t)- wij(t)2(为给定的误差为给定的误差)。 College of Electrical and Information Engineering, Hunan Univ.304.5 大脑自组织神经网络大脑自组织神经网络例例4.2 大脑自组织网络的训练大脑自组织网络的训练输入方式：输入方式：Xx1,x2,x3网络节点数量：网络节点数量：9 邻域：邻域：1网络初始权值：网络初始权值：W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4

31、608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;College of Electrical and Information Engineering, Hunan Univ.314.5 大脑自组织神经网络大脑自组织神经网络1. 单方式训练情况单方式训练情况输入为：输入为：X=0 0 1结果：结果：W= 0.1122 0.0000 0.0000 0.0000 0.9028 0

32、.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：输入为：X=0 1 0结果：结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000

33、 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000College of Electrical and Information Engineering, Hunan Univ.324.5 大脑自组织神经网络大脑自组织神经网络2. 多方式训练情况多方式训练情况1 0 00 1 00 0 1Input=训练结果：训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000

34、 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：网络输出：Output=Input*W=0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000方式方式1

35、方式方式2方式方式3方式方式2方式方式1方式方式3方式方式1方式方式2方式方式3College of Electrical and Information Engineering, Hunan Univ.334.6 小脑神经网络小脑神经网络小脑模型关节控制器小脑模型关节控制器CMAC是由是由Albus最初于最初于1975年基于神经生理学提出年基于神经生理学提出的，它是一种基于部分逼近的简单快速的神经网络，可以学习恣意多维非线性的，它是一种基于部分逼近的简单快速的神经网络，可以学习恣意多维非线性映射映射, 迄今已广泛用于许多领域。迄今已广泛用于许多领域。CMAC具有优点：具有优点：具有部分逼近才

36、干，每次修正的权值极少，学习速度快，适宜于在线学具有部分逼近才干，每次修正的权值极少，学习速度快，适宜于在线学习；习；一定的泛化才干，相近输入给出相近输出，不同输入给出不同输出；一定的泛化才干，相近输入给出相近输出，不同输入给出不同输出；College of Electrical and Information Engineering, Hunan Univ.344.6 小脑神经网络小脑神经网络nCMAC的原理的原理CMAC是一种模拟人类小脑的学习构造。在这种技术里，每个形状变量被量化并且输入是一种模拟人类小脑的学习构造。在这种技术里，每个形状变量被量化并且输入空间被划分成离散形状。量化的输入

37、构成的向量指定了一个离散形状并且被用于产生地空间被划分成离散形状。量化的输入构成的向量指定了一个离散形状并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个形状的信息。址来激活联想单元中存储的联想强度从而恢复这个形状的信息。对于输入空间大的情况，联想单元数量宏大，为了节省存储空间，对于输入空间大的情况，联想单元数量宏大，为了节省存储空间，Albus提出了提出了hash编编码，将联想强度存于数量大大少于联想单元的码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储单元中，联想单元中只存储hash单单元的散列地址编码元的散列地址编码状态空间联想单元hash单元加法器输出

38、输入空间状态划分College of Electrical and Information Engineering, Hunan Univ.354.6 小脑神经网络小脑神经网络n CMAC的空间划分和量化机制的空间划分和量化机制超立方体联想单元“块1234876510912341234111213141516ABCDEFbacdef量化的第1 种方式量化的第2 种方式量化的第3 种方式量化的第1 种方式量化的第2 种方式量化的第3 种方式College of Electrical and Information Engineering, Hunan Univ.364.6 小脑神经网络小脑神经网

39、络nCMAC学习的数学推导学习的数学推导1)无无hash映射的映射的CMAC在在CMAC中，每个量化的形状对应中，每个量化的形状对应Ne个联想单元。假设个联想单元。假设Nh是总的联想单元是总的联想单元的数量，该数量与没有的数量，该数量与没有hash映射时的物理存储空间大小一致。用映射时的物理存储空间大小一致。用CMAC技技术，第术，第s个形状对应的输出数据个形状对应的输出数据ys可以被表示为：可以被表示为： hhhNjjjsNNsssTssccccWCy1,21,2 ,1 ,式中式中W是代表存储内容联想强度的向量，是代表存储内容联想强度的向量，Cs是存储单元激活向量，该向是存储单元激活向量，该

40、向量包含量包含Ne个个1。在决议了空间的划分方式后，对于指定的形状，单元激活向。在决议了空间的划分方式后，对于指定的形状，单元激活向量量Cs也随之确定。也随之确定。 College of Electrical and Information Engineering, Hunan Univ.374.6 小脑神经网络小脑神经网络2)有有hash映射的映射的CMAC hash映射将几个联想单元和一个物理存储位置映射将几个联想单元和一个物理存储位置(hash单元单元)相对应。相对应。hash单元单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储中存储联想强度，而此时的联想单元是虚拟的存储空间

41、，只存储hash单元的单元的散列地址编码。有散列地址编码。有hash映射的映射的CMAC特别适用于存储空间小于超立方体数量特别适用于存储空间小于超立方体数量时的情况。用有时的情况。用有hash映射的映射的CMAC技术，第技术，第s个形状对应的输出数据个形状对应的输出数据ys可以被可以被表示为：表示为： pphhphMMNNMNsssTsshhhhcccHWCy21,1 , 111,2 ,1 ,式中式中Mp是是hash单元的数量，它小于联想单元数单元的数量，它小于联想单元数Nh。hij=1表示联想单元表示联想单元i激激活活hash单元单元j。由于每个联想单元仅仅和一个。由于每个联想单元仅仅和一个

42、hash单元相对应，所以单元相对应，所以hash矩矩阵阵H的每一行仅有一个单元等于的每一行仅有一个单元等于1，其他的都等于，其他的都等于0。 College of Electrical and Information Engineering, Hunan Univ.384.6 小脑神经网络小脑神经网络WaaaWAyhNsssTss ,2 ,1 , 没有没有hash映射的公式和有映射的公式和有hash映射的公式可以合并为一个式子：映射的公式可以合并为一个式子： 映射有映射无hash hash HCCATsTsTsnCMAC的学习的学习CMAC用迭代算法来训练联想强度。在学习中，我们将用迭代算法来

43、训练联想强度。在学习中，我们将Ns个训练数据反复个训练数据反复用于学习。在第用于学习。在第i次迭代中用第次迭代中用第s个样本学习的迭代算法为：个样本学习的迭代算法为： )()(1111)(1)(1)(1)(isTssseisisisisWAyANWWWW S：样本数i：迭代次数：学习率期望输出College of Electrical and Information Engineering, Hunan Univ.394.6 小脑神经网络小脑神经网络College of Electrical and Information Engineering, Hunan Univ.404.6 小脑神经网

44、络小脑神经网络例例4.3 CMAC训练训练样本：样本：SampleInput1=0.05 0.15 0.25 0.35 ;SampleInput2=0.05 0.15 0.25 0.35 ;SampleOutput=4 4 4 4;2 2 2 2; 3 3 3 3; 1 1 1 1;量化：两输入均量化为四个元素量化：两输入均量化为四个元素 if x10 & x10.1 & x10.2 & x10.3 & x1=0.4 indexX1=4; endCollege of Electrical and Information Engineering, Hunan Un

45、iv.414.6 小脑神经网络小脑神经网络形状编号：形状编号：MSTATENUM=1 2 3 45 6 7 89 10 11 1213 14 15 16激活向量矩阵：激活向量矩阵： 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0

46、 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1MC=College of Electrical and Information Engineering, Hunan Univ.424.6 小脑神经网络小脑神经网络联想强度初始值：联想强度初始值： Weight=rand(12,1);学习率：学习率：

47、 learningRate=0.005;训练训练2000次，均方差结果：次，均方差结果：训练训练2000次，联想强度：次，联想强度： 2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.2092College of Electrical and Information Engineering, Hunan Univ.434.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：College of Electrical and Information Engineering, Hunan Univ.444.6 小脑神经网络小脑神经网络样本样本2：SampleInput1=0.05 0.15 0.25 0.35 ;SampleInput2=0.05 0.15 0.25 0.35 ;SampleOutput=4 4 4 4;2 2 2 2; 3 3 2 2; 1 1 1 1; 1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577联想强度结果：联想强度结