神经网络基本理论王耀楠智能控制.ppt

第四章 神经网络基本理论 College of Electrical and Information Engineering, Hunan Univ.2 4.1 人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。 n生物神经元模型 生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出 信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位 ；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加， 若代数和超过某个阈值，神经元将产生冲动。 College of Electrical and Information Engineering, Hunan Univ.3 4.1 人工神经元模型 n人工神经元模型 模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型 x1,xnT为输入向量，y为输出，f()为激发函数，为阈值。 Wi为神经元与其它 神经元的连接强度，也称权值。 College of Electrical and Information Engineering, Hunan Univ.4 4.1 人工神经元模型 常用的激发函数f 的种类 ： 1）阈值型函数 College of Electrical and Information Engineering, Hunan Univ.5 4.1 人工神经元模型 2）饱和型函数 3）双曲函数 College of Electrical and Information Engineering, Hunan Univ.6 4.1 人工神经元模型 4）S型函数 5）高斯函数 College of Electrical and Information Engineering, Hunan Univ.7 4.2 神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系 统。 n 定义 n 特点 （1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以 任意精度加以逼近。 （2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接 强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求 。 （3） 并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息处 理方式是大规模并行的，可以大大加快对信息处理的速度。 （4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而 且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用， 部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功 能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合， 特别适合于用大规模集成电路实现。 College of Electrical and Information Engineering, Hunan Univ.8 4.3 感知器模型 感知器(Perceptron)是由美国学者F.Rosenblatt于1957年提出的，它是一个具有单 层计算单元的神经网络，并由线性阈值元件组成。 l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否 则为0或-1。 l它的权系W可变，这样它就可以学习。 n感知器的结构 College of Electrical and Information Engineering, Hunan Univ.9 4.3 感知器模型 n感知器的学习算法 为为方便起见见，将阈值阈值 (它也同样样需要学习习)并入W中，令Wn+1=-，X向量也相 应应地增加一个分量xn+1=1，则则 学习算法： 给给定初始值值：赋给赋给 Wi(0)各一个较较小的随机非零值值，这这里Wi(t)为为t时时刻第i个 输输入的权权(1in)，Wn+1(t)为为t时时刻的阈值阈值 ； 输输入一样样本X=(xi,xn,1)和它的希望输输出d； 计计算实际输实际输 出 修正权权W ： Wi(t+1)=Wi(t)+d-Y(t)xi, i=1,2,n+1 转转到直到W对对一切样样本均稳稳定不变为变为 止。 College of Electrical and Information Engineering, Hunan Univ.10 4.3 感知器模型 根据某样本训练时，均方差随训练次数的收敛情况 College of Electrical and Information Engineering, Hunan Univ.11 4.4 神经网络的构成和分类 n 构成 l 从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加 以描述。 l 状态方程描述每个神经元的输入、输出、权值间的函数关系。 l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习 ，从而调整整个神经网络的输入输出关系。 n分类 （1）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构 上来说，主要分为层状和网状结构。 College of Electrical and Information Engineering, Hunan Univ.12 4.4 神经网络的构成和分类 层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元 单向联接，一般同层内神经元不能联接。 前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每 个神经元从前一层接收输入，发送输出给下一层。 College of Electrical and Information Engineering, Hunan Univ.13 4.4 神经网络的构成和分类 网状结构：网络中任何两个神经元之间都可能双向联接。 反馈网络：从输出层到输入层有反馈，每 一个神经元同时接收外来输入和来自其它 神经元的反馈输入，其中包括神经元输出 信号引回自身输入的自环反馈。 混合型网络：前向网络的同一层神经 元之间有互联的网络。 College of Electrical and Information Engineering, Hunan Univ.14 4.4 神经网络的构成和分类 （2）从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等 （3）从网络的学习方式上划分 有导师学习神经网络 为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼 近样本数据的输入输出关系。 有导师学习神经网络 不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提 取出来。 （4）从学习算法上来划分： 基于BP算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络 、基于遗传算法的网络。 College of Electrical and Information Engineering, Hunan Univ.15 4.4 多层前向BP神经网络 最早由werbos在1974年提出的，1985年由Rumelhart再次进行发展。 n 多层前向神经网络的结构 多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿输 入输出的方向逐层传递。 College of Electrical and Information Engineering, Hunan Univ.16 4.4 多层前向BP神经网络 沿信息的传播方向，给出网络的状态方程，用Inj(i)， Outj(i)表示第i层第j个神经元 的输入和输出，则各层的输入输出关系可描述为： 第一层（输入层）：将输入引入网络 第二层（隐层） 第三层（输出层） College of Electrical and Information Engineering, Hunan Univ.17 4.4 多层前向BP神经网络 n网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可 能接近期望的输出。 假设有M个样本: 将第k个样本Xk输入网络，得到的网络输出为 定义学习的目标函数为 ： College of Electrical and Information Engineering, Hunan Univ.18 4.4 多层前向BP神经网络 为使目标函数最小，训练算法是： 令 则 College of Electrical and Information Engineering, Hunan Univ.19 4.4 多层前向BP神经网络 学习的步骤： （1）依次取第k组样本 ，将Xk输入网络。 （2）依次计算 ，如果 ，退出。 （3）计计算 （4）计计算 （5） ，修正权值权值 ，返回（1） 如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw, ，训练 时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw, ，调 整权值。 College of Electrical and Information Engineering, Hunan Univ.20 例4.1 多层前向BP网络训练 训练样本SISO： SampleInput=0 0.1 0.2 0.3 0.4; SampleOutput=4 2 2 2 2; 网络结构： College of Electrical and Information Engineering, Hunan Univ.21 网络输入输出关系： 需训练的量： College of Electrical and Information Engineering, Hunan Univ.22 训练算法： College of Electrical and Information Engineering, Hunan Univ.23 训练初始参数： W1=rand(1,5); W2=rand(1,5); theta=rand(1,5); beta=rand(1,5); LearningRate1=0.2; LearningRate2=0.4; LearningRate3=0.2; LearningRate4=0.2; College of Electrical and Information Engineering, Hunan Univ.24 训练后参数： W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916; W2=0.6245 2.8382 0.6632 0.5783 3.5775; Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858; Theta=1.5832 0.1900 1.5406 1.6665 -0.1441; College of Electrical and Information Engineering, Hunan Univ.25 训练1000次目标函数的变化曲线： College of Electrical and Information Engineering, Hunan Univ.26 训练结束后神经网络的输出与样本的拟和情况 College of Electrical and Information Engineering, Hunan Univ.27 4.4 多层前向BP神经网络 n前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。 学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而BP 算法只用了一次导数，致使收敛速度慢。 网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非 浅性动力系统。 网络隐层节点个数和初始权值的选取，尚无理论指导。 College of Electrical and Information Engineering, Hunan Univ.28 4.5 大脑自组织神经网络 是一种无导师学习的网络 脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种 排列往往反映所感受的外部刺激的某些物理特征。 大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对 不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的 信号激励，从而形成一种拓扑意义上的有序排列 在这这种网络络中，输输出节节点与其邻邻域其他节节点 广泛相连连，并互相激励。输输入节节点和输输出节节 点之间间通过过强度wij(t)相连连接。通过过某种规则规则 ，不断地调调整wij(t)，使得在稳稳定时时，每一邻邻 域的所有节节点对对某种输输入具有类类似的输输出， 并且这这种聚类类的概率分布与输输入模式的概率 分布相接近。 College of Electrical and Information Engineering, Hunan Univ.29 4.5 大脑自组织神经网络 自组织学习算法： (1) 权值权值 初始化并选选定领领域的大小； (2) 输输入模式； (3) 计计算空间间距离 式中xi(t)是t时时刻i节节点的输输入，wij(t)是输输入节节点i与输输出节节点j 的连连接 强度，N为输为输 入节节点的数目； (4) 选择节选择节 点j*，它满满足 (5) 按下式改变变j*和其领领域节节点的连连接强度 wij(t+1)= wij(t)+(t)xi(t)- wij(t), jj*的领领域，0iN-1 式中(t)称之为为衰减因子。 (6) 返回到第(2)步，直至满满足xi(t)- wij(t)2(为给为给 定的误误差)。 College of Electrical and Information Engineering, Hunan Univ.30 4.5 大脑自组织神经网络 例4.2 大脑自组织网络的训练 输入模式：Xx1,x2,x3 网络节点数量：9 邻域：1 网络初始权值： W= 0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025; College of Electrical and Information Engineering, Hunan Univ.31 4.5 大脑自组织神经网络 1. 单模式训练情况 输入为：X=0 0 1 结果： W= 0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025 输入为：X=0 1 0 结果： W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000 College of Electrical and Information Engineering, Hunan Univ.32 4.5 大脑自组织神经网络 2. 多模式训练情况 1 0 0 0 1 0 0 0 1 Input= 训练结果： 0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 W 网络输出： Output=Input*W= 0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 模式1 模式2 模式3 模式2模式1模式3 模式1 模式2 模式3 College of Electrical and Information Engineering, Hunan Univ.33 4.6 小脑神经网络 小脑模型关节控制器（CMAC）是由Albus最初于1975年基于神经生理学提出 的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性 映射, 迄今已广泛用于许多领域。 CMAC具有优点： n 具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线 学习； n 一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出； College of Electrical and Information Engineering, Hunan Univ.34 4.6 小脑神经网络 nCMAC的原理 CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入 空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地 址来激活联想单元中存储的联想强度从而恢复这个状态的信息。 对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了hash编 码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储hash单元 的散列地址编码 College of Electrical and Information Engineering, Hunan Univ.35 4.6 小脑神经网络 n CMAC的空间划分和量化机制 超立方体 联想单元 “块” College of Electrical and Information Engineering, Hunan Univ.36 4.6 小脑神经网络 nCMAC学习的数学推导 1)无hash映射的CMAC 在CMAC中，每个量化的状态对应态对应 Ne个联联想单单元。假设设Nh是总总的联联想单单 元的数量，该该数量与没有hash映射时时的物理存储储空间间大小一致。用CMAC 技术术，第s个状态对应态对应 的输输出数据ys可以被表示为为： 式中W是代表存储储内容（联联想强度）的向量，Cs是存储单储单 元激活向量，该该向 量包含Ne个1。在决定了空间间的划分方式后，对对于指定的状态态，单单元激活向 量Cs也随之确定。 College of Electrical and Information Engineering, Hunan Univ.37 4.6 小脑神经网络 2)有hash映射的CMAC hash映射将几个联想单元和一个物理存储位置(hash单元)相对应。hash单元 中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的 散列地址编码。有hash映射的CMAC特别适用于存储空间小于超立方体数量 时的情况。用有hash映射的CMAC技术，第s个状态对应的输出数据ys可以被 表示为： 式中Mp是hash单单元的数量，它小于联联想单单元数Nh。hij=1表示联联想单单元i激 活hash单单元j。由于每个联联想单单元仅仅仅仅 和一个hash单单元相对应对应 ，所以hash 矩阵阵H的每一行仅仅有一个单单元等于1，其余的都等于0。 College of Electrical and Information Engineering, Hunan Univ.38 4.6 小脑神经网络 没有hash映射的公式和有hash映射的公式可以合并为一个式子： nCMAC的学习 CMAC用迭代算法来训练联训练联 想强度。在学习习中，我们们将Ns个训练训练 数据重复 用于学习习。在第i次迭代中用第s个样样本学习习的迭代算法为为： S：样本数 i：迭代次数：学习率 期望输出 College of Electrical and Information Engineering, Hunan Univ.39 4.6 小脑神经网络 College of Electrical and Information Engineering, Hunan Univ.40 4.6 小脑神经网络 例4.3 CMAC训练 样本： SampleInput1=0.05 0.15 0.25 0.35 ; SampleInput2=0.05 0.15 0.25 0.35 ; SampleOutput=4 4 4 4;2 2 2 2; 3 3 3 3; 1 1 1 1; 量化：两输入均量化为四个元素 if x10 end College of Electrical and Information Engineering, Hunan Univ.41 4.6 小脑神经网络 状态编号： MSTATENUM= 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 激活向量矩阵： 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 MC= College of Electrical and Information Engineering, Hunan Univ.42 4.6 小脑神经网络 联想强度初始值： Weight=rand(12,1);学习率： learningRate=0.005; 训练2000次，均方差结果： 训练2000次，联想强度： 2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.2092 College of Electrical and Information Engineering, Hunan Univ.43 4.6 小脑神经网络 输出跟踪结果： College of Electrical and Information Engineering, Hunan Univ.44 4.6 小脑神经网络 样本2： SampleInput1=0.05 0.15 0.25 0.35 ; Sample