绝对经典RBF神经网络

1、RBF网络特点只有一个隐层，且隐层神经元与输出层神经元的同。隐层节点激活函数为径向基函数，输出层节点激活函数为线 性函数。隐层节点激活函数的净输入是输入向量与节点中心的距离 （范数）而非向量内积，且节点中心不可调。隐层节点参数确定后，输出权值可通过解线性方程组得到。隐层节点的非线性变换把线性不可分问题转化为线性可分问 局詁逼近网络（MLP是全局逼近网络），这意味着逼近一个输 入输出映射时，在相同逼近精度要求下，RBF所需的时间要 比MLP少。具有唯一最佳逼近的特性，无局部极小。合适的隐层节点数、节点中心和宽度不易确定。2 、 rZcr2 丿3拟多二次函数:（厂0.60.40.21 <p(

2、r)0.80TO-50510ra称为基函数的扩展常数 或宽度，。越小，径向基 函数的宽度越小，基函数 就越有选择性。径向基函数（RBF）1. Gauss （高斯）函数： S（厂）=exp2.反演S型函数:。（厂）=门三、lexpJ2+ct2Y/2图5. 13种常用的径向基函数全局逼近网络雀局逼近和局部逼近1 = 1I O*当神经网络的一个或多个可 调参数（权值和阈值）对任何 一个输出都有影响，则称该 神经网络为全局逼近网络。局部逼近网络学习速度很慢，无法满足实时性要求的应用习速度快，有可能满足有实时性要求的应对网络输入空间的某个局部区域只有少数几个连接权影响网络的输出，则称SBF网络的工作原理

3、函数逼近:以任意精度逼近任一连续函数。一般函数都可表示成一组 基函数的线性组合，RBF网络相当于用隐层单元的输出构 成一组基函数，然后用输出层来进行线性组合，以完成 逼近功能。S'' 'W-W "Jh*.-,J- VipTJEf: .、d： VipTJEf亠 "<y.：ipTJEf/V.f龙宋：. >覚J解决非线性可分同题J RBF网络舟隐层单元先将非线性可 夯的输入空间设法变换到线性可分的特征空间（通常是高 维空间），然后用输出层来进行线性划分，完成分秦功能。上V亠1 <' 卫 *' A.v r “ - A A.*

4、- MT一 I、： 卫 I、"4RBF神经网络两种模型正规化网络RN通用逼近器基本思想：通过加入一个含有解的先验知识的约束来 控制映射函数的光滑性，若输入一输出映竟 函数是光滑的，则重建问题的解是连续的， 意味着相似的输入对应着相似的输出。广义网络GN模式分类基本思想： I用径向基函数作为隐单元的“基”,构成隐含 层空间。隐含层对输入向量进行变换，将低维 空间的模式变换到高维空间内，使得在低维两种模型的比较隐节点=输入样本隐节点V输入样本数所有输入样本设为径向基函数的中心径向基函数的中心由训练算法确定径向基函数取统一的扩展常珊径向基函数的扩展常数 不再统一由训练算法确员没有设置阈输出

5、函数的线性中包含阈值参数， 用于补偿基函数在样本集上的 卩均值与目标值之平均值之间的差别。函数逼近问题(内插值)一般函数都可表示成一组基函数的线性组合， RBF网络相当于用隐层单元的输出构成一组基函数, 然后用输出层来进行线性组合，以完成逼近功能。 给定样本数据P = pP2PiPq，T = tvt2-t.-tQ寻找函数，使其满足乜= F(p) i上0PPiPqF(P)1网络隐层使用Q个隐节点。|2把所有Q个样本输入分别作为Q个隐节点的中心3.各基函数取相同的扩展常数。4确定权值可解线性方程组：Q艺匕G(”， l<i<Qj=i设第丿个隐节点在第，个样本的输出为:夠=G（M -匕|）

6、可矩阵表示iDW =7；若R可逆，则解为根据Micchelli定理可得，如果隐节点激活函数采用 径向基函数，且LP2,Pq各不相同，则线性方程组 有唯一解。RBF网络输出1撼黯隔站 2、 宀冃九 r 11、E®V1-2* Ins-gr t Tools lesktcp Wxxxicw HelpAl ,電Q礬®渥貳T尿丨囲旦训练样本T=-0.9602 -0.5770 -0.0729 -0.5000 -0.3930 -0.1647 -0.3201;%以输入向量为横坐标，期figure;plot（P,W）title（训练样本J xlabelC输入矢量P）ylabel(目标矢量TJg

7、rid on%目的是找到一个函数能够; 过构建径向基函数网络另4 2 0 2 4 o o o O- - 一呱整tm+ tIIII1厂+-0.8-0.6-0.4-0.200.20.40.60.8输入矢量P2.网络设计:、设计一个径向基函数网绍;_J 易客向套神经兀，轴出虐为线性神垦兀。 p=-3:0.1:3;a=radbas(p);figure;劭間'轟基传递函数？xlabel（< 入 p'）"龙樓縣皂 2-> Flgare 3QEll§3网络测试：将网络输出和期望值随输入向殴化聽麴劇騒蠶十就可以看出网络设计是岂Figure 4叵冈lllkSSfc

8、l figure;plot(P，3； xlabelfwA1); X=-1:0.01:1; Y=sim(net,X); hold on; plot(X,Y); hold off; legend 目标丁输: grid onF ile I di t Vi e* Insert Tools Desktop Tlin&os Help0.8 p0.6 -0.4 -0.2 -02 -04 -0.6 -0.8 -1-0.8-0.6-0.4-0.200.20.40.60.81输入EtSHdl恰|头免巴毀貳|层| 画| 口分类问题关于对单层感知器的讨论可知，若N维输入样本空丽样本 模式是线性可分的，总存在一

9、个用线性方程描述的超平面, 使两类线性可分样本截然分开。若两类样本是非线性可分 的，则不存在一个这样的分类超平面。但根据Cover定理, 非线性可分问题可能通过非线性变换获得解决。Cover定理可以定性地表述为：将复杂的模式分类问题非 线性地投射到高维空间将比投射到低维空间更可能是线性 可分的低维空间：线性不可分高维空间：线性可分XOR异或XiX2X1X2000011101空间变换前110基函数心兀）II Xk -x. II2 丿2(llxU0(x) = E02 (乂)=2I x IA)I e-Ux = 1,1/U2 0,07©2 (x)£X2w02 (兀)000.1353

10、1010.36790.3679炉（兀）100.36790.3679空间变换后1110.1353RBF学习算法RBF学习的三个参数：基函数的中心心 方差（扩展常数）内 隐含层与输出层间的权值叱/%/当采用 结构时，隐节点数即样本数，基函 数的数据中心即为样本本身，参数设计只需考虑扩展常数 和输出节点的权值。当采用结构时，RBF网络的学习算法应该解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值。两种方法中心的选取1 中心从样本输入中选取maxr b三721一般来说，样本密集的地方中心点可以适当多些，样本稀疏的地方 中心点可以少些；若数据本身是均匀

11、分布的，中心点也可以均匀分 布。总乙 选出的数据中心应具有代表性。径向基函数的扩展常数 是根据数据中心的散布而确定的，为1避免每个径向基函数太尖或 太平，一种选择方法是将所有径向基函数的扩展常数设为r2中心自组织选取常采用各种动态聚类算法对数据中心进行自组织选择，左 学习过程中需对数据中心的位置进行动态调节。常用的方 法是K-meansM类,其优点是能根据各聚类主心之间的距 离确定各隐节点的扩展常数J由于RBF网的隐节点数对其 泛化能力有极大的影响，所以寻找能确定聚类数目的合理 方法，是聚类方法设计RBF网时需首先解决的问题。除聚 类算法外，还有梯度训练方法、资源分配网络(RAN)等自组织中心

12、选取法1989年，Moody和Darken提出了一种由两个阶段组成的混 合学习过程的思路。两个步骤：无监督的自组织学习阶段有监督学迓阶段1 中心学习在聚类确定数据中心的位置之前，需要先 估计中心的个数Jt从而确定了隐节点数)，一 般需要通过试验来决定。由于聚类得到的数据 中心不是样本数据X本身，因此用O)表示第n 次迭代时的中心。应用K-means聚类算法确 定数据中心的过程如下。(1) 初始化。选择介互不相同的向量作为初 始聚类中心£(0)(Z = 1,2,3,7)计算输入空间各样本点与聚类中心点的欧 式距离|xa. t .(n)| (吃=1,2,3,TV) (/ = 1,2,3,

13、/)（3）相似匹配。令厂代表竞争获胜隐节点的下 标，对每一个输入样本勒根据其与聚类中 心的最小欧式距离确定其归类厲），即当 厂（乙）=呷|区仆）|时,幼被归为第i*类,从 而将全部样本划分为八子集5 gU2）,S（H） 每个子集构成一个以聚类中心为典型代表 的聚类域。(4) 更新各类的聚类中心。釆用竞争学习规 则进行调整tin) + T1Xk-("+ 1)=(兀人将n值加1,转到第步。重复上述过程直到。2确定扩展常数臥=空各聚类中心确定后，可根据各中心之间的距 离确定对应径向基函数的扩展常数。令dt = min |r tp |则扩展常数可或为免为重叠系数3学习权值叫(, = 12/丿

14、二1A!奇异矩阵或非方阵的矩阵不存在逆矩阵，若XAX=A，AXA=X 贝 UX 称为A的伪逆阵。在matlab审闻pinv (A)求伪逆用LM»用u权值的学习可以用LMS学习算法 注意：LMS算法的输入为RBF网络隐含层的输出RBF网络输出层的神经元只是对隐含层 神经元的输出加权和。(n)ne(n丿 J d J 川aa 力为期望响应。+是矩阵O的伪逆 伪逆的求法G+ =(GTGGTG =仇有监督选取中心算法RBF中心以及网络的其他自由参数都是通过有监督的学 习来确定，以单输出的RBF为例1 “N是训练样本的个数定义目标函数丄工e；2 k=误差信号 ek=dk- Yk（X J =心寻求

15、网络的自由参数G w门巧1 （与中心G有关）使目标 函数龜到最小1 输出层权值叱k = 叱(h + 1)=叱S) + Avv,.(n)=叱(n)-77, dE M2 隐含层RBF中心耳少;=2wz S）艺 ek SX7 （|兀珀）s,1 （x 比t, S）OE（n） dE（n） dek （n） 乙 （ 乳而=E 花而一为务S） °k=弘+ l) = r")-% 寫心1,2,/3隐含层RBF的扩展庄dE（N）=-叱)艺务S)G'Qx« -t.(nk=ly+i)=w：s%y+i)=w：s%其中G（）是G（的导数aS) = g -Js)Xx& Js)yy+i)=w：s%砒=3E6 =dE -n Aw?=dEU dujj=可等为MOI思一勺II"X«=1pCj =耳器|>G( II Xi巧 | XX=甲另 e,G(J| Xi c； | ) Ml三随机选取中心法条件：典型的训练样本，隐含单元的中心是随机的在输入个:样