径向基函数网络解读

1 第四章径向基函数网络Radial BasisFunctionNetworks 2 BP多层前馈网络是应用极为广泛的模型 但是其学习算法具有计算量大 学习速度慢等缺点 径向基函数 RadialBasisFunction RBF 理论为多层前馈网络的学习提供了一种新颖而有效的手段 RBF网络不仅具有良好的推广能力 而且计算量小 速度快 和小波基函数神经网络 样条函数神经网络 正交函数神经网络类似 RBF网络属于核函数模型类 一 概述 3 Inputlayer Nonlineartransformationlayer generateslocalreceptivefields Linearoutputlayer 一 概述 和MLP BP网络类似 RBF网络是一个前馈网络模型 4 Wkj xd x d 1 x2 x1 inputlayer hiddenlayer receptivefields Outputlayer zc z1 zk netk yj 1 H j Linearact function 一 概述 5 Fromafunctionapproximationperspectivethisisequivalenttoimplementingacomplexfunction correspondingtothenonlinearlyseparabledecisionboundary usingsimplefunctions correspondingtothelinearlyseparabledecisionboundary Implementingthisprocedureusinganetworkarchitecture yieldstheRBFnetworks ifthenonlinearmappingfunctionsareradialbasisfunctions RBF网络的功能 一 概述 6 若已知和 通过线性内插来逼近 设 分别代表与和的距离 则 即可表示为已知函数值的加权和 归一化权 若推广到基于多个已知函数值的插值 则有 在P0个中 只有那些与距离小的起更大的作用 一 概述 7 比如 有8样本 已知函数值 只要用四个样本就可完成逼近的内插 如何选择有效的邻近节点 邻近样本 如何决定加权系数 RBF神经网络能解决 一 概述 8 给定一个n维空间中点集及相应实值 i 1 2 n 设计一个函数f x 使它满足插值条件 RBF 用范基函数加权 将插值条件代入 得到关于m个未知w的m个方程 传统方法 通过学习 设法得到相应的参数 RadialBasisFunctions Radial basisfunctionswereintroducedinthesolutionoftherealmultivariateinterpolationproblem BasisFunctions Asetoffunctionswhoselinearcombinationcangenerateanarbitraryfunctioninagivenfunctionspace Radial Symmetricarounditscenter 9 Fromaclassificationperspective 在低维空间非线性可分的问题总可以映射到一个高维空间 使其在此高维空间中为线性可分 RBF的输出单元部分构成一个单层感知机 只要合理选择隐单元数 高维空间的维数 和作用函数 就可以把原来的问题映射为一个线性可分问题 在RBF网络中 输入到隐层的映射是非线性的 而隐层到输出的映射则是线性的 一 概述 10 圈1和圈2中的样本数据分别属于一类 圈外样本属于另一类 RBF如何划分这两类 非线性分类 1 2 x1 x2 例1 11 x1 x2 c1 x 1 1 y 设 c1 c2和r1 r2分别是圈1和圈2的中心和半径 样本x x1 x2 c2 x c1 x 1ifdistanceofxfromc1lessthanr1and0otherwise c2 x 1ifdistanceofxfromc2lessthanr2and0otherwise Hypersphericradialbasisfunction 一 概述 12 通过隐层特征空间 c x 的作用 圈2中的样本被映射到 0 1 圈1中的样本被映射到 1 0 圈外的样本均被映射到 0 0 这一两分类问题在隐层特征空间中变成线性可分 2 c1 x 1 0 1 c2 x 1 一 概述 13 二 RBFNetwork性能 Uji Wkj xd x d 1 x2 x1 inputnodes hiddenlayerRBFs receptivefields outputnodes zc z1 zk netk yj 1 H j spreadconstant Linearact function 14 Physicalmeanings Theradialbasisfunctionforthehiddenlayer Thisisasimplenonlinearmappingfunction typicallyGaussian thattransformsthed dimensionalinputpatternstoa typicallyhigher H dimensionalspace Thecomplexdecisionboundarywillbeconstructedfromlinearcombinations weightedsums ofthesesimplebuildingblocks uji Theweightsjoiningthefirsttohiddenlayer Theseweightsconstitutethecenterpointsoftheradialbasisfunctions Thespreadconstant s Thesevaluesdeterminethespread extend ofeachradialbasisfunction Wjk Theweightsjoininghiddenandoutputlayers Thesearetheweightswhichareusedinobtainingthelinearcombinationoftheradialbasisfunctions TheydeterminetherelativeamplitudesoftheRBFswhentheyarecombinedtoformthecomplexfunction 15 RBF网络是一个两层前馈网隐层对应一组径向基函数 实现非线性映射每一个隐层单元Ok的输出 k是高斯分布的期望值 又称中心值 k是宽度 控制围绕中心的分布 每个隐单元基函数的中心可以看作是存储了一个已知的输入 当输入X逼近中心时 隐单元的输出变大 这种逼近的测度可采用Euclidean距离 x 输出单元进行加权线性组合 输出单元j的输出为 隐节点数对应所求问题 一般而言 等于学习样本数 二 RBFNetwork性能 16 三个隐单元具有不同的中心值 对某个输入值 如箭特头所示 RBF3输出最大 因为输入离 3最近 每个RBF有一个接收场 即输入空间的某个区域或子空间 有生理基础 1 DimensionalGaussianDistribution 二 RBFNetwork性能 17 ThehallmarkofRBFnetworksistheiruseofnonlinearreceptivefieldsThereceptivefieldsnonlinearlytransforms maps theinputfeaturespace wheretheinputpatternsarenotlinearlyseparable tothehiddenunitspace wherethemappedinputsmaybelinearlyseparable ThehiddenunitspaceoftenneedstobeofahigherdimensionalityCover sTheorem 1965 Acomplexpatternclassificationproblemthatisnonlinearlyseparableinalowdimensionalspace ismorelikelytobelinearlyseparableinahighdimensionalspace NonlinearReceptiveFields 二 RBFNetwork性能 18 Centerofthefunction Spreadofthefunction 当中心确定后 分布就确定了基函数对输入的响应效果 高斯函数的分布越大 函数逼近就越平滑 但是如分布太大 意味作需要很多隐节点来逼近一个曲折的函数 通用性变差 高斯函数若分布太小 这意味作需要很多隐节点来逼近一个平滑的函数 网络的通用性较差 因为 此时一个隐单元函数仅对应样本集中一个样本点 overfittingoftrainingdata poorgeneralizationontestdate Gaussianfunctionsareradiallysymmetric RBF 二 RBFNetwork性能 19 输入与高斯中心越近 隐节点的响应越大高斯基函数径向对称 即对于与中心径向距离相同的输入 隐节点输出相同一般而言 基函数非线性形式对网络性能影响不大 关键是函数中心的选取 高斯函数具备如下优点 表示形式简单 即使对于多变量输入也不增加太多的复杂性 光滑性好 任意阶导数均存在 表示简单 解析性好 便于进行理论分析 二 RBFNetwork性能 20 权重需调整 权重固定为1 二 RBFNetwork性能 21 MultiquadricsforsomeandInversemultiquadricsforsomeandGaussianfunctionsforsomeand 隐节点的激励函数采用径向对称且衰减的非负非线性函数 二 RBFNetwork性能 22 三 Learning WhatdowehavetolearnforaRBFNNwithagivenarchitecture ThecentersoftheRBFactivationfunctionsthespreadsoftheGaussianRBFactivationfunctionstheweightsfromthehiddentotheoutputlayerDifferentlearningalgorithmsmaybeusedforlearningtheRBFnetworkparameters 23 设置 训练样本集 任一样本 k 1 2 N 实际输出 期望输出 j 1 2 J 当基函数为高斯函数时 其中 为高斯函数的方差 为高斯函数的中心 三 Learning 24 Centers areselectedatrandomcentersarechosenrandomlyfromthetrainingsetNotethatH N forthiscaseSpreads arechosenbynormalization Thentheactivationfunctionofhiddenneuronbecomes LearningAlgorithm1 三 Learning 25 不等宽度 对隐单元i而言 取其他中心与ci的距离的均值作为其宽度 其中 h为隐节点数 为聚类中心间最大距离 等宽度 宽度确定 其中 h为隐节点数ci为i单元的中心 三 Learning 26 Weights arecomputedbysolvingasetoflinearequations bymeansofthepseudo inversemethod Foranexample considertheoutputofthenetworkWewouldlikeforeachexample thatis 三 Learning 27 Thiscanbere writteninmatrixformforoneexampleandforalltheexamplesatthesametime 三 Learning 28 letthenwecanwriteIfisthepseudo inverseofthematrixweobtaintheweightsusingthefollowingformula 三 Learning 29 LearningAlgorithm1 summary 三 Learning 30 ToomanyreceptiveFields InordertoreducetheartificialcomplexityoftheRBF weneedtousefewernumberofreceptivefields Howaboutusingasubsetoftrainingdata sayM Nofthem TheseMdatapointswillthenconstituteMreceptivefieldcenters HowtochoosetheseMpoints LearningAlgorithm2 三 Learning 31 ExampleofClustering Datapointsassignedto3separateclusters Assignonebasisfunctionpercluster Clustering choosethecenters 对数据进行聚类e g K meansclustering 把基函数 隐节点 分别分配给每一聚类 LearningAlgorithm2 三 Learning 32 目标 把已知的P个模式聚成k类 每一类中的模式彼此相类似 最常用的聚类策略是基于最小化平方误差策略 设P个模式分成k类 类有 个模式 Meanvector clustercentre 又设每个模式仅属一类 则 K MeansClustering 三 Learning 33 类中 每个模式与类中心的Euclidean距离的平方和为 则 所有类的距离平方和为 如K确定 则K Means聚类就是找到最小的 三 Learning 34 Step1 Selectaninitialsetofclustercentres Step2 AssigneachofthePpatternstoitsclosestclustercentre iffor Step3 ComputernewclustercentresasthemeansoftheKclusters thisminimisesthecostfunction Step4 Ifthepositionofanyclustercentreschanges returntostep2 otherwise stop Thewidths ameasureofthespreadofthedataassociatedwitheach canbecalculatedas K MeansClusteringAlgorithm 三 Learning 35 应用梯度下降法训练权重 使得均方最小 权重调制 训练输出层weight 三 Learning 36 ErrorMeasure CostFunction Thenetworkistrainedbyadjustingitsweighssoastominimisethecostfunctionovertheentiretrainingdataset Thechangeoftheweightis whereisthelearningrate isthegradient where Iffislinear then Updatetheweights foreachpattern 三 Learning 37 SummaryofRBFlearningAlgorithm2 Step1 Calculatethecentresandtheirwidthsusinginputdataset Step2 Calculatetheoutputofthebasisfunction hiddenlayer Step3 updatetheweight where Step4 Repeat2 3foreachpatternintheinputdataset Step5 Repeat2 4untilthecostfunctionisacceptablysmall trainingstops orsomeotherterminatingconditionoccurs 38 四 RBF与MLP比较 相同点 Botharelayeredfeed forwardnetworks Bothareuniversalapproximators providedthatthenumberofhiddenunitsissufficientlylarge不同点 Architecture RBFnetworkshaveonlyonehiddenlayer RBFsrequiremorehiddenneurons curseofdimensionalityFFNNnetworksmayhaveoneormorehiddenlayers 39 NeuronModel InRBF theneuronmodelofthehiddenneuronsisdifferentfromtheoneoftheoutputnodes ThehiddenlayerofRBFisnon linear theoutputlayerofRBFislinearTypicallyinFFNN hiddenandoutputneuronsshareacommonneuronmodel areusuallynon linear ThehiddenneuronsofanMLPcomputetheinnerproductbetweenaninputvectorandtheirweightvector RBFscomputetheEuclideandistancebetweenaninputvectorandtheradialbasiscenters 四 RBF与MLP比较 40 Approximation RBFNNusingGaussianfunctionsconstructlocalapproximationstonon linearI Omapping typicallyonlyafewhiddenunitsareactiveforagiveninputFFNNconstructglobalapproximationstonon linearI Omapping Typicallymanyhiddenunitscontributetotheoutputforagiveninput 四 RBF与MLP比较 41 decisionboundariesMLPpartitionfeaturespacewithhyper planes RBFdecisionboundariesarehyper ellipsoidsAlltheparametersinanMLParetrained