RBF神经网络模型与学习算法ppt课件

1、智能中国网提供学习支持智能中国网提供学习支持2.52.5径向基函数神经网络模型与径向基函数神经网络模型与学习算法学习算法概述概述 p19851985年，年，PowellPowell提出了多变量插值的径向基函提出了多变量插值的径向基函数数(Radical Basis Function(Radical Basis Function，RBF)RBF)方法方法 p19881988年，年， Moody Moody和和DarkenDarken提出了一种神经网络提出了一种神经网络构造，即构造，即RBFRBF神经网络神经网络pRBFRBF网络是一种三层前向网络网络是一种三层前向网络pRBFRBF网络的根本思想

2、网络的根本思想 p用用RBFRBF作为隐单元的作为隐单元的“基构成隐含层空间，将基构成隐含层空间，将输入矢量直接输入矢量直接( (即不需求经过权衔接即不需求经过权衔接) )映射到隐映射到隐空间空间 p当当RBFRBF的中心点确定后，映射关系也就确定的中心点确定后，映射关系也就确定p隐含层空间到输出空间的映射是线性的隐含层空间到输出空间的映射是线性的p 2.5.1 RBF神经网络模型 p径向基神经网络的神经元构造p激活函数采用径向基函数 p以输入和权值向量之间的 间隔作为自变量 2- distR( dist )=edist2.5.1 RBF神经网络模型p径向基神经网络构造径向基神经网络构造 2.

3、5.1 RBF神经网络模型pRBF网络与BP网络比较：pRBF网络的输出是隐单元输出的线性加权和，学习速度加快 pBP网络运用sigmoid()函数作为激活函数，这样使得神经元有很大的输入可见区域 p径向基神经网络运用径向基函数普通运用高斯函数作为激活函数，神经元输入空间区域很小，因此需求更多的径向基神经元 p 2.5.2 RBF神经网络任务原理pRBFRBF的非线性分类才干是什么？的非线性分类才干是什么？2.5.2 RBF神经网络任务原理 空间空间1 1 空间空间2 2不易处理问题不易处理问题 易处理问题易处理问题变换变换 空间空间1 1 空间空间2 2线性不可分线性不可分 线性可分线性可分

4、空间变换空间变换2.5.2 RBF神经网络任务原理pRBF处理异或问题2.5.2 RBF神经网络任务原理pRBF处理异或问题2.5.2 RBF神经网络任务原理p逼近恣意曲线程序演示逼近恣意曲线程序演示2.5.2 RBF网络的学习算法 p学习算法需求求解的参数p径向基函数的中心p方差p隐含层到输出层的权值 p学习方法分类按RBF中心选取方法的不同分p随机选取中心法p自组织选取中心法p有监视选取中心法p正交最小二乘法等2.5.2 RBF网络的学习算法p自组织选取中心学习方法p 第一步，自组织学习阶段p无导师学习过程，求解隐含层基函数的中心与方差；p 第二步，有导师学习阶段p求解隐含层到输出层之间的

5、权值。p高斯函数作为径向基函数221R()=exp(-)2pipiccxx2.5.2 RBF网络的学习算法p网络的输出网络的输出( (网络构造如图网络构造如图2-212-21所示所示 ) )p设设d d是样本的期望输出值，那么基函数的方差是样本的期望输出值，那么基函数的方差可表示为可表示为 : :21mjjijdy cPh22i=11y =exp(-)=1,2,2jijpiwcjnx2.5.2 RBF网络的学习算法p自组织选取中心算法步骤自组织选取中心算法步骤p1.1.基于基于K-K-均值聚类方法求取基函数中心均值聚类方法求取基函数中心p1 1网络初始化。网络初始化。 p随机选取随机选取 个训

6、练样本作为聚类中个训练样本作为聚类中心心 。p2 2将输入的训练样本集合按最近邻规将输入的训练样本集合按最近邻规那么分组。那么分组。p 按照按照 与中心为与中心为 之间的欧氏间隔将之间的欧氏间隔将 分配到输入样本的各个聚类集合分配到输入样本的各个聚类集合 中。中。p3 3重新调整聚类中心。重新调整聚类中心。 p计算各个聚类集合计算各个聚类集合 中训练样本的平均值，中训练样本的平均值，即新的聚类中心即新的聚类中心 ，假设新的聚类中心不，假设新的聚类中心不再发生变化，那么所得到的即为再发生变化，那么所得到的即为RBFRBF神经网神经网络最终的基函数中心，否那么前往络最终的基函数中心，否那么前往2

7、2，进入下一轮的中心求解。进入下一轮的中心求解。h(1,2, )ic ihpxicpx(1,2, )ppPpicic2.5.2 RBF网络的学习算法2.2.求解方差求解方差 RBFRBF神经网络的基函数为高斯函数时，神经网络的基函数为高斯函数时，方差可由下式求解：方差可由下式求解：式中式中 为中所选取中心之间的最大为中所选取中心之间的最大间隔。间隔。3.3.计算隐含层和输出层之间的权值计算隐含层和输出层之间的权值隐含层至输出层之间神经元的衔接权隐含层至输出层之间神经元的衔接权值可以用最小二乘法直接计算得到，计值可以用最小二乘法直接计算得到，计算公式如下：算公式如下：max,1,2,2icihh

8、maxc22maxexp()1,2, , ;1,2, ,pihwxcpPihc2.5.3 RBF网络学习算法的MATLAB实现 函函 数数 名名功功 能能newrb()newrb()新建一个径向基神经网络新建一个径向基神经网络newrbe()newrbe()新建一个严格的径向基神经网络新建一个严格的径向基神经网络newgrnn()newgrnn()新建一个广义回归径向基神经网络新建一个广义回归径向基神经网络newpnn()newpnn()新建一个概率径向基神经网络新建一个概率径向基神经网络pRBFRBF网络的网络的MATLABMATLAB函数及功能函数及功能2.5.3 RBF网络学习算法的MA

9、TLAB实现pnewrb()newrb()p功能功能 p建立一个径向基神经网络建立一个径向基神经网络p格式格式 p net = newrb(P net = newrb(P，T T，GOALGOAL，SPREADSPREAD，MNMN，DF)DF)p阐明阐明 pP P为输入向量，为输入向量，T T为目的向量，为目的向量，GOALGOAL为圴为圴方误差，默以为方误差，默以为0 0，SPREADSPREAD为径向基函数为径向基函数的分布密度，默以为的分布密度，默以为1 1，MNMN为神经元的最为神经元的最大数目，大数目，DFDF为两次显示之间所添加的神经为两次显示之间所添加的神经元神经元数目。元神经

10、元数目。 2.5.3 RBF网络学习算法的MATLAB实现pnewrbe()newrbe()p功能功能 p建立一个严厉的径向基神经网络建立一个严厉的径向基神经网络, ,严厉是严厉是指径向基神经网络的神经元的个数与输入指径向基神经网络的神经元的个数与输入值的个数相等。值的个数相等。p格式格式 p(1) net = newrb(P(1) net = newrb(P，T T， SPREAD) SPREAD)p阐明阐明 p各参数的含义见各参数的含义见NewrbNewrb。2.5.3 RBF网络学习算法的MATLAB实现p例例2-4 2-4 建立一个径向基神经网络，对非线性函数建立一个径向基神经网络，对

11、非线性函数y=sqrt(x)y=sqrt(x)进展逼近，并作出网络的逼近误差曲线。进展逼近，并作出网络的逼近误差曲线。 %输入从0开始变化到5，每次变化幅度为0.1%输入从0开始变化到5，每次变化幅度为0.1x=0:0.1:5;x=0:0.1:5;y=sqrt(x);y=sqrt(x);%建立一个目标误差为0，径向基函数的分布密度为%建立一个目标误差为0，径向基函数的分布密度为%0.5，隐含层神经元个数的最大值为20，每增加5个%0.5，隐含层神经元个数的最大值为20，每增加5个%神经元显示一次结果%神经元显示一次结果net=newrb(x,y,0,0.5,20,5);net=newrb(x,y,0,0.5,20,5);t=sim(net,x);t=sim(net,x);%在以输入x和函数值与网络输出之间的差值y-t坐标%在以输入x和函数值与网络输出之间的差值y-t坐标%上绘出误差曲线，并用*来标记函数值与网络输%上绘出误差曲线，并用*来标记函数值与网络输%出之间的差值%出之间的差值plot(x,y-t,*-)plot(x,y-t,*-)2.5.3 RBF网络学习算法的MATLAB实