版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、人工神经网络及应用,主讲 何东健,第六章 径向基函数网络,6.1 径向基函数 用函数来描述一个实际对象,需要一个函数空间。最熟悉的是多项式函数空间,一个简单函数x和他自身的乘积xn做线性组合得到。 如: f(x)=ax+bx2+cx3+dx4 三角多项式函数空间,也是eix和他自身的乘积einx做线性组合得到。 高维的数值分析问题,选择何种函数空间和基底? 希望能有一个简单的函数(.)经过一些简单的运算就能得到函数空间的基。国际上处理多元函数问题的基: (1)楔型基函数 (2)径向基函数RBF(Radial basis function) (|x-c|),径向基函数指某种沿径向对称的标量函数,
2、通常定义为空间中任一点X到某一中心 ci之间欧氏距离的单调函数。 设有P个输入样本Xp,在输出空间相应目标为dp。 需要找到一个非线性映射函数F(x),使得: F(Xp) dp 选择P个基函数,每个基函数对应一个训练数据,各基函数的形式为: (|X- Xp |),p=1,2,.,P Xp是函数的中心。 以输入空间的点X与中心Xp的距离为自变量。故称为径向基函数。 定义F(X)为基函数的线性组合,令 ip=(|X-Xp|)。上述方程组可改写为,用表示ip的PP矩阵; Wd 若可逆,可解出 W=-1d 最常用的径向基函数是高斯核函数,形式为 其中c i为核函数中心, i为核函数的宽度参数,控制基函
3、数的径向作用范围,即方差(扩展常数)。,例 用径向基函数映射一个函数 p = -3:.1:3; a = radbas(p); plot(p,a) a2 = radbas(p-1.5); a3 = radbas(p+2); a4 = a + a2*1 + a3*0.5; plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-),a,a2,a3,a4,6.2 径向基函数网络(RBF) 是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数映射的人工神经网络,具有最优逼近和全局逼近的特性。 网络的学习等价于在多维空间中寻找训练数据的最佳拟合平面,隐层的每一个
4、神经元的传递函数都构成拟合平面的一个基函数,故称为 径向基函数网络。 RBF网络是一种局部逼近网络,对输入空间的某一个局部区域,只存在少数神经元用于决定网络的输出。,网络由一个隐含层和一个线性输出层组成。隐含层最常用的是高斯径向基函数,而输出层采用线性激活函数。 RBF 网络的权值训练是一层一层进行的,对径向基层的权值训练采用无导师训练,在输出层的权值设计采用误差纠正算法,为有导师训练。 与BP网络相比,RBF必BP网络规模大,但学习速度快,函数逼近、模式识别和分类能力都优于BP网络。,RBF神经元模型 R维输入的神经元模型如图。|dist|模块表示求取输入矢量和权值矢量的距离。传递函数为高斯
5、函数(radbas),函数的输入n为p和w的距离乘以阈值b。 高斯函数表达式为:,中心和宽度是径向基函数的两个重要参数。神经元的权值矢量w确定基函数的中心,当输入p和w重合时,径向基函数神经元输出达到最大值,p与w的距离越远,输出越小。神经元的阈值b决定了径向基函数的宽度。,a = radbas( dist(W,P).*b),RBF网络结构,在RBF 中,输入层到隐含层的基函数输出是一种非线性映射,而输出则是线性的。这样,RBF 网络可以看成是首先将原始的非线性可分的特征空间,变换到另一线性可分的空间(通常是高维空间),通过合理选择这一变换使在新空间中原问题线性可分,然后用一个线性单元来解决问
6、题,从而很容易的达到从非线性输入空间向输出空间映射的目的。 注意:由于RBF 网络的权值算法是单层进行的,它的工作原理采用的是聚类功能,由训练得到输入数据的聚类中心,通过值来调节基函数的宽度。虽然网络结构看上去是全连结的,实际网络是局部工作的,即对输入的一组数据,网络只有一个神经元被激活,其他神经元被激活的程度可忽略。所以RBF网络是一个局部逼近网络,训练速度比BP 网络快23 个数量级。,6.3 RBF网络学习方法 RBF 网络有3 组可调参数:隐含层基函数中心、方差和隐含层单元到输出单元的权值。 这些参数的确定主要有两种形式: 一种是根据经验或聚类方法选择中心及方差,当选定中心和方差后,由
7、于输出是线性单元,它的权值可以用迭代的最小二乘法直接计算出来。 另一种是通过训练样本用误差纠正算法进行监督学习,逐步修正以上3 个参数,即计算总的输出误差对各参数的梯度,再用梯度下降法修正待学习的参数。 一种采用模糊K 均值聚类算法确定各基函数的中心及相应的方差,用局部梯度下降法修正网络权值的算法如下:,1、 利用模糊K 均值聚类算法确定 c i 随机选择h 个样本值作为 ci (i=1,2, )的初值,其他样本按该样本与中心 ci的欧氏距离远近归入某一类,从而形成h 个子类ai ,i=1,2, h ; 重新计算各子类中心c i的值, 其中 xk ai , si为子集ai的样本数;同时计算每个
8、样本属于每个中心的隶属度, 确定 c i是否在容许的误差范围内,若是则结束,不是则根据样本的隶属度调整子类个数,转到继续。 2 、确定基函数宽度(方差) 其中, ai是以 ci为中心的样本子集。 基函数中心和宽度参数确定后,隐含层执行的是一种固定不变的非线性变换,第i 个隐节点输出定义为,3、 调节隐层单元到输出单元间的连接权 网络的目标函数为 也就是总的平均误差函数。其中, y (xk) 是相对于输入 x k 的实际输出, y (xk) 是相对于输入 xk 的期望输出,N为训练样本集中的总样本数。对于RBF 神经网络,参数的确定应能使网络在最小二乘意义下逼近所对应的映射关系,也就是使E 达到
9、最小;因此,这里利用梯度下降法修正网络隐含层到输出层的权值,使目标函数达到最小。,根据上面两式最终可以确定权值的每步调整量(其中,为学习率,取值为0 到1 间的小数)。 权值的修正公式为 最后整个网络的输出定义为: 其中, 为输出层节点的阈值。,整个RBF 网络分类器的学习算法: 1) 初始化:对权值 (0)赋到之间的随机数,隐层神经元数m,初始误差E 置0,最大误差设为一正的小数,学习率为到之间的小数。 2) 采用模糊K 均值聚类算法确定基函数的中心 ci(0)及方差i (0) ,i=1,2,m 。 3) 按上述梯度下降法调整网络权值 (0)直到误差E ,结束。,6.4 RBF 网络MATL
10、AB设计 1、RBF的精确设计 newrbe用来精确设计RBF网络。精确是指该函数生产的网络对于训练样本数据达到了0误差。 net=newrbe(P,T,SPREAD) P,T输入矢量、目标矢量。 SPREAD扩展常数,缺省为1.相当于。 隐层神经元个数与P中输入矢量个数相等(正规化网络),隐层神经元阈值取0.8632/ SPREAD。 显然,当输入矢量个数过多时,生产的网络过于庞大,实时性变差。实际更有效的设计是用newrb()函数。,如: P = 1 2 3; T = 2.0 4.1 5.9; net = newrbe(P,T); P = 1.5; Y = sim(net,P),2、RBF
11、的有效设计 newrb()用迭代方法设计RBF网络。每迭代一次就增加一个神经元,直到平方和误差下降到目标误差以下或神经元个数达到最大值时停止。调用形式: net=newrb(P,T,GOAL,SPREAD,MN,DF) GOAL目标误差。 NM最大神经元个数;DF迭代过程显示频率。,例6.1 径向基函数进行线性组合 例6.2 利用RBF实现函数逼近 例6.3 利用RBF实现函数逼近,但扩展常数太小(过拟合) 例6.4 利用RBF实现函数逼近,但扩展常数太大 (不能完全拟合),6.5 广义RBF网络(GRNN) 1、Cover定理:将复杂的模式分类问题非线性地投射到高维空间,将比投射到低维空间更
12、可能是线性可分的。 在RBF网络中,将输入空间的模式点非线性地映射到一个高维空间的方法是,设置一个隐层,令(X)是隐节点的激活函数,并令隐节点个数M大于输入节点个数N,形成一个高维(隐)空间。 若M足够大,则在隐空间输入是线性可分的。 2、广义RBF网络 正规化RBF网络的隐节点个数和输入样本数相等,但样本很大时,网络庞大,计算量惊人。,解决思路:减少隐节点个数。使 NMP N 为样本维数、P为样本个数。从而得到广义RBF网络。 广义RBF网络的基本思想:用径向基函数做为隐单元的“基”,构成隐含层空间。隐含层对输入向量进行变换,将低维空间的模式变换到高维空间内,使得低维空间内的线性不可分问题在
13、高维空间内线性可分。 GRNN特点: 1、M不等于N,常远远小于N; 2、径向基函数的中心不再限制在数据点上,由训练算法确定;,3、扩展常数不再统一,由训练算法确定; 4、输出函数的线性中包括阈值参数,以补偿样本平均值与目标平均值间的差别。 5、GRNN多用于函数逼近问题。 NEWGRNN(P,T,SPREAD) 建立一个2层网络。第一层具有RADBAS神经元, |DIST|为求输入矢量和权值矢量的距离;输出层为特殊线性层,输入为规格化内积。 nprod为计算隐层输出矢量a1和输出权矩阵W的规格化内积(W2a1/sum(a1)) 例6.5 GRNN函数逼近(rbf5grnn.m),隐层、输出层神经元个数,等于输入样本个数Q,规格化内积 n2=LW21 a1/sum(a1),6.6 概率神经网络(PNN) 特点: 1、网络隐层神经元个数(Q)等于输入矢量样本个数;输出层神经元个数等于训练样本数据的种类个数(K); 2、输出层是竞争层,每个神经元对应1类
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高中地理选择性必修2教学设计:长江流域协作开发与环境保护
- 初中物理九年级质量与密度二轮复习教学设计
- 高中一年级语文《时代担当与未来想象》教学设计
- 小学二年级美术教学设计《听听画画》核心素养导向下的跨感知表达实践
- 九年级数学《锐角三角函数》教学设计:基于相似模型的核心素养培育路径
- 小学五年级美术珍爱国宝古代陶瓷艺术教学设计
- 高中物理选择性必修一教学设计:电池电动势内阻测量与能源可持续发展
- 七年级语文整本书阅读分层提优教学设计
- 高中劳动技术教学设计:雪冬寻味·大米发糕传统工艺与现代创新
- 初中化学九年级化合价与化学式及物质分类复习教案教学设计
- 2026全球牙科诊疗椅人机工程学创新设计与用户体验提升分析报告
- 2025 重症脓毒症与感染性休克救治指南(中文版)完整原文 + 详细解读
- 洗衣机装配工岗前工艺控制考核试卷含答案
- 《数字人民币智能合约互联互通建设管理规范》编制说明
- 四川省政府采购评审专家考试真题库及答案(完整版)-四川评标评审专家
- ICU三管感染防控集束化管理
- 亚马逊店铺出租合同范本
- 【高盛】变革中的中国:聚焦产能周期-延迟的转折点
- 无创呼吸机气道湿化管理
- 专题01实数的混合运算(60题)专项训练数学北师大版2024八年级上学期
- 临床主动脉夹层患者护理个案汇报
评论
0/150
提交评论