优秀毕业论文毕业设计BP网络和RBFNN网络的分析与比较

1、“机器学习”论文 摘要：神经网络是计算机智能和机器学习研究、开发和应用最活跃的分支之一。本 文首先通过对误差回传神经网络(bpnn)和径向基函数神经网络(rbfnn)的知识 进行学习，并且对各自的原理进行了简单的分析，最后在各自的功能上进行了 比较。人工神经网络(artificial neural networks)是参照牛物神经网络发展起來的 模拟人脑生物过程的人工智能技术。它是市大量的神经元互连形成的一种非线 性系统。因此，神经网络根据神经元互连模式可分为前向网络(前馈网络)和 反馈网络。经过十几年的发展，神经网络理论在模式识别、人工智能、控制与 优化、空间科学、通讯等应用领域取得了令人瞩

2、口的成就。bp网络和rbfnn网络的分析与比较p网络原理bp神经网络也称为误差后向传播神经网络，它是一种无反馈的前向网络， 是神经网络模型中使用最广泛的一类。bp神经网络是典型的多层结构，分为输 入层、隐层和输出层，层与层之间多采用全互联方式，同一层单元之间不存在 和互连接接。1.1 sigmoid阈值单元图1sigmoid单元先计算它的输入的线性组合，然后应用到一个阈值上，阈值 输出是输入的连续函数其中1.2反向传播算法bp网络可以有多层，我们采用梯度下降方法试图最小化网络输出值和冃标值z间的误差平方，首先定义网络输出的总误差：e（）= * 工工（5 - ）2厶 ded keoutpus其中

3、：outputs是网络输出单元的集合，tkd和okd是与训练样例d和第k个输出 单元相关的输出值。1.2.1随机梯度下降法两层sigmoid单元的前馈网络的反向传播算法如下：backpropagation(training_examples,耳，11询，nout, uhidden)training examples是序偶兀，t 的集合，x是网络输入值向量，t是 目标输出值。耳是学习速率，tlin是网络输入的数量，bidden是隐藏层单元数，nout 是输出单元数，从单元i到单元j的输入表示为xj"单元i到单元j的权值表示为wji。创建具有um个输入，bidden个隐藏，n°

4、ut个输出单元的网络初始化所有的网络权值为小的随机值在遇到终止条件前对于训练样例training_examples中的每个 x , t :把输入沿网络前向传播把实例】输入网络，并计算网络中每个单元u 的输出ou,使误差沿网络反向传播对于网络每个输出单元k,计算它的误差项兀°k(l ok)(tkok)对于网络每个隐藏单元h,计算它的误差项兀oh(l-oh) 工 wkhkkeou tp uls更新每个网络权值wjiwjkwj 汁 awji， 其中 awji=8r)jxji1.2.2算法推导随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d, 利用关于这个样例的误差ed的梯

5、度修改权值。a _ dedij1也工(4k eoutputs符号说明如下： xji，单元j的第i个输入 wji，与xji相关联的权值 netj,单元j的输入的加权和oj,单元j计算出的输岀 tj,单元j的目标输出 6 sigmoid函数 outputs,网络最后一层的输出单元的集合 downstream(j),单元j的输出到达的单元的集合8e"=氓湎j =叽 dw ” dnet qw . dnet jjde分情况讨论赢厂的推导casel:输出单元ded _ded dojdnetj dodnetjdo. dcinet.)(l_o )dne" dnet-doj工(4-°

6、;o j / k eoutputs誌 r-om（f）case2:隐藏单元=也-qh(l-q)兮dnet j=zk e downstreamded dnet k (7)dnetk dnet .k e downstream(j)dnet kdnet j=ek g downstreamx(j)dnet k 80 j do j dnet .jj=ek g downstream- x wq(j)do jdnet =工-叫5(1 - 5)kedownstream (j)= -oj(l-oj)为戈 v%.kedownstream (7)旳=_他0 (i _ o)a wkjkedownstreaiy)1.2.

7、3收敛性和局部极小值对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可 能陷入这些局部极小值中的任何一个对于多层网络，反向传播算法仅能保证收敛到误差e的某个局部极小值, 不一定收敛到全局最小误差尽管缺乏对收敛到全局最小误弟的保证，反向传播算法在实践中仍是非常有效的函数逼近算法2径向基函数神经网络(rbfnn)径向基函数(radialbasisfunction, rbf)方法是在高维空间进行插值的 一种技术。broommhead和lowe在1998率先使用该技术，提出了神经网络学习的 一种新手段。那就是rbfnn,是以径向基函数作为隐单元的'基'构成隐含层空 间，隐含

8、层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使 得在低维线性不可分问题变成在高维空间内线性可分。它是一种局部逼近网络, 对于每个训练样本，它只需对少量的权值和阀值进行修正具有学习速度快，收 敛性好，实时性强。2. 1 rbf神经元模型wl,2 u21 wr图2 rbf神经元模型2.2 rbf神经网络的结构径向基函数神经网络的构成包括三层：第一层为输入层，第二层为隐含层,第三层为输出层。其网络拓扑结构如3图所示。rbf网络从输入空间到隐含空间的变换是非线性的，而从隐含层空间到输出层空间的变换则是线性的。这种网 络结构，隐含层的单元是感知单元，每个感受知单元的输出为：ri=r(ll

9、x-ci ii) (1-1),其中，x为n维输入向量；ci为第i个隐节点的中心，i二1,2,，ho ii - ii 通常为欧氏范数；r()为rbf函数。基函数的形式，可以有以下几种形式的选 择：多二次函数、逆多二次函数、样条函数、高斯函数。通常使用的是高斯函 数，则由式(1-1)可得式(1-2) : ri (x)=exp ii -(x-ci)/( 2小 , i二 1, 2,m (1-2),其中，5为基宽度；m为感知单元的个数。市图3可以看出，网络输出 层k个节点的输出为隐节点输出的线性组合：yk=z wikrm , k=l, 2,， i=p (1-3),其中，p为输出节点数；ri(x)为高斯函数；wik为ri(x)f yk的 连接权值。图3 rbf网络结构2.3基于聚类的rbf网络设计算法基于聚类的rbf网络算法是一种无导师学习，也称为非监督学习，是对所有输入样本进行聚类，从而求得各隐层节点的rbf的中心。聚类算法主要有hcm、k-均值聚类、最近邻聚类（nn算法）等。目前最常用的是k- 均值聚类算法，具体的步骤如下：（1）初始化：给定各隐层节点的初始中心ci（0）o（2）相似匹配：计算距离（欧氏空间）并求出最小距离的节点：di(t)二 ii x(t)-cj (t-1) ii lwiwh(2-1)d