机器学习神经网络的论文

“机器学习”论文112007053311计科邵显伦摘要：神经网络是计算机智能和机器学习研究、开发和应用最活泼的分支之一。本文首先通过对误差回传神经网络(BPNN)和径向基函数神经网络(RBFNN)的知识进行学习，并且对各自的原理进行了简单的分析，最后在各自的功能上进行了比拟。人工神经网络〔ArtificialNeuralNetworks〕是参照生物神经网络开展起来的模拟人脑生物过程的人工智能技术。它是由大量的神经元互连形成的一种非线性系统。因此，神经网络根据神经元互连模式可分为前向网络〔前馈网络〕和反应网络。经过十几年的开展，神经网络理论在模式识别、人工智能、控制与优化、空间科学、通讯等应用领域取得了令人瞩目的成就。BP网络和RBFNN网络的分析与比拟1BP网络原理BP神经网络也称为误差后向传播神经网络，它是一种无反应的前向网络，是神经网络模型中使用最广泛的一类。BP神经网络是典型的多层结构，分为输入层、隐层和输出层，层与层之间多采用全互联方式，同一层单元之间不存在相互连接接。1.1Sigmoid阈值单元XX1X0X2XnW1∑W2WnW0图1Sigmoid单元先计算它的输入的线性组合，然后应用到一个阈值上，阈值输出是输入的连续函数其中1.2反向传播算法BP网络可以有多层，我们采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方，首先定义网络输出的总误差：其中：outputs是网络输出单元的集合，tkd和okd是与训练样例d和第k个输出单元相关的输出值。1.2.1随机梯度下降法两层sigmoid单元的前馈网络的反向传播算法如下：BackPropagation(training_examples,,nin,nout,nhidden)training_examples是序偶<,>的集合，是网络输入值向量，是目标输出值。是学习速率，nin是网络输入的数量，nhidden是隐藏层单元数，nout是输出单元数，从单元i到单元j的输入表示为xji，单元i到单元j的权值表示为wji。创立具有nin个输入，nhidden个隐藏，nout个输出单元的网络初始化所有的网络权值为小的随机值在遇到终止条件前对于训练样例training_examples中的每个<,>:把输入沿网络前向传播把实例输入网络，并计算网络中每个单元u的输出ou,使误差沿网络反向传播对于网络每个输出单元k,计算它的误差项kkok(1-ok)(tk-ok)对于网络每个隐藏单元h，计算它的误差项hhoh(1-oh)更新每个网络权值wjiwjiwji+wji，其中wji=jxji1.2.2算法推导随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d，利用关于这个样例的误差Ed的梯度修改权值。符号说明如下：xji，单元j的第i个输入wji，与xji相关联的权值netj，单元j的输入的加权和oj，单元j计算出的输出tj，单元j的目标输出，sigmoid函数outputs，网络最后一层的输出单元的集合Downstream(j)，单元j的输出到达的单元的集合分情况讨论的推导Case1:输出单元Case2:隐藏单元收敛性和局部极小值对于多层网络，误差曲面可能含有多个不同的局部极小值，梯度下降可能陷入这些局部极小值中的任何一个对于多层网络，反向传播算法仅能保证收敛到误差E的某个局部极小值，不一定收敛到全局最小误差尽管缺乏对收敛到全局最小误差的保证，反向传播算法在实践中仍是非常有效的函数逼近算法2径向基函数神经网络(RBFNN)径向基函数〔radialbasisfunction，RBF〕方法是在高维空间进行插值的一种技术。Broommhead和Lowe在1998率先使用该技术，提出了神经网络学习的一种新手段。那就是RBFNN，是以径向基函数作为隐单元的‘基’构成隐含层空间，隐含层对输入矢量进行变换将低维的模式输入数据变换到高维空间内，使得在低维线性不可分问题变成在高维空间内线性可分。它是一种局部逼近网络，对于每个训练样本，它只需对少量的权值和阀值进行修正具有学习速度快，收敛性好，实时性强。2.1RBF神经元模型图2RBF神经元模型2.2RBF神经网络的结构径向基函数神经网络的构成包括三层：第一层为输入层，第二层为隐含层，第三层为输出层。其网络拓扑结构如3图所示。RBF网络从输入空间到隐含空间的变换是非线性的，而从隐含层空间到输出层空间的变换那么是线性的。这种网络结构，隐含层的单元是感知单元，每个感受知单元的输出为：Ri=r(‖X-Ci‖)(1-1)，其中，X为n维输入向量；Ci为第i个隐节点的中心，i=1,2,…，h。‖·‖通常为欧氏范数；r(·)为RBF函数。基函数的形式，可以有以下几种形式的选择：多二次函数、逆多二次函数、样条函数、高斯函数。通常使用的是高斯函数，那么由式(1-1)可得式(1-2)：Ri(x)=exp‖-(X-Ci)/(2σ2)‖,i=1,2…，m(1-2)，其中，σi为基宽度；m为感知单元的个数。由图3可以看出，网络输出层k个节点的输出为隐节点输出的线性组合：yk=,k=1,2,…，p(1-3)，其中，p为输出节点数；Ri(x)为高斯函数；wik为Ri(x)→yk的连接权值。图3RBF网络结构2.3基于聚类的RBF网络设计算法基于聚类的RBF网络算法是一种无导师学习，也称为非监督学习，是对所有输入样本进行聚类，从而求得各隐层节点的RBF的中心。聚类算法主要有HCM、K-均值聚类、最近邻聚类〔NN算法〕等。目前最常用的是K-均值聚类算法，具体的步骤如下：〔1〕初始化：给定各隐层节点的初始中心Ci(0)。〔2〕相似匹配：计算距离〔欧氏空间〕并求出最小距离的节点：Di(t)=‖x(t)-ci(t-1)‖1≤i≤h(2-1)Dmin(t)=minDi(t)=Dr(t)(2-2)〔