基于移动加权极限学习机的改进算法

基于移动加权极限学习机的改进算法

0图像的深度信息近年来，高中的学生培训不仅限于理论理论和课堂体验，还注重学生的创新思维和创新能力的培养。传统上三维图形的重构直接通过恢复图像的深度信息或需要多幅图像来实现1elm算法简介SLFN的模型如图1所示,包括输入层、隐藏层和输出层,其中单个隐藏层神经元的模型如图2所示,输入x根据图1所示SLFN模型,对于N个给定样本集(x隐藏层节点数采用矩阵表达式,式(3)可简化为输入权值矩阵W和偏置矩阵b可随机设定HELM训练过程即求输出权值矩阵β的过程,ELM算法实现流程如图3所示,对于给定训练样本,首先,设定隐藏层神经元个数,随机初始化输入权值矩阵W和偏置矩阵b,选择合适的激活函数;其次,根据式(1)计算极限学习机每个隐藏层神经元的输出H,通过式(5)计算得输出权值矩阵β;最后,根据所得β对测试样本进行仿真,对仿真结果进行对比和分析,测试结果不满足要求时可通过适当增加训练样本或隐藏层神经元个数改善。2elm的不足ELM算法基于经验风险最小化原则,未考虑结构风险,在实际应用中容易导致过度拟合的问题;ELM直接求最小二乘解,当样本数据发生改变时,无法对参数进行调整;针对ELM的这些缺点,查阅多种ELM优化设计算法,采用移动加权极限学习机和正则极限学习机进行三维图形重构虚拟仿真实验的研究。2.1权函数的输出移动加权极限学习机应用移动最小二乘法原理,针对不同的输入样本,根据选择的权函数训练不同样本的权重,输出权值为一个与输入有关的权函数,而不是一个固定的数值矩阵,从而提高算法的稳定性移动加权极限学习机算法的数学模型为实际输出O式中,权函数式中,P(x)=H移动加权极限学习机训练过程中训练数据按一定的规则分类,每一类数据单独训练网络参数β(x),用得到的网络参数β(x)对具有相似特征的数据类进行测试,避免了原始极限学习机在处理不规则数据时泛化能力差的缺点。2.2elm数学模型正则极限学习机通过参数γ来调节经验风险和结构风险的比例式中:用拉格朗日方程将求式(9)的最小值转换为无条件极值求解问题,R-ELM的数学模型可用拉格朗日方程表示为式中:α为拉格朗日乘子,根据KKT优化条件令该函数分别对β、α、ε求梯度:根据拉格朗日方程求极值方法,解得输出权值矩阵为当D为单位对角矩阵时,该算法称为无权正则极限学习机;否则,称为有权正则极限学习机。原始极限学习机是无权极限学习机在γ趋向于无穷大时的特殊情况。正则极限学习机提高了原始极限学习机的泛化能力,改善了原始极限学习机存在的过拟合问题。3虚拟重构实验本实验案例采用Matlab作为仿真环境,Matlab功能强大,集成度高,使用简单,在信号处理、自动控制和电子仿真等方面应用广泛,使用Matlab软件进行虚拟实验仿真已经是大学生必须掌握的一项基本技能。墨西哥帽子三维图形重构结果如图4所示。本实验选择经典的墨西哥帽子三维图形f(r)=sin(r)/r进行重构,其中极限学习机训练过程需要大量训练样本,为生成训练样本,在给定横纵坐标范围内以0.5为步长用rand函数随机产生Q个网格节点作为神经网络的输入,Q=1000,网格节点坐标矩阵[x_randy_rand],用plot(x_rand,y_rand,‘*’)语句绘制随机生成的网格节点如图5所示,其中训练样本输入为P,训练样本期望输出为T,即每个网格节点对应的高度。训练样本生成过程程序为:本实验案例通过ELM、MLS-ELM和R-ELM3种算法对墨西哥帽子三维图形进行重构仿真。原始ELM训练过程部分程序为:其中:N为隐藏层神经元个数,N=50,IW为输入权值,B为隐藏层神经元偏置矩阵,激活函数为sin(x),tempH为根据式(1)求得的隐藏层输出,LW为根据式(5)求得的输出矩阵。经以上训练过程得输出权值矩阵LW,通过下列所示程序进行墨西哥帽子三维图形重构仿真,Or_Elm_Zout即神经网络的最终输出,原始ELM算法实现墨西哥帽子三维图形重构仿真结果如图4(b)所示。移动加权ELM实现三维图形重构训练过程中每个测试样本的影响域定义为以该样本为中心,以2为边长的正方形,权函数无权正则极限学习机的输出权值矩阵为由式(11)得:无权R-ELM的样本误差ε设D=diag(v如图4所示,ELM、MLS-ELM和R-ELM3种算法均可以对墨西哥帽子三维图形进行重构,为了比较3种算法的性能,将实测值和期望值之间的绝对误差进行对比,图6所示为ELM、MLS-ELM和R-ELM对墨西哥帽子三维图形重构实验的绝对误差曲线。由图6可见,MLS-ELM算法的重构效果最佳。另外,将均方根RMSE作为重构误差的衡量标准,同时将训练时间和测试时间也进行了对比,具体结果见表1。由表1虚拟重构实验结果对比可知,ELM、MLS-ELM和R-ELM重构误差的均方差RMSE分别为0.0617、0.0155和0.0398,MLS-ELM的误差最小。图6和表1对比结果表明,MLS-ELM算法和R-ELM算法在重构精度和泛化能力上都优于原始的ELM算法,但这两种算法增加了计算复杂度,延长了训练时间。4极限学习机重构及其应用本文设计了墨西哥帽子三维图形重构虚拟仿真实验,通过两种极限学习机的优化算法,以三维图形重构实验为平台进行了实测,并将该实验案例应用于本科教学,达到了以下教学目的:(1)掌握神经网络的基本原理和应用,了解ELM算法的优势,仿真过程直观地呈现出三维图形的重构效果,让实验教学更为生动具体,可将极限学习机算法推广到更多的应用领域,如人体三维重构、手势识别等。(2)介绍移动加权极限学习机和正则极限学习机优化算法,掌握优化算法的设计,为学生在以后的工程设计中拓宽思路,缩短设计周期。(3)采用Matlab作为仿真环境,熟练使用Matlab编程软件,掌握基于Matlab虚拟仿真实验的设计。(4)通过对墨西哥帽子三维图形虚拟仿真实验结果进行比较,掌握虚拟仿真实验结果对比时参数的选择和分析方式。通过虚拟仿真实验的开展可以开阔学生的眼界,提升学生的科研兴趣,鼓励学生以所学知识为基础拓展到更宽、更广的知识