支持向量回归预测模型在材料性能预测中的应用.doc

支持向量回归预测模型在材料性能预测中的应用 唐江凌黄健 （桂林师范高等专科学校物理与工程技术系，广西桂林541001） 【摘要】与材料性能相关的预测模型，可以实现优化工艺，减少试验次数，节约研究时间和研究经费。本文介绍了支持向量回归原理，并以3种材料为例，介绍基于支持向量回归的预测模型对材料性能的预测。研究实例结果表明：支持向量回归预测模型具有良好的学习和泛化能力。研究者可以通过基于支持向量回归预测模型对各种材料的性能进行预测。 关键词支持向量回归；材料性能；预测模型 基金项目：广西高校科研项目（YBxx471）。 作者简介：唐江凌（1974），男，讲师，研究方向为计算机技术在材料物理中的应用。 通讯作者：黄健（1975），男，工程师，研究方向为计算机技术在物理学中的应用。 0引言 材料的性能通常决定于材料的构成成分和加工工艺。作为设计及制作各种构件的依据，材料的性能必须通过不同材料的标准试验方法测定。由于材料构成成分以及加工工艺的复杂性，材料的性能会受到诸多因素的影响，非线性强，通常很难对其建立精确的数学模型或物理模型加以描述。而如果能建立起与材料性能相关的预测模型，则可以实现优化加工工艺，减少实验次数，节约人力、物力和时间等目的。 Vapnik等提出的支持向量机（SupportVectorMachine,SVM)，是一种新的机器学习方法1。SVM与神经网络类似，都是学习型的机制，但与神经网络不同的是：SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的。SVM在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势，已成为继神经网络之后机器学习领域新的研究热点，是分类、模式识别和回归预测领域的研究热门。 1支持向量回归原理 当SVM应用于解决回归问题，又被称为支持向量回归(SupportVectorRegression,SVR)。 支持向量回归有许多优点，如全局优化、学习速度快、能避免局部极小等，已被广泛应用到预测和优化设计领域。 1.1线性回归2 假如要所寻找的回归函数是线性函数： 对于训练样本(x1,y1)，(x2,y2)，(x3,y3)(xl,yl)，以不敏感函数作为损失函数，有： 在这里，如果实际值和预测值之间的差别不超过事先给定的非负时，则认为在该点的预测值损失为0。 如图1所示，当样本点()处于两条虚线围成的管道中的时侯，有最小的损失。 为了得到使得函数（）的结构风险最小化的参数w和b，可以引入因子，?鄢以处理不满足（1）式的数据点。根据结构风险化准则，线性回归可以转化为求解优化问题（3）： （3）式中，C是一个正常数，用来控制对超出误差的样本的惩罚程度。惩罚因子C越大，则对错误的惩罚越重。构建拉格朗日方程： 可用Karush-Kuhn-Tucker条件求得。 1.2非线性回归3 对于非线性回归问题而言，可以通过将原始变量空间X中的输入向量经过一个非线性变换（?（）映射到高维特征空间F中，将非线性回归问题转化为高维空间中的线性回归问题，在变换后的高维空间中求其最优线性回归面。此时（4）式变为： （i，j）是一个非负定对称函数，称为核函数(Kernelfunction)。 经非线性变换后的二次规划问题变为求解如下问题： 回归决策函数变为： 其中： 1.3核函数 支持向量机在处理回归问题时，需要把低维空间X经非线性映射至高维特征空间F，于是支持向量机引入了核函数K（x，y）4。核函数在支持向量机中起着非常重要的作用：选择适当的核函数，将高维特征空间的内积运算转化为低维输入空间的核函数进行计算，就能够巧妙地解决在高维特征空间中计算的“维数灾难”问题。 在实际应用中常用的核函数有： 高斯径向基函数（GaussRadialbasiskernelfunction）： 2基于支持向量回归的材料性能预测 2.1基于SVR的Al-Cu-Mg-Ag合金抗拉强度及屈服强度性能预测5 所建的SVR预测模型，以Al-Cu-Mg-Ag合金时效温度与时效时间为输入参数，合金的抗拉强度、屈服强度为输出参数。实验数据共27组，应用实验数据集中的25个样本进行建模训练，将余下的两个样本，第26和27组，作为预测样本进行预测研究。表1对比了BP神经网络模型和SVR模型二者预测值的平均绝对误差（MAE）和平均绝对百分误差（MAPE）。结果显示，SVR预测模型对Al-Cu-Mg-Ag合金强度性能的预测非常有效，其精确程度超过BP神经网络预测模型，可以用于Al-Cu-Mg-Ag铝合金时效过程中工艺参数与性能的关系的预测和分析。 2.2基于SVR的Zr-2合金的晶粒尺寸预测6 根据Zr-2合金晶粒尺寸在变形程度、变形温度、变形速率3个热工艺参数下的12组实测数据，建立Zr-2合金的晶粒尺寸预测模型。研究将SVR模型的预测结果与模糊神经网络（FNN）预测模型的预测进行比较。 表2所示是不同工艺条件下Zr-2合金晶粒尺寸的FNN模型预测值、SVR模型预测值和实测值的比较。从表2中可以看到：SVR模型对12个样本的预测值的预测误差都在3%以内。数据表明：基于SVR的回归模型具备较强的识别能力，模型对Zr-2合金的晶粒尺寸有较高的预测精度。数据还显示：FNN预测模型预测最大误差为18.48%，最小为0.72%；SVR模型的最大误差最大值为2.81%，最小接近0。这充分说明：SVR模型在预测Zr-2合金晶粒尺寸方面具有优于FNN模型能力，是更为有效的优化Zr-2合金热加工工艺参数的工具。 表3给的是SVR预测模型与FNN预测模型的预测性能比较。统计结果显示：SVR预测模型的平均绝对误差和平均绝对百分误差（MAE和MAPE）分别为0.08m和0.62%，远小于FNN模型的1.13m和8.66%。在拟合精度方面：FNN预测模型的复相关系数R2为0.603，而SVR预测模型是0.977。这些数据有力的证明：SVR预测模型是比FNN模型更为优秀的Zr-2合金晶粒尺寸预测模型。 2.3基于SVR的钨合金抗拉强度性能预测7 在所建立的SVR预测模型中，钨含量和变形程度作为输入变量，而钨合金的抗拉强度作为输出变量。12个样品选为训练样本，6个样品作为验证样本。 表4列出了SVR预测模型和BPNN预测模型的泛化性能。从表4可以看出，基于SVR预测模型的3个指标：平均绝对误差（MAE），平均绝对百分误差（MAPE），均方根误差（RMSE），分别为：0.015，2.21%，0.021，都小于基于BPNN预测模型的指标：MAE（0.018），MAPE（2.75%）和RMSE（0.026）。结果表明，SVR预测模型的精确度足以满足需求，能用于钨合金的抗拉强度的预测及优化钨合金加工工艺。 3结束语 本文介绍了SVR的相关原理；利用基于SVR的材料性能预测模型，对三不同材料的有关性能进行预测。研究实例显示：SVR预测模型具有良好的学习和泛化能力，基于SVR的预测模型，在材料性能的预测领域可以有很广泛的应用。 参考文献 邓乃扬,田英杰.数据挖掘中的新方法-支持向量机M.北京:科学出版社,xx. Z.Lu,J.Sun.Non-MercerhybridkernelforlinearprogrammingsupportvectorregressioninnonlinearsystemsidentificationJ.AppliedSoftComputing,xx,9(1):94-99. K.W.Lau,Q.H.Wu.Localpredictionofnon-lineartimeseriesusingsupportvectorregressionJ.PatternRecognition,xx,41(5):1539-1547. B.Schlkopf,A.J.Smola.LearningwithkernelsM.1stedition.London:TheMITpress,xx:25-60. 唐江凌,蔡从中,等.Al-Cu-Mg-Ag合金强度性能的支持向量回归预测J.航空材料学报,xx,5:92-96. 唐江凌,蔡从中,等.支持向量回归在Zr-2合