基于lpso算法的训练支持向量机的优化

基于lpso算法的训练支持向量机的优化

1群优化算法1995年，valk设计了一种新的统计学习方法（svm支持）。支持向量机拥有完整的统计学习理论和良好的学习性能。它是机械学习领域的研究热点，在许多领域得到了成功应用。支持向量机理论是基于VC维理论和结构风险最小化原理的粒子群优化算法(ParticleSwarmOptimization,PSO)是由J.Kennendy和Eberhart等人受鸟群觅食行为的启发而提出的一种仿生型群体智能优化算法,它是一种具有随机性的多点搜索算法,具有隐含的内在并行性,能够在多维空间中快速找到问题的最优解。基本的PSO算法只能求解无约束优化问题,LPSO(LinearParticleSwarmOptimization,LPSO)算法可用于求解含有线性等式约束的优化问题,但是LPSO算法存在严重的早熟收敛问题,本文对LPSO算法进行了改进,用于支持向量机的训练,并和基于分块算法、分解算法和序列最小优化算法(SequentialMinimalOptimization,SMO)的SVM训练方法进行了比较。2算法描述2.1惯性因子wD维搜索空间中,有m个粒子,其中第m个粒子的位置是其中i=1,2,L,m;d=1,2,L,D;w是非负常数,称为惯性因子;学习因子c2.2求解各向的学习因子LPSO算法专用于解决线性约束问题,传统的粒子群算法,速度和位置的更新公式如(1)和(2)所示,为每一维粒子分别设定了速度和位置的更新。对于所有维的向量,学习因子rLPSO解决的问题形式:最小化:f(x),x∈R约束条件:Ax=bA∈R即:初始化每一个粒子的位置通过实验表明,LPSO算法可以满足约束条件,但存在严重的早熟收敛问题。因而要对LPSO算法进行改进,以克服早熟问题。2.3粒子速度与位置更新如果粒子的初始速度v在另一种情况下,如果x为了克服此早熟现象,选择处于最优位置的粒子θ,并对其速度进行更新,速度更新公式如下式中:ρ此时位置更新公式为:采用这种新的速度与位置的更新方法仅限于处在最优位置的粒子,其余粒子的速度与位置更新仍应用公式(3)和(4)。3支持向量机培训提高了lcs算法3.1基于高维线性特征空间的训练集空间SVM对于非线性回归问题引入核函数的概念,通过某一个非线性函数ϕ(x)将训练集数据x映射到一个高维线性特征空间,且此核函数K满足K(x目标函数:约束条件:由上式可求解得到拉格朗日乘子α3.2基于粒子群算法的支持向量机(1)对粒子群的速度与位置进行初始化,其中每个粒子分别代表α和α*,使得其满足等式约束条件同式(7)(2)定义适应度函数为(3)根据粒子群算法,将各粒子的当前适应值F(X(4)将各粒子的自身最优位置的适应值F(P(5)根据粒子群优化算法的进化方程(3)和(4)对粒子的速度和位置进行进化调整,对处在全局最优位置的粒子,根据方程(6)和(7)对其进行速度与位置的进化调整,即得到新的支持向量机参数值。(6)判断所有粒子的最优位置的适应值或迭代次数是否满足要求,若满足,则结束计算,并保存此时的粒子群的整体最优位置值。若不满足则返回流程第(3)步继续计算。4svm的泛化能力大多数的生化反应通常都是极其复杂的,反应过程中的非线性、时变性和不确定性严重,而且目前缺少对重要过程参数的在线检测仪器,针对生化过程的特点,采用机理建模的方法来建立模型比较困难。目前较多的用于微生物发酵过程建模与预测的是基于神经网络的建模方法。但由于基于神经网络建模的方法是基于经验风险最小化原则,即训练误差最小原则,所以容易导致模型过拟和,因此此类模型往往泛化预测能力差。支持向量机(SVM)具有小样本学习能力强、非线性处理能力好,数学理论基础较严密等特点,同时支持向量机的内部优化是基于结构风险最小化原理,其目标函数包括经验风险和置信区间。因此SVM的泛化能力要比神经网络等传统非线性函数逼近方法好。近年来已经有人利用SVM来进行过程建模的研究与应用。谷氨酸发酵是典型的生化反应过程。谷氨酸发酵过程中通常可在线测量的变量为溶氧浓度、通风量、PH值、CO本文在实验中分别采用分块算法、分解算法、序列最小优化算法、LPSO算法以及改进的LPSO算法对支持向量机进行训练。分块算法的基本思想是:去掉对应于非支持向量机的Lagrange乘子分解算法基本思想是:将SVM中大型的QP问题转化为一系列的求解规模一定的子QP问题,每一步都要保持问题满足KKT条件,将上一步子QP问题中不满足KKT条件的数据点对应的拉格朗日乘子引入到子QP问题中,同时去掉一个拉格朗日乘子,这里的拉格朗日乘子不一定为零,这点不同于分块算法,构成新一步的子QP问题。这样使目标函数值进一步下降,直至最后所有的拉格朗日乘子都满足KKT条件,就得到问题的最优解。序列最小优化(SMO)算法是分解算法中选取工作集|B|=2的特殊情形,即每次迭代过程中只调整相应于两个样本点(x在实验中,采用8批生产数据,每批60组数据,均表示一个完整的发酵过程,采用其中5批数据进行训练,剩余的3批数据作为检验样本来做预估,检验其泛化能力。选取C=100,σ=0.5,γ=0.35,w=0.7,c实验结果表明:利用改进后的LPSO算法对谷氨酸发酵过程进行训练,虽然训练时间并非最短,但具有较高的训练精度,使LPSO的早熟收敛问题得到了明显的改善。该算法还具有很