（机械电子工程专业论文）基于支持向量机的摩擦建模与补偿.pdf

摘要 伺服系统中由于摩擦等非线性引起的爬行，跟踪误差等现象严重阻碍系统性 能的进一步提高。为了消除或减小摩擦给系统带来的危害，提高伺服系统的跟踪 性能，本文研究了摩擦建模与补偿问题，主要内容如下； 首先，综述了国内外在摩擦建模以及摩擦补偿方面的研究现状，并提出了基 于支持向量机的摩擦建模与补偿。 其次，介绍了一种改进的支持向量机( s v m ) 一最小二乘支持向量机( l s s v m ) ， 并利用l s s v m 对伺服系统中的摩擦建模与补偿。 最后，以典型机电位置伺服系统为研究对象，建立基于l s s v m 摩擦补偿的 机电伺服系统模型。基于l y a p u n u v 稳定性理论，应用反步积分方法，设计了基 于l s s v m 的反步控制器，保证了参数估计值的收敛性和全局的稳定性。并进 行仿真，结果表明，与传统p i d 控制相比，上述方法能够有效地对摩擦进行补 偿，从而减小了跟踪误差，增强了系统的鲁棒性。 关键词：支持向量机伺服系统摩擦建模与补偿积分反步自适应控制 a b s t r a c t f r i c t i o nc a u s e dl o ws p e e dc r e e pa n dt r a c k i n ge r r o r sw h i c hp r e s e n t si ns e r v o s y s t e m sh a s b e c o m ea ni m p e d i m e n tt oi m p r o v et h e i rp e r f o r m a n c e i no r d e rt oe l i m i n a t e o rr e d u c et h ee f f e c to ff r i c t i o n , a n di n c r e a s et h es y s t e mp e r f o r m a n c e ，a p p r o p r i a t e m e t h o d sm u s tb ec a r r i e do u t t h i sd i s s e r t a t i o nf o c u s e so nt h ef o l l o w i n gw o r k ： f i r s t l y , t h ep r e s e n ts i t u a t i o no ff r i c t i o nm o d e l i n ga n dc o m p e n s a t i o na th o m ea n d a b r o a da r es u m m a r i z e d f r i c t i o nm o d e l i n ga n dc o m p e n s a t i o nu s i n gs u p p o r tv e c t o r m a c h i n e ( s v m ) i sp u tf o r w a r d s e c o n d l y , ai m p r o v ds v m t h el e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ( l s - s v m ) i s i n t r o d u c e d ，a n df r i c t i o nm o d e l i n ga n dc o m p e n s a t i o nb yl s - s v m i ns e r v os y s t e m s - f i n a l l y , am a t h e m a t i cm o d e lf o rat y p i c a lm e c h a n i c a lp o s i t i o ns e r v os y s t e mw i t h f r i c t i o nm o d e lb yl s s v mi se s t a b l i s h e d ab a c k s t e p p i n gc o n t r o ll a wb yl s - s v m i s d e r i v e dw i t hl y a p u n o vs t a b i l i t yt h e o r yt oe n s u r ea s t r i n g e n c yo fp a r a m e t e re s t i m a t i o n a n dg l o b a ls t a b i l i t yo fs e r v os y s t e m sw i t hf r i c t i o n s i m u l a t i o nr e s u l t ss h o wt h a ts y s t e m r o b u s t n e s sa n dt a c k i n ga c c u r a c ya r ei m p r o v e dw i t hp r o p o s e dm e t h o dt h a n t h a tw i t h t r a d i t i o n a lp i dc o n t r 0 1 s v ms e r v os y s t e m s f r i c t i o nm o d e l i n ga n dc o m p e n s a t i o n i n t e g r a l - b a c k s t e p p i n ga d a p t i v ec o n t r o l 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：塑日期卅呈丝 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 本人签名： 导师签名： 日期垄竺堑笙 笙 日期2 掣生业 第一章绪论 第一章绪论 1 1 课题来源与背景 本课题来自于纵向基础研究项目，主要研究非线性的摩擦对系统造成的影响， 其目的是通过对摩擦进行建模与补偿，减小或消除摩擦对伺服系统的影响，从而 提高系统的低速平稳性、跟踪精度和鲁棒性。 伺服系统是应用领域非常广泛的一类系统，它是一种跟踪输入指令信号进行 动作，获得精确的位置、速度及动力输出的自动控制系统。其作用在于使被控对 象的运动复现输入量的变化规律，被控对象在输入信号作用下的运动特性可以通 过系统的稳定性，精度以及响应的快速性来表示，对伺服系统的基本要求也表现 在这些方面。现代科学技术的飞速发展，使得伺服系统在国际竞争中发挥着越来 越重要的作用。随着竞争的激烈化，从大功率设备的拖动机构到电子设备的精密 加工都对伺服系统提出了越来越高的性能要求【1 1 。 伺服系统的位置精度、速度精度和速度平稳性是设计的重要指标，对于高精 度伺服系统，则要求具有低速平稳性和高的跟踪精度，这些性能的实现由系统各 个环节的特性所决定，它与机械结构因素有着密切的联系。伺服系统性能主要取 决于系统的非线性因素。非线性因素给控制带来的影响越来越大，严重阻碍了系 统性能的进一步提高。伺服系统中的机械非线性环节，主要有摩擦和间隙，本文 主要研究摩擦对伺服系统的影响。 摩擦的存在对伺服控制系统性能造成的不良影响，主要体现在由于摩擦过程 本身激发的不平稳运动( 即极限环振荡) 造成系统的死区非线性，使分辨率及重复 精度降低，当低速跟踪时，由于存在动静摩擦力矩之差，伺服系统可能出现跳动 和爬行现象，不能保持速度的平稳性【2 , 3 1 。 摩擦力矩大小主要与轴系结构及润滑状况、负载大小和速度等有关，而且随 位置和时间有随机变化。为了消除或减小摩擦的影响、进一步提高系统的性能， 人们在机械结构方面作了不少努力，例如提高有关机械零件的加工精度、改进润 滑条件等，然而这些纯机械的方法造价较高，有的甚至是无法做到的。因此有必 要在控制策略中对摩擦进行补偿来减小或消除摩擦对系统性能的不利影响，合理 的解决系统中存在的摩擦环节尤其是非线性摩擦环节的制约问题，提高伺服系统 的性能，以满足高精度的要求。 2 基于支持向量机的摩擦建模与补偿 1 2 伺服系统中摩擦的特性 长期以来，伺服系统中的摩擦一直困扰着众多的机械、控制界学者。摩擦的 存在降低了系统的性能，系统中的摩擦对性能的提高构成了严重的障碍，因此为 了进一步提高系统的性能就必须减小或者消除摩擦对系统性能的不利影响，而要 达到这个目标就必须对摩擦的特性和机理进行分析，理解它是以何种规律影响系 统性能的。 1 2 1 摩擦的静态特性 摩擦力的大小取决于多方面因素，接触面的几何形状，接触物体的材料，以 及物体的相对速度和润滑情况都会影响它的大小。物体的表面不可能绝对平滑， 实际上摩擦表面是由一些微小的突出的点相接触，称其为突点。由接触面的相对 静止到相对运动，按决定摩擦力大小的因素不同，共分为四个阶段【3 j ：接触面弹性 形变阶段、边界润滑阶段、部分液体润滑阶段和全液体润滑阶段。图1 1 是这四个 阶段的示意图，图中描述的滑动速度和摩擦力关系的曲线称为s t r i b e c k 曲线。 摩 擦 力 图1 1s t r i b e c k 曲线 第一个阶段( 静摩擦阶段或弹性变形阶段) ，物体相对滑动之前，受到静摩擦 力的约束，处于一种“粘着 状态，接触面粗糙的“突点由于受力产生弹性形 变，出现微小位移一滑动前位移。从控制的角度看，正是这种弹性变形导致了增 加的静摩擦力。尽管位移较小，但对高精度的伺服系统仍然很重要。静摩擦力在 突点断开之前，达到一个峰值，这个值就是最大静摩擦。此阶段的摩擦力不依赖 于速度，没有相对滑动，没有能量损失，只是一种约束力，摩擦力大小与所施加 的控制力大小相同，方向相反。 第二阶段( 边界润滑阶段) ，当外力克服最大静摩擦力，弹簧被拉断，系统开 第一章绪论 始真正的滑动。由于开始时速度极低，不足以使润滑剂形成液体薄膜，摩擦力实 际上是由固体间的剪切作用引起的，边界润滑与系统的低速爬行现象也存在着密 切的关系1 4 j 。 第三阶段( 部分液体润滑阶段) 速度进一步提高，相对运动使接触表面间形 成液体层。随着液层的逐渐加厚，接触的“突点 越来越少，由于法向压力的作 用，使部分润滑液被挤出接触表面，因此仍有部分区域为固体接触，故称为部分 液体润滑阶段。一般边界润滑时的摩擦力大于全液体润滑开始时的摩擦力，所以 过渡阶段摩擦力会随速度的增加而减小，呈现负斜率特性( s t r i b e c k 特性) 。这一阶 段的摩擦记忆现象较为明显【引。 第四阶段( 全液体润滑阶段) ，随着速度的增加，液体层完全形成，接触面被 完全分开，不再有固体接触区域，摩擦力减小，与速度成正比的粘性摩擦力占主 导地位，摩擦力主要取决于速度和润滑剂的粘性系数。 1 2 2 摩擦的动态特性 图1 1 给出的是摩擦力与稳恒速度的关系，实际上是摩擦的静态特性，随着摩 擦学的不断发展，人们发现，当速度和外力变化时，摩擦并不是严格遵循这个关 系曲线的，而有其动态特性，即增加的静摩擦力和摩擦记忆特性【5 ，同时还会产 生d a h l 效应【引。 ( 1 ) 增加的静摩擦 静摩擦的可变性是指随着接触面之间相对静止的时间变化，静摩擦力的大小 也发生变化，滑动前的相对静止时间越长，静摩擦力越大，这一性质已被 砌c l l a r d s o n l 9 1 的研究证实。 ( 2 ) 摩擦记忆 所谓摩擦记忆就是接触表面间相对运动速度发生改变时，摩擦力滞后一段时 间才会改变的现象。摩擦力还与接触面间的压力( 法向力) 有关，当负载增大时， 压力增大，静、动摩擦力也随之增大。摩擦特性具有不确定性，它还受接触面的 清洁程度、环境温度、湿度等因素的影响【3 1 。 ( 3 ) d a h l 效应 在滑动前的弹性形变阶段，摩擦力并非总是位移的线性函数，当所加切向力 超出线性范围后，撤掉外力会造成永久的位移，这被称为d a h l 效应。 1 2 3 爬行现象 爬行现象的实质是当物体在滑动面上做低速相对运动时，在一定条件下产生 4 基于支持向量机的摩擦建模与补偿 的停止和滑动相交替的现象，是一种不连续的振动。通常情况下，轻微程度的爬 行是人眼不易察觉的振动，显著的爬行则是大距离的跳动。摩擦振动的存在，破 坏了系统运动的均匀性，不仅产生冲击，同时也会影响控制系统的精度。因此， 必须设法减少摩擦对系统的影响。 摩擦力矩总是阻碍系统运动及运动趋势。因为滑动摩擦力矩总比静摩擦力矩 小，所以当伺服系统转轴开始转动时系统必须有较大的失调角，才能产生足以克 服静摩擦力矩的转矩。当转轴开始转动后，静摩擦变为动摩擦，摩擦力矩突然下 降，由于惯性，伺服系统仍加速运动，失调角减小，使电机力矩下降，于是伺服 系统又开始减速，当转速减小到零时，摩擦力矩再次变为静摩擦，阻转力矩加大， 迫使伺服系统停止转动。此时输入指令仍继续给出，而由于系统停转，输出为零， 则系统失调角愈来愈大，当超过足以克服静摩擦力矩的数值时，电机转矩再次克 服摩擦力矩开始新一轮的转动，转台时转时停，以上现象的不断重复就形成了物 体的爬行。 由此可知： ( 1 ) 爬行现象的产生首先和摩擦力特性有关，如果静摩擦力与动摩擦力相等， 摩擦力没有负斜率特性，那么当物体克服最大静摩擦力开始运动后，不会出现摩 擦力力矩的下降，伺服系统不会先加速后减速。 ( 2 ) 爬行的产生与系统的刚度有关，当刚度为无穷大时，系统中就没有失调角， 被传动件与传动件好像一个刚体物体只能以相同速度一起运动。 ( 3 ) 爬行的产生与物体移动速度有关，当移动速度很大时，物体就来不及停止， 摩擦的非线性特性无法作用，也就不会出现爬行现象。 综上所述，伺服系统运行中，由于系统中普遍存在的摩擦现象，导致系统很 难满足高精度的要求。为了进一步提高系统的性能必须从控制角度出发，减少或 者消除摩擦对系统性能的不利影响。 1 3 1 摩擦模型 1 3 摩擦建模及补偿 为了克服摩擦给伺服系统带来的危害，提高伺服系统的性能，人们希望从控 制角度出发能建立一个比较全面反映摩擦现象的模型，为此，很多学者进行了大 量的研究。关于摩擦建模的研究可以追溯至十六世纪早期，那时，l e o n a r d od a v i n v i c 就提出了经典的模型：“摩擦力正比于负载，与运动方向相反且不依赖于接触面 积 ，此模型经c o u l o m b 发展后被称为c o u l o m b 模型。1 8 8 3 年，m o r i n 引入了静 第一章绪论 摩擦的概念，1 8 6 6 年r e y n o l d s 引入粘滞摩擦的概念，从而形成了至今仍被广泛使 用的“静摩擦+ c o u l o m b 摩擦+ 粘滞摩擦的模型【3 】。显然，经典的“静摩擦+ c o u l o m b 摩擦+ 粘滞摩擦”模型不但没有反映出增加的静摩擦力和摩擦记忆现象，也不能很 好地描述s t e r i b e c k 曲线。直到1 9 5 8 年，r a b i n o w i e z 发表了里程碑式的论文，首次 将增加的静摩擦力和摩擦记忆现象纳入模型中。1 9 7 2 年，k o t o 对静摩擦力和停滞 时间的关系进行了深入研究并提出了增加的静摩擦力的实验模型，1 9 0 0 年，h e s s 和s o o m 提出了纯时滞模型，试图描述摩擦记忆现象。然而迄今为止，摩擦学尚未 能提出一个有效的描述摩擦记忆现象的理论模型。近年来，为了能更精确地描述 摩擦的动力学行为，一些学者又提出了多种摩擦模型，力求尽可能全面地描述摩 擦的动态特性。这些模型中，较有影响力的模型主要有：d a h l 模型【8 】、复位积分 模型3 1 、b l i m a n 和s o r i n e 模型1 0 1 ，b r i s t l e 模型1 1 1 和l u g r e 模型【1 2 j 。 1 3 2 摩擦补偿 由于摩擦对伺服系统的性能产生了巨大的影响，因此对其实施补偿以消除这 些影响在工程中具有重要意义。目前，摩擦补偿主要有三大类方法，下面将分别 介绍。 1 独立于摩擦模型的补偿 独立于模型的补偿( n o n m o d e l b a s e dc o m p e n s m i o nf o rf r i c t i o n ) 方法不依赖于摩 擦模型，主要有下面几种形式： ( 1 ) 基于高增益的p d p i d 控制器的补偿( s t i f f p dc o n t r 0 1 ) 高增益p d 控制是人们最早使用的抑制摩擦非线性的控制方法。p d 控制中的 微分项能增大系统阻尼，由于摩擦记忆特性，采用p d 控制可以在一定程度上改善 低速跟踪性能，抑制爬行现象p j ，但对实际系统，增益过高会导致不稳定，使该方 法的应用受到限制。将p d 控制器改为p i d 控制器后虽然可以减小稳态误差但却会 导致系统产生震荡。文献1 1 3 j 中研究了非线性p i d 控制方法，即根据系统的状态来 调整p i d 各项的系数，更好地对摩擦进行抑制。 ( 2 ) 抖动( d i t h e r ) 丰b 偿 抖动是将高频信号引入系统来改善其动态特性的种方法。在含摩擦环节的伺 服系统中引入抖动方法的目的就是平滑在低速运动时不连续的摩擦力。抖动补偿 又有切向抖动和法向抖动两种方法。所谓切向抖动就是沿运动方向施加抖动作用， 它可以减少摩擦对系统性能的影响；法向抖动是沿接触表面的法向施加抖动作用， 它可以减少摩擦系数。这两种方法都可以提高系统的性能。 ( 3 ) 脉冲控制补偿( i m p u l s i v ec o n t r 0 1 ) 脉冲控制就是在系统中施加大振幅、短时间的控制作用，它可以变静摩擦为动 6 基于支持向量机的摩擦建模与补偿 摩擦从而改善系统的低速性能。这种方法不同于前面提到的抖动方法，它是利用 脉冲控制作用而使系统产生某种期望的运动，而对后者来说，抖动作用并不能单 独使系统产生运动。 2 基于摩擦模型的补偿 基于摩擦模型的补偿方法的实质是前馈补偿，即首先对系统中的摩擦环节建 立或选择适当的数学模型，根据速度、位置等相关量计算出系统的摩擦力，然后 在控制力矩中加入一个大小相同方向相反的力，从而消除摩擦环节对系统的影响。 图1 2 表示基于模型的摩擦补偿器的基本结构。 参 度 图1 2 基于模型的摩擦补偿器的基本结构 对基于模型的补偿来说，在实施补偿时，如果摩擦模型的参数是离线整定的， 且在控制过程中保持不变，这种补偿就是固定补偿( f i x e dc o m p e n s a t i o n ) ：如果摩擦 模型的参数是通过在线辨识得到的，在控制过程中是可变的，这种补偿就是自适 应补偿( a d a p t i v ec o m p e n s a t i o n ) 。自适应补偿可以捕捉到由于环境条件、润滑条件 及负载变化引起的摩擦力的变化，动态抑制干扰对系统的影响，提高系统的动态 控制性能，有效地实施补偿。自适应补偿涉及两个方面的内容：一是参数的辩识， 二是自适应控制器及相应控制算法的设计。 目前，常见的补偿方法有下面几类。 ( 1 ) 基于库仑摩擦模型的补偿方法 采用库仑摩擦模型进行补偿的优点在于模型简单，易于实现，但由于该摩擦 模型是静态摩擦模型，无法描述零速时摩擦的非线性特性，使其控制效果受到限 制。为此，很多学者提出了相应的改进措施。b f r i e d l a n d 等【1 4 】将库仑摩擦表示成时 间的函数，提出了基于非线性观测器的自适应补偿方法，通过提高观测器增益， 来弥补采用固定库仑摩擦模型进行补偿的缺陷。 ( 2 ) 基于静摩擦+ 库仑摩擦模型的补偿方法 基于静摩擦+ 库仑摩擦模型的补偿方法中，由于在摩擦模型中加入静摩擦项， 可以预测速度过零时出现的多值非线性，因此同基于库仑摩擦模型的补偿方法相 比，它能更好地改善系统在零速附近的动态响应，其缺点是对速度信号的品质要 第一章绪论 7 求很高。文献【1 5 】针对机械人关节控制，提出了基于静摩擦+ 库仑摩擦+ 粘性摩擦的 固定模型的补偿方法；文献【1 6 l 针对静摩擦+ 库仑摩擦模型，提出了一种基于伪线性 回归原理的模型参数离线辨识方法和一种自适应摩擦补偿方法。 ( 3 ) 基于指数摩擦模型的补偿方法 指数模型虽然是静态摩擦模型，但它在描述摩擦现象时，考虑- j s t r i b e c k 效应 ( i ! p s t r i b e c k 曲线的前段具有负斜率) ，这使得在超低速段( s t r i b e c k 段) ，指数模型对 摩擦现象的描述更为精确，因此基于指数模型的摩擦补偿控制对于提高系统的超 低速性能和抑制稳态极限环振荡【1 7 】有明显的效果。但由于指数模型的参数空间是 非线性的，使得参数的在线辨识较为困难，这也是基于指数模型的自适应摩擦补 偿的难点所在。 ( 4 ) 基于k a r n o p p 摩擦模型的补偿方法 采用基于k a r n o p p 模型的摩擦补偿方法的突出优点在于对速度信号的测量精 度要求不高，且能较好地改善系统在零速时的动态响应，因此在实践中深受控制 系统工程师们喜爱，如文献【1 8 】。文献( 1 9 l ：将k a m o p p 摩擦模型的参数辨识归结为一 个非线性优化问题，采用非线性编程技术作为在线优化方法，对摩擦参数进行辨 识。 3 基于智能摩擦补偿 由前面的讨论可知，不仅建立精确的模型非常困难，而且即使得到了较为完 善的模型也会因为其复杂的表达式使系统分析和基于模型的补偿难以实施。近年 来，在基于非模型的补偿方面，很多学者开始尝试用智能来实现摩擦补偿。智能 控制同传统的控制方法相比，不需要对象的数学模型，为解决伺服系统中的摩擦 问题开辟了新途径。智能控制有模糊控制【2 0 川，神经网络控n t ：z 2 2 4 1 ，支持向量机【2 5 之7 】 控制等方法。 1 4 基于支持向量机摩擦建模与补偿 我们知道，存在于伺服系统中的摩擦是一种复杂的现象，它在很大程度上限 制了系统性能的提高，摩擦不但难于精确建模，而且在系统运行时会以某种人们 未知或不完全掌握的规律变化，因此有效的摩擦建模与补偿变的非常困难。由于 传统的基于高增益的p d 控制的补偿方法，固定补偿以及脉冲抖动等补偿方法都 有其各自的局限性和缺陷，所以8 0 年代以来很多人将注意力集中在自适应摩擦补 偿的研究上，他们提出了多种摩擦力的自适应补偿方法，试图捕捉到由于环境、 润滑条件和负载变化所引起的摩擦力变化，从而实施更加有效的补偿，但这样一 来自适应控制的结果和控制算法相对较复杂，限制了其应用。因此近年来，随着 支持向量机理论和技术的发展，一些学者开始将支持向量机用于摩擦建模与补偿 8 基于支持向量机的摩擦建模与补偿 的研究中，以克服固定补偿和自适应补偿的不足，从而最大限度地消除摩擦对伺 服系统的不利影响，提高系统的性能。 1 5 本文主要内容 本文目的是通过支持向量机对摩擦建模，并设计基于支持向量机反步积分控 制器，对摩擦进行补偿，减小或消除摩擦对伺服系统的影响，具体内容包括： 第一章介绍了伺服系统中摩擦力的特性，分析了摩擦力对伺服系统的影响， 并介绍了摩擦建模与补偿的一些方法和国内外研究现状，最后引出本文的研究内 容。 第二章阐述了统计学与支持向量机的理论基础。 第三章引用了一种改进的支持向量机一最小二乘支持向量机，利用l s s v m 对 伺服系统中的摩擦建模与补偿。 第四章以典型机电位置伺服系统为研究对象，基于l y a p u n o v 稳定性理论，设 计基于l s s v m 自适应反步控制器，保证了参数估值的收敛性和全局的稳定性。 第五章对上述控制补偿方法进行了仿真。结果表明：与传统的p i d 控制相比， 基于l s s v m 反步自适应控制器对摩擦进行了有效的补偿，显著提高了系统的跟 踪精度和鲁棒性。 第二章支持向量机基础及理论 9 第二章支持向量机基础及理论 传统的统计学是基于样本数目趋于无穷大的渐近理论，而实际问题中样本数 目往往是有限的。统计学习理论【2 8 2 9 】克服了这一不足，是一种专门研究小样本情 况下的机械学习理论。支持向量机是基于统计学习理论发展起来的一种新型机器 学习方法。目前，支持向量机已经被成功地应用于分类和函数拟合等方面。 本章主要系统地介绍统计学习理论、支持向量机分类和支持向量回归 3 0 - 3 5 】 的基本概念和理论。 2 1 机器学习的基本问题 所有的机器学习方法大体上可以分为两大类，即人工智能的方法和数学方 法。数学方法中基于统计的学习方法，近年来得到蓬勃发展，在解决“从数据中 学习 上取得了很大的成功，这不能不归功于美国学者v a p n i k 等人在发展统计 学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y 或s l t ) 上的创造性贡献。与传统的统计学相 比，统计学习理论也称v c 理论( v a p m k c h e r v o n e n k i s ) 是一种专门研究小样 本情况下机器学习的理论，它建立在一套较坚实的理论基础之上，为解决有限样 本学习问题提供了一个统一的框架。下面将仔细介绍机器学习的基本问题。 2 1 1 问题的表示 机器学习的目的是根据给定的训练样本求出某系统输入、输出之间的依赖 关系，使其对未知的输出做出尽可能准确的预测。对n 个相互独立并服从统一分 布的观测样本( 而，乃) ，( x 2 ，y 2 ) 99 ( 矗，咒) ，假定系统在给定输入为x 的情况下输出 为y ，且y 与x 之间存在未知依赖关系，即遵循未知的联合概率f ( x ，y ) 。机器学 习的问题就是根据观测样本在函数集 f ( x ，w ) ) 中找出一个最优的函数f ( x ，w o ) 对 x 和y 的依赖关系进行估计，使得学习机器的期望风险即： r ( w ) = i l ( y ，f ( x ，w ) ) d f ( x ，y ) ( 2 - 1 ) 最小。其中， f ( x ，w ) ) 称作预测函数集，w 为函数的广义参数，l ( y ，f ( x ，们) 称 为损失函数 机器学习一般有三类方向：模式识别、函数逼近和概率密度估计。对模式识 别问题，输出y 是类别标号，在两类情况下，y = o ，1 ) 或者 l ，一1 ) 。此时，损失函 数可以定义为： l o 基于支持向量机的摩擦建模与补偿 三c y ，厂c 工，叻，= o 参；二； 二： c 2 - 2 ， 在函数逼近问题中，y 是连续变量。对单值函数，损失函数采用最小平方误 差准则，可定义为： l ( y ，f ( x ，叻) = ( y - f ( x ，w ) ) 2( 2 - 3 ) 对于概率密度估计问题，学习的目的是根据训练样本确定x 的概率密度 p ( x ，1 4 ) ，则损失函数可以定义为： l ( y ，f ( x ，w ) ) = - l o g ( p ( x ，计)( 2 4 ) 2 1 2 经验风险最小化原理( e r m ) 在前面的问题中，学习的目的就是为了使期望风险( 真实风险) 最小，为达此 目的，必须依赖于联合函数f ( x ，y ) 。但是，在实际的机器学习问题中，这一条 是未知的，只能利用已知训练样本的信息，因此期望风险无法直接计算和进行最 小化。为此，在实际应用中，一般根据大数定理即采用算数平均来代替，利用求 经验风险即： 1 上 ( 川= 亡三( 乃，厂( 葺，们) ( 2 5 ) ，i = l 的最小值来代替求期望风险的最小值，即为经验风险最小化原贝j j ( e m p i r i c a l 砌s k m i n i m i z a t i o n ) 事实上，用经验风险代替期望风险，这样做并没有经过充分的理论论证，但 这种思想却在多年的机器学习研究中占据了主要地位。根据概率理论，在一般情 况下，当训练样本1 1 趋于无穷大时均值收敛于期望值，但并不能说使经验风险 ( w ) 最小的w ，同时也会使期望风险r ( 们最小，即使可以假定当n 趋向于无 穷大时，( 呐趋近于r ( w ) ，在很多问题中的样本数目也离无穷大想去甚远。 2 1 3 复杂性和推广性能 用前面所说的e r m 准则代替期望风险最小化是根据当样本1 1 趋向于无穷大 时，经验风险趋向于实际风险。但是实际的学习过程中，样本的数目远远达不到 无穷大，如神经网络学习就是采用经验风险最小化原理。在神经网络学习中发现， 训练误差小，并不能导致好的预测结果。在某些情况下还可能导致过学习现象。 之所以会出现过学习现象是因为试图用一个非常复杂的模型去拟合有限的样本， 第二章支持向量机基础及理论 从而导致丧失了模型的推广能力。学习机器的复杂性和推广性是一对相互矛盾的 因素：模型的复杂度越大，则模型的精度越高。但是，这势必会影响到模型的推 广性能。 由此可看出，有限样本情况下，经验风险最小并不一定意味着期望风险最 小；学习机器的复杂性不但应与所研究的系统有关，而且要和有限数目的样本 相适应。因此，需要一个能够指导我们在小样本情况下建立有效的学习和推广方 法的理论，即它能根据有限的样本信息在模型的复杂性和学习能力之间寻找最佳 折衷，以希望获得最好的泛化能力。 2 2 统计学习理论 统计学习理论就是研究小样本统计学习的理论，包括一下几个基本概念：结 构风险最小化原理、v c 维、以及推广性，以下从这几个方面说明统计学习理论。 2 2 1 统计学习理论与传统统计学习理论的区别 传统的统计学所研究的是渐近理论，也就是当样本数目趋向无穷大时的极限 特性。但是在实际应用中，此前提一般无法满足。因此一些理论上很成熟的学习 方法在实际中的表现不可能尽如人意。神经网络存在着网络结构需要确定、过学 习现象、局部极小点等问题，从本质上说就是因为理论上需要无穷样本与实际中 样本有限的矛盾造成的。 与传统统计学的方法不同，v a p n i k 等人提出了一个较完善的基于有限样本的 理论体系统计学习理论。统计学习理论是一种专门研究小样本情况下机器学 习规律的理论，它试图从本质上研究机器学习问题，从而克服了神经网络的缺陷。 2 2 2v c 维 模式识别中的v c 维【2 0 】的直观定义是：对一个指示函数集，如果存在h 个样 本能够被函数集中的函数按所有的2 6 种形式分开，则称函数集能够把h 个样本 打散，函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都 有函数能将它们打散，则函数集的v c 维是无穷大。v c 维反映了函数集的学习 能力，v c 维越大学习机器越复杂，所以v c 维又是学习机器复杂程度的一种衡 量。 1 2 基于支持向量机的摩擦建模与补偿 2 2 3 推广性的界 统计学习理论系统地研究了对于各种类型的函数集的经验风险和实际风险 之间的关系，即推广性的界 2 6 】。对于两类分类问题，结论是：对指示函数集中 的所有函数( 包括使经验风险最小的函数) ，经验风险( w ) 和实际风险r ( w ) 之 间以至少1 一r l 的概率满足如下关系： r ( w ) r , m p ( w ) 4 - h ( 2 n h + 1 ) - i n ( r 4 ) ( 2 - 6 ) l， 其中h 是函数集的v c 维，n 是样本数，刁满足0 刁l 。 这一结论从理论上说明了学习机器的实际风险由两部分组成的：一是经验风 险( i j l l 练误差) ；另一部分称作置信范围，它和学习机器的v c 维及训练样本数有 关。可以简单地表示为； r ( 叻8 伽( w ) + b ( h n )( 2 - 7 ) 右端第二项可知，矽( l l 甩) 随h 加大而增大。 它表明，在有限训练样本下，学习机器的v c 维越高( 复杂性越高) ，则置信 范围越大，导致真是风险与经验风险之间可能的差别越大。这就是为什么会出现 过学习现象的原因。机器学习过程不但要使经验风险最小，还要使v c 维尽量小 以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。因 此，v a p n i k 提出了结构化风险最小原理；为了达到期望风险最小，设法使上式右 边两项同时最小，即v c 维h 和经验风险( 川同时最小。 2 2 4 结构风险最小化原理( s l 洲) 从上面的结论看到，e m r 原则在样本有限时是不合理的，我们需要同时最 小化经验风险和置信范围。其实，在传统方法中，选择学习模型和算法的过程就 是调整置信范围的过程，如果模型比较适合现有的训练样本( 相当于h n 值适当) ， 则可以取得比较好的效果。但因为缺乏理论指导，这种选择只能依赖先验知识和 经验，造成了如神经网络等方法对使用者“技巧的过分依赖。 实现s r m 原则可以有两种思路【2 5 1 ，一是将函数集分成若干子集，在每个子集 中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子集。但是 这种方法比较费时，当子集数目很大甚至是无穷时不可行。因此有第二种思路， 即把函数集s = f ( x ，w ) ，w q 构造为一个函数子集序列，使各个子集按照v c 维的大小( 即矽的大小) 排列。这样在同一个子集中的置信范围就相同，然后在每 第二章支持向量机基础及理论 1 3 个子集中寻找最小经验风险，通常它随着子集的复杂度增加而减小。然后在子集 间折衷考虑经验风险和置信范围，则这个子集中使经验风险最小的函数就是最优 函数。支持向量机方法实际上就是这种思想的具体实现。这种思想称作结构风险 最小化( s t r u c t u r a l 黜s km i n i m i z a t i o n ) 虽os r m 准则，如图2 1 所示。统计学习理论 还给出了合理的函数子集结构应满足的条件及在s r m 准则下实际风险收敛的性 质。 图2 1 结构风险最小化示意图 2 4 支持向量机( s v m ) 信范围 验风险 支持向量机根据有限的样本信息在模型的复杂性和学习能力之间寻找最佳 折衷，以期获得最好的泛化能力。其理论最初来源于对数据分类问题的处理。目 前被广泛用于数据分类和函数拟合等方面。以下着重介绍支持向量机分类以及回 归原理。 2 4 1 支持向量机分类原理( s v c ) 对于线性可分数据的二值分类，既要寻找一个满足分类要求的最优分类超平 面，使得该超平面在保证分类精度的同时，能够使超平面两侧的空白区最大化。 讨论线性可分的情况，如图2 2 所示； 1 4 基于支持向量机的摩擦建模与补偿 o m a r g i n = 2 41 w 图2 2 线性司分情况f 的最优分类线 图中的实心点和空心点表示两类的训练样本，h 为把两类没有错误地分开的 分类线，h 1 和h 2 分别为过两类样本中离分类线最近的点，且平行于分类线的 直线，那么h l 和h 2 之间的距离即为两类的分类间隔( m a r g i n ) ，h 为最优分类线。 所谓最优分类线就是要求分类线不但能够将两类无错误地分开，而且要使两 类的分类间隙最大。推广到高维空间，最优分类线就成为最优分类面。 设训练样本输入为x i ，扛1 ，对应的期望输出为儿= + l ，一1 ，其中+ 1 和- 1 分别代表两类的类别标识。假定分类面方程为；w x + b = 0 。为使分类面对所有 样本正确分类并且具备分类间隔，就要求它满足如下约束： 耋：w+6三二：f加o，r三二：亡，yt(x，w+bw+b ，一t 。c 2 8 ， 而一l 撕m = 一lj 7、7 可以计算出分类间隔，样本点到分类线的距离为： d ：! 型! ：上 ( 2 9 ) i | w i il iw i i 、7 则两类的最大分类间隔为：2 1 1w0 。 目标是在满足约束时，最大化分类间隔2 | 1w l l 即最小化0w i l 2 。那么， 求解最优超平面问题就可以表示成如下的约束优化问题，即在约束条件下，最小 化函数： 矽( 叻= 去ow i l 2 = 去( w w ) ( 2 一l o ) 引入l a g r a n g e 函数： 第二章支持向量机基础及理论 工：三i 2 。 ( 2 - 1 1 ) 其中，口f 0 为l a g r a n g e 乘子，现在问题就是关于w 和b 求三的最小值。 把上式分别对w 和b 求偏微分并令其等于0 ，就可以把上述问题转化为一个较为 简单的对偶问题： 即在约束条件为； 丽o l 一蔷1 鹇而= 。 盖= 扣= 。 a i 0 ，i = 1 ，2 ， 以下对q 求解下列函数最大值： j m a x 形c 口，= 喜q 一丢喜q 吁乃乃c t ，勺， q ，3 ， 【a i o ，i = 1 ，2 ，7 如果z 为最优解，那么； = a ；l y i x j i = i ( 2 - 1 4 ) 即最优超平面的权系数向量是训练样本向量的线性组合。 支持向量机就是首先通过用内积函数定义的非线性变换将输入空间变换到 一个高维空间，在这个空间中求( 广义) 最优分类面。s v m 分类函数形式上类似于 一个神经网络，输出是中间节点的线性组合，每个中间节点对应一个支持向量， 支持向量原来图结构见图2 3 ； q ，商 + 、， ，口+w 而 ，l 片q ，鲥 一 2 w 1 6 基于支持向量机的摩擦建模与补偿 ( 靠，x ) 图2 3 支持向量机原理结构图 支持向量机中最简单最早提出来的模型就是最大间隔分类器。基于支持向量 机的这种方法，b e r n h a r d s c h d t k o p f 等人提出处理无标定数据用于异常检测和 孤立点发现，研究了用于孤立点发现的o n e c l a s ss v m 算法：基本原理是：训练 数据中大部分具有某种特性，很小部分属于孤立点。o n e c l a s ss v m 算法即找到 一个胀) ，使大部分数据上f i x ) = + 1 ，孤立点f 【x ) = 一l 。 2 4 2 支持向量机回归原理( s v r ) 回归问题数学提法与分类问题数学提法相似，主要不同在于变量y 的取值。 在分类问题中，变量y 仅取两个值。但在回归问题中，变量y 可取任意实数值， 它实际上就是在训练样本上找到一个函数，它可以从输入域近似映射到实数值 上，输出值不再是二值。 设给定训练集： t = ( x l ，y 1 ) ，( x l ，助) ( x r 3 7 ( 2 - 1 5 ) 其中x j x = 尺疗，y i y = r ，f = 1 ， 假定训练集是按照x x y 上的某个概率分布f ( x ，y ) 选取的独立同分布的样本 点，又设给定损失函数l ( y , f ( x ，w ) ) ，试寻求一个函数f 【x ) ，使得期望风险r m 达到 极小。 r ( w ) = i l ( y ，f ( x ，w ) ) d f ( x ，y ) ( 2 1 6 ) 支持向量回归原理图如图2 4 所示： 第二章支持向量机基础及理论 1 7 y x 图2 4 支持向量回归 给定，个样本数据 x k ，虼 ：；1 ，式中x k 足一为n 维样本输入，欺r n 为样本 输出，则函数估计问题就是要找到一个函数坟x ) ，使之通过样本训练后，对于样本 以外的x ，通过f ( x ) 找到对应的y 。 函数拟合如下，首先考虑线性回归口6 】，设函数具有如下形式： ( x ) = w x + 6 ，w r 肭b r( 2 1 7 ) 根据统计学习理论，函数估计问题就是寻找使下面风险函数最小的俐； = i 1i l w i l 2 + c 【1 ( 2 1 8 ) 式中i lw | 2 是描述函数刷复杂度的项。 引进占不灵敏损失函数： l y 州扣协似) i - 占，黜川“雕。( 2 - 1 9 ) 它意味着不惩罚偏差小于占的误差项。 取经验风险为： = ij ，一厂( 圳占( 2 - 2 0 ) 求解式( 2 2 0 ) 的风险函数最小等价于求解二次优化问题， 造下面的最4 , 4 4 目标函数： 面n ，= 扣w i l 2 利用s r m 准则构 ( 2 - 2 1 ) 1 8 基于支持向量机的摩擦建模与补偿 约束条件： 僦 c 2 2 2 ， 如果上式不能严格满足，引入松弛变量岳和占，优化目标函数变为： w 唿，= 扣| j 2 + c 蔷i ( 缶+ 占) ( 2 - 2 3 ) 约束条件： y j w 砗一b s + 缶， w x i + 6 一y i s + 占，i = l ，疗( 2 2 4 ) 缶，占o 式( 2 2 3 ) 的第一项使得函数更为平坦，提高了泛化能力，第二项则为减少误 差，常数c o 为容量因子，为函数厂的复杂度和样本拟合精度之间的折衷，控 制对超出误差占的样本的惩罚程度，c 越大，拟合的精度越高。占一回归允许最 大误差，用于控制回归逼近误差管道的大小，从而控制支持向量的个数和泛化能 力。 引入l a g r a n g e 乘子并利用对偶原理，拉格朗日乘子法和核函数技术，上述 优化问题的对偶形式如下： 目标函数： m a 2 ( j = 一去( a _ f - a i ) ( a j - a j ) ( x _ ，x j ) - 占z ( a , + 彳) + 乃( 口f z ) ( 2 2 5 ) a ，a 么i ，= l i = 1i = 1 约束条件： ， 乏i = 1 ( 口f 一西) ( 2 - 2 6 )-