（动力机械及工程专业论文）基于支持向量机的柴油机nox瞬态排放预测及优化研究.pdf

摘要 摘要 随着环保意识的加强，汽车排放法规愈加严格，发动机瞬态排放研究亦成 为发动机排放研究的重点。建立n o x 瞬态排放预测模型将对n o x 瞬态排放试验 研究有很好的指导作用。然而发动机瞬态工况下n o x 排放规律尚没有明确的理 论。本文应用支持向量机技术，利用试验测得的瞬态排放数据，建立并验证预 测模型，进行n o x 瞬态排放预测。 寻求最优方法并利用有限个试验数据样本进行有效的预测是建立预测模型 的主要工作。随着人工智能的广泛应用，机器学习广泛应用于预测研究。机器 学习中较为成熟的理论为统计学习理论。支持向量机( s u p p o r tv e c t o rm a c h i n e ， s v m ) 是统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 中最实用的应用，是 借助最优化方法解决机器学习问题的新工具。 支持向量机主要用于分类问题和回归问题。本文主要是通过试验测得的发 动机瞬态排放数据，选定合适的核函数建立回归模型进行预测。建模采用网格 搜索法、遗传算法、粒子群算法对模型主要参数分别进行优化，然后对模型预 测效果进行比较，选取最佳预测模型。瞬态工况时的n o x 排放误差都较小，没 有超过3 ，可以满足试验要求，用于n o x 瞬态排放预测并且模型输入参数多为 控制参数，有利于对模型进行深入研究。最后利用得到的最佳模型，适当改变 输入中有关供油和进气的参数，对n o x 排放进行预测，最终得到降低n o x 瞬态 排放的最优标定。 关键词：柴油机；瞬态排放；预测；支持向量机；遗传算法；粒子群算法 a b s t r a c t a b s t r a c t w i t ht h es t r e n g t h e n i n go fe n v i r o n m e n t a la w a r e n e s s ，v e h i c l ee m i s s i o nr e g u l a t i o n s b e c o m em o r es t r i n g e n t ；e n g i n et r a n s i e n te m i s s i o n sa l s ob e c o m et h ef o c u so ft h es t u d y o fe n g i n ee m i s s i o n s e s t a b l i s hn o xt r a n s i e n te m i s s i o n sf o r e c a s t i n gm o d e lw i l lh a v ea g o o dg u i d et on o xt r a n s i e n te m i s s i o n se x p e r i m e n t a ls t u d y h o w e v e r , t h e r ei sn o c l e a rt h e o r yt ot h el a wo ft h en o xe m i s s i o n su n d e rt h ee n g i n et r a n s i e n tc o n d i t i o n s i n t h i sp a p e r , s u p p o r t i n gv e c t o rm a c h i n et e c h n o l o g y , u s i n gt h ee x p e r i m e n t a l l ym e a s u r e d t r a n s i e n te m i s s i o nd a t a ，e s t a b l i s h i n ga n dv a l i d a t i n gt h ep r e d i c t i v em o d e lt of o r e c a s t t h en o xt r a n s i e n te m i s s i o n s f i n d i n gt h eo p t i m a lm e t h o da n dt h ee f f e c t i v ef o r e c a s tu s i n gaf i n i t en u m b e ro f s a m p l e so fe x p e r i m e n t a ld a t ai si m p o r t a n tt o b u i l daf o r e c a s tm o d e l w i t ht h e e x t e n s i v ea p p l i c a t i o no fa r t i f i c i a li n t e l l i g e n c e ，m a c h i n el e a r n i n gi sw i d e l yu s e di nt h e p r e d i c t i o n t h em o r em a t u r et h e o r yi nm a c h i n el e a r n i n gi ss t a t i s t i c a ll e a r n i n gt h e o r y s u p p o r tv e c t o rm a c h i n e ( s v m ) i st h em o s tp r a c t i c a la p p l i c a t i o n s i ns t a t i s t i c a l l e a r n i n gt h e o r y ( s l t ) ，a n di t i st h en e wt o o l st os o l v et h ep r o b l e mo fm a c h i n e l e a r n i n gw i t ht h eo p t i m i z a t i o nm e t h o d s u p p o r tv e c t o rm a c h i n ei sm a i n l yu s e di nc l a s s i f i c a t i o na n dr e g r e s s i o np r o b l e m s i nt h i sp a p e r , w eu s et h ee n g i n et r a n s i e n te m i s s i o n sd a t am e a s u r e db ye x p e r i m e n t ，a n d s e l e c tt h ea p p r o p r i a t ek e r n e lf u n c t i o nt oe s t a b l i s ht h er e g r e s s i o nm o d e lt op r e d i c t m o d e l i n gw i l lb eo p t i m i z e dt om o d e lm a i np a r a m e t e r su s i n gag r i ds e a r c hm e t h o d ， g e n e t i ca l g o r i t h m ，p a r t i c l e s w a r mo p t i m i z a t i o n ，a n dt h e nc o m p a r et h em o d e l f o r e c a s t i n ge f f e c t ，a n ds e l e c tt h eb e s tf o r e c a s t i n gm o d e l t h er e l a t i v ee r r o ro f t r a n s i e n t c o n d i t i o n se m i s s i o n sp r e d i c t i o ni sl e s st h a n3 t h er e s u l t ss h o wt h em o d e lc a nb e u s e dt op r e d i c tt r a n s i e n tn o xe m i s s i o n a st h ei n p u tw a sm o s t l yc o n t r o lp a r a m e t e r s ， t h em o d e lf o ri n - d e p t hs t u d yc a nb ec a r r i e do u t f i n a l l y , u s i n g t h eo b t a i n e db e s tm o d e l ， c h a n g i n gt h ev a l u eo ft h em o d e li n p u tp a r a m e t e r sa p p r o p r i a t e l y t op r e d i c tn o x e m i s s i o n s ，a n de v e n t u a l l yg e tt h eo p t i m u mc a l i b r a t i o no ft h er e d u c i n gn o xt r a n s i e n t e m i s s i o n s k e y w o r d s ：d i e s e l ；t r a n s i e n te m i s s i o n ；p r e d i c t i o n ；s u p p o r tv e c t o rm a c h i n e ；g a ；p s o i i 第1 章绪论 第1 章绪论 1 1 内燃机排放简介及其性能研究 内燃机排放的主要污染物有一氧化碳、碳氢化物、氮氧化物、臭氧和其他 光化氧化剂、硫化物和微粒等。其危害简述如下【1 l ： 一氧化碳( c o ) 是无色无味的气体，对人体的毒害已比较熟悉，它比氧气 更容易与血红蛋白结合，使人缺氧窒息至死亡。 碳氢化物( h c ) 包括未燃烧和未完全燃烧的燃油、润滑油及其裂解和部分 氧化产物，它们都刺激眼粘膜、喉和支气管，对血液有毒害，可能还有遗传毒 性和致癌活性。 氮氧化物( n o x ) 绝大部分是一氧化氮( n o ) ，少量为二氧化氮( n 0 2 ) 。 n o 是无色气体，对于它在空气中一般存在的浓度，没有直接的毒性。但n o 在 紫外线作用下会迅速氧化成n 0 2 。n 0 2 是褐色、有特殊刺激性味气体，人体吸入 后与水反应生成硝酸，引起咳嗽、气喘甚至肺气肿。n 0 2 也是光化学烟雾的主要 因素之一。 臭氧和其他光化氧化剂能刺激人眼和呼吸道，当臭氧含量达到o 2m g m 3 时，会使人呼吸困难，引起咳嗽、头痛。臭氧也影响植物的光合作用，导致森 林病害。 硫化物是造成大气酸雨的元凶，而且对人的口鼻粘膜有强烈的刺激性，甚 至对人肺部造成长期影响。 内燃机排放的微粒主要成分是碳，其细小微粒可深入肺部造成肺损害甚至 致癌。 内燃机排放特性是指内燃机各种排气污染物的排放量随内燃机实际运行工 况如平均有效压力、转速等的变化规律。通过排放特性，可以找到排放最严重 的工况区，进而对降低排放指明方向。按工作状态，内燃机排放可分成稳态排 放特性和瞬态排放特性。稳态排放性能按研究目的来分，包含排放特性曲线和 排放法规要求( 如十三工况法) 的稳态工况排放研究；瞬态排放特性包含过度 工况( 加速工况、减速工况等) 研究和排放法规规定的一系列工况组合而成工 况法( 如e c e 1 5 ) 排放研究。此外，排放性能的研究还包含排放控制机理及不 第1 章绪论 同参数对排放的影响等方面的研究。 1 2 车用柴油机n o x 排放研究的目的 国际上，n o x 排放要求愈加严格。2 0 0 9 年9 月1 日开始实行的欧v 标准中 规定，柴油轿车n o x 排放量不应超过1 8 0m g 砌，比欧标准规定的排放量减 少了2 8 ，而即将实行的欧标准更加严格。根据欧标准，柴油轿车每公里 n o x 排放量不应超过8 0 毫克，比欧v 标准规定的排放量减少6 8 。 国内，汽车n o x 排放已成为环保中不可忽视的重要污染物之一。“十一五” 期间，我国汽车生产和销售量快速增长。我国已成为世界第三大汽车生产国， 因此，汽车行业已成为我国支柱产业之一。汽车的快速发展伴随着严重大气污 染的产生。以往，城市大气污染主要是煤烟型污染。而今，已转为煤烟和机动 车混合型污染【2 】，个别城市呈现机动车尾气型污染。我国机动车污染存在以下问 题【3 】：污染物排放量大、气体污染物中c o 、h c 、n o x 绝大部分来源于机动车且 比例不断增长。2 0 0 4 年，北京市气体污染物监测数据，n o x 的6 4 来源于机动 车排放。2 0 1 1 年1 2 月，中国环保部通过的环境空气质量标准中，收紧了 p m l 0 、二氧化氮等污染物的浓度限值。 内燃机n o x 排放形成需要三个条件【4 j ：燃烧室内有过剩氧气、高温和高温 持续时间。较汽油机而言，柴油机过量空气系数大，燃烧大多存在氧气过剩、 转速相对低，高温持续时间较长。因此n o x 排放是柴油机排放的主要问题之一。 然而，柴油机功率大、经济性好、低速提速快，适合在城市或者路面不好时的 频繁起步加速。近年来，有关汽车政策都提出大力推广现代柴油轿车、适量增 加柴油轿车比例。而柴油机n o x 排放成为其推广应用的制约因素之一。 综上所述，为适应未来的发展及环保的苛刻要求，柴油机n o x 排放研究不 容刻缓。 1 3 国内外柴油机n o x 排放研究状况及s v m 应用情况 柴油机n o x 排放主要在高温燃烧阶段产生。目前降低n o x 排放主要从机内 净化和机外净化( 排气后处理) 两个方面着手。机内净化方式主要包含排气再 循环( e g r ) 、燃烧系统优化、燃油预处理等。 随着环保要求的苛刻，柴油机n o x 排放研究亦相当热烈。方俊华5 1 、黄佐 2 第1 章绪论 华陋1 、隆武强【7 1 、o s a m in 【8 1 等学者从n o x 形成机理出发，进行试验或进行模拟 分析计算n o x 排放。v a l l e j o t 9 1 、a b b a s i 10 1 、s a n c h e z m a r t i t l l l 通过试验研究，采用 排气后处理来降低n o x 排放。d u r r e t t t l 2 】，t h a y e g e l 3 】等人进行大量试验，测取发 动机不同配置、转速、负荷下的排放性能数据。并通过回归分析得出对排放起 主要影响的参数及其影响方式，然后建立排放计算模型。这种模型适应能力不 足，预测精度还有待提高。对n o x 排放研究的方法多种多样，但一般都是试验 法和模拟法。试验法有直观、准确性高的优点，但需要花费较大的人力和物力， 而且有些时候还无法进行某些试验。模拟法则是从燃烧机理和排放性能及其影 响规律出发，建立数学模型。目前还没有详细、确定的反应机理，求解化学动 力学方程的反应流数值计算较耗时间【l4 1 5 1 ，n o x 模拟研究多在稳态排放方面且 多在内燃机设计开发阶段，对发动机实际运转情况下的n o x 瞬态预测及优化难 以实现。而随着机器学习的提出与不断完善，对早期提出的人工神经网络，在 内燃机研究方面亦有大量的应用，如：内燃机控制系统【l6 1 9 j 及稳态排放预测 2 0 - 2 3 o g a n a p a t h y 2 3 j 通过b p 神经网络，利用少量的试验数据来进行生物柴油的碳 烟和h c 排放的预测。p a r l a k l 2 4 j 利用b p 神经网络来预测柴油机不同喷油时刻的 燃油消耗率和排气温度。建立的模型进行预测的结果与实验对比，它们之间的 误差小于2 。研究表明，利用b p 神经网络建立的模型可以快捷、准确的进行 内燃机热力学方面的初步研究。w i n s e l 2 5 j 通过建立基于b p 神经网络的排放模型， 模拟内燃机参数对排放的影响来实现实时预测。 大量研究表明，人工神经网络虽然可以利用较少的试验数据建立n o x 排放 预测模型，但需要调整的模型参数很多，且对某些建模参数的选择需要较丰富 的建模经验。另外，人工神经网络缺乏一致的数学理论，欠缺解释能力，很难 运用解释网络中每一个节点的决策和方法来判断网络是否可行。因此支持向量 机亦广泛应用于内燃机研究领域，在预测与故障诊断方面有着神经网络不可取 代的优势。 张玲b 6 研究了基于规划的神经网络与s v m 理论之间的关系，首先证明 v a p n i k 提出的s v m 算法等价于v a p n i k 在1 9 9 4 年提出的规划算法，这也就是说 s v m 与神经网络在求解线性可分样本集时，都可以得到最大边缘解，但是这两 种算法求解的复杂性则有较大的差别。李东波【2 7 】在研究氧化锆稳定率预测时， 通过将s v m 与神经网络进行预测结果对比，表明虽然两种方法预测性能都较好， 3 第1 章绪论 但是支持向量机的预测结果更为精确，平均误差为0 6 8 ，而神经网络为1 4 8 ， 并且s v m 的预测精确度更高，在实际推广方面更具有优势。李元诚【2 8 在对电力 系统短期负荷预测研究时，引用s v m 方法进行建模，并将预测结果与传统神经 网络进行对比表明s v m 模型具有更强的泛化能力和更高的精度，并且相比神经 网络，减少了建模选择参数时对经验的依赖程度。钱家忠【2 9 】在研究矿井涌水快 速识别与预测中，采用s v m 建立预测判别模型，并通过与b p 神经网络对比得 出s v m 分类准确率较高，运算耗时少，并且能够不存在陷入局部极小值的问题， 而这在b p 神经网络中是无法避免也难以解决的问题。 冯广斌 3 0 】利用支持向量机与经验模态分解相空间重构理论相结合，进行建 模对柴油机振动信号成功进行预测，并通过与神经网络进行结果对比，其研究 表明s v m 预测方面性能优于神经网络，其预测结果比神经网络更为可靠，相对 更具有工程实用性。游张平 3 1 】将支持向量机应用于柴油机进排气系统故障诊断， 并将结果与b p 神经网络的诊断结果进行对比，得出s v m 具有较快的训练速度 和较高的精度，在故障诊断上，能得到更为有效的诊断结果，而且效率较高。 明庭峰 3 2 】在研究柴油机工作状态评估中，将s v m 与b p 神经网络进行对比，两 者虽然都可以解决问题，但是s v m 在非线性以及高维识别问题中运算速度更快， 分类识别性能方面结果较神经网络好，具有更大的优势。 如上所述，传统的内燃机排放研究方法大体分为试验、基于反应机理的模 拟和智能技术中的机器学习等方法。不论是试验法还是模拟法都因其自身的缺 点而在一定程度上限制了其发展及应用。机器学习法实际应用中主要有经典的 统计估计算法、人工神经网络和支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 等 方法。经典的统计估计算法【1 2 ，”】需要大量的试验数据样本，并且泛化能力不足， 适用能力较弱。人工神经网络虽然有其自身的优势，但建立网络时需要调节的 参数多【3 3 】，需要较丰富的经验，并且在理论上缺乏实质性的进展。 统计学习理论是在2 0 世纪9 0 年代逐渐成熟的机器学习理论，支持向量机 即是以这一理论基础上提出的一种通用的学习方法。s v m 可以很好的解决函数 拟合问题 3 4 - 3 6 】，用于回归预测分析。而且众多研究结果【3 7 - 3 9 表明，s v m 回归预 测的精确度显著优于人工神经网络。s v m 的理论基础有统计学习理论中的v c 维( v cd i m e n s i o n ) 和结构风险最小化原则( s t r u c t u r a lr i s km i n i m i z a t i o n ，s r m ) 。 因此，s v m 具有以下优点： ( 1 ) 通用性：能够在很广的各种函数集中构造函数； 4 第1 章绪论 ( 2 ) 鲁棒性( 即泛化能力强) ：不需要微调； ( 3 ) 有效性：在解决实际问题中总是属于最好的方法之一； ( 4 ) 计算简单：方法的实现只需要利用简单的优化技术； ( 5 ) 理论上完善：基于v c 推广性理论的框架。 本文利用s v m 的这些优点，将其应用于n o x 瞬态排放回归分析，建立预 测模型并进行优化研究，探索n o x 瞬态排放研究的新方法。 1 4 论文内容及研究方法 本文利用支持向量机高非线性映射能力及强泛化能力等优点，并加入优化 算法优化支持向量机回归分析的相关参数，进行柴油机n o x 瞬态排放建模。模 型利用m a t l a b + l i b s v m 工具箱，通过试验测得的某轻型柴油机n o x 排放数据 进行学习训练，确定n o x 瞬态排放回归预测模型，从而对该柴油机n o x 排放特 性进行分析，并利用建好的预测模型尝试进行n o x 排放优化。本文研究内容主 要为以下几个方面： ( 1 ) 试验获得相关建模数据，并确定模型输入、输出参数。 ( 2 ) m a t l a b 编程，对s v m 回归模型类别及其相关参数进行寻优，确定 最佳预测模型。 ( 3 ) 通过预测模型，分析n o x 排放性能，并对n o x 排放进行优化。 基于上述研究内容，本课题所采用的研究方法大致如下： ( 1 ) 在排放法规对轻型柴油机规定的一系列组合工况下进行试验，测得的 n o x 瞬态排放数据及其相关的参数( e g r 率、水温、进气流量、扭矩需求、转 速、主喷提前角) 。这些参数不仅主要影响n o x 排放，而且实际运行中容易获取， 多为设计或控制参数，有利于对模型做深入的优化研究。 ( 2 ) 确定输入、输出参数，采用交叉选点法，将试验数据分成学习样本和 验证样本。 ( 4 ) m a t l a b 编程，利用网格搜索法、遗传算法、粒子群优化算法对s v m 回归模型的类别及其相关参数进行寻优，对比分析结果，选取本研究合适的优 化算法，最终确定最佳预测模型。 ( 5 ) 利用验证样本对预测模型对网络的泛化能力进行验证。通过计算预测 结果与实测数据之间的相对误差以及预测结果的回归系数分析模型的精确度及 5 第1 章绪论 其应用的可行性。 ( 6 ) 分析n o x 排放性能，修改部分输入参数( 发动机实际运行时的工况参 数) 并利用建立好的预测模型，进行仿真输出n o x 排放，对该柴油机n o x 排放 进行优化研究。 本章小结 本章主要介绍了内燃机排放性能尤其是n o x 排放性能的研究背景、目的、 方法及意义。通过分析国内外的对n o x 排放研究现状，提出将s v m 方法应用 于柴油机n o x 瞬态排放预测，并概述了本文的研究内容及研究方法。 6 第2 章s v m 原理及同归预测应用 第2 章s v m 原理及回归预测应用 支持向量机( s u p p o r t v e c t o rm a c h i n e ，s v m ) 以统计学习理论( s t a t i s t i c a ll e a r n i n g t h e o r y ，s l t ) 为基础，是s l t 中最实用的应用，目前已成为解决“维数灾难”和 “过学习”等传统问题的有效方式之一。由于s v m 的理论基础和实现途径的基本 框架已经逐渐完善，相比人工神经网络，在应用和发展上有着较大的优势。s v m 在模式识别、回归预测和信号处理等应用中展示了其优越的特性，支持向量机以统 计学习理论为基础构造，当前已经广泛应用于解决预测问题 4 0 , 4 1 。 2 1s v m 理论基础及构建 s v m 的理论基础是统计学习理论的v c 维理论并且采用的逼近方法以结构 风险最小化为原则，其中结构风险最小化是在统计学习中的经验风险最小化与 v c 维这两个理论的基础上提出的。 2 1 1s v m 理论基础 由v a p n i k 提出，理论风险函数是积分形式r ( a ) = l q ( z ，a ) d f ( z ) ，口人，其 中人是参数集合，而通常由于经验不可能趋于无穷大，积分形式不能解决实际 1 ， 问题，因此经验风险通常采用求和的形式r 唧( 口) = q ( z ，口) ，由此损失 t = l q ( z ，口) = y f ( x ，口) 的平均值即直接影响到经验风险函数r ( 口) 。假如用经验 风险函数r ( 口) 替代理论风险函数r ( e e ) ，虽然在某些方面较为合理，但存在er i 。、岛 下明显的缺陷： ( 1 ) 从概率论原理出发，只有当样本趋于无穷大时，才有l i m r 聊( 口) = e ( a ) ( 2 ) 风险函数的最小值f ( x ，口) 与f ( x ，口。) 只是近视值，难以保证等值 因此，经验风险r 。( 口) 最小并不能保证实际风险r ( a ) ，当训练误差过小时， 会使得实际风险上升，导致过拟合现象发生。例如：在人工神经网络中，利用 有限的训练数据，采用较强学习能力的算法，可以使经验风险趋近于零，对数 据进行较为完美的拟合，但泛化能力却极差。经验风险最小化原则的这些缺陷 亦限制了其发展和应用。统计学习理论也因此而提出，作为在小样本问题中准 7 第2 章s v m 原理及回归预测应用 确的建立学习和推广方法的理论基础，弥补了经验风险最小化原则下的弱点。 其中v a p n i k 提出的v c 维理论是统计学习理论的核心。统计学习理论推理原则 是结构风险最小化原则( s t r u c t u r a lr i s km i n i m i z a t i o n ，s i 洲、) 。 v c 维( v a p n i k c h e r v o n e n k i sd i m e n s i o n ) 是为了研究学习过程一致收敛的 速度和推广性，作为评判机器学习能力( 亦称复杂程度) 的一个关键标准。传 统的定义如下：对一个目标函数集，如果其中的函数能够把h 个样本按2 的任 何形式划分开来，则表明该目标函数集能够打散这h 个样本；此时打散的最大 样本数目h 称为函数集的v c 维。当函数集的v c 维为无穷大时，则说明存在 可以将任意数目样本打散的函数集，其中对有界实函数的v c 维的定义通常使用 一定的阀值将它变换为指示函数。但是，现在用来计算任意函数集v c 维的原理 还不能通用。目前只有部分特殊的函数集有确定的v c 维，例如：对于线形分类 器和线形实函数的v c 维在维空间中是n + l 。 s r m 给出了对给定数据的逼近精度和逼近函数的复杂性之间折中的方法， 这个原则可以公式化为：如果口的概率是1 一，7 ，那么 厅了r 百1 r ( a ) r 唧( 口) + 、去( 办( 1 + l n 等) + i n - - ) + ( 2 - 4 ) 、i zt t j q 这里h 是v c 维。通常难以对不等式左边进行计算，不过假若已经给出确定的 ，7 v c 维，那么由不等式右边能够得出风险的上界。i n 等被称为v c 置信( 简称置 h 信) ，是单调递增的。假若想通过较低v c 维的学习机来样本得到较理想的分类， 那么不等式( 2 4 ) 式右边会较小，这也就是s r m 原则的基本原理。其主要原理 可由图2 1 表示。 风酸 一i ：s lc s ，cs j s h 2 h 3 图2 1 结构风险最小化示意图 8 第2 章s v m 原理及回归预测应用 s r m 的基本思想是通过一定的手段最小化经验风险，采用方法一般为选择 恰当的子集s 。来限制实际风险上界，也就是每一个子集对应一个学习机，经验 风险以及个置信的且最小的学习机由前面子集所对应的学习机序列得到。 s r m 原则的实现通产采用两种方法，第一种是这种方法最早应用于神经网 络中进行合适的结构的选取和对分类错误的消除，主要是通过选择可以保持置 信间隔不变的v c 维玩来使经验风险r ) 最小化。这一结构在适应能力方面 对神经网络进行了确定，也同时确定了v c 维。因此结构一旦确定，那么 v 1 2 ( h ( 1 + i n 2 力1 ) + i n - 7 7 4 ) + 7 1 也就固定了。不过此方法相对来说，比较费时，尤其是 当子集数量很大是，可能不适用。第二种是保持经验风险r ) ( 如使训练误 差为零) 的情况下，使置信间隔最小。 假定由一系列嵌套函数子集集合的s 属于函数q ( z ，口) ，口c 人，存在某种确 定的结构满足如下关系： s lcs 2 cs 。c 并且其结构的元素符合以下两个特征： ( 1 ) 每个函数集s 所对应的v c 维玩是定的，即 h 2 h 。 ( 2 ) 结构中所有子集s 只能存在两种情况，- - 币e e 情况是：任一s 都存在一个完全 有界的函数集0 q ( z ，口) b ，口人与之对应，另一种情况是：包含对一定的 ( p ，0 ) 对满足下列不等式的函数集： 黑逝i q ( 塑z , 。z ) d f 丛( z ) 鼠肼 这一结构被定义为允许结构，在多个训练集的情况下，结构风险最小化采用的 原则是选取恰当的子集& ，使风险函数 r ( 口) = 片陟一f ( x , a ) i 卯( x ，y ) 达到最小。 采用s r m ，设计一个分类器需要完成以下两个步骤： 9 第2 章s v m 原理及同归预测应用 ( 1 ) 模型选择：具体方法为选择一个求解分类或回归问题方面能力最优的 函数子集； ( 2 ) 参数估计：在确定函数形式后，需参数进行估计具体实施方法为从该 函数的子集中选取一个经验风险最小的判别函数。 对于一个给定的观测集z ，z 采用s r m ，其经验风险最小化的函数 q ( z ，口? ) 只需在能够使结构风险最小化的子集中选择即可。 s v m 实现s r m 原则的过程如下： ( 1 ) 输入向量需要通过非线性变换的方法映射到另一个高维特征空间中； ( 2 ) 在这个空间中，按照正规超平面权值的模构造一个线性决策规则集合 的结构； ( 3 ) 确定一个界，使得错误率最小，具体方法为选择前一步构造的结构中 最好的元素以及这个元素中最好的函数。 2 1 2s v l v l 构建 2 1 2 1s v m 原理简介 s v m 通过线性函数的假定空间的一种学习系统，该方法采用采用高位特征 空间，训练模型依托的算法通过优化理论得到，最后，以统计学习理论获得的 学习偏差为优化目标，也就是说s v m 是一个超平面，它能实现在输入空间求值 的高维最大分类间隔。假定一个线性不可分的样本集包含多个样本点，如果想 对该集合进行分类，那么第一步就是通过核函数，利用超平面将原样本集准确 无错误的分开即映射到合适的高维特征空间中。然后利用最优化理论计算得到 使这些样本点最大分离的最优分类超平面。由此可知，支持向量分类的核心目 的就是找到一个最优分类超平面使之能在高维空间中运算快捷，即支持向量机 ( s v m ) 。 2 1 2 2s v m 基本思想及结构 图2 2 的两维情况对s v m 的基本思想进行了说明，其中两类不同的样本点 由圆点和方点区分表示；图中h 为最优分类线，表示最优分类面；h 1 、h 2 为 边界，与最优分类线平行，另外离最优分类线最近的样本点决定了h 1 、h 2 的边 界范围。图中m a r g i n 即分类间隔，意义是离最优分类面之间的距离。分类超平 1 0 第2 章s v m 原理及回归预测应用 面最优的原则是：能将两类样本点准确无误的分开，这样表明s v m 训练错误率 为零且达到最大分类间隔。 h 1 o = 2 l l w 图2 2 支持向量机基本思想 s v m 可分为线性s v m 和非线性s v m 。本文重点阐述非线性s v m ，其结构 示意图可以表示如图2 3 。 x ( 1 ) x 眨) x ”1 ) xh ) 图2 3s v m 结构不葸图 其中输入层存贮输入数据，不进行加工和运算；中间层是对样本集进行学习， 选择k ( x ，x ，) ，f _ 1 , 2 ，3 ，l ；最后一层就是构造分类函数( 决策函数) ： ，、 y = s i g n i y ，口，k ( x ，x 。) + 6 t = l 整个过程相当于在特征空间中构造一个最优超平面，其中k ( x ，x ，) 称为核函数。 第2 章s v m 原理及回归预测应用 核的概念来自整算子理论，早在1 9 0 9 年在m e r c e r 定理中提出，它可以把数 据映射到特征空间，并在这个空间训练线性机器。核矩阵( 也称g r a m 矩阵) 通 过利用训练样本的信息可以找到一个能够进行有效估计的核函数。 若有个输入空间三到内积空间的映射：三专h 。假如对于所有的x ， z l 都有 k ( x ，z ) = 睁( x ) ，( z ) k k 就称k ：l 三- - - - - hr 为核函数。核函数可以理解为在高位特征空间中进行内积运 算，并在输入空间中估计结果。 2 1 3 核函数分类 目前常用的核函数有如下几种：g a u s s 径向基核函数、多项式核函数、b 样 条核函数、傅里叶核函数、s i g m o i d 核函数。本文利用的是台湾大学林智仁( l i n c h i h j e n ) 教授等开发的l i b s v m 工具箱，本文只针对l i b s v m 中使用的核函数进 行介绍。 ( 1 ) 线性核函数，其函数形式为： k ( x ，x f ) = x x ( 2 ) 多项式核函数，其函数形式为： k ( x ，x ) = ( y x x + r ) d ，y 0 其中c 0 ，d 为任意正整数。如果d 太大会产生过拟合现象，一般选择d 3 。 ( 3 ) g a u s s 径向基核函数亦称为r b f 核函数，其函数形式为： e x p ( - i i x - x 1 1 2 2 仃2 ) 本试验利用l i b s v m 所使用的核函数可表示如下： e x p ( - r l l x - x 1 1 2 ) ，厂 0 ( 4 ) s i g m o i d 核函数是神经网络常用的核函数，其函数形式为： k ( x ，x 7 ) = t a n h ( r ( x x ) + ，) 本研究在使用l i b s v m 工具箱时设置的外部参数- g 即上述核函数中的厂。 核函数可以看成是一个特征提取的过程，选择正确的核函数有助于提高分 1 2 第2 章s v m 原理及同归预测应用 类准确率。由于不同实际问题对相似度有不同的度量，核函数的正确选取依赖 产生分类问题的实际问题特点。关于适合本研究的核函数选取将第四章中通过 试验预测结果对比进行选择。 2 2s v m 回归预测 s v m 应用较为广泛，分类和回归预测即是其中之一。s v m 在分类和回归问 题上，原理大体相同，只是在输出向量和性能评价指标上有所区别。下面将对 s v m 回归问题进行详细介绍。 2 2 1 回归问题 在统计学中，回归有如下定义：研究一个随机变量y 对另一个( x ) 或一组 ( x ，x ：，k ) 变量的相依关系的统计分析方法。这个过程也称为函数拟合。 回归问题的数学提法：设给定训练集 t = ( x ，y 。) ，( _ j c ，y ，) ) ( x y ) 7 ， 其中石，x = r i ，y ，y = r ，f = 1 ，假定训练集是按xxy 上的某个概率分布 p ( x ，y ) 选取的样本点是独立同分布的，设给定损失函数c ( x ，y ，厂) 回归问题即 是找到某个函数f ( x ) ，该函数可以使得期望风险 r f = ic ( z ，y ，f ) d p ( x ，y ) 达到极小。 2 2 2 支持向量回归机数学原理 s v m 有多种回归机在回归问题中应用，本文主要介绍台湾大学林智仁( l i n c h i h j e n ) 教授等人开发的l i b s v m 工具箱中使用的s v m 回归机：支持向量回 归机和u 支持向量回归机。 2 2 2 1 支持向量回归机 支持向量回归机( 一s v r ) 其算法流程如下【4 2 】： ( 1 ) 设已知训练集t = ( 而，y 1 ) ，( x ，y f ) y ) 7 ，其中x ，x = r ”， y ，y = r ，f = 1 ，z ； 13 第2 章s v m 原理及同归预测应用 ( 2 ) 选取合适的正数和c ；适当的核k ( x ，x7 ) ； ( 3 ) 构造、求解最优化问题 卿圭萎( 西刊( 哆一a j ) k ( x , ，。) + 嘻( z + ) 一( 西圳， s u b j e c t t o ( 西+ q ) = 0 ， o q ，西，i = 1 ，2 ，l 获得最优解万= ( 瓦，瓯，瓦，石+ ) 7 ； ( 4 ) 构造决策函数 厂( x ) = ( 瓦+ - g ) k ( x ，石) + 万， 其中万按下列方式计算：选择位于开区间( 。，- c ，。，一c l 一- - 。* ，具体计算如下。 i 少厂( 瓦+ 一瓦) ( x ，x ，) + 占；弓( o ，等) 万：j 忙1 ，1 y 。一( 瓦- g ) ( x ，吨) 叫瓦( o ，等) l i = l 在l i b s v m 工具箱中应用的一s v r 模型的优化函数可以表示为： 决策函数为： r a i n 国b ， ，吾 s u b j e c tt o 妻国r 国+ c l 孝，+ c l 孝? 厶 i - - li - - 1 国7 1 矽( x f ) + b z f 占+ 色 z f 一国7 1 矽( x f ) 一b s + 并 ， ( - a 。+ a ? ) k ( x ，x ) + 6 j = l 其中c 和嘲模型需要确定的变量。c 相当于本研究中外部输入的c 参数( 惩 罚参数) ，其范围是( 0 , + o o ) ，舛目当于外部输入的p 参数，其范围是( 0 ，+ 0 0 ) 。在 1 4 第2 章s v m 原理及同归预测应用 回归预测中一c 与p 等外部输入参数的选择方法将在3 3 节进行介绍。 2 2 2 2u 一支持向量回归机 争支持向量回归机要求提前确定损失函数中的参数s 。由于在部分情况下难 以选择合适的s ，这时沙支持向量回归( u s v r ) 机就相应的提出来了。u s v r 能自动计算占，但需要选择另外的参数u 。其算法流程如下【4 3 】： ( 1 ) 设已知训练集t = ( x l ，y 1 ) ，( x f ，y ) y ) 7 ，其中x ，x = r ”， y ，y = r ，i = 1 ，z ； ( 2 ) 选取合适的正数d 和c ；适当的核k ( x ，x ) ； ( 3 ) 构造、求解最优化问题 。m 羽a x ，w ( 口+ ) 2 善( 飞+ 口m ，一圭善( 飞+ 口从一+ 口胍) s u b j e c t t o ( - - o r i ) = 0 口? 【0 , c 。 ，江1 ， ( 口，+ 口? ) c v 获得最优解万= ( 瓦，瓦+ ，瓦，蟊+ ) ，； ( 4 ) 构造决策函数 厂( x ) = ( - a ，+ 口? 述( x ，x ) + 6 其中6 + 按下列方式计算：选择万+ 中属于区间( o ，孚) 中的两个分量弓和瓦， 6 + = 圭 y j + y k - - ( 喜c 一瓦+ 瓦述c x ，+ 善lc 一瓦+ 瓦+ 述c 以，) 在l i b s v m 工具箱中应用的u s v r 模型的优化函数可以表示为： 1 5 第2 章s v m 原理及同归预测应用 。，m ，；i ，f n b ，。三2 7 1 + c ( 垤+ 专喜( 善，+ 善1 ) m ，f ，f ，s i，鲁“。 “7 j s u b j e c tt o 7 矽( x ，) + b z ，s + 六 z ，一国。矽( x j ) 一b s + 孝f 参，等0 ，f = 1 ，s 0 决策函数为： ( - a ，+ 口泌( x ，x ) + 6 其中上面模型中c 相当于试验中外部输入的c 参数，其范围是( 0 ，+ o o ) ，u 相当 于试验中外部输入的n 参数，范围是( 0 ，1 。值得注意的是这里的是优化变量， 不需要外部进行输入。在回归预测中c 或者n 以及g 等外部输入参数的选择将 在下一节进行介绍。 2 2 2 3l i b s v m 工具箱简介 l i b s v m 工具箱主要用于解决s v m 模式识别和回归两方面的问题，它是一个 软件包的集成，具有简单、应用方便且快捷有效的特点，它由台湾大学林智仁 ( l i nc h i h j e n ) 教授等人设计开发的，不但提供了编译好的较为全面的可执行 文件，可在w i n d o w s 系列系统中正常兼容运行，而且还提供了源代码，便于改 进、修改或者在其他操作系统上运行；该软件还有两个优势，一个优势是s v m 相关的参数需要调节的量相对较少，并默认设置了很多参数，而林智仁等人开 发应用的结果表明，采用默认设置好的这些参数能够解决大部分问题；另外一 个优势是l i b s v m 工具箱提供了交互检验( c r o s sv a l i d a t i o n ，c v ) 的功能。目前国 际上，对于s v m 在模式识别和回归的应用中，s v m 方法及其参数、核函数及 其参数的选择，还没有一致的方式。s v m 最优的算法和参数选取目前只能凭借 经验、试验对比、大范围搜寻或者交互检验功能进行寻优。 2 3s v m 参数确定方法 采用l i b s v m 建