（化学工程与技术专业论文）最小二乘支持向量机的改进及其在化学化工中的应用.pdf

浙江大学博士学位论文 摘要 最小二乘支持向量机( 1 e a s ti q 哪mg l l p l t n ： f f tv c c t o rm a c h i n c ，l s s v m ) 是一种 遵循结构风险最小化( s t r u c t u r a l m k m i n i m i z a t i o n , s r m ) 原则的核函数学习机器， 近年来化学、化工领域的应用日益广泛本文以l s s v m 在实际应用中的若干问 题为主线，针对其应用中存在的高维数据降维、超参数选择和稀疏性等问题，提 出了若干新算法，并应用于化学物质结构与性质问关系、化工生产过程等实际河 题建模，效果显著。全文的主要内容可以归结为以下六个部分，其中包括了研究 工作所取得的主要成果 1 、系统回顾了统计学习理论和支持向量机的发展历史、研究现状与应用领 域；介绍了支持向量机原理。及其应用中存在的一些问题 2 、针对支持向量机解决非线性分类问题时，必须先将样本向量由原空间映 射至高维重建核h i l b e r t 空间的特点，利用核函数技术将线性的分类相关分析算 法拓展至高维的重建核h i l b c r t 空间，此即非线性分类相关分析( n o n l i n e a r d 鼬s i f i o a t i o ne , o r r c l a t i v ca n a l y s i s ，n l c c a ) 算法。最后，将n l c c a 与线性支持向 量分类器( 1 i n c 口s u p p o r t v c c t o rc l 姗i f i 或l s v c ) 集成碍到n l c c a - l s v c ，并应 用于两个典型的复杂化学模式识别问题。 3 、对于小样本的l s s v m 函数回归问题，在快速留一法的基础上，以全样 本的留一预测误差平方和嚣p 为目标，导出了鼯p 对超参数的梯度，并据此以最 速下降法优选超参数，构建c , - l s s v i v l 模型。最后将之用于一个小样本、非线性 柠檬酸发酵过程建模问题 4 、由于神经网络、l s s v m 等经验模型的精度完全依靠测量数据，导致经验 模型不能将实际过程的先验知识融合在内，所以模型的预报有时会与过程机理相 矛盾。针对二元恒温( 恒压) 汽液平衡体系的汽相组成计算问题，为解决这一问 题，在胡英等人工作基础上，将c r i b b s - d u h e m 方程与多层前传神经网络和l s s v m 结合，建立了融入先验知识的汽相组成计算混合模型，使得计算结果受 c r i b b s - d u h = m 方程约束。最后混合模型被应用于2 个实际二元汽液平衡体系的计 算， 新扛大学博士学位论文 5 、由于计算经验风险的损失函数为二次函数形式，l s s v m 丧失了标准支持 向量机的稀疏性，导致其训练完毕之后，用于分类时效率降低；为使l s s v m 具 有稀疏性，本文从统计分析的角度出发，选取训练样本中分类作用最大的若干样 本个体作为支持向量，并将非支持向量上的分类信息转移至支持向量上，提出了 新的l s s v m 稀疏化算法，最后将两种新的l s s v m 稀疏化应用于若干实际分类 问题另外。本文提出的稀疏化算法可直接应用于多类问题 6 、本文利用核函数矩阵的奇异值分解，得到了可以节省超参数选取时间的 分类器：s v d - l s s v m s v d - l s s v m 用奇异值贡献率来平衡经验风险与l s s v m 的模型复杂度，从新的途径实现了s r m 原则 论文还分析了研究工作的不足，并展望了今后的发展。 关键词：最小二乘支持向量机，经验建模，结构风险最小化原则，核函数，优选 超参数，人工神经网络，稀疏化，非线性建模，混合模型，重建核t - f i l b e r t 空间， 奇异值分解 新让大学博士学位论文 a b s t r a c t l e a s ts q i 瑚髓s u p p o r tv e c t o rm a o h i n e s s v m ) i sak e r n e ll e a r n i n gm a c h i n e w h i o ho l e y ss t n i c m r mm km m i m i z a f i u n ( s m v dd m m gt r a m m g l s s v mh a sb e e n w i d c l yu s e di no h e m i s t r ya n dc h e m i c a lp r o c e s sm o d e l i n gr e c e n t l y i n t h i sp a p e r , s e v e r a ln 鲫a l g o r i t h m sw c p r o p o s e dt os o l v et h ep r o b l e m so fd i m e n s i o nt e d u o t i o n t e c h n o l o g i e s s e l e o t i o n o fo p t i m a lh y p e rp a r a m e t e r sa n ds p m , s u n e s so fl s s v m m o d e l i n g t h e s en wa l g o r i t h m sw e r ea p p l i e d t o o o m p l c xo h o m i e a lp a t t e r n o l a s s i f i o a t i o n , p r o o e s sm o d e l i n gw i t hs a m p l e o fs m a l ls i z ea n dv a p o rl i q u i d e q u i l i b r i u mp r o b l e m s ；t h er e s u l t ss h o wt h a tt h en e wa l g o r i t h m so v c n x m es o m e d e f t o i e n o i e go f s t a n d a r dl s s v m t h em a i nw o r ki sa 5f o i l o w i i ： 1 t h eh i s t o r y , p r o g r e s sa n da p p l i o a f i o no fs t a t i s t i c a ll e a r n i n gt h e o r ya n ds u p p o r t v e c t o rm a c h i n e ( s 田w c r e v i e w e d 触t s u b s e q u e n t l y , s v ma l g o r i t h m sw e r e e x p l a i n e da n d s o n l 0d e f i o i e n o i e so f l s s v mw e g e ep o i n t e do u t 2 s i n o et h es a m p l er o o t e rm u s tb em a p p e df i x u no r i g i n a ls p a c 口t oh i g h d i m e n s i o n a lr e p r o d u o i n gk e r n e lh i l b e r ts p a c e ( r k h s ) w h e ns v mi su s e dt os o l v e n o n l i n e a rp a t t e r no l a s s i f i o a t i o np r o b l e m ，t h el i n e a ro l a s s i f i o a t i o no o r r e l a t i v ea n a l y s i s ( c c a ) a l g o r i t h m 、糯e x t e n d e dt or k h sv i ak e r n e l 蝻咄a n dt h ee l a s s i f i o a t i o n o o r r c l a t i v e c o m p o n e n t ( c c c ) s u b t r a o t e d i n r k h s i s n o n l i n e a r o o m b i n a t i o no f s a m p l e v e c t o re l e m e n t si nl h co r i g i n a ls p a o e c o - l i n e a r i t ya n da b u n d a n ti n f o r m a t i o no ft h e s a m p l e0 a r tb ee l i m i n a t e db yc c a i n t h er k h s ，i e n o nl i n e a rc c a ( n l c c a ) ，s ot l i c s a m p l ed i s t r i b u t i o ni nt h er k h si si m p r o v e dt ob ec l a s s i f i e de a s i l y a tl a s t t l i c n l c c a a l g o r i t h mw a l li n t e g r a t e dw i t hl i n e a rs u p p o r tv e c t o ro l a s s i f i e r , w h i o hi sc a l l e d n l c c a - l s v ch e r e n l c c a - l s v cw a sa p p l i e dt o2o o m p l o xc h e m i c a lp a t t e r n o l a s s i f i o a t i o np r o b l e m s 3 g - l s s v ma l g o r i t h mw a sp r o p o s e db a s e do nt h ef a s tl e a v eo n eo u t 皿o o ) m e t h o dw i t hl 0 0g 岫s q u a r ee r r o ro fp r e d i c t i o n ，i e 伽i t sm i n i m i z e do b j e c 乞 t h eg r a d i e n to f5 $ et oh y p c rp a r a m e t e r sw a gi n d e o e da n dt h e nt h eg r a d i e n td e c r e a s e m 塑坚奎竺苎主兰垒堡苎 m e t h o dw a sr e e dt of i n do p t i m a lh y p e rp a r a m e t e r sf o rl s s v m t o o & l i n gw i t hs m a l l - i 趵s a m p l e t h eg - l s s v m w a sa p p l i e dt om o d e lal e m o na c i df e r m e n t a t i o np f o o e s s 4 b l a o kb o xm o 如l s u c h 私a n na n dl s s v mm o d e la p r o c 龆so n l yd 叩姐出 o n 麟p c r i m t a ld a t 且w i t h o u tm a k i n gu o fa n yp d 凹k n o w l e d g c ，s ot h em o d e l s p r e d i o t l o nm a yb ei n c o n s i s t e n tw i t ht h ep i e o e , sm e h a n h ms o m e t i m e s t os o l v et h i s p r o b l e mw h e nc a l c u l a t ov 印o fo o m p m i t i o no fb i n a r yv a p o rl i q u i de q u i l i b r i u mw i t h a o n s t a n tt 。m p 苜a 舡l 埽( p r g u r e ) , g i b b $ - d u h o me q u a t i o nw a s i a t e g r a t o dw i t ha n na n d l s s v mt of o r mah y b r i dm o d 。l ，i e g d - m f n n g d - l s s v r 疋蚰c 卿t 啪 c o n s t r a i n e db yg i b b s - d u h c me q u a t i o n g d - m f n n & g d - l s s v m w c a p p l i e dt o s e v e r a lt h 锄o d y n 锄i oe x a m p l e s 5 ，s i n o et h ee m p i r i c a lr i s ki sc a l c u l a t e dv i aq n a d r a t i of a n o t i o n , l s s v ml o s e s s p a r s e n e s so fs v ma n dt h i sl e a d st ot h ed e o r e a s eo fo a l c u l a t i e ne f i s o i e a o yw h e n c l a s s i f y i n g t os p a n el s s v m , s t a t i s t i o a lm e t h o dw a su s e dt os e l e c ti m p o r t a t e x a m p l e so ft r a i n i n gs a m p l e 舢s u p p o r tv e c t o r ( s ua n dt h ei n f o r m a t i o no f1 1 0 1 1s v e x a m p l e sw a st r i m s f o r m e dt os v , s on 6 - w s p a r s ea l g o r i t h m sw c r 0p r o p o s e d t h en e w s p a r s ea l g o r i t h m sw a p p l i e dt os e v m l lr e a ll l f ep a t i n ad a s s i f l c 碰i o np r o b l e m s 6 ，b a s e do nt h es i n g u l a rv a l u ed e o o m p m i t i o no fk e r n e lm 8 埘鼍s v d - l s s v m w a sp r o p m e d , w h i c hc g a v et i m ef o r h y p e rp a r a m e t e r ss e l e c t i o nv i ao r o s sv a l i d a t i o n s v d - l s s v mb a l a n c e st h ee m p i r i c a lr h ka a dm o d e lc o m p l e x i t yt h r o u g hs i n g u l a r v a l u ec o n t r i b u t i o n , s oi tc a r r i e ss r mr u l ei naa e w w a y s 州r e lu c ib e n o h m a r l f i n g d a t aa n dt h eo l i v ec l a s s i f i c a l i o np r o b l e mw e r er e e dt ot o s ts v d - l s s v m k e yw o r d s ：l e a s ts q u a r e ss u p p o r tv e c t o r m a c h i n e , e m p i r i c a lm o d e l i n g ，s t r u c t u r a lr i s k m i n i m i z a t i o nm l c ，k e r n e lf u n c t i o n , o p t i m a lh y p e r p a r a m e t e r s ，a r t i f i c i a ln e u r a ln e t w o r k , s p a r s e , m o d e l i n g ，h y b r i dm o d e lr e p r o d u c i n gk e r n e li - f i l b e r ts p a c e ，s i n g u l a rv a l u e d e o o m p o s i t o n 渐扛大学博士擘位论文 第一章绪论 i i 引言 在二十一世纪及其未来，化学工业面临者来自经济的、环境的以及社会的等 多方面的挑战，主要包括：经济的日益全球化，环境保护的日益关注，顾客对产 品性价比的期望值日益增加和企业对利润的追求越来越高等等。为了迎接这种挑 战，现代化工企业越来越需要依赖于现代化工科学技术以及计算机软硬件等信息 技术的利用，以提高其产品的质量，降低资源的损耗，以满足来自社会的、环境 的以及企业自身的需求。而建立化学化工对象更准确的模型，无论是对化学物质 对象的特性研究还是实际化工生产过程控制、优化、模拟，均具有重要的现实意 义，这使得科研工作者需要不断地对建模方法进行研究。 建模的方法一般可分为三大类；第一类是根据“第一原理”( f r e tl m i n o i p l c ) 导出自变量与因变量之间明确的数学关系，称为机理模型；第二类是从基本理论 假设出发，构造出一类方程框架，然后基于观测数据，用统计的方法确定模型参 数，可称为半机理模型；第三类是根据莰j 试取得的观测数据，用数理统计、人工 神经网络或支持向量机等方法找出模型的经验方程，通常称之为经验模型。 机理建模需要人们对过程机理有着比较清楚和全面的掌握，建立的模型有很 强的理论基础，能较为准确的表达变量之间的关系，能很好的解释客观现象，预 测结果不会出现违背机理的情况；缺点是建模难度大，需要全面准确地理论支撑， 有时候模型的不断完善需要很长一段时间。事实上，大量的工业过程或研究对象 是非常复杂的，其机理尚不十分清楚；或机理方程非常复杂，难以用现有的数学 理论求解另外，机理分析总是基于很多简化和假设之上，这就使得机理模型与 实两；过程之间有着相当的误差，从而导致机理模型的适用范围受到了一定的限 制，此时，半机理模型和经验模型就有了广泛的应用范围。 但是，但是在化学、化工领域中，由于研究对象包括了复杂多样的原子间相 互作用，而人们对这一领域的认识还相当欠缺，难以直接用解析式表达和求解， 所以要从机理出发推算和把握如此复杂的体系和过程，在可预见的将来尚难办 到。与此同时，这类体系在尺度上和人类活动范围相近，其变化过程所需能量和 浙江大学博士学位论文 条件在地球表面环境中易于供给和满足，这就使这类凭籍解析方程求解极为困难 得体系可以通过实验获取数据，并建立经验模型加以认识，或提供线索，以便用 较小的工作量和较少的盲目性解决在化学、化工领域中的各种实际问题。本文主 要研究经验建模技术。 例如，在化学领域，化学家的一项重要任务是发明和合成各种有用的新物质， 例如构建计算机用的高性能半导体，航天工业用的耐高温高强度合金，以至离效 的抗癌药，色泽鲜艳不易退色的染料等这里需要解决的建模问题是：用何种原 子( 或元素) 可组成何种结构，由此合成的化学物质材料将具有何种物化性质或 生物活性，此即结构活性关系。虽然上述问题原则上可通过量子力学、统计力 学的方程建立机理模型，但是许多实际问题体系过于复杂，单靠机理建模不可能 但可根据机理或基础实验找出与目标值( 性质或性能) 有关的参数( 通常称为原 子参数、分子参数或化学键参数) ，据此处理已知实验结果( 如各种物理、化学 性质的数据) ，得到经验或半机理模型j 而化工工作者的一项重要任务是设计和改进方法，以便能够大量、低能耗低 成本地制造生产有用的物质和材料。为此，需要研究并掌握一系列传热、传质、 流体流动和化学反应网络的复杂过程。尽管已有传热方程、扩散方程、流体力学 的n a v i c r - s t o k c s 方程和描述反应速度的化学动力学方程，可对它们联立求解以 建立机理模型，但多数体系过于复杂，求解十分困难，难以建立机理模型。以石 油化工的加氢裂化过程为例，它涉及的因素包括：原油组分众多，且各组分含量 在不同批次原油中不尽相同；反应用的多孔固体催化剂，其细孔分布并不均匀： 加氢反应通常由一复杂的反应网络组成，各局部的传热、传质条件各不相同，反 应结果将随操作参数( 温度、压力和循环量等) 和原油成分( 硫含量等) 而变。 鉴于这样复杂的情况，为解决实际生产问题( 如监测航空煤油产品的质量指标， 或预测其它液体产品的收率等) ，只通过求解理想情况下基本过程的微分方程并 建立机理模型，显然将无法得到可靠的、切合实际的结果【1 1 因此，建立经验模型成为化学、化工建模领域的普遍和客观要求；而建立化 学、化工对象更准确的经验模型，无论是对于化学物质对象的特性研究还是实际 化工生产过程控制、优化、模拟，均具有重要的现实意义，这也是本文研究的意 义所在 巍扛大学博士学位论文 对于经验模型，根据因变量为离散变量或连续变量，可分为两类嘲：1 、当 因交量为离散变量时，模型可称为模式分类模型，如化学领域中的药物活性识别、 物料等级评定、化工领域中的流体的流型识别和故障诊断等问题，都可通过建立 模式分类模型来解决；2 、当因变量为连续变量时。可称为回归函数估计( 本文 以下章节也将之称作回归建模) ，如药物的结构活性关系建模、化工过程建模和 软测量等问题，可以在内在机理不甚明了的情况下，通过建立回归模型加以解决 下文将先介绍和比较几种常用的经验建模方法，然后指出了这些方法在实际 应用中的若干问题，最后给出了本文的研究内容及组织 1 2 常用经验建模方法 最早应用于模式识别和回归估计问题的方法是经典多元统计方法，如：f i 鼻h c r 判别、b a y e s 判别、线性回归和多项式回归等b ”，但是当经典多元统计方法应 用于模式分类问题时，要求观测数据服从一定的统计分布，而在实际应用中，这 点经常难以得到满足，尤其是对于小样本容量问题1 4 ；而对于非线性经验建模 问题，多元统计建模需要事先给出具体的非线性函数，这一步在实际中不易实现， 因为给出的函数若过于简单往往并不能真实反映实际问题，而过于复杂的函数又 很难处理。 随着人工智能和计算机技术的发展，人们借鉴人类大脑和神经系统储存、处 理信息的某些特性，抽象出一种数学模型：人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ， a n n ) 嘲。a n n 中的多层前传神经网络( m u l t i - l a y e r f e e df o r w a r dn e u r a ln e t w o r k , m f n n ) 是一种有效的非线性建模方法，具有自组织、自适应和容错性好等特性 ( 5 1 ；与经典的多元统计方法相比，它具有更为强大的非线性拟合能力，又不以一 定的分布为前提，能逐步掌握自变量与因变量问的内在联系，在处理背景知识不 清、因果关系不明和信息中含有噪声时具有独到的优势，已成为化学、化工领域 的复杂非线性经验建模的有力工具m f n n 的主要缺点是：其结构的确定无一 定方法可循，且易发生对训练样本数据的j 生拟合”( o v e r - r i f l i n g ) 和训练时陷入 局部极小点脚。h 们必容易产生过拟合现象的根本原因是其训练基于经验风险 最小化( e m p i r i c a l m k m i n i m i z a t i o n , e r m ) 原则，也即训练目标为最小化实际输 出与网络输出的误差平方和，而未考虑到网络的泛化能力 浙江大学博士学位论文 为克服m 卧i n 的缺点，v 曩恤i i 【经多年研究，提出了统计学习理论( s t a t i s t i c a l l c a r n m gt h e o r y , s l t ) 和一种新的经验建模工具：支持向量机( s u p p o r tv e c t o r m h i n c , s 讧) 嘲s v m 的训练是依据统计学习理论中的结构风险最小化 ( s t r u o t m a lr i s km i n i m i z a t i o n ，s r m ) 原则，在最小化经验风险的同时最小化s 讧 的模型复杂度，提高了模型的泛化能力；而经验风险和模型复杂度的最小化程度 由惩罚因子决定，惩罚因子取值越大则经验风险越小，而模型复杂度越高，当惩 罚因子取值过大时则会出现过拟合另外，s v m 训练问题是一个二次规划问题， 可以保证求得全局最优点s v m 最早是应用于模式识别领域，后来通过引入8 不敏感损失函数概念，使之可以应用于函数回归问题。当s 、佩f 用于非线性建模 问题时，需要先将原空间中的样本映射至经过选择的高维特征空间：重建核 h i l b e r t 空间( r 。p r o d u o i n g k e r n e l i - i i l b c f t i p a o e ，r k h s ) ，从而使原空间中的非线性 问题转换为r k h s 中的线性问题，然后在r k h s 中建立线性模型，而r k h s 中 的向量内积通过核函数在原空间中计算。由于核函数参数的选择决定了样本被映 射到具体某一r k h s ，因此所选择的核函数和惩罚因子决定了s v m 的函数表达 式。核函数参数和惩罚因子被称为s v m 的超参数，因为对于某一具体建模问题， 超参数的选择决定了模型的函数表达式和模型的拟合、预测性能 虽然5 - w m 具有良好的泛化能力并且训练时总是可以得到全局最优解，但是 其训练为一个有约束二次规划问题，其约束条件数等于训练样本容量，因此在用 于大训练样本容量的建模问题时，会导致训练时间过长针对s v m 这一缺点， s u y k e n s 提出了损失函数为二次函数，约束条件为等式形式的支持向量机：最小 二乘支持向量机( 1 e a s t 。q u 辩ss u p p o r t v e o t o r m a c h i n e ，l s s v m ) b q l s s v m 的 训练问题为一个线性方程组求解问题，相对于s v m 训练的二次规划问题求解， 其计算量有了很大的降低。但是由于l s s v m 损失函数为二次函数，使其丧失了 标准s v m 的稀疏性，这一点降低了l s s v m 模型的计算效率本文将集中研究 l s s v m 在化学、化工经验建模应用中的一些亟需解决的问题。 1 3 经验建模的若干问题 高维问题现代分析测量技术的迅速发展，使可以测定的性质越来越多对 于复杂的研究对象，又往租要求获取很多种性质的测定值，才有可能较为准确地 4 浙缸大学博士学位论文 描述研究对象这样将使自变量数增多，形成所谓的高维问题，使分析与处理变 得复杂。当进行建模时，自变量数的增多不但增加了模型的复杂度和建模计算量， 而且自变量之间具有相关性的可能性也会增加，而自变量之间的相关性会降低模 型的预测精度因此，对于高维问题。建模前需要对样本数据进行降维，例如提 取主成分等 模型的超参数选取对于经验模型，经典多元统计回归方法中的多项式的次 数、m f n n 的隐层数和隐层节点数以及s v m 的惩罚因子和核函数参数，通常被 称为模型的超参数，因为只有在这些参数确定之后，方可根据建模样本来确定模 型的参数，如：多项式的系数、m f n n 的权值和s v m 的l a g r b n g e 乘子等。超参 数决定了模型的拟合精度和预测性能，因此超参数的选取是建模过程中最重要的 步骤之一当l s s v m 应用于模式分类时，有人给出了其两个超参数：惩罚因子 和核函数参数的候选集，可以满足大多数分类问题的需要，因为对于任何模式分 类问题，其因变量都由确定的离散变量+ l 和1 ( 或0 和1 ) 组成，即模型输出变 化较小；并且在判断类别时只要模型输出接近于+ l 或1 ( o 和1 ) 即可，对模型 输出的精度要求也不高。但是对于回归估计问题却没有通用的l s s v m 超参数候 选集，因为回归估计问题的模型输出是连续变化的，并且对输出精度要求较高。 迄今为止，对于l s s v m 回归估计的超参数选取，应用最多的仍然是耗时多、精 度较差的网格方法：而对于大容量样本模式分类问题，通常采用交叉验证的方法 选取超参数。 经验模型与先验知识的混合所谓先验知识是指某一研究对象的机理信息的 部分或全部。经验模型将研究对象看成是一个可观测到其输入和输出值但不知内 部结构，也不包含任何先验知识的系统，其优点是不必了解对象内部机理即可建 模。缺点是；在模型超参数确定之后，建立的模型只与建模样本有关，而样本数 据是从实际中采样得到的，往往存在着一些问题，如嘲：( 1 ) 样本数据量不足， 较难全面准确地反映实际对象；( 2 ) 样本数据中带有误差和噪声：( 3 ) 样本中 包含因操作失误或机器故障而导致的错误数据。建模样本中存在的这些问题会降 低模型的可靠性，使之偏离实际对象，尤其当利用经验模型外推的时候，更容易 发生模型得到的结果违背先验知识的情况，影响其有效性。针对这一问题，可以 采用1 9 】：( 1 ) 增加样本容量；( 2 ) 对建模样本进行粗筹剔除；( 3 ) 利用提前 浙江大学博士学位论文 结束准则对建模过程进行控制； ( 4 ) 将先验知识和建模样本结合进行建模等方 法加以解决其中第四种方法称为基于先验知识的建模方法，目前已经有不少学 者对这一方法进行了研究，并提出了一些具体算法。 模型的计算效率当经验模型建立之后，若模型的函数表达式过于复杂，则 会增加模型在预测时的计算量，从而降低模型的预测速度，尤其是在训练样本为 海量数据的时候，有时预测速度的降低会难以接受饲如，l s s v m 由于丧失了 标准s v m 的稀疏性，使其在应用于海量数据挖掘时预测速度相对于s v m 降低 很多，甚至难以接受因此，如何简化模型的函数表达式，降低模型的预测计算 量，也是根据海量训练样本进行经验建模时必须考虑的一个实际问题。 1 4 本文研究内容及组织 由于l s s v m 的训练遵循s r m 原则，其泛化性能优于基于e r m 原则训练 的m f n n ，而训练算法较标准s v m 更为简单、快速，因此在化学、化工建模领 域逐渐取得了广泛的应用。本文对l s s v m 在建模时的若干重要问题进行了深入 的研究，并提出一些新的算法。 本文主要内容如下： 第一章绪论指出了化学、化工建模的意义，简要介绍和比较了常用的经 验建模方法：经典多元统计方法、多层前传神经网络和支持向量机，指出了经验 建模的若干问题，并引出了本文的主要研究方向 第二章最小二乘支持向量机简要介绍了统计学习理论和支持向量机原 理详细介绍了最小二乘支持向量机的原理，以及其在实际应用中的若干问题 时介绍了针对这些问题提出的各种改进，最后介绍了最小二乘支持向量机在实际 问题中的应用。 第三章基于核函数的非线性分类相关成分分析利用核函数技术，将原输 入空间的向量映射至r k h s ，在r k h s 中利用分类相关成分分析算法消除样本的 冗余信息得到核分类相关成分，核函数分类相关成分相对于原空间是非线性的。 用线性s v m 分类器( 标准s v m 和标准l s s v l 垤) 在非线性分类相关成分空间中 进行分类，实际应用表明该算法对于高维分类问题取得了良好的效果。 第四章基于统计分析的l s s v m 稀疏化从统计分析角度出发，提出了两 6 浙江大学博士学位论文 种l s s v m 稀疏化算法，分别基于主成分分析和相关分类成分分析，并与s u y k e m 提出的稀疏化方法进行了比较 第五章l s s v m 超参数选取的梯度法针对小样本容量建模问题，在快速 留一法为l s s v m 选取超参数的基础上，提出了用梯度下降算法为l s s v m 选取 超参数的算法，在实际应用中取得的良好效果表明，该算法适合于小容量样本的 经验建模 第六章二元汽液平衡计算的混合模型针对热力学中的气液平衡计算问 题，利用m f n n 弥补了机理模型理想化假设的不足，得到了输入、输出遵守 o i b b s - d u h c m 方程约束的半机理半经验模型对于二元恒温( 恒压) 气液平衡体 系的实际应用结果表明该混合模型的精度好于单纯的机理模型和纯粹的经验模 型。 第七章基于核函数矩阵的s v i ) 分解实现s r m 原则在最小二乘支持向量 机基础上，利用核函数矩阵的奇异值分解提出了新的实现s r m 原则的方法。 第八章总结与展望总结了本文整个的研究工作，并提出了进一步的研究 方向 浙江大学博士学位论文 第二章最小二乘支持向量机 2 1 研究背景 自上世纪8 0 年代以来，人工神经网络中的h 价i n 由于其强大的非线性拟合 能力，在模式分类和函数回归估计问题中获得了广泛的应用f l s l , 而在化学、化 工领域中的典型应用有：结构活性关系建模l o - 1 ”、故障诊断l 嘲、化工过程建 模f 1 3 l 、化工过程控制0 4 1 和数据校正 1 5 , 1 6 等。然而，在应用枷附n 解决各种实 际问题的过程中，人们发现m f n n 具有以下两个无法克服的困难： 网络结构的确定当利用m f n n 对一个观测数据样本进行建模时，网络的输 入、输出神经元数分别为样本的自变量个数和因变量个数，而隐层神经元数却难 以确定，因此确定m 卧j n 的结构实际上就是确定隐层神经元数。隐层神经元数 是否合适决定了m f n n 模型的拟合能力和预测能办，当隐层神经元数过少时 m f n n 会出现欠拟合，也即不能满足对训练样本的精度要求，更不能得到好的 预测精度；而过多则会出现过拟合现象，即对于训练样本输出误差很小，但是预 测性能会变差f ”。建立模型的目的就是为了预测，过拟合和欠拟合都是不能接 受的，因此确定隐层神经元数目很重要。 针对如何确定合适的隐层神经元数目，已经提出了很多方法，如：利用交叉 验证的方法选取合适的隐层神经元数1 1 l 】，根据训练样本数目确定隐层神经元数 的经验公式1 9 1 、剪枝策略1 2 0 , 2 ”、利用遗传算法确定神经网络结构隰捌、递增 隐层神经元数的构造法队翊，正则化方法 2 6 , 2 7 1 和b a y e s 方法隅2 9 1 等。m f n n 的结构难以确定是由于其训练是基于e r m 原则，训练时并未考虑m 卧l n 的预测 能力。 网络训练的局部极小点m f n n 的训练是一个高维、非线性、非凸优化问题， 难以保证找到全局最优解，影响了m 阶】n 在建模中的推广应用。为解决全局最 优点问题，各种具有全局寻优能力的随机算法，如模拟退火算法( s i m u l a t e d a n n e a l i n g ，s a ) p “、遗传算法( g e n c t i oa l g o r i t h m ，g a ) p 1 】和粒子群算法( p a r t i o l e $ w a l 1 1 1o p t i m i z a t i o n 。p s o ) 1 3 2 1 等，已键用于m f n n 的训练p 。但是，随机算 法寻优时间较长，往往不能满足实时性要求，且不能保证每次都能寻到全局最优 浙江大学博士学位论文 点 在m f n n 的实际应用中，网络结构的确定往往依赖于使用者的经验，不能 彻底克服m f n n 的两个缺陷：如何确定网络结构，如何在训练时找到全局最优 解。为克服上述两个缺陷，很多科研工作者做出了巨大的努力。其中成就最大的 是v l a d i m i r n v a l m i k 。 v a p n 墩从统计学角度研究经验建模问题，并将经验建模问题称为机器学习问 题，而将m f n n 等经验建模工具称为学习机器，提出了统计学习理论，并据此 理论中的s r m 原则提出了一种新的学习机器：支持向量机( s u p p o r tv e o t o r m a o h i n c ，s v m ) l s l 。由于s v m 有效地克服了m f n n 的两个主要缺陷，即网络 结构确定和全局最优点问题，已成为目前经验建模领域的研究热点。下文将简要 介绍统计学习理论 2 1 1 统计学习理论简介 v a p n i k 提出统计学习理论的主要目的之- - t i p 是提高学习机器的推广能力，而 学习机器的推广能力估计是建立在统计学习理论中一个重要的基本概念：v c 维 ( v a p n i k - c h e r v o n c n k i sd i m e n s i o n ) 的基础上。v c 维是目前为止衡量函数集学习 性能的最好的描述指标，并且根据v c 维可以得到学习机器的经验风险与其推广 能力之间的关系，进而得到指导s v m 训练的s r m 原则v c 维定义如下 v c 维对于指示函数集，如果存在h 个样本个体能够被函数集中的函数按所 有可能的2 6 种形式分开，则称函数集能够把 个样本个体打散；而函数集的v c 维就是它能打散的最大样本个体数目h 若对任意数目的样本个体，某函数集都 有函数能够将它们打散，则称该函数集的v c 维是无穷大指示函数集的v c 维 只可以作为分类器的学习性能描述指标，而用于回归估计的有界实函数集的v c 维，可以通过应用一定的阈值将其转化成指示函数后，予以定义 在统计学习理论中，v c 维反映了函数集的学习能力，v c 维越大则学习机 器越复杂( 或称容量越大) 一个函数集的容量越大，则其对于某个训练样本的 经验风险会越小，反之亦然；但是容量过大会导致过学习现象的出现，使得推广 性能变差。根据统计学习理论，对于两类分类问题，指示函数集中的所有函数( 包 9 浙江大学博士学位论文 括使经验风险最小的函数) ，在训练样本上的经验风险k 位) 和在整个样本空问 中的实际风险五 ) 问，满足式( 2 1 ) 烈 ) + 咀云j q 1 ) 式中 是函数集的v c 维，是训练样本容量。式( 2 1 ) 表明，学习机器的实际风 险由两部分组成，式中右边第一项为经验风险；而第二项为置信范围，反应了真 实风险与经验风险之间可能的差别而且d 书是丢的单调递减函数，丢越小则 置信范围越大，而真实风险与经验风险之间可能差别也会越大，对于一个v c 维 固定的一个学习机器，则样本容量，越大则其泛化能力越好，此即为什么对于 小容量样本问题，基于e r m 原则的m 卧1 n 会出现过拟合现象的原因因此在设 计学习机器的时候，不仅要最小化经验风险，还要使v c 维尽量小以缩小置信范 围，从而达到最小化实际风险的目的，也即使得机器具有较好的推广能力 对于一个学习问题，当值比较小时( 例如 o m 为一用户指定的常数，称为惩罚因子根据统计学习理论，式( 2 2 ) 中分类超 平面的v c 维h 满足不等式h 0 为惩罚 1 8 新荭大学博士学位论文 因子，作用是在训练中平衡学习机器的复杂性和经验风险 根据约束优化理论，式( 2 1 7 ) 的解由其对应的如式( 2 1 8 ) 所示l a g n m g e 泛函的鞍点给出： ( 矽，b ，摹；口) 霉j ( w ，b ，e ) - 口j ) ，【w 7 烈x j ) + b - i + 白 ( 2 1 8 ) i l l 式中必为l a g r m 4 9 e 乘子，取值可为一切实数而根据式( 2 1 8 ) 的鞍点条件， 可得下式： 昙= 。j 坩e 喜q m 争“俨。 挈；o j 届叩。 ”“ 罢- 。j 朋。p ，烈一) + 们= l 一岛f l ，2 ，3 玎 从式( 2 1 9 ) 的第三式可知，正比于其对应的样本上的训练误差。而将式( 2 1 9 ) 的4 个等式合并，可通过如下式所示的线性方程组求解出吼和b 。 ；n 二地h o 式( 2 2 0 ) 中，j 为n 维的单位矩阵，i 为 维的元素全是i 的列向量，口为”维 对称方阵，其元素为q 。，= 硼烈一) 7 烈一) ，其中似为) r | q t ( x j ) = k ( x , ，x j ) ，而 t ( ，) 为核函数，因此o “一m j | ( 葺，x j ) 为口的第f 行，列元素 求解( 2 2 0 ) 得到届和b 之后，则可以得到如下的l s s v m 分类函数： 灭x ) 一o t y k ( x , x ) + b ( 2 2 m 模式向量x 的类别由判别函数c ( x ) = 8 髀0 ( x )