（控制理论与控制工程专业论文）高斯过程模型及其在工业过程软测量中的应用研究.pdf

高斯过程模型及其在工业过程软测量中的应用研究+ 摘要 随着生产技术的发展和生产过程的日益复杂，为确保生产装置安全、高效地运行，需要 对与系统的稳定、产品质量密切相关的重要过程变量进行实时监测和优化控制。然而，由于 种种原因，这些需要被监控的变量有的很难被直接测得，有的即使能直接测到，但投资费用 昂贵且测量滞后较大。软测量( s o f ts e n s o r ) 为以上问题提供了一个有效的解决办法。 软测量的核心就是建模。近年来，核方法( k e r n e lm e t h o d s ) 在机器学习领域中日益盛 行起来，它能将经典的线性分类算法以简洁、优雅的方式拓展到非线性情况中去。本文主要 研究了核方法中的高斯过程( g a u s s i a np r o c e s s e s ) 方法，为解决软测量建模提供了一种新的 有效途径。在此基础上，丰富了实验室现有软仪表的算法库，并将软仪表在甲醇精馏_ t 业生 产装置r 成功实施。 论文的主要内容和研究成果包括： 1 根据高斯过程的基本理论，提出了基于标准高斯过程的软测量建模方法，该学习机 采用平方指数协方差函数为核函数，训练时使用变尺度共轭梯度法来优化超参数。 为了将标准高斯过程推广到非高斯噪声的情况，提出了基于变型高斯过程的软测量 建模方法，该学习机采用双曲正切协方差晒数为核函数，对标准高斯过程的输出空 间实施非线性单调变换。从平滑样条模型出发，对比分析了核方法的两大范式 高斯过程和支持向量机的联系与区别，为进一步理解和推进核方法的研究奠定了良 好的基础。 2 针对在线应用和大数据集等情况，提出了基于稀疏高斯模型的软测量建模方法。它 是基于b a y e s 在线学习算法，通过构造一连串的相关予样本来给出高斯过程的预测 输出。通过利用参数化和再生核h i l b e r t 空间范数的投影技巧，得到优化后的参数和 后验过程的稀疏高斯逼近。运用稀疏技巧极大地减轻了高斯模型的计算量，推动了 + 国家发改委”工业自动化高技术产业化重大专项”之”煤化工企业综合自动化信息集成s f 台及应用”；国家高 技术研究发展计划( 8 6 3 计划) 项目( 2 0 0 4 a a 4 1 2 0 5 0 ) ；国家”_ 1 五”科技攻关计划项h ( 2 0 0 1 b a 2 0 1 a 0 4 ) ； j 软测量模型的实际运用。 3 针对工业过程的多工况特性，提出了基于混合高斯模型的软测量建模方法。通过判 断出与特定工况相关程度最大的过程知识，利用它们建立与特定工况相对应的局部 高斯模型，再将它们合并组成具有多模型结构的全局模型。混合模型的使用既有利 于降低单一模型的计算负担、提高单一模型的建模精度，又能有效反映工业过程中 的工况变化。 4 结合所提出的软测量建模方法，利用面向对象、多线程、动态链接库等软件技术， 开发了基于w i n c e n e t 的嵌入式软仪表，丰富了实验室现有软仪表的算法库，实现 了软仪表的硬件化。 5 将软仪表成功应用于上海焦化有限公司碳一分公司甲醇精馏工业生产装置加压塔 塔顶甲醇浓度s 2 ( 乙醇浓度) 的软测量，取得了满意的效果，为工厂的生产操作和 先进控制的实施提供了条件。 关键词：核方法，软测量，高斯过程模型，支持向量机，稀疏逼近，多模型，局部学习 嵌入式系统 i l s t u d yo ng a u s s i a np r o c e s sm o d e la n di t sa p p l i c a t i o nt os o f t s e n s o ri np r o c e s si n d u s t r i e s a b s t r a c t w i t ht h ed e v e l o p m e n to f t e c h n o l o g ya n dt h ec o m p l i c a t i o no f i n d u s t r i a lp r o c e s s e s ，w en e e dt o i m p l e m e n tr e a l - t i m ec o n t r o lo ro p t i m i z a t i o nf u rv a r i a b l e sk e yt ot h ep r o c e s si no r d e rt oe n s u r et h e s a f e t ya n de f f i c i e n c y h o w e v e r , s o m ei m p o r t a n tv a r i a b l e sa r ed i f f i c u l tt ob ed e t e c t e dd u et ot h e l i m i t a t i o no fe c o n o m ya n dt e c h n o l o g y f u r t h e r m o r e ，w et e n dt om e e tt h ed i f f i c u l t yo ff a i l u r e p a r a m e t e r sf o re c o n o m i cm o n i t o r i n g s o f ts e n s o r sp r o v i d eac o n v e n i e n ts o l u t i o nt oe l i m i n a t eo ra t l e a s tp a l l i a t et h ea b o v ep r o b l e m s t h ek e yp o i n ti ss o f ts e n s o rm o d e l i n gr e c e n t l y , k e r n e lm e t h o d s ( k m ) a r eb e c o m i n gm o r e a n dm o r ep o p u l a rw i t h i nt h ec o m m u n i t yo fm a c h i n el e a r n i n g ，d u et ot h ep o s s i b i l i t yo fb u i l d i n g n o n l i n e a rv e r s i o n so fc l a s s i c a ll i n e a ra l g o r i t h m si na ne a s ya n de l e g a n tw a y w el a ya ne m p h a s i s u p o nt w oo ft h em o s ti m p o r t a n tp a r a d i g m sw i t h i nk e r n e lm a c h i n ec o m m u n i t y - 一- g a u s s i a n p r o c e s s e s ( g p ) a n ds u p p o r tv e c t o rm a c h i n e s ( s v m ) ，a n df o c u so nt h er e s e a r c ho fs o i ls e n s o r m o d e l i n gb a s e do ng a n s s i a np r o c e s s e s b a s e do bt h ee x i s t i n ga l g o r i t h m s ，e m b e d d e ds o f ts e n s o ri s d e v e l o p e da n ds u c c e s s f u l l ya p p l i e dt ot h ee s t i m a t i o no fe t h a n o lc o n c e n t r a t i o no nt h et o po ft h e p r e s s u r e dt o w e r i nt h em e t h a n o ld i s t i l l a t i o np l a n to f s h a n g h a ic o k i n g c h e m i c a lc o r p o r a t i o n m a i nr e s u l t sa n dc o n t r i b u t i o n so f t h ed i s s e r t a t i o na r ea sf o l l o w s s i n c ek e r n e lm e t h o d sa r cb e c o m i n gp o p u l a ri nm a c h i n el e a r n i n gc o m m u n i t y , an o v e l s o f ts e n s o rm o d e l i n ga p p r o a c hi sp r o p o s e db a s e do ng a u s s i a np r o c e s s e s i ti st r a i n e db y o p t i m i z i n gt h eh y p e r p a r a m e t e r su s i n gt h es c a l e dc o n j u g a t eg r a d i e n ta l g o r i t h mw i t ht h e s q u a r e de x p o n e n t i a lc o v a r i a n c ef u n c t i o ne m p l o y e d f o rg e n e r a l i z i n gt h eg pf r a m e w o r k t h ep r o j e c tw a ss u p p o r t e db yt h ei n d u s t r i a la u t o m a t i o nh i 曲- t e c hi n d u s t r i a l i z a t i o nk e yp r o g r a mo f n a t i o n a l d e v e l o p m e n ta n dr e f o r mc o m m i s s i o no f c h i n a , t h en a t i o n a lh i g r at e c h n o l o g yr e s e a r c ha n dd e v e l o p m e n t p r o g r a m ( 9 6 3p r o g r a m ) o f c h i n a ( 2 0 0 4 a a 4 1 2 0 5 0 ) a n d t h e n a t i o n a l k e y t e c h n o l o g i e s r e s e a r c ha n d d e v e l o p m e n tp r o g r a mo f c h i n a ( 2 0 0 i b a 2 0 i a 0 4 i 1 1 1 f o rr e g r e s s i o n aw a r p e dg p b a s e ds o f ts e n s o ri sp r o p o s e dv i at h ec o n s t r u c t i o no f c o v a r i a n c ef u n c t i o n ，w h i c hw a r p st h eo b s e r v a t i o ns p a c et h r o u g han o n l i n e a rm o n o t o n i c f u n c t i o nt oal a t e n ts p a c e c o n s i d e r i n gt h a ts v ma n dg pa l et w oi m p o r t a n tp a r a d i g m si n k e r n e lm a c h i n e sc o m m u n i t y , r e l a t i o n s h i p sb e t w e e ng a n s s i a np r o c e s s e sa n ds u p p o r t v e c t o rm a c h i n e sa r ei n v e s t i g a t e di nt e r mo fs m o o t h i n gs p l i n em o d e l ，w h i c hl a yas o l i d f o u n d a t i o nt ou n d e r s t a n da n dp u tf o r w a r dt h ef n r t h e rr e s e a r c ho f k e r n e l m e t h o d s + s p a r s eg p - b a s e ds o f ts e n s o rm o d e l i n ga p p r o a c hi sp r o p o s e dt om e e tt h ed e m a n do f l a r g e d a t a s e t so ro n l i n es e t t i n gs u i t a b l ef o rr e a l t i m ea p p l i c a t i o n s i ti sb a s e do nac o m b i n a t i o n o fab a y e s i a no n l i n ea l g o r i t h mt o g e t h e rw i t has e q u e n t i a lc o n s t r u c t i o no far e l e v a n t s u b s a m p l eo f t h ed a t at os p e c i f yt h ep r e d i c t i o no f t h eg pm o d e l b yu s i n ga l la p p e a l i n g p a r a m e t e r i z a t i o na n dp r o j e c t i o nt e c h n i q u e st h a tu s et h er e p r o d u c i n gk e r n e lh i l b e r t s p a c e ( r k h s ) n o r m ，r e c u r s i o n sf o rt h ee f f e c t i v ep a r a m e t e r sa n das p a r s eg a u s s i a n a p p r o x i m a t i o no ft h ep o s t e r i o rp r o c e s sa r eo b t a i n e d t h es p a r s i t yt e c h n i q u eg r e a t l y a l l e v i a t e sc o m p u t a t i o n a lc o s to f t h eg pm o d e l ，a n dm a k e st h es o f ts e n s o rm o r ep r a c t i c a l m i x t u r eo f g p b a s e ds o f ts e n s o r m o d e l i n ga p p r o a c h i sp r o p o s e ds i n c e m o s to f i n d u s t r i a l p r o c e s s e sa r ec h a r a c t e r i z e do fm u l t i p l ew o r km o d e s i tw o u l dc e r t a i n l yb ea b l et o e x a m i n ew h a tt y p e so f p r o c e s s - k n o w l e d g ew o u l db em o s tr e l e v a n tf o rs p e c i f i co p e r a t i n g p o i n t so ft h ep r o c e s sb yl o c a lm o d e l sa n dt h e nc o m b i n et h e mi n t oag l o b a lo n e t h e m i x t u r em o d e lc a na l l e v i a t ec o m p u t a t i o n a lc o m p l e x i t ya n di n c r e a s ee s t i m a t ep r e c i s i o n ， a n da l s oa c c o r dw i t hc h a n g e so f o p e r a t i n gc o n d i t i o ni np r a c t i c a lp r o c e s s e s b yu s eo fa d v a n c e ds o f t w a r ed e v e l o p i n gt e c h n i q u e ss u c ha so b j e c t - o r i e n t e d ( o o ) ， m u l t i t h r e a d ，a n dd y n a m i cl i n kl i b t a r y ( d l l ) ，e ta 1 ，a i iw i n c e n e t - b a s e de m b e d d e ds o f t s e n s o rs y s t e mi sd e v e l o p e df o ri n d u s t r i a la p p l i c a t i o n s t h ei m p l e m e n t a t i o np r o m o t e st h e i n d u s t r i a l i z a t i o no f s o f ts e n s o ra p p l i e dt op r o c e s si n d u s t r i e s t h ee m b e d d e ds o rs e n s o ri su s e df u rt h ee s t i m a t i o no f e t h a n o lc o n c e n t r a t i o no nt h et o p o f t h ep r e s s u r e dt o w e ri nt h em e t h a n o ld i s t i l l a t i o np l a n to fs h a n g h a ic o k i n g c h e m i c a l c o r p o r a t i o n ，a n ds a t i s f a c t o r yr e s u l t s a r eo b t a i n e d ，w h i c hc o u l dp r o v i d eo p e r a t i o n v g u i d a n c ea n dp o t e n t i a l l ym e e tt h er e q u i r e m e n t so f a d v a n c e dp r o c e s sc o n t r o l ( a p c ) k e y w o r d s ：k e r n e lm e t h o d s ，s o rs e n s o r , g a u s s i a np r o c e s sm o d e l ，s u p p o r tv e c t o rm a c h i n e s ， s p a r s ea p p r o x i m a t i o n s ，m u l t i p l em o d e l s ，l o c a ll e a r n i n g ，e m b e d d e ds y s t e m v 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 丝，己，一 日期：加年岁月2 , o 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：丝岛d 指导教师签名：研鸭 日期：溯年5 月日 日期：珈睁3 月加日 第一章绪论 1 1 研究背景 在许多工业过程中，由于技术或经济条件的限制，大量关键性过程状态、产品质量等变 量缺乏在线直接测量手段，已经成为制约生产安全、产品质量、及生产效益进步提高的瓶 颈。为解决这类问题，主要有以下三种方法： ( 】) 采用问接的质量指标控制； ( 2 ) 采用在线分析仪表，并用硬件予以实现； ( 3 ) 采用离线的实验室分析结果。 其巾，第种方法难以保证最终质量指标的控制精度。由于现代一艺过程的复杂性，依 靠这种间接控制方法进行操作和控制比较渊难。为了应对异常情况，在操作和控制时往往留 有较人的余地，使乍产装置运行于远离生产约束边界、相对安全和平稳的区域。凶此，无法 使装置运行于最优工况。第二种方法开发费用高，硬件投资大，原理复杂，维护费用高。除 了在少数特殊情况之外，未被工业控制界广泛接受和采纳。第二二种方法存在较大滞后，分析 结果无法参与在线控制和优化操作。近年来，为了解决这类变量的估计和控制问题，软测量 ( 又称软仪表，s o f ts e n s o r ) 技术取得了重大的发展。 软测量技术的理论基础是b r i s i l l o w ( 1 9 7 8 ) 所提出的推断控制。软测量技术的基本思想 是对于那些难以测量或者暂时不能测量的重要变量( 称为主导变量，p r i m a r yv a r i a b l e ) ，我 们选择一组与主导变量相关的可测变量( 称为辅助变量或二次变量，s e c o n d a r yv a r i a b l e ) ，通 过构造某种数学关系来推断和估计主导变量，用软件来代替硬件( 传感器) 功能。软仪表的 估计值可作为控制系统的被控变量或反映过程特征的工艺参数，为优化控制与决策提供重要 信息。除了“测量”主导变量之外，软测量还有其他一些重要作用。对能够在线检测的重要 过程变量，采用软测量提供检测冗余，可以人幅度提高测量数据的精度和可靠性，也减小了 测量滞后对控制的负面影响；用软测量值束诊断仪表故障并在仪表出现故障时自动取代仪表 输出值作为反馈信号，可以火火提高控制系统的可靠性；高精度的软测量可以节省昂贵的硬 上海交通大学博士学位论文 件设备费用。目前，软测量技术已经是工业过程控制领域非常关键和前沿的技术，成为控制 领域的一个研究热点( m c a v o y , 1 9 9 2 1m a r t i n ，1 9 9 7 ；a l b e r t o se ta 1 ，2 0 0 2 ：俞金寿等，2 0 0 0 ； 李海青等，2 0 0 0 ；罗荣富等，1 9 9 4 a ；于静江等，1 9 9 6 ；王旭东等，1 9 9 8 ；王剑东等，2 0 0 2 ： 单鸿亮等，2 0 0 3 ；王宇红等，2 0 0 3 ；杨辉等，2 0 0 3 ；张晓东等，2 0 0 2 ；冯瑞，2 0 0 3 ；罗健旭， 2 0 0 4 ；王锡淮等，2 0 0 4 ) 。 软测量建模是软测量技术的核心。软测量建模技术主要分为三类：第一类是基于过程反 应机理的建模技术，该类方法通过分析过程的反应机理，运用物理、化学等基本定律来表达 过程的内部规律，建立过程模型。第二类是基于数据的建模技术，该类方法在建模时，将对 象看成黑箱，通过输入输出数据建立与过程外部特性等价的模型。第三类是前面两类建模方 法的混合运用。 论文以工业过程软测量为背景，主要研究了基于核方法的软测量建模方法，重点研究了 基于高斯过程的软测量建模方法。 1 2 软测量建模研究现状 软测量技术包括数据采集、辅助变量选择、数据预处理、软测量建模、模型校正等一系 列_ 1 程技术。其中，软测量建模足软测量技术的核心，它不同于傲意义下的数学模型，强 调的是通过二次变量来获取对主导变量的最佳估计。下面，介绍软测量建模的现有方法。 1 2 1 机理建模 机理建模是指在对过程工艺有着充分了解的基础上，通过些物料平衡、能量平衡、汽 液平衡等机理，建立以微分方程或代数方程为主要表达式的动态数学模型。由于机理建模建 立在坚实的理论基础上，可以充分利用已知的过程知识，从事物的本质上认识外部特征，有 较大的适用范围，操作条件变化可以类推，所建立模型比较精确。很多人对一些过程机理研 究得比较完善的过程进行了基于机理的软测量建模( s a r k a re t a l ，1 9 9 2 ，1 9 9 3 ；m c a u i c ye t a l ， 1 9 9 1 ；s a t oe ta l ，2 0 0 0 ：b e t t o n ie ta 1 ，2 0 0 0 ；侯晓明等，1 9 9 1 ；骆晨钟等，1 9 9 8 ：梁军等， 1 9 9 7 ，1 9 9 9 ：田荣海等，2 0 0 0 ；程志强等，2 0 0 4 ) 。这类方法需要对过程机理有较深入的了解， 同时，建立一个机理模型通常需要耗费很大的精力。它不适，h 于机理尚不完全清楚的工业过 2 第一章绪论 程。 1 2 2 基于对象数学模型的方法 这种方法直接利用生产过程的数学模型，来得到软测量的估计值。 当采用的数学模型是状态空间模型时，软测量问题就转化为典型的状态观测和状态估计 问题，估计值就可以表示成k a l m a n 滤波的形式。文献( l a n ge t a l ，1 9 9 0 ；a m i r t h a l i n g a me ta 1 ， 1 9 9 9 ) 等所讨论的软测量模型都是基于状态空问模型的。同时，扩展的k a l m a n 滤波器( t h a m e ta 1 ，1 9 9 1 ：g u d ie ta 1 ，1 9 9 5 ) 、自适应k a l m a n 滤波器( k r e i s s e l m e i e r , 1 9 7 7 ：g u i l a n d o u s te t a 1 ，1 9 8 7 ) 和扩展的l u e n b e r g e r 观测器( q u i n t e r o - m a r m o le ta 1 ，1 9 9 1 ) 在软测量中也得到了 应用。 当采用的数学模型是输入输出模型时，在对象模型结构已知的情况下，可以采用参数辨 识的方法，软测量问题转化为传统的辨识问题。最常见的线性模型为自回归滑动平均模型 ( a r m a x ) 。 若描述的对象为稳态模型，可以采j l jb r o s i l l o w 估计器来构造软测量模型( b r o s i l o we ta 1 ， 1 9 7 8 ；w e b e re ta 1 ，1 9 7 2 ) 。如_ 粜描述对象是动态模型，g u i l a n d o u s te ta 1 ( 1 9 8 8 ) 和t h a me ta 1 ( 1 9 8 9 ) 采用了自适应估计方法建立软仪表。这类方法最终将问题转化为基于a r m a x 模 型的递推估计问题进行求解。 1 2 3 基千回归分析的方法 统计吲归的方法是软测量建模比较常用的方法之，它包括多元刚归( m l r ) 、主元回 归( p c r ) ，部分最小二乘回归( p l s r ) 等。回归分析是统计学的重要分支，它是从实验或 观察数据出发，寻找合适的数学模型来近似表达变量之间的数量关系，研究它们之间的密切 程度以及进行预测和推断。利用回归算法建立软测量模型的文献有w o l de t a l ( 1 9 8 9 ) 、m e j d e l l e t a l ( 1 9 9 1 1 9 9 3 ) 、q i ne ta 1 ( 1 9 9 2 1 9 9 7 ) 、s k a g e r b e r ge ta 1 ( 1 9 9 2 ) 、b a f f ie t a l ( 2 0 0 0 ) 等。 1 2 4 基于模式识别的方法 在缺乏系统先验知识的情况f ，可以采削模式谚 别的方法对系统的操作数据进行处理， 3 上海交通大学博士学位论文 从中提取系统的特征，构成以模式描述为基础的模型( z h o ue ta 1 ，1 9 8 9 ：叶楠等，1 9 8 8 ) 。 1 2 5 基于计算智能的方法 近年来，人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) 在控制领域取得了很大的发展 ( h u n te ta 1 1 9 9 2 ) 。将辅助变量作为a n n 的输入，将主导变量作为其输出，通过网络的学 习来解决不可测变量的软测量问题( d im a s s i m oe ta 1 ，1 9 9 2 ：w i l l i se ta 1 ，1 9 9 1 ，1 9 9 2 ；w a n ge t a 1 ，1 9 9 6 ：罗荣富等，1 9 9 4 b ：y a n ge t a l ，1 9 9 7 ：s ue ta 1 ，1 9 9 8 ；b h a r t i y ae ta 1 ，2 0 0 1 ；y e he t a l ， 2 0 0 3 ：d u f o u r e t a l ，2 0 0 5 ：f o r t u n ae t a l ，2 0 0 5 ) 。需要指出的是，训练样本的空间分布和训练 方法对a n n 的性能有极大的影响。 粗集理论在数据分析中能够解决的问题包括：根据属性值表征对象集、发现属性间的( 完 全或部分) 依赖、冗余属性的简化、属性重要度的分析、生成决策规则等。粗集理论与遗传 算法、神经网络的结合，在软测量技术中得到了较好的应用( 罗健旭等，2 0 0 3 ) 。 模糊逻辑是人们处理复杂系统的种手段，该方法通常与神经网络技术、模式识别技术 等结合使川( z h o ue ta 1 ，1 9 8 9 ；罗荣富等，1 9 9 3 ) 。 统计学习理论中的支持向量机( s u p p o r t v e c t o r m a c h i n e s ，s v m ) 在软测量建模中显示出 惊人的优越之处( f e n ge ta 1 ，2 0 0 3 ；y a he ta 1 ，2 0 0 4 ) 。支持向量机算法的技巧是，利用核变 换将输入空间中的数据样本隐式地映射到高维特征空间中，从而把线性算法转化为非线性算 法，同时，可以将这样的思想成功地引入到其它学j = 算法，比如p c a 、聚类和b a y e s 分类器 等。通常将这样得到的非线性学习算法与支持向量机一起称为核方法( k e r n e lm e t h o d s ) 或 基于核的学习方法( k e r n e l - b a s e d l e a r n i n g m e t h o d s ) ( m u l l e r e ta 1 ，2 0 0 1 ；s c h o l k o p fe t a l ，2 0 0 2 ) 。 1 2 6 混合建模 混合建模指的是将机理建模和基于数据驱动( d a m d r i v e n ) 的建模相结合或者是基于数 据驱动的方法之间的相结合。 刘于存在简化机理模型的过程，可以将简化机理模型和基于数据驱动的模型结合起来。 简化机理模1 4 提供的先验知识，可以为基于数据驱动的模l ! 提供有效信息；同时基于数据驱 动的模型又能补偿简化机理模型中的未建模特性。例如，o ie ta 1 ( 1 9 9 9 ) 采用神经网络与 一维简化模型相串联建立壁冷式同定床反应器的模型：赵昀等人( 2 0 0 0 ) 将神经嘲络与机理 4 第一章绪论 分析相结合，用以实现对气力输送系统中粉料质量流量的软测量；李向阳等人( 2 0 0 1 ) 将神 经网络与经验模型相结合，建立了蒸煮过程纸浆卡伯( k a p p a ) 值的软测量模型；g e o r g i e v ae t a 1 ( 2 0 0 3 ) 采用神经网络结合部分机理模型的串联结构建立了蔗糖提炼中的间歇式蒸发结晶 过程模型；杨辉等人( 2 0 0 3 ) 将r b f 神经网络与萃取过程物料平衡模型相结合，给出了在线 预测稀士串级萃取分离生产过程中各组分含量的软测量模型；陈晓方等人( 2 0 0 4 ) 提出了基 于智能集成策略的软测量模型，主要包括数学模型、专家规则和智能协调器，将其用于铅锌 冶炼烧结过程烧结块残硫估计，取得理想的效果。 对于基于数据驱动的建模方法之间的结合，感兴趣的读者可以参阅前面所述的各方法 ( z b o ue fa j ，1 9 8 9 ；罗荣富等，1 9 9 3 ；w a n ge ta 1 ，1 9 9 9 ；贾立等，2 0 0 1 ；l u oe ta 1 ，2 0 0 2 ； 王东风等，2 0 0 2 ：k a l o se ta 1 ，2 0 0 3 ；唐朝晖等，2 0 0 3 ；y a ne ta 1 ，2 0 0 4 ) ，这里不再赘述。 1 3 核方法及其研究现状 随着对支持向量机的认识加深，人们纷纷把月光投向了核方法这更具本质意义和厂泛 意义的研究领域( c a m p b e l l ，2 0 0 2 ；g o r d o n ，2 0 0 3 ；h e r b r i c h ，2 0 0 2 ；s c h o l k o p f e ta 1 ，2 0 0 2 ，2 0 0 3 a ， 2 0 0 3 b ，2 0 0 47s b a w e - t a y l o re t a l 2 0 0 4 ) 。核的重要特性是将输入空间中的数据隐式映射到高 维特征空间，这样可以将输入空间中的非线性问题转化为特征空间中的线悻问题束分析求 解。所以，它能把常用的线性方法扩展成非线性方法。 1 3 1 引例 下面，给出个引例作为核方法的入门( s c h o l k o p fe ta 1 ，2 0 0 3 a ) 。 给定实验数据 ( x i , y 。) ，( b ，) x + 1 ( 1 1 ) 其中，定义域x 为某个非空集合，模式x ，取自于定义域x ，只称为标记值( 1 a b e l ) 或者目 标值( t a r g e t ) 。如小作说明，下标i 和j 将被默认为训练集中的标号，f ，j = l ，。 需要指出的是，这里没有埘作任何假设，只说叼了它是一个非空集合。在学习问题 的研究中， 般希望训练得到的学习机在未知的数据点r 有良好的泛化性能。例如，存模式 识别巾，这种性能表现为，给定某个新的模式x x ，希望能对未知输出y 1 ) 做出尽 上海交通大学博士学住论文 可能正确的预测。 粗略地讲，需要所选择的y 应使得 ，y ) 在某种意义上相似- t 口l l 练样本。为此，需要求 出x 和 + 1 ) 中的相似性测度( s i m i l a r i t yr n e a s u r e ) 。对于后者，这点比较容易实现，因为目 标值只有两种可能，要么相等，要么不等；对于前者，就需要一个相似性测度 k ：x x x - - + r ( x ，z ) 卜k ( x ，x )( 1 2 ) 也就是说，对于给定样本x 和x ，函数返回一个实数来表征它们的相似性。这样的函数k 就 称为核。 数学中，一种极具魅力的相似性测度就是点积。例如，给定两个向量x ，x r “，标准 的点积定义成如下形式 其中，( x ) ，表示x 的第i 个变量。 ( x ，x ) ：= ( x ) ，( x 。) 0 - 3 ) 在这里，点积的儿何含义是：如果x 和x 被标准化为度为1 的单位向量，那么点税 就是计算向量x 和x 。夹角的余弦。而且，点积也可以看成是以i 王酉的形式计算向量x 的 长度，如果是不同长度的向量，则可以将点积看成是计算它们之问的距离。因此，点积的计 算等价于利用角度、长度、距离来实现几何图形。 在这里，没有假设模式x ，属于某个内积空问f 。为了利用内积空间中相似测度的性质， 需要将这些模式嵌入到某个内积空问( 这个内积空问不- 定要和r “相等) 。为此，运用如 f 映射来达到这一目的： 口：x f x 卜x ( 1 4 ) 这里的空间f 就称为特征空间。将数据嵌入到f 中有三大好处： 1 它使研究者能利用f 中内积来定义相似测度 k ( x ，x ) ：= ( x x ) = ( 妒( x ) p ( x ) ) ( 1 - 5 ) 2 它使研究者能够从几何上分析模式，于是就能运用线性代数和解析几何来研究学习 算法。 3 映射妒选取t 的自出能、止研究者设计 h 许多种学习算法。例如，对于输入模式已经 6 第一章绪论 存在于内积空间的情况，研究者可以直接地定义内积作为相似测度。同时，研究者也可 以针对某个特定的问题，选取另外种非线性映射妒来得到更合适的学习算法。 1 3 2 核的定义 设x c r ”为输入空间，p 是输入空间x 到特征空间f 的映射，则核可以表示为 七( 甜，v ) = 伊( ) 伊( v ) ，其中妒( 甜) 妒( v ) 为内积。核是满足如下m e r c e r 条件的任何对称函数 ( v a p n i k ，1 9 9 9 ) 。 m e r c e r 条件 要使厶下的对称函数k ( u ，v ) 能以系数 0 展开成 k u ，v ) = 吼纯( “) 吼( v ) k = l ( 即k ( u ，v ) 是某个特征空间的。个内积) ，其充分必要条件是，对任意不恒为0 的函数g f 9 2 ( x ) 出 _ 0 成立。 从定义可以看出核应该满足两个条件：对称性女( “，v ) = k ( v ，u ) 科l c a u c h y - s c h w a r t z 不等 式女2 ( ”，v ) k 扣，u ) k ( v ，v ) 。对称正定的函数在统计上称为协方差，所以核从本质上米讲是 协方差( g e n t o n ，2 0 0 1 ) 。 13 3 核的性质 根据核的定义，可以得到核的一些性质( g e n t o n ，2 0 0 1 ) 。 性质1如果k l , k 2 是两个核，且a 1 和口2 是俩个j e 实数， 则 k ( u ，v ) = 口 七】( 科，v ) 十a s k 2 ( “，v ) 也是核。 从上瑚性质可以看出，核函数系实际上是一个凸锥。 性质2 如果女i ，k 2 是两个核，则k ( u ，v ) = k l ( “，v ) 。女2 ( n ，v ) 也是核。 7 上海交通大学博士学位论文 性质3 如果置是一个核，则由k l 组成的系数为正的多项式也是核，即 k ( u ，v ) = q k i ( “，v ) j n n ，0 1 , 口2 ，r + ) 也是核。 ，= l 性质4 如果女l 是一个核，则k l 的指数也是核，即k ( u ，v ) = e x p ( k 1 ( u ，v ) ) 也是核。 性质5 如果日是一个实值函数，k 1 是一个核，则k ( u ，v ) = k j 0 0 ) ，口( v ) ) 也是核。 性质6如果a 是 的正定矩阵，则k ( u ，v ) = b l t 爿v 也是核。 性质7 如果妒是一个方差函数，j l k ( “，v ) = 三勋 + v ) 一妒 一v ) 】也是核。 核的性质很重要，它能帮助我们构造出瓤的更为复杂的组合核。 1 3 4 线性空间中相似性的表示 通过前面的铺垫，知道了核的定义和性质，知道了核是由特征空间巾的内积运算定义而 来，然而，在实际设计基于核的学习算法的时候，需要考虑的是这样的一个问题：给定某个 核函数，研究者如何构造出一个特征空问，使得核能够在这个空闸巾计算内积? 这个问题已 经引起了机器学习界良j g - f f 关注( a i z e r m a ne ta 1 ，1 9 6 4 ；v a p n i k ，1 9 9 8 ，1 9 9 9 ) 。本节就从这个 角度出发讨论这问题( s c h o l k o p f e ta 1 ，2 0 0 3 a ) 。 定义i ( g r a m 矩阵) 给定一个核k 和模式。，彳，m 矩阵 k ：= ( 女( x ，z ，) ) 。 被称为模式。l ，一，关于核k 的g r a m 矩阵( 或核矩阵( k e r n e l m a t r i x ) ) 。 定义2 ( 正定矩阵) m x m 矩阵k ，对所有c c 均有 q 弓局0 那么，该矩阵称k o 为正定矩阵。 定义3 ( 正定核)设x 为非空集合，对于所有m n ，x ，函数k ：x x 寸c 能 生成正定g