（管理科学与工程专业论文）基于支持向量机模型的系统辩识与分类预测方法研究.pdf

r e s e a r c ho nt h em e t h o d so fs y s t e mi d e n t i f i c a i t o na n d p a t t e r nc l a s s i f i c t i o nb a s e do nt h es v mm o d e l s ad i s s e r t a t i o ns u b m i t t e dt o t o n g j iu n i v e r s i t y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f o rp o s t d o c t o r a l b y y a n gl e i m a n a g e m e n ts c i e n c ea n de n g i n e e r c o o p e r a t i o ns u p e r v i s o r ：p r o f m aw e i m i n j u n e2 0 l o 摘要 题目：基于支持向量机模型的系统辩识与分类预测方法研究 专业：管理科学与工程 博士后：杨磊 合作导师：马卫民教授 摘要 模式分类与预测是统计决策、模式识别与人工智能，及信号检测等领域的重要研 究内容之一。模式分类的经典统计方法包括统计检验假设法、b a y e s 判别法、f i s h e r 判 别法，对数线性回归模型等参数化方法。经典统计判别方法通常假设样本充分大，而 实际问题中对象的样本一般是有限甚至很少的。因此，近年来基于样本数据驱动的人 工神经网络、聚类分析方法、支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 等非参数化 模式分类判别模型成为模式识别领域的研究热点。本文基于支持向量机模型研究非线 性系统辩识和模式分类预测问题，包括结合多尺度小波近似理论，提出以多尺度小波 函数作为核函数的支持向量机系统辩识方法；在新型支持向量机支持向量域描述模型 的基础上建立了两类分类和多类分类模型，并提出新的分类预测决策函数；在模型参 数计算方法上，提出更加严格的含有非负约束条件的二次优化乘性更新迭代改进算法。 研究的具体内容包括如下四个方面： 在基于支持向量机在非线性系统辩识方面，文献主要基于固定尺度小波函数。 最小二乘支持向量机是一种改进的支持向量机模型，使用等式约束条件而不是基本支 持向量机中的不等式约束条件以简化对模型的求解过程。考虑最小二乘支持向量机的 优点，使用含有不同分辨率的多尺度小波函数作为核函数与正则化理论第二章构造了 多尺度小波支持向量机回归模型，建立了非线性系统辩识新方法。与固定尺度小波支 持向量机与小波神经网络系统辩识模型比较仿真结果说明提出方法更加精确，基于支 持向量机的系统辨识方法提高了泛化能力。 对于支持向量机在模式分类问题中的应用，本文基于支持向量域描述模型提出 了两类分类和多类分类问题的新方法。基本支持向量域模型主要应用于对单类数据的 描述和奇异点检测，特点是使用超球体的表面边界对数据进行描述。基本支持向量域 描述模型计算的目标是在其他类样本数据位于超球体外部的条件下求解包含正类样本 数据的最小半径超球体的球心位置和半径。该问题是一个含有约束条件的二次规划问 题。对于该二次规划数学模型的计算，第三章提出了非负二次优化乘性更新迭代改进 算使原来算法更加严格，并证明了算法收敛性。 对于两类分类预测问题，第四章提出一种基于支持向量域描述模型与相对距离 概念的t w i n - 支持向量域分类方法。支持向量域描述模型的分类原理是通过对数据描述 的超球实现分类。受到t w i n - 支持向量机的启发，对于两类分类问题，利用两类数据样 同济大学博士后研究工作报告 本的信息，构造两个优化的超球分别描述正类与负类数据。进而基于相对距离概念， 提出新的决策函数实现对样本的分类与预测。最后给出两组实验结果说明提出分类方 法提高了分类准确性。 对于多类分类问题，与t w i n 支持向量域描述模型类似地使用每一个优化的超球 来描述每一类数据样本，从而建立多类支持向量域描述模型。接着利用多类支持向量 域模型参数基于万有引力概念，结合现有分类决策函数，提出了一种新的直接分类的 决策函数，该决策函数同时考虑了三方面的因素，即样本数、新样本到超球的距离， 以及超球的大小。实验结果说明提出分类方法的有效性。 关键词：系统辩识；支持向量机；支持向量域；分类预测 论文类型：应用基础 资助申明：本研究得到国家第4 4 批博士后基金二等资助 a b s t r a c t t i t l e ：r e s e a r c ho nt h em e t h o d so fs y s t e ml d e n t i f i c a i t o na n dp a t t e r nc l a s s i f i c t i o n b a s e do nt h es v mm o d e l s s p e c i a l i t y ：m a n a g e m e n ts c i e n c ea n de n g i n e e r a u t h e r ：y a n gl e i c o o p e r a t i o ns u p e r v i s o r ：p r o f m aw e i m i n a bs t r a c t p a t t e r nc l a s s i f i c a t i o na n dp r e d i c t i o na r em i a np r o b l e m si ns t a t i s t i c a ld e c i s i o n ，p a t t e r n r e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c e ，s i g n a ld e t e c t i o na n de s t i m a t i o n c l a s s i c a ls t a t i s t i c a l m e t h o d so fp a t t e r nc l a s s i f i c a t i o nm a i n l yi n c l u d eb a y e ss t a t i s t i c a ld i s c r i m i n a t em e t h o d , f i s h e rd i s c r i m i n a t em e t h o d 1 0 9 1 i n e a rr e g r e s s i o nm o d e la n ds oo n n u m b e r so fs a m p l e si n c l a s s i c a ls t a t i s t i c a lm e t h o d sa r eu s u a l l ya s s u m e dt ob es h 衔c i e n t l yl a r g e b u ts a m p l e su s u a l l y a r ef i n i t ee v e nd e f i c i e n ti np r a c t i c e s oi nr e c e n ty e a r s a r t i f i c i a li n t e l l i g e n c em e t h o d ss u c ha s n e u r a l n e t w o r k s ，c l u s t e r i n gm e t h o d ，s u p p o r tv e c t o rm a c h i n e ( s v m ) m o d e lw h i c ha r eb a s e d o nf i l l i t es a m p l e sb e c o m em o r ea n dm o r ep o p u l a ri np a t t e r nr e c o g n i t i o nf i e l d i d e n t i f i c a t i o n m e t h o do f n o n - l i n e a rd y n a m i cs y s t e m sa n dp a t t e r nc l a s s i f i c a t i o na n dp r e d i c t i o nm e t h o d sb a s e d o ns u p p o r tv e c t o rm a c h i n e sa r er e s a e r c h e di nt h i sp a p e r b a s e do nm u l t i - r e s o l u t i o na n a l y s i s ， m u l t i s c a l ew a v e l e tl e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ( m s - l s - s v m ) r e g r e s s i o nm o d e l f o r m u l a t e san e wi d e n t i f i c a t i o nm e t h o do fn o n 1 i n e a rs y s t e m s n e wc l a s s i f i c t i o nm e t h o d sf o r t w oc l a s s e sa n dm u l t i c l a s s e so fd a t a s e t sb a s e do ns u p p o r tv e c t o rd o m i a nm o d e l sa r e p r o p o s e da n dn e wd e c i s i o n - m a k i n gf a c u n t i o n sa r eg i v e n a n dt h ec o n v e r g e n c eo fi m p r o v e d i t e r a t i v em u l t i p l i c a t i v eu p d a t i n ga l g o r i t h mi sp r o v e d m a i nc o n t e n t si n c l u d ef o l l o w i n g s ： r e g r e s s i o na l g o r i t h m sb a s e do ns v m sh a v eb e e nu s e df o rn o n l i n c a rs y s t e mi d e n t i f i c a t i o n b u tu pt on o w , t h ew a v e l e tk e m e lf u n c t i o n sa r eo n l yb a s e do nt h ef i x e ds c a l ed e c o m p o s i t i o n o ff u n c t i o n l s s v mh a v ea l s ob e e nu s e di nc l a s s i f i c a t i o na n df u n c t i o ne s t i m a t i o n i nw h i c h e q u a l i t yc o n s t r a i n si n s t e a do fi n e q u a l i t y a n ds q u a r e se r r o rc o s tf u n c t i o na r eu s e d c o n s i d e r i n gt h em e r i t so fl s s v m a n dan e wk i n do fs v mk e m e lf u n c t i o nn a m e l y m u l t i s c a l ew a v e l e tk e r n e lf u n c t i o ni sc o n s t r u c t e db a s e do nm u l t i r e s o l u t i o na n a l y s i s a n da n e wi d e n t i f i c a t i o nm e t h o df o rn o n l i n e a rs y s t e m si sd e r i v e du s i n gt h ep r o p o s e dm s l ss v m e x p e r i m e n t so nn o n l i n e a rs y s t e m si d e n t i f i c a t i o ni l l u s t r a t et h ep e r f o r m a n c eo ft h ep r o p o s e d m e t h o d t h ep r i n c i p l eo fs v d dm o d e li st oc o n s t r u c tah y p e r s p h e r e 、杌t hm i n i m i z i n gt h er a d i u s w h i c hc o n t a i n st l l em o s to fp o s i t i v ee x a m p l e s a n do t h e r ss a m p l e sn a m e do u t l i e r sa r el o c a t e d o u t s i d eo ft h eh y p e r s p h e r e t h et a s k so fs v d dm o d e la r et oe a l c u l a t et h er a d i u sa n dc e n t e r o ft h eh y p e r s p h e r eu s i n gt h eg i v e ns a m p l e sd a t a a n ds v d dm o d e lc a l lb eu s e dt od e s c r i b e d a t a s e ta n dd e t e c to u t l i e r s t h eo n e c l a s sd a t a s e ta r ed e s c r i b e db yu s i n gt h es a m p l e sl o c a t e d a tb o u n d a r yo f h y p e r s p h e r ei nt h es v d dm o d e l ，w h i c ha r en a m e ds u p p o r tv e c t o r s r e c e n t l y , s h ar e p o r t e da ni t e r a t i v em u l t i p l i c a t i v eu p d a t i n ga l g o r i t h mw h i c hi sas i m p l ec l o s e df o r mt o h i 同济大学博士后研究工作报告 s o l v en o n n e g a t i v eq u a d r a t i cp r o g r a m m i n gp r o b l e ms u c h 弱i ns v d d b u tc o n v e r g e n c ei s n o ts t r i c t i nc h a p t e rt h r e e ，i m p r o v e di t e r a t i v em u l t i p l i c a t i v eu p d a t i n ga l g o r i t h mi sp r o p o s e d ， a n dt h ec o n v e r g e n c eo fa l g o r i t h mi sp r o v e d a sf o rb i n a r yc l a s s i f i c a t i o np r o b l e m ，i n s p i r e db yt h ec o n s t r u c t i o no ft w i ns u p p o r tv e c t o r m a c h i n ew h e r en o n p a r a l l e lp l a n e sw e r es o l v e ds e p a r a t e l y , t h et 、访n s v d dm o d e lw a s p r o p o s e d t w oo p t i m i z e dh y p e r s p h e r e sw h i c hd e s c r i b e dp o s i t i v ea n dn e g a t i v ec l a s so f d a t a s e t sw e r ec o n s t r u c t e ds e p a r a t e l yi nt h et 啊n s v d dm o d e l s oi n f o r m a t i o na b o u tb o t i l c l a s s e so fd a t a s e tw a su s e d a n dt h e nn e wc l a s s i f i c a t i o nd e c i s i o n m a k i n gf u n c t i o nw a s c o n s t r u c t e db a s e do nt h ep a r a m e t e r so ft h et w i n s v d dm o d e lw i t ht h ec o n c e p t i o no f r e l a t i v ed i s t a n c e e x p e r i m e n t a lr e s u l t ss h o w e dt h a t t h et w i n s v d dm o d e lw a sm o r e e f f e c t i v et h a nt h ep r e l i m i n a r ys v d dm o d e lw h e nd e a l i n gw i t hp a t t e r nc l a s s i f i c a t i o n p r o b l e m s a tl a s t ，a sf o rm u l t i - c l a s sc l a s s i f i c a t i o np r o b l e m s ，m u l t i p l eo p t i m i z e dh y p e r s p h e r e sw h i c h d e s c r i b e de a c hc l a s so fd a t a s e tw e r ec o n s t r u c t e ds e p a r a t e l ys i m i l a rw i t hi nt h ep r e l i m i n a r y s v d d ，a n dm u l t i - c l a s ss v d dm o d e lw a se s t a b l i s h e d t h e nn e wd e c i s i o n m a k i n gf u n c t i o n w a sp r o p o s e db a s e do nt h ep a r a m e t e r so ft h em u l t i - e l a s ss v d dm o d e l t h r e ea s p e c t sn a m e d c e n t e rp o s i t i o n so fh y p e r s p h e r e s ，v o l u m e so fh y p e r s p h e r e sa n dn u m b e r so ft h es a m p l e sa r e a l lc o n s i d e r e di nt h ep r o p o s e dd e c i s i o n - m a k i n gf u n c t i o n e x p e r i m e n t a lr e s u l t si l l u s t r a t e dt h e p e r f o r m a n c eo f t h ep r o p o s e dm u l t i c l a s sc l a s s i f i c a t i o nm e t h o d k e yw o r d s ：s y s t e mi d e n t i f i c a t i o n ；s u p p o r tv e c t o rm a c h i n e ；s u p p o e r tv e c t o rd i o m i a nm o d e l ； p r e d i c a t i o no fc l a s s i f i c a t i o n t y p e o f d i s s e r t a t i o n ：a p p l i c a t i o nf u n d a m e n t a l s f o u n d a t i o n ：n a t i o n a lp o s t - d o c t o r a lf o u n d a t i o no f c h i n a ( 2 0 0 8 0 4 4 0 6 4 4 ) i v 目录 目录 摘要 a b a s t r c t ll 者论1 1 1 论文背景1 1 2 数据挖掘理论与应用概述3 1 2 1 数据库、数据仓库以及数据挖掘理论的发展3 1 2 2 数据挖掘的任务目的4 1 2 3 数据挖掘的方法概述5 1 2 4 数据挖掘系统的构成过程7 1 2 5 数据挖掘软件系统及其应用和发展8 1 3 基于支持向量机的模式识别方法综述9 1 3 1 数据挖掘与模式识别的关系9 1 3 2 两类模式识别问题系统辨识与模式分类预测l o 1 3 3 基于支持向量机的非线性系统辨识研究现状分析1 l 1 3 4 基于支持向量机的模式分类预测方法研究现状分析1 2 1 4 本文的工作。13 1 4 1 本文研究创新点。13 1 4 2 本文研究关键技术与方法。1 4 1 4 3 本文研究的意义15 。1 4 4 本文结构安排1 5 1 5 本章参考文献1 6 2 基于多尺度小波支持向量机的非线性系统辨识方法2 1 2 1 支持向量机的回归模型2 1 2 1 1 系统辨识原理概述2 l 2 1 2 支持向量机回归模型算法2 2 2 1 3 最小二乘小波支持向量机2 5 2 2 小波多分辨分析理论2 7 2 2 1 小波分析概述2 7 2 2 2 多分辨分析2 8 2 2 3 小波变换3 0 2 2 4 离散二进小波变换3 2 2 2 5 常用小波函数3 2 v 同济大学博士后研究工作报告 2 3 基于多尺度小波支持向量机的非线性系统辨识方法3 4 2 3 1 支持向量机核函数条件。3 4 2 3 2 多尺度小波支持向量机3 5 2 3 3 小波核函数3 5 2 3 4 基于多尺度小波支持向量机的非线性系统辨识模型3 6 2 4 仿真实验3 7 2 4 1 一维非线性系统辨识仿真实例。3 7 2 4 2 多维非线性系统辨识仿真实例3 9 2 5 本章小节4 1 2 6 本章参考文献4 l 3 基本支持向量域分类模型分析4 3 3 1 支持向量机分类模型4 3 3 1 1 样本数据驱动的分类预测一般过程概述4 3 3 1 2 严格可分的线性支持向量机4 4 3 1 3 广义线性支持向量机4 5 3 1 4 非线性支持向量机4 6 3 2 基于数据描述的支持向量域分类方法。4 7 3 2 1 描述一类样本的支持向量域描述模型。4 8 3 2 2 两类样本分类的支持向量域描述模型4 9 3 2 3 分类决策函数与特征空间核变换5 0 3 3 含有非负约束条件的二次优化乘性更新迭代算法5 l 3 3 1 非负约束条件的二次优化问题乘性更新算法。5 1 3 3 2 求解支持向量域模型的不完善之处。5 2 3 3 3 非负二次优化乘性更新迭代改进算法5 2 3 4 本章仿真实验5 4 3 4 1 不同核函数的支持向量机分类实验5 4 3 4 2 多项式核函数的数据支持向量域模型描述实验。5 6 3 4 3 高斯核函数的支持向量域模型描述实验5 7 3 5 本章小结5 8 3 6 本章参考文献。5 8 4 基于相对距离概念的t w i n 支持向量域分类方法研究6 1 4 1t w i n - 支持向量域描述模型6 l 4 1 1t w i n 支持向量域描述模型思想6 1 4 1 2t w i n - 支持向量域描述模型6 1 4 2 基于相对距离概念的分类决策函数6 4 4 3 基于相对距离概念的t w i n - 支持向量域分类预测过程分析6 7 v l 目录 4 3 1t w i n 支持向量域模型分类预测过程6 7 4 3 2t w i n 支持向量域模型主要特点分析6 8 4 4 本章实验6 8 4 4 1 实验设计。6 8 4 4 2 合成数据实验6 9 4 4 3 数据库标准数据实验7 0 4 5 本章小结7 1 4 6 本章参考文献7 l 5 基于支持向量域描述模型的多类分类方法研究7 3 5 1 多类数据的支持向量域描述模型7 3 5 1 1 多类数据支持向量域描述模型思想。7 3 5 1 2 多类数据的支持向量域描述模型7 4 5 2 多类数据支持向量域描述模型的新决策函数7 5 5 3 多类数据支持向量域描述模型分类预测过程7 7 5 4 本章实验7 8 5 4 1 实验设计7 8 5 4 2 关于两类数据集的实验7 9 5 4 3 关于多类数据集的实验8 0 - 5 5 本章小结8l 5 6 本章参考文献8 1 6 结论与展望8 3 6 1 结论。8 3 6 2 展望。8 4 至i 谢8 6 博士后期间研究成果8 7 v 1 3 1m r e l a t i o n s h i po f d a t a 血r l i n ga n dp a r e mr e c o g n i t i o n 9 1 3 2s y s t e mi d e n t i f i c a t i o na n dp a r e r nc l a s s i f i c a t i o n 1 0 1 3 3s t a t u so fs y s t e mi d e n t i f i c a t i o nb a s e do ns v m s 。1 1 1 3 4s t a t u so fp a t t e mc l a s s i f i c a t i o nb a s e do ns v m s 1 2 1 4r e s e a r c hc o n t e n t s 13 1 4 1i n n o v a t i o no f t h er e s e a r c h 1 ：i 1 4 2r e s e a r c hm e t h o d s 1z l 1 4 3r e s e a r c hg o a l 1 5 1 4 4s t r u c t u r eo f t h er e s e a r c h 1 1 ； 1 5r e f e r e n c eo f t h i sc h a p t e r 1 6 2i d e n t i f i c a t i o no f n o n l i n e a rs y s t e m sb a s e do nt h em u l t i s c a l e1 m e l e ts v m 2 l 2 1r e g r e s s i o nm o d e lo f s v m 2 l 2 1 1t h ep r i n c i p l eo fi d e n t i f i c a t i o no fn o n l i n e a rs y s t e m s 2 1 2 1 2a l g o r i t h m so fr e g r e s s i o nm o d e lo fs v m 2 2 2 1 3l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e 2 5 2 2t h e o r yo fw a v e l e tm u l t i r e s o l u t i o na n a l y s i s 2 7 2 2 1 t h e o r yo fw a v e l e t 2 7 2 2 2m u l t i r e s o l u t i o na n a l y s i s 2 8 2 2 3w a v e l e t t r a n s f o r m 3 0 2 2 4d i s c r e t ew a v e l e tt r a n s f o r i l l 3 2 2 2 5w a v e l e tf u n c t i o n s 3 2 2 3i d e n t i f i c a t i o nm e t h o do f n o n l i n e a rs y s t e m su s i n gm u l t i - s c a l ew a v e l e ts v m 3 4 2 3 1c o n d i t i o n so f s u p p o r tv e c t o rk e r n e lf u n c t i o n 3 4 2 3 2m u l t i s c a l ew i i i 、，e l e ts v m 3 5 2 3 3w a v e l e tk e r n e lf u n c t i o n 3 5 v i i i c o n t e n t 2 3 4i d e n t i f i c a t i o no fn o n l i n e a rs y s t e m su s i n gm u l t i s c a l ew a v e l e ts v m 3 6 2 4s i m u l a t i o ne x p e r i m e n t s 3 7 2 4 1i d e n t i f i c a t i o no fo n ed i m e n s i o nn o n l i n e a rs y s t e m 3 7 2 4 2i d e n t i f i c a t i o no fm u l t i d i m e n s i o nn o n l i n e a rs y s t e m 3 9 2 5b r i e fs u m m a r y z i l 2 6r e f e r e n c eo ft h i sc h a p t e r z i l 3t h ep r e l i m i n a r ys v d dc l a s s i f i c a i t o nm e t h o dz l ： 3 1t h ec l a s s i f i c a i t o nm o d e lo f s v m4 3 3 1 1g e n e r a lp r e c e d u r e so fc l a s s i f i c a t i o na n dp r e d i c a t i o nm e t h o d 4 3 3 1 2l i n e a rs v mt h a tc a nb ec l a s s i f i c a t e ds t r i c t l y 4 4 3 1 3g e n e r a ll i n e a rs v m 。l ! ； ：；1 4n o n 1 i n e a rs v m 4 6 ：；2t h es v d dm e t h o db a s e do nd a t ad i s c r i p t i o nm o d e l 4 7 3 2 1t h es v d dm o d e lt od i s c r i b eo n ec l a s so f d a t a s e t 4 8 3 2 2t h es v d dm o d e lt oc l a s s i f yt w oc l a s s e so f d a t a s e t 4 9 3 2 3d e c i s i o n m a k i n gr u e n t i o na n dk e r n e lt r