（交通信息工程及控制专业论文）核机器学习方法若干问题研究.pdf

西南交通大学博士研究生学位论文第1 页 摘要 论文主要对机器学习问题、核机器方法、小波核机器、模糊小波核机器等 内容进行探讨和分析，构建了几种核机器模型，理论分析和实验结果验证了它 们的可行性和有效性。主要研究内容如下： 处理大规模样本时，支持向量机难以满足实时性要求，针对这一问题，提 出了一种支持向量预提取方法：先用核感知机模块提取准支持向量，然后将所 得结果输入到支持向量机中进行二次处理。核感知机采用的是简单的迭代结构， 即使在样本规模较大时，花费的时间也很少；此外，准支持向量的数目可以通 过设定阈值进行控制。在一定精度要求下，能从很大程度上提高数据的处理效 率。由于核函数和误分界的引入，在综合使用支持向量机的基础上，能处理线 性可分、非线性可分、非线性不可分带噪声数据以及回归等问题，理论分析和 实验结果较好地验证了这一结论。 对非平稳信号进行处理时，信号细微特征的提取非常关键。论文尝试将小 波技术、主分量分析及核方法相结合，用于处理这类信号。对采用小波基构建 核函数的可行性进行了探讨，证明了它满足m e r c y 条件及其在h i l b e r t 空间具有 再生性的命题，以此为基础，结合主分量分析，探讨了小波核机器的构建方法， 构造出一种核机器模型，并作了实例仿真。实验结果表明，复g a u s s i a n 小波核 和复m o r l e t 小波核的性能大致相当，它们都优于常规的高斯核和多项式核，初 步展示出该方法的可行性和优越性。 对模糊逻辑和小波技术的相关理论进行探讨和分析，构建了一种模糊小波 容许核函数，并与支持向量机结合，构造出一种核机器模型，对该模型的一致 逼近性作了证明。在此基础上，提出了一种模糊小波支持向量核机器方法 f w s v k m ，对参数的选择与预测结果的内在关系作了较为详细的分析，与三层 神经网络a n n 进行短期峰值负荷预测的对比实验，结果表明f w s v k m 优于 a n n ，具有较大的实用价值和较好的应用前景。 针对学习机器在参数较多时，优化时间过长、效率过低，不利于工程应用 的问题，提出了一种多参数同步优化策略。实验结果表明，该方法在实际应用 中是行之有效的，能大幅减少多参数模型的优化时间，增强核机器方法的实用 性和有效性。 西南交通大学博士研究生学位论文第1 | l 页 a b s t r a c t t h i sp a p e rd e a l e dw i mm a c h i n el e 锄i n 舀k e m e lm a c h i n em e t h o d ，、a v e l e t k e m e lm a c h i n ea n df i 工z z yw a v e l e tk e r n e lm a e h i n et e c h n o l o g yd e t a i l e d i ys e v e m l l 【i n d so fl m e lm a c h j n em o d e l sw e r ec o n s t r u c t e d ，a n dh a v e b e e na p p l i e dt o n o n s t a t i o n a r ys i g n a i sp r o c e s s i n g t h e o r e t i c a la n a l y s i sa n di m p l e m e n t a t i o nr e s u l t s s h o wt h e i r l i d i t ya l l df e a s i b i l i t y s o m ei m p o r t a n ti s s u e sh a v cb e e nd i s c u s s e di nt h i s p a p e ra sf o l l o 、s i ti sw e l ll d l o w nt h a tg e n e r a ls v m ( s u p p o r tv e c t o rm a c h i n e ) c o s t st o om u c h t i m eo nl a r g es c “ed a t a s e t s a sav a l i ds o i u t i o n ，s u p p o r tv e c t o r sp r e e x t r a c t i o n m e t h o dh a sb e e nd i s c l l s s e di nt h i sp a p e lk e m e lp e r c e p t m nf i r s t l yh a sb e e nu s e dt o e x t r a c tq l l a s i s u p p o r tv e c t or s a n dt h e n ，q u a s i - s u p p o r tv e c t o r sw e r ei 印u tt os t a n d a r d s v mt op r o c e s sa c c u m t e l yt h j sm e t h o dt a k e sa d v a i l t a g e so ft h eh j 曲s p e e do f p e r c e p t m nf o ri t ss i m p l ei t e r a t i v es t c t u r e p e r c e p t r o nc o s t sf e w e rt i m et k mg e n e r a l s v m ，e s p e c i a l l yo nl a 唱es c a l ed a t a t s ，趴dc a nc o n t r o ln u m b e r0 fq u a s i s u p p o r t v e c t o r se a s i l vb va 垃【r e s h o l dv a r ia ：b l e ，m u c ht i m ew i l lb ee e o n o m i 麓e di nl a t 钯r p r o c e s s s o m es p e c i a l t e c t l l l o l o g i e s ，s u c ha sk e m e l 缸1 c t i o n 醐de r r o rb o u n d a r y ，e t c ， h a v eb e e na d o p t e dt oc o n d u c tl i n e a rs e p a r a b l e ， n o n l i n e 盯s e p a r a b l e ， n o n l i n e a r u n s e p a r a t e dm o d e lr e c o g n i t i o n 趾dr e g r e s s i o nq u e s t i o n se f f b c t i v e ly g e n e r a l l y ，i m p e r c 印t i b l ef e a t i l r e sa r cv e r yi m p o n a n ti nn o n s t a t i o n a r ys i g n a i p r o c e s s i n g s o m ek i f l d so fc o t n p l e xm e t h o d sw e r ed i s c u s s e di n t h i sp a p e r w h i c h c o m b i n e dw a v e l e t ，p r i n e i p a lc o m p o n e n ta n a l y s i s o ，所有系数维持原值不变，其中l 蔓七疗一l ： = l 一、 训练样本( + 1 ，y ) 被错误分类，即y f q m k ( ，x 。) 一6l s o ，则： l ，l j 口 “= 口i + l + 1 ( 2 - 3 0 ) 【以+ l = 钆+ y r 2 学习率只改变超平面尺度，对算法本身不产生影响，在实验中取学习率 7 西南交通大学博士研究生学位论文第5 页 敏感损失函数的引入，逐步推广到了线性回归、非线性回归和概率密度估计等 领域。各种改进算法也相继提出，比如s c h o l k o p h 等提出的仆s v m 【2 l 】、s u y k e n s 等提出的l s s v m 2 2 】、加权支持向量机w s v m 【2 3 1 以及基于线性规划的s v m 【2 4 】 等。这些方法从较大程度上改善了支持向量机的性能，但在某些方面也略有不 足，比如l s s v m 没有解的稀疏性；w s v m 主要应用于时间序列预测；线性 规划s v m 的约束数目与w 的维数有关，因此对于非线性样本集难以求解。 针对大数据条件下的优化问题，研究人员也提出了一些解决方案，比如分 解法( d e c o m p o s i t i o nm e t h o d ) 【2 5 】、序贯最优算法( s e q u e n t i a lm i n i m a l o p t i m i z a t i o n ，s m o ) 1 2 6 】和增量学习法( i n c r e m e n t a il e a m i n gm e t h o d ) 【27 j 等。它 们各有优势，但都存在收敛速度慢的缺点，样本集越大这个缺点越突出。 目前，支持向量机方法已在金融时间序列预测【2 引、非线性系统参数辨识【2 9 】、 建模【30 1 、控制【3 l 】等领域有了成功应用的案例。陈念贻、陆文聪、武海顺等在氮 化铝薄膜生长过程控制中应用了支持向量机算法【3 2 1 ；潘继斌在文献中【3 3 】介绍 了一种回归函数的支持向量机估计方法；李良敏、屈梁生提出了一种基于遗传 编程和支持向量机的故障诊断模型 3 4 】；刘洪、赵金洲、胡永全等将支持向量机 应用于天然气工业的井层优选和施工方案优化，结果表明支持向量机在重复压 裂研究领域具有良好的应用前景p ”。 以上列举的只是部分研究成果，除此之外，还有很多的研究人员做了大量 的研究工作，这里限于篇幅，不一一列举。 1 1 3 非平稳信号与小波技术 在处理科学与工程问题时，信号的统计量起着极其重要的作用。在这些统 计量中。最常用的是均值，它是一阶统计量，此外，属于二阶统计量的相关函 数和功率谱密度也用得非常多。相对来说，三、四阶的高阶矩、高阶累积量和 高阶谱的使用频率要低一些。关于信号的平稳性，目前的主流定义方法是： 定义1 1 若 x ( f 1 ) ，x 也) ) 的联合分布函数与 x ( + f ) ，工( r + r ) ) 的联 合分布函数对所有的l ，一，f 。和f e r 都相同，则称随机过程 x ( f ) ，f q 为严格平 稳随机信号，一些文献中也称之为狭义平稳信号。 定义1 2 若随机信号忸( f ) ，f n 满足 f e x ( f ) = 聊2 凇， 以i 工( ，) 1 2 一珑】 = 昱，o 一5 ) 一i 掰 2 西南交通大学博士研究生学位论文第3 7 页 脚扣) + j 型型学 ( 2 3 4 ) s v m 最初是针对线性可分情况下的两类分类问题提出的，随着占不敏感损 失函数的引入，已逐步推广到回归估计问题。 给定样本集 ( x 。，_ y 。) ，i - 1 ，2 ， ) ，定义s 不敏感损失函数 i ，一厂( 工) i 。= j o i ，厂( 工) i s 5 ( 2 3 5 ) 【| y 一，( 工) i 一，i y ，( 工) p 占 构造回归估计函数，( x ) = + 6 ，引入松弛变量苣，占和惩罚系数 c o 对超出占管道的样本点进行调节，优化目标是： 懋扣w n 嘻( 皇+ f ) s j i y ，一 6 峰占+ 鲁， ( 2 3 6 ) 掌，o ，孝? o ，f = l ，2 ，- 打 引入l a g r a i l g e 乘子，得： 。鼢。 涨k ( w ，蟛，n 】 ( 2 3 7 ) 令工= 三( w ，6 ，善，善) ，贝0 三= 寺| | w i l2 + c ( 孝+ 等) 一口( s + 喜一( m 一6 ) ) 一a ? p + 岔) 一( 屈毒+ 芦? 并) + ( y ，一 - 6 ) ) 一( 曩毒+ 声j 等) 其中口，口? ，属，f - 1 ，2 ，甩是l a g m g e 乘子。根据鞍点定理，用分别对 反毒乎求偏导，令其为零并代入( 2 3 7 ) 式，得到： m a x 一丢窆主i 一口m q a j ) 足( 扎x ，) 卜s 杰( + 口j ) + 窆h ( a 。一。? ) l 。l lj i1，。1 j 占j ( g 。一口j ) = o o 茎盘，c ，o 口? s c 根据k k t 条件，下面关系成立： 卜【。+ 茧一( y 广 一6 ) 】_ o( 2 3 8 ) l a ? 【占+ 孝j 一( y 一 一6 ) 】= 0 容易证明qx o j = o ，因此，a j 必有一个为零或者均为零。a o 对应的样 x 第整亟曲南交通太学博+ 荷究笙举位瑾 苎乍墨荪鋈趣痿季i i i l 要盛逐饵嗅幢澎刷煎氇鏊曩临呸囊j 醛噍矍羹慧孥 ；# l | 萋 i 开试露蔓霞雾端籍赫；葫i ；1 蓄j 晕制鞘掣嚣妻舅鏊羹葫0 h 菘窜jf l j 童 堡零萎髫嚣鲣薹薹粪霸 i ；羹蓥琵娶嚣璺盼盏工笺j 鲴幽短残妻譬囊e 蹒舒荇树 涟w 州撩；螽通翠竿直隅溶鼍菇鹾獾滋；堂劳瓯铲荆錾餮i ! ：j j 薹酾警委夔一薄 湍珀饕盛翻裁；呻 j | 狮程蛾a 杉赫鞠钓豹的1 j 一柏l ；利l 潲茗蠹聱纂髯醅 鞑姆蘸酗k ! ；止三。：量| ；逊。驯r ! i 叁业昭翌霉菇谖释本藏尊赛召葵鍪丢童食琢 以下规则把售j 川亩藏录引扭茎孙控蝉嘤王签矍删1 ；i i 嚣? 喜l f ；垒! p ! 鳝抖 熏篓翟墨嚆班型蠢稀掣霪磊* 2 。i i i ? 哆j 雾；霞i 耋萋! 瓮g 筇士一识羹夔程酢虢a 岗鬻玉张要蒂柽蓉巍代；1 9 9 4 年，g e m n i m o 等开始研究多小波变换。此后，许 多研究人员从理论和应用上对小波作了大量的研究工作，取得了很多成果，限 于篇幅，这里不一一列举。至此，小波逐渐得到完善，并形成了一个较为完整 的理论体系。 1 2 统计学习理论基础 经典统计学研究的是渐近理论，即样本数趋于穷大时的性质。但在实际应 用中，要获得无穷数量的样本基本上是不可能的，而且，计算机的处理能力有 限，不可能处理无穷数量的样本。在这种情况下，一些问题逐渐凸现出来：在 样本数无穷或近于无穷时，学习机器确实具有很不错的性能，但在有限数量的 样本条件下，往往表现出较差的推广能力。 统计学习理论是专门研究小样本条件下的机器学习问题的一种有效的理 论。它以结构风险最小化和最小描述长度原则为理论基础，能有效地控制v c 维，从而控制学习机器的推广能力，被认为是目前针对小样本的统计估计和预 测学习的最佳理论。统计学习理论主要包括以下内容： a 、经验风险最小化原则下统计学习一致性的条件； b 、在这些条件下关于统计学习方法推广能力的界的结论； c 、在界的基础上建立的小样本归纳推理原则； d 、实现新的归纳原则的算法。 学习问题主要有三种类型：概率密度估计、模式识别和回归估计，本文主 要对模式识别和回归估计进行探讨和分析，文中涉及的也主要是与模式识别和 回归估计相关的定理和概念。以后不再一一注明。下面，我们将重点介绍这一 理论的一些相关概念和重要定理，它们是后续章节的基础。 西南交通大学博士研究生学位论文 第9 页 函数集的vc维 vc维是统计学习理论中的一个非常重要的概念，由v幻nik和chervonenkis提出，并以其名字的首字母命名。a 、指示函数集的v c 维1 】 给定样本集s = ( x ，_ y ，) ，f _ 1 ，2 ，哪和指示函数集f = ，【( x ，y ) ，口】，口尸，j p 为参数集，如果f能把s中的所有样本按所有可能的26种方式分成两类，则称f 能把s打散，f能打散的最大样本数目称为该函数集的vc维。 b、实函数集的vc维【52】 给定一有界实函数集，=，【(x，y)，a】，ap，满足一4f口。o，同 时给定一个阶跃函数：弛)：jo，矿“o (1 【l ，矿：o 那么，如果将这个实函数集f一起考虑它的指示器集合，则有， ( x ，y ) ，口，】= 口 j r 【 ，y ) ，口卜) ( 1 1 2 ) 其中口尸是参数集，( 爿，b ) 是阈值，用于刻画函数集所属类别。这样 实函数集f 的v c 维可定义为相应指示器集合( 1 1 2 ) 式的v c 维。 1 2 2 四种重要的归纳原则 以下四种归纳原则在机器学习理论中具有非常重要的作用：经验风险最小 化、结构风险最小化、随机逼近方法和邻域风险最小化。讨论这些归纳原则的 时候，要用到学习机器推广能力的界的一些结论，相关内容参见后面小节，这 里直接使用部分结论。 给定一参数o，71，下面涉及的界的结论至少以概率1一玎成立。在完全 有界且为非负函数集的情况下，学习机器的推广能力满足界： p卜脚一+半t+辟 p卜脚一卜痧暖同如果损失函数集工( z ，口) ，口p ，f _ l ，2 ，包含n 个元素，则有 (113)( 114) 7 叩 一 1 卜 i 卜永10 西南交通大学博士研究生学位论文第1 3 页 用占函数之和来估计未知密度，当 p ( x ，y ) = 去占( x x ，) 占( y y 。) ( 1 2 4 ) 时，可得经验风险泛函。这里有个问题：如果密度函数和目标函数都平滑，则 经验风险泛函就可能不是对期望风险泛函的最好逼近。为了解决这一问题，提 出了硬邻域泛函和软邻域泛函的概念。 a 、硬邻域泛函 使用硬邻域泛函的目的是用它代替( 1 2 4 ) 式，对所有的观测向量x 构造邻 域函数v ( 工。) ，然后用这些邻域函数构造目标泛函。 给定任意观测样本集s = ( x 。，f _ 1 ，2 ，玎) ，定义x 的邻域函数为v ( x 。) ，它 是集合x 胄”的一个可测子集，具有超球体体积v ，超球体具有半径。 在领域不相交的情况下，用样本x ，逼近未知密度函数p ( x ) ，训练样本的所 有领域都具有相同的概率测度并且均匀分布： p 【工v ( x t ) 】= h ( 1 2 5 ) 【p 陆iv ( t ) 】- v ，1 这样就可以构造出一个硬邻域泛函 y c 口，= 去喜三l - y ，一亡i 。，c 墨口，出j c ，2 s ， b 、软邻域泛函 在式( 1 2 6 ) 中，我们通过训练样本得到参数u 和，并用它们构造出一个 均匀分布函数。实际上，可以用这些参数来构造更一般的分布函数p ( xh ，) ， 在这样的函数中，通过这些参数来定义分布函数的位置和宽度，用这种方式定 义的泛函称为软邻域泛函。 在软邻域泛函中，空间中的所有点都可以视为向量置的邻域，并构造出相 应的邻域函数v ( 置) 。软邻域泛函具有如下的一般形式： 矿( 口) = 吉 _ y ，一e 【( t 口) ) 一1 ( 1 2 7 ) = 丢窆三【y 一j m p ( 帆帕 西南交通大学博士研究生学位论文第15 页 彤，= 去e 冲 丢 影响，则式( 1 _ 3 3 ) 等价于：m ) _ _ 专缸州酬2 _ ，l n ( 屙)( 1 _ 3 4 )( 1 _ 3 5 ) 1 2 4 函数集的熵与推广能力的界函数集的熵 熵的概念最初是针对指示函数集而定义的，实函数集的熵是指示函数集熵的一种推广形式。a 、指示函数集的熵 给定样本集s = ( x 。，弘) ，f - l ，2 ，珂) ，空间z 中概率测度为f ( z ) = f ( x ，) ，) ， 给定一个指示函数集，(z，口)，口尸，p为参数集。用指示函数集中的函数对样本 分类结果能得到的不同分类数，那么，这个量实际上表征了指示函数集在给定 样本集上的多样性。它的几何意义是：用样本集s 和指示函数集，能构建出一个 聍维超立方体，( z ) 等于这个超立方体的顶点总数。在此基础上。定义： h p ( z 。) = l n p ( z ) ，f = l ，2 ，刀 ( 1 3 6 ) 这个量称为指示函数集的随机熵，它也是用于描述函数集在给定数据上的 多样性的指标。对联合分布函数f ( z ) = f ( x ，y ) 来说，随机熵的期望等于： h p ( 行) = 研l n p ( z 。) 】，f _ l ，2 ，疗 ( 1 3 7 ) 这个量称为指示函数集，在样本集s 上的熵。 b 、实函数集的熵 给定有界损失函数集一o 。爿 【0 ，力，口】b 佃，口p ，观测样本集为 s = ( 工。儿) ，扛1 ，2 ，h ) ) ，概率测度f ( z ) = f ( 五y ) 。容易构造h 维向量集合： 9 ( 口) = 上( z 。，口) ，f = 1 ，2 ，玎) ，口p ( 1 3 8 ) 从几何角度来理解，这个向量集合位于一个玎维超立方体中。如果存在 m = ，( s ；z ，f _ l ，2 ，h ) 个向量g ，) ，= 1 ，2 ，使得对任意向量 g ) ，口p ，都可以在这m 个向量中找到一个以间隔占无限靠近它的向量 g ( 舀) ，通常采用c 度量来对其进行测度： 西南交通大学博士研究生学位论文第17 页 接近程度。相关推导可以参阅文献 1 7 ，5 2 】，这里只列出主要结论，主要在分三种情况进行讨论：完全有乔、完全有界非负、无界非负。 给定观测样本集s=(x。，m)，扛1，2，h)，在空间z中的概率测度定义为 f ( z ) = f ( x ，y ) ，给定o 可 1 ，定义 。：垡坐! 二! ! 型竺( 1 4 7 )n ，4 a 、完全有界函数集 定理1 5 给定一一 ( x ，y ) ，口】b ，下式至少以概率l 一叩成立： 月( 口) 疋。，( 口) + 掣拓 ( 1 - 4 8 ) r 。( 瑾) 一掣万r ( 口) ( 1 - 4 9 ) 定理1 6 【1 7 1 如果函数集中的函数r = 工( z ，口) 使得经验风险最小，则下式至 少以概率l 一2 玎成立： 脚) _ 璐肥) ( b 卅，等+ 孚痧 ( 1 5 0 ) b 、完全有界非负函数集 定理1 7 【1 刀对有界非负函数集o s ( 工，_ y ) ，口】s 口 s 1 8 0 第2 2 页西南交通大学博士研究生学位论文 它描述了这样一个占管道模型：如果预测值与观测值之间的偏差小于s ，则 损失等于零；否则，就将偏差值再减去占半径。常用的损失函数有以下3 种： 霉，h 鬻镕f 骟唰啪鹳 i，j i | ；l = 量l 冀# i ；一溜 蓥i 醺一萋i 藿f i 藿i ! j 妻i i 重 嚣茎i 三j i i ? 。 i 圣! 矍一琶蠹：辐：霎 萎；售= 毫彗? | i ? t 餮圳e ；声注 ，用于处理卫 星遥感数据。实验结果验证了该方法的有效性，展示出该方法具有较大的实用 价值。从表2 5 、2 6 以及图2 1 0 可以看出，与s e a b a m 的1 2 种经验算法和神 经网络法相比，复合核函数方法的反演精度有较大提高。均方误差基本可以控 制在o 1 2 左右，相关系数也有所提高；该方法不需要设计网络结构，对实验人 员经验的依赖程度很低，体现出比神经网络法更优越的性能。 分析卫星遥感数据中噪声的来源和种类，以便进一步消除噪声的影响；寻 找更合适的核函数，以便构建性能更好的核机器； 用该方法对沿岸二类水域的 叶绿素浓度进行反演；将该方法应用于比s e a b am 更大的数据集，如n o m a d 等；利用卫星图像验证该方法，并与标准产品的结 x 西南交通大学博士研究生学位论文第2 3 页 口。，a ，y 的求解是通过以下两种情况最大化泛函实现的，由七值决定： ( 1 ) 如果七= l ，那么，在线性占不敏感损失函数条件下，最大化泛函 忡以力一酗( 口? 小善y 肛j q 川擂a ? q 州一盹 ) ( i - 9 0 ) 5r a ? = 口， ，o s 口js 1 ，o s 口，s 1 ， ，= 1 2 ，一， ( 2 ) 如果七= 2 ，那么，在二次s 不敏感损失函数条件下，最大化泛函 + ，) ：一宝“口吼) + 窆儿( a i - q ) 一；兰i a j ) 2 + a 1 2 】 、7 妻( 西氇h 熙 “9 d s 口? = 口， o 兰口? 1 ，o 口s l ， f = l 。2 ，。，n 为了求得特征空间中的基本解，最小化泛函 中( 蚶+ ，孝) ： + 引主( ) + 主( 1 ，七= 1 ，2 ( 1 9 2 ) 厶 厶l 扣i r = i 一 如果i = 1 ，就是线性占不敏感损失函数；如果女= 2 ，就是二次不敏感损 失函数。约束条件为i _ y ，一 | s 。+ 喜，扣l ，2 ，以，我们的目标是求解 屈= a j a ，f = 1 ，2 ，行 ( 1 9 3 ) 为此，根据七值的不同选择下面的泛函做最大化处理： ( 1 ) 如果= l ，那么，在线性占不敏感损失函数条件下，最大化泛函 幢，a 棚= 一善州a - ) + 善m ( 。卜q 卜；磊( 口j - q ) ( 口j 一口，坶( x ，) ( 1 9 4 )，一lj = i一，o i1 7 - r ， 5 ， 口j = 口， o s 口js c ，o s 口，c ， i = l ，2 ，” ( 2 ) 如果t = 2 ，那么，在二次占不敏感损失函数条件下，最大化泛函 nh1rn 矿( 口，鲥) = 一毛( 口) ) + y ，( 口j q ) 一引( 口卜q ) ( 口；一口，) 足o ，x ) + 击主( 口j ) 2 + 击窆( q ) 2i 1 9 5 ) of i u ij s 口? = 口。，a j o ，口，o ，f = 1 ，2 ，h 第2 4 页西南交通大学博士研究生学位论文 1 3 4 支持向量方法的优缺点分析 从理论上分析，相对于传统方法来说，基于统计学习理论的支持向量机具 有很优越的性能，大量的数值实验也证明了这一结论。但随着研究工作的进一 步深入，它的一些不足或尚需改进之处也开始凸现出来，后续几章的内容就是 针对目前存在的问题所作的一些探讨。 基于统计学习理论的支持向量方法具有非常优越的性能，概括地说，它的 优点主要体现在以下几个方面： 统计学习理论是专门针对有限样本情形的一种统计理论，与经典的渐近 理论不同，它的目标是得到现有信息下的最优解而不是样本数趋于无穷大时的 最优值，能有效地避免过学习现象的产生： 作为一种通用学习机器，支持向量机是统计学习理论用于解决实际问题 的具体实现，该算法将求解的原始问题转化成为一个二次型寻优问题，从理论 上说，得到的将是全局最优解，从而有效地解决了在神经网络方法中无法避免 的局部极值问题； 核技术的引入，使得支持向量方法可以将实际问题通过非线性变换变换 到一个高维特征空间( f e a t l l r es p a c e ) ，在特征空间中构造线性函数来求解原空 间的非线性问题，并且不需要考虑具体的映射形式，能有效避免维数灾难，算 法的复杂度与样本维数无关。 对一种理论来说，在某些方面体现出不足是正常的，通过改进和完善，可 以增强它的适用性。通过进一步的探讨，我们发现在某些方面，在一些特定的 情况下，支持向量方法还有待进一步改进和完善。 当样本规模较大时，现有的支持向量方法收敛速度较慢难以保证较高 的实时性要求： 在小样本条件下，参数取值缺少先验信息，搜索区间往往较大，在多个 参数需要优化的情况下，优化过程需要花费较多的时间； 对频率信息非常丰富的信号，特征的提取会直接影响算法的效果。如何 有效地提取特征并用以构建支持向量算法，这个问题具有很强的现实意义； 对非线性、强扰动特点极为明显的信号，用传统方法处理极为困难。如 何有效地把支持向量方法应用于这类信号也是目前亟需解决的难题之一。 针对以上问题，在前人研究工作的基础上，我们提出了一些有效的理论和 方法，取得了较好的效果，详见后面几章的内容。 西南交通大学博士研究生学位论文第2 5 页 1 4 本文研究方法与主要内容 就目前的情况看，在样本规模较大时支持向量机很难满足实时性要求，在 一些实时性要求较高的场合，该方法的实用性将受到很大的考验。针对这一问 题，我们提出了一种支持向量预提取方法。对感知机误分次数与决策边界的关 系作了分析，引入了核和误分界，提出了准支持向量的概念。该方法可有效处 理线性