（控制理论与控制工程专业论文）基于支持向量机的医学图像处理.pdf

摘要 论文题目：基于支持向量机的医学图像处理 学科专业：控制理论与控制工程 研究生：王瑞 指导导师：刘丁教授 刘涵副教授 摘要 签名： 签名： 签名： 支持向量机( s v m ) 是v a p n i k 及其研究小组提出的一种全新的模式识别技术，其 思想是建立在统计学习理论的v c 维理论和结构风险最小化原理基础上的，在小样本、 非线性及高维特征空间中具有较好的推广能力。由于其完备的理论基础和良好的实验结 果，支持向量机日渐引起研究人员的重视。 医学图像分割和配准是医学图像处理中两个重要而困难的课题，使用支持向量机进行 医学图像处理，无论在理论上还是在实际应用上都有重大的意义。本文结合医学图像的特 点，主要进行了以下两个方面的研究： ( 1 ) 基于最小二乘支持向量机的医学图像分割研究 本文结合医学图像中目标具有分散性的特点，借助最小二乘支持向量机( l s s v m ) 良好的分类性能，以及其在小样本、非线性及高维特征空问中所具有的较好的推广能力， 将l s s v m 应用于医学图像分割。采用磁共振脑图像m r i 数据进行了脑组织分割实验， 对于训练样本的选取，图像特征的提取以及核函数及其参数对分类结果的影响等问题进行 了讨论。并和模糊c 均值方法( f c m ) 的分割效果进行了比较。实验结果表明：对目标 边界模糊、目标灰度不均匀及目标不连续等情况下的图像( 如医学图像) 分割，在时问代价、 分类精度等方面，l s s v m 比f c m 方法有更好的分类性能。 ( 2 ) 基于最小二乘支持向量机的医学图像配准研究 文中提出了基于l s s v m 的图像配准方法，在已知控制点对的前提下，利用l s s v m 的回归性能估计变换模型，然后利用该模型对待配准图像进行几何变换，并考虑插值问题， 从而实现图像的配准。采用磁共振脑图像m r i 数据进行实验，并和最大互信息法( m m i ) 进行比较，结果表明l s s v m 可以有效地去除图像的刚体几何形变，在运算速度上较最 大互信息法有较大的优势，是一种有效的医学图像配准方法。 关键词：支持向量机；最小二乘支持向量机；医学图像分割；医学图像配准 木本研究得到陕西省自然科学基金项目( 题目：基于支持向量机的非线性系统建模与控制研究， n o 2 0 0 7 f 3 0 ) 的资助。 t i t l e ：m e d i c a li m a g e p r o c e s s i n gb a s e do ns u p p o r t v e c t o rm a c h i n e s m a j o r ：c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g n a m e ：r u jw r a n g s u p e r v i s o r ：p r o f d i n gl i u a s s o c i a t ep r o f h a nl i u a b s t r a c t s i g n a t u r e ：型塑9 堕 s i g n a t u s i g n a t u s v m ( s u p p o r tv e c t o rm a c h i n e s ) i san e wp a t t e r nr e c o g n i t i o nt e e l m 0 1 0 9 y w h i c hw a s p r o p o s e db y v a p n i k a n dh i sr e s e a r c h t e a m i t s t h e o r y i sb a s e do n v cd i m e n s j o n ( v a p n i k - c h e r v o n e n k i sd i m e n s i o n ) t h e o r ya n ds r m ( s t r u c t u r a lr i s km i n i m i z a t i o n ) ，a n dh a v e b e t t e rg e n e r a t l o nc a p a c i t yi nt h es m a l ls a m p l e ，n o n l i n e a ra n d h i g h d i n l e n s i o n a lc h a r a c t e r i s t i c s p a c e b e c a u s eo fi t sf a v o r a b l et h e o r i e sa n d p e r f e c te x p e r i m e n tr e s u l t s ，s v ma t t r a c t sm o r ea n d m o r ca t t e n t i o no fr e s e a r c h e r s 一一 m e d i c a l1 m a g es e g m e n t a t i o na n dr e g i s t r a t i o na r et w o i m p o r t a n ta n dd i f f i c u i tp r o b l e m si n m e d i c a l1 m a g ep r o c e s s i n g u s i n gs v m f o rm e d i c a li m a g ep r o c e s s i n gh a sg r e a ts i g n i f i c a n c e b o t h1 nt h e o r ya n d p r a c t i c a la p p l i c a t i o n c o n s i d e r i n gt h ec h a r a c t e r i s t i c so fm e d i c a l i m a g e s ，t h i s p a p e rd o e ss e v e r a lr e s e a r c h e sa sf o l l o w s ： ( 1 ) m e d i c a li m a g es e g m e n t a t i o nb a s e do nl e a s ts q u a r es u p p o r t v r e c t o rm a c h i n e s u 咖s l d e n n gt h ea d v a n t a g e so ft h eg o o dg e n e r a l i z a t i o nf o rl e a s ts q u a r es u p p o r tv e c t o r m a c h i n e s 。s v m ) i nt h es m a l l s a m p l e ，a n dt h ed i s p e r s ef e a t u r eo ft h es e g m e n t e do b j e c t si n m e d l c a li m a g e s ，l s - s v mi su s e dt op e r f o r m m e d i c a li m a g e s e g m e n t a t i o n t a k i n gt h em a g n e t i c r e s o n a n c ei m a g e s ( m r i ) f o re x p e r i m e n t ，s e v e r a lk e y p r o b l e m ss u c ha st r a i n i n gs e ts e l e c t i o n ， t e x t u r ee x t r a c t i o n , t h ei n f l u e n c eo fk e r n e lf u n c t i o n a n di t sp a r a m e t e r so nt h es e g m e n t a t i o n p e r t o 肌a n c ea r ed i s c u s s e d ，a n dc o m p a r e dw i t h f u z z yc m e a n s( f c m )m e t h o d s t h e e x p e n m e n t a lr e s u l t ss h o wt h a t ，f o rs e g m e n tt a r g e t sw i t hb l u r r ye d g e s ，i n t e n s i t yn o n u i l i f o 册i t v a n dd l s c o n t l n u l t y ( s u c ha sm e d i c a li m a g e s ) ，l s s v ma p p r o a c h i sag o o dc h o i c e ，w h i c hh a s b e t t e rc l a s s i f i c a t i o na c c u r a c ya n dl e s sr u n n i n g t i m et h a nf c m ( 2 ) m e d i c a li m a g er e g i s t r a t i o nb a s e do nl e a s t s q u a r es u p p o r tv 色c t o rm a c h i n e s t h l sp a p e r ，p r o p o s e sa ni m a g e r e g i s t r a t i o nm e t h o db a s e do nl s s v m f i r s t l y ，s e l e c tc o n t r o l i l l p o i n t sm a n u a l l y , s e c o n d l y , e s t i m a t et r a n s f o r m a t i o nm o d e lu s i n gt h er e g r e s s i o np e r f o r m a n c eo f l s s v m ，t h i r d l y , r i s et h em o d e lr e g i s t e rt h ei m a g e sw h i c hh a v eg e o m e t r i cd e f o r m a t i o n ，f m a l l y , c o n s i d e ri n t e r p o l a t i o np r o b l e m s t a k i n gt h ea n a m o r p h i c m a g n e t i cr e s o n a n c ei m a g e sf o r e x p e r i m e n t ，a n dc o m p a r i n gw i t h t h em a x i m i z a t i o no fm u t u a li n f o r m a t i o nm e t h o d s t h e e x p e r i m e n t a lr e s u l t ss h o wt h a t ，t h el s s v mm e t h o dc a nr e m o v eg e o m e t r i cd i s t o r t i o na n dh a s l e s sr u n n i n gt i m et h a nt h em a x i m i z a t i o no fm u t u a li n f o r m a t i o nm e t h o d ，l s s v mi sa ne f f e c t i v e i m a g er e g i s t r a t i o nm e t h o d k e yw o r d s ：s u p p o r tv e c t o rm a c h i n e s ( s v m ) ，l e a s ts q u a r es u p p o r tv e c t o rm a c h i n e s ( l s - s v m ) ，m e d i c a li m a g es e g m e n t a t i o n ，m e d i c a li m a g er e g i s t r a t i o n 术t h i sr e s e a r c hh a sb e e ns u p p o s e db yt h en a t u r es c i e n c ef o u n d a t i o no fs h a a n x ip r o v i n c e ( s u b j e c t ： n o n l i n e a rs y s t e mm o d e la n dc o n t r o lb a s e do ns u p p o r tv e c t o rm a c h i n e s ，n o 2 0 0 7 f 3 0 ) 独创性声明 秉承祖国优良道德传统和学校的严谨学风郑重申明：本人所呈交的学位论文是我 个人在导师指导下进行的研究工作及取得的成果。尽我所知，除特别加以标注和致谢 的地方外，论文中不包含其他人的研究成果。与我一同工作的同志对本文所研究的工 作和成果的任何贡献均已在论文中作了明确的说明并已致谢。 本论文及其相关资料若有不实之处，由本人承担一切相关责任 论文作者签名：兰，卑沁。8 年3 月1 6 日 学位论文使用授权声明 本人王堡在导师的指导下创作完成毕业论文。本人已通过论文的答辩， i 并已经在西安理工大学申请博士硕士学位。本入作为学位论文著作权拥有者，同意 授权西安理工大学拥有学位论文的部分使用权，即：1 ) 已获学位的研究生按学校规定 提交印刷版和电子版学位论文，学校可以采用影印、缩印或其他复制手段保存研究生 上交的学位论文，可以将学位论文的全部或部分内容编入有关数据库进行检索：2 ) 为 教学和科研目的，学校可以将公开的学位论文或解密后的学位论文作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、浏览。 本人学位论文全部或部分内容的公布( 包括刊登) 授权西安理工大学研究生部办 理。 ( 保密的学位论文在解密后，适用本授权说明) 论文作者签名：至j 晕二导师签名 3 0 0 8 年3 月j 6 日 绪论 1 绪论 1 1 课题背景及意义 随着生物医学工程和计算机技术的发展，医学影像学为临床诊断提供了多种模态的医 学图像，如计算机断层扫描图c t ，磁共振图像m r i 、功能磁共振图像f m r i 、单光子发 射断层成像图s p e c t 、正电子发射断层成像图p e t 、数字减影血管造影d s a 、超声成像 u l t r a s o u n d 等。由于医学图像处理技术对医学科研及临床实践的作用和影响日益增大，其 结果使临床医生对人体内部病变部位盼观察更直接、更清晰、确诊率也更高，因此，医学 图像处理技术一直受到国内外有关专家的高度重视。 1 1 1 医学图像分割研究的意义及国内外现状 ( 1 ) 研究意义 在图像分析中，通常需要将关心的目标从图像中提取出来，这种从图像中将某个特定 区域与其他部分进行分离并提取出来的处理，就是图像分割。 医学图像分割可以将感兴趣区( 病灶等) 提取出来，帮助医生进行定性及定量的分析； 包括分割( 目的是将图像分解成若干有意义的子区域或对象) 和标注( 目的是为了能够识 别出各区域的解剖或生理意义) 两个部分，它是图像处理与图像分析中的一个经典问题。 分割后的图像被广泛地应用于各种场合，如组织容积的定量分析，病变组织的定位及诊断， 解剖结构的学习，治疗规划，功能成像数据的局部体效应校正和计算机指导手术等。分割 标注又是进行三维重建的基础，是保证三维重建准确性的关键技术。 、 ( 2 ) 国内外现状 传统的医学图像分割一直停留在人机交互水平，处理时间长，而且处理结果受人为因 素的影响。因此，如何实现图像的自动分割一直是医学图像处的研究重点1 。近年来，随着 一些新兴技术( 如模糊学、数学形态学、数字拓扑学、人工智能等) 在图像理中的应用，使 图像分割技术取得了显著的进展，一些全新的图像自动分割技术应运而生，如模糊分割技 术乜3 1 ，基于知识的分割技术“，5 1 ，人工神经网络分割技术等。这些技术代表了近年来医 学图像分割的最新研究成果，也是今后若干年医学图分割技术的研究方向 。 此外，近年来，形变模型在医学图像分割中得到了广泛的应用一1 。形变模型最初是 由k a s s 等人在1 9 8 7 年提出的，即著名的形变轮廓模型( d e f o r m a b l ec o n t o u r ，也称s n a k e 或a c t i v ec o n t o u r ) 。其分割过程就是使轮廓曲线在外能和内能的作用下向物体边缘靠 近，外力推动轮廓运动，而内力保持轮廓的光滑性。形变模型的主要优点是综合利用了区 域与边界信息，能够直接产生闭合的参数曲线或曲面，并对噪声和伪边界有较强的鲁棒性， 但是因为要事先给出一个比较准确的大概的轮廓，因此需要大量的人力工作。 西安理工大学硕士学位论文 1 1 2 医学图像配准研究的意义及国内外现状 ( 1 ) 研究意义 随着医学图像成像技术的不断提高，医学图像在医学诊断和治疗中的应用越来越重 要，进入9 0 年代以来，医学手术模拟可视化，三维医学图像有限元分析，医学图像融合 等逐渐成为图像处理研究的热点，其中医学图像融合作为信息融合技术的一个新领域，受 到了国内外学术界的广泛重视，它的研究将会对未来医学的发展和医学影像技术的进步带 来深远的影响“1 2 1 。 现代医学影像成像系统的应用，为医学诊断提供了不同模态的图像，这些多模态的医 学图像可以提供不同的医学信息，它们各有特点。如：在放射外科手术计划中，c t 图像 具有很高的分辨力，骨骼成像非常清晰，但对软组织病灶本身的显示就较差。而m r i 图 像则不同，虽然它空间分辨力比不一kc t 图像，但是它对软组织成像清晰，有利于病灶 范围的确定，可是它又缺乏刚性的骨组织作为定位参照，再比如：s p e c t 、p e t 提供了 人体的功能信息，但对解剖结构的描画却很差，而m r i 、c t 、x 线成像对人体解剖结构 描画的很好，却缺乏人体功能信息。可见，不同模态的医学图像都有各自的优缺点，如果 利用基于图像配准的图像融合技术，把它们之问的互补信息综合在一起，作为一个整体来 表达，就可以在同- - n 图像上同时表达人体的多方面信息，从医学影像上反映人体的内部 结构和功能状态，可以更加直接提供人体解剖和生理病理信息，为医生提供详细的诊断信 息，提高诊断的准确性。 然而不同模态的医学图像成像原理不同，分辨率不同，成像参数等不同，因此在图像 融合前必须先进行图像配准。医学图像配准就是通过寻找一种( 或二系列) 空间变换，使 两幅图像的对应点，或者至少是所有具有诊断意义的点都达到空间位置和解剖结构上的完 全一致“3 川。 、 对于医学图像来说，由于存在不同模态图像所表现的性质截然不同的物理机制、患者 摆位的差异、成像参数的变化、不同成像设备间空间分辨率的不同，再加上配准的精度要 求较高，使得医学图像配准成为一项必须又相当困难的任务 i a l 。 ( 2 ) 国内外现状 由于其重要的临床应用价值，医学图像配准近年来已成为医学图像研究领域的热门专 题之一。1 9 9 3 年，v a nd e ne l s e n 等人专门对医学图像的配准方法进行了分类，归纳7 种 分类标准：维数、配准基准的特性、变换特性和域、成像模式、研究对象和配准部位、交 互性、优化过程 1 5 l 。图像配准按照配准时所依靠的图像特性的不同，可以把图像配准分 为基于图像外部特性和内部特性的两大类配准方法。其中，基于图像外部特性的方法包括 定标架法、面膜法和皮肤标记法等；基于图像内部特征的方法包括手工交互法、对应点配 准法、结构配准法、矩配准法以及相关配准法( 即基于体素相似性的方法) 等。近些年以 来，又提出了一些新的图像配准方法。f r e d e r i km a c s 等将信息论中互信息量的概念应用 于多模态医学图像的配准，提出以图像间互信息量作为配准准则的全自动配准方法，配准 7 绪论 精度可以达到亚像素水平n 6 川。随着小波变换在各个领域的广泛应用，它也被应用到了医 学图像配准中，它可以利用在低分辨率下的配准参数作为基础和引导，从而得到高分辨率 下更为准确的结果，这种层层细化、逐步逼近的方法，不但有较强的鲁棒性，而且加快了 配准参数搜索的速度，节约了配准时间。另外，非线性配准也是近年研究的热点，它是基 于一定的数学物理模型，对图像进行非线性变换，以做到局部的精细配准，这对于非刚性 对象的图像配准比较适用，配准结果也更加准确“引。 1 2 支持向量机方法的提出和应用研究现状 医学图像处理到今天仍然没有获得很好的解决，一个重要原因是医学图像的复杂性和 多样性。由于组织本身的特性差异，以及医学图像在形成时受到诸如噪音、场偏移效应、 局部体效应和组织运动等的影响，医学图像与普通图像相比，不可避免地具有模糊、不均 匀性等特点。另外，人体解剖组织结构和形状的复杂，人与人之间相当大的差别，这些都 给医学图像处理带来了困难9 1 。由于传统的图像处理方法无法满足需求，一些新的领域 开始涉及到医学图像处理中，如机器学习。 机器学习是人工智能应用的重要研究领域，也是人工智能和神经计算的核心研究课题 之一n 们。基于数据的机器学习是研究从观测数据( 样本) 出发寻找规律，利用这些规律 对未来数据或无法观测的数据进行预测，其实现方法大致分为三种： ( 1 ) 经典的( 参数) 统计估计方法。它基于经验风险最小化准则( e r m ：e m p i r i c a l r i s km i n i m i z a t i o n ) ，研究的是样本数趋于无穷大时的渐进理论，而在实际问题中，样本 数往往是有限的，因此它在实际中的表现不尽人意。 ( 2 ) 经验非线性方法，如人工神经网络( a n n ) 。这种方法利用已知样本建立非线 性模型，克服了传统参数估计方法的困难。但是，此类方法缺乏一种统一的数学理论基础。 ( 3 ) 统计学习理论( s l t ：s t a t i s t i c a ll e a r n i n gt h e o r y ) n 。2 2 1 o 与传统统计学相比， 统计学习理论是一种专门研究小样本情况下机器学习规律的理论。v l a d i m i rn v a p n i k 等人 从六、七十年代就开始致力于此方面的研究，到九十年代中期，随着其理论的不断发展和 成熟，也由于神经网络等学习方法在理论上缺乏实质性的进展，统计学习理论开始受到越 来越广泛的重视。 支持向量机( s v m ：s u p p o r tv e c t o rm a c h i n e s ) 是统计学习理论中最年轻的内容，也是 最实用的部分，它是由v a p n i k 领导的a t & t b e l l 实验室研究小组提出来的乜3 2 蚰，在解决小 样本、非线性及高维模式识别问题中表现出许多特有优势，目前仍处在不断发展阶段。其 思想是建立在统计学习理论的v c 维理论( v a p n i k c h e r v o n e n k i sd i m e n s i o n ) 和结构风险 最小化原理( s r m ：s t r u c t u r a lr i s km i n i m i z a t i o n ) 基础上的，根据有限的样本信息在模型的 复杂性( 即对特定训练样本的学习精度) 和学习能力( 即无错误的识别任意样本的能力) 之间寻求最佳折衷，以期获得最好的推广能力 2 5 , 2 6 。 s v m 算法具有四个显著特点：( 1 ) 利用大间隔的思想降低分类器的v c 维，实现结构 风险最小化原则，控制分类器的推广能力；( 2 ) 利用m e r c e r 核实现线性算法的非线性化； 西安理工大学硕士学位论文 ( 3 ) 稀疏性，即少量样本( 支持向量) 的系数不为零，就推广性而言，较少的支持向量 数在统计意义上对应好的推广能力，从计算角度看，支持向量减少了核形式判别式的计算 量；( 4 ) 算法设计成凸二次规划问题，避免了多解性 2 7 1 。 s v m 方法在理论上具有突出的优势，贝尔实验室率先在美国邮政手写数字库识别研 究方面应用了s v m 方法弛钉，取得了较大的成功。在随后的近几年内，有关s v m 的应用 研究得到很多领域的学者的重视，在人脸检测 2 8 1 验证和识别印、说话人语音识别3 0 1 、 文字手写体识别。1 、图像处理及其他应用研究方面取得了大量的研究成果。 国内，在图像处理方面s v m 的主要应用有：段立娟等2 】提出一种多层次特定类型 图像过滤法，即以综合肤色模型检验，支持向量机分类和最近邻方法校验的多层次图像处 理框架，对互联网色情图像过滤达到8 5 以上的准确率。庄越挺等n 3 1 提出并实践了基于 s v m 的视频字幕自动定位和提取的方法。该方法首先将原始图像帧分割为n n 的子块， 提取每个子块的灰度特征，然后使用预先训练好的s v m 分类机进行字幕子块和非字幕予 块的分类，最后结合金字塔模型和后期处理过程，实现视频图像字幕区域的自动定位提取， 实验表明该方法取得了良好的效果。张磊等“4 1 以s v m 为分类器对图像进行分类和检索， 在每次反馈中对用户标记的正例和反例样本进行学习，并根据学习所得的模型进行检索， 使用由9 9 1 8 幅图像组成的图像库进行实验，结果表明，在有限训练样本情况下具有良好 的泛化能力。肖俊等。婚1 提出了一种基于s v m 对相似3 d 物体识别与检索的算法，该算法 首先使用细节层次模型对3 d 物体进行三角面片数量的约减，然后提取3 d 物体的特征， 由于所提取的特征维数很大，因此先用独立成分分析进行特征约减，然后使用s v m 进行 识别与检索，将该算法用于3 d 丘陵与山地的地形识别中，取得了良好效果： 本课题借助支持向量机方法在处理小样本、非线性、高维数据时表现出来的优越性， 针对医学图像的特点( 目标边界模糊、目标灰度不均匀及目标不连续等情况) ，对支持向 量机方法及其在医学图像处理中的应用，主要是医学图像分割和医学图像配准两方面进行 了深入地研究。 1 3 本文的主要研究工作 支持向量机方法是一个新的研究领域，医学图像分割和配准是医学图像处理中两个重 要而困难的课题，使用支持向量机进行医学图像处理，无论在理论上还是在实际应用上都 有重大的意义。本文结合医学图像的特点，主要进行了以下几个方面的研究： ( 1 ) 第一章绪论部分，介绍论文的研究目的与意义，医学图像分割和配准的研究现 状和支持向量机的应用现状。 ( 2 ) 第二章概括介绍统计学习理论的几个重要理论和支持向量机理论，为后面的研 究打好理沦基础。 ( 3 )第三章研究基于最小二乘支持向量机的医学图像分割 结合医学图像中目标分散及训练样本数有限的特点，借助基于统计学习理论的支持向 量机方法具有良好的分类性能，特别在小样本、非线性及高维特征空问具有较好的推广能 4 绪论 力，将最小二乘支持向量机方法( l s 。s v m ：l e a s ts q u a r es u p p o r tv e c t o rm a c h i n e s ) 应用于 医学图像的分割，对于训练样本的选取，图像特征的提取以及核函数及其参数对分类结果 的影响等问题进行了讨论。并和模糊c 均值方法( f c m ：f u z z ycm e a n s ) 的分割效果进 行了比较。实验结果表明，在时间代价，分类精度等方面，l s s v m 比f c m 方法有更好 的分类性能。 ( 4 ) 第四章研究基于最小二乘支持向量机的医学图像配准 文中提出了基于l s s v m 的图像配准方法，在已知控制点对的前提下，利用l s s v m 的回归性能估计变换模型，然后利用该模型对待配准图像进行几何变换，并考虑插值问题， 从而实现图像的配准。最后和最大互信息法进行比较实验，结果表明l s s v m 可以有效 地去除图像的刚体几何形变，是一种有效的医学图像配准方法。 ( 5 ) 第五章对全文工作进行总结，并为下一步的研究工作提出了方向。 西安理工大学硕士学位论文 2 支持向量机的基本理论 2 1 统计学习理论的核心内容 机器学习是人工智能应用的重要研究领域，也是人工智能和神经计算核心研究课题之 一，基于数据的机器学习是研究从观测数据( 样本) 出发寻找规律，利用这些规律对未来 数据或无法观测的数据进行预测。可以一般地表示为：变量y 与z 存在一定的未知依赖关 系，即遵循某一未知的联合概率f ，y ) ，( x 和y 之间的确定性关系可以看作是其特例) ，机 器学习问题就是根据 t 个独立同分布观测样本 ( ，y 。) ，0 ：，y ：) ，也，y 。)( 2 1 ) 在一组函数 厂( 工，w ) 】- 中求一个最优的函数厂 ，) 对依赖关系进行估计，使期望风险 g ( w ) = f l ( y ，厂x ，w ) ) d f ( x ，y ) ( 2 2 ) 最小。其中， 厂( z ，w ) 】- 称作预测函数集，w q 为函数的广义参数，故 厂x ，w ) 】- 可以表示任 何函数集；l ( y ，厂x ，w ) ) 为由于用f ( x ，w ) 对y 进行预测而造成的损失。 显然 要使式( 2 2 ) 定义的期望风险最小化，必须依赖关于联合概率fx ，y ) 的信息， 在模式识别问题中就是必须已知类先验概率和类条件概率密度。但是，在实际的机器学习 问题中，只能利用已知样本式但1 ) 的信息，因此期望风险并无法直接计算和最小化。 根据概率论中大数定理的思想，人们自然想到用算术平均代替( 2 2 ) 中的数学期望，于 是定义了 r 。，( w ) = 三罗三( y ；，厂“，w ) ) ( 2 3 ) ，z 筒 在样本趋于无穷多时来逼近式( 2 2 ) 定义的期望风险。由于。( w ) 是用已知的训练样本( 即 经验数据) 定义的，因此称为经验风险。用对参数w 求经验风险，( w ) 的最小值代替求 期望风险尺( w ) 的最小值，就是所谓的经验风险最小化原则( e r m ：e m p i r i c a lr i s k m i n i m i z a t i o n ) 。 与传统统计学相比，统计学习理论( s l t ：s t a t i s t i c a ll e a r n i n gt h e o r y ) 是一种专门研 究小样本情况下机器学习规律的理论。v v a p n i k 等人从六、七十年代开始致力于此方面研 究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论 上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。它从理论上较系统地研究 了经验风险最小化原则成立的条件、有限样本集条件下经验风险与期望风险的关系以及如 何利用这些理论找到新的学习原则和方法等问题。其核心内容包括以下四个方面 2 4 1 ： ( i ) 经验风险最小化原则下的统一学习一致性的条件； ( 2 ) 学习过程收敛速度的非渐进性理论； ( 3 ) 控制学习过程的泛化能力的理论； 支持向量机的基本理论 ( 4 ) 构造学习算法的理论。 以上内容中最重要的理论成果就是泛化能力的界，它也是支持向量机这一新兴机器学 习技术的理论基础。与其相关的核心概念是v c 维和结构风险最小化原则。 2 1 1v c 维 v c 就是取v a p n i k 和c h e r v o n e n k i s 名字的首字而成，它的定义如下：假如存在一个 有h 个样本的的样本集能够被一个函数集中的函数按照所有可能的2 6 种形式分为两类，则 称函数集能够把样本数为h 的样本集打散( s h a t t e r i n g ) 。指示函数集的v c 维就是用这个 函数集中的函数所能打散的最大样本集的样本数。也就是说，如果存在h 个样本的样本集 能够被函数集打散，而不存在有h + 1 个样本集能够被函数集打散，则函数集的v c 维就是 h 。如果对于任意的样本数，总能找到一个样本集能够被这个函数集打散，则函数集的 v c 维就是无穷大。 2 1 2 推广性的界 针对各种类型的函数集合，统计学习理论系统地研究了经验风险和实际风险之间的关 系，也即推广性的界 2 7 1 。 这个概念是分析学习机器的性能和发展新的学习算法的重要基础。根据这一重要理论 成果，对于指示函数中所有的函数而言，经验风险( w ) 和真实风险r ( w ) 之间至少以 1 一r 概率满足如下关系： r ( w ) s 如。( w ) + h ( 1 n ( 2 n h ) + 1 ) - l n ( r 4 ) ( 2 4 ) 其中h 是函数集的v c 维，l 是训练样本数。可以看到，学习机器的实际风险事实上 由两部分组成：一是训练样本的经验风险，另一部分是置信范围，这一部分不仅同置信水 平1 一叩有关，而且与学习机器的v c 维和训练样本数有关系。将( 2 4 ) 式简化为如下形式： ， 、 r ( w ) 如，( w ) + i 兰i ( 2 5 ) ，z 从上述讨论可知，在训练样本有限的情况下，学习机器的v c 维h 越高，则置信范围 就越大，导致实际风险与经验风险之间可能的差就越大。当样本数目有限时，在设计学习 机器时，就不但要使学习机器的经验风险最小，还要使其对应的v c 维尽量小以缩小置信 范围，从而达到使实际风险最小的目的，也即对未来样本有较好的预测能力。 2 1 3 结构风险最小化 经验风险最小化原则( e r m ) 在样本有限时是不合理的，我们需要同时最小化经验 风险和置信范围。统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序 列，使各个子集按照v c 维的大小( 亦即h 的大小) 排列；在每个子集中寻找最小经验风 7 西安j e - y - - 大学硕士学位论文 险，在子集间折衷考虑经验风险和置信范围，取得实际风险的最小值，如图2 - 1 ，这种思 想称作结构风险最小化( s r m ：s t r u c t u r a lr i s km i n i m i z a t i o n ) 准则。 欠学习过学习 风险 信范围 验风险 函数集子集：s 。cs ：cs 3 v c 维：h lsh 2sh 3 图2 - 1 结构风险最小化 f i g 2 - 1s t r u c t u r a lr i s km i n i m i z a t i o n 实现s r m 原则可以有两种思路，一是在每个子集中求最小经验风险，然后选择使最 小经验风险和置信范围之和最小的子集，显然这种方法比较费时，当子集数目很大甚至是 无穷时不可行。因此有第二种思路，即设计函数集的某种结构使每个子集中都能取得最小 的经验风险( 如使训练误差为零) ，然后只需选择适当的子集使置信范围最小，则这个子 集中使经验风险最小的函数就是最优函数，支持向量机方法实际上就是这种思想的具体实 现a 、 2 2 支持向量机理论 2 2 1 支持向量机的分类算法 支持向量机理论( s v m ：s u p p o r tv e c t o rm a c h i n e s ) 最初来源于数据分类问题的处理， s v m 就是要寻找一个满足要求的分割平面，使训练集中的点距离该平面尽可能地远，即 寻求一个分割平面使其两侧的分类间隔( m a r g i n ) 尽可能的最大。 一 设输入模式集合托】r 4 由两类点组成，如果鼍属于第1 类，则y ，= 1 ，如果誓属于 第2 类，则y ，= 一1 ，那么有训练样本集合“，y ，) ，i = 1 ，2 ，3 ，z ，支持向量机的目标就是要 根据结构风险最小化原理，构造一个目标函数将两类模式尽可能地区分开来，通常分为 三类情况来讨论：( 1 ) 线性可分；( 2 ) 近似线性可分；( 3 ) 线性不可分。 ( 1 ) 线性可分情况 考虑图2 2 中所示的二维两类线性可分情况，图中实心点和空心点分别表示俩类的训 练样本，h 为把隗类没有错误地分开的分类线，h 1 ，h 2 分别为过各类样本中离分类线最 近的点且平行于分类线的直线，h 1 和h 2 之间的距离叫做两类的分类问隙或分类i 吲隔 ( m a r g i n ) 。所谓最优分类线就是要求分类线不但能将两类兀错误地分开，而且要伎两类的 支持向量机的基本理论 分类空隙最大。前者是保证经验风险最小( 为零) ，后者是使推广性的界中的置信范围最 小，从而使真实风险最小。推广到高维空间，最优分类线就成为最优分类面。 h 2 丽 图2 - 2 最优分类超平面 f i g 2 - 2o p t i m a lh y p e r p l a n ef o rc l a s s i f i c a t i o n 设线性可分样本集为( x i ，y ；) ，i - - 1 ，2 ，3 ，z ，x 尺。，y + l 一1 ) 是类别标号。d 维空 间中线性判别函数的一般形式为g ) = w x + 6 ，分类面方程为： w x + 6 = 0 ， ( 2 6 ) 分类间隔为1 赢，使分类间隔最大就是使8 叫i ( 或l l w l l 2 ) 最小。其中，“”是点积，w 是d 维法向量，b 为偏移量。 最优超平面是使得每一类数据与超平面距离最近的向量与超平面之间的距离最大的 这样的平面。最优超平面可以通过下面的二次优化问题来获得： 挑1 1 2 二 s z ：y i ( w x i + 6 ) 1 ， i = 1 , 2 ，3 ，n ( 2 7 ) ( 2 8 ) 如图2 - 2 ，最优分类面可以理解为h ，过两类样本中离分类面最近的点且平行于最优 分类面的超平面h 1 和h 2 上的训练样本就是式( 2 8 ) 中使等号成立的那些样本，在图中已 用圆圈标出，它们叫做支持向量( s u p p o r tv e c t o r ) ，因为它们支撑了最优分类面。 为了求解上述二次优化问题，可以定义如下的l a g r a n g e 函数： ( 以6 ，口) 2 吉( m ) 一善q 洲w 毛) + 6 卜玲， ( 2 - 9 ) 其中，口f o , i = 1 ，2 ，3 ，z 为l a g r a n g e 系数，我们的问题是对w 和6 求l a g r a n g e 函数的极 小值。 把式( 2 9 ) 分别对w 和b 求偏微分并令它们等于0 ，就可以把原问题转化为如下这种较 简单的对偶问题： 在约束条件 y 黯2 o ， ( 2 1 0 ) 9 西安理工大学硕士学位论文 其中 呸o ，i = 1 , 2 ，3 ，z z t g , 寸a ；求解下列函数的最大值： 若o t i + 为最优解，则 鼬) 2 砉呸1 1 蠢嘴眦p ( 2 1 1 ) = 罗a ? y ；x i(212w ) = a ：y ：i z j 即最优分类面的法向量w + 是训练样本向量的线性组合。 这是一个不等式约束一f - - - 次函数极值问题，存在唯一解。且根据k k t 条件，这个 优化问题的解须满足 口f y i ( w x i + 6 ) - 1 = 0 ， i = 1 ，2 ，3 ，z ( 2 1 3 ) 因此，对多数样本破各为零，取值不为零的西对应于使式( 2 8 ) 等号成立的样本p | 】支 持向量，它们通常只是全体样本中的很少一部分。 求解上述问题后得到的最优分类函数是 厂 ) = s g n ( w + x ) + b 】- = s g n a i + y r ( x x i ) + b + 】- ( 2 1 4 ) s g n ( ) 为符号函数，根据f ( x ) 的符号来确定x 的归属。由于非支持向量机对应的均 为零，因此式中的求和实际上只对支持向量进行。而b + 是最优分类面的偏移量，可以由 任意一个支持向量用式( 2 8 ) 求得( 因为支持向量机满足其中的等式) ，或通过两类中任意 一对支持向量取中值求得。 ( 2 ) 近似线性可分 + + n + 图2 3 近似线性可分 f i g 2 - 3a l m o s tl i n e a rs e p a r a b l e 如图2 3 ，对于训练集为不完全线性可分的情况， 毒，i = 1 2 ，z ，这样分类超平面的最优问题可以写为 m i n 剐w2 + c 砉皇 就需要引入非负松弛变量 ( 2 1 5 ) 支持向量机的基本理论 s t ：y f ( w x i + 6 ) 21 ，i = 1 ，2 ，n ，舅0( 2 1 6 ) 其中c 为惩罚参数，它实际上起控制对错分样本惩罚的程度的作用，实现在错分样本 的比例与算法复杂度之间的折衷。采用拉格朗日乘子法求解这个具有线性约束的二次规划 问题，即转化为 三( 6 ，口) = 互1 i f 2 + c 喜量一骞口。 y ；w , x i + b ) 一1 + 毒 一再n 屈毒 ( 2 1 7 ) 求解上述最优化问题，可得 当：o_w；ndw 西y j t( 2 1 8 ) 俘 鲁= o 呻善ny 舻o ， ( 2 1 9 ) ： = 0 呻c q 一层= 0 ( 2 2 0 ) 夤 li、， 将( 2 1 8 ) ( 2 2 0 ) 式代入( 2 1 7 j 式，求得相应的对偶优化问题为： 警2 i 至= 1 一昙z 曼：- i 扣彬 _ ) 亿2 1 ， 口 l