（模式识别与智能系统专业论文）svr的鲁棒性及其在图像恢复中的应用研究.pdf

博十论文s v r 纳鲁棒性及其冉图像恢复中的应用研究 摘要 支持向量机s v m 是实现统计学习理论的通用学习方法，其优异的泛化性能使得 支持向量机在模式识别、回归分析和预测、密度估计等领域都得到了实际应用。当 s v m 用于回归分析和预测时，通常称其为支持向量回归机s v r 。在回归分析中，样 本数据通常含有噪声如何选择合适的参数使得支持向量回归机s v r 更具鲁棒性， 从而对样本数据噪声产生尽可能强的抑制能力，是一个有着重要的理论价值和应用价 值的课题。本文的主要目的就是研究常见的两种s v r 的参数与输入样本数据的噪声 间的关系，从而为鲁棒的s v r 的参数选择提供理论依据。 首先研究了s v r 的鲁棒性的问题，即着重研究了当输入样本噪声为高斯模型时， h u b e r - s v r 和r 范数- s v r 的参数选择问题，并在贝叶斯框架下推导出了以下结论： 当s v r 的鲁棒性最佳时，h u b e r - s v r 中的参数p 与输入高斯噪声的标准差。间呈近 似线性关系；r 范数s v r 的参数r 与输入高斯噪声的标准差。间呈近似线性反比关系。 这两个结论亦得到了实验的证实 还以图像恢复为应用背景，研究应用s v r 对图像脉冲噪声的识别问题。在最新 的应用s v m 识别脉冲噪声的研究成果的基础上，研究了如何提高脉冲噪声识别正确 率的问题。提出了基于s v r 的脉冲噪声滤波器和利用小波变换的改进的s v m 脉冲噪 声滤波器，实验表明这两种滤波器在不同的应用背景下可以明显地改善滤波效果 关键词：支持向量机，损失函数，回归分析，噪声抑制，模式识别， 图像滤波 a b d 博十论文 a b s t r a c t s u p p o r tv e c t o rm a c h i n es v mi sag e n e r a ll e a r n i n ga p p r o a c hb a s e d0 1 1s t a t i s t i c a l l e a r n i n gt h e o r y , w h i c hh a so b t a i n e di t sp r a c t i c a la p p l i c a t i o n si nm a n y a l e a 8s u c ha sp a r e m r e c o g n i t i o n , r e g r e s s i o na n dp r e d i c t i o n , a n dd e n s i t ye v a l u a t i o nd u e t oi t se x c e l l e n t g e n e r a l i z e dc a p a b i l i t y w h e na p p l i e dt or e g r e s s i o na n dp r e d i c t i o n , w eo f t e nc a l ls v m 船 s u p p o r tv e c t o rr e g r e s s i o nm a c h i n es v i li ng e n i a l ，s a m p l ed a t a i nr e g r e s s i o na n a l y s i s o f t e nc o n t a i nn o i s e t h e r e f o r e ，h o wt od e t e r m i n et h eo p t i m a lp a r a m e t e r ss u c ht h a ts v r b e c o m e sa sr o b u s ta sp o s s i b l ei s 嬲i m p o r t a n ts u b j e c tw o r t ho fs t u d y i n g t h em a i na i mo f t h i sd i s s e r t a t i o ni st os t u d yt h et h e o r e t i c a lr e l a t i o n s h i p sb e t w e e nt h es v r sl y a r a m e t e r sa n d t h en o i s yi n p u t s f i r s t l y , t h ei s s u eo fs v r r o b u s t n e s si sa d d r e s s e d f o c u s e do nt h ep a r a m e t e re h o i e e i s s u e so fh u b e r - s v ra n dn o r mr - s v rw i t hg a u s s i a nn o i s yi n p u t sr e s p e c t i v e l y , a n db a s e d o nt h eb a y e s i a nf r a n 瞳e w o r k , w ed e r i v e dt h et w of o l l o w i n gr e l a t i o n s h i p s ：( 1 ) w i t ht h eb e s t r o b u s t n e s s ，t h ea p p r o x i m a t e l yl i n e a rr e l a t i o n s h i pb e t w e e nt h ep a r a m e t e rpi nh u b e r - s v r a n dt h es t a n d a r dd e v i a t i o noo fg a u s s i a nn o i s yi n p u ti sk e p t , ( 2 ) t h ea p p r o x i m a t e l y i n v e r s e l yl i n e a rr e l a t i o n s h i pb e t w e e nt h ep a r a m e t e rri nn o r mr - s v ra n dt h es t a n d a r d d e v i a t i o noo fg a u s s i a nn o i s yi n p u ti sk e p t o u re x p e r i m e n t a lr e s u l t sc o n f i r m e dt h ea b o v e c l a i m s a c c o r d i n g l y , o nh o wt or e c o g n i z ep u l s en o i s ei ni m a g eu s i n gs v r i si n v e s t i g a t e d b a s e do nt h el a t e s tr e s e a r c hr e s u l t so i lr e c o g n i z i n gp u l s en o i s ei ni m a g eu s i n gs v m ，t h e t w on e wp u l s en o i s ei m a g ef i l t e r s 眦p r o p o s e d o n eu s e ss v rt or e c o g n i z ep u l s en o i s e 。 t h eo t h e rc o m b i n e sw a v e l e tt r a n s f o r m sw i t hs v ct or e c o g n i z ep u l s en o i s e e x p e r i m e n t a l r e s u l t sd e m o n s t r a t e d , t h ee f f e c t i v e n e s so f t h e s et w on e wi m a g ef i l t e r s k e y w o r d s ：s v m ，l o s sf u n c t i o n ，r e g r e s s i o na n a l y s i s ，d e n o i s i n g , p a t t e m r e c o g n i t i o n , i m a g ef i l t e r i n g y1 0 0 1 9 9 3 声明 本学位沦文是我在导师的指导i - - 取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：o 一，年p 月佗口 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：k 厂年口月，2 日 博 论史 s v r 的鲁棒性及j t 扯豳像恢复中的向用研究 第l 章绪论 本章将首先简要回顾统计学习理论和支持向量机s v m ，然后对s v m 的几个相关 研究方向作一些归纳，进而提出本文的研究主题，最后介绍本文所做的工作以及本文 的内容安排。 1 1 问题的提出 通过机器实现模仿人类的行为，已经有很长的历史了。从1 9 5 6 年：i f 式提出人工 智能学科以来，尽管历经曲折和存有争论，这一学科仍然取得了巨大的成就。机器学 习是人工智能研究中的一个主要内容和热点。统计学习可以看作是一种机器学习( 由 于本文的研究方向，本文以后不再区分统计学习和机器学习) 随着传统统计学理论 的发展，出现了人工神经网络和s v m ，并得到了很多实际应用。本节将从机器学习 出发，通过统计学习理论和支持向量机s v m 的介绍和回顾，引出本文的研究内容 1 1 1 统计学习理论与结构风险最小化 机器学习问题可以形式化地表示为：已知变量y 与输入x 存在一定的未知依赖关 系，即存在一个未知的联合概率f c r 。y ) ，机器学习就是根据n 个独立同分布观测样 本 ( x 1 ，y 1 ) ，( x 2 ，y 2 ) ，( x ，y 。) ， ( 1 1 ) 在函数集 厂( x ) 中寻找一个函数，。使预测的期望风险 r e f l - l ，f ( x ) ) d f ( x ，y ) ( 1 2 ) x ：r 最小。其中， ，( x ) ) 称作预测函数集，l ( y ，厂( x ) ) 称为损失函数，表示由于用函数厂对 y 进行预测而造成的损失。 要使式( 1 2 ) 定义的期望风险最小化，必须依赖关于联合概率f ( x ，y ) 的信息。 但是在实际的机器学习问题中，只能利用已知样本即式( 1 1 ) 的信息根据概率论 中大数定理的思想，可以自然地用已知样本的算术平均代替式( 1 2 ) 中的数学期望， 于是定义了经验风险 r 。【俨吉喜地川x 1 ) ) ( 1 3 ) 来逼近替式( 1 - 2 ) 定义的期望风险经验风险最小化作为机器学习问题的蘑本思想， 长久以来统治了这一领域的几乎所有研究。 第1 章绻论 博卜论文 然而在有限样本的情况下，经验风险最小并不一定意味着期望风险最小，且学习 机器的复杂性除了与所研究的系统有关外，还应与有限的学习样本相适应。为此提出 了结构风险最小化的思想和理论。 函数集的v c 维是统计学习理论中的核心概念函数集的v c 维定义为： 函数集 ，( x ) 的v c 维是p ，当且仅当存在样本集 x ，) 乙使得( 八x ) 中的函数 可以用所有可能的2p 种形式将 x ，厶分为两类，而不存在任何q p 的样本集 x ， ：满足此性质 机器学习在寻找函数f e 厂( x ) 时，如果能在v c 维尽可能小的 厂( x ) 中寻找到 使经验风险最小的函数厂，则可以使经验风险与真实风险之间的差最小，这就有效地 解决了经验风险最小化存在的问题。已经证明，以下界以概率1 一j 成立： r l , q + 、7 型迦 “4 ) i丌 故结构风险定义为 k 们：+ j 婴卿 ( 1 5 ) i玎 机器学习在寻找函数fe 八x ) 时，用结构风险最小化代替传统的经验风险最小 化，揭示了小样本情况下机器学习的规律是统计学习理论对传统统计学理论的重要 发展，是对机器学习理论的重要发展和贡献人工种经网络是基于经验风险最小化的 学习模型，而支持向量机$ v m 则是基于结构风险最小化的学习模型。 1 1 2 支持向量机s v m 及其研究进展 支持向量机s v m 是实现统计学习理论的通用学习方法。这是统计学习理论中最 年轻的部分其主要内容在1 9 9 2 1 9 9 5 年间才基本完成，之后又有新的发展。以 下从s v m 分类器和回归机的介绍入手，回顾s v m 的主要原理，最后归纳几个主要 的研究方向及其进展状况。 分类问题可以归结到两类的分类问题，这样并不失一般性考虑图1 1 所示的两 类分类问题。 设线性呵分样本集为 x ，y ) ：，x r4 ，y + l ，一1 ) 是类别标号d 维空 问中线性判别函数的一般形式为g ( x ) = ( w ，x + b ，分类面疗程为 + 6 ( 1 1 0 ) 逼近样本数据集 d = ( i l ，y i ) ，( x ，y ，) ，x r “，y , f f r ( 1 1 1 ) 的问题。从结构风险最小化思想出发，则其最优回归函数的优化模型为： m i nm ( w ，) = 丢忡8 2 + c 窆瞬+ f )( 2 ) j i l f 上“一，( x ) ) 等，y t 厂“，) j ， 口( x 。) 一只) 蔓f ，厂( x 。) y 。，f = 1 , - - 1 if ，嚣o ， 其中，c 是一个预先确定的值，f 和f 是表示对系统输出进行约束的松弛变量，( ) 是损失函数。由这一优化模型可以解得式( 1 1 0 ) 中的w 和b ，从而得到最优线性回 归函数厂( i ) 。可以用核函数代替上述点积，则回归函数- ，( x ) 可以是非线性的，此即 为支持向量回归机常用的损失函数有平方损失函数，拉普拉斯损失函数、h u b e r 损 失函数和c 不敏感损失函数等，由此构成了不同的支持向量回归机。 值得注意的是，在式( 1 1 2 ) 中，第一部分1 | w 2 的作用是使回归曲线尽可能平 坦，第二部分( 称为惩罚项) 的作用是曲线尽可能逼近样本点，这同样体现了结构风 险最小化的原则。 本文中，用s v c 表示支持向量分类器，用s v r 表示支持向量回归机，用s v m 表示s v c 和s v r 的统称有关统计学习理论和支持向量机的进一步论述可以参见 文献【2 ，3 ，2 5 ，1 2 9 。 支持向量机提出后引了广泛的兴趣，其理论在各个方向都得到了不断发展，其 方法在许多领域得到了实际应用。要完全归纳出支持向量机的研究热点领域及研究进 展是困难的，此处只能大致归纳出一些近几年来支持向量机的主要研究领域及进展： s v m 的改进研究大致包括：l 、模糊s v m 将模糊逻辑引入s v m 产生了一 些新的结果。如：文献 1 1 3 l ( j h c h i a n g 等，2 0 0 4 ) 将s v m 用了二模糊建模。给出了 基于s v m 的模糊建模框架一种显式刻划模糊推理过程表示特征的基于规则的框架。 文献 9 5 】( d h h o n g 等，2 0 0 3 ) 提出了支持向量模糊刚 机，一种用于线性和非线 性模糊回归建模的s v m 。2 、改进的s v m 针对s v m 的某些问题进行研究，提出 经过改进的s v m 。如：文献 9 4 】( a n g e ln v 等，2 0 0 1 ) 提出了一种基于加权最小平 方优化的支持向量分类器的迭代块l l 练方法，提高了s v m 的v l l 练效率。文献i t 0 6 】 ( 0 l m a n g a s a r i a n 等2 0 0 1 ) 提出了拉格郎同支持向肇机l s v m ，该方法避免了用 4 博l 论文 s v r 的鲁捧件及兑打一图像恢复中的用研究 线性规划或二次规划去求解s v m ，当训练样本集规模很大时有很高的训练效率。3 、 解析中心机a c m 。文献t 2 0 1 ( t b t r a f a l i s 等，2 0 0 2 ) 认为分类问题的s v m 的解对 应于样本空间最大内接超球体的几何中心，而如果分类问题的解能对应于样本空日j 最 大内接超球体的解析中心，则可改进泛化性能，由此提出了解析中心机。文献 1 2 0 1 ( 曾凡仔等，2 0 0 4 ) 则进一步提出消除a c m 机的冗余约束可以改进a c m 的性能， 并提出了一种精确的基于解析中心的分类器d r c a c m 。文献【2 1 】( a l e x a n d e rm 等， 2 0 0 2 ) 则提出了a c m 回归机。关于s v m 的改进的其它研究状况可参见文献 1 9 ，2 6 ， 4 9 ，5 0 ，5 l 。5 4 ，5 7 ，6 2 ，6 5 ，6 6 ，6 7 ，7 0 ，1 2 7 等。 s v m 的参数选择研究。包括：l 、核函数及其参数的选择对于具体的机器学 习问题，提出一些选择合适的核函数及其参数的方法。如：文献 5 6 】( o c h a p e l l e 等， 2 0 0 2 ) 通过作用于参数集上的梯度下降算法最小化s v m 的泛化误差，提出了s v m 核函数参数选择的方法。文献 7 2 】( w w a n g 等，2 0 0 2 ) 提出了s v m 高斯核函数参 数的选择方法，这一方法要优于传统的f i s h e r 判别准则。文献 7 4 】( d a n g u i t a ， 2 0 0 3 ) 、【7 7 】( c g o l d a ，2 0 0 3 ) 和【8 9 】( v c h e t k a s s k y ，2 0 0 3 ) 也提出了s v m 的。、 超参数选择方法。2 、损失函数及其参数的选择对于不同的应用情形，提出一些 损失函数的选择和评价的方法。如：文献 1 1 5 】( gm j a m e s 等，2 0 0 3 ) 根据方差作 为对一个量的随机性度量和作为随机性引起的误差率增加的度量，提出了不同损失函， 数的方差的两种定义，可以应用于各种使用对称损失函数的分类器。文献 8 9 】( v c h e r k a s s k y ，2 0 0 2 ) 提出了用于鲁棒的线性回归的损失函数的选择方法。3 、s v r 的 鲁棒性与输入噪声的关系对于一定韵输入噪声，损失函数的参数与抑制噪声的能 力之间的关系。如：文献 1 6 】( j t k w o k 等， 2 0 0 0 ) 给出了s v m 的概率框架，而 文献 1 3 1 ( j t k w o k 等，2 0 0 3 ) 则运用s v m 的概率框架理论，进一步给出了sv r 中的参数与输入噪声之间的关系。有关s v m 的参数选择研究的状况，可以参见文献 【1 4 ，1 5 ，1 7 ，1 8 ，2 4 ，1 2 5 等 s v m 的应用研究s v m 在模式识别( 如图象识别、故障诊断、噪声的识别和抑 制等) 、回归分析和预测( 如数据挖掘、金融预测等) 、密度估计等领域酃得到了重要 应用，这黾不再一一列举，有关研究详情可以参见文献1 2 7 ，5 2 5 3 ，6 9 ，7 1 ，9 3 ， 1 0 3 ，1 0 9 ，1 2 1 ，1 2 2 ，1 2 4 ，1 3 0 等。 1 1 3 支持向量回归机s v r 的鲁棒性及其研究进展 如上所述，s v r 在回归和预测分析以及密度估计等领域都有着重要的应用。但在 上符有关s v r 的研究领域和进展中，大都假定样本集的数据足精确的，而实际应用 中，样本集的数据往往含有噪声，这些噪声将引起s v r 系统决策的误差。是否可能 通过s v r 参数的选择，抑制样本集的数据噪声所引起的s v r 系统决策的误差，提高 5 第1 章绪论博i ：论文 s v r 的鲁棒性? 这既需要作出理论的解释，又具有实际的应用价值，是一个值得研 究的课题。对此，j t k w o k 等学者作了一些重要的工作。他们首先将贝叶斯理论用 于支持向量回归机，给出了支持向量回归机s v r 的贝叶斯解释的概率框架。他们经 理论推导得出结论：在输入数据含有噪声的情况下，支持向量回归机的优化模型与在 给定的损失函数的参数的条件下求s v r 的w 的最大后验估计问题是等价的1 1 5 1 6 i 。在 此基础上，运用s v r 的贝叶斯解释理论，给出了s - s v r 中的参数与输入噪声之间的 关系，其结论指出：当e - s v r 的抑制噪声的能力最强时，e 损失函数的参数e 与输入 噪声的标准差。之间呈现某种线性关烈l 。这一重要结果为在已知噪声的情况下合 理地选择参数提供了依据。如前所述，常见的损失函数除了e 损失函数外，还有 h u b e r 损失函数、平方损失函数和拉普拉斯损失函数。可以迸一步设想，对于其它的 损失函数，是否也存在类似的关系呢? 目前尚未见进一步的研究报道，而这正是本文 的主要研究内容。本文将研究当s v r 的抑制噪声的能力最强时，两种损失函数( h u b e r 损失函数、r 范数损失函数) 的参数与输入高斯噪声的标准差。之自j 应有的关系。 1 2 用s v r 抑制和识别输入噪声的研究概述 信号中噪声的抑制和识别一直是信号处理领域的长期研究课题之一。s v r 的出 现为噪声的抑制和识别提供了可能的新方法。将s v r 应用于噪声的抑制和识别是一 个新的研究领域，这方面的研究报道尚不多见在存在于输入数据的各种噪声中，高 斯噪声和脉冲噪声是常见的两种噪声。对于高斯噪声，本文将针对常见的h u b e r 损失 函数、r 范数损失函数的s v r 的参数选择与抑制样本数据集中的噪声能力之间的关系 作探索性的研究：对于脉冲噪声，本文将结合图象滤波研究运用s v r 和s v c 对其 进行识别的方法本节简要介绍本文的研究背景，下一节介绍本文的主要工作和内容 安排。 1 2 1s v r 的贝叶斯框架与参数选择 利用s v r 的贝叶斯框架推导s v r 的参数与输入噪声之矧的关系，为鲁棒的s v r 选择合适的参数，是s v r 参数选择的一种新的有效方法 在参数估计中，贝叶斯方法是一种把待估计参数看作具有某一己知分白的随机变 量，从而进行参数估计的将先验信息数学形式化的方法。通常称这一己知分白为先验 分布。由于利用了先验信息，则当先验信息与实际情形比较一致时，贝f 斯估计要优 于极大似然估计。当将这一思想应用于s v r 时，就有了s v r 的贝叶斯框架由此可 以推导出s v r 损失函数的参数与输入样本噪声之间的关系，下面对此作简要啦j 纳。 对于给定的样本集 6 博 论文s v r 的鲁棒悱及兵扭图像恢复中的耐用研究 d = ( x i ，y i 卜，( x ，y ，) ，x 尺“，y r ( 1 1 3 ) 考虑用 y i = 葡lx + 砷i 。i = 、。，| 进行回归时的权参数谛估计问题其中，x ，q 服从分布p c ，仉服从分布庐( ) 对 应于j ，的密度函数记为p ( y lx ) = 矿一谛x ) 。为简化问题假定所有的x 具有0 均值。 求解上述问题的s v r 的贝叶斯框架要点如下： 1 、s v r 的损失函数导致以下的对应于y 的概率密度函数 p ( y ，ix ，w ，目) = c p ，p ) e x p 卜他( 只一w 7 x ) ) ， ( 1 1 4 ) 其中，岛( ) 是损失函数，口是其参数，是用于控制噪声水平的参数，c ，曰) 是归 一化系数。则 p ( d 1 w ，口) ：( c ，口) y 。x p f 一圭肚，以- - w r x i ) 1 。 ( 1 1 5 ) 、 叭 2 、权参数w 的先验分布为 p ( w ) = 压e x p ( 一詈| 1 w 1 2 ) ， 。 其中，口为某一常数。 。 3 、权参数w 的后验分布为 。 p ( w ld 屈占) 茁p ( ojw ，肛f 珍( w ) ， 则 l o g p ( w d ，卢，印= 一等0 w 1 2 一p 窆0 。( y 一w 7 x ，) ) + ，l o g c ，护) + 常数。 ( 1 1 7 ) 于是，估计权参数话的问题就变成了对于给定的口、目的值求w 的最大后验估计 问题。由此可以进一步推导出损失函数的参数与输入噪声之问的关系，为鲁棒的s v r 的参数选择提供理论依据，这也是本文第二章和第三章所作的工作。 1 2 2s v r 用于输入脉冲噪声的识别 数字图象的噪声去除是图象处理的重要内容之一。在去除咏冲噪声方面，非线性 方法似乎比线性方法有更好的性能。作为一种重要而应用广泛的菲线性滤波器，中值 滤波器由于其抑制脉冲噪声的有效性能而得到广泛的研究【33 3 6 3 。站- 4 4 羽。尽管在抑 制噪声方面，中值滤波器收效显著，但在很多情形下中值滤波方法会模糊图像中物体 7 第1 章镣论 博i ”论史 的边界，丢失许多所需要的原图像的细节信息。当滤波器窗口尺寸变大时，这一问题 变得尤其严重为了解决这一问题，已提出了一些改进的中值滤波方法，主要包括： 加权的中值滤波器( w m ) 3 s i ，基于模糊规则的中值滤波器t 2 9 1 和基于决策的中值滤波 裂3 2 i 这些滤波器一定程度改善了滤波结果，但是，加权的中值滤波器仍然是要么滤 去了图像中精细的细节，要么漏滤了过多的脉冲噪声，滤波时必须在噪声检测和保留 细节之间进行权衡。基于模糊规则的中值滤波器由评判脉冲噪声存在可能性的模糊规 则控制，学习过程由对一幅参考图像的训练实现。由于其隶属函数的参数值依赖于参 考图像，故这种滤波器的泛化性能一般较差。基于决策的中值滤波器用一个预先定义 的阈值来控制滤波器，使得滤波只对有噪声的像素进行。但是用一个源于局部信号统 计的闽值函数去判断一个像素是否存在噪声是困难的。 为了克服上述缺陷，最近提出了一种基于s v c 的自适应中值滤波器哪i 这种滤 波器先利用s v c 来判断待处理像素是否存在噪声，只是对那些存在噪声的像素进行 中值滤波。s v c 的学习也是通过对一个参考图像的训练实现的由于s v m 优异的泛 化性能，这种s v c 的学习结果对于参考图像的独立性较高。实验表明这种滤波器的 滤波效果比上述三种的要好本文的第四章和第五章将在此基础上，进一步研究s v r 和s v c 识别脉冲噪声的方法。 1 3 本文研究工作概述和内容安排 1 3 1 本文的研究工作概述 本文的研究工作和结果描述如下： l 、研究了h u b e r - s v r 中参数的选择与输入高斯噪声标准差之白j 的关系并得出了 相应的结论。h u b e r 损失函数为 l 吣一) ： u 似卜，1 1 八d 叫| j ，。，i = l ， if ，嚣0 ， 其中，c 是一个预先确定的值，f 和f 是表示对系统输出进行约束的松弛变量) 是损失函数由这一优化模型町以解得式( 2 1 ) 中的w 和b ，从而得到最优线性回 博t 论史s v r 的鲁棒性及其霜：图像恢复中的应用研究 归函数，i ( x ) 。可以用核函数代替上述点积，则回归函数- ( x ) 可以是非线性的，此即 为支持向量回归机s v r 。常用的损失函数有平方损失函数、拉普拉斯损失函数，h u b e r 损失函数和8 - 不敏感损失函数等，由此构成了不同的支持向量回归机。 若s v r 的损失函数取c 不敏感函数 t - y ) = 一耀絮 旺4 ， 则构成支持向量回归机6 - s v r ，本文中称6 为s v r 的参数。同样地，若s v r 的 损失函数取h u b e r 函数 l 吣h ) ： 叭妒l 沙“卜小 ( 2 5 ) i d ( i ) 一y i _ 2 ，其他 则构成h u b e r - 支持向量回归机h u b e r - s v r ，本文中称“为h u b e r s v r 的参数而若 s v r 的损失函数取r 范数函数 l ，u ( x ) 一y ) = l 厂( x ) 一y r ( 2 6 ) 则构成r 范数支持向量回归机r 范数- s v r ，本文中称r 为r 范数- s v r 的参数。显然， 对于r 范数损失函数，当参数r 为0 时即为拉普拉斯损失函数，而当r 为2 时即为平 方损失函数。本文中，参数8 、s t 和f 统称为s v r 的参数 2 2 s v r 的参数选择与输入噪声间的关系 、 本节介绍j t k w o k 等学者所做的相关研究工作，即- s v r 中损失函数中的参数 8 的选择与输入噪声标准差问的关系先介绍8 支持向量回归机6 s v r ，然后介绍应 用贝叶斯框架推导8 - s v r 中损失函数中的参数e 的选择与输入噪声标准差问的关系 的推导过程和一些实验结果。由于推导过程过于冗长，以下只给出了主要的推导步骤， 有关推导细节请见文献 1 3 1 2 2 1c 支持向量回归机c - s v r 用核函数代替上述式点积( 2 1 ) ，对于式( 2 3 ) 的优化模型，若损失函数取式( 2 4 ) 的争不敏感函数，则构成8 支持向量回归机6 一s v r 。此时一s v r 的优化模型如下 m i n 。( w ，1 ) ：昙o w 9 2 + c 圭簖+ f ) ( 2 7 ) i ；l i y i f b l ss 十i j j l ，( x ，) 一只s + f ，i = 1 , - - ， 1f ，f 0 ， 1 3 第2 章e - g v r 和h u 觉 r - s v r 的参数选择j 岛斯输入噤声间的关系博七论文 上述模型可以进一步化为如下的二次规划问题 商n 要壹如一彳h 一巧皿( x ，) 一圭b 一砖+ 壹b 一西) ( 2 s ) 1 0 口，口：c ，i = 1 ，f ， 盯1 杰k 一西) = o 。 其中x ( ) 是核函数在求出上式中的参数n ，后，即可求得回归函数，( x ) 。 2 2 2 样本数据集含有噪声时的c 嗡v r 回归模型 为了建立样本数据集含有噪声时的s v r 回归模型考虑以下的从式( 2 2 ) 的给 定样本数据集中用 儿= 诗7 x ，+ ，孔，f = 1 ， ( 2 9 ) 估计权参数帮的问题。 这里，i 。q 服从分布衍) ，仉服从分布矿( j ) 。对应于y 的密度函数记为 p i i ) = 妒9 一罚7 x ) 。为简化问题假定所有的x ，具有0 均值。 根据贝叶斯框架，b - s v r 对应于最大后验估计问题。昏不敏感损失函数导致了以 下的对应于y 的概率密度函数 p 抚i x w ，胎) = 岛e x p ( - 纠y - w x , i 。) c 2 加， 则对应于样本集d 的概率密度函数为 p ( o l w , 肛占) = ( 面善丽) 。e x p ( 一喜卅只一wr i i 。) 。， c ：川， 设w 的先验分布为高斯分布 p ( w ) = 压d 一詈扣4 2 ) 晓 由贝叶斯公式 p ( wid ，占) 虻p ( oiw ，) p ( w ) ( 2 1 3 ) 可得 l 。g “wl n ，s ) = 一号忡8 2 一卢妻y ，一w 7 一j 。) + z l 。g 夏牟高+ 常数 ( 2 1 1 4 ) 于是，若设为一常数，式( 2 7 ) 的优化问题可以被解释为，对f 给定的，占的值 求w 的最大后验估计问题。 1 4 博t + 论文 s v r 的鲁棒件度姨臼图像恢复中韵i 州铂研究 2 2 3 - s v r 的参数选择与输入噪声间的关系 2 2 3 i 估计p 和s 的最优值 为便于分析，用期望 d w r x f ；) = j - e p 一种7x f 。p f x 如( x 两臆 ：f ，弦r 。一占一y b i 。协+ 弘一w 7 x 一占b ( ) ，l x 协- ( x 皿 代替式( 2 1 4 ) 中的均值 ；喜i y , - w t x , i 。) 则式( 2 1 4 ) 变为 肘( w 川= 一荆2 , a t e ”4 y x | 。+ i l o g 南十常数 将式( 2 1 5 ) 对w 求偏导数并令其为0 ，得 a 前+ p x ( o tx 协一。曼，x 阿弘“k = 。 。 x l j p o l x 协一j p ( y ix 阿p “k = o 。 n + t， 为了求得，f 得的最优值，就是要将，f 作为变量，使 p ( d i ，占) = b ( w ，o l p ，s 弦* = f p ( d 1 w ，厦f p ( w 炳 * p ( o i 讯，占扫( 谛) w 最大由此，经推导得到以下两个重要关系 而1 呵渤+ 。眇x 协卜协 和 志= e x r p 州x j ，) ( 2 1 5 ) ( 2 1 6 ) ( 2 1 7 ) ( 2 1 8 ) 式( 2 1 6 ) 、( 2 1 7 ) 和( 2 1 8 ) 构成了e 支持向量回归机后验估计最大化的必 要条件。对于不同的输入噪声b 一膏x ) ，只需令p p i x ) = 妒一孬7 x ) 后代入式( 2 1 7 ) 和( 2 1 8 ) ，即可求得、占与输入噪声的关系 第2 节争s v r 和h u b e r - s v r 的参数选择，岛斯输入噪声问的关系博i 论史 常见的输入噪声主要有高斯噪声，拉普拉斯噪声和均匀分布噪声。以下主要介绍 当输入噪声是高斯噪声时，不敏感损失函数参数的选择方法。 噪声的高斯为 删= 击e x p ( 每) ， 其中盯是标准差令p ( ，i x ) = ( y 一膏7 x ) 后代入式( 2 1 7 ) 并4 1 ( 2 1 8 ) ，经推导得：欲使 式( 2 1 5 ) 中的肘，占) 最大就是要使 f l e x ri y - w r 砂l o g 扬 最小，即是要使 料压“任脚+ s r - b 菽去) + 去d 一导) 一t o g f 压e x p ( 导埘+ ， - i ) 山e 爿+ 志e x p ( 丢) ) 旺 最小解之可得t 当詈* l ( 占= 1 0 0 4 3 仃) 时， - - j 的目标函数取 ，g ) = 0 9 。i n f 坐1 ， 在区问f i ，l 】随机地( 按均匀分布相互独立地) 取2 0 0 个点，对这些点加上高斯噪声 n ( o ，仃2 ) ，构成样本数据集在区| 日j 【一i ，l l 上，直接对目标函数和叫p 】函数的差值的 平方求和，就得到测试误差。选择式( 2 7 ) 中的参数c 使测试误差最小。整个实验 重复4 0 次。实验结粜显示，在确定了参数c 后当：0 9 8 4 6 盯时，测试误差最小， 博卜论文s v r 的鲁捧件及其在圉像恢复中的砖用研究 即抑制噪声的能力最强。此实验结果与上述的理论推导结果很好地相吻合。 此外，对于拉普拉斯噪声和均匀分靠噪声，也有类似的结论。 对于拉普拉斯噪声 = 去e x ， 理论推导结果为占* 0 ，实验结果为g = 0 0 5 6 5 0 。 对于均匀分布噪声 砌) = 去k 川0 7 ) ， 理论推导结果为占= o r ，实验结果为s = 0 9 6 4 6 0 2 3h u b e r - s v r 的参数选择与高斯输入噪声间的关系 类似地，对于h u b e r 损失函数，其参数耻与输入噪声的标准差a 之白j ，是否也有 类似的关系? 本节同样应用贝叶斯m a p 概率框架推导h u b e r - s v r 中参数“与高斯输 入噪声的标准差d 之间的关系，并给出实验结果。 2 3 i 基于m a p 概率框架的理论推导结果 在支持向量回归机s v r 模型式( 2 3 ) 中，若损失函数取h u b e r 函数，则构成 h u b e r - 支持向量回归机h u b c r - s v r 。模型式( 2 3 ) 就成为 m i nm ( w ，) = 翔w 0 2 + c 窆口+ f ) ( 2 2 0 ) f 。，以一( x ，) ) sf ，只厂( x ，) s j l 。( 厂( x ，) 一y ，) s f ，厂( x ，) y ，i = l ，1 lf ，f 0 ， 将h u b e r 函数 l ( f ( x ) - y ) ：p i“卜l 扩似- y l 叫 i u l f ( x ) 一y 卜2 。其他 代入上述约束条件，则上述模型可以进一步化为如下的二次规划问题 吆n 三喜套a , a j k ( x 。x ，) 一妻口朋+ 去喜口j c z 引， 1 7 第2 章e - s v r 和f l u b c r - s v r 的参教选择j 商斯输入曝声问的关系博卜论文 l c 口，c ，i = i , - - , 1 壹q 乩 。 。一 其中足，) 是核函数。在求出上式中的参数q 后，即可求得回归函数，( x ) 。 也可以对h u b e r - 支持向量回归机的求解过程作贝叶斯m a p 的解释。与式( 2 1 0 ) 和( 2 1 4 ) 对应，对于h u b e r - s v r 分别有 p 以f x j ，w ，肛力= a 肛，咖x 一肛k ，叭x ) 一y ) ) ( 2 2 2 ) 和 i o g p ( w i d ，w ，历) = 一要2 一碴h 枷饥一w 7 x ，) + ，l o g c ( 屈) + 常数 ( 2 2 3 ) 其中，c ( ，) 是归一化系数，即 c ( ，) c _ 肛。八x 卜j ，弦 - i ； z ? e x - ( 一 ，r 2 ) n + j e x - ( 一局“r + 属“2 弘 。 - 2 ( 胂，( 一抄) + 古唧( 一叫驴 应用泰勒级数展歼，c ( ，) 又可进一步近似成 c ( 肋* 丧， 于是，式( 2 2 0 ) 的优化问题就可以解释成式( 2 2 3 ) 表示的对于给定的参数和卢求 w 的最大后验估计问题。 下面推导h u b e r 一支持向量回归机后验估计最大化的必要条件。 对于式( 2 2 3 ) ，令 e 。( l ( 只一w 7 ) = ，孔( y - w r x ) ，川，) ，o 删。 豇1 9 “7 x y ) 一i i 2 p c y ，x ，砂+ j t 三“7 x y ) 2 p c y - x ，咖 + ：j ：4 兰( r wr x y p o ix ) a y + ，j 。 c r wr x ) 一圭2 1 j p t y ix ，咖1 p t x ，d x- - - 7 ：+ l z l 则式( 2 2 3 ) 町近似地表示成 博卜论文s v r 的鲁棒件及其矗图像恢复中的一用研究 肘( w ，) = 一詈卜2 一历e 。( o w 7 x ) ) 十i i 。g c ( p ，p ) + 常数 为使m ( 卉，夙0 达到最大，将式( 2 2 4 ) 对w 求偏导数并令其等于0 得 ，_ _ 。 口卉+ “孟p ( y ix ) d y + j x 7 x y ) p ( y ix ) d y n l 叫- 一矿州x 蛔；) d y j l a x p ( y 。) a y l p ( x ) d x ：。， ( 2 2 5 ) 一j x p 一前7 x ( y f x j x i p = o ， ( 2 使h u b e r - 支持向量回归机后验估计最大就是使 m ( 前，p ，) = - 詈i i * 1 1 2 一p i e g 鼬栅( y 一谛7 x ) ) 十，l o g c ( f l ，) + 常数 ( 2 2 6 ) 最大 为求得m ( 卉，历) 的最大值，在式( 2 2 5 ) 中，使w = 卉并对求偏导数并令其 等于0 得 笔产= 卜( 。帅阱磬r x 舢帅，砂 一州棚泐一。孽p ( y ix ) d y 卜出) 1 芳+ 万o m o ， 寺，- r i + f，v 尸 。， 即 e “g 州x ) ) 万1 一番。 c z 2 7 ) 同样，在式( 2 2 4 ) 中，使w = 前并对求偏导数并令其等于0 得 骂产= 卜盯吣盼。y 虮彷 一“k b ( y lx ) d y - “ f ，u x p ( y ix ) d y 卜叫嚣+ 喾r ir i ，j 。p 。” 即 ( 弘胁泐+ w r 弘z + u -