（应用数学专业论文）零均值噪声样本下学习理论的若干理论研究.pdf

摘要 摘要 学习理论的关键定理和学习过程收敛速度的界两部分内容为支持向量机等应用性 研究提供了理论依据，因此在统计学习理论中起着非常重要的作用。目前对这两部分内 容的研究，人们总是假定所处理的样本不受噪声的影响，从而不会引起误差，但由于人 为、环境等因素的影响，事实往往并非如此。基于此种考虑，本文提出了样本受零均值 噪声影响下的学习理论的关键定理，并讨论了零均值噪声样本下的学习过程一致收敛速 度的界。 关键词统计学习理论；零均值噪声；期望风险泛函；经验风险泛函；e r m 原则 a b s t r a c t t h ek e yt h e o r e ma n dt h eb o u n d so nt h er a t eo fc o n v e r g e n c eo fl e a r n i n gp r o c e s s e s p r o v i d et h e o r e t i c a lb a s e sf o rt h ea p p l i e dr e s e a r c ho fs u p p o r tv e c t o rm a c h i n ee t c ，s ot h e yp l a y i m p o r t a n tr o l e si ns t a t i s t i c a ll e a r n i n gt h e o r y i nt h es t u d yo ft h e s et w oa s p e c t s ，s a m p l e sw h i c h w ed e a lw i t ha r es u p p o s e dt ob en o i s e f r e e b u ti ti sn o ta l w a y st h ec a s eb e c a u s eo ft h e i n f l u e n c eo f h u m a no re n v i r o n m e n t a lf a c t o r s w i t hav i e wo f t h i s ，w ep r o p o s et h ek e yt h e o r e m a n dd i s c u s st h eb o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c eo fl e a r n i n gp r o c e s s e sb a s e do n e r m p r i n c i p l ew h e ns a m p l e sa r ec o r r u p t e db yz e r o - e x p e c tn o i s e k e y w o r d ss t a t i s t i c a ll e a r n i n gt h e o r y ；z e r o e x p e c tn o i s e ；e x p e c t e dr i s kf u n c t i o n a l ；e m p i r i c a l r i s kf u n c t i o n a l ；e r mp r i n c i p l e i i 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：查堡垒日期：基里年生月笪日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 ， 2 、不保密留。 ( 请在以上相应方格内打“4 ”) 作者签名：圭鱼垒 导师签名：! 垒! 鲤也 日期：兰坠年月丛日 日期：兰型二年j 二月丛日 第1 章绪论 e _ _ e _ _ 目_ _ i i i i _ _ _ ! ! _ ! e e _ _ _ | _ _ _ _ _ _ 目| s e 目日e g 日目_ _ _ e _ _ _ 第1 章绪论 1 1 统计学习理论的产生及国内外研究现状 基于数据的机器学习主要研究如何从观测数据出发寻找规律，并利用这些规律对未 来数据或者无法观测的数据进行预测i l 2 j 。学习机器这种对未来输出进行正确预测的能力 称为推广能力【l 】。现有的机器学习方法如模式识别、神经网络等其共同的重要理论基础 之一是统计学。传统统计学所研究的是当样本数目趋于无穷大时的渐近理论，现有的 许多学习方法多是基于此假设的，但在实际问题中，由于客观条件的限制，样本数目往 往是有限的，因此一些理论上很优秀的学习方法在实际中的表现却可能不尽人意【2 j 。 v l a d i m i r n v a p n i k 等人从2 0 世纪6 0 年代开始致力于研究小样本情况下的机器学习问题， 逐步地形成了统计学习理论刚1 ( s t a t i s t i c a ll e a r n i n g t h e o r y ，简称s l t ) ，与传统统计学相 比，它是专门针对小样本情况研究统计学习规律的理论，其核心思想就是要使学习机器 与有限的训练样本相适应1 2 , 5 4 1 。 学习问题一般地可以表示为：设有定义在空间z 上的概率测度f ( z ) ，考虑损失函 数集合q ( 乙口) ，口a 。学习的目标就是要在给定的独立同分布样本2 l 一，刁的基础上最 小化期望风险泛函 r ( a ) = j q ( z ，口p f ( z ) ，口a 其中2 l ”，是根据未知的概率测度f 0 ) 得到的。在实际的机器学习问题中，由于f ( z ) 未知，我们能利用的信息只有毛，z t ，所以直接最小化r ) 几乎是不可能的，因此人 们采用了经验风险最小化原则( e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ，简称e r m 原则) ， 用样本点处的误差值即所谓的经验风险泛函 ， 8 。( 口) = q ( ，口) ，口a 1 = 1 作为对期望风险r ( 口) 的估计。多年以来人们一直将大部分的注意力集中在如何更好地 最小化经验风险上，然而e r m 原则是从处理大样本问题出发的，例如经验风险只有在大 1 河北大学理学硕士学位论文 i ii i i i _ _ _ _ _ _ _ _ _ _ _ _ - - _ _ _ _ _ - _ _ _ _ _ _ _ e _ 鼍l 墨_ _ _ 墨! _ _ _ 目_ _ e e e 口_ _ _ _ 墨_ _ 目日墨_ 数定理的保证下才能依概率收敛到期望风险，但实际上我们遇到的样本数目都是有限 的；即使我们能保证在样本数无穷大时经验风险趋于期望风险，也不能保证在样本数有 限时仍然能得到好的结果【剐；e k m 原则不成功的原因是试图用一个十分复杂的模型去拟 合有限的样本，从而导致丧失了推广能力【6 1 。 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了系列有关函数 集学习性能的指标，其中一个核心概念就是v c 维，v c 维越大表明学习机器越复杂【6 1 。 e k m 原则下学习机器的实际风险是由两部分组成的：一部分是训练样本的经验风险，另 一部分称作置信范围，它是与函数集的v c 维有关的。在有限的训练样本下，学习机器 的v c 维越高，则置信范围就越大，从而导致真实风险与经验风险之间可能的差别就越 大【l 】。因此在机器学习过程中，要想在有限样本条件下得到小的经验风险的同时还要使 v c 维尽量小以缩小置信范围，我们必须适当选择机器的构造，使之反映关于所面对问 题的先验知识。基于这种考虑，人们提出了一种新的归纳原则，即结构风险最小化原则 ( s t r u c t u r a lm s km i n i m i z a t i o np r i n c i p l e ，简称s r m 原则) ，这一原则克服了e r m 原则的局 限性，它旨在针对经验风险和置信范围这两项最小化风险泛函闭，并且在s r m 原则中函 数集的v c 维是一个可以控制的量，从而很好地避免了上述问题。 统计学习理论自从6 0 年代提出以来不断地发展和完善。9 0 年代中期，在此理论基础 上发展出了一种新的机器学习方法“支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称 s v m ) ”，它成功地解决了一系列实际问题，表现出了优良的学习能力，正在成为机器学 习领域新的研究热点。统计学习理论虽然提出已经多年，但从它自身的发展到现在被重 视毕竟才只有几年的时间，其中还有很多尚未解决或尚未充分解决的问题，在应用方面 的研究更是刚刚开始。因此，这是一个十分值得重视并大有可为的研究领域【6 1 。 我国早在8 0 年代末就有学者注意到统计学习理论的基础成果：1 1 2 ，6 _ 8 】，但之后，也许 是由于对统计学习理论的研究需要相当扎实的数学功底，又或许是对基础理论的研究没 有对支持向量机的研究那么立竿见影，因此目前只有少部分学者认识到了这个重要的研 究方向。例如，哈明虎、白云超【9 1 等利用可能性理论已成功地将统计学习理论的关键定 理从概率空间推广到了可能性空间；哈明虎、唐文广【l o 肄也将随机样本推广到了模糊随 机样本，提出了模糊意义下的学习理论的关键定理，讨论了模糊随机样本的学习过程一 致收敛速度的界。 第t 章绪论 _ _ _ _ i _ _ _ _ l _ _ _ _ _ _ 目自| _ ti _ 1 2 噪声样本下的学习理论的提出及意义 目前，国内外许多学者都将大部分的注意力集中在了神经网络、模式识别、支持向 量机等统计学习理论的应用方面，对其基础理论方面的研究则相对来说较少，而且已经 完成或正在进行的工作也基本上是在种较为理想的情况下进行的，即人们总是事先假 定，在我们研究的问题中所处理的数据( 样本) 不受外界干扰，从而不会引起误差。但 是由于人为、环境等外在因素的影响，事实却往往并非如此，例如测量误差就是由于测 量仪器的精密程度不同再加上人为因素引起的，再比如在建立模型的过程中又会不可避 免地引起模型误差等等。在统计学习理论的研究领域，诸多的影响因素中，人们考虑较 多、研究也较多的是噪声对样本的影响，当样本采集现场干扰较多时样本就易被感染， 从而就会引起误差。到目前为止人们已经研究了很多类型的噪声，如g a u s s i a n 噪声【1 1 1 、 b a y e s i a n 噪声1 2 1 、r a d e m a c h e r 噪声13 1 、l a p l a e i a n 噪声1 4 i 等等，但对这些类型噪声的讨 论，大多数研究工作仍主要是集中在支持向量机这个应用领域，例如在噪声的环境中， 考虑如何有效地构造具有容噪性能的s v m 多值分类器【”l ，如何构造分类学习算法使之 适用于处理含噪声数据的样本集，对含噪声数据的训练集进行降噪预处理，从而成功地 提高分类器的容噪性刚16 ，1 7 1 。然而对噪声样本下的学习理论的关键定理的研究以及学习 过程收敛速度的界的讨论则相对来说较少。 正是注意到了这一点，本文提出了零均值噪声样本下的学习理论的关键定理，并讨 论了基于e r m 原则的零均值噪声样本下的学习过程一致收敛速度的界。这些结论都是 对经典的统计学习理论相应结论的推广，它们为进一步研究统计学习理论提供了重要的 理论基础。文献 1 8 中已有的结果是本文结果的一个特例。 1 3 本文主要内容 本文将噪声考虑到我们的研究中去，给出了零均值噪声样本下的学习理论的一些基 本概念，提出了零均值噪声样本下的学习理论的关键定理，最后讨论了基于e r m 原则 的零均值噪声样本下的学习过程一致收敛速度的界。本文的主要内容如下： 1 零均值噪声样本下的学习理论的基本概念。我们给出了零均值噪声样本下的学 习理论的期望风险泛函、经验风险泛函、e r m 原则以及e r m 原则非平凡一致的定义： 2 零均值噪声样本下的学习理论的关键定理。在上述定义的基础上，对无噪声样 河北大学理学硕士学位论文 本的学习理论的关键定理加以推广，给出并证明了零均值噪声样本下的学习理论的关键 定理； 3 零均值噪声样本下的学习过程收敛速度的界。我们分别讨论了当实损失函数集 合为有限实函数集合、完全有界实函数集合和完全有界非负实函数集合等不同情形时， 零均值噪声样本下基于e r m 原则的学习过程一致收敛速度的界。 第2 章预备知识 _ _ _ - _ - _ _ _ _ 一il - - _ - - - - _ - - _ - _ _ 葺鼻鼍- _ 曩_ - - - i 第2 章预备知识 考虑实损失函数集合q ( z ，口) ，口人，毛，毛是根据未知的概率测度f ( z ) 得到的 独立同分布样本。r ) = i e ( z ，口) 卵( z ) 是期望风险泛函，( 口) = 窑q ( ，口) 是经 验风险泛函。 2 1 零均值噪声样本下的学习理论的基本概念 假设在每个样本点z ，处，损失函数q ( z 。，口) 的值受到加性噪声专的影响，若设 q ( 五，口) 是考虑了噪声之后的损失函数，则有q ，( z j ，口) = q ( 毛，口) + 毒( f = 1 ，) 。设专与 z 独立( f _ l ，) ，且舌，与相互独立满足e ( 点) = o ，d 心) = q 2 ( q 0 r i = l ，z ) 。 这样我们就得到了，个独立的零均值噪声变量，本文以后的讨论也都是基于此假设的； 定义1 期望风险泛函定义为 月( 口) = e q ( = ，瑾) = e q ( z ，口) = r ( 口) 口人， 经验风险泛函定义为 k ) 2 喜q ，( 毛，d ) 1 ，百 、q ( ，口) + 点) 2 i z l q ( 刁，口) + fl = 1f z l = 8 。( 口) + f 掰a 。 注：( 1 ) 因为对所有的口e a ，都有f ( 口) = r ( a ) ，因此在本文中，如果没有特别 说明我们仍然用r p ) 来代表尺 ) ； ( 2 ) 这里善= ! i 圭i = 1 点代表了样本的平均误差。由对噪声变量的假设条件对于 平均误差善，我们有e 皓) = 。，。( 孝) = 华。再根据c h e b y s h e v 不等式，对任 河北大学理学硕士学位论文 - - _ 皇嘲_ 墨_ 叫_ 啊_ _ _ _ - _ r l ；_ 二二二二二r _ 墨墨i 墨一_ - - 一_ - _ 意的s 0 ，成立不等式 尸 i f 一# ( f ) i s ) = p | 亭i f ) ! i 铲； ( 3 ) 学习的目的就是在给定的独立同分布样本z 1 ，刁基础上，最小化期望风险 泛函月p ) 。 定义2 ( 1 ) 将期望风险泛函r ( 口) 替换为经验风险泛函j k ( 口) ； ( 2 ) 用使经验风险泛函( 口) 最小化的函数g ( z ，嘶) 去逼近使期望风险 泛函r ) 最小化的函数q ( z ，o t o ) ： 这原则称作零均值噪声下的经验风险最小4 h 原贝, l ，简称e r m 原则。 2 2 几个相关的不等式 设损失函数集合q ( z ，口) ，口a 是完全有界非负实函数集合，即满足 o q ( 毛口) 占，c e e a 。用0 3 代表开区间( o ，占) ，定义函数集q ( z ，盯) ，口e a 的一个指示 器集合为j ( z ，口，) = 口 q ( z ，口) 一声 ，g a ，卢劣。对任何给定的函数q ( z ，口) 和一个给 定的卢，指示器l ( z ，口，+ ) 用1 来指示q ( z ，口) p 的z e z 区域，用0 来指示 q ( z ，口) 占 0 ，有下列两式成立： l = l p s o e 最f 1 e x p p t 鼠一e 咒一r ，e 鼍p 睡一 2 f 2 ( 6 f 一 引理3 ( c h e b y s h e v 不等式2 1 1 ) 设随机变量x 具有数学期望e ( 肖) = ，方差 d ( x 1 = 盯2 。则对任意的占 0 ，不等式 p 肛一i s ) s 7 0 - 2 成立。 、l，j 河北大学理学硕士学位论文 第3 章零均值噪声样本下的学习理论的关键定理 关于一致性的结论是统计学习理论的基础，为了建立e r m 原则的一致性理论，我 们首先给出零均值噪声样本下的e r m 原则非平凡一致的定义，然后我们将证明零均值 噪声样本下的学习理论的关键定理，这一定理说明了e r m 原则非平凡一致的充分必要 条件是在给定的函数集上一致单边收敛成立。 3 1 零均值噪声样本下的e r m 原则的非平凡一致性 定义3 我们称e i u 讧原则对函数集q r ( z ，口) ，口a 和概率分布函数f ( z ) 是非平凡一 致的，如果对此函数集的任何非空子集人( c ) = 口：矗 ) c ) ，c ( 一，懈) ，都有 p 蕊) ( 口) 2 蕊) r ( a ) ( 3 1 1 ) 成立。换句话说，一个t m 原则，如果把函数集中取得风险最小值的函数去掉后仍然 能够满足式( 3 1 1 ) 的收敛关系，则这个e r m 原则就是非平凡一致的。 定理1 如果e r m 原则是非平凡一致的，那么f 回收敛成立： 熄p 忆) 一骠r ( 口) l s = o 。 证明：令i a f 震( 口) = t 。 口e 。 对任意的占 0 ，考虑函数集g ( z ，口) ，口e a 的子集人( r + 占) = 口：r ) 丁+ 占 。选 择f o ，使得a ( r + 占) 非空。对非空集合a ( r + 占) ，假设e r m 原则是非平凡一致的， 即有 p 。蕊；) r o m p ( a ) 芝。蕊。) r ( 口) 。 由依概率收敛的定义，收敛性 第3 章 零均值噪声样本下的学习理论的关键定理 熙p | 。端。，“( 十。i n f 扩r ( 口) i s 务= t 成立，因此 l 。i m p k i n 。f ，q ( 啦i r 。口；，r ( 小卦乩 ( s t 2 ) 而由a ( t + 6 1 的定义得到 。黼。) 且( 口) r + 主。 ( 3 1 3 ) 因此由式( 3 1 2 ) 和式( 3 1 3 ) 得到 l ，一i m 尸 蕊。，) 丁+ 牛。 ( 3 ) 对非空集合a ，e r m 原则也是非平凡一致的，即： 熙p i 瓣“( 口) 一骠r ( 口) | 卦= o ， 由此成立 舰pi n f r 。，) r + 主 = 0 。 ( 3 ) 由) = 骤 ) 及式( 3 1 4 ) 、式( 3 1 5 ) 得到 i m 。p 、a a ( 丁十s ) ) = 0 。 ：另- - y n ，若嘶诺a ( 丁+ s ) ，那么不等式 t 矗( 嘶) 丁+ 占 成立，即 熙p 舨q ) 一i 砌n f r 、口) l s ) _ o 注：定理1 说明，使得经验风险泛函 ) 最小的函数q ( z ，嘶) 所提供的真实风 险r ( 口，) ，当样本数目趋于无穷大时趋近于最小的可能风险璐r ) ，它们之间有多接 近将关系到学习机器的推广能力。 3 2 零均值噪声样本下的学习理论的关键定理 学习理论的关键定理阐述了e r m 原则非平凡一致的充分必要条件，它把学习致 性的问题转化成了一致单边收敛的问题，从而就可以从一致收敛的角度研究学 - 3 过程收 敛速度的界，进一步去控制学习机器的推广能力，因此关键定理在统计学习理论中占有 重要的地位，具有重要的理论意义。考虑到噪声对样本的影响，本节将给出零均值噪声 样本下的学习理论的关键定理，下面就是定理内容及其证明过程。 定理2 设函数集q ，( z ，盯) ，盯a 满足条件口r ( 口) 6 ，则e r m 原则非平凡一致的 充分必要条件是；经验风险r ，( 口) 在函数集q ，( z ，口) ，口人上在如下意义下一致收敛于 实际风险震 ) ： l ，i m p k ( r ( 口) 一蹦( 叫 s ) = 。 证明：首先证明必要性： 设e r m 原则在函数集q z ，口1 ，口e a 上是非平凡一致的。由非平凡一致的定义，对 使集合a ( c ) = 口：r ( c e ) c 非空的任意c ，下列依概率收敛性成立： 蕊( 口) 之热r ( 口) 。 ( 3 2 1 ) 对任意的s o ，考虑有限序列0 1 ，其中l q + - 一a , i ( d ) 成立。对口，我们可以找到忌使得口a ( 吼) ，且成立 r ( a + ) 一 _ 。毗i n f ，( 口) ， 也就是说如果事件墨发生了，事件t 就发生了，所以p ( a ) 0 之o a 下面证明充分性：假设一致单边收敛成立。 用a 表示事件 b i n f r 口) 一m i n f q ( 盯) | 占， 则a 可以表示成两个事件的并a = 4 u 4 ，其中 4 = z ：蕊，r ( a ) + s 蕊，7 ( 口) 。 我们的目的就是要确定事件a 的概率的上界p ( a ) p ( a ) + p ( a ) 。 现假设事件4 发生。为了给出p ( 4 ) 的界，选取函数q ( z ，口+ ) ，口+ a ( o ，使得 河北大学理学硕士学位论文 _ _ _ _ _ _ _ l - _ _ _ _ _ l - - _ - _ _ _ - _ _ _ _ - _ _ _ _ i _ _ _ - _ l _ _ _ _ - _ _ _ _ _ _ _ - r ( 口) r ( d ) + 詈 成立，因此其发生的概率不会小于事件4 的概率，即 ，( 4 ) p ( 口) 一r ( 口) 詈j o ( 3 _ 2 3 ) 下谣我们证明 p ( g ) 一r ( 盯) 宁p k 峥矗( 掰+ ) 斟。 用b 表示事件 b 表示事件 b 2 表示事件 由于下列包含关系成立： b ( 口) + 善一r ( 口籽三， k ( 口+ ) 一r | 詈， 跏吾。 兰 l ( 口) 峥r ( 口+ ) | 互倍 i ( 口) 一r ( 口吲) u 传 h ) 詈 i r e , p ( 口) 一胄( 口 u 詈 i 刮 ， 我们可以得到b 蜀u b 。 由大数定律可知p ( 且) 未o ，由c h e b y s h e v 不等式得到p ( 马) 未o ，因此p ( b ) o o a 再由式( 3 2 3 ) 我们得到p ( a ) 0 0 。 ( 3 2 4 ) 另一方面，如果事件 发生了，则存在函数( z ，口”) ，口“人( c ) ，使得 ( 口”) + 兰 f = 。( v 占 。) ， 刚e r m 原则是非平凡一致的。 河北大学理学硕士学位论文 il l _ 皇_ 皇墨曩_ - - _ 矗蕾罩_ _ - 置_ 田_ 鼍墨冒- _ - _ 墨墨_ _ _ - 皇皇鼍墨皇霸田- _ - 昔曲薯鼍_ - l 邕一 第4 章零均值噪声样本下的学习过程收敛速度的界 统计学习理论中最具指导性的理论结论是学 - 3 机器推广性的界，它系统地研究了对 于不同类型的函数集，经验风险和实际风险之间的关系，由此去控制学 - j 机器的推广能 力，以期达到对未来样本有较好的推广性。本章将噪声考虑到学习过程收敛速度界的讨 论中去，在第二章给出的不等式的基础上，针对实损失函数集合的三种不同情形分别给 出零均值噪声样本下基于e r m 原则的学习过程一致收敛速度的界。 为了估计采用e r m 原则的学 - j 机器的推广能力，我们必须回答以下两个问题： 1 最小化经验风险泛函 ) 的函数a ( = ，嘶) 所提供的真实风险r ( c e i ) 是什 么? 回答这个问题就意味着需要估计r ( q ) 的值； 2 对于函数q ，( 瓦啦) ，r ( 啊) 与最小可能的风险r ( ) = 瓣霞 ) 之间的接近程度 如何? 回答这个问题就意味着需要估计( 嘶) = r ( 嘶) 一r ( ) 我们分别针对实损失函数集合的三种不同情形回答以上两个问题： ( 1 ) 实函数集合包含有限的n 个元素q ( z ，吼) ，k = 1 ，2 ，n ； ( 2 ) 完全有界实函数集合q ，( z ，口) ，o r a ； ( 3 ) 完全有界非负实函数集合q ( z ，口) ，口人 下面就这三种情况的界进行讨论。 ( 1 ) 设函数集q | ( 毛掰) ，口e 人中包含有限的n 个元素( 毛) ，k = l ，2 ，n 当集合( z ，) ，k ；1 ，2 ，n 中的函数为有界实函数时，采用h o e f f d i n g 不等式，有： p 球h 卜) 2 | = p r ( a ) 一8 呷( 口) 一手i 2 s s p | r ( 口) 一尽。( 口) i 占) + p | f i 占) 蚰唧 _ 器卜每笋。 n ， 下面我们给出式( 4 1 ) 的等价形式。引入正数o ，7 2 s 2 日 蔓尸肛( 口) 一( 口) l f ) + p 删 占 蛾坤 _ 舀卜每笋。 h s ， 下面我们给出式( 4 5 ) 的等价形式。引入正数o 呀 2 s = 尸。s 。u 。p ：1 5 铲 2 占 = p 黑( 错一南 2 s 掣卜s u p 错一s u r 铲2 0 河北大学理学硕士学位论文 | | 一i i ii 目| _ 掣p s u p 掣 占h 翟南 0 l a e n 其( 口)ii 。e 五r ( 岱)l 由第二章关于噪声变量的假设，式( 4 9 ) 中的第二个和式可以变形为 p k 南 s _ p p 骝丽t 七 斗赤 士却p 司焉w j ( 4 9 ) _ p 廊 骞着( 4 1 0 ) 当函数集q ( = ，口) ，口a 满足o s q ( z ，盯) s b 时，由引理1 、式( 4 9 ) f f l l 式( 4 1 0 ) 得到 p r s u p 耕地 。唧 ( 华一酬+ 筒。 龇印 ( 牮一酬+ 谢训o r 2 占) - _ ( ) 一2 占 利用关系式比( ) 一只。( 嘶) o ，联合式( 4 1 2 ) 和式( 4 1 3 ) ，我们得到不等式 ( q ) = 盖( 嘶) 一且( 嘞) 4 占 以至少l 一2 ，7 的概率成立，其中s 满足关系式( 4 1 1 ) a 1 9 ( 4 1 3 ) 河北大学理学硕士学位论文 第5 章结论与展望 考虑到噪声对样本的影响，我们对统计学习理论进行推广，给出了样本受零均值 噪声影响下的学习理论的关键定理，讨论了零均值噪声样本下的学习过程一致收敛速度 的界。主要内容如下： 1 给出了零均值噪声样本下的学习理论的期望风险泛函、经验风险泛函、e r m 原 则以及e r m 原则非平凡一致的定义，给出并证明了零均值噪声样本下的学习理论的关 键定理； 2 讨论了零均值噪声样本下的学习过程收敛速度的界。我们分别针对实损失函数 集的三种不同情况：有限实函数集合、完全有界实函数集合和完全有界非负实函数集合 讨论了零均值噪声样本下基于e r m 原则的学习过程一致收敛速度的界。 虽然本文讨论了以上问题，但是还存在着许多尚待研究之处，例如： 1 本文仅考虑了样本受零均值噪声影响的情形，对样本受其它类型噪声影响的方 面没有涉及，而且这里的噪声是独立的随机变量，本文也没有讨论当噪声是模糊变量、 随机模糊变量、模糊随机变量等不确定性变量的情形； 2 本文也未涉及到v c 维、结构风险最小化原则及支持向量机等内容，这些都是 今后研究的重点。 参考文献 参考文献 【1 】l边肇祺，张学工等模式识别( 第二版) 北京：清华大学出版杜，2 0 0 0 【2 】张学工关于统计学习理论与支持向量机自动化学报，2 0 0 0 ，2 6 ( 1 ) ：3 2 - 4 2 【3 】v l a d i m i rn v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y aw i l e y i n t e r s c i e n c ep u b l i c a t i o n ，n e wy o r k ， 1 9 9 8 4 】v l a d i m i rn v a p n i k a no v e r v i e wo fs m t i s t i e a ll e a r n i n gt h e o r y i e e et r a n s a c t i o n so nn e u r a l n e t w o r k s 。1 9 9 9 ，1 0 ( 5 ) ：9 8 8 9 9 9 5 】瓦普尼克著，张学工译统计学习理论的本质北京：清华大学出版杜，2 0 0 0 6 】谭东宁，谭东汉小样本机器学习理论：统计学习理论南京理工大学学报，2 0 0 1 ，2 5 ( 1 ) ： 1 0 8 1 1 2 【7 】王国胜，钟义信支持向量机的理论基础一一统计学习理论计算机工程与应用，2 0 0 1 ( 1 9 ) ： 1 9 2 1 【8 】郑红军，周旭，毕笃彦统计学习理论及支持向量机概述现代电子技术，2 0 0 3 ( 4 ) ：5 9 6 1 9 】m i n g h uh a ，y u n c h a ob a l ，w e n g u a n gt a n g t h es u b - k e yt h e o r e mo nc r e d i b i l i t ym e a s u r es p a c e p r o c e e d i n g so ft h es e c o n di n t e m a t i o n n lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e m e t i c s ，x i a n , 2 0 0 3 ，5 ：3 2 6 4 3 2 6 8 【1 0 m i n g h uh a , w e n g u a n gt a n g ，y n n c h a ob a i t h ek e yt h e o r e mo fl e a r n i n gt h e o r ya b o u tf u z z y e x a m p l e s p r o c e e d i n g so f t h es e c o n di n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ， x i a n ，2 0 0 3 ，2 ：1 2 1 3 1 2 1 6 1l 】g j u m a r i e a p p r o x i m a t es o l u t i o nf o rs o m es t o c h a s t i cd i f f e r e n t i a le q u a t i o n si n v o l v i n gb o t ho a u s s i a n a n d p o i s s o n i a n w h i t e n o i s e s a p p l i e d m a t h e m a t i c s l e t t e r s 。2 0 0 3 ，1 6 ( 8 ) ：1 1 7 1 1 1 7 7 1 2 】j o n a t h a na z d z i a r s k i b a y e s i a nn o i s er e d u c t i o n ：c o n t e x t u a ls y m m e t r yl o g i cu t i l i z i n gp a r e m c o n s i s t e n c ya n a l y s i s j o l h t t p ：w w w n u c l e a r e l e p h a n t c o m p a p e r s ，b n r h t m l ，2 0 0 5 3 - 2 3 【1 3 】j a s e i g n e r r a d e m a c h e rv a r i a b l e s i nc o n n e c t i o nw i t hc o m p l e xs c a l a r s a c t am a t h e m a t i e a u n i v e r s i t a t i sc o m e n i n n a e ，1 9 9 7 ，6 6 ( 2 ) ：3 2 9 3 3 6 【1 4 】v l a d i m i rc h e r k a s s k y ，y u n q i a nm a p r a c t i c a ls e l e c t i o no fs v mp a r a m e t e r sa n dn o i s ee s t i m a t i o nf o r 2 1 河北大学理学硕士学位论文 i i i l s v i v lr e g r e s s i o n n e u r a l n e t w o r k s ，2 0 0 4 ，1 7 ( 1 ) ：1 1 3 1 2 6 【1 5 萧嵘，孙晨，王继成等一种具有容噪性能的s v m 多值分类器计算机研究与发展，2 0 0 0 ， 3 7 ( 9 ) ：1 0 7 1 1 0 7 5 【1 6 】范昕炜，杜树薪，吴铁军去噪声的加权s v m 分类方法电路与系统学报，2 0 0 4 ，9 ( 4 ) ：9 7 - 1 0 2 【1 7 】杨绪兵，韩自存占不敏感的核a d a l i n e 算法及其在图像去噪中的应用安徽工程科技学院学 报，2 0 0 3 。1 8 ( 4 ) ：4 9 - 5 2 【1 8 】m i n g h u h a ，j u n h u a l i ，j i a l i t h e k e y t h e o r e m o f l e a r n i n g t h e o r ya b o u t e x a m p l e sc o r r u p t e d b y n o i s e p r o c e e d i n g so f t h et h i r di n t e r n a t i o n a lc o n f e r e n c e0 1 1m a c h i n el e a r n i n ga n dc y b e r n e t i c s ，s h a n g h a i ， 2 0 0 4 ，3 ：1 9 l1 1 9