（基础数学专业论文）基于sugeno测度和模糊样本的学习理论基础.pdf

摘要 摘要 众所周知，统计学习理论是目前处理小样本统计学习问题的最佳理论，并已成为继 神经网络之后机器学习领域新的研究热点。然而，该理论是基于概率测度和实随机样本 的，它难以处理现实世界中客观存在的非概率测度和非实随机样本统计学习问题。本文 讨论了基于一类有代表性的非概率测度s u g e n o 测度和一类重要的非实随机样本一模 糊样本的统计学习理论。首先，给出了模糊随机集基于s u g e n o 测度的分布、期望的定 义及性质，然后证明了模糊随机集基于s u g e n o 测度的c h e b y s h e v 不等式、h o e f f d i n g 不等式和强大数定律。以此为基础提出了基于s u g e n o 测度和模糊样本的经验风险泛函、 期望风险泛函以及经验风险最小化原则严格致性的定义，晟后给出并证明了基于 s u g e n o 测度和模糊样本的学习理论的关键定理，讨论了学习过程一致收敛速度的界，从 而为系统地建立基于s u g e n o 测度和模糊样本的学习理论和支持向量机奠定了理论基础。 关键词s u g e n o 测度模糊随机集关键定理经验风险最小化原则一致收敛速度 的界 a b s t r a c t a b s t r a c t a sw ea l lk n o w n ，s t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) i so n eo ft h eb e s tt h e o r yt od e a lw i t h s m a l ls a m p l e s ，a n di th a sb e c o m ean o v e lr e s e a r c hh o t s p o to fm a c h i n el e a r n i n gf i l e df o l l o w i n g n e u r a ln e t w o r k s h o w e v e r t h et h e o r yb a s e do np r o b a b i l i t ym e a s u r ea n df u z z ys a m p l e sh a r d l y h a n d l e ss t a t i s t i c a ll e a r n i n gp r o b l e m si nr e a lw o r l ds u c ha sn o n p r o b a b i l i t ym e a s u r ea n d n o n - r e a lr a n d o mv a r i a b l e sp r o b l e m s i nt h i sp a p e r ，w ed i s c u s ss o m es l tp r o b l e m sb a s e do na c l a s so fr e p r e s e n t a t i v en o n - p r o b a b i l i t ym e a s u r e m s u g e n om e a s u r ea n dac l a s so fi m p o r t a n t n o n r a n d o ms a m p l e s _ 一 亿z ys a m p l e s f i r s t l y , s o m ed e f i n i t i o n so ft h ed i s t r i b u t i o nf u n c t i o n a n dt h ee x p e c t a t i o no ff u z z yr a n d o ms e t sb a s e do ns u g e n om e a s u r ea r eg i v e na n dd i s c u s s e d ， a n dt h e nc h e b y s h e vi n e q u a l i t y , h o e f f d i n gi n e q u a l i t ya n dt h es t r o n gl a wo fl a r g en u m b e r so f f u z z yr a n d o ms e t sb a s e do ns u g e n om e a s u r ea r ep r o v e d b a s e do nt h i s ，t h ee x p e c t e dr i s k f u n c t i o n a l ，t h ee m p i r i c a lr i s kf u n c t i o n a la n dt h ep r i n c i p l eo fe m p i r i c a lr i s km i n i m i z a t i o n ( e r m ) b a s e do ns u g e n om e a s u r ea n df u z z ys a m p l e sa r ed e f i n e d ，t h ek e yt h e o r e ma n dt h e b o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c eo fl e a r n i n gp r o c e s sa r ep r o v e d ，w h i c hl a i da t h e o r e t i c a lf o u n d a t i o nf o rt h el e a r n i n gt h e o r ya n ds v mb a s e do ns u g e n om e a s u r ea n df u z z y s a m p l e s k e y w o r d ss u g e n om e a s u r e f u z z yr a n d o ms e t sk e yt h e o r e m t h ep r i n c i p l eo f e m p i r i c a lr i s km i n i m i z a t i o n b o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c e i i 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所傲的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：马趣日期：埠年 月上乙日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 l 、保密口，在年月同解密后适用本授权声明。 2 、不保密黾 ( 请在以上相应方格内打“”) i 7 1 墨嘉篓耄：二弦主邕一昌霸； 导师签名： 维姐红2 1 塾羔 日期：髫暑兰昌 保护知识产权声明 本人为申请河北大学学位所提交的题目为( 基于s u g e n o 测度和模糊样本的学习理 论基础) 的学位论文，是我个人在导师( 哈明虎、田大增) 指导并与导师合作下取得的 研究成果，研究工作及取得的研究成果是在河北大学所提供的研究经费及导师的研究经 费资助下完成的。本人完全了解并严格遵守中华人民共和国为保护知识产权所制定的各 项法律、行政法规以及河北大学的相关规定。 本人声明如下：本论文的成果归河北大学所有，未经征得指导教师和河北大学的书 面同意和授权，本人保证不以任何形式公丌和传播科研成果和科研工作内容。如果违反 本声明，本人愿意承担相应法律责任。 叫、 声明人：曼丝日期： 作者签名： 导师签名： 弓起 日期： 日期： 年么月! 日 盟年j 月日 年- 厶月j 厶同 第l 章绪论 第1 章绪论 1 1 统计学习理论的产生及研究现状 基于数据的机器学习是人工智能技术中一个重要的研究方面，它主要是从观测数据 ( 样本) 出发，寻找统计规律，并利用这些规律对未来数据或无法观测的数据进行预测。 传统统计学是现代机器学习方法中的一个重要理论基础，它研究的是样本数目趋于无穷 大时的渐进理论。基于此假设的一些现有学习方法如：模式识别、函数拟合及概率密度 估计等，其性能都是在样本数目趋于无穷大时才能取得理论上的保证。但在实际应用中， 样本数目往往是有限的，假设的前提条件一般得不到满足，尤其在高维空间中，这使很 多在理论上很优秀的学习方法部分失效或难以取得理想的结果。 v a p n i k 1 - a 早在2 0 世纪6 0 年代就致力于有限样本情况下统计理论的研究，并将此理论 命名为统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 。该理论不断发展，n 9 0 年代中 期逐步形成了一个较完善的理论体系，它解决了如何在高维空间中有效的控制容量及非 线性等问题，并提出了支持向量机【删( s u p p o r tv e c t o rm a c h i n e ，s v m ) 这种构造 预测规则的通用方法。支持向量机从结构风险最小化原则出发，通过将输入空问映射到 一个高维内积空间中，从而得到全局最优解，有效避免了“维数灾难”，保证了收敛速 度，而且不存在局部极小值问题，具有很好的泛化及推广能力。同时也由于神经网络等 学习方法在理论上缺乏实质性进展，s l t 受到了世界机器学习领域学者的广泛重视。目 前s l t 与s v m 已成为学术界公认的机器学习领域一个新的研究热点睁1 3 】。 1 2 基于s u g e n o 测度和模糊样本的学习理论的提出及意义 尽管统计学习理论被学术界公认为处理小样本较好的学习理论，但它仍存在一些不 完善之处统计学习理论是基于概率测度和实随机变量提出的。众所周知，概率测度 是一个满足非负、j 下规、可加性( 可列可加性) 的集函数。由于可加性条件非常苛刻， 因此在实际应用中这个条件往往得不到满足，如在近似推理、模糊逻辑、人工智能、数 据挖掘、博弈论、决策学以及心理学等领域。我们以度量一组工人的工作效率为例： , - 7 f l 人学理学硕十学位论文 简单起见，我们只考虑三个人的工作效率：工人甲，工人乙，工人丙。令工作组 u = 甲，乙，丙 ，1 ( j l l ：p ( u ) 一【o ，1 】) 用来度量工人的工作效率，综合考虑工人的各方 面因素( 性格、爱好、人际关系、组织能力等) ，我们给出如下结果： ( 甲 ) = o 3 ，j l l ( 乙 ) = o 3 ，u ( 丙 ) = o 3 ， p ( 甲，乙) ) = 0 5 ，卢( 甲，丙 ) = 0 6 ，芦( 乙，丙 ) = 0 6 ， p ( 甲，乙，丙 ) = 1 显然这组工人的工作效率不一定等于每个人的工作效率加起来的总和即这个集函数 不满足可加性。这个例子从某种意义上说明了非可加集函数的存在性，因此研究非可加 测度空间上的一些理论与应用也是非常有必要的【15 1 。日本学者s u g e n o l l 4 提出了一类非 常有代表性的测度s u g e n o 测度。只要选择适当的参数允，它就能近似代表相当广泛 的些非可加测度。特别地，当九= 0 时，s u g e n o 测度恰为一个概率测度，因此它也是 概率测度的推广。 此外，实随机变量在实际应用中也有一定的局限性。在自然界，生物环境，经济管 理，股票市场等领域，一些调查“数据”是不能用单纯的实数或实数构成的集合来描述 的。例如：在一个特定的城市与特定的气候下，随机抽取一组人针对当时的天气进行问 卷调查，这个随机实验的调查结果是形如“冷”，“一般”，“很冷”，“尤其冷”等模糊性 的“数据”，对于这类“数据的处理使得模糊集的概念应运而生。自1 9 6 5 年扎刹1 5 】 ( l a z a d e h ) 开创了模糊集合论以来，模糊数学的理论与应用获得了迅速发展，并开 始了模糊随机变量( 模糊随机集，模糊集值随机变量) 的研列1 9 。2 5 1 。 目前，许多学者已注意到了这一问题并开始了广泛的研究。因此，基于非概率和非 实随机样本的统计学习理论的研究自然成为统计学习理论的一个重要方向，并取得了一 些重要成果。例如：哈明虎、李颜、冯志芳等协1 1 1 把统计学习理论从概率空间推广到了 非概率空间( s u g e n o 测度空间、拟概率空间等) ，讨论了非概率空间上统计学习理论的 关键定理和学习过程一致收敛速度的界。哈明虎、张植明、陈继强等f 1 2 。3 1 研究了基于非 实随机样本( 复随机样本、随机集等) 的统计学习理论。因此，从这一角度出发，进一 步研究了基于s u g e n o 测度和模糊样本的统计学习理论关键定理和学习过程一致收敛速 度的界有着重要的理论意义和应用前景，从而进一步推广了统计学习理论。 第l 章绪论 1 3 本文的主要内容 本文结合统计学习理论、s u g e n o 测度和模糊随机集的相关知识，给出了基于s u g e n o 测度和模糊样本的统计学习理论关键定理和学习过程一致收敛速度的界。主要内容如 下： 第2 章主要介绍了s u g e n o 测度和模糊随机集的基本概念及性质，并讨论了基于 s u g e n o 测度的模糊随机集的分布及期望，证明了基于s u g e n o 测度的模糊随机集的强大 数定律。 第3 章提出了基于s u g e n o 测度和模糊样本的经验风险泛函、期望风险泛函、经验 风险最小化原则及严格一致性的概念，给出并证明了基于s u g e n o 测度和模糊样本的学 习理论关键定理。 第4 章讨论了基于s u g e n o 测度的模糊随机集重要不等式，给出了基于s u g e n o 测度 和模糊样本的学习过程一致收敛速度的界。 河北人学理! 学硕十学位论文 第2 章预备知识 这一章主要介绍了基于s u g e n o 测度和模糊随机集的相关知识，给出了基于s u g e n o 测度的模糊随机集分布及其期望，并证明了强大数定律。 2 1 s u g e n o 测度和模糊随机集的基本概念 首先，我们介绍的s u g e n o 测度些基本定义及性质。假定q 是一个非空集合，厂是 由q 的子集构成的叮一代数， 是由q 的子集组成的非空类。 定义1 1 1 引p 是定义在 上的非负实值集函数。称满足a 律( 在上) 当且仅当 存在a 一面品，) u 。) 使得下式成立： p ( e u f ) = m ( e ) + p ( f ) + a m ( e ) ( f ) 其中e f ，f ，e u f f ，且e n f = 妒； 称p 满足有限a 律( 在g 上) 当且仅当存在上述允使得下式成立： p m ) - 去蜘n 俐_ l ，刎； p ( e ) ，九= 0 ， 其中 巨，最，乞 是f 中的集合构成的有限不交类，且 中集合的并也在 中； 称p 满足仃一a 律( 在上) 当且仅当存在上述a 使得下式成立： p 啡) 允0 ： a = 0 ， 其中 蜀，e ，e 是中集合构成的任意不交序列，且g 中集合的并也在 y ( r ”) 模糊随机集， 7 河北人学理学硕十学位论文 名( k ，) 称为户基于s u g e n o 测度的分布函数当且仅当 弓( k ，r ) = g x w ：戽f lk o ，v k j 】i c ，( o ，1 】 模糊随机集序列 户。：后= 1 ，2 ，7 ) 基于s u g e n o 测度是独立的，当且仅当v 厂( o ，1 】， 随机集序列 户：j i = 1 ，2 ，7 基于s u g e n o ； ，l ，一日- o r 的； 模糊随机集序列 ：忌= l ，2 ，玎 基于s u g e n o 测度是同分布的，当且仅当若 v ，( o ，1 】，随机集序列 户：尼= l ，2 ，7 基于s u g e n o 测度是同分布的； 模糊随机集序列 ：七= l ，2 ，刀 收敛于一个模糊随机集序列户，若 憋“( 一；) - - o 膏_ 、 模糊随机集户基于s u g e n o 测度的的数学期望定义为 气( 户) ( x ) = s u p ( 厂( o ，1 】：x e ( 卑) ) 为了更好讨论基于s u g e n o 测度和模糊样本的学习理论关键定理，我们首先给出并 证明了基于s u g e n o 测度的模糊随机集强大数定律。 引理1 设户为s u g e n o 测度空间上凸模糊随机集，则 ( 1 ) e ( ) = 最( ) ，只( ) ； ( 2 ) t ( ) ，丘( ) 分别为致随机变量。 证明由于任意凸模糊集j 厂( 尺”) ，雳( ) 为一个闭区间数。利用闭区间数性质， 结论显然成立。 推论1 设户1 ，户2 ，户7 为基于s u g e n o 测度独立同分布的凸模糊随机集序列，则岛 随机变量序列 声：( ) ，户：( ) ，户2 ( ) ) ； 户：+ ( ) ，户j ( ) ，户2 ( ) ， 也分别为独立同分布的。 定理2 设 户。：七= l ，2 ，刀) 为基于s u g e n o 测度独立同分布的模糊随机集序列且 肛u p p f 。0 珂符 r ) ( j 手 一慵叩) ，- - 气( c 。； 显然有4 = b ru c r 。 所以 ) ，+ ) k 。( c 。户1 ) ，一，k 。( c 。户1 ) ，+ ) c 。( 户) ，+ 乓。( c o p ) ，+ 么，= ( 丢喜f 。( 户) ，( f 。户1 b ，=瑕 = 慵 ) ，h c 。( 户) r - - t 。( p i ) l c o ( p i r + - - 乓；c o 户) v r ( o ，1 1 ，h qg a 随机变量强大数定律1 川可以得到 g a ( 耳) ：o ； 9 g a ( c ) ：o ， 0 0 。心 l 一疗 t - f ，ii dc 。纠 。矧 1 一玎 河北人学理学硕+ 学位论文 g 。( “( 去喜f 。( 户) ，( c 。户1 ) ) 碣i 印s u 州p 帕噍( 户。r , e ( 冽，) s 肚。 ( 2 ) 最后我们证明三户。_ e ( c o p ) ，( 口幺& ) o， 、。7 由s h a p l e y f o l k m a n 引理f 2 5 】 h 忙拟引m 扩肚以， 可以得“噍巾) ，去静) 知 所以 幽f ，三n 炽k ：le ( 州卜( 去弘昙喜) + “瞧以e ( 卅p ， l o 第3 章基y - s u g e n o 测度和模糊样本的学习理论关键定理 第3 章基于s u g e n o 测度和模糊样本的 学习理论关键定理 3 1 经验风险最小化原则 本节我们首先给出基于s u g e n o 测度和模糊样本的统计学 - - j 理论的一些基本概念。 定义9 设( q ，4 ，) 为s u g e n o 测度空间，模糊随机集样本互，三2 ，乏是依据分布 l ( k ，) 独立同分布抽取的。考虑在厂( 兄) 上取值的损失函数集 q ( 三，a ) ，口人) ，我们 分别定义了基于s u g e n o 测度和模糊样本的期望风险泛函和经验风险泛函： 砟( a ) = 0 t ( 9 ( 三o ) ) 1 1 ； = 瞧始川1 1 注3 显然任意可测损失函数9 ( 三a ) ，a 人为模糊随机集，且模糊随机集序列 q ( 互，a ) ，q ( 3 2 ，口) ，q ( 乏，a ) ) 是独立同分布的。此外，论文中所讨论的损失函数集 皆为可测的。 由于分布瓦( k ，a ) 是未知的，但给出了依据分布抽取的模糊随机集样本互，乞，乏， 为求解基于s u g e n o 测度和模糊样本的期望风险泛函，我们提出了基于s u g e n o 测度和模 糊样本的经验风险最小化原则。 经验风险最小化原则设q ( 三o t ，) ，q ( 三，a 。) 分别为基于s u g e n o 测度和模糊样本的最 小化经验风险泛函和最小化期望风险泛函所对应的损失函数，我们将函数q ( 三，a ，) 作为 q ( 乏a 。) 的一个近似。这一原则称之为基于s u g e n o 测度和模糊样本的经验风险最小化原 则( r 脚( 口，) 2 蝶( a ) ，砟( 口。) 2 蝶r ( 口) ) 。 定义1 0 对于模糊随机集9 ( 三，口) ，a 人和模糊随机集样本的分布瓦( k ，) ，如果对 于人的任何非空子集a ( c ) = a ：i i r ，( a ) i l c ，c ( 棚，) 和任意s o 使得 河北大学理学硕士学位论文 l i m g 。i 州i n f “，砟( 口) ，刚i n f p ，( 口) l ) = 。 成立，则我们称基于s u g e n o 测度和模糊样本的经验风险最小化方法是严格一致的。 定理3 如果基于s u g e n o 测度和模糊样本的经验风险最小化方法是严格一致的，则 下列依s u g e n o 测度收敛成立： 受g 。忙( a ，) ，蜞( a ) l s = o 证明令 i 蟑畔 ) = r r ( a o ) = a 口e v s 0 ，考虑a 的子集a ( a + s ) ，满足 a ( a + ) = a ：r f ( a ) ( 2 - 1 - ) 选取g ，使得人+ ) 非空，因而满足 因此， 。戆 ( 仅) ：i n f 。，r f ( a ) l i m g , 。 刚i n 。， ) i 叩n f 训辟( 十差) _ i 又由a ( a + s ) 的定义，我们知道 因此，我们得到 因为任意的c r ，有 成立，所以下列等式成立 i n f 群( a ) 口+ s a e a ( 口+ ) 舢l i m & k i n f 川c 啦口+ 争 口e a ( ( i n fj ( a ) 之。i n j 砟( 口) = 口 脚颤僻f ( 口) 口+ 兰) ：。 由上述( 1 ) ( 2 ) 两等式成立，我们知道 1 2 ( 2 ) 第3 章墓ts u g e n o 测鏖和模糊样本的学习理论关键定理 受g a 仅，人( 口+ ) = o 另一方面，a ，仨人( 口+ ) ，则等式 a r r ( a ，) 口+ s 成立。所以 砟( a ，) ti n ；砟似) = a ，口e a 成立，证毕。 注4 严格一致性定义意味着，对于充分大的的，经验风险泛函一致的逼近于期望 风险泛函。该定理证明了，当存在一致性时，最小化经验风险的函数给出了接近于最小 可能风险的值。 定义1 1 对于模糊随机集q ( 三，a ) ，a 人和模糊随机样本分布不( k ，) ，如果对任 意s 0 ， 酗。 a s u p ( g a 蹦小( 训 s ) = 。 l 成立，则我们称经验风险一致单边收敛于期望风险。 3 2 关键定理 本节我们给出了，基于s u g e n o 测度和模糊样本的关键定理，它把学习的一致性问题 转化为均值一致单边收敛于数学期望的存在性问题。 定理4 假设存在常数口和b ，使得对于模糊随机集q ( 三，a ) ，a a 和给定的分布 疋( k ，a ) ，有下列不等式成立： 口 0 ，” l a a j 证明充分性：假设一致单边收敛性式成立，我们记 河北火学理学硕十学位论文 彳= i i n f r r ( a ) _ i n f ( 口) l s 则彳是两个事件的并，即 a = a lua 2 ，4na 2 = o a l a e i n f ( ) r f ( a ) i n 、( 【f af i r e al r 脚 ) + s a ef f 【fj 假定a 。发生，我们找到一个函数q ( 三，口) ，口人( c ) ，满足 如 “ 刚i n f 蹦a ) + 三 则不等式 r f ( a ) + 等 i n f 灭r ( a ) + 岛之。 另一方面，若彳：发生，则存在函数9 ( 三，口”) ，a ”人( c ) 使得 r 脚( a ) + 三 。骤， ) + s 0 ，考虑一个有限的序列，口l ，口2 ，口。，满足 f 口，+ 一一口，i s 由a 我们找到k ，使得a a ( a t ) 且 尺，( 口) 一口t 0 ，不等式 g 。( 幽( 户彳) s ) s 六一( 2 幺( b 罢；) 成立。 证明令事件 4 = ( 戽，互) s 耳= 艟最一互l 0 c ，= 因为对任意的，( o ，1 1 有 河北人学理学硕十学位论文 月( 霉，4 ) = h ( 最，只 ， 五，五 ) = m a x i 最一j 【l ，l 丘一互j 4 = 耳u c , v r ( o ，1 】 由s u g e n o 测度空间的c h e b y s h e v 不等式【1 0 1 有 g 。钢去喜最一五l ) b 罟 非喜最一卟s ) 每 进而 引耳舛媳( 跏幺刚刚舛1 b 驯； 刚h b 耕 推论2 设l 户2 ，户7 为独立同分布的凸模糊随机集序列，且存在常数仃0 ，对 于任意厂( o ，l 】，= 1 ，2 ，有m a x ( 户之) ，破。( 户2 ) ) 仃2 ，则下列不等式成立： g 。弘叩归p b 耕 证明利用基于s u g e n o 测度的模糊随机集的数字特征，有 。雌n = l 户小砉喜。( 畔手 同理 。噍户小手 由定理5 得有 甄磐叩崎p 晤) 第4 蕈蜃】s u g e n o 测腰秆1 梗糊样本1 1 勺学习过撑一致收敛述f 要的界 得证。 注5 当，寸时，我们就得到了基于s u g e n o 测度的凸模糊随机集的c h e b ) r s h e v 大 数定律。 定理6 ( h o e f f d i n g 不等式) 户，户2 ，户7 为独立同分布的凸模糊随机集序列，若 v r ( o ，1 】，有口”一户：6 ”一，口”+ 户2 6 ”+ 并记 m = 溜( 一限卅- ) 2 ，( 6 n + - - a n + ) 2 ) ) ， 则对任意的占 0 ，不等式 & 静球咖p c 唧( 等卜x p ( 百- 4 t ：z 1 ) ) 成立。 证明不等式 州s u p ，b 喜即( 霉1 ) s 贝0 3 a ( o ，1 】，有 令事件 则有 月噍眦( 训 = ( 去喜最”，i 1 刍i ，：= = ” ，e ( 最1 ，最1 ) ) = m a x l 去砉最”一( 最1 ) 1 1 去喜最”一e ( 最) b s 彳= “( 去喜户”，e ( 户1 ) ) s ； b = l 吉圭n = l 最”一三( 良1 ) | s ： c = 惟弘( 丘忙) ， 1 9 河北入学理学硕十学位论文 利用g a 测度空间上h o e f f d i n g 不等式【1 0 】有 = 黪”叫啦卜p 障尚卜x p 同理 铲髓e ( 最肾 _ 0 _ s ：) 叫2 以( 2 c e x p ( 警卜唧( 等) 同理令 洲2 c 唧( 等卜唧( 等) ) e ，2 1 l ! l j 上述个等式等价为 r 脚( a 即，) 一也( 。，) s ： 依至多，7 的成立。 因为q ( 三，a 州) ) 最小化经验风险，所以不等式 k ( 。) ) 一r f e m + pa 州) ) o 成立。 利用e 述不等式，有 a 0 ，九0 ， 河北入学理学硕十学位论文 颤 群( 口州，) 一砟( 。，) q + ： s 既 廓( ) 一辟却( ( f ) ) + 妒( 口即，) 一砟( 口巾，) q + ： 吼一( 以。颤 砟( a k ( o ) 一r f e m p ( a k ( i ) ) - - e i + 岛。爵r 脚( a k ( o ) ) 一群a k ( o ) ) ： ) = 岛一( 2 0 , ( 叩) ) 所以不等式 成立，证毕。 颤r f ( ) 一砰( a 印) ) 岛屿) 以- 1 ( 1 2 以( 7 7 ) ) 同样，我可以讨论基于c h e b y s h e v 不等式的学习过程一致收敛速度的界，继而分别 回答了基于s u g e n o 测度和模糊样本的经验风险最小化原则的推广能力的两个问题。 不等式 成立。 不等式 卜) 一k ) f ( ，) ) 一砟( 。，) o - 依繇测度至少吼。1 ( 1 一幺( 2 叩) ) 成立。 2 4 卜卜删 第5 章结论与展望 第5 章结论与展望 统计学习理论是目前机器学习领域学者公认的研究小样本学习的最佳理论，而作 为其理论基础的学习理论的关键定理和学习过程一致收敛速度的界在此理论中起着重 要的作用。本文把概率空间上基于随机样本的学习理论的关键定理和学习过程的一致收 敛速度的界推广到了s u g e n o 测度空间上基于模糊样本的情形，其主要结论如下： 1 进一步讨论了s u g e n o 测度与模糊随机集，提出了基于s u g e n o 测度模糊随机集 的分布、期望的概念，并进步证明了基于s u g e n o 测度的模糊随机集的强大数 定律； 2 给出了基于s u g e n o 测度的模糊随机集的c h e b y s h e v 不等式和h o e f f d i n g 不等式； 3 给出并证明了基于s u g e n o 测度和模糊样本的学习理论关键定理和学习过程一 致收敛速度的界。 然而基于s u g e n o 测度和模糊样本的统计学习理论刚刚起步，尚有许多重要工作需 要研究，如： 1 损失函数集为无限时学习过程收敛速度的界； 2 给出v c 维的定义，在此概念基础上得到构造性的与分布无关的界； 3 基于s u g e n o 测度和模糊样本的结构风险最小化原则与关于收敛速度的渐进界： 4 支持向量机的构建与应用。 2 5 河北大学理学硕十学位论文 【1 】 【2 】 3 1 【4 】 5 1 【6 】 【7 】 参考文献 v n v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y n e wy o r k ：aw i l e y i n t e r s c i e n c ep u b l i c a t i o n 19 9 8 瓦普尼克著，张学工译统计学习理论的本质北京：清华大学出版社，2 0 0 0 v n v a p n i k a no v e r v i e wo fs t a t i s t i c a ll e a r n i n gt h e o r y i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s ，19 9 9 ， 1o ( 5 ) ：9 8 8 9 9 9 边肇祺，张学工模式识别北京：清华大学出版社，1 9 9 9 c j c b u r g e s at u t o r i a l o ns u p p o r tv e c t o rm a c h i n e sf o rp a t t e r nr e c o g n i t i o n d a t am i n i n ga n d k n o w l e d g ed i s c o v e r y , 19 9 8 2 ：12l - l6 7 s r a u d y s h o wg o o da r es u p p o r tv e c t o rm a c h i n e s ? n e u r a ln e t w o r k s ，2 0 0 0 ，l3 ( i ) ：l7 】9 t e v g e n i o u ，t p o g g i o ，m p o n t i l ，e ta 1 r e g u l a r i z a t i o na n ds t a t i s t i c a ll