（应用数学专业论文）sugeno测度空间上统计学习理论的关键定理.pdf

摘要 统计学习理论( s l t ) 是由v a p n i k 等人提出的一种小样本统计理论，但是该理论是在 概率空间上建立起来的。本文对比概率空间更广的一类非可加测度空间一s u g e n o 空间 上的统计学习理论进行了探讨。首先讨论了s u g e n o 测度的性质，定义了在s u g e n o 测度 下的分布函数、期望和方差，在此基础上给出了s u g e n o 测度空f 刨上的契比雪夫不等式 和辛钦大数定理；其次给出了在s u g e n o 测度空间上的经验风险泛函、期望风险泛函以 及e r m 原则严格一致收敛的定义，并证明了在s u g e n o 测度空间上统计学习理论的关 键定理。 关键词s u g e n o 测度；期望风险泛函；经验风险泛函；经验风险最小化原则；关键定 理 a b s t r a c t s t a t i s t i c a ll e a r n i n gt h e o r yo rs l t , w h i c hw a sb a s e do np r o b a b i l i t ys p a c e ，i s a s m a l l s a m p l es t a t i s t i c sb yv a p n i k t h i sp a p e re x p l o r e st h es l to nak i n do fu o n a d d i t i v e m e a s u r es p a c e s u g e n om e a s u r es p a c e ，w h i c hi sm o r ew i d e l yt h a np r o b a b i l i t ys p a c ef i r s t l y ， w ed i s c u s st h ep r o p e r t i e so fs u g e n om e a s u r ea n dg i v et h ed e f i n i t i o n so fd i s t r i b u t i o nf u n c t i o n a n de x p e c tv a l u ea n d v a r i a n c eu n d e rs u g e n om e a s u r e b a s e do na b o v e ，w ep r o p o s e c h e b y s h e vi n e q u a l i t ya n dt h el a wo fl a r g en u m b e r so ns u g e n om e a s u r es p a c ea l s o s e c o n d l y , w eg i v et h ed e f i n i t i o n so fe m p i r i c a lr i s kf i m c t i o n a l ，e x p e c t e dr i s kf u n c t i o n a la n dt h es t r i c t c o n s i s t e n c yo fe r mp r i n c i p l eo ns u g e n om e a s u r es p a c e f i n a l l y , w ep r o v et h ek e y ) h e o r e m o fs l to ns u g e n om e a s u r es p a c e k e y w o r d ss u g e n om e a s u r e ；e m p i r i c a lr i s kf u n c t i o n a l ；e x p e c t e dr i s kf u n c t i o n a l ；e m p i r i c a l r i s km i n i m i z a t i o n ；t h ek e yt h e o r e m l j 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名耋袤日期：l 年月旦日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电予版，允许论文被查阅和借阅。学校可以公布 沦文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 、不保密画。 ( 请在以上相应方格内打“”) 作者签名： 导师签名 苍襄 哈塑缸 日期：生年月l 日 日期：止年二月旦日 第1 章绪论 第1 章绪论 1 1 统计学习理论的产生及研究现状 基于数据的机器学习是现代智能技术中的重要方面，研究从观测数掘( 样本) 出发寻 找舰律，利用这些规律对未来数据或无法观测的数据进行预测。包括模式识别、神经网 络等在内，现有机器学习方法共同的重要理论基础之一是统计学 2 】，它是我们面对数据 而又缺乏理论模型时的最基本的( 也是唯一的) 分析手段。传统统计学研究的是样本数 日趋于无穷大时的渐近理论，在统计学中关于估计的一致性、无偏性、估计方差的界和 关于分类错误率等诸多的结论都属于这种渐进特性。但在实际问题中，样本数往往是有 限的，这种| j 提条件却往往得不到满足，当问题处在高维空间时尤其如此，因此一些理 沦上很优秀的学习方法实际中表现却可能不尽人意【3 j 。 v l a d i m i rnv a p n i k 等人早在2 0 世纪6 0 年代就开始致力于研究有限样本下的机器 学习问题，到9 0 年代中期，有限样本情况下的机器学习理论研究逐渐成熟起来，并形 成了一个较完善的理论体系一一统计学习理论【4 。j ( s t a t i s t i c a ll e a r n i n gt h e o r y ，简称 s l 1 1 ) ，它第一次强调了所n 4 , 样本统计学的问题。统计学习理论是建立在一套较坚实的 理论基础之上的，为解决有限样本情况下的统计模式识别和更广泛的机器学习问题提供 了一个统一的框架，它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的 问题( 比如神经网络结构选择问题、过学习与欠学习问题、局部极小点问题等) 【3 l 。 1 9 9 2 年一1 9 9 5 年，v a p n i k 等人又在统计学习理论的基础上发展出了一种新的通用 的学习方法支持向量机【4 。6 1 ( s u p p o r t v e c t o r m a c h i n e ，简称s v m ) ，其在解决小样本、 非线性及高维模式识别问题中表现出许多特有的优势，并且能够推广到函数拟合和概率 密度估讨等其他机器学习问题中。目前，s v m 算法在模式识别、回归估计、概率密度 函数估计等方面都有应用，而且s v m 算法在精度上已经超过传统的学习算法或与之不 相上下。在短短3 0 年的时间里，国外出现了大量的此方面的论文，如 8 1 1 。虽然尚有 很多问题需要进一步的研究，但是统计学习理论和支持向量机正在成为国际上机器学习 领域新的研究热点【，j 。 小样本统计估计和预测的统计学习理论主要内容包括以下四个方面： 河驰人学理学硕士学位论文 1 ) 经验风险最小化准则下统计学习一致性的条件； 2 ) 在这些条件下关于统计学习方法推广性的界的结论； 3 ) 在这些界的基础上建立的小样本归纳推坪准则： 4 ) 实现新的准则的实际方法( 算法) 。 由上我们可以看出学习一致性是整个统训学刊理论的基础。在 9 8 9 年v a p n i k & c h e r v o n e n k i s 发现了学习理论的关键定理p 一，它把学习一致性的问题转化为致收敛的 问题。从概念的角度来讲，这个定理十分重要，因为它指出了经骑风险晟小化原则 ( e m p i r i c a lr i s km i n i m i z a t i o n ，简称e r m ) 一致性的充分和必要条件是取决于雨数集中 “最坏”的函数”川。i 刊时，关键定理的发现出为后面的理论和应用奠定了基础。 我国早在2 0 世纪8 0 年代术就有学者注意到了统计学习理论的基础成果，i 司时也出 现了介绍这一方面的文献，如： 3 , 7 ，1 2 - 1 6 ，这必文献主要是对统计学刊耻论进行综述 性的介绍或对实际的直接应用。但由于这个理论所涉及的领域比较广，所以目前仍只有 少部分学者对此力向的基础理论进行深入研究。 1 2 非可加测度空间上统计学习理论的产生 尽管统计学习理论在很多方面都有很好的结果，但是它仍有一些不完善之处，如。( 1 ) 统计学习理论只给出了在概率测度空间下的学刊理论，因此不能处理非可加测度空间上 的学习问题；( 2 ) 考虑的样本都是清晰样本，对处理模糊数据无能为力等等。因此统计学 习理论还需要进一步地发展完善。 随着模糊数学理论和应用的同益成熟，近些年来一些学者已经注意到了这些问题， 并对问题的解答有了一些初步成果，如：哈明虎，唐文广，蒯彩丽等 1 7 , 18 1 已成功地把随 机样本扩展为模糊埴机样本，提出了模糊样水下的f e r m 原则的严格致性，并给出了 模糊意义f 的学习理论的关键定理和学习过程收敛速度的界；哈明虎，白云超i 土鹏等 ig , 2 0 l 也将概率空问扩展到可信性空间，提 ；在可信性空间上e r m 原则的严格一致性 并给出了在此卒问下的学习理论的关键定埋和学爿过程收敛速度的界。 1 9 7 4 年，日本学者s u g e n o 口”在他的博士论文中首次提出了用较弱的单弼性和连续 性束代替可加性的另一类集函数，称之为模糊测度即s u g e n o 测度。模糊测度的产生 使得对不满足可加性如主观评判或非重复性实验的测量等一些实际问题增加了一一种斛 使得对不满足i d r l 性如主观评判或非重复性实验的测量等一些实际问题增加了一种解 第1 章绪论 决的方法。特别地当 = 0 时，s u g e n o 测度就是概率测度，因此研究s u g e n o 测度上的统 计学习理论对于推广统计学习理论有很重要的意义。 1 3 本文的主要内容 由于统计学习理论只给出了在给定的概率分布函数f ( z ) 下的有限样本的机器学习 情况；这些限制条件缩小了统计学习理论的应用范围。基于统计学习理论基础，本文研 究了非可加测度空f 叫上的统计学习问题，将概率空间扩展到s u g e n o 测度空i n t 2 ”，并给 出在此测度空间上学习理论的关键定理。主要内容如下： 1 ) 第2 章是一些预备知识，介绍了s u g e n o 测度的定义，给出了一些基本性质和定 理； 2 ) 第3 章给出了s u g e n o 测度下随机变量的分布函数、数学期望和方差的定义和性 质，并证明了s u g e n o 测度空间上契比雪夫不等式和辛钦大数定理： 3 ) 第4 章给出了s u g e n o 测度空问上的经验风险泛函、期望j x l 险泛函以及e r m 原 则严格一致收敛的定义，并证明了s u g e n o 测度空间上统计学习理论的关键定理； 4 ) 最后对该方向进行了总结和展望。 ， 一，一，一。，堡些盔兰坚兰堡主望堡笙圣 第2 章预备知识 2 1 s u g e n o 测度的定义 定义l 【2 1 设是一非空集合，f 是由x 的子集组成的非空类，f 是定义在f 上的 非负实值集函数。称满足五一律( 在f 上) 当且仅当存在丑( 一i 品，o 。 u 。 使得下 式成立：、 ( e u f ) = ( e ) + ( f ) + a ( e ) ，f ( 尸) ， 其中e f ，f f ，e u f f ，且e n f = 庐； 称卢满足有限五一律( 在f 上) 当且仅当存在上述五使得下式成立： ( 抛时帅c 驯卜。 ( 互) ，a = o 其中 e l ，毛 是f 中有限不交类，且它们的并电在f 中 称满足盯一五律( 在f 上) 当且仅当存在上述五使得下式成立 f 0 e ： i = 1 粕叶小删小。 ( 巨) ，五= 0 其中 巨l 是f 中一列互不相交集合，且它们的并也在f 中。 特别地，当且= 0 时，五一律、有限丑一律、盯一a 律分别对应的是可加、有限可加 和盯一可加。 1 定义2 口| j 设尸是p ( x ) 上的盯一a l g e b r a 。t 称为厂上的s u g e n o 测度，当且仅当， 满足o - 一丑律且a ( x ) = 1 。简汜为幽。 笫2 章预备知识 2 2 s u g e n o 测度的性质 定理1 洲如果u 是厂上的s u g e n o 测度，则卢是单调的。 定理2 | ：2 1 1 如果是厂上的s u g e n o 钡, u r y ，则卢( o ) = 0 且满足有限五一律。 定理3 1 1 2 ”如果，f 是厂上的s u g e n o 测度，则对任意e 尸和f 厂，有： c ( 虬耻鲤幽等卷罴产 乳( e - f ，= 篙熹辫 “面) = 蔫器。 定义3 集函称为双零渐近可加的，如果v 4 | ) 只 吃) c f , , u ( 4 , ) - - 0 ，以吃) 岫 ，f ( 鼠，) 一o ，则( 4 ，u e 。) 一o ( ”一o 。，m o o ) 。 定理4 s u g e n o 测度g ：是双零渐近可加的。 证明：设v 爿。 c 厂， b 。) c 。彳，g ，( 以) + o ，g ，( b 。) 一o 。 则刚耻出盥等鬻游苦幽 鱼! 墨2 乳! & 2 墨：野! 垒! 鱼! 生2 1 + g z ( 4n 玩，) g 。( an 吃) g ( 4 ) - 4 0 斗0 0 ) ，g ( 以) 一o ，g 。( e ，) 一o 盟盟掣掣等婴掣斗吣m o o ) 1 + a 9 2 ( 一。n b m ) 、 。 ( 4 u 吃) o ( ”+ o o ，聊一o o ) 。 性质1 乳测度是零上连续的。即：v 4 只f ：1 ，2 ，圮若a a 2 ，n 4 = a ，则 岛( 4 ，) 三竺呻0 河北大学理学硕士学位论文 证明：( 1 ) 当五= 0 时，g 。测度是概率测度，结论显然。 ( 2 ) 当丑0 时，a = u ( a k a k + ) ，而且 4 一a k + i 互不相容。 4 ” 则 g a ( 4 ) = 幽( u ( 4 一a k + ，) ) ； 猷u k ( 4 “1 ) ) 2 去卿k 1 + 办“4 = l7 0 【= l 丑g 。( u ( 4 4 + ，) ) + l = 丌【1 + g 。( a k - a , + 。) 】 = l= l l n 2 9 。( u ( 4 一a k + ，) ) + l 】- l n 【1 + 丑- g 。( a k - a , + 。) 】) g ( a 1 ) 1 l n i + a g a ( 4 ) l n 1 + 旯】 则 e l n ( 1 + 2 g 。( a k a k + 。) ) 收敛 i n ( 1 + t g ( 以一4 + 1 ) ) j 盟旦_ o l n 兀( 1 + g ( a k - a k + 。) ) ) j ! 二竺斗。 即：丌( 1 + 五乳( 4 一a k + 1 ) ) 骂1 “童( 圳。胪抽”抛m “肛t ) 当。 i = 几【女= nj 觇乳( 4 。) 堡竺斗o ，即g 测度零上连续。 性质2 若4e 2 43 ，且n 4 = 爿，则岛( 4 ) 竺马g a ( 田。 月5 1 第2 章预备知识 m 一 一 证明：令b o = a a ，则b i 岛，且n e = n ( 4 n 4 ) = ( n 4 ) n 彳_ - 0 。 n = i，f = ln = i 1 = i = 性质1 可得，毋( b 。) 堡! ! 旦。o g 。( 4 。) 一g 。( 爿) = g 。( 吃u a ) 一g 。( 一) = g b o ) + g ( 爿) 一z g l ( b n ) 1 9 ( 爿) 一g ( 彳) = g 。( 峨) ( 1 2 9 。( 4 ) ) 竺兰马0 g ( 爿。) 旦三：竺斗g z ( 爿) 。 河北大学理学硕士学位论文 第3 章s u g e n o 测度空间上随机变量的数字特征 3 1 s u g e n o 测度空间上随机变量的分布函数及其性质 定义4 如果是概率空间上的随机变量，则岛分布函数定义为 ，( x ) = g a x x ) ，v x 佃 其中豫表示实数集。 性质3 吃( z ) 单调不减。 ，证明：v x i ，x 2 腿且五，则( x x i 匕 x 2 。 。( x 1 ) = 岛 j 毋 彳王而) = ；( x ：) 。 性质4 民( x ) 是右连续的。 i e 1 i f l 由于气：( 工) 是单调不减的，要证乓，( x ) 右连续，则只需摹旺 1 l i r a 。f 。( x + ，2 。( x ) j 。乓。 + 去) = & x x + 去 ； x x + 3 x + 击) ，且f l n = l 爿蔓x + 去 = x x ) 由性质2 可得 ! 骢吃 + 去) = ! 骢幽 z i x + 2 岛( 爿x ) = c 。( x ) 故岛测度的分布函数气。( x ) 右连续。 定义5 对于随机变量彳的乳分布函数e 。( z ) ，若存在非负函数矗( x ) ，使对于任 意实数x 有吒( x ) = l s , 。( o a t ，则称x 为连续型随机变量，其中厶( 石) 称为x 的瓯密 蔓函数。 性质5 ，( x ) 0 。 性质6 毛( x ) a x = 1 。 第3 章$ u g e n o 测度空间上随机变簧的数字特征 。注质。猷耶上蚓：j 擎生。 1 + 。( x ) a x 定义6 设( x ，y ) 是二维随机变量，对于任意实数x ，y ，二元函数 ；( 丑，j ，) = g a x 兰z ，y ) ，) 称为随机变量爿和y 的g 。联合分布函数。 定义7 对于二维随机变量( 石，】，) 的分布函数疋，( x ，】，) ，若存在非负函数厶。( x ，力 使对于任意实数x ，户有气( 并，y ) = e j ( “，v ) d u d v ，则称( ，y ) 为二维连续型随机 变量，其中疋。( y ) 称为( x ，r ) 的g a 密度函数。 定义8 吒。( x ，y ) 为随机变量膏和y 的联合分布函数，则 吃。( x ) = 岱z ，】， o 时，( 1 ) 式 【l n ( 1 + ) + 1 】! ! 苌尘m + z ) b e ( z 汁岛【名，( y ) 】e 。( x ) c 。，。( y ) 啡( 瑚2 志而1 志 一 掣 河北火学理学硕士学位论文 5 2 2 2 2 2 2 2 2 2 8 2 8 _ 3 8 _ e _ _ _ # 自，墨；s 二；! ! e 良c 州2 高志1 志 记a 爿m ( 1 “卜1 斋( 1 + 札 当a 2 爿叫，( z ) 】气 y 一，( y ) 】= o 。 于是 d g 。( 五+ j ，) 唿。( x ) + q ；( y ) 3 3 s u g e n o 测度空间上契比雪夫不等式与辛钦大数定理 定理6 ( 契比雪夫不等式) 设随机变量亭有& 期望气。g ) = ，方差q 。( f ) = 盯2 则对任意f 数s ，不等式 悟一i s ) b 7 0 - 2 成立。 当五 0 ，有 黔t 螓和卜叱 证明：v 占 0 ，定义两个岛随机序列如下： 喊讯圹k 滁： 河北大学理学硕十学位论文 2 每。z i x , i l 2 当l 置l n 5 当i 置l n 5 ( i = 1 ，乙，n ) 令m = 乓蚓，瓦= 乓。( 研) ( i = 1 ，2 ，n ) 由定理条件可得： 1 ) 专= 叩，+ ( i - 1 ，2 ，n ) 2 ) m o o ，a n o o ( i = 1 ，2 ，n ) ，且当竹一o o 时， a n2 & 。( 吼) 5 x 铀一l d 巳( x ) = e 唆。( x ) j 矗： 3 ) 对i _ 1 ，2 ，n 有 哝。( 巩) = e g 。( r l , 2 ) 一d 2 蔓( 巩2 ) = l 。l x l 2 晖。( x ) 甩占卜陋。 ( x ) 枷万 由性质1 4 及上式得 d g c 去喜仍，= 吉c 喜珥，蔓j 1i , d 。( 珥) 去竹n 占m = 占斯 4 ) 由于在s u g e n o 测度空间上满足契比雪夫不等式，当n 充分大时 占。 i 去喜研一d i 2 z s = g 。 l 吉喜吼一口。+ 吼一口l 2 占 | 寺喜吼一日。i + 口。一日i z f ) g 。 l 去喜研一吼 s ) b 吉q 。e 喜训s 占占m ； 5 ) 对任意i = 1 ，2 ，n ，e ，1 专l 0 有 l i m g 。 i x 一日i s = 0 ，则称 鼍 依s u g e n o 测度收敛到d 。 定义1 4 设吃( z ) 是给定的岛分布函数。考虑函数集q ( z ，口) ，口ea ，我们分别定义 s u g e n o 测度空间上的期望风险泛函和经验风险泛函为： r ( 口) = j q ( z ，口) d ( z ) ( 口) = q ( z ，口) 。 ，= l 定义1 5 6 ( 1 ) 把期望风险泛函替换为经验风险泛函 r 。，( 口) = q ( z ，口) # i = l 它是用训练集z 。，z ：，z t 得到的； ( 2 ) 用使经验风险泛函最小的函数q ( z ，a ，) 逼近使期望风险泛函 r 似) = j q ( z ，口) d ，( z ) 最小的函数q ( z ，) 。 这一原则称作经验风险最小t 1 5 ( e m p i r i c a lr i s k l m i n i m i z a t i o n ) 原则，简称e r m 原则。 定义1 6 对函数集q ( z ，d ) ，口a 定义其子集a ( c ) 如下： a ( c ) = a ：i o ( z , 口) d 吒i z ) c ，d a 。 如果对函数集的任意非空子集a ( c ) ，c ( 一。，。) 都有 寡f ) 咒”( 口) 赢意f 】r ( 口) 成立，则我们说经验风险最小化( e r m ) 原则对函数集q ( z ，口) ，口a 和g 。分布函数c 。( z ) 是严格一致的。 第4 章s u g e n o 测度空间上统计学习理论的关键定理 4 2 s u g e n o 测度空间上学习理论的关键定理 定理8 设z l ，z ：，2 ，是相互独立的随机变量，且对给定的g 。分布函数名( z ) 和函数 集q ( z ，口) ，口a 中所有函数存在常数月和b 使得不等式 爿r ( 口) = f q ( z ，口) 矗：( z ) b 成立。则e r m 原则严格一致性的充分必要条件是：经验风险泛函r o , 。幢) 在函数集 q ( z ，口a 上在如下意义下一致收敛于实际风险r ( a ) i 罂g s u p ( r ( a ) - r o , , p ( 口) ) s ) = 0 ，v d0 。 口e 证明：j 设经验风险最小化原则在集函q ( z ，口) ，口a 上是严格一致的。根据 严格。致的定义可得，v c ( 一o o ，+ m ) 使得集合 人( c ) = 掰：j q ( z ，a ) d f ( z ) c ) 非空，则在如下意曳下的收敛是成立的： 轧 慧，r o ”( a ) 未。殃f ) r ( 口) 考虑有限序列口l ，a 2 ，a n 使得 l 盘。一q l 匙。( 口) 成立。由口+ 我们可以找出一个k 使得口a ( a 。) 和 0 r ( a ) 一吼 要 成立。由选定的集合a ( a 。) ，我们可知下面不等式 o 月( 口) 一。i n ( f ) r ( 口) 量 4 e 【嘶】， 成立。事实上，由。! n f 。) r ) q 可得 0 - 肥) _ 。i n 。f 。) ) 。张) r o p ( 口) ， 也就是说，如果事件瓦发生，那么事件r 也发生。 由定理1 可知g 。( m ) g ( r ) 成立。 由( 4 ) ， + i m 。g a ( t ) = ， 所以， 魄( s 。u p ( r ( 口) 。”( 口) ) 8 ) = 。 ( 5 ) 定理的第一部分得证。 乍下面我们用来表示事件 第4 章s u g e n o 测度空间上统计学习理论的关键定理 蕊，r ( 口) _ 。i n k r 。( 口) 卜。 则事件n 是下面两个事件的并 n = l + n 2 ， 其中 n l = n 2 = z ：蕊，矗( 瑾) 托 蕊，r ，( 口) 。 设事件川l 发生。为7 估计g a ( n , ) 的上界，我们可找到函数q ( z ，口。) ，口+ a ( c ) 使 得 脚+ ) 蕊，脚) + 差 成立。则下面不等式 脚) + 詈 三) 芝。 ( 6 ) 另一方面，如果事件2 发生，则存在函数q ( z ，口”) ，口”a ( c ) 使得下式成立： 雇( 口”) + 詈 兰) 斟未。 ( 7 ) 由定理3 及( 6 ) 、( 7 ) ，我们可知乳( ) 2 乳( n z u 2 ) 未0 。 字坤汗毕。 9 河北大学理学硕士学位论文 第5 章结论和展望 统计学习理论是2 0 世纪6 0 年代兴超的一门新的学科，它是目前研究小样本统计学 习理论的最优理论，而作为其理论基础的关键定理在统计学习理论中起着至关重要的作 用。本文以统计学习理论为基础，结合s u g e n o 测度的性质把统计学习理论的关键定理 从概率空间推广到了比概率空间更广的s u g e n o 测度空间上，主要结论如下： 1 进一步讨论了s u g e n o 测度的部分性质，给出了在该空间上的契比雪夫不等式与 辛钦大数定理； 2 在s u g e n o 测度空间上给出了经验风险泛函，期望风险泛函，经验风险最小化原 则的概念，并证明了学习理论的关键定理。 然而s u g e n o 测度空间上学习理论尚有许多工作需要进行，如： 1 统计学习理论中最有指导性的理论结果是推广性的界，因此可类似的在s u g e n o 测度空间上继续研究推广能力的界、收敛速度的界以及v c 维等； 2 在得到以上的理论结果以后就可以构建s u g e n o 测度空问上的s v m ： 3 由于本文考虑的s u g e n o 测度空间上的样本都是清晰样本，所以讨论在此测度空 间上当样本是模糊样本时的理论也是今后重要的研究方向之一。 2 0 参考文献 参考文献 盛骤，谢式千，潘承毅概率论与数理统计北京：高等教育出版社。1 9 9 9 2 梁之舜，邓集贤，杨维权等概率论与数理统计北京：高等教育出版社，1 9 9 8 3 】张学i 荚丁统计学习理论与支持向龆机自动化学报，2 0 0 0 ，2 6 ( 1 ) ：3 2 4 4 【4 】v l a d m i rn v a p n i k a no v e r v i e wo fs t a t i s t i c a l 1 l e a r n i n gt h e o r y i e e et r a n s a c t i o n so nn e u r a l n e t w o r k s 19 9 9 ，1o ( 5 ) ：9 8 8 9 9 9 5 】5 v l a d i m i rn v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y aw i l e y - i n t e r s c i e n c ep u b l i c a t i o n ，n e wy o r k ，】9 9 8 【6 】瓦* 尼克蒋，张学i i 泽统计学习理论的本质北京：清华人学出版毫 ，2 0 0 0 【7 】边肇祺，张学卜模式识别北京：清华大学出版社，1 9 9 9 【8 sr a u d y s h o wg o o da r es u p p o r tv e c t o r m a c h i n e s ? n e u r a l n e t w o r k s ，2 0 0 0 ，1 3 ( 1 ) ：1 7 1 9 9 j 9 f r a n c i se h t a y ，l i j u a nc a n a p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e si nf i n a n c i a lt i m es e r i e s f o r c a s t i n g o m e g a ，2 0 0 1 ，2 9 ：3 0 9 - 3 1 7 【l o 】s a m a r i ，s w u i m p r o v i n gs u p p o r tv e c t o rm a c h i n ec l a s s i f i e r sb ym o d i f y i n gk e r n e lf u n c t i o n s n e u r a ln e t w o r k s ，1 9 9 9 ，】2 ( 6 ) ：7 8 3 7 8 9 1 l 】g u o d o n gg u o ，s t a nz l i ，k a pl u kc h a n s u p p o r tv e c t o rm a c h i n e sf o rf a c er e c o g n i t i o n i m a g ea n d v i s i o nc o m p u t i n g ，2 0 0 1 ，1 9 ：6 3 1 - 6 3 8 1 2 1 i 柳同春，马树元支持向量机的研究现状中国图象图形学报，2 0 0 2 ，7 ( 6 ) 1 6 1 8 6 2 3 1 3 】千国肚，钟义信支持向量机的理论基础统计学习理论计算机l 程与麻川，2 0 0 1 ，1 9 ：1 9 - 3 1 1 4 】谭尔j ，谭尔汉小样术机器学习理论：统计学习理论南京理1 人学学报，2 0 0 1 ，2 5 ( 1 ) ：1 0 8 1 1 2 1 5 】牟廉明统计学习与支持向量机内江师范学院学报，2 0 0 2 ，1 7 ( 6 ) ：3 - 7 1 6 】郑红军，周旭，毕笃彦，统计学习理论与支持向量机概述现代电子技术，2 0 0 3 4 ：5 9 6 1 【1 7 】m i n g h uh a w e n g u a n gt a n g ，y u n c h a i ob a i t h ek e yt h e o r e mo fl e a r n i n gt h e o r ya b o u tf u z z y e x a m p l e s p r o c e e d i n go f 2 0 0 3i n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，：4 i a n ， c h i n a ，2 0 0 3 ，2 ：1 2 1 3 1 2 1 6 18 】哈明虎，周彩丽基于模糊样本的统计学习理论的关键定理华北科技学院学报，2 0 0 4 ，1 ( 1 ) ： 1 1 1 5 2 1 河北大学理学硕士学位论文 【1 9 m i n g h uh a y u n c h a ob a i ，w e n g u a n gt a n g t h es u b k e yt h e o r e mo nc r e d i b i l i t ym e a s u r es p a c e p r o c