（应用数学专业论文）模糊学习过程一致收敛速度的界.pdf

摘要摘要本文主要研究模糊学习过程一致收敛速度的界。首先讨论了模糊随机变量的函数及d 度量的性质；其次就损失函数集的数量为有限和无限两种情况，分别给出模糊学习过程收敛速度的界，并且给出了这些界与函数集的容量及退火熵、v c 维之间的关系；最后给出了一个特例，说明当模糊随机样本退化为随机样本时，本文得到的界和统计学习理论中的界相同。关键词模糊随机变量；d 度量；模糊期望风险泛函：模糊经验风险泛函；一致收敛速度的界a b s t r a c tt h i sp a p e rm a i n l yi n v e s t i g a t e st h eb o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c eo ft h ef u z z yl e a r n i n gp r o c e s s e s f i r s t l y , w ed i s c u s st h ep r o p e r t i e so ff u n c t i o no ff u z z yr a n d o mv a r i a b l ea n dt h a to fdm e t r i c ；s e c o n d l y , a c c o r d i n gt ot h es i t u a t i o nt h a tq u a n t i t yo fl o s sf u n c t i o ns e t sc a nb ed i v i d e di n t ot w op a r t s f i n i t ec a s ea n di n f i n i t ee a s e ，t h eb o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c eo ft h ef u z z yl e a r n i n gp r o c e s s e sa r ep r o p o s e dr e s p e c t i v e l y , a n dt h er e l a t i o n sb e t w e e nt h e s eb o u n d sa n dt h ec a p a c i t ya n dt h ea n n e a l e de n t r o p ya n dv cd i m e n s i o na l ep r o v i d e d ；f i n a l l y , w eg i v eas p e c i a le x a m p l et os h o wt h es a m e n e s sb e t w e e nt h eb o u n d si n t h i sp a p e ra n dt h o s ei nt h es t a t i s t i c a ll e a r n i n gt h e o r yw h e nf u z z yr a n d o ms a m p l e sr e d u c et or a n d o ms a m p l e s k e y w o r d sf u z z yr a n d o mv a r i a b l e ；dm e t r i c ；f u z z ye x p e c t e dr i s kf u n c t i o n a l ；f u z z ye m p i r i c a lr i s kf i t n c t i o n a l ；b o u n d so nt h er a t eo f u n i f o r mc o n v e r g e n c ei i河北大学学位论文独创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了致谢。作者签名：遁登日期：型l 年月堑一只学位论文使用授权声明本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。本学位论文属于l 、保密口，在年月日解密后适用本授权声明。2 、不保密耐。( 请在以上相应方格内打“”)作者签名：导师签名：旦盐哈塑日期：趟生年生月l l l t日期：迦上年l 月曰第1 章绪论第1 章绪论1 1 模糊统计学习理论的产生及研究现状传统的统计学研究的是样本数目趋于无穷大时的渐近理论，但在实际问题中，样本数往往是有限的，有时甚至还很有限，因此一些理论上很优秀的学习方法实际中却不尽人意。为了解决此类问压，v l a d i m i r n v a p n i k t l 3 1 等人于2 0 世纪6 0 、7 0 年代开始致力于研究小样本情况下的机器学习问题，逐步地形成了统计学习理论，到9 0 年代中期此理论发展得比较成熟并受到世界机器学习界的广泛重视 4 - 6 1 。统计学习理论所处理的数据都只是随机样本，然而在实际中，由于“人脑对于复杂的客观世界具有一种天赋的模糊测量本领” 7 1 ，因此生活中处处存在模糊信息，如经济生产的利润“非常大”“较大很低”；人们对于某事的态度“非常满意”“比较满意”“一般不满意”“非常不满意”，这些都是无法进行精确测量的，也就难以用经典数学来处理。基于经典数学的统计学习理论因为无法精确地描述和定义模糊样本，也就很难去解决基于模糊样本的问题，所以把统计学习理论扩展到模糊领域，就更符合实际情况。1 9 6 5 年美国教授l a z a d e h t 8 】发表“模糊集”( f u z z ys e t s ) 一文标志着模糊理论的产生。模糊理论一经产生就被广泛地应用到了各个领域，如农业、林业、气象、环境、医学等等。近年来模糊理论和传统统计学结合起来的处理大样本的模糊统计学 9 1 取得了较大的进展，国内外涌现出许多相关的文献，如模糊随机变量的独立性，模糊随机变量的大数定律，中心极限定理【l o _ 1 3 1 等等。但是，关于处理小样本的模糊统计学习理论的工作还较少，且主要集中在模糊支持向量机的应用方面，因此统计学习理论有着更进一步的发展潜力。许多学者已经开始注意到这些问题并积极开始了研究工作，如哈明虎、唐文广n 4 1和周彩丽 15 】等已成功地把随机样本转化为模糊随机样本，提出了模糊期望风险泛函，模糊经验风险泛函，基于模糊样本的e r m 原则和非平凡一致性的概念，给出了模糊意义下的学习理论的关键定理，文献f 1 6 】应用模糊随机变量的契比雪夫不等式给出了模糊学河北大学理学硕士学位论文习过程收敛速度的界。然而对于模糊统计学习理论的研究才刚刚起步，因此，这是一个十分值得重视并大有可为的研究领域。1 2 模糊学习过程一致收敛速度的界的提出和意义统计学习理论的核心问题就是寻找一种归纳原则以实现最小化风险泛函，统计学习方法推广性的界是统计学习理论的一个重要组成部分。收敛速度的界主要包括基于退火熵的非构造性的依赖于分布的界、基于生长函数的非构造性的与分布无关的界以及基于v c 维的构造性的与分布无关的界。通过对这些界的讨论，我们可以得到在经验风险最小化( e r m ) 原则中经验风险与期望风险的关系，进而可以研究学习机器的推广能力，这是分析学习机器性能和发展新的学习算法的重要基础。然而目前统计学习理论对这些界的研究均是在非模糊意义下得到的，当人们开始重视模糊统计学习理论的研究时，对模糊学习过程一致收敛速度的界的研究就必然成为模糊统计学习理论的重要组成部分。基于模糊统计学习理论的关键定理，对模糊学习过程一致收敛速度的界的讨论具有十分重要的意义。此收敛速度的界是结合模糊集理论和模糊统计学的知识，对统计学习过程一致收敛速度的界的推广。该界给出了模糊经验风险和模糊期望风险之间的关系，利用模糊经验风险最小化( f e i 列m ) 原则研究了模糊学习机器的推广能力，为模糊支持向量机等应用性的研究提供了理论基础。1 3 本文主要研究内容本文以模糊统计学习理论的关键定理为基础，讨论了模糊学习过程一致收敛速度的界，并较系统地把统计学习理论推广到模糊领域，即去掉样本的模糊性，一致收敛速度的界可以退化为统计学习理论中的界。文章的主要内容如下：1 提出了模糊学习问题的一般模型。本文讨论的是模糊随机样本，先构造转化器，即通过d 度量转化为随机样本，然后再进行学习。并提出了模糊学习问题的一般表示及f e r m 原则。2 在观测数据为模糊随机样本的基础上，引入改进的实损失函数集d 旧( j ，a ) ，。l 】，t 2 人，并给出了此函数集的若干性质。第1 章绪论3 就改进的实损失函数集d 【q ( ，盯) ，。 ，口a 的数量为有限和无限两种情况，分别给出模糊学习过程一致收敛速度的界，并且给出了这些界与函数集的容量及退火熵，v c 维之间的关系，较系统地将统计学习理论中界的研究扩展到模糊领域，为模糊支持向量机等应用性研究提供理论基础。4 给出特例，说明对于d x ，。1 】，特别当x 退化为正随机变量时，实函数集数量有限和无限情况下得到的一致收敛速度的界和统计学习理论中的界相同。河北大学理学硕士学位论文第2 章预备知识2 1 模糊随机变量的函数及d 度量的性质在处理实际问题时，人们经常遇到一些模糊随机现象，而这些现象用经典概率论方法得不到有效的描述和处理。为了研究现实世界中出现的这类模糊随机现象的规律，1 9 7 8 年k w a k e m a a k ( ”1 在国际上最先引入了模糊随机变量的概念，随后，许多学者也先后开展了模糊随机变量理论的研究工作【1 0 ”，17 , ”】。这里我们将讨论模糊随机变量函数的一! 性质以及模糊随机变量的一种特殊函数一d 度量的性质。定义2 1 1 9 1 在所有r 的非空子集上，对所有的a r ，b r ，a o ，b o ，定义h a u s d o r f f 伪度量为d “池卧= m a x 罂璐l “一乩溜赠l 口一蛐。定义2 2 设卢f ( r ) ，其中f ( r ) 表示月上的全体模糊集合。若f 1z m ，月】a4 x ) = 三( x ) z 月其中l ( x ) 为右连续的严格增函数，0 l ( x ) l ，月( x ) 为左连续的严格减函数，0 r ( z ) 1 ，且v o t 【o ，1 】，以是一个有界闭区间，则称为严格有界闭模糊数。记p ( x ) 皇【l ( x ) ，月( z ) 】。我们用f o ( r ) 表示月上严格有界闭模糊数的全体。定义2 3 若( ，v ) 磊( r ) 】2 ，则d ( ，v ) = s u pd h 【f 名，v 。】0 e 口s i其中心= f r i p ( t ) d 。定义2 4 一个映射x ：q 斗f o ( r ) 被称为一个模糊随机变量( fr v ) ，如果存在一个第2 苹预备知识系统 以i 甜q ，口( o ，1 ) 满足下列性质：( 1 ) 对所有的0 9 q ， 以i q ，口( o ，1 ) ) 是瓦= x ( c o ) 的一个正规集合表示；( 2 ) 删a e ( 0 ，1 ) ，映射生，a 是波雷尔可测的，其中生( ) 2 i n f a 。( o ) ) ，a 。( ) = s u p a 。( ) ，v 口( o ，1 ) 以及v q 。引理2 1 若e 是波雷尔可测集，g ( x ) 是r 上严格单调连续函数，则g ( e ) 也是波雷尔可测的。证明：由连续函数g ( x ) 的定义可知，对任意的波雷尔可测集e ，则gl ( e ) 也是波雷尔可测的。再由g ( x ) 是r 上严格单调连续函数，则g 。1 ( x ) 存在且严格单调连续。因此由g 一1 ( x ) 连续的定义可知，若对任意的e 是波雷尔可测集，则( g 一1 ) ( e ) = g ( e ) 也是波雷尔可测的，证毕。引理2 2 若x 是模糊随机变量，g ( x ) 是r 上严格单调连续函数，则g ( x ) 也是模糊随机变量。证明x ( c o ) r ( r ) ，g ( z ) 是单调函数，由文献 1 5 的引理1 有g ( ) ( ) ( r ) 。因为爿是模糊随机变量，所咀x ( c o ) 存在一个正规集合表示 以l 甜q ，吐( 0 ，1 ) ) ，且以，以对所有口( o ，1 ) 是波雷尔可测的。应用文献【9 中的引理4 ，5 ，我们得到 g ( 以) l6 0 q ，盘e ( o ，1 ) ) 是g ( x ( 出) ) 的一个集合表示。又由于 以i q ，口e ( 0 ，1 ) ) 是( ) 的正规集合表示，g ( x ) 是r 上严格单调连续函数，则塘( 以) j eq ，掰( o ，1 ) ) 也是g ( x ( 国) ) 的一个正规集合表示。记厦( 由) = s u p g ( a 。( ) ) ，邑( ) = i n f g ( a ( 0 4 ) 。若g 拈) 是月上严格单增连续函数，则有s u p g ( 么( 出) ) = g ( 五( 搿) ) ，i n f g ( a 。 ) ) =g ( d 。( 卯) ) 。因为生，以是波雷尔可测的，r g ( x ) 是月上严格单增连续函数，所以硬，芝也是波雷尔可测的：若g ( x ) 是月上严格单减连续函数，则有s u p g ( 以( ) ) = g ( 色( ) ) ，e 一河北大学理学硕士学位论文i n t g ( a 。( 国) ) = g ( l ( ) ) 。因为以，瓦是波雷尔可测的，且g o ) 是r 上严格单减连续函数，所以嚣，邑也是波雷尔可测的。综上所述，g ( x ) 也是模糊随机变量，证毕。引理2 3 ”1 设x 是模糊随机变量，贝0 d x ， 。i 】是随机变量。引理2 4 设模糊随机变量x ，i = 1 ，2 ，n ，满足s u p ( x ，( 珊) ) 。l i n f ( x , ( c o ) ) 。令( x 。( ) ) 。皇( 五) 。( 脚) = ( o 。) 。( ) ，( 眭) 。( 国) ，v i = i ，2 ，- ，挖，则nnd 【x ，知 = d x ，f 0 ) 】。证明：v ，d x ( a o ，o l 】= s u p d h ( 工( 出) ) 。， o j 。0 j 口到由d 。的定义知：d h 【( z ( 脚) ) 。， o ) 】= s u p l ( x ( ( o ) ) 。l ，v 口( o ，1 ) ，当x 满足s u p ( ( ) ) 。l i n f ( ( 曲) ) 。l 时，有办 ( 戈( 国) ) 。， o 】：s u p ( 上( 甜) ) 。，v 岱( o ，1 ) 。 f r o ) ，d 【置( 口) ， 。 】= 2 u k 如 ( x ，( 国) ) 。， o f ：lo g a g j ：1= s u ps u p ( z x ，( ) ) 。o s a - 1，1= s u ps u p ( ( 置) 。) ( 珊)o 口鲥一i= s u p ( s u p ( z ) 。) ( 珊)o e ；a s l ；12 。s u p 孵( u p ( 置) 。) ( )：主研一，( ) ，。1证毕。引理2 5 设模糊随机变量，满足s u p ( z 佃) ) 。2 l i n f ( x 旧) ) 。l ，并且也佃) = 。( 础)吒( m ) ，g ( x ) 是单调连续函数，满足s u p ( g ( x ( ) ) ) 。i i n f ( g ( x ( 山) ) ) 。f ，则d i g ( x ) ，o 】= g ( d x ，7 0 ) 】) 。证明：v o ) ，d 【g ( x ( 国) ) ，j o = s u pd h 【( g ( x ( ) ) ) 。， o u e 口l= s u ps u p ( g ( x ( o o ) ) 。= s u ps u p g ( 瓦( m ) ) 。由于g ( x ) 是单调连续函数，则上式= g ( s u ps u p ( 爿乙) ) ) = g ( d x ，如，】) ，证毕。”g s lf x l1 z 2佰o2 1 设五( z ) 2 3 一x： 二 3 ，( x ) = 主。1 0其它一一；f f n d 1 t ， o = 3 ，f ( d a ， o ) = 昙：另一方面，( 一) ( y ) =12 y 一1 y 13 2 yl y j 3 ，d 厂( j ) ， o ) = j 3 。0其它目u d 厂( j ) ， o 】；f ( d a ， o 1 ) 。例2 , 2 设2 ( 0 =1 + 2 xl x0方面d i 2 ， o 】= 1 ，f ( d a ， o ) = e，) 一方面，( j ) ( y )11 + 2 i n ye2 y 11 一l n y1 y e ，d 【厂( 一) ， o 1 = p 。0其它即d f 厂( j ) ， o 】= f ( d a ， o ) 。=， 一 ) = 0v 占 0 。 蛐d e 1 0 第3 章模糊学习过程一致收敛速度的界第3 章模糊学习过程一致收敛速度的界学习过程一致收敛速度的界是统计学习理论的核心内容，这些界是关于经验风险和期望风险的关系的重要结论，为研究学习机器的推广能力奠定了基础。在本章中，我们将就改进的实损失函数集哪q ( i ，口) ，。 】，口e a 的数量为有限和无限两种情况，分别给出模糊学习过程一致收敛速度的界，并指出这些界与函数集的容量、退火熵及v c 维之间的关系。在这一章，我们假设所讨论的模糊随机变量五，五，以是相互独立的，并且满足引理2 5 的条件。由引理2 9 可知随机变量d 【五，o l 】，d x 2 ，o ) 】，d 【咒，o l 】也是相互独立的。3 1 实函数集数量有限情况下的界3 1 1 基本不等式引理3 1 ( m a r k o vi n e q u a l i t y ) 若讲x ，o ) 】是非负随机变量，且f 0 ，则p d x ，。，】吩掣。目l 理3 2 ( h o e f f d i n g si n e q u a l i t y ) 假设随机变量d 【置，o o 】1 ，d g ，o ) 1 ，d 【以， 】相互独立。设瓯= d 【z ，。 】= d 隅，j 】，且e s = 尉 置，。 】= e d x ，。l 】，则v t 0 ，五 0 ，有p ( 最一巩略“g e ( e x p a ( d k ，w e d x , ，训) 】) 。证明：p 鼠一e 叉f )河北大学理学硕士学位论文= p e 。品一5 黾p “e - a t e e x ( s - 晖】= e 一“e e ) 【p 【五( d 【置， 。l 卜e d x , ，。) 】) 】)= p 一“e e x p 【z ( d 【五，0 1 - e a x , ，。j ) 】)i m i= p f l e ( e x p t z ( a t x , ，知l 】一e d x 一，j 0 】) 】)证毕。引理3 3 【1 9 1 若随机变量x 的均值为0 ，即e x = o ，且x 介于 a ，b 之间，则对于任意a 0 ，有盯口 2 ( 2 培。和引理3 4 若有界随机变量d 置，。】 口f ，6 】，i = 1 ，2 ，玎，满足d 墨，。】，d x 2 ， 。) 】，d 【置，j 1 相互独立，则v f 0 ，有p 咒一e s t e x p2 f 2( 魂一q ) 2p 溉一碱一f 0 ，( 岛一q ) 2f = l第3 章模糊学习过程一致收敛速度的界我们可以得到类似地，我们可以得到证毕。p 爵一e 鼠r ) 兰e x pp 最- ：e s - t ) e x p2 r 2( 6 j q ) 22 f 2( 6 j q ) 23 1 2 有限情况f 的界由以上引理，我们可以得到：良。( 口) = d 咛q ( 乏，口) ，。l 】= 讲q ( 互，口) ，。 1l - lf - l孟( 口) = d 豆q ( j ，口) ，o 】= j e d 【q ( ，口) ，。 】其中q ( f ，口) ，口a 满足引理2 5 的条件。假设有界随机变量d 【q ( 乏，口) ，。1 】【 ，明，i = 1 2 “，z 独立同分布，则! 掰【q ( 毛，口) ，o ) 】= e d 【q ( i ，口) ，o 】。由引理3 4 ，令q = a ，i = b ，我们可以得到：v t 0p 霹。( 口) 一j | i ( 口) f ) ：p ；( 昌一e s ) 辞= 粥一嬲狮e x p 一可丽2 t 2 1 2 = 唧 啬) 。2 唧1 面虿j 。河北大学理学硕士学位论文类似地，可得：跗( 矿( 啦邮e 冲鹧) o定理3 1 设讲q ( z ，略) ，。 】，k = l ，2 ，n 为函数集，以下不等式( 咿酏麒) 睁硒沪( 哪( ) 降以至少1 一r l 的概率成立。证明：v t 0 ，p s u p ( 如。( ) - r ( a d ) f )l 矗。np 再。( ) 一蠢( 鲰) 。纵x p 器 o我们把这个不等式写成等价的彤式，对于所有的o r 占) s 一争。证明：p p ( z 2 1 ) s 一争= 1 2 ( 2 t ) , h o j 砚矿( z 2 。) 一s + 妒( d 暖”，1 】)考虑到d 2 ( 2 f ) ，。) 】是d 眨( f ) 。 和饥乏( f ) ，。j 】的直积，由富比尼定理，即 ( z 2 ) s 一= c 晴( f ) 。，】a f ( a 2 , ，。 】) l 乏( ) 。 】研p “( z 2 7 ) 一s + d f ( d 2 ：， 。 ) 。用r 代表空间z i ( f ) 中的事件：f = d 匮，1 1 ：矿( z 1 ) 占 ，减少积分域我们得到：尸 矿( z 2 1 ) 占一；) f 卵( d 2 1 ，0 】) l 2 2 ( ) , l t o ) l 9 p ( z 2 1 ) 一p + d f ( d 2 ：f ，0 l 】) 。泔i = 如。，研以z 2 t ) 一占+ ( d 2 2 ， )p ( a ) 2 p j 【q ( i ，口+ ) ，。) 卜f l a f ( d j ，。 】) ，口a 。由于石“( z 1 ) s ，所以存在口人使得l p 陋) 一v ，z 1 ) i 占，则i _ _ 。o s u p p a ( 啦2 ) _ 占+ 渺( d 之。，0 】) 乏( f ) ， 刚p p “( 口* ，三2 1 ) 一占+ w ( d g 。，( 。 】) 。现在，设p ，z 1 ) s 一；的充分条件是关系式y 位，z 2 ) 户 + ) 一；成立。由此我们可以得出：河北大学理学硕士学位论文j 如帆，。印( 口，z ：) 州口) 十抄( 啦： o 】) = 即( 口+ ，z 2 ) 即卜争= c f v ( = ) 耶一p ( a ) r 寺，( n ) 。进而我们可以得到坳凇2 i ) s 一弘圭工扭( 讲别，】) - 扣疗“( z 0 吼证毕。p s u p 理( e , , o r ) , t o ， - f l d f ( 邢f 0 j ，一7 1 善i 口( 嘲o 】一) | 占) = 厶 小即“( z 2 。) 一瓦妒( 啦“，驯) 。因为d 【z ”， 1 到自身的映射，即序列d 【z “， 。l 】的元索的置换z 有( 2 f ) 1 个，由测度定义的对称性，对可积函数( d f z ”，。l 】) 有b 口1 1 俐萨。1 ) d f ( d z 2 1 , )吐 。l 旭舻7 ，矽( 廿7 ，= 1 ，2 ，( 2 1 ) 2a注意到p；p。z。，：羔兰三堡兰尘!竺!：!茎芸掣o p “( z z 2 7 ) 一瓦】2k ， o ) 】上l 两广钟( d 。 三2 1 ”il 】) ，c z 2 ，) - 小骤睦目f 啦c 和蝴m ) 一7 1 磊2 1 口 倒和蜘m 卜= s u p p 峰口 啦( 和塥m 一7 1 善2 1p 啦( 和m h= s u p o p “( z 2 1 口) 一只】，0 d q ( 5 ，) ，。 卜 与口 d q ( z ，) ，。 卜 在样本d 毛，。 】，d 5 2 ， 。1 ，一，d 乏， 。 】上不可分，则p “( 1 2 2 。；) = p “( 7 ：z 2 7 ；)v t , ，i = l ，2 ，( 2 ，) ! 。换句话说，若两个函数关于样本d 【乏，。 】，d 之， 。 】，d 5 2 ，f 0 】是等价的，则这两个函数之间的频率偏差对于所有的置换z 都是相等的。所以从每个等价函数类e e _ i g l r - -个函数p 饥q ( z ，口+ ) ，。j 】一纠组成一个有限函数集口 讲q ( 三，a + ) ， 。j 一 ，盯”ca ，使得s u p p “( 正z 2 。；c r ) = s u pp “( z 2 ；o r ) ，i = 1 ，2 ，一，( 2 7 ) ! ，集合人+ 中的函数的数目是有限的，且不超过( 研乏，。l 】，d 5 2 ，。 】) as u p 0 p “( z z 2 7 ；a ) 一b - s u po p “( 正z 2 ；盯+ ) 一】( a 有限，上确界可以达到)口e 一e a o d “( 7 ：z 2 7 ；口+ ) 一e 】，g e ( 2 ，) 口 p “( z z 2 。) 一】从而上l 面广一2f 2 ，) os u po p “( 1 z ”，口+ ) 一忙l 口e a( 2 ，) f( 2 ，) !( 2 ，) !o p “( z z ”，口) 一】研p “( 巧z ”，口。) 一t 生j 曲二一一= yj 三i 一，一( 2 ，) !o t 厶 e a ( 2 ，) f河北大学理学硕士学位论文s 目- 目_ l i i e 目- 自l 目i 自l _ - 自i _ _ - i _ _ l _ _ i _ - _ | _ | ! l l - ! i ! i - 。! g _ - ! | ! !记r ：掣；警m 争爿吲，记r = 型= 一；y ! m 勘f t 拦! ! 、，1 ( 2 ，) !争q ，”i ，f “其中m 是集合饥毛，。j 】，d 【乏，。j 】中满足口 讲q ( 弓，口+ ) ， 一声) = l 的元素以弓， 卅】的个数，而r 2 e x p 一蠢b ( 此式参见文献 1 的1 6 3 页) 。因此我们可以得到f 2 ，!占【p “( z z ”，口) 一b 二且_ 矿一 瓦 拈4 喇华唯一扣，证毕。定理3 4 尸 s u p 降 ) 一k 以) l 占) 0p s u ，肚p ，( p d t q ( 毛口k ，一卢妒_ 匠】) 一；喜口 饥q c 互，搿) ，o ) 】一卸) 南)和定理3 3 ，可得：p 裂只( p r 烈乏毗 妒( d 匠】) ；喜d 【q c 乏，口，】 s p ) h成立f 3 1 ，因此我们可以得到下列可构造性的界：p s u p l 2 ( a ) - k ( 口炒i 水4 e x p ( - h ( 1 n t h + 一1 ) 一( 南一争：) f ) ，讹随郴卅厍耍l + t ( b - a )第3 章模糊学习过程一致收敛速度的界地坷一叫瓜h 巫4 + 浮+ 半。3 4 实例设三角模糊数石定义为：l x 一( 口一1 )口一1 s 工d厅( x ) = r 订+ 1 ) 一x口 x s a + 1l o其它产生器抽取5 个模糊数：i ，毛，互，s ；训练器相应返回5 个模糊数：i ，否，订。通过转换器把模糊样本转化为确定样本：d 【i ，o l 】：2 ，3 ，4 ，5 ，6 ：d y ，o ) 】：3 ，6 ，7 ，1 0 ，1 2 。懒棚驰m 羽= 譬勰苗善挣扎c 实函数构造指示器函数，方法类似)第一种情况：函数集有限，其中d 眵，o 】= 口d 【量，o ) 】，口a ，a = 1 ，2 ，3 ，4 ) 。当口= 2 时，使得模糊经验风险泛函最小，即良。( a a = d 唼q ( 薯，a ) ，w = d 【q ( 暑，a ) ，如l 卜专，151j1一致收敛速度的界为j i i ( q ) 詈+ 堕等生以至少l 一叩的概率成立。设最小化模糊期望风险泛函的函数为讲q ( 三，) ，。 】，则蠢慨) 坷) 2 浮以至少1 2 玎的概率成立。第二种情况：函数集无限，其中d y ，。l 】= 呸d 晴，i t 。j + ，呸人，a 为任意整数集。 可北大学理学硕士学位论文当= 2 ，口：= 0 时，使得模糊经验风险泛函最小，即良。( 嘶) = 畦q ( 乏，口) ，= d q ( 乏，甜) ，= ；ol i lj 吐j指示损失函数集的v c 维为2 ，一致收敛速度的界为豆( 嘶) 昙+)1上5以至少1 - 聍的概率成立。设最小化模糊期望风险泛函的函数为d 【q ( z ，) ，j 1 ，则r ( 甜1 ) 一r ( a o ) 蔓以至少1 2 r l 的概率成立。下面我们给出本文的一个特例。棚m 删地当x 退化为随机变鼽酬圳= 器：i 粥，则( ( ) ) 。= x ( c o ) 。v 国，d p ) ，钿13 i 墨如“彳( 甜) ) 。， o 】2 熙s u p f ( x ( 脚) ) 。0 n 鲥”= p ( 国ls u p ( x ( t a ) ) 。 i n f ( 盖 ) ) 。l 成立，即x 为正随机变量时，有v 国，d 时( 珊) ，。 】2 ( ) ，四j d x ，。 】2 xa因此我们可以得到统计学习理论中的经验风险泛函和期望风险泛函第3 章模糊学习过程一致收敛速度的界r e m p ( 口) = d 弓q ( 五，口) ，。 】= d 【q ( ，口) ，。i 】= q ( 互，a ) ，a e 人，j = l1 = 1f _ lr ( 口) = d e q ( z , a ) ，o 】= e d q ( z ，口) ，o l 】= e q ( z ，口) ，口a 。进而可以得到实函数集数量有限和无限情况下的界和统计学习理论中的界是相同的。以上特例表明，当满足条件s u p ( z ( ) ) 。i i n 坟工( 珊) ) 。的模糊随机变量x 退化为随机变量时，在实函数集数量有限和无限情况下的致收敛速度的界和统计学习理论中的界相同。河北大学理学硕士学位论文第4 章结论与展望本文首先提出了模糊统计学习问题的一般模型，把模糊随机样本通过d 度量转化为随机样本，并引入改进的实损失函数集d f q ( j ，口) ，。) ，口e a 。然后在改进的实损失函数集的数量为有限和无限两种情况下，分别给出模糊学习过程致收敛速度的界，以及这些界与函数集的容量及退火熵、v c 维之间的关系。本文给出的模糊学习过程致收敛速度的界回答了以下两个问题：( 1 ) 得到最小的模糊经验风险泛函的函数所提供的模糊期望风险是什么? ( 2 ) 对于给定的函数集，这个模糊风险与最小可能的模糊风险有多接近? 最后以特例说明了当满足本文条件的模糊随机变量x 退化为随机变量时，在实函数集数量为有限和无限情况下的一致收敛速度的界和统计学习理论中的界相同，这就意味着较系统地将统计学习理论中界的研究扩展到了模糊领域。虽然本文讨论了以上问题，但其中还有许多不完善之处，尚待进一步解决，例如：1 本文要求模糊随机变量的函数是严格单调连续的，因为只有在这种情况下，模糊随机变量的函数仍是模糊随机变量：要求模糊集为严格有界闭模糊数；还要求模糊随机变量满足条件s u p ( ( ) ) 。i i n f ( x ( e o ) ) 。i ，这在特例中我们也得到了验证，即当x 为正随机变量时，才有盯【彭，f 0 i 】可以退化为x 。这些条件限制了理论的应用范围。2 同关键定理一样，本文给出的推广性的界是对于最坏情况的结论，如果函数集仅包含坏函数，则这些界不能再改迸，讨论一般情况下的界将是今后的考虑内容。3 本文还没有涉及到模糊支持向量机的研究，今后的研究重点将是模糊支持向量机的研究及其实际应用。参考文献j e ! ! ! ! ! j - ii e e ! 目| j 目，目! j ! ! ! ! d e 墨参考文献 1 】v l a d i m i rn v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y aw i l e y i n t e r s c i e n c ep u b l i c a t i o n ，n e wy o r k ，1 9 9 8 2 lv l a d i m i rn v a p n i k t h en a t u r eo fs t a t i s t i c a ll e a r n i n gt h e o r y s p r i n g e r - v e r l a g ，n e wy o r k ，1 9 9 5 【3 瓦普尼克著，张学工译统计学习理论的本质北京：清华大学出版社，2 0 0 0 4 】4 张学工关于统计学习理论与支持向量机自动化学报，2 0 0 0 ，2 6 ( 1 ) ：3 2 4 2 5 1 谭东宁。谭东汉小样本机器学习理论：统计学习理论南京理工大学学报，2 0 0 1 ，2 5 ( 1 ) ：1 0 8 1 1 2 【6 j 6 边肇祺，张学工等模式识别北京：清华大学出版社，2 0 0 0 7 】刘普寅。吴盂达模糊理论及其应用长沙：国防科技大学出版社1 9 9 8 8 】l a z a d e h f u z z ys e t s i n f o r m a t i o na n dc o n t r o l ，1 9 6 5 ，8 ：3 3 8 3 5 3 9 】r u d o l f k r u s ea n dk l a u sd i e t e rm e y e r s t a t i s t i c sw i t hv a g u ed a t a d ，r e i d e lp u b l i s h i n gc o m p a n y ，1 9 8 7 【1 0 】c h a o - m i n gh w a n ga n dj i n g - s h i n gy a o i n d e p e n d e n tf u z z yr a n d o mv a r i a b l e sa n dt h e i ra p p l i c a t i o n f u z z ys e t sa n ds y m e m s ，1 9 9 6 ，8 2 ( 3 ) ：3 3 5 3 5 0 【1 1 1y u n k y o n g k i m as t r o n g l a w o f l a r g e n u m b e r s f o r f u z z yr a n d o mv a r i a b l e s ，f u z z ys e t sa n ds y s t e m s ，2 0 0 0 ，1 1 1 0 ) ：3 1 9 3 2 3 【l2 】h s i e n c h u n gw u t h el a w so fl a r g en u m b e r sf o rf u z z yr a n d o mv a r i a b l e s f u z z ys e t sa n ds y s t e m s ，2 0 0 0 ，1 1 6 ( 2 ) ：2 4 5 - 2 6 2 【l3 】v o l k e rk r a t s e h m e r l i m i tt h e o r e m sf o rf u z z y r a n d o mv a r i a b l e s f u z z ys e t sa n ds y s t e m s ，2 0 0 2 ，1 2 6 ( 2 ) ：2 5 3 2 6 3 【1 4 1m i n g h uh a , w e n g u a n gt a n g ，y u n c h a nb a l t h e 研t h e o r e mo fl e a r n i n gt h e o r ya b o u tf u z z ye x a m p l e s p r o c e e d i n go f2 0 0 3i n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，x i a n ，c h i n a ，2 0 0 3 ，2 ：1 2 1 3 - 1 2 1 6 【1 5 1 周彩丽模糊学习理论的关键定理和一致收敛速度的界河北大学理学硕士学位论文，2 0 0 4 1 6 】m i n g - h u h a , j i n g t i a n ，j u n - h u a l i ，t h eb o u n d s o n t h er a t eo f e o n v e r g e n c eo f l e a r n i n g p r o c e s sa b o u t- 2 7 河北大学理学硕士学位论文f u z z ye x a m p l e s p r o c e e d i n g so ft h et h i r di n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，s h a r i g h a i ，c h i n a ，2 0 0 4 ，3 ：1 9 0 8 1 9