（基础数学专业论文）sugeno测度空间上的一类回归估计问题的界.pdf

摘要 摘要 考虑到实际应用中大量的非可加集函数的存在性，本文在比概率空间更广的一类有 代表性的非可加测度空间s u g e n o 测度空间上进一步探讨了统计学习理论。给出了 s u g e n o 测度空间上的随机变量的条件期望和回归估计的定义：利用带加性噪声的观 测数据，建立了一个由级数展开表达的s u g e n o 测度空间上的回归估计模型。针对此模 型给出并证明了它的一个较好的界。 关键词s u g e n o 测度随机变量 结构风险最小化原则回归估计 a b s t r a c t a b s t r a c t i nv i e wo ft h ee x i s t e n c eo fal a r g en u m b e ro fn o n a d d i t i v es e tf u n c t i o n si np r a c t i c a l a p p l i c a t i o n ，s t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) i sf u r t h e rd i s c u s s e di nt h i st h e s i so na k i n do f t y p i c a ln o n a d d i t i v em e a s u r es p a c e - s u g e n om e a s u r es p a c e ，w h i c hi sw i d e rt h a np r o b a b i l i t y s p a c e 。t h ed e f i n i t i o no ft h e c o n d i t i o n a le x p e c t a t i o no f g r a n d o mv a r i a b l e a n dt h e r e g r e s s i o ne s t i m a t i o no ns u g e n om e a s u r es p a c ei sg i v e n w ee s t a b l i s ham o d e lo fr e g r e s s i o n e s t i m a t i o nb ys e r i e se x p a n s i o nu s i n go b s e r v a t i o n s 、i ma d d i t i v en o i s eo ns u g e n om e a s u r e s p a c e f o rt h i sm o d e lt h es i g n i f i c a n t l yb e a e rb o u n d sw i l lb eg i v e na n dp r o v e n k e y w o r d ss u g e n om e a s u r e ；g r a n d o mv a r i a b l e ；s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ； r e g r e s s i o ne s t i m a t i o n 河北大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得河北大学 或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了致谢。 作者签名：立芷当苎墨卜日期：卑年月l 日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他 复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 、不保密。 ( 请在以上相应方格内打“ ) 作者签名：垡基塞 导师签名： 磁 日期：早年月上日 日期：珥年月j l 日 第1 章绪论 第1 章绪论 1 1 统计学习理论的诞生及研究现状 传统的统计学方法是在样本数目足够多的前提下进行研究的，所提出的一些方法的 性能都是在样本数目趋于无穷大时才能取得理论上的保证。比如：模式识别、回归估计 及概率密度估计等。但在实际应用中，样本数目往往是有限的，假设的前提条件一般得 不到满足，当在高维空间时尤其如此，这时很多理论上不错的学习方法部分失效或难以 取得理想的结果。 v l a d i m i rn v a p n i k 1 0 1 早在2 0 世纪6 0 年代就致力于有限样本情况下统计理论的研 究，并将此理论命名为统计学习理论( s t a t i s t i e a ll e a r n i n gt h e o r y ，s l t ) 。随着该理论的 不断发展和逐步成熟，到9 0 年代中期形成了一个较完善的理论体系。它较好地解决了 如何在高维空间中有效的控制容量等的问题，并提出了支持向量机【”1 ( s u p p o r tv e c t o r m a c h i n e ，s v m ) 这种构造预测规则的通用方法。同时也由于神经网络等学习方法在理论 上缺乏实质性进展，s l t 受到了世界机器学习领域学者的广泛重视。统计学习理论第一 次强调了所谓小样本统计学的问题【3 】，为解决有限样本情况下的统计模式识别和其它的 机器学习问题提供了一个统一的框架。特别是s v m 在解决小样本、非线性及高维模式 识别问题中表现出许多特有的优势，并且能够推广到函数拟合和概率密度估计等其它的 机器学习问题中【4 】。 从开始研究s l t 至今，国外出现了许多这方面的论文，如 5 - 8 】。正是由于有很多问 题需要进一步的研究，因此统计学习理论和支持向量机正在成为国际上机器学习领域中 新的研究热点1 4 j 。 我国也早在2 0 世纪8 0 年代末就有学者注意到了统计学习理论这一领域。同时也出 现了一些这一方面的文献，如【9 1 4 】，这些文献主要是对统计学习理论进行综述性的介 绍或对实际的直接应用。可能由于这个理论所涉及的领域比较广，难度比较大，学科跨 度较宽，从开始研究到现在时间还比较短，从而导致目前可能只有少部分学者对此方向 的基础理论进行研究。 河北大学理学硕士学位论文 1 2 s u g e n o 测度空间上统计学习理论的提出及意义 尽管统计学习理论是目前学术界公认的较好的小样本学习理论，但它仍存在一些不 完善之处，如：统计学习理论是建立在概率( 一类特殊的测度，也可称概率测度) 空间 上的。众所周知，概率是一个满足可加性( 可列可加性) 的非负集函数。由于可加性条 件非常苛刻，在一些实际问题中这个条件往往得不到满足，如：对某种家用轿车进行评 判，简单起见，我们只考虑三个主要因素，即样式，安全性及价格，并由此来组成论域 u = ( 样式( u ) ，安全性( ) ，价格( ) ) ，其中 u ) ( f = 1 ，2 ，3 ) 为两两不相交的 集合。由于人的主观因素的影响，不妨规定主要因素的重要性度量( 是从un 0 ，1 】的 一个集函数) 如下： ( u ) = 0 5 ，( ) = 0 6 ，4 玑) = o 8 ，( uu ) = 0 7 ，( uu 玑) = 0 9 ， ( u ) = 0 8 ，( uu u u ) = l 。 显然有( uu ) 4 u ) + 4 v 2 ) ，这个例子从某种意义上说明了非可加集函数的 存在。目前愈来愈多的学者也注意到了建立在概率空间上的理论与应用的局限性【1 5 1 7 1 ， 因此统计学习理论尚需扩展到非概率空间上。 随着模糊测度理论的发展与日渐成熟，近年来已有一些学者把非可加测度与统计学 习理论结合起来，已初步将统计学习理论的研究从概率空间推广到了非可加测度空间 上，如：哈明虎、白云超、王鹏等【1 8 1 9 】在可信性空间上提出了经验风险最小化( e r m ) 原 则的严格一致性，并给出了此空间上学习理论的关键定理和学习过程一致收敛速度的 界。哈明虎、李嘉等【2 0 。2 1 1 也提出了在一类有代表性的非可加测度s u g e n 0 测度空间上 的e r m 原则的严格一致性，给出并证明了此空间上学习理论的关键定理。哈明虎、李 颜，李嘉等 2 5 - 2 6 】给出并证明了此空间上学习过程一致收敛速度的界。白云超、哈明虎等 【2 刁给出并证明了此空间上的结构风险最小化原则等。但是此空间上的其它一些内容还没 有被考虑到，比如回归估计问题的界、基于间接测量结果的理论等，而回归估计问题的 界是s l t 的一个重要应用。 1 3 本文的主要内容 本文结合s u g e n o 测度的基本知识与经典的推广性的界的理论，在s u g e n o 测度空间 上关键定理【2 、s u g e n o 测度空间上学习过程一致收敛速度的界【2 5 。2 6 】、s u g e n o 测度空 第1 章绪论 间上的结构风险最小化原贝u t 2 7 1 的基础上，研究了该空间上的一类回归估计问题的界，拓 展了统计学习理论的理论与应用范围。主要内容和组织如下： 1 第2 章是预备知识，介绍了s u g e n o 测度与s u g e n o 测度空间的定义，介绍了该 测度的一些基本性质和定理；分别就随机变量离散和连续两种情况介绍了 s u g e n o 测度空间上随机变量的定义，介绍了随机变量的分布函数的定义和 性质、数学期望和方差的定义和性质； 2 第3 章在s u g e n o 测度空间上的结构风险最小化原则的基础上，利用带加性噪声 的观测数据，考虑了一个由级数展开表达的s u g e n o 测度空间上的回归估计模型。 针对此模型给出并证明了它的一个较好的界。 3 第4 章是结论和展望。 河北大学理学硕士学位论文 第2 章预备知识 这一章，我们主要介绍两方面的内容。一方面是关于s u g e n o 测度的一些概念和性 质：s u g e n o 测度、s u g e n o 测度空间和单调性等，而另一方面是关于s u g e n o 测度空间 上的随机变量及其分布函数的定义和数字特征，为后面的讨论奠定理论基础。 2 1 s u g e n o 测度的定义及性质 定义i t l 7 1 设z 是一非空集合，f 是由x 的子集组成的非空类，t 是定义在f 上的 j 负实值集函数。称满足力一律( 在f 上) 当且仅当存在五( 一五品，) u 。 使得下 式成立： ( e u f ) = ( e ) + ( f ) + 五( e ) ( f ) 其中e 彳，f f ，e uf f ，且e nf = ； 称满足有限旯一律( 在f 上) 当且仅当存在上述a 使得下式成立： 怕e 、1 ： l - - i ( 。e ： 誉萎：- ( e ) 】一1 ) ：， o 引 加 舢 肛 磊 巨。丌汹以 rj、llr-_d“刈。尚 第2 章预备知识 定义3 口5 1 三元组( x ，厂，9 2 ) 称为s u g e n o 测度空间，简记为空间。 注1 从上述定义易知，在名= 0 时就是概率( 概率测度) ，且具有很强的“适应 性”，只要选择适当的参数元，它就能近似代表相当广泛的一些非可加测度，因而被许 多学者认为是很重要的一类有代表性的非可加测度【1 5 1 7 - 1 8 1 。本文以下的讨论均在g 空间 上进行，此空间上名( - 1 ，o o ) 。 定理1 【1 7 1 如果是厂上的s u g e n o 测度，则是单调的。 定理2 【1 刀如果是尸上的s u g e n o 测度，则( 彩) = 0 且满足有限旯一律。 定理3 【1 刀如果是尸上的s u g e n o 测度，则对任意e 厂和f 厂，有： 1 ) g z ( e w f ，= 巡幽睾精蒜产； 2 ( e - f ，= 笔器； 3 慨面= 丽1 - g x ( e ) 。 定义4 【1 刀设口( o ，叫。函数伊：【o ，口】一 o ，叫称为t 一函数，当且仅当矽是连续的， 且严格单调递增，口( o ) = 0 ，且当口是有限的时候8 - ( 扣) ) = 囝或者当口是无限的时候 秒q ( 和) ) = ) 。 定理4 【1 7 】对于任意一个，总可以找到一个t 一函数，使得集函数幺。乳成为一个 概率测度p ，且此r 一函数为： l n ( 1 + 2 x ) ，名0 ，。， ， 幺( x ) = 1i n ( 1 + 2 ) x 0 ，1 】。 【x ， 2 = 0 ， 显然：吼。p ，这里幺一o ) ：旦掣。 2 2s u g e n o 测度空间上岛随机变量及其数字特征 介绍了s u g e n o 测度的相关知识后，我们继续介绍s u g e n o 测度空间上乳随机变量及 其分布函数的定义，还要介绍一些数字特征，比如：g 孟随机变量的期望、方差等，为后 面的证明奠定慕础。 河北大学理学硕士学位论文 2 2 1g 五随机变量的定义及其分布函数 定义5 2 5 1 假设孝是从& 空间( x ，尸，g 五) 到实直线倪上的函数，则称孝是一个既随 机变量。 特别地，当五= 0 时，& 退化为概率测度，此时随机变量退化为随机变量。 定义6 【2 5 1 若乳随机变量只取有限个数值或可列无穷多个值，这一类变量我们称之 为离散型乳随机变量。 定义7 【2 5 】设孝是一个离散型随机变量，亦即善的一切可能值为五，x 2 ， 。= 乳( 孝= ) ( 刀= 1 ，2 ，) ，称瓯。，瓯：，g 工。，为孝的分布列。 用下表表示更为直观 表1 离散型乳随机变量的分布列 孝 西吃而 ( f = )乳。 乳。 g 。 性质1 2 5 】若孝是一个离散g a 随机变量，则 1 ) 鼠o ( 刀= 1 ，2 ，) ； 2 ) 三 再( t + 旯乳，) 一- = t ，名。， g 工，= 1 ， 名= o 。 定义8 嘲如果孝是一个g 名随机变量，则其分布函数定义为： 气( x ) = & 善x ，v x 9 t 其中吼表示实数集。 定理5 2 5 】设f 9 2 ( x ) 是乳随机变量孝的分布函数，则 1 ) 气( 功单调不减； 2 ) 吃( x ) 是右连续的。 怖瞄吲利鲻= 锗。 定义9 1 2 5 1 对于既随机变量孝的分布函数气( 功，若存在非负函数厶o ) ，使对于任 第2 苹预备知识 意实数z 有气( x ) = e f g , ( t ) d t ，则称孝为连续型乳随机变量，其中厶( x ) 称为善的密度 函数。 性质3 【2 s 3 设孝为连续型乳随机变量，则 1 ) 厶( x ) 0 ； 2 ) e 厶( x ) 出= 1 。 定义1 0 2 5 1 设孝，r 为定义在同一个空间( x ，厂，) 上的两个邑随机变量，则( 孝，7 7 ) 称 为二维岛随机变量。 定义1 1 2 5 1 设( 孝，r t ) 是- 维随机变量，对于任意实数双y ，二元函数 ( x ，y ) = g 丑 孝x ，r 力 称为( 孝，巧) 的联合分布函数。 定义1 2 2 5 】当二维随机变量( 善，r ) 只可能取有限对或可列多对值时，称二维既随 机变量( 孝，7 7 ) 为离散的。 性质4 2 5 1 令g 壤= g 五 善= 为，7 = y k ，o ，k = l ，2 ，) 则 1 ) g 膻0 ； 2 ) 去 r i = 1 lr k = 1 l ( ，+ 五g 缘) 一， = ，力。，几l j g 馥= 1 ， 允= o 。 定义1 3 2 5 1 对于二维& 随机变量( 孝，r 1 ) 的分布函数t 。( 工，y ) ，若存在非负函数 ，( z ，y ) ，使对于任意实数x ，y 有忍，( z ，y ) = 1 7r 正，( 甜，v ) d u d v ，则称( 孝，r ) 为二维连 。“，“-d-co 9 续型既随机变量，其中厶( x ，) ，) 称为( 善，1 7 ) 的密度函数。 定义1 4 2 5 1 名。( x ，y ) 为幻随机变量孝和7 7 的联合分布函数，则 f ( x ) = g a 孝 - x ，r l 和 气玎( y ) = 瓯 孝 ，r - - - y 依次称为乇( x ，y ) 关于孝和关于r 的边缘分布函数。 7 闹北大掌理学硕士学位论文 注2 p 5 】由定理5 和性质2 可以看出乳随机变量的分布函数的性质与随机变量的分 布函数的性质有的相同，有的则不同。 2 2 2 随机变量的数学期望与方差及其性质 定义1 5 口5 1 设孝是离散型既随机变量，其分布列由表l 给出。若i 薯f 既， o o ，记 ( 孝) = 葺& ，称( 孝) 为离散型乳随机变量孝的数学期望。 i = l 定义1 6 瞄1 设孝为具有密度函数厶( x ) 的乳随机变量，若e h 疋。 ) d x 。时，么2 陋( 1 + a ) + 1 】i 寿( 1 + 五) ，当 五 o 时，召= 1 。对离散的随机变量当 力 0 时，b = l + a ；当力0 时b = 1 。 定理8 1 2 5 ( 马尔可夫不等式) 若孝是非负邑随机变量，且t 0 ，则 岛 孝f ) b 墨学金。对连续的随机变量当五。时，b = # j ；当旯 。时，b = lo 对 离散的随机变量当五 0 时，b = 1 + 五；当名0 时b = 1 。 定义2 0 2 5 1 设石，磊，己，是既随机变量序列，口是一个常数。如果对任意占 0 有 河北大学理学硕士学位论文 l i mg 丑 i 厶- a f g ) = 0 ，则称 己) 依s u g e n o 测度收敛到口。 定义2 1 2 5 1 设t ：( z ) 是给定的鼠随机变量z 的分布函数，毛，乞，z ，是独立同分布的 样本。考虑函数集q ( z ，口) ，口a ，我们分别定义s u g e n o 测度空间上的期望风险泛函和 经验风险泛函为： r ( 口) 。j q ( z ，口) d ( z ) ( 2 1 ) r 。即( a ) = q ( 2 ，口) ( 2 2 ) ，暑l 对于指示函数集，( 2 1 ) 式描述了事件以= z ：q ( z ，口) = 1 ) ，口人的既测度；( 2 2 ) 式描述 了事件的频率。 第3 章s u g e n o 测度空间上的一类回归估计问题的界 第3 章s u g e n o 测度空间上的一类回归估计问题的界 统计学习方法推广性的界是统计学习理论的一个重要组成部分，主要包括基于退火 熵的依赖于分布的界、基于生长函数的与分布无关的界以及基于v c 维的构造性的与分 布无关的界【3 】。通过对界的讨论，可以得到在经验风险最小化( e t e w ) 原则下经验风险与 实际风险之间的关系，进而可以研究学习机器的推广能力。这一章我们在s u g e n o 测度 空间上的结构风险最小化原则的基础上，利用带加性噪声的观测数据，考虑一个由级数 展开表达的s u g e n o 测度空间上的回归估计模型。针对此模型给出并证明了它的一个界。 在给出此问题前，我们先看以下需要用到的有关内容。 3 1 s u g e n o 测度空间上回归估计的相关知识 定义2 2 设吣( 咖构成一实函数集，若j r 们w x ) 吃( 加 o 多三；， 则称此函数集为关于吆( x ) 的正交函数集；若除吼( x ) ，娩( x ) ，之外不存在函数 厂( x ) ( o 抄q ( 础) 吒( z ) 础x p c 华一割 础x p 牮一割 ix 入= 0 成立，其中p2 1 堕尘土望 入o x o ，1 】， 【l n ( 1 + 入) 吼叫一1 l e 。时，下列不等式依至少旦1 + a t 的s u g e n 0 测度成立。 河北大学理学硕士学位论文 肌耻“，+ 竿 ，+ 其中印h 掣。 用s 来表示函数集 s = u 瓯，假设函数集s 幸在s ( s = q ( z ，口) ，口人) ) 中对于度 量p ( q ( 乙a 1 ) ，q ( z ，q z ) ) = l j fio ( z ，q ) 一q ( 乙) i 嚷( z ) 是处处稠密的。考虑一个先验规则 船= n ( 1 ) 可用于根据给定样本数选择结构的元素个数，则有： 定理1 0 2 7 1 如果规则咒：，z ( ，) 使得l i l l l 堡盘孥型= o ，其中最是所考虑的结构的子 1 _ o o ， 集最中完全有界函数q ( z ，口) e 的上界，那么，依据结构风险最小化方法将得到这样 一系列逼近q ( z ，吖，) ) ，对这些逼近，风险序列r ( 0 4 将收敛于最小风险 r ( q 。) = 蜡j 厂q ( z ，q ) 呢( z ) 且渐近收敛速度是矿u ) = ( f ) + 最( ) j h , , ( t l n l ， 其中，；l ( ，) 是下列逼近的速度： 名= ! 基j 厂q ( z ，q ) 铘之( z ) 一聪，q ( z ，q ) 棚_ ( z ) 。 3 ，2s u g e n o 测度空间上的一类回归估计的界 由以上内容可知，结构风险最小化原则的收敛速率的界，具有数量级 w ) ：o 卜浮1 衙枷们静憾懒吼删删 性噪声的观测数据考虑一个由级数展开表达的s u g e n o 测度空间上的回归估计模型。以 下的颤随机向量均为连续型随机向量。 首先，让我们指定一个模型：我们考虑估计回归函数厂( x ，o t 0 ) 厶( f ) ，z r d 的问题， 其中，对于任何g a 随机向量而，我们有回归函数f ( x ，) 与加性噪声善之和的观测值： 咒= 厂( 鼍，) + 毫 第3 章s u g e n o 测度空间上的一类回归估计问题的界 = 0 ，2 = 盯2 ，毛勺= 0 ，( f j ) ( 3 1 ) 现在的问题是利用独立同分布的观测数据( 乃，x a ) ，( 乃，而) 估计回归函数( 这里薯是 根据飘分布函数矗( x ) 抽取的随机向量) 。 我们利用关于气( z ) 的完全正交函数集 魄( x ) ，后= 1 ，2 ，) 来定义结构s 。这一结构 的元素瓯包含下列形式的函数： 七 l ( x ，q ) = q 怫( x ) r = l 设回归函数可以用包含无限多项的级数展开来描述， 即 f ( x ，q 。) = q 。0 魄( 工) 不妨设，对于所有p ，不等式s ? 巨州x ，l c 。l 信p + ll 成立。 ， k y 令反2 【s u p s u pq ，够( x ) j 在此，我们利用泛函r ( q ) = j 厂( y 一厂( x ，q ) ) 2 呢( x ，y ) 来确定逼近的品质。设 厂( x ，群) 为在函数集最上最小化经验风险r 唧( q ) = 导( 乃- f ( x ，q ) ) 2 的函数，又设 t l = 刀( ，) 为一条用于选取与样本数有关的结构元素最的规则。则有下述定理成立。 定理1 1 设带加性噪声的回归估计模型满足条件、，则对于任何，和任何规则 刀= ，2 u ) ，结构风险最小化原则具有下列界 y 。q ) ( r ( a 7 ) - a ( a o ) ) 1 ) k 。 其中矿( d = r , ( o - t 一面n ( a o 丽- 2 - i - c 2 ) i n l = r ( a o ) - r ( c e o ) = f ( f ( x , a o ) - f ( 石，) ) 2 呢( x ) ， 丹( 1 i l 竺+ 1 ) + h a l 和乞( ，) = 4 且当枷时，一1 - 封小啬彳= 志南， 孙呲脏一一南 么= 【h ( 1 + 入) + 1 】五丽a ( 1 + 久) ， 当入= 0 时，七= 1 一a = i 。 mz 证明：用厂( x ，吖) = 口： ) 表示选自函数集s n 且最小化经验风险泛函 1 i f ，一f ，j、2 r e = l , ( 口) = 专im 一口；( - x ) i 的函数。 f - l p = l f ( x ，o t 。) = 0 ( x ) 为回归函数。 p - - 1 由咒= 厂( 五，) + 毒，= 0 ，2 = 仃2 ，瓦毫旬= 0 ， o ) 可知： 故 即 犬( 卵) 一太( a 。) = j f 厂( x ，a t ) - - f ( x ，) 】2 嚷( x ) 肌沪脚0 ) - ，( 嘉a p 0 ( x ) 一若n c i ) 咖砖) ) 2 嘎( x ) = j f 【吕n ( 1 ) ( q ；( x ) 一娣睇( x ) ) + ，蠹。( x ) 】2 峨( 苫) 由( x ) ，p = 1 ，2 ，关于分布气( x ) 是正交的，易将上式化简为： 扦( ! ) 尺( 吖) 一r ( a 。) = ( 口； p - - 1 令 以= o t ；一q ； 一q ；) 2 + ( q ；) 2 ，= ( ，) + 1 0 0 ，；，( ，) = ( q ；) 2 尹；玎( ，) + l 一( ，) 尺( 霹) 一r ( ) = 露+ ，：，( 1 ) p = 1 1 6 第3 章s u g e n o 测度空间上的一类回归估计问题的界 n ( o 为了确定上述求和式的界，首先确定第一项正u ) = 霹的。为此，我们定义一个 对应于q p 的向量p = ( 展凤( 。) ) ，并且该向量要最小化风险泛函： r 唧( p ) = ( m 一0 f ；( 薯) ) 2 由条件( 3 1 ) 不难推出： 1 1 月( ，)月( ，)1 ， r 唧( p ) = 号并- 2 ：以q + 以岛 哗( 薯概( 薯) ，= l p = lp q = l l = 1 其中q = 只( _ )只= 毒+ q p 0 ( 毛) 。 ( 3 2 ) 用k 表示协方差矩阵，其元素为，。兰( 薯) ( 鼍) ，并用g = ( g l ，g ( f ) ) r 表 示为坐标( 3 2 ) 的1 1 维向量。 则最小化经验风险的向量成( f ) = k g 。 因此，界互( ，) = i i 反( f ) l l ；= i ik - 1 g1 1 ； 0 吼旌少磷邮u g e 删帔胜。 刀( 1 n 2 l + 1 ) + l n l 其中，对于现在= 刀的结构，我们有岛u ) = 4 由( 3 3 ) 和( 3 4 ) 上述不等式可改写为： 争刚等 1 + 因此，对于特定的向量a = ( 0 ，o ，1 ，o ，o ) r ，其中l 对应于最小的特征值，有如 一式小学 1 + 跞卜一l 。时，依至少善三i 等坚褊一f 去的s u s e n 。测度成立。 因此，我们已证明了舐 y - 1 q ) ( r ( 0 4 ) 一灭( 铴”1 k 成立， 其螂，+ f n ( a o 焉 2 + c 2 两) i n l m 时，【一击) 2 + 1 一啬彳= 高南， 剐帆= 一一击 a = o 时，七= 1 一击，舾1 。 ， 2 0 么= 【1 1 1 ( 1 + 入) + l 】五i ，( 1 + 入) ， 第4 章结论与展望 第4 章结论与展望 统计学习理论是目前公认的研究小样本学习的最优理论，而作为其理论基础的推广 性的界在此理论中起着重要的作用。本文以统计学习理论为基础，结合s u g e n o 测度的 部分性质和定理，在s u g e n o 测度空间上的结构风险最小化原则的基础上，利用带加性 噪声的观测数据，考虑一个由级数展开表达的s u g e n o 测度空间上的回归估计模型。针 对此模型给出并证明了它的一个界。主要结论如下： 1 提出了乳随机变量的条件期望及s u g e n o 测度空间上的回归估计的概念； 2 给出并证明了一个由级数展开表达的s u g e n o 测度空间上的回归估计模型的界。 然而s u g e n o 测度空间上统计学习理论尚有许多工作需要进行，如： 1 随机变量的条件期望的性质： 2 s u g e n o 测度空间上的其它回归估计问题； 3 支持向量机的构建与应用。 河北大学理学硕士学位论文 参考文献 【1 】v l a d i m i rn v a p n i k a no v e r v i e wo fs t a t i s t i c a ll e a r n i n gt h e o r y i e e et r a n s a c t i o n so nn e u r a l n e t w o r k s ，19 9 9 ，1o ( 5 ) ：9 8 8 - 9 9 9 2 】v l a d i m i rn v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y aw i l e y - i n t e r s c i e n c ep u b l i c a t i o n ，n e wy o r k ，1 9 9 8 3 】瓦普尼克著，张学工译统计学习理论的本质北京：清华大学出版社，2 0 0 0 【4 】边肇祺，张学工模式识别北京：清华大学出版社，1 9 9 9 5 】s r a u d y s h o wg o o da r es u p p o r tv e c t o rm a c h i n e s ? n e u r a ln e t w o r k s ，2 0 0 0 ，1 3 ( 1 ) ：1 1 9 【6 】t a yee h ，l i j u a nc a o a p p l i c a t i o no fs u p p o r tv e c t o rm a c h i n e si nf i n a n c i a lt i m es e r i e sf o r e c a s t i n g o m e g a , 2 0 0 1 ，2 9 ：3 0 9 3 1 7 【7 】s a m a r i ，s w u i m p r o v i n gs u p p o r tv e c t o rm a c h i n ec l a s s i f i e r sb ym o d i 矽i n gk e r n e lf u n c t i o n s n e u r a l n e t w o r k s ，1 9 9 9 ，1 2 ( 6 ) ：7 8 3 - 7 8 9 8 】g u o d o n gg u o ，s t a nz l i ，k a pl u kc h a r t s u p p o r tv e c t o rm a c h i n e sf o rf a c er e c o g n i t i o n i m a g ea n d v i s i o nc o m p u t i n g ，2 0 0 1 ，1 9 ：6 3 l 一6 3 8 【9 】9张学工关于统计学习理论与支持向量机自动化学报，2 0 0 0 ，2 6 ( 1 ) ：3 2 - 4 4 1 0 】柳回春，马树元支持向量机的研究现状中国图象图形学报，2 0 0 2 ，7 ( 6 ) ：6 1 8 - 6 2 3 【l l 】王国胜，钟义信支持向量机的理论基础统计学习理论计算机工程与应用，2 0 0 1 ，1 9 ：1 9 - 3 1 【1 2 】谭东宁，谭东汉小样本机器学习理论：统计学习理论南京理工大学学报，2 0 0 1 ，2 5 ( 1 ) ：1 0 8 1 1 2 1 3 】牟廉明统计学习与支持向量机内江师范学院学报，2 0 0 2 ，1 7 ( 6 ) ：3 - 7 【1 4 】郑红军，周旭，毕笃彦统计学习理论与支持向量机概述现代电子技术，2 0 0 3 ，4 ：5 9 - 6 1 【15 s u g e n om t h e o r yo ff u z z yi n t e g r a l sa n di t sa p p l i c a t i o n s d o c t o r a lt h e s i s ，t o k y o i n s t i t u t eo f t e c h n o l o g y , 19 7 4 1 6 】哈明虎，王瑞省，张琳模糊积分在物流系统工程中的应用模糊系统与数学，2 0 0 4 ，1 8 ( 4 ) ：7 2 7 6 1 7 】z h e n y u a nw a n g , g e o r g ej k l i r f u z z ym e a s u r et h e o r y p l e n u mp r e s s ，n e wy o r k , 1 9 9 2 18 】m i n g h uh a , y u n c h a ob a i ，w e n g u a n gt a n g t h es u b - k e yt h e o r e mo nc r e d i b i l i t ym e a s u r es p a c e p r o c e e d i n go f2 0 0 3i n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，x i a l l ，c h i n a , 2 0 0 3 ，5 ：1 2 1 7 - 1 2 2 1 【1 9 】哈明虎，王鹏可能性空间中学习过程一致收敛速度的界河北大学学报，2 0 0 4 ，2 4 ( 1 ) ：1 - 6 2 0 】m i n g h uh a , j i al i ，j i n gt i a n t h ek e yt h e o r e mo fl e a r n i n gt h e o r y0 1 1 m e a s u r es p a c e s 。 p r o c e e d i n g so ft h et h i r di n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，s h a n g h a i ， 2 0 0 4 ，3 ：1 9 0 4 1 9 0 7 【2 l 】李暮s u g e n o 测度空间上统计学习理论的关键定理河北大学理学硕士学位论文，2 0 0 5 【2 2 】哈明虎，吴从戈斤模糊测度与模糊积分理论北京：科学出版社，1 9 9 8 【2 3 】m i n g h uh a , y a nl i ，h a l j u nl i ，p e n gw a n g an e wf o r mo fk n o w l e d g er e p r e s e n t a t i o na n dr e a s o n i n g 参考文献 p r o c e e d i n g so f2 0 0 5i n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ，g u a n g z h o u , 2 0 0 5 ，8 ：2 5 7 7 2 5 8 2 【2 4 m i n g h uh a , n a i j u nl i ，y a nl i ，p e n gw a n g a ni m p r o v e ds i m i l a r i t ym e a s u r ea n df u z z yr e a s o n i n g m e t h o d p r o c e e d i n g so f2 0 0 5i n t e r n a t i o n a lc o n f e r e n c eo nm a c h i n el e a r n i n ga n dc y b e r n e t i c s ， g u a n g z h o u ，2 0 0 5 ，8 ：2 5 8 3 - 2 5 8 7 【2 5 】哈明虎，李颜，李嘉等s u g e n o 测度空间上学习理论的关键定理和一致收敛速度的界中国科 学e 辑，2 0 0 6 ，3 6 ( 4 ) ：l 一1 3 2 6 】m i n g h uh a , y a hl i ，j i al i ，e t a l t h ek e yt h e o r e ma n dt h eb o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c e o fl e a r n i n gt h e o r yo ns u g e n om e a s u r es p a c e s s c i e n c ei nc h i n a ：s e r i e sf ，2 0 0 6 ，4 9 ( 3 ) ：1 1 4 【2 7 】y u n c h a ob a i ，m i n g h uh a s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l eo ns u g e n om e a s u r es p a c e p r o c e e d i n g so f2 0 0 6a s i a nf u z z ys y s t e m ss o c i e t yi n t e r n a t i o n a lc o n f e r e n c e ，b a n d i n g , 2 0 0 6 ，3 0 2 3 0 6 2 8 】c h u n f ul 氓s h e n g d ew a n g f u z z ys u p p o r tv e c t o rm a c h i n e s i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s ， 2 0 0 2 ，1 3 ( 2 ) ：4 6 4 - 4 7 1 【2 9 】k t o m o n o f i ，a s h i g e o c o m p a r i s o nb e t w e e ne r r o rc o r r e c t i n go u t p u tc o d e sa n df u z z ys u p p o r tv e c t o r m a c h i n e s p a t t e r nr e c o g n i t i o nl e t t e r s ，2 0 0 5 ，2 6 ( 1 2 ) ：1 9 3 7 1 9 4 5 【3 0 】c h i h - f o n gt s a i t r a i n i n gs u p p o r tv e c t o rm a c h i n e sb a s e do ns t a c k e dg e n e r a l i z a t i o nf o ri m a g e c l a s s i f i c a t i o n n e u r o c o m p u t i n g ，2 0 0 5 ，6 4 ：4 9 7 5 0 3 【31 】y i q i a n gz h a n g ，d i n g g a n gs h e n