（基础数学专业论文）复学习理论的关键定理和学习过程一致收敛速度的界.pdf

摘要 摘要 基于实随机变量的统计学习理论现己被公认为是处理小样本学习问题的最佳理 论，它已成为国际机器学习领域新的研究热点。但它难以讨论和处理客观世界中大 量存在的复随机样本的小样本学习问题。本文给出了复随机变量及其分布函数、期 望和方差的定义及性质，证明了复随机变量的m a r k o v 不等式、c h e b y s h e v 不等式和 k h i n c h i f i e 大数定律；给出了基于复随机变量的经验风险泛函、期望风险泛函以及 e r m 原则严格一致收敛的定义，在此基础上给出并证明了基于复随机变量的学习理 论的关键定理和学习过程一致收敛速度的界。为系统建立复统计学习理论奠定了理 论基础。 关键词复随机变量；经验风险最小化原则；关键定理；一致收敛速度的界 人b s t r a c t a b s t r a c t t h es t a t i s t i c a ll e a r n i n gt h e o r yb a s e do nr a n d o mv a r i a b l ei sg e n e r a l l yc o n s i d e r e da s t h eo p t i m u mt h e o r yo ns m a l ls a m p l e ss t a t i s t i c a le s t i m a t i o na n dp r e d i c t i o nl e a r n i n g i th a s b e c o m ean e wr e s e a r c hh o ts h o to fi n t e r n a t i o n a lm a c h i n el e a r n i n gf i e l d b u tt h ec l a s s i c a l l e a r n i n gt h e o r yc a nn o td e a lw i t hs m a l ls a m p l e sl e a r n i n gq u e s t i o n sb a s e do nc o m p l e x r a n d o mv a r i a b l ew h i c hw i d e l ye x i s ti nt h eo b j e c t i v ew o r l d i nt h i sp a p e r , f i r s tt h ed e f i n i t i o n sa n ds o m ep r o p o s i t i o n so ft h ec o m p l e xr a n d o m v a r i a b l e ，t h ed i s t r i b u t i o nf u n c t i o n ，t h em a t h e m a t i c a le x p e c t a t i o na n dv a r i a n c ea r eg i v e n t h e nm a r k o v si n e q u a l i t y , c h e b y s h e v si n e q u a l i t ya n dk h i n c h i n e sl a wo fl a r g en u m b e r s a r ep r o v e na n dt h ed e f i n i t i o n so fe x p e c t e dr i s kf u n c t i o n a l ，t h ee m p i r i c a lr i s kf u n c t i o n a l a n de r ms t r i c tc o n s i s t e n c ya r eg i v e n l a s t ，o nt h eb a s i so ft h e s e ，t h ek e yt h e o r e mo f l e a r n i n gt h e o r yb a s e do nc o m p l e xr a n d o mv a r i a b l e a n dt h eb o u n d so nt h er a t eo f c o n v e r g e n c eo fl e a r n i n gp r o c e s sa r ep r o p o s e da n dp r o v e n k e y w o r d sc o m p l e xr a n d o mv a r i a b l e ；e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ； k e yt h e o r e m ；b o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c e 河北大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名：丕丝塑日期：盟年月j l 日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密i - i ，在年月日解密后适用本授权声明。 2 、不保密一。 ( 请在以上相应方格内打“”) , f 4 e 者签名：垄堕煎日期：堡砰上月上日 导师签名：j 望幺熏l _ 一日期：耳年厶月上日 第1 章绪论 第1 章绪论 1 1 统计学习理论的产生及研究现状 传统的统计学研究的是渐近理论，即当样本数目趋于无穷大时的极限特征。而在多 数实际问题中，样本数目往往是有限的。此时一些理论上很优秀的学习方法在实际应用 中得不到好的结论，甚至得出的结论是错误的。为了解决这类问题，v l a d i m i r n v a p n i k 等人【h 】从2 0 世纪6 0 - 7 0 年代开始致力于研究针对小样本的机器学习问题，到9 0 年代 中期，有限样本情况下的机器学习理论研究逐渐成熟起来，形成一个较完善的理论体系 统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y , 简称s l t ) ，它是研究利用经验数据进行 机器学习的一种一般理论。该理论针对小样本统计问题建立了一套新的理论体系，在这 种体系下的统计推理规则不仅考虑了对渐近性能的要求，而且追求在现有有限信息的条 件下得到最优结果。正是由于统计学习理论较系统地考虑了有限样本的情况，与传统统 计学理论相比有更好的实用性，因此该理论受到世界机器学习界的广泛重视，出现了许 多该方面的文章【5 9 】，并成为继神经网络研究之后新的研究热点，有力地推动了机器学 习理论的发展。 统计学习理论的核心问题是寻找一种归纳原则以实现最小化风险泛函，从而实现最 佳的推广能力。在6 0 年代很多学者认为使学习机器具有好的推广能力的唯一因素就是 使它在训练集上的误差最小，因此经验风险最小化( e 蹦) 原则成为以往机器学习理论 的核心。但是事实上，如果学习机器能力过强，能够无误差地适应任意的训练样本，就 会导致科学哲学中不可证伪的情况。这是因为它所采用的函数集过于复杂，对任何训练 样本都保持高精度的辨识能力本身就蕴含着对工作样本所作预测的不可靠性。v a p n i k 提 出了v c 维的概念来标志函数集的复杂程度，并用这个概念给出了与分布无关的学习机 器推广能力的界。v c 维的概念是统计学习理论的一个核心概念，在此概念基础上发展 出了一系列关于统计学习的一致性、收敛速度、推广性能等重要结论。支持向量机 ( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 方法就是在统计学习理论的基础上发展出来的一 种基于统计学习理论的v c 维和结构风险最小化原则下的学习方法，其推广能力明显优 河北大学理学硕十学位论文 于一些传统的学习方法。近年来s v m 方法在许多方面都有应用，如模式识别i l o ，l l 】、函 数逼近【1 2 1 、电力电子领域【1 3 1 等。支持向量机j 下成为国际上机器学习领域新的研究热点。 统计学习理论从七十年代术诞生到九十年代之前都处在初级研究和理论准备阶段， 近几年才逐渐得到重视，其本身也趋向完善。越来越多的人认识到统计学习理论这一重 要的研究方向，并积极开展了自己的工作。哈明虎、白云超、王鹏【1 4 ，”j 等已成功地将统 计学习理论从概率空间推广了到可能性空间，提出了可能性空间上学习理论的关键定 理，并讨论了学习过程一致收敛速度的界；哈明虎、李嘉等i l6 j 己成功地将统计学习理论 中的概率空间转化为s u g e n o 测度空间，提出了s u g e n o 空间上统计学习理论的关键定理； 哈明虎、李颜等【l7 】在s u g e n o 空间上讨论了学习过程一致收敛速度的界。另一方面，现 有的统计学习理论是基于随机样本的，故难以处理客观世界中大量存在的基于带噪声、 模糊、粗糙等不确定小样本的学习问题。因此，基于带噪声、模糊、粗糙等不确定样本 的统计学习理论也自然成为国内外许多学者研究的课题，哈明虎、李俊华等【l8 】给出了基 于带零均值噪声样本( 数据) 的统计学习理论的关键定理，讨论了基于带零均值噪声样 本( 数据) 的学习过程一致收敛速度的界；哈明虎、田静等”9 】给出了受噪声影响的模糊 样本学习理论的关键定理；哈明虎、田静、唐文广等【2 0 2 2 1 给出了基于模糊样本的学习理 论的关键定理和学习过程一致收敛速度的界；刘扬、王英新等【2 3 】给出了基于考h 糙样本的 学习理论的关键定理和学习过程一致收敛速度的界。 1 2 复统计学习理论的提出及意义 统计学习理论是建立在概率空间上基于实随机样本的，应用的是实随机变量，被认 为是处理小样本学习问题的最佳理论，并由此理论发展出的支持向量机己成为一种通用 的学习方法。但是该理论难以处理客观世界中大量存在的概率空间上或非概率空间上的 基于带噪声、模糊、粗糙、复随机等不确定小样本的学习问题。到目前为止，尚未发现 研究基于复随机样本( 复随机变量) 的统计学习理论的文献。众所周知，复数是实数的实 质拓广，复随机变量是实随机变量的重要推广，随着科学和技术的进步，复数理论已越 来越显出它的重要性，它不但对于数学本身的发展有着极其重要的意义，而且在流体力 学、电学、机翼理论等实际问题中也充分显示了它的重要作用 2 4 引】。因此，把基于实随 机样本的统计学习理论推广为基于复随机样本的统计学习理论具有重要的理论意义和 第1 章绪论 广阔的应用前景。本文率先探讨了基于复随机样本的统计学习理论，研究了统计学习理 论四部分主要内容的前两部分，给出了基于复随机样本的学习理论的关键定理，讨论了 基于复随机样本的学习过程一致收敛速度的界，为系统建立复统计学习理论并构建复支 持向量机奠定了理论基础。 1 3 本文主要内容 本文主要讨论了复统计学习理论的关键定理及学习过程一致收敛速度的界。首先给 出了复随机变量的一些基本概念和几个重要的不等式；在上述定义的基础上，给出了复 统计学习理论的期望风险泛函，经验风险泛函，e r m 原则，非平凡一致性和单边一致收 敛等概念，并提出和证明了复统计学习理论的关键定理；最后给出了该条件下的学习过 程一致收敛速度的界，这个界描述了采用e r m 原则的学习机器的推广能力。具体安排如 下： 1 、在第2 章提出了复随机变量的定义及一些性质。同时给出并证明了复随机变量 的几个重要不等式； 2 、在第3 章中给出了复统计学习理论的期望风险泛函、经验风险泛函、e r m 原则 和非平凡一致收敛等基本概念，给出并证明了复统计学习理论的关键定理； 3 、在第4 章中讨论了复统计学习理论学习过程一致收敛速度的界。给出了复指示 损失函数和完全有界复可测函数的界。 河北大学理学硕十学位论文 第2 章预备知识 这一章，我们主要介绍复随机变量的一些基本概念和几个重要的不等式，为以后的 讨论奠定基础。 2 1 复随机变量的一些基本概念 定义2 1 【3 2 l 设q 是一个基本事件集合，厂是q 的一些子集构成的盯一代数，尸是q 上的概率测度，则称q 为基本事件空间，( q ，尸) 为可测空间，( q ，尸，尸) 为概率测度空 间。 定义2 2 t 3 2 】设( q ，厂，尸) 为概率测度空间，孝= 4 ( c o ) ，c o q 是定义在q 上的实值函数， 且对于任意实数z 有 c o ：亭( 彩) x ) r ， 则称f 为( q ，厂，p ) 上的实随机变量。若f = r + ，而7 7 ，f 是( q ，尸，p ) 上的实随机变量， 则称孝为( q ，厂，尸) 上的复随机变量。 定义2 3 3 2 1 设善= r + i f f 为( t a ，厂，p ) 上的复随机变量。曩( x 1 ) ，e ( x ：) 分别是刀和f 的 分布函数，对于任意复数x = 一+ 鸩，我们定义 互( 而) + 嘎( x 2 ) 为古的分布函数，记作f ( x ) 。即 ，( 力= 巧( 五) + 幔( ) 。 定义2 4 设( q ，厂) ，( z ，日) 是两个可测空间。其中z 是复数集，b 是z 的一些子 集构成的盯一代数，厂是q 到z 的映射，如果对一切b 口， 缈q ：f ( c o ) b r 则称是( q ，厂) 到( z ，日) 的复可测函数。 性质2 1 吲f = g + i h 是( q ，厂) 上的复可测函数的充分必要条件为g ，h 分别是 ( q ，厂) 上的实可测函数。 第2 苹预备知识 性质2 2 孝= r + 是概率空间( q ，厂，尸) 中的复随机变量的充分必要条件为7 7 ，f 分 别为( q ，厂，p ) 中的两个实随机变量。 证明：由复随机变量定义可知孝= r + ，其中刁，f 为可测映射，再根据性质2 1 可 证。 定义2 5 【3 2 】设孝= ( 当l 一，乞) ，t t 是实随机变量族，t 是任意指标集，若对于任 意的正数以，( f 1 ，乞，乙) ct f 己x r ，j = 1 ，2 ，挖来说，若等式 p ( x ， 0 ，存在n ( a ) ，使得当n n ( 3 ) 时，有 尸d 。) ) 0 ，存在q ( ( 占) ，占) ， 当l 一l d ( x ，y ) 一磊。 若d ( o ，y ) + 1 ，贝0 d ( x ，y ) d ( y ，o ) - d ( x ，0 ) 1 ； d ( o ，y ) + l ，则d 。，d ( y ，d c ) 而1，于是存在z d 。，使d ( y ，z ) 丙百1 ，从 而d ( x ，y ) d ( x ，z ) 一d ( y ，z ) 专一丙百1 = 丙丽1 ，再由4 的任意性得 d ( d ，d n + i 。) 丽。 取 岛= 耐n p x - - m m n 恚n + 1 ) ， 就有 ) 一酬占) c 铲_ 小岛) ) u 尹( d 。) 。 事实上，若 功萑铲- 磊吲 u 一( d 。) ， 则 缈铲一磊l 氏) ) n 户( d ) ， 则 f ( c o ) 巩c 巩+ 。且兰i 磊n ( 国) 一磊( 国) 1 2 m 0 0 2 d 2 ( d ，巩+ 。) ， 河北人学理 硕十学位论文 厂月( 彩) p + ，且f 色月( 缈) 一磊( 彩) i q ，k - - 1 ，2 ，肌， 则 i g ( 孝”( 缈) ) 一g ( 孝( 缈) ) i s ， 则 缈诺 l g ( 孝即) 一g ( 善) l 占 。 于是，选n o ( 6 o ，万) ，使对一切k = 1 ，2 ，m ，当胛n o 时， p 渺一色b ) 0 ，有 则称色依概率收敛于孝，记作 或 擞尸慨一纠 s - - o l i r a 己= 善， ? l - - ) a o 。 己与f ，刀一。o 。 定义2 1 0 设= 仉+ f 幺，”= 1 ，2 ，是复随机变量序列，孝= 7 7 + 是复随机变量( 也 可以是一个复数) ，如果对v s 0 ，有 舰p 忙一孝i = 厄习回 s ) _ o ， 则称复随机变量序列依概率收敛于善，记作 l i m g , = f ， 或 己与孝，z _ o o 。 定义2 1 1 设孝是复随机变量，对于任意的实数， 0 ，孝7 的数学期望e 善7 称为f 的， 阶原点矩；如果e 孝7 存在，则矽i 的期望e 妙i 称为孝的，阶绝对原点矩。 性质2 1 5 复随机变量序列己= 巩+ f ，刀= 1 ，2 ，依概率收敛于孝= r l + 西的充分必 要条件是其实部和虚部分别依概率收敛于7 7 和f 。 证明：必要性：由定义2 1 0 ，可知 河北人学理学硕十学位论文 我们记 易得 所以有 从而 从而 从而 i mp l 磊一f | = 、乞元_ = j 产j i 丽 g = o 。 4 = 缈：厄习丽 s ) ， 4 = ：i 巩一r i 占 ， e = 彩：l 仇一刁i 主) ， 4 = 国：i 厶一纠 占) ， 易= 缈：l 六一f l 丢) ， 充分性：由题意，可知 命题获证。 4ca ，4ca ， p ( 4 ) p ( 彳) ，尸( 4 ) 尸( 么) ， l i m 尸慨一刁i g ) = o ， l 。i r ap l 六一纠 s ) = o 。 h - - 0 9 、。 彳c ( 蜀u 垦) ， 尸( 彳) 尸( e ) + p ( b ) ， ! 觋尸忙一纠= 厄丽丽 占) = o ， 一 第2 章预备知识 2 2 复随机变量的几个重要不等式 等式 定理2 1 ( 马尔可夫不等式) 假设e 蚓存在( 忌= 1 ，2 ，) ，则对v s 0 ，下面的不 删g ) 掣 证明：因为孝= 刁+ 是复随机变量，我们有 l 乡l = l 叩+ f f i = 孑2 + f 2 。 假设，( 石，力是( 叩，f ) 的联合分布函数，则 pi孝i占pl掌r占t：df(x，y)量鲤(x，y)8k ( 而f o( 厢f 芝， 吉甄厢) 2 d f ( 训， ：譬， 定理2 2 ( 契比雪夫不等式) 如果复随机变量善的方差d f 存在，则对v 占 0 ，有 尸肛酬s ) 掣。 证明：应用定理2 1 ，将蚓s 换成悟一e ( f ) | 占即可。 定理2 3 ( 辛钦大数定律) 设磊= 巩+ f 幺，n = 1 ，2 ，是互相独立同分布的复随机变 量序列，e ( 己) = 口+ 汤( 行= 1 ，2 ，) 且也丽 0 ，有 熙p 艟磊- ( a + i b ) j g ) = o o 河北人学理学硕十学何论文 和 由于 ! 鳃尸q 吉喜仇一口l 占) = 。 n - i - m + a o 尸 i 吉喜幺一6 i g ) = 。 ( 吉喜仍) + ，( 吉喜乒 = ( 去喜专) 。 再根据性质2 15 ，定理获证。 定理2 4 ( h o e f f d i n g 不等式) 假设复随机变量磊，磊相互独立。设& = 磊且 e ( ) = e ( 毒) ，则对v 力 0 ，t o ，有 ，- l 证明： p 忖蚓， 幽e x t 。 尸 i s o - e ( 最荆：p a l s - e ( s 刊 e u 型e 型a t 。 定理2 5 如果实随机变量f 的期望为0 ，并且 口，b 】，则对v 兄 0 ，有 定理2 6 对于有界的实随机变量专q ，6 j ，江1 ，2 ，聆，满足磊，岛，相互独立， 则对v t 0 ，有 和 啦叫洲鲰p _ 南 啦叫啦_ 鲰p _ 南 。 第2 章预备知识 定理2 7 假设复随机变量专= 仇+ ，f - 1 ，2 ，以满足协【口j ，匆】，f - 1 ，2 ，2 和 缶k ，z 】， 磊t 21 亿坤( - 薪 证明： 尸 l 最一e ( & ) i ，) = p l 叁毒一e ( 薹考) l ， = 尸 | 善仍+ z 薹一羔i = 1e 仇一z 兰i = 1 e 缶i r ) 此处 = 尸舱仇一薹玩m 薹幺一量i = 1 比) h 尸岫一i 兰= 1 讣警一兰i = 1 比 p 脑一薹玩+ p 龆一兰j = l 陶 = 尸 薹7 三i = 1 e 仍三_ ) + 尸 薹仇一薹e 仇一乏) + p 善幺一兰j = l 五幺丢) + 尸 薹旬一壹i = 1 e 幺一言) 蛾印 -卜( _ 定理2 8 设缶，岛是两个复随机变量，则 证明：由 e i 磊+ 参 ，q e l 轰1 7 + q e l 彘1 7 ，r o 。 i a + b 1 7 ：；c ，l 口r + c ，f 6 i ， 0 ， f 1 ，1 铲访，“ 可得上述不等式。 定理2 9 ( h s l d e r 不等式) 设缶，岛是两个复随机变量，则 其中 e i 缶岛i e 7i 缶l ，e ：i 乞r 。 1 3 一，l ， p 彘 取 磊 卫 凰 净 并 h ，v 洲 嚣 最 一 e 乙 一 l 最 | i n “u ； p 4 孔 。硝 k 叶烈 。瑚 河北人。理学硕十学位论文 证明：在下列不等式 中，取 即可得到h s l d e r 不等式。 尸 1 ! + ! ：1 。 rs 口b l - ，吾+ = 口= 址b 1= 三1 2 _ e 7 i 点1 7e j i 邑1 5 在h s l d e r 不等式中，令r = j = 2 ，可以得到s c h w a r z 不等式： 第3 章复学习理论的关键定理 第3 章复学习理论的关键定理 3 。1 复学习理论的一些基本概念 定义3 1 在概率空间( q ，厂，尸) 中，五，z 2 ，刁是独立同分布的随机样本。 q ( z ，口) ，口a 是( q ，厂，尸) 中的复可测函数集，是任意指标集。定义 r ( 口) = i q ( z ，a ) d p i 为概率空间上的期望风险泛函；定义 r 叩c 口，= 牿喜q c 乞，口，i = 詈l 喜q c 刁，口，l 为概率空间上的经验风险泛函。 定义3 2 对于复可测函数集q ( z ，口) ，o j a 和概率测度尸，如果对于这一函数集的任 何非空子集 ( c ) = 口：r ( 口) c ，c ( ，+ o 。) 和任意占 0 使得收敛性 l i m 尸 i 篡，r e m p ( 口) 一尝，肥) i s ) = 。 成立，则称经验风险最小化方法对于复可测函数集e ( z ，口) ，口a 和概率测度p 是严格 ( 非平凡) 一致的。 定义3 3 对于复可测函数集q ( z ，口) ，口和概率测度p ，如果对v s o ，下列不等 式 1 ，一i m 尸s u p ( 尺( 口) 一( 训 s ) = 。 成立。 则称上式为在给定复可测函数集上经验风险泛函到期望风险泛函的一致单边收敛性。 定义3 4 ( e 肼) 代替最小化复期望风险泛函r ) ，我们来最小化复经验风险泛函 河北火学理学硕十学位论文 如妒( 口) 。假设复期望风险泛函的最小值在q ( z ，) 上取得，复经验风险泛函的最小值在 q ( z ，嘶) 取得。我们考虑用q ( z ，嘶) 作为e ( z ，) 的近似值。这种解决最小化复期望风险 泛函问题的方法被称为复经验风险最小化原则，简称为e r m 原则。 引理3 1 如果e p , m 原则是非平凡一致的，则下列收敛性成立。 limplr(at)1-,o一班尺( 口) l s = o 。 证明：令 i n f 足( 口) = t 。 d 凸 对任意的g 0 ，考虑函数集q ( z ，口) ，口a 的子集( 丁+ s ) ，我们选s 0 ，使得子集 ( r + 占) 是非空的。假设e r m 原则是非平凡一致的，则有下列两个等式 l 伽i m p ( 三+ 丁) - o 和 舰尸 。蕊。，( 口) 主+ r ) 乩 因此得 鳃p 嘶( 丁+ 占) ) = o 。 另一方面，如果嘶萑( 丁+ 占) ，则不等式t 尺( ) 丁+ g 成立，即 烛p 陋) 一i 砌n f r ( 口) l 占 = o 。 3 2 复学习理论的关键定理 定理3 , 1 ( 关键定理) 假设存在常数口，b ，使得对于复可测函数集q ( z ，口) ，口a 和 概率测度p ，有下列不等式 口尺( 口) = lp ( z ，口) 卯j 0 使得收敛性 a ( c ) = 口：尺( 口) c ) ，c ( ，+ ) 舰尸 l 蕊，( 口) 一砌i n f r ( 口) i s ) = 。 c 3 1 ， 成立。对v s 0 ，考虑有限序列口l ，a 2 ，q ，满足 用瓦表示事件 由( 3 1 ) 式可得 令 l a l + - g l t z r ( i = 1 ，2 ，玎一1 ) ，口l = 口，= 6 口。in。f，l寻i圭i*lq ( z ，口) i 尽唧( 口) 成立。对口+ ，我们可以找到一个后，使得口a ( a k ) ，且有 o r ( 口) 一口七 s ) = 。 下面证明充分性：假设一致单边收敛性( 3 2 ) 式成立。 用a 表示事件 蕊) ( a ) 一砌i n f r ( 口) i 占 我们将彳分解为两个事件的并：a = a 1u a ： 其中：4 = h i 叫n f 。，r ( m g 蕊) ( a ) ) 假设事件4 发生，则存在一个口，使得 成立。则不等式 成立。即 r ( a ) i n f 【c ) r ( a ) a e a+ 量 l c i， r ( 口+ ) + 詈 口i 。n f ( 。) r ( 口) + 占 口i 。n f ( 。) r 。m p ( 口) 封专。 所以我们可得到 尸( 4 ) 一0 y l - 方n ，假设事件4 发生了，则存在一个口”，使得 ( 口“) + 三 蕊) ( 口) + “砌i n f r ( 口) g ) 甜 q ( ，一c ，) 0 尸 u ( 尺( 吼) 一( ) ) s u ：t lj 荟n 尸陋吼) 一( ) ) 善e x p ( _ 2 9 2 z ) = e x p ( 一2 s 2 ，) ( 4 2 ) 我们将这不等式改写成等价形式。引入7 7 ( o 0 ( n - 1 ) s u pp i r ( ) 一足唧( 吼) l 臼( 8 唧( ) ) s l s 七s | v 、。7 ( n 一1 ) ( 1 一s ) ( 4 7 ) 我们将这不等式写成等价形式。引入7 7 ( 0 r 1 ) ，令 r = ( n 1 ) ( 1 一s ) 7 解占得： s = 1 - e x p 一生丛尘半) 里型! 学，l 现在，我们将式( 4 7 ) 改写为下列等价形式：选自给定有限函数集且具有零经验风 险的所有函数，依1 一r l 的概率满足不等式： 尺( + ) 士 和旧卜冲( 一t 6 2 1 ) 删唧) 占= 2l n ( 匦n ) f l n ( r ) 尸 s u p ! 堕! 兰；掣s ) 1 7 7 ( 4 8 ) 、1 敛s r ( c 气) 。 因为，对于任意的k = 1 ，2 ，n ，有 p 兰訾g 尸 器兰岢g 【r ( c )j【s t 刍r ( 口i )j 所以，对于给定函数集中的所有个函数，不等式 墨亟堇丝堕占 4 r ( a 。) 依至少1 一r 的概率成立。 从式( 4 8 ) 中，解得 r ( 乏) 0 ( 讣鼍掣( + 特别是对于最小化经验风险泛函的函数q ( z ，( f ) ) ，不等式( 4 9 ) 也成立。 对于该函数，界 ( 4 9 ) 河北人学理学硕十学位论文 尺( 吒( ) ) o r k ( f ) ) + l n ( n 丁) - l n ( r ) ( 4 1 0 ) 依1 一r 的概率成立。 为了估计出风险月( ( ) ) 接近于这一函数集的最小风险的程度，我们定义针对最小化 期望j x l 险的函数g ( z ，o l k ( 。) ) 的风险下界。我们有不等式 r ( 训 ( 训一臣2 l 依至少1 7 7 的概率成立。 利用上述界( 4 1 0 ) 和( 4 1 1 ) ，有 洲训一，) 萼+ i n ( n ) 广- l n ( r ) 依至少1 2 r l 的概率成立。 4 2 复损失函数风险的界 ( 4 1 1 ) 这一节，我们讨论复损失函数风险的界。假设复函数集中包含有限的个复可测函 数q ( z ，瓯) ，k = 1 ，2 ，n ，在这旱，e ( z ，吼) ，k = 1 ，2 ，n 为复可测函数集而且满足 和 a s ) )j 善n p ) 一( ) ) 占) = 善p ( 1 ，q c z ，吼，卯l l 詈妻q c 毛，d s ) 姜尸 l ，q c z ，口。，卯一导圭i = 1q c 乙，l 占) = 善p 司喜q c 乙，一z 归c z ，吼，卯l z s ) 羔4exp(一南-4nexpk=l( 一南 ( 4 1 3 ， 4 ei _ 志l = el - 忐i ( 4 1 3 ) 二u n ，u 一4 ， 我们将这不等式改写成等价形式。引入7 7 ( 0 倒唧( _ 鼎 引入7 7 ( 0 - - j 婪论的本质【m 】北京：清华大学出版社，2 0 0 0 【5 】张学工关于统计学 - - j 理论与支持向量机阴自动化学报，2 0 0 0 ，2 6 ( 1 ) ：3 2 - 4 2 【6 】谭东宁，谭东汉小样本机器学习理论：统计学习理论【j 】南京理工大学学报，2 0 0 1 ，2 5 ( 1 ) ： 1 0 8 一1 1 2 7 】边肇祺，张学工等模式识；g j i m 北京：清华大学出版社，2 0 0 0 【8 】h e o d o r o se v g e n i o u , m a s s i m i l i a n op o n t i la n dt o m a s op o g g i o s t a t i s t i c a ll e a r n i n gt h e o r y j 】a p r i m e r i n t e r n a t i o n a lj o u m a lo f c o m p u t e rv i s i o n , 2 0 0 0 ，3 8 ( 1 ) ：9 1 3 9 】王国胜，钟义信支持向量机的理论基础统计学习理论【j 】计算机工程与应用，2 0 0 1 ( 1 9 ) ： m 1 9 - 2 1 【10 g u o d o n gg u o ，s t a nz l i ，k a pl u kc h a n s u p p o r tv e c t o rm a c h i n e sf o rf a c er e