（应用数学专业论文）拟概率空间上统计学习理论的理论基础.pdf

摘要 摘要 本文进一步讨论了比概率与s u g e n o 测度更广的拟概率的一些性质，给出了拟概率 空间上的拟随机变量及其分布函数、期望和方差的概念及性质；证明了拟概率空间上的 m a r k o v 不等式、c h e b y s h e v 不等式，k h i n c h i n e 大数定律和h o e f f d i n g 不等式；引入了 拟概率空间上的经验风险泛函、期望风险泛函、经验风险最小化原则以及严格一致收敛 的定义；证明了拟概率空间上学习理论的关键定理和学习过程一致收敛速度的界，把概 率空间和s u g e n o 测度空间上的学习理论的关键定理和学习过程一致收敛速度的界从本 质上推广到了拟概率空间上，为系统地建立拟概率空间上的统计学习理论与支持向量机 奠定了理论基础。 关键词拟概率g 一随机变量关键定理一致收敛速度的界 a b s t r a c t a b s t r a c t s o m ep r o p e r t i e so fq u a s i - p r o b a b i l i t yt h a tw i d e l ye x i s tt h a np r o b a b i l i t ya n ds u g e n o m e a s u r ea r ed i s c u s s e df u r t h e r t h ed e f i n i t i o n sa n dp r o p e r t i e so fq u a s i r a n d o mv a r i a b l ea n di t s d i s t r i b u t i o nf u n c t i o n ，e x p e c t e dv a l u ea n dv a r i a n c ea r et h e np r e s e n t e d m a r k o vi n e q u a l i t y , c h e b y s h e v si n e q u a l i t y a n dt h ek h i n c h i n e sl a wo fl a r g en u m b e r so nq u a s i p r o b a b i l i t y s p a c e sa r ea l s op r o v e d s o m en e wc o n c e p t s ，s u c ha s ，e m p i r i c a lr i s kf u n c t i o n a l ，e x p e c t e dr i s k f u n c t i o n a la n dt h es t r i c t c o n s i s t e n c yo ft h ep r i n c i p l eo fe m p i r i c a lr i s km i n i m i z a t i o no n q u a s i p r o b a b i l i t ys p a c e sa r ei n t r o d u c e d t h ek e yt h e o r e mo fl e a r n i n gt h e o r ya n dt h eb o u n d s o nt h er a t eo fc o n v e r g e n c eo fl e a r n i n gp r o c e s so nq u a s i p r o b a b i l i t ys p a c e sa r eg i v e na n d p r o v e d t h a ti s ，t h ek e yt h e o r e ma n dt h eb o u n d so nt h er a t eo fc o n v e r g e n c eo fl e a r n i n gp r o c e s i s s u b s t a n t i a l l yg e n e r a l i z e d f r o m p r o b a b i l i t ys p a c e s a n d s u g e n om e a s u r es p a c e s t o q u a s i - p r o b a b i l i t ys p a c e s t h u s i ts e t su pt h et h e o r e t i c a lf o u n d a t i o nf o rs y s t e m a t i c a l l y e s t a b l i s h i n gt h es t a t i s t i c a ll e a r n i n gt h e o r ya n ds u p p o r tv e c t o rm a c h i n eo nq u a s i p r o b a b i l i t y s p a c e s k e y w o r d s ：q u a s i - p r o b a b i l i t y ；q - r a n d o mv a r i a b l e ；k e yt h e o r e m ； b o u n d so nt h er a t eo fu n i f o r mc o n v e r g e n c e u 河北大学 学位论文独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了致谢。 作者签名： 盈茎，之日期：立丑年l 月2 二日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在 ：年月日解密后适用本授权声明。 2 、不保密日。 ( 请在以上相应方格内打“4 ”) 作者签名： 2 虽主! 杰 导师签名：亚盈望 日期：逮年厶月上日 日期：4 年月l 日 第1 章绪论 第1 章绪论 1 1 统计学习理论的诞生及研究现状 基于数据的机器学习是现代智能技术中重要的研究方面，主要是从观测数据( 样本) 出发，寻找统计规律，并利用这些规律对未来数据或无法观测的数据进行预测。在现代 机器学习方法中共同的重要理论基础之一是统计学。传统统计学研究的是样本数目趋于 无穷大时的渐进理论，现有的学习方法也是基于此假设的【1 1 。然而在多数实际应用中， 样本数目通常是有限的，因此在传统的统计模式识别中，采用的经验风险最小化原则所 要求的无限样本在实际应用中是很难得到满足的，即使我们能保证在样本数无穷大时经 验风险一定趋于实际风险，但在样本有限时不一定能得到好的结果，神经网络的过学习 问题就是经验风险最小化原则不成功的一个例子。开始，人们都想尽办法使经验风险最 小，但很快发现，训练误差小并不总能导致好的结果。有时训练误差很小却导致了很差 的预测结果。因此需要建立一套能在小样本情况下有效地学习的理论。 v v a p n i k 等人【2 】从6 0 年代就开始研究有限样本下的统计理论，称为统计学习理论 ( s t a t i s t i c a ll e a m i n gt h e o r y ，简称s l t ) ；在6 0 7 0 年代奠定了其思想和框架的基础，在 此期间还定义了能反映函数集学习能力的v c 维；到9 0 年代发展成为比较完善的理论， 并受到了广泛的重视 3 - s 1 。通过对经验风险最小化原则的研究发现，当样本有限时，不 仅要最小化经验风险，还要最小化与学习机器函数集的v c 维和训练样本数咒有关的置 信范围。基于此，v v a p n i k 提出了结构风险最小化原贝j j ( s t r u c t u r a lr i s km i n i m i z a t i o n ，简 称s r m ) 。结构风险最小化原则为解决过学习问题提供了一个很好的方法。 支持向量机( s u p p o r tv e c t o rm a c h i n e ，简称s v m ) 是统计学习理论的v c 维理论和结 构风险最小化原则的具体实现【6 - 8 】。它是一种新的通用机器学习方法，并在生物信息技 术、图象图形处理与经济预测等领域中均取得了成功的应用5 1 。因此，较之以往的机 器学习方法，s l t 与s v m 在理论研究和应用过程中都表现出很大的优势。国内外已有 众多学者开始密切关注和研究这一学术领域，目前s l t 与s v m 已成为学术界公认的机 1 河北大学理学硕+ 学位论文 器学习领域一个新的研究热点。 1 2 拟概率空间上统计学习理论的提出及意义 尽管s l t 在处理小样本情况下的学习问题时表现出了优良的性质，但它仍有一些不 完善之处，如s l t 是建立在概率空间上的学习理论。众所周知，概率的可加性条件较强， 在一些实际应用中是难以满足的，因此就影响了s l t 的推广能力和应用。许多学者已经 开始注意到这些问题并积极开始了自己的工作。例如，哈明虎、白云超、王鹏【1 6 , 1 7 1 等将 统计学习理论从概率空间推广到可能性空间，给出了可能性空间上非平凡一致的概念， 提出了可能性空间上学习理论的关键定理，并讨论了学习过程一致收敛速度的界；哈明 虎、李嘉、李颜【1 8 ，1 9 1 等将统计学习理论从概率空间转化为s u g e n o 测度空间，给出了 s u g e n o 空间上学习理论的关键定理和学习过程一致收敛速度的界。 但是对于一个具体问题而言，如何确定非可加测度的值，即定义一个非可加测度， 仍是一个难以解决的问题。近年来，一些学者借助给定的概率通过某种变换来确定非可 加测度的值，通过这种方法，z h e n y u a nw a n ga n dg e o r g ej k 【2 l 】引入了拟概率的概念。 虽然拟概率具有许多与概率相类似的性质，但拟概率一般不具有可加性条件，取而代之 的是拟可加性。拟概率因其正规t 一函数的不同可以代表非常广的一类测度，如概率和 s u g e n o 测度【1 9 , 2 2 均是拟概率的特例，因此拟概率是概率和s u g e n o 测度的一种重要推广。 拟概率因其优越性与广泛性被许多学者研究与应用。本文中，我们进一步讨论了拟概率 的一些性质，并把概率空间和s u g e n o 测度空间上学习理论的关键定理和学习过程一致 收敛速度的界 5 , 1 9 】推广到了拟概率空间，有效地扩大了s l t 的理论与应用范围。 1 3 本文的主要内容 本文结合拟概率和已有的概率空间和s u g e n o 测度空间上统计学习理论的知识，给 出了拟概率空间上学习理论的关键定理和学习过程一致收敛速度的界。主要内容和组织 如下： 1 第2 章是拟概率的基本知识，给出了拟概率，拟概率空间上的随机变量及其期望 和方差的概念，同时还给出了期望和方差的一些性质。 2 第3 章提出了拟概率空间上学习过程非平凡一致性的概念，给出并证明了拟概率 第1 章绪论 空间上的关键定理。本章主要把概率空间和s u g e n o 测度空间上统计学习理论的关键定 理推广到了拟概率空间。 3 第4 章针对损失函数集在最简单情况下，分别给出了悲观和乐观两种情况下拟概 率空间上学习过程一致收敛速度的界。 河北大学理学硕十学位论文 第2 章预备知识 这一苹主要给出了一些基本概念：拟概率，拟概率空i 司上的随机变量及其期望和方 差。同时还给出了期望和方差的一些性质。 2 1 拟概率的基本概念 首先我们引出拟概率的定义并进一步讨论它的一些性质。 本文假定x 是一个非空集合，厂是由x 的子集构成的盯一代数。 定义1 2 1 1 设口( o ，】，广义实值函数秒：【o ，口卜【o ，o o 】称为t 一函数，当且仅当秒是 连续、严格增加的，且9 ( o ) = o ，0 - 1 ( o 。 ) = a 或 o o ( 根据口是否有限而定) 。 显然，如果0 是连续、严格增加的实值函数，那么0 - 1 也是连续、严格增加的实值 函数。 定义2 2 u 集函数：厂专【o ，叫称为拟可加的，当且仅当存在t _ 函数目，并且汐的定 义域包含的值域，使定义在厂上的集函数0 。是可加的，0 。通过如下方式运算 ( 0 ) ( e ) = 秒( ( e ) ) ，任意e 厂。 称为拟测度，当且仅当存在t 一函数0 ，使得0 。j 为一个经典测度。t 一函数0 称 为的特征t 一函数。 定义3 2 1 1 函数目： o ，l 】斗【o ，1 】称为正规t 一函数，当且仅当矽是连续、严格增加的， a o ( o ) = o ，臼( 1 ) = 1 ；若口是正规t 一函数，则拟测度称为拟概率。 注1 由上面的定义我们知道，概率是特殊的拟概率，以o ( x ) = x ，x o ，l 】作为其正 规t 一函数；s u g c n o 测度也是特殊的拟概率，以o ( x ) = l o g 。+ 五( 1 + 触) ，x o ，1 】作为其正 规t 一函数。 当是拟概率时，三元组( x ，厂，) 称为拟概率空间，以下的讨论将限定在拟概率 空间上。 由拟概率的定义不难得到下面的性质： 第2 章预备知识 性质1 设( x ，厂，1 2 ) 为一拟概率空间，则我们有： ( 囝) = o ，( x ) = 1 ； 若彳，b 厂，ac b ，则( 彳) ( b ) ： 若彳厂，则( 么c ) = p e l - o 。( 么) ； 若彳尸，bca ，贝i j1 2 ( a - b ) = o 。1 o o ( 彳) 一目。( b ) ； 若彳，召厂，则( 彳u b ) = 秒一1 乡。( 彳) + p 。( b ) 一口。v ( a n b ) j 。 2 2 拟概率空间上拟概率随机变量及其数字特征 在介绍了拟概率的相关知识后，我们就可以给出拟概率空间上随机变量及其分布函 数的定义，并讨论一些数字特征，比如：g 一随机变量的期望、方差等，为后面的证明 奠定基础。 定义4 设( x ，厂，) 为拟概率空间，孝= f ( 国) ，c o x 为定义在z 上的实值集函数。 对任意给定的实数x ，若 缈眵( 国) x ) 厂，则孝称为拟概率空间上的随机变量。简记为 口一随机变量。 定义5 若q 一随机变量孝只取有限个或可列个值，则g 一随机变量孝称为离散q 一随 机变量。 性质2 设孝是一个离散g 一随机变量，_ ，x 2 ，是孝的所有可能值，则 8 - i 印o , u ( t ) ) = 1 0、j ；l， 证明由定义知p 。是一个概率，则由概率的性质知下式成立 芝秒。( 薯) = 1 ，秒o ( 薯) = ， y o 一( 1 ) = 1 ，所以有 0 - 1 睁o , u ( ) ) = 1 0、l = l1 ， 定义6 若善为一g 一随机变量，其分布函数定义为： 乞( x ) = 彩厂l 孝( 缈) x ，v x 鼾，缈尸， 洞北大学理学硕士学何论文 其中孵表示实数集。 由口的连续性，定义4 ，定义6 及的单调性知下列性质成立。 性质3 设乞( x ) 是g 一随机变量孝的分布函数，则 若口 6 ，则乞( 口) 巴( b ) ： 熟( x ) = ”0 l i m f u ( x ) = l ； 冗( x + o ) = 巴( x ) 。 证明由的单调性可知成立。 令 4 = h x ( x ) 一以) ，n = l ，2 ， 显然有 于是 所以，1 1 墨冗( x ) = 0 r 成立。 x + 同理可证 任意给定x ，令 显然有 43a 23 ，n 4 = 矽， ，= l 梁mc(一门)=lim-)con - - + o o ( 以)月 = l i m 0 e o 。( 4 ) 一 一 = 0 一 = 0 一 = 0 一 l i mf = 1 。 x + 色= 缈i x ( x ) x + 去 ，甩= ，2 ， 6 蝈j 彳 t n一 郎加 燃帅旷 第2 章预备知识 且3 垦3 ，n e = 缈l x ( x ) x ， 于是 l i m f ( x + 丢 = ! 姥( x x + 吉) = 秒。1 口。( 0 e = 口q ( 9 。( x x ) ) = 乞( x ) 由本性质知 吒( x + 。) = 熙( x + 去) = ( x ) 成立。 性质4 若五，x 2 孵，孵表示实数集，为拟概率，则下面等式成立。 ( 五 x - x 2 ) = 0 叫 p ( 而) 一p c ( 五) 证明令彳= x 砭 ，b = z j c l ，由性质1 中知： ( _ x x 2 ) = ( 彳一b ) 0 1 0 1 0 1 o ( 彳) 一目。( b ) o o f l ( x - x 2 ) - t 9 。( x 五) 口 c ( 屯) 一目 ( _ ) 注2 当0 取秒( x ) = 石时性质4 与为概率时是相同的； 当0 取 p ( x ) = l 。g m ( 1 + 触) ，口一1 取9 1 ( x ) = 堡兰荨! 时性质4 与为s u g e n 。测度时相同。 定义7 设巴( x ) 是g 一随机变量善的分布函数，若存在非负实函数 ) 使 f 。( x ) ：一 ) d t ， 9 t l f , ( t ) a t v xe 冗( x ) = ， 成立，则善称为连续的g 一随机变量。厶( x ) 称为f 的密度函数。 l 一疗 一胛 + + x x 一 一 x x a 忽 o o 纱 秒 厂1 m 矿 一三j m _ h * p = = 河北大学理学硕十学何论文 下面我们给出刀维q 一随机变量的一些定义和性质。 定义8 设点，色，磊是一q 一随机变量序列，则( 轰，彘，) 称为拟概率空间 ( x ，厂，) 上的玎维g 一随机变量。 定义9 设( 卣，色，己) 是，? 维g 一随机变量，对任意给定实数而，x ：，吒， 瓦( x ix ：，) = 备五，磊x 2 ，己 称为( 螽，岛，己) 的联合分布函数。 定义1 0 对二维g 一随机变量( 孝，7 7 ) ，设c ( z ，y ) 为( 孝，7 7 ) 的联合分布函数，则我们定 义善和刁的边缘分布函数如下： 和 ( x ) = y l i m 。c ( ) 2 c ( x ，佃) 乞，( y ) = 娥( x ，y ) = 巴( 悯，y ) 。 定义1 1 设( x ，y ) ，( x ) 和c ，( y ) 分别是( 善，r ) 的联合分布函数和善及7 7 的边缘 分布函数，若对任意五y 有 乞( w ) = 秒。1 9 ( ( x ) ) o ( c 叩( y ) ) 成立，则称善和7 7 是相互独立的q 一随机变量。 定义1 2g 一随机变量轰，岛，己称为同分布的，对任意bc 贸，当且仅当下面等式 成立。 专b ) = 彭b ) ，i ，= 1 ，2 ，刀 定义1 3 若孝是一个离散q 一随机变量，蕾，i = 1 ，2 ，是f 的所有可能值， 乒i - 孝= 薯) ，f = 1 ，2 ，且呈i x 舡f ，定义善的数学期望为 e 吲= 私m 定义1 4 设孝是一个连续g 一随机变量，( x ) 为其密度函数，若en x i l ( x ) d x 0 ，则下面不等式 成立。 础纠竹1 m 一掣) 证明n g y 矢n o 。是概率，则 f f = 9 _ 9 。( 孝 0 ，下面不等式成立 l 一国i 占) 臼。1 ，一护( ，一事) 。 证明对悟一彩1 2 直接应用m a r k o v 不等式即得。 定理3 ( k h i n c h i n e 大数定律) 假设螽，岛，磊，是独立同分布的q 一随机变量列， 若彘( 刀= 1 ，2 ，) 具有相同的有穷期望值，色【六】= 万( 玎= l ，2 ，) ，则对任意s o ，等式 溉惦和= 成立。 证明v 万 0 ，定义两个随机变量序列如下 喊删= 氍 白= 色确点悻砸，= j 蚓 n d 引 n d 蚓n 6 ( i = 1 ，2 ，胛) ( i = 1 ，2 ，2 ) 令口= 色( 仍) ，a = e ( 悖1 ) ，由定理的条件可得： i ) 磊= r k + ( i = 1 ，2 ，玎) ； i i ) 因为巳【己】= 刃是定值，l s f i 以a o o 成立。当，z 专时 口= 毛( 仍) = x 确扣万 嚷( x ) = , x d f g ( x ) = t g ，弟2 覃坝谕刘识 i i i ) 对i = 1 ，2 ，胛有 见( 仉) = 色( 仍2 ) 一口2 色( 仉2 ) = 巴x 2 嚷( x ) 厅万l x 阪( x ) ，z 6 a 见( 去喜玩) = 砉& ( 喜仍 = 专喜q ( 矾) _ 1 ，z ，z 万彳：万彳 i v ) 根据定理2 ，当，zjo o 时 = i 去喜r l ，- a + a 一万f 2 s ( f 去喜仍一口j + l 口一万f 2 占 嘛 件h 一别 v ) 对任意扛l ，2 ，刀，当行专o o 时，巳i 点i 0 ，若 l i m ( i 己一口i 占) = o 成立，则称 色 依拟概率收敛于口。 定义1 8 设兀( x ) 是g 一随机变量f 的分布函数，z 1z 2 ，乞是独立同分布样本。我 们引入函数集q ( z ，口) ，口a ，期望风险泛函和经验风险泛函定义如下： 尺( 口) = p ( z ，口弘吒( z ) ( 1 ) ( 口) 2 吉l = 1q ( 栌) ( 2 ) 经验风险最小化原则假设期望风险泛函在q ( z ，) 上取得最小值，经验风险泛函 在q ( z ，嘶) 上取得最小值。我们将函数q ( z ，q ) 作为函数q ( z ，) 的一个近似。解风险最 小化问题的这一原则称为拟概率空间上经验风险最小化原则( q e r m ) 。 定义1 9 对于函数集q ( z ，口) ，口人和拟概率分布函数冗( z ) ，如果对于集合人的非 空子集a ( c ) = 口：j q ( z ，口职( z ) c ) ，c - o o ，o 。) 和任意g o 使得 l ，i m 。【i 口i 。n f 。，r ( 、口) 一口i 。n a f 。，r e m p ( 口) 【s = 。 ( 3 ) 成立，则我们称经验风险最小化方法是严格一致的。 定义2 0 对于函数集9 ( z ，口) ，口人和拟概率分布函数乞( z ) 及任意占 0 ，如果 炔。s u p ( r ( 口) 一( 训 s = o ( 4 ) 成立，则我们称经验风险一致单边收敛于期望风险。 河北大学理学硕十学付论文 有了上述定义我们便可以给出拟概率空间上学习理论的关键定理。 3 2 关键定理 定理4 ( 关键定理) 假设存在常数口和a ，使得对于函数集q ( z ，口) ，口a 中的所有 函数和所有分布函数c ( z ) 有下列不等式成立， 口，q ( z ，口p 巴( z ) 彳，口人 则经验风险最小化方法是严格一致的充分必要条件是经验风险一致单边收敛于期望风 险。 证明必要性设经验风险最小化方法在函数集q ( z ，口) ，口a 上是严格一致的。根据 严格一致性的定义，对于使函数集 人( c ) = a ：，9 ( z ，口p 艺( z ) c ，f ( 一，o 。) 为非空的任意c ，下列依拟概率收敛性为真： l ，i m 。、i 。i n f 、。，r ( 口) 一口i 。n f 。，r e m , ( 口) l s ) = 。 c 5 ， 考虑有限序列a i , 口2 ，a n ，满足 i q + 。一q l ( 口) 成立。我们由口找到一个后，使得口+ 人( ) 且下面不等式成立 尺( 口) 一口七 ( 口) 融i n 【f 吼，7 1 善i q ( 栌) 即，若瓦发生，t 也发生。 由拟概率的单调性我们知道 炔m s u p ( 尺( 吼) 一( 训 s = 。 成立。即，经验风险一致单边收敛于期望风险。 必要性现在我们假设( 6 ) 式成立。下面证明严格一致性成立。 用表示事件 b i n f 、r ( 口) 一姒( 口) l 占。 ( 6 ) 河北大学理学硕十学位论文 则事件n 表不曲个事件的并集，n = lu 2 其中 l = z ：i n f r 、口) + s 蝶( 口) 。 由拟概率的拟可加性我们知道： ( ) 臼。1 9 。( 1 ) + 口。( 2 ) 假设五发生，则存在口使 尺( 口+ ) i 口n 。f r ( 、口) + 号 成立。则下面的不等式成立： r ( 口+ ) + 号 i 砌n f r 、口) + s 差) 赢。 另一方面，假设2 发生，则存在口”使 ( 口”) + 丢 三) 志。 根据( 7 ) 式，( 8 ) 式和拟概率的丰以可加件推断h ( 7 ) ( 8 ) 第3 章拟概率空间上学习理论的关键定理 i m , u ( n ) s _ o 成立。即经验风险最小化方法在q ( z ，口) ，口人上是严格一致的。 定理得证。 至此我们证明了拟概率空间上的关键定理，即我们把关键定理从概率空间和s u g e n o 测度空间推广到了拟概率空间。 河北大学理学硕十学何论文 第4 章拟概率空间上学习过程一致收敛速度的界 本节我们讨论学习过程一致收敛速度的界，主要讨论两个问题：1 对于最小化经验 风险的函数而言，所能达到的期望风险值。2 对于给定函数集而言，最小化经验风险的 函数所能达到的期望风险值与最小可能风险值之间的差。 在证明界的过程中我们假定9 。1 的1 1 阶偏导数是连续的。当p 取o ( x 1 = x 时或口取 护( x ) ：l 。9 1 + 旯( 1 + 触) ，0 - 1 取口一1 ( x ) = 掣时的，2 阶偏导数都是连续的，所以本 文中讨论的界的情况是概率空间和s u g e n o 测度空间上界的推广。首先我们给出拟概率 空间上的h o e f f d i n g 不等式。 定理5 假设g 一随机变量序列轰，受，磊是相互独立同分布的，令最= 磊，则 乜( 瓯) = 巳( 专) ，对任意五 o ，t o ，有 t咒一气c叉，磅9一，一目一掣 s 一瓦( 最) 韧= 础丑( 晶一晶) p 加) 口q一目一eop 刀一j 。 定理6 设g 一随机变量孝的期望为零，且善【口，b 】，则对任意五 0 ，有 证明由指数函数的凸性知 毛 p 鸳 e 山地。 譬矿+ 警矿，口善 0 ，则有下面两个不等式成立，其中表示与刀和秒有关的常数。 如纠够1 m 1 - ( ：n oe x p ( 砉斋 枷骢p 弘h ，x p 曙斋 。 t咒一点。c鼠，乡。，一秒一掣 p 一11 一秒 。一掣 口。1 - 一目 一三! 三塞! 笋 鲇1 h 1 - c ee x p m 掣 如删叫鲇1 h 1 - c n o e x p m 掣 令兄：下兰，最大化不等式的右端，得 ( 6 f q ) k t s - e u ( s ) t ) p m 卜唧 南 本文只考虑最简单的模型：函数集仅包含有限个指示函数的情况。对于实函数的情 况可以利用一个指示器【3 1 将实函数转化为指示函数。 结合定义1 8 和定理7 得 ) 一( 口) g 一卜争占p 叫- 屯唧( 么2 啪 和 r e m p ( 小r ( 口) s 一净g ) 竹1 卜( t 一e 冲( 瑚) ) 当只考虑指示函数时包一q = 1 ，为样本个数，a 表示事件以= z ：q ( z ，口) = 1 ，口八的 拟概率。 4 1 悲观情况 在这种情况下，我们不能事先知道函数集中函数能够提供怎样的经验风险，如果能 够事先知道函数集中仅包含坏函数( 即提供接近于的错误拟概率的函数) ，那么给出 的两个界是紧的。 第4 章拟概率空上学习过程一致收敛速度的界 定理8 设g ( z ，吼) ，七= 1 ，2 ，为包含个元素的尊示函数集，r ( ( f ) ) 是使经验 风险最小的函数q ( z ，( f ) ) 的期望风险值，( 嚷( f ) ) 为最小的经验风险值，则不等式 尺( ，) ( ，) + 扛面两 依至少 ，一秒。仇， 的拟概率成立，其中_ ：二二兰兰篁兰。 证明利用不等式，对任意毛 0 要蓦( 尺( 口。) 一r 呷( ) ) 毛 诞( r ( ) 一( 咏) q ) ) 始1 瞧秒( 尺( 吼) 一( 吼) q ) ) 0 - 1 一o ( 1 一e x p ( 也2 纠 令9 i n 1 一秒( 1 一e x p ( 一2 2 7 ) ) = ，解毛得 毛= x - ( 1 n r , ) 2 l 。 故( 1 4 ) 式可改写成 要缓( r ( 吼) 一k ( ) ) ) 臼一1 1 一秒( 7 7 1 ) 。 因为上式对函数集q ( z ，吒) ，k = 1 ，2 ，n 中的所有不等式成立，所以不等式 尺( 吒) k ( ，) + 扛面河 依至少 1 9 ( 7 7 1 ) 的拟概率成立。 定理8 就回答了本节开始提出的第一个问题：对于最小化经验风险的函数而言，所 能达到的期望风险值。 注4 当日取秒( x ) = x 肘，即拟概率退化为概率时结果与参考文献中【3 】的情况是一样 的；当护取p ( x ) ：l 。g m ( 1 + 五x ) ，p t 取岛一1 ) = q 三等! 时，即拟概率退化为s u g e n o 刑北大宁埋宁坝t 字何论又 i_inn 测度时，口叫 i - 0 ( 吼) 为亡i 奢，与参考文献 1 9 】中考虑的五 。情况是一样的。因此定 理8 是概率空间和s u g e n o 测度空间上相应定理的推广。 定理9 设q ( z ，吼) ，k = 1 ，2 ，为包含个元素的指示函数集，r ( a 。( f ) ) 是使经验 风险最小的函数q ( z ，( ，) ) 的期望风险值，( 吒( ，) ) 为最小的经验风险值，月( 吼( 。) ) 为指 尺( ) 一r ( ，) 厅面历+ 厅面蕊 依至少目二 ，一2 臼( 叩。) 的拟概率成立，其中_ ：兰二g 三型，乇：! 掣。 证明对使期望风险最小的函数q ( z ，( 0 ) ) ，下列不等式成立。 ( ( 。) ) 一r ( ( 。) ) 岛) p 。1 1 一o ( 1 一e 疗e x p ( 一2 岛2 纠 令7 ：= 臼1 9 ( 1 一e x p ( 一2 g 2 啪 ，解乞得 乞= x - ( i n t o 2 1 。 依至少p 一1 1 一秒( 仉) 的拟概率成立。因为q ( z ，( ) ) 是使经验风险最小的函数，所以 k ( ( o ) ) 一k ( ( ) ) o 成立。令矿= m a x q l ，仍 ，有下面不等式成立。 r ( ，) 一尺( ) + 岛 月( 吼( f ) ) 一k ( 呸( ) ) + ( 哎( 。) ) 一r ( 吼- m s - ，1 i e + 乞 训一( 训 e u ( 训一尺( 训二乞 ) 所以 妙1 秒( ( 月( 训一( 训 毛) ) + p ( ( ( 训一月( 训 乞) ) 分- 1 口( 聃) + 秒( 7 7 ：) p - 1 2 p ( 7 7 ) 第4 章拟概率空上学习过稗一致收敛速度的界 尺( ，) 一只( ，) q + e 2 o 1 2 0 ( , 1 ) r ( ) 一r ( o r k 。) 扛面面十扛面丽0 8 ) 依至少秒1 2 0 ( , 1 + ) 的拟概率成立。 定理9 就给出了本节开始第二个问题：对于给定函数集而言，最小化经验风险的函 数所能达到的期望风险值与最小可能风险值之间的差。 4 2 乐观情况 在这种情况下，我们事先知道函数集中至少包含一个好函数( 即提供零错误拟概率 的函数) 。根据经验风险最小化原则，我们应该选择在给定函数集上提供零错误的函数， 若存在若干个，我们任选一个。那么这个提供零经验风险的函数具有大于一个给定正常 数o e 3 的期望风险的拟概率有多大，我们用下面的定理回答。 定理1 0 设q ( z ，) ，七= 1 ，2 ，n 为包含个元素的指示函数集，且函数集中至少 包含一个好函数( 即提供零错误拟概率的函数) ，尺( 吼) 是函数q ( z ，) 的期望风险值， r e m p ( ) 为函数q ( z ，瓯) 的经验风险值，并且9 ( ( ) ) 是下列指示器： 比a ) = 胨已 则下面不等式成立。 嚣l r ( 吼) 一( ) l 务( ( ) ) 岛 ( 一1 ) 矿 1 一目( 毛) 证明根据指示器函数的意义，我们有： 定理得证。 点黑l r ( ) _ r e m p ( o r k ) l b ( ( ) ) 岛 善) 一( 吼) 陬删( ) ) 岛 ( n - 1 ) 。s 鲋u s p i 尺( ) 一( 吼) i 谷( ( ) ) 岛) ( 一1 ) 乡- 1 1 一秒( 毛) 。 河北大学理学硕士学位论文 定理1 1 设q 【z ，吼) ，七= l ，2 ，n 为包含个兀素的指不函数集，且函数集中至少 包含一个好函数( 即提供零错误拟概率的函数) ，r ( a k ( ) ) 是使经验风险最小的函数 q ( z ，吼( ) ) 的期望风险值，( ( ，) ) 为最小的经验风险值，则下面不等式 只( ) ) 汀1e 1 一目( e x p r 3 ) 依至少 1 一目( 编) 的拟概率成立，其中f ，：一生尘挚。 证明根据上面式令： r 3 = ( 一1 ) e o e 1 一目( 毛) f ， 解毛得： 毛= 秒_ 一目( e x p 一皇型学) ) 。 式可改写为： b l r ( ) 一( ) i 务( ( 吼) ) 小州1 一口( 刀，) 。 因为上式对函数集q ( z ，吼) ，k = 1 ，2 ，n 中的所有不等式成立，所以不等式 r ( 嘶) e 1 一目( e x p ) 依至少 1 一目( 仉) 的拟概率成立。 定理1 2 在最简单情况下的乐观情况中，风险的最小值等于零，因此我们可以依 1 一秒( 仇) 的拟概率断定，风险值与最好可能风险值之间的差 r ( ，) 一r ( ，) 鳕1e 1 9 ( e x p l r ， ) 依至少 1 2 0 ( 7 ) 的拟概率成立，其中毛：一旦q 挚。 至此，定理1 1 和定理1 2 就回答了在我们事先知道函数集中至少包含一个好函数的 情况下本章开始的两个问题。对于最小化经验风险的函数而言，所能达到的风险值和对 于给定函数集而言，最小化经验风险的函数所能达到的风险值与最小可能风险值2 _ i - 1 的 第5 章结论与展单 第5 章结论与展望 基于概率空间上的统计学习理论是目前公认的研究小样本学习的较好理论，而作为 其理论基础的学习理论的关键定理和学习过程一致收敛速度的界在此理论中起着重要 的作用。本文把学习理论的关键定理和学习过程的一致收敛速度的界从概率空间推广到 了比其更广的拟概率空间上，主要结论如下： 1 进一步讨论了拟概率，提出拟概率随机变量及其分布函数、期望、方差的概念， 并进一步讨论了上述概念的一些性质： 2 给出了拟概率空间上的m a r k o v 不等式，c h e b y s h e v 不等式，k h i n c h i n e 大数定 律，以及h o e f f d i n g 不等式： 3 给出并证明了拟概率空间上学习理论的关键定理和学习过程一致收敛速度的 界。 然而拟概率空间上统计学习理论尚有许多工作需要进行，如： 1 损失函数集为实函数的情况； 2 给出v c 维的定义，在此概念基础上得到构造性的与分布无关的界； 3 给出并证明拟概率空间上结构风险的界； 4 支持向量机的构建与应用。 河北大学理学硕十学何论文 参考文献 【l 】谭东宁，谭东汉小样本机器学习理论：统计学习理论南京理工大学学报，2 0 0 1 ，2 5 ( 1 ) ： 1 0 8 - 1 1 2 【2 】v l a d i m i rn v a p n i k e s t i m a t i o no f d e p e n d e n c i e so ne m p i r i c a ld a t a b e r l i n ：s p r i n g e r - v e r l a g ，1 9 8 2 3 】v l a d i m i rn v a p n i k t h en a t u r a lo f s t a t i s t i c a ll e a r n i n gt h e o r y n e wy o r k ：s p r i n g - v e r l a g ，1 9 9 5 【4 】c h e r k a s s k yv ，m u l i e rel e a r n i n gf r o md a t a ：c o n c e p t s t h e o r ya n dm e t h o d s ，n e wy o r k ：j o h n v i l e y & s o n s 1 9 9 7 【5 】v l a d i m i rn v a p n i k s t a t i s t i c a ll e a r n i n gt h e o r y aw i l e y - i n t e r s c i e n c ep u b l i c a t i o n ，n e wy o r k , 1 9 9 8 【6 】6 王国胜，钟义信支持向量机的理论基础统计学习理论计算机工程与应用，2 0 0 1 ，1 9 ： 1 9 3 1 【7 】牟廉明统计学习与支持向量机内江师范学院学报，2 0 0 2 ，1 7 ( 6 ) ：3 - 7 【8 】郑红军，周旭，毕笃彦统计学习理论与支持向量机概述现代电子技术，2 0 0 3 ，4