（应用数学专业论文）besov空间中i泛函的估计.pdf

摘要 摘要 再生核h i l b e r t 空间在机器学习理论中有着非常重要的地位，我们经常将再生 核h i l b e r t 空间或它的闭包作为假设空间。对于f l 2 ( 胀) ，9 咒k ，我们称 ，( ，r ) ：2 i 2 叁兄i | ，一夕| | 为，泛函，它是用来刻画从假设空间中的函数对被学习函数的最佳逼近度。我们 知道，当砀睦近于无穷时，i ( f ，冗) 趋近于o ，我们感兴趣的是i ( s ，r ) 的收敛阶。当 再生核h i l b e r t 空间做为假设空间，属于s o b 0 1 e v 空间日8 ( r n ) ，k 为解析核，尤其， 当k 为高斯核时，j 泛函是对数收敛的。在本文中，我将此结论推广到更为广泛 的b e s o v 空间中。 关键词： j 一泛函，收敛阶，高斯核，再生核h i l b e r t 空间，b e s o v 空间 a b s t r a c t a b s t r a c t t h er e p r o d u c i n gk e r n e lh i l b e r ts p a c ep l a y sa ne s s e n t i a lr o l ei nk e r n e lm a c h i n e l e a r n i n g ，o n eo f t e nu s e sr e p r o d u c i n gk e r n e lh i l b e r ts p a c eo rt h e i rb a l l sa sh y p o t h e s i s s p a c e s f o rf l 2 ( 廷n ) ，g 咒k ，w ec a l l 耵，冗) 高i n k f ri i f g i s - f u n c t i o n a l ，w h i c hb e s tc h a r a c t e r i z e st h ec o n v e r g e n c er a t eo ft h ea p p r o x i m a t i o n b yf u n c t i o nf r o mh y p o t h e s i ss p a c e w h e nr t e n d st oi n f i n i t y ，i ( f ，r ) t e n d st o0 , w ea r e i n t e r e s t e di nt h er a t eo ft h i sc o n v e r g e n c e i ffc o m e sf r o ms o b o l e vs p a c eh 8 ( 船) ，a n d ki sa n a l y t i c e s p e c i a l l y , w h e nki sg a u s s i a nk e r n e l ，- f u n c t i o n a ll o g a r i t h m i cc o n v e r - g e n c e i nt h i sp a p e r , 1w i l le x t e n dt h ec o n c l u s i o nt ot h em o r ee x t e n s i v eb e s o vs p a c e k e y w o r d s ：- f u n c t i o n a l ，r a t eo fc o n v e r g e n c e ，g a u s s i a nk e r n e l ，r e p r o d u c i n gk e r n e lh i l b e r t s p a c e ，b e s o vs p a c e 。 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 2 0 年月日 南开大学研究生学位论文作者信息 论文题目 姓名学号答辩日期年月日 论文类别博士口 学历硕士口硕士专业学位口 高校教师口 同等学力硕士口 院系所 专业 联系电话1 ；m a i l 通信地址( 邮编) ： 备注：是否批准为非公开论文 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 年月日 第章引言 第一章引言 i i 学习理论基础 学习理论在动物行为学，经济决策，工程，计算机科学中，人工智能等诸多方 面都发挥了重大作用。学习理论研究的是怎样根据随机样本选取一个未知函数。 在随机样本z ：= ( ( z 1 ，玑) ，( z 他，) ) 中，我们选取的函数，是带有噪声和其他一 些不确定因素的，只能满足f ( x t ) 犰我们将，的经验误差昆定义为 岛。击( m z ) 一纨) 2 令p 为z = x y - _ 的b o r c l 概率测度，我们定义回归函数厶：x _ y 为 厶( z ) = y d p ( y l x ) 方差为 口2 ( z ) = ( 眇一厶( z ) ) 2 d p ( y l x ) 定义 露= 卜2 ( z ) 咖 我们称 ( ，) = 郇( ，) = ( ，( z ) 一y ) 2 ，x _ y 为厂的误差( 最小平方误差) 。 这个函数不是凭空想象出来的，我们希望这个函数是属于某个已知的函数集的。 即，f ：x y 是属于某个具体的函数集咒的，我们就称饨为假设空间。我们定 义“中的目标函数 为使误差( ，) 最小化的f 咒。即a 为满足下式的厂： r a i nf z ( f ( z ) 一可) 2 根据【l 】中的命题l ：( ，) = 厶( ，一厶) 2 + 嘭，所以a 也为满足下式的 m 删i n j f z ( f 一班 1 第一章引言 我们定义经验目标函数a ，。= 正为使：最小化的，“。当样本数n 足够大时，五 很好的逼近目标函数a 。这个问题在【l ，2 ，3 ，4 】中已经很好的论述了。 1 2 主要定义和定理 在实际问题中，我们经常使用再生核h i l b e r t 空间或它的闭包为假设空间。下 面我们简单介绍一下m e r c e r 核和再生核h i l b e r t 空间。在本章中，我们令x 是妒上 的紧集。 令k ：x x _ r 是连续的、对称的、半正定的，i e ，对任意有限集 合z 1 ，z mcx ，矩阵( k ( 兢，巧) ) 乃：1 是半正定的。我们称k 是m e r c e r 核。 再生核h 曲e r t 空间( r k h s ) “知定义为函数集合琏：= k ( x ，) ：z x 的线性张 集的闭包( s e e 5 1 ) 。内积定义为 咒 = ，( z ) ，v z x ，f 咒七( 1 i ) 再生核h i l b e r t 空间有下列性质 lfff i i q 魅。限= ( g 琏。，q 恐；) k = q 鹕勺 i = 1i = 1 i = 1 i , j = l 而且，假设日是x 上的另外一个h i l b e r t 函数空间。则，对比，t x ，有( ，虬) 日= k ( x ，t ) = ( 憨，k ) m 。 在机器学习理论中，我们经常取h k 或它的闭包作为假设空间，则需要知道 所求函数，是否可由r k h s 中的函数逼近。我们称 j ( ，兄) ：2 1 1 9 l l i n x f ri i f 一9 l l ( 1 2 ) 为逼近误差，在学习理论中也称为( 一泛函) 当月_ o 。，i ( f ，尺) _ 0 ，我们要研究 的是i ( f ，月) 的收敛阶。 令e 为r 住的开子集，对于z e 我们称，l p ( e ) ，若 i l f l l l , , ( e ) ：= ( 上l m 胪d x ) 1 p 。，1 p 。o ， 2 第一章引言 f i l l 。( 目) ：= e s ss u pi ，( z ) l o o z e 为方便起见，我们也用f j 刘p f 弋替i i f l i l ，( e ) ，当p = 2 时，记为l l f l l 。 对于8 酞+ ，f l 2 ( 辩) ，s o b o l e v 空间日8 ( 辩) 有下列等价范数( 分数型s o b o l e v 空 间范数) ： 日。= ( 赤 砰+ 1 ) w 2 d e ) 1 2 0 ，1 0s 。o ，e l p 0 0 。我们 称，日( ) ，若，满足下面两个条件： f f jf l p ( 即) ， 3 第一章引言 i i ，忆知c 舭，：= 点耋毫掣i 斋) v p 0 ，我们说整函数h 是指数型 的，若存在正整数c ，使得对所有复向量z ：= ( 勺：歹磊) 伊满足 l c e x p ( ( + e ) 蚓) 第二章b e s o v 空间上的逼近 我们用眠( r n ) 表示在p 上有界的指数型整函数的集合。对任意1 p 0 0 我们 令 眠，p ( r n ) ：= 尬( r n ) nl p ( r n ) 对于确定的v r + ，我们定义 为了在邑日( r n ) 中研究，一泛函，我们先回顾一下在 8 】中出现过的算子五，我们 将在本文中用到这两个算子。对u r + ，我们选择一个在r + 几乎处处为正的函 数魄，满足 上姒舢- 1 ( 2 2 ) 对于u ：= ( 地：i 磊) r 车，z 豫n 和，e ，一( r n ) ，i 磊，我们定义 ( 气，) ( z ) ：= ( 一1 ) + 1 叫u ；( 屯) ( 嚣，) ( z ) d 如- i - ，( z ) ( 2 - 3 ) ，r 由( 1 3 ) 得到，对所有，存在d o ，j 况，i 磊使得 d i j f ( z + j t 藏) 一，( z ) = - - 1 ) k i + 1 嚣，( z ) ( 2 4 ) j 仇 对任意i 磊，满足 奶= 1 ， j 瓦 和 当t r 和i 磊，我们令 啪) ：= 轰缸歹t ，j 么k 。 。 由( 2 2 ) - ( 2 4 ) 兀；可表示为 ( 瓦似z ) ：= f r g u ；( 屯) ，( z + 强e t ) 妣，z r n 6 ( 2 5 ) 、，i j 秽 一 吩 ! i i 磊 = v ， r “ 虬 rl u = ， r 护 一 = 如 ! | f 第二章b e s o v 空间上的逼近 在t ：= ( t i ：i 磊) r 礼处，我们将g u 定义为 g u ( t ) ：= 1 7 吒( 岛) ， j e z n 并且引进算子 则由 给出瓦。 五：= 兀1 0 ，o 五d 瓯以z ) = g u ( t ) ，( 。+ t ) d t ，z r 拜 j r n 在接下来的两个引理中，介绍一些算子互的性质。 引理2 1 若1 p c o ，0 vu ，r r 华则算子兀由( r n ) 到l p ( r ) ， 由g ，8 ( 瞅) 到睇，a ( 瞅) 都有界。 证明：对于i 磊，由瓯：的定义和( 2 1 ) 式，我们有 肛m ) | 然薹蚓_ 2 _ 1 ， 即有 i g u ( t ) l d t 2 盯， 其中 盯：= 码 j e z n 因此，由y o u n g 不等式，对于f 岛( r n ) 可以得到 f 五f l l p 2 a lj f l l p ( 2 6 ) 由于兀是一个卷积算子，由( 2 5 ) 式，可以得到，对于任意岛ra n dj 磊有如 下不等式 i f 孑五，| i p = 1 兀m t “jf i p 2 矿l f 孑，l | p 由上式可以很容易得到 慨州2 口i l f l l 蠕, , ，j 磊 7 第二章b e s o v 空间上的逼近 综上所述，再1 主1 ( 2 5 ) 和b e s o v 范数的定义就可以得到不等式 慨刑b ；，。r i i 1 1 缉 下面的引理给出了由算子兀逼近的估计，下面的估计将用到不等式： 仍嘶( t ) ：= i t l r j + 0 - 1 ) ，t r ， 其中目v 。 引理2 2 若r ，u r 华，j 磊，1 p ，0 ，v 和1 口+ i 0 = 1 ，则有 i i f 一互j f l l p i l 毗i l f l l g ，( r n ) 证明：由( 2 2 ) 可以得到 ，( z ) 一( 气，) ( 茹) = ( 一1 ) k j ( 岛) ( 2 ，) 扛) 嘞，z r 钆 ，r i ：1 ：t m i n k o w s k i i 不等式可以得到不等式 | i ，一( 气f ) l l p ! 叱( 勺) j i ( 孑厂) ( z ) i | p d t j ( 2 7 ) ，r 。 因此，i 刍h o l d e r 不等式和矾的定义，可以得到想要的结果。口 使用一个特殊的加权函数 ( t ) ：= # - 1 l s i n 饥石u tf 1 8 ，川s ， c 2 8 ， 其中s w ：= y 1 ) ，u r + 且选择满f f z ( 2 2 ) 的p 。当s 一吩w , j 磊，我们可 以得到下面的估计 | l 西s 嘶i | l ( r ) 啄r j ， ( 2 9 ) 对所有吻r + ，其中 胪( 南) v 矿 我希望由( 2 7 ) 定义的特殊加权函数的边界和引理3 3 估计由算子兀逼近的有 效性。我们只对向量u 贮的限制集说明这个问题。尤其是对任意v ，由 方程 u = 口7 ( ，j 磊， ( 2 1 0 ) 第二章b e s o v 空间上的逼近 定义向量u r 竺的坐标。其中 这个定义暗示着 1 1 = 钞 j z n 选择这个特殊向量u 和加权函数( 2 7 ) ，用& 表示五。 2 2b e s o v 空间上的逼近 ( 2 1 1 ) 引理2 3 若r r 王，秒r + ，1sp o 。，0 ks f w 和，l p ( r 住) 有& ，p ( 郧) 。 证明：首先注意到当s w 时，对所有1 p o 。，g u 是眠，p ( r - ) 中的 整函数。因为& 是一个卷积算子，它的傅里叶变换在方体眉：= 1 - i ( 一u i ，) 外 诞磊 为o 。而且，由 9 ，引理3 1 】，可以推出& 岛( 础) 。 1 1 七t h h t i l d e r 不等式和对任 意l p o 。有g u l p ( 孵) ，可以得到& ，l o o ( r n ) 。口 下面的引理说明的是算子& 的逼近性质。令p ：= n p 2 玎和叩：= ( 1 p ) 1 1 ( 。口 引理2 4 ：7 菩- r r 华，可r + ，1 p m 时，不存在节点函数。当d i m 咒k = o 。时，则对 任意f 1 1 ，我们可以找到一个x = p 1 ，勋) cx 生成一个节点函数集。 节点函数可以用来构造插值函数： l ( 刷z ) = ( x t ) ，x ( z ) ，z x ，c ( x ) ( 3 3 ) 显然对i = 1 ，f ，满足疋( ，) ( 甄) = f ( x i ) 。参照【1 6 ，1 7 ，1 8 ，1 9 】可知，插值函数可 以应用于径向基的逼近。 定义3 2 令k 为在紧矩阵空间( x ，d ) 上的娩r c p 出，t a $ ；x = z 1 ，z dc x 。定义在x 上的功效函缸k 为 州咖= s u p i n f ：卜矿2 驴lk 砌+ 参砒) 1 2 ) 邝甸 第三章再生核h i l b e r t 空间上的插值 对于，冗南，i x ( f ) 一，的误差将由功效函数估计。 我们知道，当呔：= 玛警1 - i ，l i l l ，d ( z ，兢) _ 0 时，e k ( x ) 一0 。若k 是x 上 z t 1 2 l ， 的l i p s c h i t z 8 ： l 必( 。，y ) 一k ( z ，妻) l c ( d ( y ，妻) ) 8 则 e k 2 c 1 由 1 4 1 ，由k 有较高阶的光滑性，可知k ( x ) 收敛的更快。 r k h s 中函数的插值的误差可以按照下面的方式估计。 定理3 1 令k 是一个m e r c e l 毒 ；) 2 ，对x = j 7 1 ，：e l cx ，a x 非奇异。定义 如p 刃的x 的插值。则对歹7 - g ，满足 l | i x ( f ) 一f | | c ( x ) | | fl l ke k ( z ) ， ( 3 5 ) f ff x ( f ) l i c ( x ) 0 ， 忌( ) c o e a 吼v r n ， 若a 4 + 2 n l n 4 ，也有下式成立 州妪州耶4 g ( 咖 去，剐舭 证明：选择 ：= u q ，x ( z ) 口a x 作为x 上的拉格朗日插值多项式。对于每一 个z x ，它是r “上的向量。贝l b r ( x ) s u p q n ( x ) ，其中 q ( z ) ：= 七( o ) 一2 ，x ( z ) 岛( z q ) + u q 牟( x ) k ( a - z ) u p ，x ( z ) a e x n ，p x 由【1 4 】中定理2 的证明，得到对于任意z 0 ，1 hq n ( x ) k ( ) 。因此，e k ( x ) 扎( ) 命题的第二部分关于a k ( n ) 的估计在 1 4 ，定理3 】中有证明。e l 1 4 第四章主要结果的证明 现在我们可以根据插值函数( 3 3 ) 估计j 一泛函的收敛阶了。 考虑在x = 0 ，1 】n 上的卷积形式的核( 3 7 ) 。在【1 3 】中，对于r 0 ，定义 圳：= k 焉小删。1 胆 ( 4 - ) 为了证明定理1 1 ，我们要用到第二章中定义的算子& 。由引理2 3 知，& ，的 傅里叶变换在方体r i ( - - u i ，u i ) 外为o 。我们取m o 满足 i e z , , m l r = m a x ( u ，i 磊) ， 则& ，的傅里叶变换在方体 _ m 丌，m 7 r p 外为o 。 引理4 1 令七l 2 ( r n ) 是一个对称函数，同时满足忌( f ) 0 ，在x = o ，1 】竹 上的核为k ( z ，y ) = 七( z y ) 。对，岛目( 孵) ，存在正常数c 和m n n ，则 对x = o ，1 n ，( n 一1 ) n n ，有 俐i i 足( & f ) l l k c i i f l i a k ( n ) ； f ，i 力l l 孓，一i x ( g 、，f ) l i l l & f l l a k ( m ) e k ( x ) c i i f i i a k ( m ) a k ( n ) 证明：( i ) 对i ，j x n ：= f o ，1 ，一1 ) n ，和既= i n ，1 主i ( 3 2 ) 可以得到 = ( 鼻1 ) 咖( 1 ) 如 k = ( 疋1i ，。( 疋1 ) g ( x 。恕) = ( 走1 ) 如( a t l ) ”( 凡) 如= ( 1 ) 铮 k z 、尼 一x a 。芦 z磁 ，二肛一x a 。谢 u 第四章主要结果的证明 则对g c ( x ) 有 9 ) i 毛= i | 9 ( 兢u t ( z ) 恨 i 6 x n = 9 ( z t ) g ( ) k i , i 6 x n = ( g l 。) t 鼻1 ( g l x ) = f 。 i l 1 1 2 i l 删刍= i | 1 | 1 2 ；) 1 2 ， i 6 x n 其中9 l x 是向量( 9 ( ) ) 诞x r 胪1 | 生1 1 1 2 表示在( r 胪，z 2 ) 中的矩阵生1 的范数。 令g = & ，由于& ，的傅里叶变换在方体 - m 丌，m 7 r 】n 外为o ，则 j e x | 22 轰，p 哪烈跏奶必inj j 哺i 。2 “。 =j6x旧哪厶m州。绯矽咿叫n 1 l 。七【_ “，“。 i =jex_哪厶分嫩ln 。【一“j 。 i =，6x卜哪州。烈联矽胪埏innj 。2 l - “，”j i 厶h 府1 0 ( 硼州d 2 ： n 竹i i 夕1 1 2 将g = & ，带入，则有 l i i x ( s , , f ) l l , r i l 鼻1 1 2 扎i i s j i i ， 现在估计范数| i a ：1 1 1 2 对于卷积形式的核， 1 4 ，定理2 】给出了估计，我们有 l i a ；1 1 1 2sn 邗( a 知( ) ) 2 再由( 2 5 ) 式得到 j i i x ( s , , f ) ) l l , c l i s j i i a k ( n ) i i f l l a k ( n ) ( i ) 得证。 第四章主要结果的证明 ( i i ) 令z x 令9 = & ，由于氐，的傅里叶变换在方体 一m t r ，m 丌】n 外为o ， 则 g ( z ) 一l ( 夕) ( z ) = ( 2 丌) 娟卜( ) p 一( z ) e 啄) 蜓 f 骢n 了a = ( 2 矿n 、。e - m 么t rm ， 一，驴如叫必，丌l “ j t 由许瓦兹不等式得到 叭圹她胚二州。等诞 1 2 n 胁，p 一争如砂叫2 磁) 1 2 ， 第一部分以c l i 刑a ( m ) 为界。 小啦舭一歹磊础矽勺e 降 = 小眯虬轰咖矽咪) ( e 嘞一聂吣) e _ 啄) 蟛 = 小) ( 1 ，羡蛐) e i ( z - z l + 幻e 妇嘶矽亿诫红) 必 根据傅里叶逆变换，第二部分变为 一2 轰嘶以g 吲+ i , j c x n 喇地一腻2 ) ) 1 2 鲰， 、 j x ， 由( 3 9 ) 得到 f f 鼠，一厶( & ) 1 f c l f l l a k ( m ) a k ( n ) 定理4 1 若7 ，m r 十，1 p 0 0 ，0 v 和，毋口( r n ) 则瓯有如下性质 i i ，一厶( & ，) i | p ( m 7 r ) 一i l f l l b ；, 。( 舻) + c l i f i a k ( m ) ：k ( n ) 第四章主要结果的证明 证明：我们知道 j i ，一厶( & f ) l i i i f 一& 川+ l i & ，一l ( & 删 由引理4 1 ， 由引理2 4 ， 因为，7 ( r ) = r n ，则 和 & ，一l ( & f ) l f c i i f l i a k ( m ) a k ( n ) 1 l f 一& f l l p u 一7 i f l l b 5 。( r n ) 秒= 珏t ， i e m r r = m a x u i ，i 磊) 定理得让。口 下面我们就可以证明定理1 1 了。 定理1 1 令 k ( 删) = e x p _ 一与h 秒x = 0 ，1 】n ， g ，n ：= 磊而币可n d 瓦r 2 7 焉r 2 而币呵和g ，n ，：= ( 仃 薪) r 2l 1 。 7 以r n 2 + ( o v a ) 一豇2 ( 2 诟+ 寿) ) 若f h 8 ( 酞n ) ，则存在常数a 使得 i ( f ，兄) a l f l l b ；, o + l l f l l l 。) 1 nr + 型n 口历) _ l n 厶z 广4 证明：是( z ) = e x p 一譬 的傅里叶变换为 讯h 口何e x p 一掣一 则由( 4 1 ) 贝l j a k 的反函数a i l 为 蜊却佾妒e x p 竿卜 珊) = 筹( 1 n ( 口问呐r ) ) v 2 1 8 第四章主要结果的证明 我们取n 且m a x g 8 0 n 孑广i n 2 _ 1 _ r 使得 扣i 1 ( r l l f l l ) 障1 ( r l l f l l ) 1 虫 1 4 1 ，我们知道对于丝笋，有 m ) 2 讵( 去) 舭+ 去2 川邸讵+ 丽4 ) e x p 卜n c o 其中c o = m i n l n ( 4 x - n ) ，ni n2 ) 。令m n ，由引理h 1 ，| l 足( 孓，) l l k c i i f i i a k ( n ) r 再由定理4 1 ，我们知道 i l y l ( ，) | 帆) i l f l l b ；，。3 ( m 丌) + c i i f l i a 七( m ) ( 2 v - e + 赤) e x p 一g ) ( 4 2 ) 选择m n 使得 三何瓦m 何瓦， 贝0 n 口2 丌2 m 2 s c o n 2 ，即 a k ( m ) ：( o v a ) 刮2e x p 堕竽) ( o v a ) 叫2e x p c o n 2 ， 和 ( 钆n 叫o 2r 2 = ( 磊) r 2 南鼎 田( 4 3 ) 利上凹网小，寺瓦得到 i l l - i x ( & f ) l l 工：( x ) i l f l l f l ( m 7 r ) 一r + c i i 1 1 a 知( m ) ( 2 讵+ 而4 ) e x p 一n c o 刘l 川斋孙删i 川( 盯佾啪( 2 诟+ 寿) e x p - 鲫) a 嘭忍，( 1 l f l l s ；。+ i l f l l ) m a x ( a 一1 ( i 南i i ) ) - l 唧 一譬a 一1 丽r ) 其中a = m a x ，c ) ，和 嘭 ，= ( 嘴+ ( 口行) 咄7 2 ( 2 讵+ 焘) ) ， 若 c 4 0 al 、1 1 r 刘rl 州斋 1 9 第四章主要结果的证明 则 m a x ( a 。丽i r ，- r 2 ，e x p 卜譬a - 1 ( 南) ) ) ( a _ 1 ( 赢) ) 帕 我们可以得到下式 ，一i x ( s v f ) 以郦a r ( ：，l l f l l ，+ l l f t l ) ( a - 1 ( 南) 广 妯赫( 忖崦b r 川- i - l 刘) m + 孔侗乩广 a ，( 1 l f l l s ；, e - i - ) l n 冗+ 扣盯行) 一i i ：l l 叫弘 口 第五章结论 当再生核h i l b e n 空间做为假设空间，f 属于各向同性的b e s o v 空间，k 为解 析核，尤其，当k 为高斯核时，泛函是对数收敛的。 参考文献 参考文献 【1 】ec u c k e ra n ds s m a l e ，o nt h em a t h e m a t i c a lf o u n d a t i o n so fl e a r n i n g ，b u l l a m e r m a t h s o c 3 9 ( 2 0 0 2 ) 1 4 9 【2 】t e v g e n i o u ，m p o n t i l ，a n dt p o g g i o ，r e g u l a r i z a t i o nn e t w o r k sa n ds u p p o r t v e c t o rm a c h i n e s ，a d v c o m p u t m a t h 13 ( 2 0 0 0 ) ，l _ 5 0 3 】vv a p n i k ，s t a t i s t i c a ll e a r n i n gt h e o r y , j o h nw i l e ya n ds o n s ，1 9 9 8 4 】g w a h b a ，s p l i n em o d e l sf o ro b s e r v a t i o n a ld a t a ，s i a m ，1 9 9 0 【5 】n a r o n s z a j n ，t h e o r yo fr e p r o d u c i n gk e m e l s ，t r a n s a m e r m a t h s o c 6 8 ( 1 9 5 0 ) 3 3 7 4 0 4 【6 】c u c k e r , e ，z h o u ，d x ：l e a r n i n gt h e o r y ：a na p p r o x i m a t i o nt h e o r yv i e w p o i n t c a m b r i d g eu n i v e r s i t yp r e s s ，c a m b r i d g e ( 2 0 0 7 ) 【7 】s b o c h n e r , h i l b e r t d i s t a n c e sa n d p o s i t i v e d e f i n i t e f u n c t i o n s ，a n n a l s m a t h 4 2 ( 19 4 1 ) ，6 4 7 - - 6 5 6 【8 】s m n i k o l s k i i ，a p p r o x i m a t i o no ff u n c t i o no fs e v e r a lv a r i a b l e sa n di m b e d d i n g t h e o r e m s ，n e w y o r k ，19 7 5 9 】c a m i c c h e l l i ，yx u ，a n dpy e ，c u c k e rs m a l el e a r n i n gt h e o r yi nb e s o vs p a c e s ， i np r o c e e d i n g so fn a t o - a s il e a m i n gt h e o r ya n dp r a c t i c e ，l e u v e n ，2 0 0 4 【1 0 】y j i a n ga n dy l i u ，a v e r a g ew i d t ha n do p t i m a lr e c o v e r yo fm u l t i v a r i a t eb e s o v c l a s s e si n 易( 呶) ，j a p p r o x t h e o r y1 0 2 ( 2 0 0 0 ) ，1 5 5 - 1 7 0 【1l 】eg i r o s ia n dt p o g g i o ，n e t w o r k sa n d t h eb e s ta p p r o x i m a t i o np r o p e r t y , b i o l o g i c a lc y b e r n e t i c s6 3 ( 1 9 9 0 ) ，1 6 9 - 1 7 6 【l2 】g w a h b a , p r a c t i c a la p p r o x i m a t es o l u t i o n st ol i n e a ro p e r a t o re q u a t i o n sw h e nt h e d a t aa r en o i s y , s i a mj n u m e r a n a l 1 4 ( 19 7 7 ) ，6 51 - 6 6 7 参考文献 13 】s s m a l ea n dd x z h o u ，e s t i m a t i n gt h ea p p r o x i m a t i o ne r r o ri nl e a r n i n