（应用数学专业论文）经验bayes估计中的若干问题.pdf

西北大学硕士学位论文 摘要 本文主要将经验b a y e s 理论应用于单边截断型、二维双边截断型以及双参数 指数型分布族参数的估计问题中；并在同分布n a 样本和l i n e x 损失函数以及平 方损失函数下进行了讨论 首先，在l i n e x 损失函数下和样本为n a 序列时，对一类单边截断型分布族 的参数进行了讨论其中，应用核密度函数构造了参数的经验b a y e s 估计，并且 得到了朗估计的收敛速度 然后，对双参数指数分布族参数，在平方损失和n a 样本条件下进行了讨论， 并且得到了收敛速度 最后，是对二维情况的双边截断型分布族的参数的e b 估计进行讨论 关键词： n a 样本 密度函数核估计 收敛速度 l i n e x 损失函数 经验b a y e s 估计 渐近最优 西北大学硕士学位论文 a b s t r a c t e m p i r i c a lb a y e s i a nt h e o r y i s a p p l i e dt oi n v e s t i g a t e t h es t a t i s t i c a li n f e r e n c a p r o b l e m so ft h ep a r a m e t e ro fo n e - s i d e t r u n c a t e df a m i l i e s ，t h e p a r a m e t e ro f t w o - d i m e n s i o n a lt w o - s i d et r u n c a t e dd i s t r i b u t i o nf a m i l i e s ，l o c a t i o np a r a m e t e ri n d o u b l ep a r a m e t e r se x p o n e n t i a ld i s t r i b u t i o nu n d e rt h ei d e n t i c a l l yd i s t r i b u t i o na n d n e g a t i v e l y a s s o c i a t e d s a m p l e s ，l i n e x l o s sf u n c t i o na n dq u a d r a t i cl o s si n t h i s d i s s e r t a t i o n f i r s t l y , i nt h ec s s co fn as a m p l e s ，t h ep r o b l e m so ft h ep a r a m e t e ro fo n e s i d e t r u n c a t e df a m i l i e si ss t u d i e du s i n gt h el i n e xl o s sf u n c t i o n t h ee be s t i m a t o rf o rt h e p a r a m e t e ri sc o n s t r u c t e db yt h em e t h o do fk e r n e ld e n s i t y t h ec o n v e r g e n c er a t e sc a n b eo b t a i n e d s e c o n d l y , f o rl o c a t i o np a r a m e t e ri n d o u b l ep a r a m e t e r se x p o n e n t i a ld i s t r i b u t i o n , t h ee m p i r i c a lb a y e se s t i m a t o ro ft h ep a r a m e t e ri ss t u d i e du n d e rt h eq u a d r a t i cl o s s f u n c t i o na n dn a s a m p l e s ，a n dt h er a t e so fc o n v e r g e n c ei sa l s oo b t a i n e d f i n a l l y , f o rt h ep a r a m e t e ro ft w o - d i m e n s i o n a lt w o s i d e t r u n c a t e dd i s t r i b u t i o n f a m i l i e s ，t h ee m p i r i c a lb a y e se s t i m a t o ro ft h ep a r a m e t e ri sd i s s c u s e d k e yw o r d ： n a s a m p l e l i n e xl o s sf u n c t i o n k e r n e ld e n s i t yf u n c t i o ne s t i m a t i o n e m p i r i c a lb a y e s e s t i m a t o r c o n v e r g e n c e r a t e s a s y m p t o t i c a lo p t i m a l i t y i 西北大学硕士学位论文 西北大学学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻 读学位期间论文工作的知识产权单位属于西北大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版。本人允许论文被 查阅和借阅。学校可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学 位论文。同时，本人保证，毕业后结合学位论文研究课题再撰写的文 章一律注明作者单位为西北大学。 保密论文待解密后适用本声明。 、 。 学位论文作者签名：蓬列绛 指导教师签名：望里! ! 兰兰i 。1 译舀月；白p 7 年g 月岁日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，本论文不包含其他人已经发表或撰写过的研究成果，也不包含 为获得西北大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 学位论文作者签名：孑参李叶蜂 p 萨g 月弓日 西北大学硕士学位论文 第一章绪论 2 0 世纪以来，数理统计学科存在两大学派，一是经典统计学派，也称为频 率学派，另一个是以十八世纪著名统计学家贝叶斯命名的贝叶斯学派，它起源于 英国的著名统计学家贝叶斯的一篇论文“论有关机遇问题的求解”文中提出了 著名的贝叶斯公式和一种归纳推理的方法，到2 0 世纪的8 0 年代，已发展为一个 有影响的学派这两个学派的共同点是：都假设所研究的总体服从某种类型的分 布，例如：一批产品抽样检查，它是服从二项分布，产品的次品率p 是未知参数 两个学派所争论的焦点是对分布类型中所含参数，如上例中的p 有不同的认识 频率学派认为，这些参数是客观存在的；在未得到全部数据之前( 这往往是不可 能的) 它是未知的，是通过抽样的结果来估计；这种估计推断的理论是建立在频 率解释的基础上，估计这些参数或者对这些参数某些假设进行推断，看假设是否 正确；他们只利用了当前抽样数据，而不涉及其他 但是，我们周围还有一些非样本信息，也可以用于统计推断和统计决策这 些非样本信息主要来源于经验和历史资料，我们称之为先验信息 例如，产品抽样的例子：就当前受检的这批产品，次品率确实是一个未知常 数但从该厂生产这种产品来看，肯定不只生产一批，而是有很多批，每批的次 品率显然不尽相同，但他们是在同一个工厂，运用同样的设备，同样的生产工艺 条件下生产的，每批产品的次品率相差不多，它也是受某种随机规律制约 的b a y e s 学派认为，从历史数据来看，同一个工厂生产的同种产品的次品率是随 机变量，服从某种先验分布，当前受检的这批产品的次品率只是这个随机变量的 一个实现在估计当前受检的次品率时，应当考虑这个事实，不仅要用当前的抽 样数据，还要利用先验分布所提供的信息他们的理论是，利用当前抽样的数据 及先验分布，再由b a y c s 提出的贝叶斯公式建立后验分布，以后一切统计推断， 如参数估计，假设检验，都是在后验分布的基础上进行【1 】 b a y c s 学派诞生以来就与经典统计学派有着争论例如，是否可以把任意未知 量都看作随机变量但是近几十年来，b a y e s 统计得到了很大的发展并在许多领 西北大学硕士学位论文 域得到了应用，尤其是在经济领域，可以这样说，b a y e s 统计已成为当今国际统 计科学研究的热点但是这两个学派的争论仍在继续，而且正是他们的争论使得 统计学得以更好的发展正如e f f r o n 2 】所指出的：“由于这场争论而使得统计学领 域叶繁花茂”如今经典学派已经不反对把未知量看作随机变量这一观点，美国 著名经典统计学家l e h m a n n e l 在他的点估计理论一书中写到：“把统计问 题中的参数看作随机变量的实现要比看作未知参数更合理一些”如今两派的争 论的焦点是：如何利用各种先验信息合理地确定先验分布【3 1 本文介绍的经验 b a y e s 估计，就是这场争论的产物 经验贝叶斯，最初是由美国统计学家r o b b i n s 于1 9 5 5 年提出的，他吸收了 贝叶斯学派的不孤立地利用当前抽样数据来进行统计推断的好思想，而避开或少 用先验分布的假设，是用当前抽样数据及有关历史抽样数据来进行统计推断这 样的好处是，统计推断的精度能接近在此先验分布准确条件下用贝叶斯方法进行 的统计推断结果这种推断的解释仍是采用频率理论，这就是说：这个理论采用 两派的优点，形成自己的观点和理论经验贝叶斯的观点相对贝叶斯学派的观点 而言，它避开了贝叶斯学派的某些主观成分，完全依靠客观数据 1 1 b a y e s 及经验b a y e s 方法 b a y e s 理论得名于英国学者t h o m a s b a y e s ( 1 7 2 0 - 1 7 6 1 ) 去世两年后发表的重 要文章论归纳推理的一种新方法后世的统计学家把文中提到的贝叶斯公式 发展成了整套统计推断的原理与方法，这就是我们现在的贝叶斯理论 1 1 1 贝叶斯方法： b a y e s 公式是b a y e s 学派进仃一例现丌推断的基础 b a y e s 学派的基本观点是：任一个参数0 都可以看成是随机变量o 是参数空 间，可以用一个概率分布去描述0 的状况，即先验分布，记为o ( 0 1 ， o ( 0 1 - ( o ) a o 这样样本的联合分布函数是当随机变量p 给定某个值时，j 的 2 西北大学硕士学位论文 条件密度函数，记为p 0 1 0 ) 从贝叶斯的观点来看，样本x - ( x l ，五，鼍) 的产生要分为两步，首先设 想从先验分布石( 产生一个观测值一，然后从条件分布p i 口) 产生样本观测值 x 。“，x 2 ，) 这时样本z 的联合条件密度为： p o 协i ：i p h 这个函数综合了样本信息，也称为似然函数 由于0 是设想出来的，仍然是未知的，要把先验信息与样本信息综合，不能 仅用设想值，还应用石( 目) ，这样通过z 与参数p 的联合分布： j l o ，0 ) - 玎( 口) p l 占) 把先验信息与样本信息综合到一起 为了对参数0 做出统计决策，需把联合分布进行如下分解： o ，p ) - ：r ( o i 工砌( d ， 其中册0 ) 是z 的边缘分布密度函数， m 。且 ，o ) a o 。f o * ( o ) v ( x io ) d o ， 它与0 无关，或者说肼o ) 不含任何0 的先验信息，因此能用来对0 作出统计决策 的仅是条件分布石p i x ) ，其计算公式为： 洲。等。器， 这就是b a y e s 公式的密度函数形式在样本给定时，0 的条件分布称为0 的后验分 布它集中了样本信息与先验信息中一切0 的信息，它比先验分布要更接近于实际 情况因此使用后验分布对0 作统计决策，比用先验信息更为合理 上述讨论是在连续型分布下得到的，对于离散型可以类似得到 从上面的b a y e s 公式的推导中不难看出，当从总体中获得样本后，b a y e s 公 式把人们对一的认识由万( 调整到石( 口j x ) 这个调整过程可以形象地表示为： 西北大学硕士学位论文 先验信息。样本信息净后验信息 石( p ) op ( z l o ) 一万( 8 i 力， 其中符号“o ”应理解为b a y 塔公式的作用 1 1 2 贝叶斯决策 决策论是著名统计学家a w a l d ( 1 9 0 2 1 9 5 0 ) 在2 0 世纪加年代提出并建立 起来的它与经典统计学的差别在于是否涉及对后果的考虑决策问题的描述涉及 到三个要素：1 可控参数统计结构( z ，b 。，t 办：口e ) ) ，其中参数空间o 中每 个元素就是自然界或社会可能处的状态，从概率密度函数岛( 中抽样获得样本 x - ( 墨，x 2 ，置) 就是为了从此样本获取有关口的最新信息，以便更好的作出 决策；2 行动空间( ，占。) ，- 4 ) 是为了解决某统计决策问题，人们对自然界 可能做出的一切行动的全体a 中的每个元素表示一个行动；3 损失函数p ，a ) 它 是定义在o x a 上的一个二元函数，它表示当自然界处于状态口时，而人们采取 行动4 时对人们引起的损失 定义1 1 1 在统计决策问题中，从样本空间( z 口j 到行动空间( ，口。) 的可 测映照d ( x ) 称为( 非随机化的) 决策函数 定义1 1 2 设6 ( x ) 是一个统计决策问题中的决策函数，那么损失函数 ( p ，6 伍) ) 关于样本x 的分布岛 ) 的数学期望： r ( o ，6 ) 一e x w 陋( 8 ，6 d ) ) 】一r 工p ，6 0 ) 溉o m ， 称为决策函数的风险函数，其中是控制测度 b a y e s 分析把先验信息与样本信息结合起来用于推断之中，形成非决策的 b a y e s 分析；若再使用后验信息，就形成b a y e s 决策分析 以下定义b a y e s 风险，在给定的统计决策问题中，设r ( o ，6 g ) ) 为决策函数 6 ( x ) 的风险函数，万( 为的先验分布，则平均风险： 4 西北大学硕士学位论文 运用后验分布可得： 疋。f o r ( o ，6 弦( 口) d 疗 疋。f n ( o ，6 ) 石( oi x ) d o 如果存在6 o ) 这样一个决策函数使缛： 疋( 6 ( x ) l x ) 一i n f 疋pi 功， 则称6 o ) 为该统计决策问题在后验风险下的最优决策函数，在点估计问题中称 其为b a y e s 估计 通常情况下采用平方损失函数： l ( 8 ，6 ( x ) ) 一( 口一6 ) 2 ， 此时口的b a y e s 估计恰好是一的后验分布均值即：屯( x ) - e ( o l 力 在加权平方损失工p ，6 ) ) 一a ( o x o 一6 ) 2 下0 的b a y e s 估计为： 一鬻 从上面的讨论可以看出b a y e s 分析的关键是确定先验分布，至于如何确定先 验分布已有很多成功的方法b e r g e r 在文献【5 】中的第三章对此作了较为全面地叙 述 下面我们讨论经验b a y e s 方法 1 1 3 经验贝叶斯 经验贝叶斯方法，最初是由美国统计学家h r o b b i n s 在1 9 5 5 年提出，这种 方法的思想受到了统计学者的相当的重视统计学界的元老j n e y m a n 甚至称它为 统计判决的“两大突破之一”它是利用数据来估计先验分布的某些性质的方法之 一。其基本思想是用样本所估计的先验分布来代替真正的先验分布，然后作出贝 叶斯推断几十年来，不少统计学家将h r o b b i n s 方法的思想用于种种统计问题 中，得到了不少结果。1 9 7 0 年还出版了这方面的专著【4 】 假设我们有一批历史数据( 工，0 1 ) ，( x ：，) ，( 以，吼) 与当前数据( x ，口) ，其中 西北大学硕士学位论文 五，置，置，x 是可观测的数据，是已知的，岛，0 2 ，吨，口是不可观测的，是分 布中的未知参数 经验b a y e s 估计的任务就是要找到一个依赖于墨，x 2 9 g 9 以，x 的函数 龟( 墨，邑，以，x ) 来估h - o 并使得它接近万( 占) 已知时的b a y c s 估计设样本的 密度函数为p ( x l o ) ，0 的先验分布密度为万( 们，则x 的边缘密度为： ， ) 。f o p ( , , i o 弦( o ) a o ( 1 ) e b 方法认为：样本是从，( 砷中抽取的，故可以由而，x 2 ，估计，o ) 或其特征， 由于假设已知p ( x i 口) ，则可由( 1 ) 式估计石p ) 或其特征，再由现在的样本工去 获取0 的e b 估计下表给出经典统计方法，b a y e s 估计方法，e b 方法的一般特征 特征经典方法 b a y e s 方法 e b 方法 参数0未知常数随机变量的未知值随机变量的未知值 先验分布不存在 已 知未知 样本分布已知已知已知 边缘分布不存在 已知 未知 后验分布不存在 已 知未知 f 面引进渐近最优经验贝叶斯估计及其收敛速度 定义1 1 3 任何同时依赖于历史样本墨，五，以和当前样本x 的判决函数 以一瓯伍lz 。，x 2 , - - , 置) 称为经验贝叶斯判决函数 当置，x 2 ，以已知时，瓯僻i 墨，x 2 ，以) 的b a y e s 风险为： & p 。( x l x , ，而，毛) ) 。正严p ，吒 l 葺，而，x ) ) d p ( x l o ) d g ( o ) ， 由于上式仍是墨，x 2 ，以的函数，故可对墨，x 2 ，以的联合分布求数学期望 得到屯( xi 五，x 2 ，以) 的全面b a y e s 风险： ( 屯) - e ( 心瓯僻l 墨，x ：，以) ) 一r ( 6 。僻lx 。，x ：，以) 矽( 五矽o z ) d f 瓴) 6 西北大学硕士学位论文 定义1 1 4 如果一串经验判决函数 以何i 置，x 2 ，e ) ，对任意g e f ， f 是先验分布族满足条件： 熙呓( 瓯) - ( 如) ， 即屯的全面b a y e s 风险的极限等于b a y e s 估计屯的风险，则称 瓯僻i 墨，x 2 9 0*0 9 以) 是渐近最优的经验b a y e s 估计( a o e b ) 定义1 1 5 如果呓( 屯) 一( a o ) - d o - 叮) ，其中吁，0 ，则称晚是具有收敛速 度为q 的经验b a y e s 估计 1 2l i n e x 损失函数 在统计决策理论中，损失函数的选取是十分重要的，但是由于计算或其他方 面的原因，绝大多数是选取对称或线形损失函数来研究统计决策问题本文将引 入l i n e x 损失，这是一种非对称损失 在许多估计和预测中，人们往往习惯于使用对称损失函数，如平方损失，绝 对值损失等但事实上，正误差( 过高估计) 与负误差( 过低估计) 引起的损失 并不相同，许多学者注意到这点，引入了非对称损失函数，如v a r i a n 在文献【6 】 中提出的更具特色的非对称的l i n e x 损失函数，并受到了许多研究工作者的重 视z e l l n e r 在文献【7 】中将其应用于预测的b a y e s 分析；h u a n g 在文献【8 】中用运它 研究一类截断族参数经验b a y e s 估计及检验；师义民在文献【9 】中研究了一类双 边截断族参数的经验b a y e s 估计问题尽管l i n e x 损失函数的实际应用潜力很大， 但目前的研究结果还很少，“是一个比较重要却刚刚起步的研究方向”【2 5 】 下面介绍l i n e x 损失函数： 令a 。占一0 表示以占估计0 的估计误差，l i n e x 损失函数即： l p - o ) t 工( ) t b e “- c a - b ， 其中口，c ，0 ，b ) 0 显然，工( 0 ) 一o 按照损失函数的意义，要使l ( a ) 在一0 时最小值存在，必 7 西北大学硕士学位论文 须有a b c ，这样上式可改写为： l ( a ) - b ( e 4 6 一a a 一1 ) ， 。其中口- 0 ，b ) 0 ， 上式中的参数4 ，b 分别是该损失函数的尺度参数和形状参数 1 3n a 样本序列 定义1 1 6称实值随机变量墨，以，以，珂2 为n a 的，如果对于 仉2 ，以 的任一个划分互，互都有： c o v ( f , ( 置，f 五) ，2 ( x j ，瓦) ) s 0 ， 其中五和，2 是任何两个使上述协方差存在的对每个变元均非降或非升的函数 称随机变量序列置，邑，置是n a 列，若 以) 的任意一个二元以上的有限 子集均为n a 的关于n a 序列的极限理论的研究可参见苏淳文献【1 0 】与赵林城 文献【1 l 】等 1 4 本文的主要内容及安排 自经验b a y e s 方法引入以来，e b 估计就成为统计理论的研究热点，康会光 等在文献 1 2 中研究了l i n e x 损失下单边截断型分布族参数的e b 估计；师义民 在文献 9 中研究了双边截断型分布族参数的经验b a y e s 估计；丁晓在文献 1 3 中研究了双指数分布位置参数的经验b a y e s 估计；韦来生在文献 1 4 - 1 7 及张 玲霞在文献 2 2 中也都对经验b a y e s 估计进行了研究以前的研究中大多集中于 对样本独立同分布的情况的讨论，而在实际的应用中，n a 样本具有一定的适用 性，而且已有了一些漂亮的结论：如凌能祥在文献 2 0 中对n a 样本下单边截断 型分布族位置参数的经验b a y e s 估计进行了讨论；陈玲在文献 2 1 中对连续型单 参数指数族参数的经验b a y c s 估计问题( n a 样本) 进行了讨论等 本文主要运用经验b a y e s 方法研究了在n a 样本情况下，几种常见的分布 8 西北大学硕士学位论文 族的参数的经验b a y e s 估计第二章利用l i n e x 损失函数，对一类单边截断型分 布族的参数的e b 估计进行了讨论，得到参数的( a ，o ) e b 估计，并给出了它的 收敛速度第三章对双参数指数分布位置参数的经验b a y e s 估计进行了讨论，当 样本是在n a 样本情形下，利用平方损失函数给出了e b 估计，并且得到了其收 敛速度第四章对二维情况下的双边截断型分布参数的经验b a y e s 估计进行了讨 论，并且得到了其收敛速度 9 西北大学硕士学位论文 第二章l i n e x 损失函数下一类单边截断型 分布族参数的e b 估计：n a 样本情形 2 1 引言 自从文献【6 】中提出l i n e x 损失函数以来受到7 许多学者的广泛重视，文献 阴1 2 3 】分别将其应用到预测问题的b a y e s 分析中，以及寿命试验和可靠性估计中 文献 2 4 1 将其应用到多维正态分布的广义b a y e s 估计中在l i n e x 损失下文献【2 5 】 研究了一类单边截断型分布族函数的e b 估计文献【1 2 】改进了参数一的e b 估计， 得到了在一定条件下收敛速度可以任意接 o ( n 。1 ) 的结果但是，这些都是在独 立同分布样本的情形下做的讨论本文是在n a 样本下，利用l i n e x 损失函数对一 类单边截断型分布族参数的e b 估计进行讨论 设分布密度是厶一群p 1 口巍“6 ( 2 1 ) 其中u ( x ) 是( 口，b ) 上的可积函数，0 是位置参数，口是常数，b 可取+ m ，且 妒( p ) - 矿“) 】1 ；设q 为参数空间，记q 上参数疗的先验分布为g ( 口) ，且 g ( 有密度d g ( 一g p m p 当给定口时，随机变量z 的边缘分布密度和边缘分 布函数分别为，o ) ，f ( x ) ，其中 ，o ) = f 厶o ) 托：( 鲫一“( 工) f 妒( 咖p 矽口= “o ) v 扛) ， ( 2 2 ) 其中 ，卜) 。f 妒( 口k p 矽口 若取损失函数为i i n e x 损失( 8 ，a ) = e x p c ( a 一日) ) 一c ( o 一日) 一1 ，c 是损失函 数的尺度参数c r 且c - 0 ，a 是0 的估计值本文只讨论c ，0 的情形， 6 6 ( x ) 是决策函数，则b a y e s 风险函数为： r ( g ，= 厂，o ) 俨( p ，6 ) p ( o l x ) d o d x ， 西北大学硕士学位论文 p ( o l x ) - m 嗽 而p 的b a y e s 估计是使得下式 产( 一，6 ) v ( o l 石) d o = e a e ( p i x ) c 6 + 止( 口i 工) 一1 取最小值时的d 对上式关于6 求导，则得一_ i i n e ( e x p ( - c o i 工) ) 。三l n ( z ) ， c c 其中 - 严( e x “甜i 功) 】- 1 注蒯：球x 艄) = f e x p ( 一c 0 1 工小p 丛号磐d 口 = 【，( 力】z “扛) ( 咖p 弦一。d oi 【， ) 】1 球b ) m 扛) ， 其中 中( 彳) 一j ：妒( 引嘧p 弦一。d o 放有 一， ) 阻仁) m g ) r 1 因而如的b a y c s 风险为： = r ( c ，) = 譬r ( g ，6 ) = 厂，o ) 俨( 8 ，) p ( 8 i 工) d 8 ) 办 = r 【c e ( 口i x ) 一c ( x ) 】，o 胁 若给定了口的先验分布g ( 则r ( g ，如) 就可以得到，著g ( 鲫未知，则我们 利用e b 方法构造其风险函数可任意接近如的经验b a y e s 估计 2 2 构造 在以后等式或不等式中出现的c 分别代表不同的数 设x 1 ，工：，以，z 是n a 列，并且有相同的边际分布密度( 2 2 ) ，其中 置，x 2 , - - - , 以是历史样本，z 是当前样本，并且满足： 4 ：! 觋善i 。“而，_ i o ； c 2 ：v - x ( x ) u - 2 ( x ) c 3 ：f z e - c a u - t ( o ) d o t * ，r e 。4 ( o ) d o m 因为 v o ) 。f 妒( 疗k 徊矽口 从而 警- 妒( x ) 删， 进而我们有中( x ) = f e l 警d 口= f e “a v ( o ) = e - e a v p ) + f 卯( 口弦”d 日 ：一地一c e - 一丝2 d 0 h o ) 一一“o ) 故m ( x ) 的核估计为叱( 石净“等一r 卯。静口 下面我们定义g - 的估计： 叫胁，例。1 k 胎m 裟r 1 硼” ( 2 4 ) 由此我们可以得到0 的e b 估计： 戌，1 1 n o ) r 。e 【r ( g ，6 。) 】表示6 的全面贝叶斯风险，e 表示对置，x 求期望，e 西北大学硕士学位论文 表示对墨，以，x 求联合期望 2 3 引理 引理1 令x ，y 是n a 变量，皆有有限方差，则对任何两个可微函数 g l ) ，g ：( ) ，) 有： ic o v ( g 。o ) ，g ：0 ) ) i s 锄plg i is u plg ：( y ) l - c o v ( x ，1 9 ， 当g l ，g ：分别在有限或可列点集鹾，曰上不可微时有： ic o y ( g , ，9 2 ) 陋s u pig ：( x ) is u pig ：( ) ，) i - - c o v ( x ，l ，) 1 x q e - r 4 )瑁一日j 证明 参见韦来生文献【2 6 】 引理2 x 1 ，以是n a 列，无 ) 如上( 2 3 ) 定义。且4 、马( f - 1 ，2 ) 成 立，则有： ( 1 ) 当叫一* 时，嬲e l l ( x ) 一f ( x ) 1 2 - 0 ，v x e r l ( 2 ) 当矗。开彤一时，玩r i ( 瑚翻一缘2 ，e l l ( x ) 一，o ) p 5 纠“z ” 证明 ( 1 ) e l 0 ) 一，1 2 2 1 甄o ) 一，g ) 1 2 + 2 v a r ( f ( 力 皇2 “+ ，2 ) ( 2 5 ) 其中，矾- k 1 e 【k ( 等) 】- 蟛百k ( 笺锄( y ) d y = j ：o k ( u ) f ( x 一咖 由也和f ( x ) 的连续性可知： o s l i m l l 。舰l 既一f ( x ) l s l r ( u ) ! 塾l f ( x 一) 一f ( x ) l d u l 0 ( 2 6 ) ，2 砌( 彬咿1 驯砉k 学】 一。w ) - 1 善 v a r r ( x - x i - ) 】嘞w 广c o 咄( 等) ，k 吖x - x j ) ) 皇1 2 ，+ k 。 ( 2 7 ) 小m 瞵仁) - l 邵仁秽2 - ( 意吃) 1 z 置2 ) 厂。一以甜，s c ( ，吨) ( 2 8 ) 由马可知k 云马在r 1 一上可以求导，并由引理1 以及 以，甩，1 ) 的弱平 稳性可知： 如啪鼢1 亳l 劬僻学置( _ x 一- - x i i 墨砌w 嘉s 叩孛仁锄畸k 譬) ) i 如( m ) i c o w ) 4 珂z i 跏( ，_ ) l 妄c ) 一 ( 2 9 ) 把( 2 8 ) ( 2 9 ) 代入( 2 7 ) 中可得： 当辟4 。时，一* ，故有舰厶一0 ， 故引理2 ( 1 ) 得证 ( 2 ) e e v a ，【 o ) 】s 衄叼+ ：的证明可以由上式中证明，2 类似的方法证明 ( 3 ) e l l ( x ) 一f i x ) l n c n - ：的证明如下 e l l ( x ) 一f ( x ) 1 2 4 墨2 e l ( x ) - f ( x ) 2 4 + 2 【砌r ( 无( x ) ) 】1 = 2 ( ，p + - ，；) ， 因为 e l ( x ) 一，( 力一j ：k o ) ( ， 一吒n ) 一f ( x ) ) a u 将f ( x 一吃“) 在善剜r t a y l o r 展开到第s 项，则有： 。 胁。，+ 掣小掣2 + + 掣 由f ( x ) e c , ，和条件b 可知： i e l ( x ) 砸) i s j ：k ( h 彬l 掣l 如孟叫 故当 月+ 一时，有p 主讲一： 小- 1 v a r k 譬) + 2 。嘉i 伽僻警肛f x - - x 1 ) ) | 吐。叱， 西北大学硕士学位论文 由( 2 8 ) 可知当j i i 。珂7 乞+ 时，有，：。a l 。“敫2 ， 当 + 时，有，。册z 综上述，力饥一形+ ：得证 引理3 五，以是同分布的n a 列，西。( x ) 如前定义，并且条件4 ， 忍，c lf 一1 , 2 , 3 成立，当丸。玎+ 时，则有 ( 1 ) i 垂。( 砷一中 ) k c 雄兄一，( 2 ) v a r 【垂。 ) 】c 弹，+ 2 ， ( 3 ) l 中。g ) 一m ) p c ，l 。+ 0 0 时，对0 cr o ； e ：如协一忙当。耄 琶：爱( y ) 在不包括有限集e o 的霆1 上是可测的，且s u pl k g ) ls c t * 。 r 一巨 定义 删- 去砉k 降】，o 1 为自然数，则取_ i l - 尼。丽 时有ei b ) 一l ( x ) l “s 翻百 证明由c r 不等式可得， e i ( x ) - f ( x ) l “2 e n ( 工) 一局( 工) j 2 + 1 日：( x ) 一厂( 工) i “】 s 2 v a r 7 ( 茗) + i 局( 工) 一f ( x ) 1 2 7 】 s 2 【砌吮o ) 】，+ 2 1 点无( d f ( x ) 1 2 7 皇l ：+ l l ( 3 1 5 ) 西北大学硕士学位论文 ，l - 砌仆) 。丽1 砌r 砉k ( 竿) 2 去砌降) + 寿蠢。倦( 罕) q 罕) 皇l + ，1 2 由引理2 可得： ，1 ：c ( 竹h 4 ) 一 铲嘉叫孚) 杀e 【k 降) 】2 - 扣k 2 ( 孚炒方 一瓤k 2 似) 1 ( u h + 工) 也c 似) 1 ， 所以巧c ( n h 4 1 - r 由于e 无扛) 一z k ( “) i ( u h + 工) 幽 作，( 砌+ 工) 在x 处的勋归展式： ( 3 1 6 ) 他叫i ，( 小掣斛+ 掣w ，其柢鲫， 利用核函数的性质，有 所以 故有 e 无( 毒) - m ) + 瓤口r ( u ) f m ( 工嘲咖， e ( 石) 一，( z ) i 量c 彘 l ；i 无( 工) 一i ( x ) l 。s c h “ ( 3 1 7 ) 将( 3 1 6 ) ，( 3 1 7 ) 代入( 3 1 5 ) ，取h 。雄百五，则可得证 ei 正( x ) 一1 ( x ) 1 2 7 册一 引理5 设y ，y 为随机变量，y , y 为实数，l ，0 时，对0 c ，t 2 有 e i 【等一等1 rs 2 i _ ，i 一7 l y - y r + 【i 等i + 工1 7 i y yr 证明 见文献【2 7 】中引理3 3 4 定理 2 3 西北大学硕士学位论文 定理 令反由( 3 1 0 ) 定3 l ，当丽1 ，且- ，。西纛而时，设州 为任意确定自然数，0 c ，c 1 ，r ( 6 t 2 ，并满足下列条件 ( 1 ) ，扛) 的s 阶倒数存在，j i s u p f b ) co o ； ( 2 ) j l o l “a a ( o ) t * ，i e ( 九o ) 6 ) 】t 。； ( 3 ) 艺胁( 玉，) i m ，小儿) r - 2 ，出t * 则有；r 一一。o 9 ) ，其中q - 石干r s ( 孬2 歹- 6 鬲) 证明由引理1 可知 足一= e i 葭一瓦1 2 = e i 识( 工) 一九扛) 1 2 令4 i - x r 1 ：i 九b ) f ( 开 则只- r 1 4 当z 4 时，l 蛾0 ) 一九扛) k 2 n 由引理2 、引理4 、引理5 可得： e l 识扛) 一九( x ) 1 2 = e 【i 兜b ) 一九b ) 1 2 4 i 纯b ) 一九b ) 1 2 7 】 ( 2 n ) 2 2 e ( 茗) 一如( z ) k ， c i t ”2 。，0 ) 4 c ei 晶o ) 一g o ) 1 2 r + c n “ei 无o ) 一厂0 ) p 翻v 1 2 一”厂o ) 。 c n 一7 + c l l “蕊 墨c ，l ”：i ，4 g ) 玎 f 又因为厶e 娩( 工) 一九o