（应用数学专业论文）bayes方法中的若干问题.pdf

摘要 本文用b a y e s 方法研究巴斯卡分布可靠度的b a y e s 估计，用经验b a y e s 方法 研究单边截断型分布族参数的函数的经验b a y e s 估计及正态分布族位置参数的 经验b a y e s 估计问题。 首先，在对称损失函数p ，艿) = ( 8 矿- 6 ) 2 下，) 唾 b a y e s 方法和多层b a y e s 方 法得到巴斯卡分布可靠度口的b a y e s 估计和多层b a y e 估计及相应置信下限，并 证明了相应容许性。 其次，在n a ( 负相关) 样本下，用密度函数核估计的方法，构造了单边截 断型分布族参数函数q ( 目) 的经验b a y e s 估计，在讨论的条件下证明了它是渐近 最优的e b 估计，并证明它具有收敛速度g = 铡，其中。 2 。 最后，在n a 样本下，研究了i e 态分布族位置参数口的e b 估计问题，导出了 0 的b a y e s 估计的显示表达式，并用密度函数及其导数核估计的方法构造了目的 e b 估计，在给定的条件下证明了它是渐近最优的，并具有收敛速度 q = 铹，其中。 a 2 ，s 为任意正楚数。 关键词：n a 样本： 多层b a y e s 估计。 渐近最优性； 核估计； b a y e s 估计； 经验b a y c s 估计 收敛速度； 位置参数。 a b s t r a c t i nt h i sp a p e r ，w eu s eb a y e s i a na n de m p i r i c a lb a y e s i a na p p r o a c hf o rs t u d y i n gt h e p a r a m e t e ro fp a s c a ld i s t r i b u t i o n ，t h ep a r a m e t e r - f u n c t i o n so fo n e - s i d et n m c a t i o n d i s t r i b u t i o nf a m i l y , a n dt h ep a r a m e t e ro fn o r m a ld i s t r i b u t i o nf a m i l y f i r s t l y , t h eb a y e s i a na n dm u l t i p l eb a y e s i a ne s t i m a t i o no fp a s c a ld i s t r i b u t i o n p a r a m e t e ra l es t u d i e d a n da l s ot h eb a y e sl o w e r sc o n f i d e n c el i m i ti sp r o p o s e d s e c o n d l y ，i nc a s eo fn as a m p l e s ，u s i n gd e n s i t yf u n c t i o nk e r n e le s t i m a t i o n a p p r o a c h ，t h ea s y m p t o t i co p t i m a le m p i r i c a lb a y e s i a ne s t i m a t o rf o ro n e s i d et r u n c a t i o n p a r a m e t e r - f u n c t i o n si sp u tf o r w a r d u n d e rs o m ec e r t a i nc o n d i t i o n s ，t h ec o n v e r g e n c e r a t e sq =i s o b t a i n e d w h e r e0 2 l a s t l y , i nc a s eo fn as a m p l e s ，w ep r e s e n ta na s y m p t o t i co p t i m a le m p i r i c a l b a y e s i a ne s t i m a t o rf o r t h ep m a n a e t e ro f n o r m a ld i s t r i b u t i o n a n dt h ec o n v c r g e f i c er a t e i sa l s oc o v e r e d k e yw o r d s ：n as a m p l e s ； m u l t i p l eb a y e se s t i m a t i o n ； a s y m p t o t i co p t i m a l i t y ； k e r n e le s t i m a t i o n ； i l b a y e se s t i m a t i o n ； e m p i r i c a le s t i m a t i o n ； c o n v e r g e n c er a t e ； p o s i t i o n a lp a r a m e t e r 独戗性声明 本人声明所呈交的学位论文是本人在导师的指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别如以标注和致谢的内容以外，本论文不包 含其他人已发表或撰写的研究成果，也不包含为获得 或其他教 育机构的学位和证书而使用过的材料。与我一起工作过的同志对本研究所做的贡 献已在论文中作了明确地说观并表示谢意。 学位论文作者签名： 签名日期： 幕滁磊 匆全文叠辎1 4 年月 日 第一章绪论 本章的主要内容是：对b a y e s 方法和经典方法进行初步的比较；简单介绍 b a y e s 方法和经验b a y e s 方法的发展历史、研究现状及基本理论；简要介绍后面 各章节所用到的基本知识：最后给出论文的基本框架。 1 1 b a y e s 方法 b a y e s 统计( 又称b a y e s 学派，b a y e s 方法) 起源于英国学者贝叶斯 ( b a y e s ，t r 1 7 0 2 ( ? ) 1 7 6 1 ) 去世后于1 7 6 3 年发表的一篇论文“论有关机遇问题的 求解”在此论文中，他提出著名的b a y e s 公式和一种归纳推理方法，随后l a p l a c e 等人用b a y e s 提出的方法导出一些有意义的结果。之后，虽有一些理论研究和应 用，但由于其理论尚不完整，应用中又出现一些问题，致使b a y e s 方法长期未被 普遍接受。直到二次大战后，w a l d 提出统计决策函数论后又引起很多人对b a y e s 方法研究的兴趣。因为在这个理论中，b a y e s 解被认为是一种最优决策函数。在 s a v a g e ，j e f f r e y s ，g o o d ，l i n d l e y , b e r g e r 等b a y e s 学者的努力下，b a y e s 方法在观点、 方法和理论上有了不断的完善，逐步形成一种系统的统计推断方法。到上世纪 3 0 年代已形成b a y e s 学派，5 0 6 0 年代已发展成一个有影响的统计学派，彻底 打破了经典统计学一统天下的局面，顶起了统计学的半边天。 1 b a y e s 统计与经典统计比较 b a y e s 统计与经典统计( 也称经典学派，频率学派，抽样学派) 之间有共同 点也有不同点。为了说清楚它们之间的异同点，从统计推断所使用的三种信息说 起。 统计推断所使用的三种信息为：总体信息，样本信息和先验信息。 总体信息，即总体分布或总体所属分布族给我们的信息。总体信息是很重 要的信息，为了获取此种信息往往耗资巨大。 样本信息，即从总体抽取的样本给我们提供的信息。这是最“新鲜”的信 息，并且越多越好，人们希望通过对样本的加工和处理对总体的某些特征作出较 为精确的统计推断。可以说：没有样本就没有统计学可言。 基于上述两种信息进行的统计推断被称为经典统计学，他的基本观点是把 数据( 样本) 看成是来自具有一定概率分布的总体，所研究的对象是这个总体而 不局限于数据本身! 先验信息，即在抽样之前有关统计问题的一些信息。一般说来，先验信息 主要来源于经验和历史资料。 基于上述三种信息进行的统计推断被称为b a y e s 统计学。他与经典统计学 的差别在于是否使用先验信息。在使用样本信息上二者也有差异。b a y e s 学派重 视己出现的样本观察值，而对尚未出现的样本观察值不予考虑，b a y c s 学派很重 视先验信息的收集，挖掘和加工，使它数量化，形成先验分布，参加到统计推断 中来，以提高统计推断的质量。b a y c s 学派的基本观点是：任个未知量0 都可 看作一个随机变量，b a y e s 学派用一个概率分布来描述这个目的未知状况，这个 概率分布是在抽样前就有的关于口的先验信息的概率描述，称之为先验分布。 而经典学派认为未知量0 是客观存在的参数，它是通过抽样的结果来估计 的。经典学派的主要任务就是估计这些参数或者对这些参数某些假设进行推断， 看假设是否正确。这种估计、推断的理论是建立在频率解释钧基础上。 b a y e s 统计与经典统计争论的焦点是对未知参数0 的认识。都么b a y e s 方 去 与经典方法哪一种方法更优昵? 陈希孺院士非常客观的陈述了这点n l ：正如 同一的对象有两组公理，只要都没有内在的矛盾，就不能说是谁比谁更好要 比较只能诉诸实践。 经典学派的理论和方法看起来似乎是完美无缺的，它指导人们在实际领域 中做出了熏要贡献。但事实上它并不是对所有的问题都适尉i 施绝不是独一无二 的完全正确的理论，它也有自身的缺陷。成平在【7 】中指出，经典统计的最大缺 陷就是它在作统计推断时过于着眼于当前数据而忽视历史的经验及人们已有的 认识、知识和主观能动性。经典学派也遭到其他学派的批评，关于这一点详见文 献【4 】。 从数学论证来看，用b a y e s 方法进行统计推断，如果先验分布给的准确， 则所得的统计推断结果要精确一些。然而，用b a y c s 方法的困难之处和关键之处 就在于如何依据先验信息来确定先验分布，如何给出一个“合适的”先验分布。 迄今为止，b a y e s 学派也未能给出一个放之四海而皆准的确定先验分布的方法， 而今后也难以做到这一点。事实上b a y e s 统计从它诞生起就受到诸多批评，批评 主要集中于两点n 】：一是参数口看成随机变量是否妥当? 二是先验分布是否存 在? 如何选取? 针对这些批评，b a y e s 学派也有解释，他们认为经典学派通过拒绝使用先验 分布，表面上看来似乎避免了这个棘手的选择( 先验分布的) 问题，但事实上不 然。陈希孺在【9 】中给出了一个具有说服力的例子：设样本x 服从二项分靠 。+ 五 召0 ，p ) ，在平方损失下p 的m i n i m a x 估计为_ 辜。这是一个非b a y e s 解，而 且看来也算能但不脆该解其蚶先验分布为b e t a 分布e 愕爿时 的b a y e s 解。此先验分布的均值为丢，方差为趸杀司，当甩很大时，方差很小。 这就是说，当疗很大时，我们所选择的先验分布的绝大部分概率都集中在妄附近。 设想我们此处的p 是废品率且事先了解了废品率并不高( 如在5 以下) ，则这 种先验分布选择显然不合理。这个例子有一定代表性，就是说，形式上想摆脱先 验分布而事实上却做不到，且有时反而做出坏的选择。同时也说明，忽视先验信 息有时是一种浪费，甚至导致错误的结果。 因此，b a y e s 方法与经典方法在应用上各有其利弊，它们是相辅相成的，“认 为一种方法完全取代另一种的看法，在可以预见的未来是没有根据的。”d l 在实 际应用中，统计学者要用好这两种方法，不仅需要扎实的统计学基础，还需要丰 富的实践经验。 2 b a y e s 方法基本理论 在b a y e s 学派在进行统计推断的过程中，b a y e s 公式起着重要的作用。b a y e s 公式的离散形式在初等教科书中已有所阐述，这里用密度函数再一次叙述b a y e s 公式，从中用数学的形式来表述b a y e s 学派的一些基本观点。 前面已指出，b a y e s 学派的观点都基于将未知参数8 可看作一个随机变量， 根据参数口的先验信息确定其先验分布石p ) 。那么样本x 的依赖于参数口的密度 函数就看成随机变量口给定某个值时的条件密度函数，记为p g i 曰) 。 从b a y e s 观点来看，样本x = 1 - - ，以) 的产生要分两步进干于。首先设想从 万p ) 产生一个观察值口，然后再从条件分布p b 口) 产生样本观察值x = b 】，一，k ) 。 这时样本x 的联合条件密度为 p ( x t o ) = n p g i o ) 这个联合密度函数综合了总体信息和样本信息，又称为似然函数。 但由于口是设想出来的，仍然是未知的，是按照先验分布厅p ) 产生的，要 把先验信息进行综合，不能只考虑口，而应对伊的一切可能加以考虑a 故要用厅p ) 参与进步综合。这样，样本x 与参数0 的联合分布为 h ( x ，伊) = p 0 【咖p ) 把三种信息都综合到一起了。 我们的任务是要对0 作统计推断。在没有样本信息时，只能根据先验分布对 口作推断，得到样本观察值x = g l j 一，h ) 之后，应该根据h ( x ，臼) 对扫作推断。为 此需要把寿扛，口) 作如下分解： h ( x ，口) ；石p | 工h g ) 其中脚0 ) 是x 的边缘密度函数 聊g ) = e g ，咿p 口= e p g p 弦p p 扫 其中 为口的参数空间，它包含了0 的一切可能取到的值。川g ) 与口无关，它不 包含有关p 的任何信息，因此能用来作统计推断的仅仅是条件分布万_ ：f ) 。它的 计算公式是 俐= 帮= 器 这就是b a y e s 公式的密度函数形式。 条件分布万p 1 工) 称为p 的后验分布。它是在样本给定的条件下集中了总体、 样本与先验中有关口的一切信息，而又是排除一切与0 无关的信息之后得到的结 果。故基于后验分布石p k ) 对臼作统计推断是更为有效的，也是最合理的。 从上述可看出，当从总体获得样本z 后，b a y e s 公式把人们对0 的认识由 刀p ) 调整到石( e l x ) ，这个调熬过程可形象的表示为 先验信息。样本信息j 后验分布 石p ) 。p h 口) 等刀( o r x ) 其中“o ”应理解为b a y e s 公式的作用。 以下简单介绍统计决策论的基本知识。 在统计决策理论中，把一切可能的样本组成的空间称为样本空间，记为z 。 称我们所采取的决定为判决或行动，把可能采取的所有决策所组成的集合称为决 策空间( 或称判决空间、行动空间) ，记为。在每一具体的情况下，内的判 决就有优劣比较的问题，而这种优劣性又如何用数学语言加以描述? 在统计决策 论中引进损失函数就将这种优劣性加以数量化。损失函数是依赖于参数值0 0 和判决d 的非负函数，记为l ( e ，d ) ( l ( e ，d ) 0 ) 。它解释为“当参数真值为 口而采取判决d 时所造成的损失”。样本空间和分布族、判决空间及损失函数构 成统计决策理论的三要素。 统计推断的任务在于建立这样一个定义于样本空间z 而取值于内的函数 a ( x ) ，使当有了样本x 后就采用判决艿( x ) 。这种函数称为“统计判决函数”。同 样在具体问题中，可供选择的判决函数很多，自然就产生了比较不同判决函数的 优劣性问题。风险函数刻划了这种优劣性问题。 定义1 1 1 【8 】设a ( x ) 是一个统计决策问题中的决策函数，那么损失函数 三p ，艿( ) ) 关于样本x 的分布p g f 目) 的数学期望 r ( e ，回= e x l e 扛p ，占( x ) ) 】= i , l ( o ，a t x ) ) p ( x l o ) d u 称为决策函数a ( x ) 的风险函数，简称风险。其中是控制测度，常取l e b e s g u e 测 度或计数测度。 由定义可见，风险就是平均损失。由于0 是随机变量，具有概率分布玎( 鳓， r ( 0 ，5 ) 是0 的函数，将r ( o ，占) 关于口的先验分布刀p ) 求数学期望，得到判决函数 d g ) 的b a y e s 风险 r ，p ) = r p ，占胁p ) 假如在决策函数类d 中存在这样的决策函数j g ) ，使得 r 。p ) = 氍r ，p ) 则称占g ) 为决策函数类j d 在b a y e s 风险准则下的最优决策函数，简称b a y e s 决 策函数或b a y e s 解。在估计问题中，它就称为b a y e s 估计。 有关统计决策理论的详细讨论见【8 】，【9 1 希i 1 0 。 3 先验分布的确定 b a y e s 统计中的关键之处在于先验分布的确定，这关系到整个统计推断的质 量，也是其他学派批评最多的地方。这个b a y e s 统计的难题，已初步研究出不少 方法，概括起来有： ( 1 ) 无信息先验分布： ( 2 ) 共轭先验分布； ( 3 ) 用经验b a y e s 方法确定先验分布； ( 4 ) 最大熵方法； ( 5 ) 专家经验法； ( 6 ) 自助法( b o o t s t r a p ) 和随机加权法： ( 7 ) 多层先验分布： ( 8 ) 不变测度。 有关先验分布的确定具体讨论见【2 】，【4 】，【8 】，【l o ，【1 1 。 1 2 经验b a y e s 方法 自1 9 5 5 年美国统计学家h r o b b i n s 在其博士论文中引入经验b a y e s 方法( 简 称e b 方法) 以来，这一领域的研究工作已有了很大的进展，j n e y m a n 甚至把经 验b a y e s 估计的引迸视为统计学近年来的两大突破之一。 6 1 经验b a y e s 方法的基本思想和数学表述 经验b a y e s 方法吸收了b a y e s 学派的不孤立地使用当前抽样数据来进行统计 推断的好思想，而避开或少使用先验分布的假设，使用当前数据及有关历史数据 来进行统计推断，这样推断的精度能接近在先验分布确定条件下，用b a y e s 方法 进行的推断。这种推断的解释仍采用频率理论，这就是说：这个理论采用两派的 一些优点，形成自己一派的观点。经验b a y e s 的观点相对b a y e s 学派的观点而言， 它的目的是避开b a y e s 学派某些主观成分，主要依靠客观数据。 经验b a y e s 方法的数学描述：设随机变量x 服从分布p o i p ) ，其中占是未知 量，参数空间为 ，具有分布石( 臼) ，丌( 未知。( 置，只) ，f - 1 , 2 ，是历史上曾 经使用过的数据，称为历史样本，其中x ，i = 1 2 ，。，越是可观测的，与x 是同分 布的；f r o , ，i = 1 , 2 ，卅是不可观测的，是未知的，与口有同样的分布万p ) 。( x ，0 ) 称为当前样本。x 的边缘密度为 ，g ) = e p 0 i 口k p 口 由上式可看出，g ) 依赖于石p ) ，所以样本五，硒，墨，x 中也包含了石p ) 的信息，这一点是经验b a y e s 方法的基础。就参数估计理论而言，经验b a y e s 方 法的任务就在于寻找一个依赖于墨，恐，x 的估计量瓯( x 。，x ：，x 。；x ) ( 称为经验判决函数) 来估计口，并使它接近疗p ) 已知时的b a y e s 估计。 2 经验b a y e s 估计中的几个定义 假定损失函数为三p ，d ) ，d 为0 的任一估计量，则在该损失函数下，由于x 。， z 2 ，墨，x 均为随机变量，具有随机性，所以瓯( 一，x ：，五；j ) 的b a y e s 风险定义为 r 。( 皖) = & 扎匕。以 。) e p ，疋) 】 并称之为瓯瞳l ，x 2 ，x 。；x ) 的全面b a y e s 风险。 若以r ，p 。) 记先验分布筇p ) 已知时的b a y e s 估计的b a y e s 风险。有下述定义 定义1 2 ，1 如果一串经验判决函数 以= 瓯( 。，疋，彳。；x ) 满足条件 l i m r 。瓴) = 尺，瓴) 则称侈。 或简单的为濒近最优( 口露) 的经验b a y e s 估计。 定义1 2 2 如果 r 。幢) 一r ，瓴) = 0 0 1 ) 其中q 0 ，则称皖是收敛速度为g 的渐近最优的经验b a y e s 估计。 表面上看起来，经验b a y e s 方法避开了先验分布的假定这一难题，是一个好 的方法，但事实上，经验b a y e s 方法也有自身的局限性。陈希孺证明了这样一个 结论：为了做出p 的渐近最优的经验b a y e s 估计，就必须对口的先验分布做一定 的人为限制。这一点就与最初引进e b 估计的初衷有所背离。但e b 方法也不失 为一种有用的方法，在处理一些特定问题中是一个有用的工具。 本论文分为三个部分，第一部分即第一章，介绍基本理论：第二部分即第二 章，用b a y e s 方法研究对称损失下巴斯卡分布可靠度的估计：第三部分包括第三 章和第四章，是e b 方法的应用，第三章是用e b 方法研究n a 样本下单边截断 型分布族参数函数的估计，推广了文献【1 6 】，【1 9 ，【2 0 的结论；第四章是用 e b 方法研究n a 样本下正态分布族位置参数的估计，在文献0 7 4 0 1 的基础上进 一步讨论n a 样本下位置参数的e b 估计。 第二章 对称损失函数下巴斯卡分布的b a y e s 估计和 多层b a y e s 估计 在生产、生活中越来越多的产品要求有可靠性指标，为此需要对产品进行可 靠性测试。如果对产品的测试手段是成败型实验( 如：卫星发射、脉冲、打靶等 试验) ，那么其寿命是以成败次数来衡量的。如果试验费用十分昂贵，如一些贵 重设备和精密仪器的破坏性试验，破坏很多件是不可能的。往往需事先指定失败 的次数，把试验做到出现指定失败次数。巴斯卡分布能够刻划此类测试寿命。文 献 1 2 】在熵损失函数下从b a y e s 观点讨论了可靠度0 的估计问题。本文在对称损 失函数下，用b a y e s 方法和多层b a y e s 方法分别得到该分布可靠度的估计和相应 的下景信限，并证明了相应估计容许性。 考虑贝努利实验，其中成功的概率为护，失败的概率为1 一o ( o 0 为已知常数。 则目的后验分布疗( 叫工) = o 口 l ( 2 3 ) e l s e 口一1 ( 1 一口) 6 一0 0 o ) l i p s c h i t z 条件； 对置，x ：，x 。的协方差结构有如下假定 ( b ) 主i c b v 伍。，z ，】s c 1 为任意确定的自然数，令足g ) 为b r o e l 可测函数，满足以下条件 ( c ，) k g ) = 0 ，z 芒( 0 ，1 ) ； ( c ：) s u p k ( x ) m ，m 为正常数； ( c 3 ) 舭。k = 托兰， ( c 。) 足b ) 在r 1 上是可微的，- j s u p i k x 】m 。 工 f 6 】l = bi b is 上 ( 3 2 ) l 一上6 0 。定义丸g ) = q g ) + 。g )( 3 3 ) 为q ( p ) 的e b 估计。则丸g ) 的全面b a y e s 风险为 r 。= e ( 丸g ) 一q p ) ) 2( 3 4 ) 这里用e 表示对随机变量口，盖：，x 。暖，毋) ) 的联合分布求数学期望，用e 。表示对 ( x 。，x ：，以) 的联合分布求数学期望。 3 3主要结果及其证明 为导出主要结论，需要以下引理。这里用c ，c ；，c ：，；m ，m ，m 2 ，表示不 依赖于珂的正常数，每次出现不必相同。 引理3 1 【1 6 】若如 0 ，则对o 五蔓2 ，有 e i j 一号 。1 4 2 l y l 一2 e i y 一y 1 2 + ( i 号 + 2 e i ，一y 1 2 证明由文献 1 7 q u 的弓i 理3 的证明过程易见对这里定义的 b l 。结论仍然成立。 引理3 3 1 1 8 1 设z 和y 是两个n a r v ，有有限方差，则对任何两个可微函数g 和g ：有 i c o v ( g t ( r ) ，吕：( y h s ：p l g ；( x l s u p l g ；( y ii c 。v 伍，y 】， 注引理中关于g ，和9 2 可微性的要求可放宽为g 。和g ：分别除零测集e ? 和e ：外，其 余处皆可微。 引理3 4 设占1 ，f i q p 】5 d g ( o ) 。，f l q g 】5 v g ) 出 o 。，j “g 】m 。， x 扛，b ) ，贝 e ( 。) l 九暇】5 。，e ( 。埘妒】5 m 证明由凸函数的j e n s e n 不等式有 曩挪) | 允( 彳】6 = f 1 & d ，) q p l 6 ，g ) a x 1 7 由y b ) = 九g ) 一q g ) 和q 不等式有 f 州q 例6 l 厂g = f i q 吲厂如p 炳 = i q ( 0 1 5 r i g ( o ) c 。 e ( 。, ) l v ( xt 1 5 - - _ 2 “k 川阮伍】5 + 目枷) i o ( x 1 6j 而臣。i q ( x ) = f 1 q b ) 5 ，b 协w f l 出) 6 v b 班 。 所以e ( 。，计p 】5 m 。 引理s 5 设】m o 。) ，r 器妇g ”2 出锄 m 且荆单增 q ( x ) 单减，则对o 五 2 有 e b g e g ) 一“g 妒g 】1 q 刀一i 证明e 卜g n g ) 一“g 矿g 】2 崛j l g ) 一v ( x 1 2 ( 3 5 ) 因为喇= f 错刚= 去喜辫k 删，- - 垒土n 羔i = l f 其中= 鼍貉j 扛。弘圹f = 1 ，2 ，n 。因为“g ) 单增，q ( x ) 单减，k 。弘。 关于_ 单 减，由n a 序列定义知，f 仍为n a 序列且同分布，即对i j ，f ，j = 1 , 2 ，n 有 c o v ( r ，r ) 0 。 又因为瓦阱叫= r 秘m 喇，毗 e 。1 0 g ) 一r ( x 】2 ：e 。忙( x ) 一盯g ) ) ：乒 ( 哳( l g 瘀( 由凹函数的j e n s e n 不等式) = 、f o r 、f 。i 1 8 由( 3 5 ) 知 = 专( 喜删“。2 v 眦订 刀一a i 窆j_var(yi)i 、， s 行v ( e y , ：话 f 瓣删 = n 孚f 端( q 饼出 - 2 m l 九2 e k g ) 0 ) 一“g ) r g 】2 c 。n i 1 引理3 6 设，g ) 满足假定( a ) ，取丸= 九一一2 a + 4 ，则对o 丑 2 有 砒阱删2 打熹 证明由c 不等式及j e n s e n 不等式有 e k g ) 一厂g 】4 肘：( 耽矿g ) ) ) ；+ m ：e 1 e ：a x ) 一s f ) 1 1 r 兰、 垒m 2 l ，1 2 + ，2 由工g ) 的定义及 。= 以一丽有 仁啡，= 上n h 断f l d 等 + 2 研1 磊1 ， 足睁h 等) 妒z “疗e k2 ( 等 = 去l 啪肌咖协 击f k 2 。炒( x ) + 眠“) 。协击( c t s ( d + c 2 h n a ) 由引理3 3 及假定( c 。) 有 1 9 2 帕1 2 _ 磊。叶等h 等) 姒赤 ，1 ；= 。+ 2 ，l 。) ；“；+ 以：；q 舨) 一；0 ) + 。：帆) 一j 2 吃了2 a 十c 3 一r ； _ c i 刀一恭筠；b ) + 叩一篆筠+ 巳。一羔s 叩一轰厂；g ) 蝎厅一罴 i e o x ) 一厂g l = l j 量o ) 驴g + 九“) 一( x 潍叫j t x q h “厂幽c ，鲜 厶s q 吃西：岛撑一番 所以 e f 工g ) 一厂0 】。q 厅意；g ) + 。：珂一轰+ c 3 n 一2 a 巴+ 4 打去) 定理3 1 设丸o ) 由( 3 3 ) 式定义，z 。，x 2 ，以( n 2 ) 是na 序列，协方 差结构满足佃) ：设g ) 满足假定( a ) ：核函数满足条件( c 1 ) ，( c ：) ，( c 3 ) ，( c 。) ： 有下列条件成立 0 ) 设卜g 1 肘 2 ，e i q p 】5 船p ) m ，f q g 】5 v g 皿 。； o ) 对某o 五 2 ，f 驴g ) ) 1 - 1 d x _ m 。 m ，f ( 厂g ) ) l 出m ： o 。； ( 4 ) g ( x ) 单减且脚g p 弘p ) = o ，f 器( q g 妒出m ， 。o 。 贝u 取，2 孑南，有。茎r 。一尺。= 。g 一9 ) ，a = 丢矧 证明由引理3 4 知r g ，再由引理3 1 知 0 s r 。- r 。= e 移。b ) 一y b ) ) 2 = = j e h b - p 7 ( x ) ) 2 ，f ，j ，；。， + e 移一b ) 7 ( x ) ) 2 7 f ，“l ；。， 、七j 、 郇2 e 2 啪出圳+ 2 e 矿2 嘶出巾 2 行2 7 j e 7 i ，( ，l ，；。， + 2 e c z ( x ) l i ，“】，；。， 8 丘吵2 g p 州，l ， + 2 晟y2 g ) ， ，l ，；一 茎1 。e 少2 嘶帅引 ，。k 。妒g 】6 e 出哇q 了c h j z 出，不等式， c 。盯一加一2 e 妒删5 c ，一一，( 5 2 ) 茎e 错一帮2 1 小嵯1 = 驯“k 聘卢。 错一 e 错一 2 1 f ( x 】 2 1 f ( x 】 1 卜m 却m 4 + ( 1 帮i 厂g 协 - 三玎7 ) 2 z ；。l j g ) 。，g 】2 2 卜沁m 3 卜羔( 吖讥， 所以由定理条件 峭 蚺 错帮 “ 。 l ： l，墨| 几 ”一 ， b 裂 2 耶扩砧k 妒i 肼。卜沁m 甜n 去p 忡 如巾叫k 俐。卜钾去惟 如2 ，一斋n 广2 g ) + c j - ；c x ) 1 出 ，。：，一南 所以o r 。一心c ：n 舡：) + 册一 彘- 2 ，) y = 尚，所以o r - r 。= 0 。= 定理得证。 令，p 一2 ) = 彘却，则 第四章n a 样本下正态分布族位置参数的e b 估计 陶波在【3 7 】中首先给出了正态分布族 以，仃2 ) ：一o o 2 o 的参数 口= ，盯2 ) 的渐近最优的经验b a y e s 估计，张平在 3 8 中i , - t 论了0 的e b 估计的收 敛速度，得到的结果是：参数目的e b 估计的收敛速度接近于音，钱伟民在 3 9 】 1 中将收敛速度提高到接近于去，黄养新等在【4 0 】中将收敛速度提高到接近于l ， 即达到理想的收敛速度。上述诸文献都是在独立同分布( f f d ) 的样本下讨论的， 且用到了样本均值x 的精确分布，而在非独立同分布情形样本均值的精确分 布难以给出，因此上述作者使用的方法已不可用。本章在n a 样本下给出方差已 知时，正态分布族位置参数的e b 估计。 4 1问题的提出 n a 1 予列的定义见第三覃定义3 i 1 。 设随机变量x 服从均值为日，方差为1 的芷态分布，其中0 r 1 ，口未知， 目的自然参数空间为o = 月1 ，则x 的条件密度为厂b 归) = = p 专。，设口的先 1一i j 一日) 。 、，厶f 验密度为g p ) ，g p ) 未知。x 的边缘密度为厂g ) = ，g l 曰( 口) 。取损失函数 为平方损失函数三p ，d ) = p d ) 2 ，d 为口的任一估计量。在平方损失下口的b a y e s 估计为目的后验均值，即= e ( o l x ) ，玩。的b a y e s 风险为 您= 墨。，；) 一口 2 ( 4 1 ) 首先给出一个引理。由该弓l 理可导出目的b a y e s 估计韵显示表达式。 本章中用厂( 月1 g ) ，表示，g ) 的玎阶导数，用，“) b i 口) 表示厂g | 口) 的n 阶导数。 引理4 1 ，g ) c 。，玎na 这里e 。表示尺1 中一族概率密度函数，其s 阶导数 连续，臣绝对值不超过a ，a 为有限常数，s 为正整数。 证明证结论：v e ，帆r 1 ， ， g ) = ，”( x l o ) a g p ) ，f ”( x ) 连续有界。 对n 用归纳法。 n - 1 时，由f ( 0 悱掣e 一f 0 ) 为，的连续溅且 尹g 一0 ，g 一+ * ) 所以 f ，( 1 ) ( x l o 】s m c o ( 4 2 ) 任取x oe r 一，无妨设：，却，由拉格朗日中值定理知 ：( x l o ) - s ( o l o ) ：，( 1 g l 臼) ，善。瓴，x ) 所以由( 4 t 2 ) 知 丛刿：l 厂( ，皓i 口】m 。 x x 1 所以，1 x 0 ) 1 b 。i o ) a g ( e ) ，由却任意性知 垤r 1 ，f o ) g ) = e ，( x l o - g p ) ( 4 3 ) 由( 4 - 3 ) ，( 1 0 p ) 的连续性及控制收敛定理有 厂1 g ) 连续，且l ，o g ) 蔓i ，( 1 g 睁】d g p ) s m m 。 假定竹= k 是结论成立，即 厂g ) = ，。( x l o 囊g p ) ，b ) 连续有界。 当 ：k + l 时，由，( “) g l 口) = 吼+ g 一口x 一丁，其中吼+ g 一矽) 表示x 一0 的+ 1 次多项式，由v m ，x ”e 一了o ( x 寸a 。) 及厂“g p ) 的连续性知 i ，o 川g l l 9 】m ， m ( 4 4 ) 任取x o r - ，无妨设z ，而，由拉格朗日中值定理知 竺妇尘二竺虹幽：厂( w ) g l p ) ，f 。，) x x o 所以l 盟掣：垆- 俐锄 。 x x n 由上式和任意性有 v x r 严“g ) = 产“1 ( 4 0 ) a g ( o ) ( 4 - 5 ) 由( 4 4 ) 有l 厂 1 g 】引，忙“( x l o a g ( o ) _ m - 。 由( 4 5 ) ，fc k + 1 国口) 的连续性及控制收敛定理有，“1 g ) 连续。 所以vn n ，r 1 ， 厂- g ) = ，g p p ) ，f ”0 ) 连续有界a 下面导出目的b a y e s 估计的显示表达式。 因为张：1 fo：(,lo旷)gfe)：铩-x-u,r 由上x - 骄f l ( 4 2 ) 舻b ) ：阳岫：占i - 瓜( x - o ) e 华砸p ) ：一e 去e 型 +口掣acitrig(e) 臼 = 一e 去e 3 2 + d 一一7 臼) = 一矿b ) + ，b ) e p i z ) 由此导出k = e 泓) 错 ( 4 6 ) 但由于g 未知，因丽，b ) 和，未知，所以k 不可用。用经验b a y e s 估计 来解决该问题。 4 2e b 估计的构造 设伍。，岛) ，伍：，晚) ，似。，醵) ，仁，口) 为同分布样本，其中x ，x ：，x 。 为历史样本，j 为当前样本，鼠，岛，或与口有共同先验g p ) ，。，x ：， x 。0 2 ) 为n a 序列，有有界方差，且x 。，x ：，x 。与z 有共同密度，( x ) ， 对n a 序列协方差有假定： ( a ) 主1 c o v 伍，】sc 。 j = l 这里c 为常数。本章中c ，c l ，c 2 ，c 3 ，；m ，m l ，m 2 ，为不