（应用数学专业论文）正态分布位置参数的经验bayes估计与检验研究.pdf

摘要 b a y e s 方法是现代统计推断的一个重要方法，它渗透了统计研究的几乎所有 领域传统的b a y e a 方法的一个重要问题是如何确定先验分布当参数的先验信 息积累不是足够多时，若对先验分布作了与实际情况不相符的人为假定时，所得 到的b a y e s 解的性质会很差，经验b a y e s ( e m p i r i c a lb a y e s ，简称为e b ) 方法 就是针对这一问题而提出的，它的实质是利用历史样本对先验分布或其重要特征 作出估计，本文第一章对此作了简单的回顾本文用经验b a y e s 方法讨论了正态 分布位置参数的经验b a y e $ 估计与检验问题主要工作如下： 1 讨论了尺度参数已知时，正态分布位置参数的经验b a y e s 估计问题，在平 方损失下，构造了正态分布位置参数的经验b a y e s 估计，在较一般的条件下，证 明了e b 估计的渐近最优性，并获得了其收敛速度及下限 2 讨论了尺度参数未知时，正态分布位置参数的经验b a y e s 估计问题，在平 方损失下，利用了正态分布参数僧，矿，的充分统计量导出了b a y e s 估计，进 而利用k e r n e l 函数构造了正态分布位置参数的经验b a y e s 估计，在较一般的条件 下，证明了朗估计的渐近最优性，并获得了其收敛速度及下限 3 讨论了尺度参数己知时，正态分布位置参数的经验b a y e s 检验问题，在平 方损失下，构造了正态分布位置参数的经验b a y e s 检验函数，在较一般的条件下， 证明了e b 估计的濒近最优性，并获得了其收敛速度 4 讨论了尺度参数未知时，正态分布位置参数的经验b a y e s 估计问题，在平 方损失下，利用了正态分布参数佑，0 2 ) 的充分统计量导出了b a y e s 检验函数， 进而利用k e r n e l 函数构造了正态分布位置参数的经验b a y e s 检验函数，在较一般 的条件下，证明了e b 估计的渐近最优性，并获得了其收敛速度 关键词：正态分布；位置参数；经验b a y e s 估计；经验b a y e s 检验；收敛速度 a b s t r a c t t h eb a y e sa p p r o a c hh a sb e e na l li m p o r t a n tm e t h o do f m o d e ms t a t i s t i cd e d u c i n g i ti n f i l t r a t e da l m o s ta l lf i e l d so fs t a t i s t i cs t u d y a ni m p o r t a n tp r o b l e mo fb a y e s a p p r o a e l ai sh o w t oc o n 血- mp r i o rd i s u i b u t i o n w l a c - at h ep a r 缸n e t e rp r i o ri n f o r m a t i o n a e e l m m l a t e di sn o te n o u g h , i f h y p o t h e s i so ft h ep r i o rd i s t r i b u t i o ni sn o tc o n s i s t e n tt o a c t u a ls i t u a t i o n , t h en a t u r eo fb a y e se s t i m a t i o r lw i l lb ep o o r , a i ma tt h i sp r o b l e m , e m p i r i c a lb a y e sa p p r o a c hi sp r o p o s e d i t se s s e n c ew a s t oe s t i m a t ea p r i o r id i s t r i b u t i o n o ri t sk e yc h l u a c t 盯b yu s i n gt h eh i s t o r i c a ls a m p l e , t l a cf i r s tc h a p t e ro ft h i sa r t i c l eh a s m a d ea s i m p l er e v i e wr e g a r d i n gt ot h i s t h i sa r t i c l ed i s c u s s e dt h ee m p i r i c a le s t i m a t i o n a n dt e s tp r o b l e m so ft h el o c a t i o np a r a m e t e rf o rt h en o r m a ld i s t r i b u t i o nt h ep r i m e t a s ki sa sf o l l o w s ： 1 w h e nt h es c a l ep a r a m e t e ro ft h en o r m a ld i s t r i b u t i o ni sk n o w n , t h ea r t i c l e d i s c u s s e dt h ee m p i r i c a lb a y e se s t i m a t i o np r o b l e mo f t h el o c a t i o np a r a m e t e r , u n d e rt h e s q u a r e d e r r o rl o s sf u n c t i o n , e o n s l r u c t e dt h ee m p i r i c a lb a y e se s t i m a t i o no f t h el o c a t i o n l o a r a r n e t o r u n d e rs u i t a b l ec o n d i t i o n , i ti sp r o v e dt h a tt h eb a y e se s t i m a t i o no ft h e l o c a t i o np a r a m e t e ri sa s y m p t o t i c a l l yo p t i m a la n dt h ec o n w 硼箩玳冷f l i t ei se s t a b l i s h e d 2 w h e nt h es c a l ep a r a m e t e ro ft h en o r m a ld i s t r i b u d o ni su n k n o w n , t h ea r t i c l e d i s c u s s e dt h ee m p i r i c a lb a y e se s t i m a t i o np r o b l e mo f t h el o c a t i o np a r a m e t e r , u n d e rt h e s q u a r e d - e r r o rl o s sf u n c t i o n , b yu s i n gs u 伍e i e n ts t a t i s t i cv a r i a b l e s ，b a y e se s l i m a t i o ni s d e r i v e d ，u s i n gk e r n e lf u n c t i o n ，t h ee m p i r i c a lb a y e se s t i m a t i o no ft h el o c a t i o n p a r a m e t e r i se o m t r u e t o d u n d e rs u i t a b l ec o n d i t i o n , i ti s p r o v e dt h a tt h eb a y e s e s t i m a t i o no ft h el o c a t i o np a r a m e t e ri sa s y m p t o t i c a l l yo p t i m a la n c lt h ee o n v e r g 朗t e e r a t ei se s t a b l i s h e d 3 w h e nt h es c a l ep a r a m e t e ro ft h en o r m a ld i s l r i b u t i o ni su n k n o w n , t h ea r t i c l e d i s e u s s e dt h ee m p i r i c a lb a y e st e s tp r o b l e mo ft h el o c a t i o np a r a m e t e r , u n d e rt h e s q u a r e d e l t o rl o s sf u n c t i o n , e o n s l z u c t e dt h ee m p i n c a lb a y e st e s tf u n c t i o no ft h e i o c i t t i o np a r a m e t e r u n d e rs u i t a b l ec o n d i t i o n , i ti sp r o v e dt h a tt h eb a y e st e s tf u n c t i o n o ft h el o c a t i o np a r a m e t e ri sa s y m p t o t i c a l l yo p t i m a la n dt h ec o n v e r g e n c er a t ei s e s t a b l i s h e d 4 w h e nt h es c a l ep a r v a m e t e ro ft h en o r m a ld i s t r i b u t i o ni st m l m o w n , t h ea r t i c l e d i s c u s s e dt h ee m p i r i c a lb a y e st e s tp r o b l e mo ft h el o c a t i o np a r m n e t e r , u n d e rt h e s q u a r e d - e r r o rl o s sf u n c t i o n , b yu s i n gs u f f i c i e n t $ t a l i s t i cv a r i a b l e s ，b a y e st e s tf u n c t i o n i sd e r i v e d ，u s i n gk e r n e lf u n c t i o n ，t h ee m p m c a lb a y e st e s tf u n c t i o no ft h el o c a t i o n p a r a m e t e ri sc o n s t r u c t e d u n d e rs u i t a b l ec o n d i t i o n , i ti sp r o v e dt h a tt h eb a y e st e s t f u n c t i o no ft h el o c a t i o np a r a m e t e ri sa s y m p t o t i c a l l yo p t i m a la n dt h ec o n v e r g e n c er a t e i se s t a b l i s h e d k e yw o r d s ：t h en o r m a ld i s t r i b u t i o n ；t h el o c a t i o np a r a m e t e r ；e m p i r i c a lb a y e s e s t i m a t i o n ；e m p i r i c a lb a y e st e s t ；t h ec o n v e r g e n c e r a t e s i l l 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工 作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。如不实，本人负全部责任。 论文作者( 签名) ： 刻曲茧2 口。宫年；月喀日 学位论文使用授权说明 河海大学、中国科学技术信息研究所( 含万方数据库) 、国家 图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学 位论文的复印件或电子文档，可以采用影印、缩印或其他复制手段保 存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期 内的保密论文外，允许论文被查阅和借阅。论文全部或部分内容的公 布( 包括刊登) 授权河海大学研究生院办理 论文作者( 签名) ：刻鲎蛰潲年3 月吟日 第一章引言 第一章引言 1 1 研究背景及意义 2 0 世纪以来，数理统计学科存在两大学派，一是经典统计学派，也称为频 率学派，另一个是以十八世纪著名统计学家贝叶斯命名的贝叶斯学派，它起源于 英国的著名统计学家贝叶斯的一篇论文“论有关机遇问题的求解”文中提出了 著名的贝叶斯公式和一种归纳推理的方法，到2 0 世纪的8 0 年代，已发展为一个 有影响的学派 统计学中的b a y e s 学派自诞生以来发展非常迅速，与经典统计学派( 频率学 派) 成为并列的国际数理统计界两大学派，这两大学派都假设所研究的总体服从 某种分布类型，但对于分布类型中参数的认识却有着截然不同的观点 例如对一批产品进行抽样检查，其次品数服从二项分布。这批产品的废品率 p 为未知参数，这两个学派对于分布类型中所含的参数p 的认识截然不同，经典 统计学派认为这些参数是客观存在的，在未得到全部数据之前( 这往往是不可能 的) ，它是未知的，是需要通过抽样结果来估计的，这种估计、推断的理论建立 在频率解释的基础上，只利用当前随机抽样的数据( 不涉及其他数据) 对参数进 行统计推断( 包括参数估计、假设检验等) 而b a y e s 学派认为这些参数本身也 是随机的，它也服从某种类型的分布，称这种分布为先验分布 除了当前随机抽样的数据外，我们周围还存在着一些非样本信息，对于统计 推断和统计决策具有一定的积极作用，这些非样本信息主要来源于经验和历史资 料，由于这些经验和历史资料大多存在于( 获得样本的) 试验之前，故又称为先 验信息b a y e s 学派主张在进行统计推断时，不仅要用到当前抽样的数据还要利 用先验信息 举例说明b a y e s 学派的观点，设某厂每日进行一次抽样检查，以估计当日产 品的废品率，就被估计的那批产品而言，废品率当然只是一个固定的未知数，并 无随机性可言，但从长期来看，逐日的废品率多少有些波动，可以把。一日的废 品率”看作随机变量p ，而我们要估计的某特定日的废品率则只是这个随机变量 p 的一个抽样值由于过去长期检查的经验，我们对p 的情况积累了一些知识，比 如说，p 有8 0 的可能性不超过0 0 5 之类这里把p 看作随机变量以及认为它有 河海大学硕士学位论文 一定的先验分布，有助于我们对废品率做出更切合实际的估计因为，虽然我们 估计的对象是“某日”的废品率，但从上面的讨论看，不好把这看作一件孤立的 事情，而应把它放在“废品率逐日不断变化”这个背景下去考虑因此，适当地 参考其历史的经验而不把估计完全基于这一日的观察，显然是十分重要的例如， 从历史纪录看，该厂在过去一段时间废品率一直较低，那么，虽然在今天抽样时 表现出较高的废品率，结合历史看，我们倾向于认为该日的抽样情况不完全反映 全面，应该把对废品率的估计适当的往低的方向拉，即对受检产品的废品率进行 估计时既要用当前抽样的数据还要结合先验信息 从上面的例子可以看出，我们应注意先验信息的收集、挖掘和加工，使它数 量化并参加到统计推断中来，以提高统计推断的质量，这种将先验信息正式纳入 统计学中并探索如何利用这种信息的思想即为b a y e s 学派 b a y e s 学派的理论是：利用当前抽样的数据及先验分布，由b a y e s 公式建立 后验分布，之后的一切统计推断，如参数估计、假设检验等，都在后验分布的基 础上进行 近年来，b a y e s 理论在许多国家都有广泛的应用，尤其以经济领域居多，蛳 学派著名学者l i n d l e y 曾预言：“统计学的未来一个b a y e s 的二十一世纪 2 1 ”， 不论这一论断是否偏颇，近几十年来b a y e s 统计确实发展很快，这可以从国内外 著名杂志所发表的文章看出，可以说，b a y e s 统计是当今国际统计学科研究的热 点但是这两个学派的争论仍在继续，而且正是他们的争论使得统计学得以更好 的发展正如e f f r o n t 习所指出的：“由于这场争论而使得统计学领域叶繁花茂”如 今经典学派已经不反对把未知量看作随机变量这一观点，美国著名经典统计学家 l e h m a n n e l 在他的“点估计理论”一书中写到：“把统计问题中的参数看作随 机变量的实现要比看作未知参数更合理一些”如今两派的争论焦点是：如何利 用各种先验信息合理地确定先验分布 4 1 本文介绍的经验b a y e s 估计。就是这场争 论的产物经验b a y e s 观点相对于b a y e s 观点来说，避开了其中的某些主观成分， 完全依靠客观数据，是非常有价值的一种思想i s ，是一个值得深入研究的课题 1 2 基于经验b a y e s 方法发展综述 经验b a y e s 方法的思想最初起源于g o n m i s e s ( 1 9 4 2 ) ，后来由r o b b i n s 在1 9 5 5 年正式提出，它吸收了b a y e s 学派不孤立地利用当前样本数据进行统计推断的特 2 第一章引言 点，同时又避开或少用先验分布的假设，使用当前抽样数据及有关历史抽样数据 对参数进行统计推断，这样的好处是，统计推断的精度能接近在先验分布准确的 条件下用b a y e s 方法进行的推断，但这种推断的解释采用的却是频率理论，也就 是说。经验b a y e s 理论结合了两大学派的一些优点，形成了自己独到的理论体系， 经验b a y e s 观点相对于b a y e s 观点来说，避开了其中的某些主观成分，完全依靠 客观数据，是非常有价值的一种思想 5 1 e b 方法可分为两大类：参数经验b a y e s 和非参数经验b a t e s 前者是在一定 损失函数下b a y e s 估计可表为超参数( 先验分布中的参数称为超参数) 的函数， 将其中的超参数用历史样本作出估计，从而获得参数经验b a y e s 估计后者是在 一定损失函数下，b a y e s 估计往往可表为概率密度函数及其导数( 或分布函数) 的函数用非参数方法通过历史样本对密度函数及其导数( 或分布函数) 作出估 计，从而获得非参数经验b a y e s 估计 r o b b i n s 提出e b 方法以来，e b 估计和检验问题在各种文献中研究的已相当 多了，w e n t a oh u a n g , h u i - h s i nh u a n g 讨论了尺度参数未知的情况下双指数分布 位置参数的经验b a y e s 估计，获得了其收敛速度为o ( n a a q 勺【6 1 s i n g h 讨论了 限砂匣置参数的点b 估计问题，获得了凹估计的收敛速度为o ( n 。( r - 1 ) ( 1 + 2 r ) ) 【刀， 陈希孺研究了一维离散型单参数指数族经验b a y e s 估计的渐近最优性【引，赵林城 讨论了一类离散分布参数的经验b a y e s 估计的收敛速度问题【9 】s n g ha n dw e i 讨 论了刻度指数族的经验b a y e s 估计问题【1 0 1 韦来生研究了连续型多参数指数族的 经验b a y e s 估计问趔1 1 】【1 2 1 ，y a n g a n d 耽f 讨论了离散型多参数指数族的经验娜 估计问题【1 4 1 李贤彬讨论了二项分布成功率的几个经验b a y e s 估计及其优良 性i 嘲，p e n s k y , m , d a t t a , s ，h u a n g , s y 正i a n g , t p r a s a d , b ，1 i w a r i , r c z a l k i k a r , j n 讨论了参数的经验b a y e s 估计1 6 卜圈，王立春，韦来生讨论了刻度指数族参数的 经验b a y e s 估计的收敛速度厶口瞄】，王惠亚，严拴航，康会光对几种分布的参数 作了经验b a y e s 统计分析 硼1 2 5 】【2 q 关于参数的e b 检验问题，最早是由j o h n sa n dv a nr y z i n 提出来的，他们分 别讨论了离散型和连续型单参数指数族中的下列检验：1 t o ，兜拂一所，莎o o ，并 研究了其大样本性质唧i 瑚v a n , h o w e l i n g e nl i a n g , k a r u n a m u n ia n dl 硫研究了 河海大学硕士学位论文 上述分布族中单调的脚检验问题 2 9 3 0 l 3 t 1 l i a n g , t ( 2 0 0 0 ) 讨论了线性损失下指数 族分布参数的下列经验b a y e s 检验问题：i t o ，蜘胁，移o o ，获得了其收敛速 度为6 协嘶+ 习【3 2 1 w e i 考虑了离散型和连续型单参数指数族的下列双侧的e 日检 验问题h o ，0 1 亟- _ o r - - , h i fp 0 2 p 3 l 3 4 1 ，s i n g ha n dw e i 讨论了刻度指数族 双侧的皿检验问题t 3 5 】l i a n g , t 讨论了正态分布未知参数的经验脚检验问题， 在一定的条件下构造了其经验b a y e s 检验函数。并获得了其收敛速度 3 6 1 j i a n j u n l i , s h a n t is c r u p t a 讨论了j v ( o , o 框z 置参数的e b 检验问题，获得了五曰估计的收敛 速度下限为o ( n j a n n ) l 【3 7 】l i a n g , t 讨论了经验b a y e s 检验问题及检验函数的收 敛速度下限【3 8 】【3 9 4 0 1 1 4 1 1 以j = ，g t 鹏& s 讨论了经验觑9 栅检验函数的收敛速度 4 2 1 ， 魏莉、孔胜春、韦来生，2 d d7 刻度指数族参数的经验b a y e s 检验的收敛速度，珂 4 3 1 王立春讨论了指数分布参数的经验b a y e s 检验 4 4 1 对于位置参数，韦来生，b a l a k r i s h n a na n d m a 讨论了g a m m a 分布位置参数 的经验b a y e s 估计和检验问题h s 4 6 1 ，丁晓讨论了双指数分布在a = l 的情况下位 置参数的经验b a y e s 估计和检验问题【4 刀 1 3 问题的提出 今年来，出现了许多用b a y e s 方法作出的参数的估计，这种方法利用当前抽 样的数据及先验分布，由b a y e s 公式建立后验分布，之后的一切统计推断，如参 数估计、假设检验等，都在后验分布的基础上进行但是当参数的先验信息积累 不是足够多时，若对先验分布作了与实际情况不相符的人为假定时，所得到的 b a y e s 解的性质会很差 针对这个问题，本文在参数估计方面采用经验b a y e s 方法，它的实质是利用 历史样本对先验分布或其重要特征作出估计，本文以理论介绍为基础，用经验 b a y e s 方法讨论了正态分布位置参数的经验b a y e s 估计与检验问题扩展了经验 b a y e s 方法在参数估计方面的应用 1 4 研究手段、创新点及技术路线 本文在经验b a y e s 方法的理论研究方面上作了大量的工作和探索，使用的关 键理论方法是高等数理统计等主要创新点有： 1 讨论了尺度参数己知时，正态分布位置参数的经验b a y e s 估计问题，在平 方损失下，构造了正态分布位置参数的经验b a y e s 估计，在较一般的条件下，证 4 第一章引言 明了e b 估计的渐近最优性，并获得了其收敛速度 2 讨论了尺度参数未知时，正态分布位置参数的经验b a y e s 估计问题，在平 方损失下，引入了正态分布参数佃，a 2 ) 的充分统计量导出了b a y e a 估计，进 而利用k e r n e l 函数构造了正态分布位置参数的经验b a y e s 估计，在较一般的条件 下，证明了e b 估计的渐近最优性，并获得了其收敛速度及下限 3 讨论了尺度参数已知时，正态分布位置参数的经验b a y e s 检验问题，在平 方损失下，构造了正态分布位置参数的经验b a y e s 检验函数，在较一般的条件下， 证明了e b 估计的渐近最优性，并获得了其收敛速度 4 讨论了尺度参数未知时，正态分布位置参数的经验b a y e a 估计问题，在平 方损失下，引入了正态分布参数阳，矿，的充分统计量导出了b a y e s 检验函数， 进而利用k e r n e l 函数构造了正态分布位置参数的经验b a y e s 检验函数，在较一般 的条件下，证明了e b 估计的渐近最优性，并获得了其收敛速度， 采用的技术路线是 b a y e s 统计理论研究和探索一提出问题一对其进行研究，针对正态分布构造 经验b a y e s 估计和检验函数，并获得收敛速度 1 5 各章内容简介 本文主要用经验b a y e s 方法讨论了正态分布位置参数的经验b a y e s 估计与检 验问题，全文的具体内容共分为六章，概括如下： 第一章阐述了经验b a y e s 理论的研究背景、现状，本文研究的背景、 意义、预备知识及创新点 第二章介绍了尺度参数已知时正态分布位置参数的b a y e a 估计，用经 验b a y e s 方法构造了其经验b a y e s 估计，并获得了其收敛速度， 证明了其渐近最优性 第三章利用正态分布参数阳，矿) 的充分统计量导出了尺度参数未 知时正态分布位置参数的b a y e s 估计，进而利用k e r n e l 函数构 造了正态分布位置参数的经验b a y e a 估计，在较一般的条件 下，证明了e b 估计的渐近最优性，并获得了其收敛速度及下 限 第四章介绍了尺度参数已知时正态分布位置参数的b a y e a 检验问题， 5 河海大学硕士学位论文 第五章 第六章 用经验b a y e s 方法构造了其经验b a y e a 检验函数，并获得了其 收敛速度，证明了其渐近最优性 利用正态分布参数阳，矿j 的充分统计量导出了尺度参数未 知时正态分布位置参数的b a y e a 检验函数，进而利用k e r n e l 函数构造了正态分布位置参数的经验b a y e s 检验函数，在较一 般的条件下，证明了e b 检验函数的渐近最优性，并获得了其 收敛速度及下限 对本文工作的总结和对未来工作的展望 6 第二章盯2 已知的情况下( 只盯2 ) 位置参数的朋估计 第二章矿已知的情况下n ( o , a 9 位置参数的脚估计 2 1 预备知识 2 1 1b a y e s 方法 b a t e s 理论得名于英国学者t h o m a s b a y e s ( 1 7 0 2 - 1 7 6 1 ) ，在他去世后于1 7 6 3 年发表的一篇论文“论有关机遇问题的求解”中，提出了著名的b a t e s 公式和一 种归纳推理的方法，而后l a p l a c e 等人用这种方法导出了一些有意义的结果，再 后来被一些统计学家发展成一种系统的统计推断原理和方法，这就是b a t e s 理 论，其影响还在日益扩大 2 1 1 1b a t e s 公式 b a t e s 公式是b a t e s 学派进行一切统计推断的基础所在，b a t e s 公式的离散 形式已为大家所熟知，这里用密度函数叙述b a t e s 公式，同时从中介绍一些b a y e s 学派的观点， ， 前文已经指出，b a t e s 学派的基本观点是：参数空间p 中的任一参数0 都被 看作随机变量，可以用一个概率分布来描述0 的未知状况，这个概率分布是在抽 样前就有的关于0 的先验信息的概率描述，即所谓的先验分布，记为g f 功，且 g 何= l g ( o ) a o ，于是，样本的联合分布密度函数就可看成是随机变量0 给定某个 值时，工的条件密度函数，故记为f ( x o ) ，其中j = 伍 ，圳为观察向量，一；n ， e 0 9 从b a y e s 学派的观点来看，样本弘p h 别的产生要分两步进行：首先， 设想从先验分布g 例生一个观察值日，然后再从条件分布f ( x o ) 产生样本观察值 、工= 阢，玉一，这时样本z 的联合条件密度为 f ( x 8 ) = 兀厂( 而d i = 1 这个联合分布综合了样本信息，又称为似然函数 由于0 是设想出来的，仍是未知的，想要把先验信息与样本信息综合起来， 不能仅用设想值，需要采用先验分布g 倒，这样，样本j 与参数0 的联合分布为 | l l “印= f ( x 刃g ( 印 7 河海大学硕士学位论文 就成功地把先验信息和样本信息综合到一起了 为了对未知参数0 作出统计决策，需要对联合分布作出如下分解 _ j i d = g ( o 功m ( 功 其中研御是j 的边缘密度函数 m c x ) = i b e x , o ) d o = j f ( x e ) g ( e ) d e 它与0 无关，或者说历俐不含0 的任何先验信息，因此能够用来对0 作出统 计决策的仅是条件分布g ( o i x ) ，它的计算公式为 g(o砷=等=而f(x石o而)g(o)mix) ( 1 3 ) l ，i 石，l 它i f l d f 这就是b a y e s 公式的密度函数形式，这个在样本给定下0 的条件分布称为后 验分布在样本给定情形下，它集中了样本与先验中有关0 的一切信息，要比先 验分布g 倒更接近于实际情况，因此使用后验分布g ( o i x ) 对0 做统计决策要比用 先验分布g f 砂作出的决策更合理 从上面b a y e s 公式的推导过程中不难看出，当从总体获得样本石后，b a y e s 公式把人们对0 的认识由g f 砂调整到g ( o x ) ，这个调整过程可形象的表示为 先验信息0 样本信息后验信息 g ( o ) b f ( x 们jg ( o x ) 其中符号“o ”理解为b a y e s 公式的作用，即综合先验信息和样本信息，产 生b a y e s 学派进行统计推断的基础后验信息 2 1 1 2b a y e s 决策 在统计学上，把j 的每一个具体值z 称为一个样本，一切可能的样本组成一 个空间x ，称为样本空间，在样本空间z 中引入矿一域4 驴在其上定义一族概率测 度舱口e 纠，称为分布族，在给定了样本空间及分布族且提出一定的统计问题后， 就可以根据所抽取的样本来回答所提的问题，每一个具体的回答都称为一个决策 或行为，把可能采取的一切决策的全体称为决策空间或行动空间，记为以一= ，w ， 在每种具体情况下，a 内的决策都存在着优劣比较的问题，决策论中引进损失函 数将这种优劣性加以数量化，损失函数是依赖于参数值0 曰9 和判决函数a 的非负函数，记为似砂，表示当参数真值为0 时，而采取的决策为4 时所造成 的损失，是统计决策问题中的重要要素，要根据实际情况来确定，统计推断的任 第二章盯2 己知的情况下 1 只盯2 ) 位置参数的髓估计 务就在于建立一个定义于样本空间z 而取值于决策空间a 的函数珂砂，使得当有 了样本j 时，就采取决策f 倒，即：当观察值为j = 仁 ，动时采取决策a = t ( x ， h ) ，称函数f 俐为决策函数或统计判决函数 在一个具体的决策问题中，我们的任务是在决策空间中选择一个好的决策a ， 同样的，可供选择的判决函数很多，自然就产生了比较不同判决函数好坏的问题， 我们再引入风险函数来量化并衡量其优劣，设工以回为损失函数，则由下式定义 的0 的函数 r ( t ，d 2 e x o ) l ( t ( x ) ，剀= j r 上( f ( x ) ，o ) f x o ) d x 称为判决函数f 阳的风险函数从定义可知，风险函数即在真实参数为0 时， 采取判决函数玎砂的平均损失，由于r e o ) 仍是目的函数，根据b a y e s 观点可看作 随机变量，对上式关于0 取平均，得到判决函数f 御的b a y e s 风险 r ( t ，g ) = i r ( t ，o ) d g ( e ) 运用后验分布式( 1 3 ) 可得 r ( t ，g ) = l 工( f ( j ) ，e ) g ( e j ) d 口】o ) d x 假如在判决函数类a 中存在这样的判决函数t a ( x ) ，使得 r ( t o ，g ) = i n f r ( t ，g ) 则称t o ( x ) 为判决函数类彳在b a y e s 风险准则下的最优判决函数，亦统称为该 统计决策问题的b a y e s 解在估计问题中，它就称为b a y e s 估计 通常情况下，我们习惯采用平方损失函数，即 ( f ，印= ( 口一f ) 2 此时，0 的b a y e s 估计为0 的后验分布均值，即 岛5 e ( e x ) 2l o g ( o x ) d o b a y e s 理论及其方法的使用，关键在于如何确定先验分布当然，比较令人信 服和易为使用者所接受的选择，是基于历史资料或有根据的理论所得到的结果 为此目的，寻找某些一般性的选择先验分布的有效办法就是一件很有意义的事， 但是，企图规定一种放之四海而皆准的选择先验分布的法则，几乎是不可能的 对先验分布的研究，在国内外都受到重视，已取得一些成果概括起来，确 9 河海大学硕士学位论文 定先验分布的方法主要有以下九种：无信息先验分布、共轭先验分布、j e f f r e y s 准则、不变测度、最大熵方法、用经验b a y e a 方法确定的先验分布、专家经验法、 随机加权法、自助法( b o o t s t r a p 方法) 及多层先验分布( 分层次确定先验分布) 2 1 2 经验b a y e s 方法 经验b a y e s 方法是在b a y e s 方法的基础上发展起来的，其基本思想是用样本 所估计的先验分布代替真正的先验分布，然后作出b a y e s 统计推断和决策 下面主要介绍非参数经验b a y e a 方法( 这里只介绍经验b a y e s 估计，对于假 设检验可以同样叙述) 2 1 2 1 经验b a y e s 方法 假定参数0 印( 臼为参数空间) ，行动口e a ( a 为行动空间) ，损失函数工向砂 为从a 臼到以叫的函数，g 为在0 上的先验分布，而随机变量石x 对于给定 的0 有概率密度钌砂对于决策t ，令、 r ( f ，目) = i 工o ( x ) ，o ) f ( x o ) 出 q 为决策t 在x x o 上的平均损失，而 r ( t ，g ) = i r ( t ，o ) d g ( o ) 为基于先验分布g 的b a y e s 风险，记使b a y e s 风险最小的决策( b a y e s 估计) 为如 实际问题中，g 往往是不知道的，因而无法求出幻的具体值假定我们的决 策问题独立地重复出现，而且有同样的未知先验分布g ，即( 0 1 , x 0 。佴。x 为独 立同分布一劬的随机对子，这里研是谢的，服从g 分布，而而服从关于的分 布密度f ( x o ) 样本样本x l , 而是可观测的，而o h ，靠是不可观测的假定已经 有了观测值z ，而和而巾我们希望作出对损失三的关于巩+ i 的决策由于“， 而是来自边缘分布为 厶( 力= | f f j o ) d o f o ) 的样本，因此工 而包含有关于g 的信息，从这些观测值中取出关于g 的信息，并基于此来确定关于巩+ i 的决策0 = 如牟 ，而i ) ，其b a y e s 风险为 矗( ，g ) = e 臣。，【地( ) 叫 = ，儿l 以( ) 功】氕x 毋击甜g ( 刃 1 0 第二章盯2 已知的情况下p ，盯2 ) 位置参数的邱估计 其中于o 口) ：n s + l ，“力，旋= 如正k 正靠。e 是关于五，鼻求期望 2 1 2 2 经验b a y e s 估计的渐近最优性及收敛速度 定义2 1 1 称，k w 是渐近最优的经验b a y e s 估计，简记为a o e b 估计，如 果一串经验判决函数，知例满足条件 坚墨月( ，g ) 。r ( 岛，g 即的全面b a y e s 风险的极限等于b a y e s 估计t g 的b a y e s 风险 定义2 i 2 称是具有收敛速度为g 的经验b a y e s 估计，如果 r ( 乇，g ) 一r ( t o ，g ) = o ( n 1 ) 其中g 乱 2 2 b a y e s 估计 考虑如下正态分布 f ( x l o , a ) = 志井( z 刮( 2 】 其中秒和盯分别是位置参数和尺度参数，p q = ( 一o d ，+ ) ，q 为位置参 数空间，盯 0 为了讨论盯2 已知的情况下n ( o ，盯2 ) 位置参数的e b 估计，不妨设盯= 1 ，当给 定0 时，随机变量x 的条件密度是 似刃2 去哪 七一回2 ，2 0 q = ( 一，+ ) 是位置参数 设g ( 力为t 2 上的先验分布，g ( 回未知，随机变量z 的边缘分布密度 五( 习= f f ( x o ) a g ( o ) = 刁( z ) ( 习 ( 2 1 ) 其蝴加去耐一争，鼢胁竿誓回 均方损失下，b a y e s 估计( 力为目的后验均值，即 ( = 研e ，x 1 = ：业( 2 2 ) ( 力 其中= p 唰丝等堡) 损= 胁丝等乌d g ( 8 ) 河海大学硕士学位论文 其b a y e s 风险为 如= 呼五细，a ) = r ( e o ，g ) = 臣。e 【( z ) 一。】2 = j j 【( 对一口r o ，口矽耐g ( 力 ( 2 3 ) 若g 是已知的，当9 = ( 功时，如是可以精确达到的，但由于g 未知， 故( 曲也是未知的，因此无实际价值，从而导致我们采用经验b a y e s 方法构造 其风险可任意接近如的经验b a y e s 估计 2 3 经验b a y e s 估计 设五，以为分别来自总体 鸺，1 ) 的样本，僻独立同分布且服从未知的先验 分布g ( d 五，置是可观测的，q 是不可观测的设l 。为当前样本，利用历史 样本五，以和当前样本以+ = z 来估计钆，记钆的经验b a t e s 估计为 纯( 功= o ，五，) 的b a y e s 风险为 胄( 纯，g ) = e 巨i 。“纯( 五+ ) 一瓯+ 】2 ( 2 4 ) 其中e 是关于五，墨求期望 2 4 经验b a y e s 估计的收敛速度下限1 1 i 由于置( ，g ) 是最小的如w 风险，故对所有的7 成立根据定义，若 ! i m r ( 钆，g ) - - r ( 9 。，g ) ，则称吼为幺+ i 的渐近最优的经验b a y e s 估计；若对某个 艿 0 ，有且( 纯，g ) 一r ( ，g ) = 0 协。) ，则称吼的收敛速度的阶为0 ( 一。) 令m 为e - + l 经验b a y e s 估计吼的集合，l i ，为满足条件p z a o ( o ) 。o e s 幅u p 。2 i 陋( n ，g ) 一r ( ，g ) 】 ( 2 6 ) $ i n g h ( 1 9 7 9 ) l 柚】证明了对于任何g e l ，都有 1 2 第二章口2 己知的情况下( 只盯2 ) 位置参数的e b 估计 震( 识，g ) 一r ( 譬k ，g ) = e e ( x e ) 【( x ) 一9 k ( 茸) r ( 2 7 ) 因此 嚣蠢墨f r ( 死，g ) 一r ( ，卿 2 u f f 。s u p 岛) 暑臣“e 。，i 吼( 功一( 曲】2 ( 2 8 ) 2 纂。啪s u p 6 z ) j e 【d 一( 曲】2 ( 砌( j ) 出 定义 瑁。= 矗“) 尼阮) ，d x = 妣屯j = l ，2 令 h 2 ( 厶，厶，) = f 【而一万了万】2