（概率论与数理统计专业论文）逆卡方分布下正态模型参数的后验分布及其抽样算法.pdf

硕士学位论文 m a s t e r st h e s i s 中文摘要 当正态线性模型中的参数取逆z 2 先验分布p p 2 ，) ，即 p ( 盯2 ，) = _ ( 仃z ) 一t 专盯o 2 j 1 1 ( 三) o盯= o 时本文得出了回归系数和误差方差的联合后验分布和边际后验分布，特别还导出了 回归系数二次型的分布。利用回归系数和误差方差联合后验分布的分解形式，本文 又给出了它们的一种抽样方案。 关键词：线性模型；广义先验分布；真实先验分布；逆z 2 先验分布；回归系数； 抽样 硕士学位论文 m a s t e r st h e s i s a b s t r a c t w h e nt h ep a r ；l i n e t e r si nn o m a ll i n e a rm o d e lh a v ec o u n t e rz 2d i s t r i b u t i o n ， p ( 盯2 ，) = 0 玎 1 ( 仃2 ) 一p 一虿 盯o 仃= o t 1 1 i sp 印e rg i v e st l l ej o i n tp o s t e r i o rd i s t r i b u t i o n so ft l l er e 黟e s s i o nc o a e c i e n ta i l de r r o r v a r i a l l c e ，a i l dg i v e st l l e i rm a r g i n a lp o s t e r i o rd i s t r i b u t i o n s s p e c i a l l y t l l ep o s t e r i o r d i s t r i b u t i o n so faq l 脚r i cf o ma b o u tm er e g r e s s i o nc o e 衔c i e n t 访t h el i l l e a rm o d e li s o b t a i n e d a c c o r d i r l gt ot l l ej o i n tp o s t e r i o rd i s t r i b u t i o n so ft l l er e g r e s s i o nc o e m c i e n t 砒1 d 印0 rv 撕锄c e ，w ep r o p o s eas 锄p l i n gm e t l l o df o rt l l ej o i n tp o s t e r i o rd i s 仃i b u t i o 粥 k e yw o r d s ： l i n e a rm o d e l ：e x t e n s i v ep r i o r d i s t r i b u t i o n s ：r e a lp r i o r d i s t r i b u t i o n s ：c o u n t e r z 2d i s t r i b u t i o n ：r e g r e s s i o nc o e f f i c i e n t ：s a m p l i n g 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的研 究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法 律结果由本人承担。 作者签名：阵馑- 以 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中师范大 学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本学位论文收录到中 国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：骼渗田 嘲嘲年j 月少日 孙张伤鹚 日期：彬朋啪 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程 ，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程 中的 规定享受相关权益。回重途塞握变卮进卮! 旦圭生i 旦二生；旦三生蕉查! 作者签名：际馑加 嘲：嘲年卵a 丁日 硕士学位论文 m a s t e r st h e s i s 引言 在线性模型中，回归系数和误差的方差是十分重要的待估参数，在对它进行 b a y e s 分析时，对于给定的先验分布密度，研究这些参数的后验分布的相关的抽样 算法对实际问题的数据分析是十分有用的。尽管人们对线性模型中的未知参数的 b a y e s 分析时有过许多讨论，如文献 1 ， 2 ， 3 ， 5 等，但是对于回归系数和 误差的方差后验分布的表示形式不是很完整，同时许多推导计算没有明确写出，这 些问题一方面不好进一步的利用相关的结果分析实际数据，另一方面，也 从一个侧面阻止了人们研究这些参数的性质。 最近在推导这些待估参数的分布时有了一些新的进展，如文献 6 在当先验分 布取作j e f f e r y s 先验分布时，该文对这些参数的后验分布给出了完整而明确的推 导；但是j e f f e r y s 先验分布是广义先验分布，建立一个真实先验分布并在该密度 下给出完整的推导是有意义的。这是因为b a y e s 学者在分析问题时往往是基于给定 的真实先验分布，而广义先验分布不是他们最受欢迎的，这会给他们分析实际问题 时带来一定程度上的困难。 另一方面，z 2 分布是在数理统计中经常被用到的分布，所以逆z 2 分布也常常 被用到。而且逆z 2 分布密度是一个真实的密度函数，在这个真实的密度函数下， 本文对上述重要的待估参数再次给出了完整而且明确的推导，不仅得出了回归系数 和误差方差的联合后验分布和边际后验分布，特别还导出了回归系数二次型的分 布。此外，利用回归系数和误差方差联合后验分布的分解形式，它们的一种抽样方 案也被给出了。 硕士学位论文 m a s t e r st h e s i s 第一章预备知识 本文假设所讨论的线性模型是如下形式： y = x b 七 其中，y 是门1 维观测向量，x 是一个已知的刀聊阶的设计矩阵，是所1 维的未知回归系数向量，占= ( g l ，占2 ，厶1 是刀1 维的误差向量，占( 0 ，盯2 ，) ， 盯是未知参数，i 是刀刀的单位矩阵。 设母体的密度为厂( y i 口) ，9 是未知参数，参数空间是o ，为了做b a y e s 分 析时描述方便本文均假设它是连续型随机变量，离散型的情形作简单变换，也可以 得到相应的结论。若乃，江l ，2 ，玎是来自母体的一组样本，记y = 。，y 2 ，少。) ， 用三( 口i y ) 表示参数口的似然函数，那么它是正比于n ：。厂( y ，i 口) 的一个函数。 按b a y e s 分析方式，若给定口的先验分布密度是p ( p ) ，则p 的后验分布密度是 p ( 口p ) = 印( 目) 三( 目p ) ，这里c 一= p ( 目) ( 口i y ) d 口 ( 2 ) e 为了导出后验分布，下面先给出几个定义和概念。 定义1若随机变量 有密度函数 g ( x l 甩) = _ x ；x o 2 讯争 o其他 其中r ( 口) 是常见的r 函数，那么称善服从自由度是n 的z 2 分布，记为 善z 2 ( 刀) 。 定义2若善z 2 ( 力) ，记善z - 2 ( 刀) ，彳善的分布记作彳z 2 ( ”) ，其中a 是 非零常数。容易算出z - 2 ( 疗) 和a z - 2 ( 门) 的密度函数分别是 2 硕士学位论文 m a s t e r st h e s l s 岛 i 刀) = 9 2 i 刀) = 上x t 一去x ox p “xu 2 j r ( 昙) o其他 一 旦x 专一p 一丢x ox p “xu 2 i r ( 昙) o其他 若在g 。( x l ”) 中的x 用仃2 来代替，就是我们本文将假设的逆z 2 先验分布p ( 盯2 ，夕) ， 即 p ( 仃2 ，) = 【_ ( 仃：) 一t 古仃o 2 _ r ( 三) o仃= o 注1 ：这里仃2 ，独立，且服从退化分布。 定义3密度函数在实空间上积分值为的先验分布函数称为广义先验分布； 密度函数在实空间上积分值为1 的先验分布函数称为真实先验分布。 定义4设曰是七1 维随机向量，称臼服从多元t 分布。记作口f ，( ，) ， 若目有密度函数 p ( 胪烨小( 1 + 昙( 口刊口刊) ， r ( 1 ，2 ) 1 ，j 石i 其中，一 只 o o ，一 o ， 令秒：( x r x ) ；( 一多) ， 以专们：( d e t ( x 7 x ) ) 一， 町掣焉髻学渺) 叩器，譬叶黟d p 町( 巡焉嵩半归) ：髻p c 磊+ 舞功 怯高，瓤町( 坐焉等业渺) 硕士学位论文 m a s t e r st h e s i s c i r ( 刈譬) 一所( 1 耐) 一c l r ( 门) 【f ) 所( 1 + 坩2 ) r ( 1 ，) 1 1 ( 聊)( 2 v ) ” 2 v 酬牮卜申”出 = c 譬，三c 1 揣弘移- l ( + 汐出 北一c 警，三c 一揣詈c 叶汐p 。 io其他 令g = ( 等) 詈c l ，又由于以= 朋+ v ， 由于f ( 2 聊，2 1 ，) 的密度的积分值等于l ，所以可以得出q = 1 。 所以对照f 分布的密度函数形式可知， 风( z i y ) 是服从于f ( 2 聊，2 v ) 的z 的密度函数， 由此定理证毕。 1 2 半华喾 黾 揣 硕士学位论文 m a s t e r st h e s i s 第三章模型参数在后验分布中的抽样方案 统计推断的一个要点是研究分布的抽样，这一节将要简要讨论线性模型中的 几个参数后验分布的抽样方案，这个问题在以往关于线性模型的未知参数估计时 几乎没有讨论过。 从本文第二节的注记2 可以发现， p ( ，仃2i 】，) = p ( 仃2i y ) p ( i 】，盯2 ) = p ( l 多，盯2 ) p ( 盯2 其中观测y 由充分统计量( 口，仃2 ) 替代，p ，s 2 的定义见第二节。从这个表达式， 再加上第三节推导的各种密度函数形式，我们立即可以找到线性模型( 1 ) 中的 未知参数p ，盯2 的后验分布的简单抽样算法。 为了从后验密度p ( p ，仃2i 即抽取9 ，盯2 的样本，可以按如下步骤实行： 1 随机抽取 z z 2 ( 2 疗一历) ，计算出砰= ( 1 + w 2 ) z 2 随机抽取 9 ( 夕，蠢( x7 x ) 一) 合成( 口，击) 便是一个来自p ( 臼，盯2i y ) 的观测样本。 注意，由于普通的一元z 2 分布和多元正态分布的抽样算法，在常用的统计软件中 都可以找到，随着计算技术的发展，速度的不断提高，在观测数据得到后，用计算机 技术就可以方便的完成上述线性模型中未知参数后验分布的抽样。 硕士学位论文 m a s t e r st h e s i s 参考文献 1 b o x ，g e p ，i l a o ，g c ，b a y e s i a i li n f e r e n c ei ns j c a t i s t i c a la n 甜y s i sn e w y o r k ： j o mw i l e ya n ds o l l si n c 1 9 9 2 2 吴喜之，现代贝叶斯统计学中国统计出版社，北京，2 0 0 0 3 峁诗松、王静龙，高等数理统计高等教育出版社，北京，2 0 0 6 4 张尧庭等，多元统计分析引论，科学出版社，北京，1 9 8 2 5 张尧庭等，贝叶斯统计推断科学出版社，北京，1 9 9 1 6 李开灿、陈浩明，正态模型参数的后验分布及其抽样算法，湖北师范学院学 报，2 0 0 7 7 r v 豪格和a t 克莱格，数理统计导论，高等教育出版社，北京，1 9 9 0 8 茆诗松等，高等数理统计，高等教育出版社，北京，2 0 0 6 1 4 硕士学位论文 m a s t e r st h e s i s 在校期间发表的论文、科研成果等 1 正态模型参数的后验分布及其抽样算法，湖北师范学院学报，2 0 0 7 年，第二作 者。 2 逆卡方分布下正态模型参数的后验分布及其抽样算法，北京印届i j 学院学报， 2 0 0 8 年，第一作者。 硕士学位论文 m a s t e r st h e s i s 致谢 光阴似箭，三年的硕士研究生生活即将结束在本文完成的时候，我衷心地感谢 在我成长道路上教导我的师长，帮助我的朋友和关心我的亲人 首先感谢我的恩师陈应保和李开灿教授，在他们的悉心指导下，我学习了统计学 的前沿知识，尤其是贝叶斯统计推断部分的内容他们以渊博的学识和人格魅力将 我带入了现代数学的研究领域在三年的学习生活中，他们不仅传授给我大量的专 业知识，更重要的是教我学会了作学术研