（概率论与数理统计专业论文）基于后验贝耶斯拟似然线性模型变量选择.pdf

摘要 在构造一般的回归模型过程中，包括线形模型，广义线形模型和非线性回归模型，在最 初的阶段需要大量的预测数据来减少可能的偏差为了提高可预测性和减少估计和预测 的方差，我们通常可以删除一些不显著的变量，来获得一个最优的变量子集。对于这个 问题的一些选择准则，如：a i c ，c p ，b i c ，r i c 等，都是基于选择最大后验模型的一种 特殊的贝耶斯方法但是这些存在的变量选择的判别准则是依赖于似然函数的，如果数 据的分布是未知的，这些准则就是无效的了在这篇文章中，我们提出了一种新的变量 选择方法一后验贝耶斯拟似然这个方法不需要关于数据分布的任何假设，并且，这个 方法可以同时进行变量选择和参数估计。特别的，对于线形回归模型，通过后验密度的 变量选择与通过判别残差平方和后者回归平方和是等效的 关键词： 变量选择，贝耶斯拟似然，后验拟分布函数，后验拟得分函数，贝耶斯后验拟 似然 a b s t r a c t i 矗t h ep r o d u c eo fc o n s t r u c t i n gg e n e r a lr e g r e s s i o nm o d e l 8i n d u d i n g1 i n e a rg e n e r 以i z e dl i n c a ra n d n o n l i n e 缸r e g r e s s i o n ，al 盯g en u m b e rp r e d i c t o r 8a r eu s u a l l yi n t r o d u c e da tt h ei i t i a ls t a g eo f m o d e l l i n gt ot e d u c cp o s s i b l em o d e l l i n gb i a s e s i no r d e rt oe n h a n c ct h ep r e d i c t a b i l i t ya n dr e d u c e v a r i a n c e 8o fe s t i m a t i o na n dp r e 出c t i o n ，h o w e v e r ，o n eu s u a l l yd e l e t es o m ei 1 1 s i g n i 丘c a n tv a r i a b l e s a n da t t e m p tt oo b t 出na o p t i m “s u b s e to fv a r i a b l e s f o rt h i sp r o b l e ms e l e c t i o nc r i t e r i as u c l l a sa i c ，c p ，b i ca n dr i ch a e 矗x e dd i m e n s i o n a l i t yp e n 缸t i e s s u c hc r i t e r i aa r es h a w nt oc o r - r e s p o n dt os e l e “i o no fm a 面m 眦p o s t e r i o rm o d e l su n d e ri m p l i c i th y p e r p a r a m e t e rc h o i c e sf o r ap a r t i c u l a rb a y e sf o r m u l a t i o n b u tt h ee x i s t i n gp e n a l i z e di i k e i i h o o da p p r o a c ht ov a r i a b l es e l e c t i o nd e p e n d so nt h eh k e l i h o o df u n c t i o na n dt h e ni su n a v a j l a b l ei ft h ed i s t r m u t i o no fd a t a i su n k n o w n i nt h j sp 叩e rw es u g g e s tq u a 8 ip o s t e r i o rb a 辨s i a nn k e l i h o o dt os e l e c tv a r i a b l e 8 t h e s ea p p r 。a c h e sd on o tr e q u i r ea n ya s s u m p t i d no nd j s t r i b u t i o no fd a t ar a t h e r 亡h a i lt h e 王r 丑r s t m o m e n to r 矗r s tt w om o m e n t s t h e s em e t h o d ss c l e c t r i a b l e sa n de s t i m a t ep a r a m e t e r ss i u l t a - n e o u s l yt h cp r 。p o s e de s t i a t o r sp e r f o r ma sw e ua st h eo r a c kp r o c e d u 工ea n da r ea s y m p t o t i c a l l y e 伍c i e n t p 壮t i c u l a r 埽f o rl i n e a rr e 擎e s 8 i o nm o d e l 8 ，t h ev 盯i a b ks e l e c t i o nv i ap o s t e r i o rd e n s i t yi s e q u i v a l e n tt ot h ev a r i a b l es e l e c t i o nv i 8p e n a l i z e dr e s i d u “s u mo fs q u a r e so rr e 盯e s s i o ns u mo f s a u a r e s k 。yw o r d s ：v 缸i a b l es e l e c t i o n ，q u a s ib a y e s i a nl i k e l i h o o d ，q u a s ip o s t e r i o rd i s t r i b u t i 。n q u a 8 i p 。s t e r i o rs c o r ef u c t i o n ，q u a s ip 。s t e r i o rb a 聊i a nl i k e l i h o o d i i 致谢 非常感谢林路教授本文从选题到定稿自始至终得到了林老师悉心严格的指导，使 我对拟似然这个广阔的学术领域有了更加透彻的认识在南开大学求学的几年中，我深 深地感受到了林老师渊博的知识，严谨的作风，谦逊的为人和广阔的胸怀在此，谨向 林老师对我的指导和教诲表示衷心的感谢 感谢张润楚教授和王兆军教授两位老师均给予我耐心的指导和帮助，他们敏锐的 学术洞察力以及博大精深的知识让我受益匪浅感谢数学院各位授课老师，他们严谨的 治学作风和一丝不萄的工作精神很值得我学习 作者还要感谢数学学院数理统计方向的所有同学尤其要感谢刘凌，袁媛，孙剑平， 陈宝江，杨建锋，周纯光感谢他们在我南开求学的7 年里给予我的诸多关怀和帮助 深深感谢含辛茹苦养育我的父母，感谢他们对我的照顾和关怀，并鼓励我在学业上 放手拼搏我今天所有的快乐和成功都来源于他们无私的爱和付出 向所有关心帮助过我的人们表示衷心的感谢 1i n t r o d u c t i o n i nt h ep r o c e d u r eo fc o n s t r u c t i n gg e n e r a lr e g r e 8 8 i o nm o d e l si n c l u d i n gl i n e a r g e n e r a l i z e d 1 i n e a ra n dn o n l i n e a rr e g r e 8 8 i o n ，al a r g en u m b c rp r e d i c t o r sa r eu s u a l l yi n t r o d u c e da tt h e i n i t i a l8 t a g eo fm o d e l l i n gt or e d u c ep o s s i b l em o d e l l i n gb i a s e s i no r d e rt oe n h a n c et h e p r e d i c t a b i l i t ya n dr e d u c ev a r i a n c e so fe s t i m a t i o na n dp r e d i c t i o n ，h o w e v e r ，o n eu s u a l l y d e l e t es o m ei n 8 i g n i f i c a n tv a r i a b l e sa n da t t e m p tt oo b t a i na no p t i m a ls u b s e t 。fv a r i a b l e s t h et r a d i t i o n a lm e t h o d sa r es t e p w i s ep r o c e d u r e s ，w h i 出a r ec o m p u t a t i o n a le x p e n s i v ea n d i g n o r et h e8 t o c h a s t i ce o r si nt h e 、氇r i a b l es e l e c t i o np r o c e d u r e s o nt h eo t h e rh a n d ，t h e o b t a i n e db e s ts u b 8 e to fv a r i d b l e su s u a l l ys u 矗白sf r o m8 e v e r a ld r a w b a l ( 8 ，t h em o s ts e v e r e o fw h i c hi si t sl a c ko fs t a b i l i t y ( b r e i m a n1 9 9 6 ) i ba o i dt h e 8 ep r o b l e m s ，f h na n dl i ( 2 0 0 1 ) p r o p o s e dap e n a l i z e dl i k e l i h o o du n d e rt h ec o n d i t i o nt h a 上t h ed i s t r i b u t i o no fd a 土ai s k n a w n t h i sn e wa p p r o a c hs e l e c t sv a r i a b l e sa n de s t i m a t e sp a r a m e t e r 8s i m u l t a n e o u s l hb y w h i c l lt h eo b t a i n e de s t i m a t o r sh 可v et h eo r a c l ep r o p e r t ya n da r ea s y m p t o t i c a u ye 甩c i e n 七 e d w a r da n dd e a n ( 2 0 0 0 ) a l s oi n t r o d u c e da ne m p i r i c a lb a ”8v a r i a b l e8 e l e c t i o nu n d e r t h ec o n d i t i o nt h a 七t h ed a t ac 。m ef r o mn o r m a ld i s t r i b u t i o n t h ep r o p o s c dp r o c e d u r eo f v a r i a b l es e l e c t i o nc a nb ec a l i b r a t e ds ot h a tt h eo r d e r i n gr n o d c kb yp o s t e r i o rp r o b a b i l i t h h o w e 、吧r ，t h e s em e t h o d sd e p e l l do nt h ed i s t r i b u t i o no fd a t aa n dt h e na r eu n a v a i l a b l ei f t h ed i s t r i b u t i o ni su n k n o w n t h e n i nt h ec a s ew i t hu n k n o w nd i s t r i b u t i o no fd a t a s o m e n e wd e s i g n sa r ed e s i r e d i nt h i 8p a p e rw ec o n s i d e rt h ef o l l o w i n gc a n o n i c 以v a r i a b l es e l e c t i o np r o b l e m s u p p o s e w eh a v eno b s e r v a t i o n 8o nad e p e n d e n tv a r i a b l eya n dpi n d e p e n d e n tv a r i a b l e 8x= ( z 1 ，z p ) f o rw h i c ht h ef a m i l i a rn o r m a ll i n e a rm o d e lh o l d s ： y = x 日+ ：( 1 ) w h e r e 口= ( 口1 ，如) 7 s u p p o s ea l s ot h a to n l ya nu n k n o w ns u b s e to ft h e 岛c o e 伍c i e n 七s a r en o n z e r o t h ep r o b l e mo fv a r i a b l es e l e c t i o n ，o rs u b s e ts e l e c t i o na si t i so f t e nc “1 e d ，i s t oi d e n t i 母t h i su n k n o w ns u b s e t t h es p e c i a lc a s eo ft h i sp r o b l e mw h e r ex = ，o c c u r s n a t u r 出1 yi nt h ec o n t e x to fw a v e l e tr e g r e s 8 i o n ( d o n o h o & j o h n s t o n e1 9 9 4 ) ac o m m o ns t r a t e g yf o rt h i sv a r i a b l es e l e c t i o np r o b l e mh a sb e e nt os e l e c tt h em o d e l t h a tm a x i m i z e sap e n a l i z e ds u mo fs q u a r e sc r i t e r i o n m o r ep r e c i s e l y ) i f ，y ；1 ，2 9 i n d e x e 8a 1 1 t h es u b s e t so fz 1 ， z p ，l e t s s 、= a j x 轼，a ， ( 2 ) w h e r e 蜀i st h e 凡如m a t r 呔w h 0 8 ec 。l u m n sa r et h e 竹v a r i a b l e si nt h e7 t 8 u b s e t ，a n d 氐= ( 墨k ) 一1 x ；yi st h el e a 8 ts q u ”e se s t i m a t eo ft h ev e c t o ro fc o e 币c i e n t s 口7 f o rt h i s s u b s e t h e r es s ，i sj u s tt h ef a 胍i l i a rr e g r e s s i o ns u mo fs q u a r e 8f o rt h e7 hm o d e lt h a t m a x l m l z e s s s 占2 一f n( 3 ) o re q u i v a l e l l t l ym i n i m i z e 8s s 日子2 + f 乳f o rs s 日= y 7 y s & i n ( 3 ) ，fi sa 丘x e d c o n s t a n 七a n d 奇2i sa ne s t i m a t eo f 盯2 ；fc a nb ei n t e r p r e t e da sa d i m e n 8 i o n a h t yp c n a l t y i nt h es e n s et h a t ( 3 ) p e n a l i z e ss s 子2b yft i m e sq 1 ，t h ed i m e n s i o no ft h e1 t hm 。d e l _ a 肌i n b e ro fp o p u l a rc r i t e r i ac o r r e s p o n dt ou 8 i n g ( 3 ) w i t hd i f f e r e tc h o i c e so ff p e r h a p st h em o s tw i d e l yu s e da r ef =2w h i c hy i e l d sq ( m a l l o w s1 9 7 3 ) a n d ，a p p r 0 x i m a t e l y ) a i c ( a l ( a i k e1 9 7 3 ) ，f = l o g nw h i c h 如e l d sb i c ( s c b w a r z1 9 7 8 ) ，a n df = 2 l o g p w h i c hy i e l d sr i c ( f 0 s t e r & g e o r g e1 9 9 4 ) t h em o t i v a t i o nf o rt h e s ec h o i c e sa r ev a r i e d ；q i sm o t i v a t e da 8a nu n b i a s e de s t i m a t eo fp r e d i c t i v er i s k ，a i cb ya ne x p e c t e di n f o r m a t i o n d i s t a n c ea n db i ca sa na s y m p t o t i cb a y e sf a c t o r aw i d ev a r i e 妙o fr e l a t e dc h o i c e sf o r fh a 忙b e e np r o p o s e db yo t h e r s h o w e v e r ，t h e s em e t h o d sd e p e n do nt h ed i s t r i b u t i o no f d a t aa n dt h e na r el l 工l a v a i l a b l ei ft h ed i s t r i b u t i o ni su n k n o w n t h e n ，i nt h i 8p a p e r ，w e i n t r o d u c eq u a s ip o s t e r i o rb a 归s i a nl i k e l i h o o dw h e nt h ed i s t r i b u t i o no fd a t ai su n k n o w n p a r t i c u l a r l mf o rl i n e a rr e 口e s s i o nm o d e l s ，t h ev a r i a b l es e l e c t i o n v i ap o s t e r i o rd e n s i 屯yi s e q u i v a l e n tt ot h ev a r i a b l e8 e l e c t i o n v i ap e n a h z e dr e s i d u a ls u mo fs q u a r e so rr e g r e 8 s i o n s u mo f8 a u a r e s t h em a i ng o a lo ft h i sp a p e ri st og i v et h et h e o r e t i c a lf r a m e w o r ko fq u a s ip o s t e r i o r b a ”s i a nl i k e l i h o o d ， t h er e m a i n d e ro ft h i sp a p e ri so r g a n i z e da sw h a tf o l l d w st h e q u a 曲l i k e l i h o o da n dt h eq u a s ip o s t e r i o rs c o r ea r el 吼r o d u c e dl ns e c t i o n2a n d i ns e c t i o n 3r e s p e c t i v e l 矿i ns e c t i 。n4t h eq u a 8 ip o s t e r i o rb a 0 ，e s i a nl i k e l i h o o di sd e 矗n e du n d e rt h e c o n d i t i o nw i t hk n o w nn r s tt w om o m e n t s0 fd a t a a n dw eh a v es o m es i m l l l a t i o n sf o rs o m e h n e a r 】o d e l si ns e c t l o n5 2 2 q u a s il i k e l i h o o d s u p p o s et h en 1r a n d o mv a r i a b l e 可= ( 可1 ，s h ) 7h a 占m e a np ( 目) = ( 肛l ( 目) ，肛n ( 9 ) ) 7 a n dc o 、啊t i a n c em a t r i ) ( 矿2 矿( 口) ，b o t hb e i n gk n a w nf u n c t i o n 8o ft h ep d i m e n s i o n a lp a r a m e t e r e = ( 口1 ，0 口) 7 ，a n d v ( 日) b e 泣ga p o s i t i v e d 幽n i t e m a t r i ) c i n t h i sc a s e ，as p e c i a l u n b i a s e d e s 恤n a t i n gf u n c t i o n ，c a l l e d 七h cq u a s is c o r ef u n c t i o no f 日，i sd e 矗n e da s 口( 口，g ) = 一。 豇( 目) ) 7 y ( 口) ) e ( ，9 ) ， ( 4 ) w h e r e 丘i sa nn pm a t r i ( w i t hc 。m p o n e n t sa 地p 如a n dr a n k 血( 占) ) = p ，e ( 可，臼) = 可一p p ) t h i sq u a s i8 c o r ef u n c t i o ni sl i n e a ru n b i a s e do n l yo nt h e6 r s t 七w om o m e n t 8o f t h eo b s e r v a t i o n sa n dc a nb ed e r i v e da sap r o j e c t i o no ft h et r u es c o r ef u n c t i o n ，s ( 日，掣) = a l o g 册( 可) a 臼，o n t ot h eh n e a rs p a c es p 锄e db y 妇1 一肛l ( 8 ) ， ，一( 8 ) ) ( m c l e i s h 1 9 8 4a n dm c l c i s h & s m a l l1 9 9 2 )u n d e rs o m er e g u l a r i t yc o n d i t i o n s ，i ti sac o l l s e r v a t i v e e 8 t i m a t i n gf u n c t i o ni n 七h e8 e n s et h a tt h e r ee d s 七sap o t e n t i a lf u n c t i o no rq u a s i l i k e l m o o d ( l i m c c u l l a 曲1 9 9 4 ) ，t h e n ，t h ep o t e n t i a lf u n c t i o no rq u a s i l i k e h h o o df o rt h ep r o j e c t e d s c o r eh a sm a n yp r o p e r t i e so fal o 哥l i k e l i h o o df u n c t i o n t h en o t i o no fq u a s i8 c o r ea b o v ec a nb ed e v e l o p e di nm o r eg e n e r “s t a t i 8 t i c a lm o d e l s ( h e y d e1 9 9 7 ) a s s u m et h a tw ea r ea b l et od e t e r m i n ea nu n b i a s e db a s i sf u n c t i o n 垂( ，臼) = ( 币l ( 掣l ，口) ，妒n ( g 。，) 7 ，w h e r e 曲l ( 掣l ，目) ，咖。( 可。，毋) m a yb et h es a m ef h n c t i o no rn o t ： m a yb et h e1 i n e a rf u n c t i o n so fo b s e r 、吼t i o l l so rn o t t h e i re s s e n t i a lc h a r a c t e r i s t i ci st h a t e j ( 也( 玑，口) ) = o ，t = 1 ，n ，f o r “l 挣e a c c o r d i n gt ot h ed e 矗n i t i o no fq u a s i8 c o r e f u n c t 讪na b o v e ，t h eg e n e r a l i z e dq u a s is c o r ef u n c t i o nb a s e do nu n b i a s e de s t i m a t i n gm n c t i o n 垂i sd e 6 n e da s 口m 妒，) = d ；( 口) a ；1 ( 日) 西0 ，口)( 5 ) w h e r ed 圣( e ) = e 8 ( a 圣 ，臼) a 口) 8 n da = e 8 ( 圣扫，8 ) 西悟，8 ) ) i nt h i sc a 8 ew ea 1 8 0 e e d t ok n o ws o m ed l a r a c t e r i s t i c 8o ft h ed i s t r i b u t i o ns u c ha sd 壬( 口) a n da 垂( 目) a sd e 丘n e di n ( 5 ) t h eg e n e r a l i z e dq u a s is c o r ef u n c t i o ni sap r o j e c t i o no ft r u es c o r ef u n c t i o no n t ot h e 1 i n e a rs p a c es p a n n e db y 西1 ( 可l 臼) ，n ( n ，日) ，a n di tc a nb ev e r i 丘e dt h a t ，u n d e rs o m e 3 r e g u l a r i t yc 。n d i t i o n s ，t h e r ee x i s t 8p o t e n t i a lo rq u a s il i k e l i h o o df u n c t i o nf o rt h ep r o j e c t e d s c o r eh a i n gm a n yp r o p e r t i e 8o fal o g l i k e l i h o o d ( l i n2 0 0 4 ) t h eq u a s il i k e l i h o o dp l a y st h er o l eo fl i k e l i h o o df u n c t i o nw h c nt h ed i s t r i b u t i o no f d a t ai s u n k n o w n c c o r d i n gt ob a 0 伦s i a ns t a t i s t i c s ，o nt h eo t h c rh a n d 】a l li n f b r c n c c s a r eb a s e dm a i n l yo nt h ep o s t e r i o rd i s t r i b u t i o nf u n c t i o n i ft h ed i s t r i b u t i o no fd a t ai s u n k n a w n ，h o w e v e r ，t h eb a y e s i a nm e 七h o df a i l sb e c a u 8 et h e r ei sn op o s t e r i o rd i s t r i b u t i o n o fp a r a m e t e r s ow ew a n tt ou s eq u a s ip o s t e r i o rb a y e s i a n1 i k e l i h o o dt os o l v ct h cp r o b l e m 3 q u a s ip o s t e r i o rs c o r e i n t h i ss e c t i o nw ei n t r o d u c et h eq u a s ip o s t e r i o rs c o r eb a s e do na nu n b i a s e de s t i m a t i n g f u n c t i o i nw h a tf o l l a w s ，w ea s s u m et h ed i s t r i b u t i o n 岛( 可) o fo b s e r v a t i o n s 玑，玑b 争 l o n 9 8t oac l a s so fu n d e r l y i n gd i s t r i b u t i o n sp = 局( 耖) ，口e ) a n dad o m i n a t i n gm e a s u r ep e x i s t so n 冗“s u c ht h a td 局( 可) = m ( 可) 咖，w h e r e 舶( ) i sad e n s i t yf u n c t i o nw i t hr e s p e c tt 。 t h em e a s u r e t h e nt h et r u e8 c o r ef u n c t i o nc a nb ee x p r e s s e da ss ( 口jv ) = a l o g 蛳( g ) 棚 o nt h eo t h e rh a n d ，8 u p p 0 8 et h a to nt h ep a r a m e t e rs p a c eeap r i o rd i s t r i b u t i o ni sd e f l n e d b y w i t hd e n s i t y 霄( 臼) of o r 口e i n t h i sc a s et h et r u ep o s t e