（概率论与数理统计专业论文）带不可忽略缺失数据的混合结构方程模型的贝叶斯分析.pdf

_】jj1 j_ji，i，i，j_1111l，1l l iil iiii i1 1 1 11 1 111 1 1 iil y 17 7 9 3 13 带不可忽略缺失数据的混合结构方程模型 的贝叶斯分析 b a y e s i a na n a l y s i so fm i x t u r es t r u c t u r a le q u a t i o n m o d e l sw i t hn o n - - i g n o r a b l em i s s i n gd a t a 博士后姓名 合作导师 流动站( 一级学科) 名称 专业( 二级学科) 名称 研究工作起始时间 研究工作期满时间 蔡敬衡 郭先平教授 数学 概率论与数理统计 2 0 0 8 年7 月 2 0 1 0 年6 月 单位名称 主坐太堂鏊堂与计算科学学院 报告提交日期2 0 1 0 年6 月 摘要 在实际研究中经常会遇到潜在变量和异构数据混合结构方程模型是分析 这些数据的常用方法另外，缺失值，包括响应变量缺失和协变量缺失都是实际 研究中的重要课题本报告的主要目的是建立分析总体数目未知的混合结构方 程模型的贝叶斯方法。模拟计算结果表明由此方法得到的贝叶斯估计是正确的， 而且贝叶斯因子和校正偏差信息准则都能够有效地在混合结构方程模型的模型 选择中正确选择总体个数，以及合适的缺失机制 关键词：混合结构方程模型，不可忽略缺失数据，马尔科夫链蒙特卡罗方法，模 型选择，贝叶斯因子，校正信息偏差准则 a b s t r a c t i np r a c t i c a lr e s a r c h ，i ti sc o m m o nt oe n c o u n t e rl a t e n tv a r i a b l e sa n dh e t e r o g e - n e o u sd a t a m i x t u r es t r u c t u r a le q u a t i o nm o d e l s ( s e m s ) a r e v e r yu s e f u lm e t h o d s t oa n a l y z et h i sk i n do fd a t a m o r e o v e r ，t h ep r e s e n c eo fm i s s i n gd a t a ，i n c l u d i n g b o t hm i s s i n gr e s p o n s e sa n dm i s s i n gc o v a r i a t e s ，i sa ni m p o r t a n ti s s u ei np r a c t i c a l r e s e a r c h t h em a i no b j e c t i v eo ft h i sr e p o r ti st od e v e l o pab a y e s i a na p p r o a c hf o r a n a l y z i n gm i x t u r es e m sw i t ha nu n k n o w nn u m b e ro fc o m p o n e n t s r e s u l t so f o u rs i m u l a t i o ns t u d ys h o wt h a tt h eb a y e s i a ne s t i m a t e so b t a i n e db yt h ep r o p o s e d m e t h o da r ea c c u r a t e ，a n dt h em o d e ls e l e c t i o np r o c e d u r ev i a b a y e sf a c t o ra sw e l l a sam o d i f i e dd i ci su s e f u li ni d e n t i f y i n gt h ec o r r e c tn u m b e ro fc o m p o n e n t sa n d i ns e l e c t i n ga na p p r o p r i a t em i s s i n gm e c h a n i s mi nt h ep r o p o s e dm i x t u r es e m s k e y w o r d s ：m i x t u r es t r u c t u r a le q u a t i o nm o d e l ，n o n i g n o r a b l em i s s i n gd a t a ， m c m cm e t h o d ，m o d e ls e l e c t i o n ，b a y e sf a c t o r ，m o d i f i e dd i c ii iliiililillilllliliilii 目录 摘要 i a b s t r a c t i i i 目录v c h a p t e r1 i n t r o d u c t i o n 1 c h a p t e r2a n a l y s i so fm i x t u r es e m sw i t hn m a rr e s p o n s e s 5 2 1i n t r o d u c t i o n 5 2 2m o d e ld e s c r i p t i o n 5 2 2 1f i i l i t em i x t u r e si 1 1s e m s 5 2 2 2 m i s s i n gm e c h a n i s m 6 2 3 b a y e s i a na n a l y s i so fm i x t u r e si ns e m s 7 2 3 1 b a y e s i a ne s t i m a t i o n 7 2 3 2p e r m u t a t i o ns a m p l e r 8 2 3 3p r i o rd i s t r i b u t i o n s 9 2 3 4t h em 1c o n d i t i o n a ld i s t r i b u t i o n s 1 0 2 3 5 b a y e s i a nm o d e ls e l e c t i o nv i ap a t hs a m p l i n g 1 3 2 4as i m u l a t i o ns t u d y 1 5 2 5a ni l l u s t r a t ee x a m p l e 2 0 2 6c o n c l u s i o n 2 5 c h a p t e r3a n a l y s i so fm i x t u r es e m sw i t hn m a rd a t a 2 7 3 1i n t r o d u c t i o n 2 7 3 2m i x t u r es e m sw i t hn o n i g n o r a b l em i s s i n gd a t a 2 7 3 3 b a y e s i a na n a l y s i so ft h em i x t u r es e m s 3 1 带不可忽略缺失数据的混合结构方程模型的贝叶斯分析 3 3 。1 3 3 2 3 3 3 3 3 4 一一3 3 5 b a y e s i a ne s t i m a t i o n 3 l p e r m u t a t i o ns a m p l e r 3 2 p r i o rd i s t r i b u t i o n s 3 2 f u c o n d i t i o n a ld i s t r i b u t i o n s 3 3 b a y e s i a nm o d e l s e l e c t i o n v i aam o d i f i e dd i g 二_ _ 二j ：二二竺 一一 3 4as i m u l a t i o ns t u d y 3 9 3 5a ni l l u s t r a t i v ee x a m p l e 4 5 3 6c o n c l u s i o n 4 9 c h a p t e r4c o n c l u s i o n 5 3 参考文献5 5 简历5 9 发表文章目录6 1 科研基金目录6 3 承担教学情况6 5 致谢6 7 表格 2 1t h ee s t i m a t e dl o g a r i t h mo fb a y e sf a c t o r su n d e rp r i o r ( i ) a n d p r i o r ( i i ) i n1 0 0r e p l i c a t i o n s 1 9 2 2 b a y e s i a ne s t i m a t e so f s t r u c t u r a lp a r a m e t e r si nt h es i m u l a t i o ns t u d y b a s e do nn m a ra s s u m p t i o n ，m a ra s s u m p t i o n ，a n df u l l yo b - s e r v e dd a t ai nc o m p o n e n t1 2 1 2 3 b a y e s i a ne s t i m a t e so fs t r u c t u r a lp a r a m e t e r si nt h es i m u l a t i o ns t u d y b a s e do nn m a ra s s u m p t i o n ，m a ra s s u m p t i o n ，a n df u l l yo b - s e r v e dd a t ai nc o m p o n e n t2 2 2 2 4v a r i a b l e sd e s c r i p t i o ni ni c p s rs e t 2 4 2 5 b a y e s i a ne s t i m a t e su n d e rt h e2 - c o m p o n e n tm o d e lb a s e do nn m a r a s s u m p t i o ni na n a l y z i n gt h ei c p s rd a t as e t 2 6 3 1 b a y e s i a ne s t i m a t e so ft h ep a r a m e t e r si nt h es i m u l a t i o ns t u d y 4 3 3 2 s u m m a r yo fm o d i f i e dd i cv a l u e si nt h es i m u l a t i o ns t u d y 4 4 3 3v a r i a b l e sd e s c r i p t i o ni nc o c a i n eu s e dd a t as e t 4 7 3 4 b a y e s i a ne s t i m a t e so ft h ep a r a m e t e r si nt h ei l l u s t r a t i v ee x a m p l e 5 1 插。图 2 1 s c a t t e rp l o t so fm c m c o u t p u tf o rc o m p o n e n t so f 肛1i ns i m u l a t i o n s t u d y 1 8 3 1p a t hd i a g r a mo fc o m p o n e n t1i nt h ei l l u s t r a t i v ee x a m p l e 5 0 3 2p a t hd i a g r a mo fc o m p o n e n t2i nt h ei l l u s t r a t i v ee x a m p l e 5 0 c h a p t e r 1i n t r o d u c t i o n s t r u c t u r a le q u a t i o nm o d e l s ( s e m s ) 2 ，1 7 h a v eb e e nw i d e l yu s e di na s s e s s i n g t h er e l a t i o n s h i p sb e t w e e nl a t e n ta n do b s e r v e dv a r i a b l e si nb e h a v i o r a l ，b i o m e d i c a l ， a n ds o c i a l - p s y c h o l o g i c a lr e s e a r c h i ng e n e r a l ，s e m sc o n s i s to ft w oc o m p o n e n t s t h e 缸s tc o m p o n e n ti sac o n f i r m a t o r yf a c t o ra n a l y s i sm o d e lf o rm e a s u r i n gl a - t e n tv a r i a b l e sv i as e v e r a lo b s e r v e dv a r i a b l e s ，a n dt h es e c o n dc o m p o n e n ti sa r e g r e s s i o n - t y p es t r u c t u r a le q u a t i o nf o ra s s e s s i n gt h ei n t e r - r e l a t i o n s h i p sa m o n g l a t e n tv a r i a b l e sa n dc o v a r i a t e s i na p p l i c a t i o n so fs e m s ，h e t e r o g e n e i t yi sa l li r a - p o r t a n ti s s u eb e c a u s er e s p o n d e n t so f t e nc o m ef r o mm o r et h a no n ep o p u l a t i o n c l e a r l y , t r e a t i n gh e t e r o g e n e o u sd a t a a si ft h e yc a x n ef r o ma s i n g l ep o p u l a t i o nw i l l l e a dt om i s l e a d i n gc o n c l u s i o n s ( s e ef o re x a m p l e ， 1 4 ) i fh e t e r o g e n e i t yi sp r e s e n t a n dc o m p o n e n tm e m b e r s h i pi sk n o w nap r i o r i ，r e s e a r c h e r sc a nu s es t a n d a r dm u l - t i p l eg r o u pm e t h o d s h o w e v e r ，c o m p o n e n tm e m b e r s h i pi su s u a l l yu n k n o w ni n p r a c t i c e i nt h i sr e g a r d s ，l n i x t u r em o d e l sh a v eb e e nf o u n dt ob ev e r yu s e f u li n h a n d l i n gh e t e r o g e n e o u sd a t aw i t hu n k n o w nc o m p o n e n tm e m b e r s h i p t h em a i n i s s u e si n v o l v e dt y p i c a l l yi n c l u d et h es e l e c t i o no fn u m b e ro fc o m p o n e n t s ，a n dt h e e s t i m a t i o no fs u b j e c tc o m p o n e n tm e m b e r s h i pa n du n k n o w np a r a m e t e r si nt h e m o d e lo fe a c hc o m p o n e n t a n a l y s i so fm i x t u r em o d e l sh a sr e c e i v e dag r e a td e a l o fa t t e n t i o ni nt h es t a t i s t i c a ll i t e r a t u r ei nr e c e n ty e a r s 2 7 ，3 4 ，3 6 i nt h ef i e l d o fs e m s ，f 1 ，4 ，3 7 d i s c u s s e dm a x i m u ml i k e l i h o o d - b a s e dm e t h o d s ，z h ua n dl e e a s lp r o p o s e dab a y e s i a na n a l y s i sf o rf i n i t em i x t u r es e m s ，a n d 【1 8 】d e v e l o p e da p r o c e d u r et oc o m p u t et h eb a y e sf a c t o rf o rm o d e ls e l e c t i o n a n o t h e ri m p o r t a n ti s s u e ，w h i c hm i g h ts e r i o u s l ya f f e c te s t i m a t i o na n dm o d e l s e l e c t i o nr e s u l t si nm i x t u r es e m s ，i st h ep r e s e n c eo fm i s s i n gd a t a 19 f o u n d t h a tt h es t a t i s t i c a la n a l y s i so fm i x t u r es e m sw o u l dg i v el e s sa c c u r a t er e s u l t s i nt h ep r e s e n c eo fm i s s i n gd a t a f u r t h e r m o r e ，【1 6 f o u n dt h a tt h es e l e c t i o no f t h en u m b e ro fc o m p o n e n t si nm i x t u r es e m sb a s e do nd e l e t i n gt h ec a s e sw i t h m i s s i n gv a l u e sw o u l d1 e a dt ow r o n gc o n c l u s i o n i nt h ef i e l do fm i x t u r es e m s ， i n c l u d i n gt h ea f o r e m e n t i o n e de x i s t i n gw o r ka n dr e f e r e n c e st h e r e i n ，m i s s i n gd a t a 2 带不可忽略缺失数据的混合结构方程模型的贝叶斯分析 a r eu s u a u yt r e a t e da sm i s s i n ga tr a n d o m ( m a r ) h o w e v e r ，t h i sa s s u m p t i o nm a y n o tb er e a l i s t i ci na n a l y z i n gh e t e r o g e n o u sd a t ab e c a u s et h ep r o b a b i l i t yo fm i s s - i n g n e s sf o ra ni n d i v i d u a lm a yh i g h l yd e p e n do ni t sa s s o c i a t e dc o m p o n e n tw i t h s o m es p e c i a lc h a r a c t e r i s t i c s f o re x a m p l e ，c o n s i d e r i n gam i x t u r em o d e lw i t h t w oc o m p o n e n t sr e l a t i n gt ol o wi n c o m ea n dh i g hi n c o m e ，a ni n d i v i d u a lf r o mt h e h i g hi n c o m ec o m p o n e n tm a y t e n dt on o ta l q s w e rs o m ei t e m si nt h eq u e s t i o n n a i r e ， a n dv i c ev e r s a t h e r e f o r e ，t h er e a s o nf o rm i s s i n g n e s sd e p e n d so nt h em i s s i n g v a l u e st h e m s e l v e s t r e a t i n gt h i sk i n do fm i s s i n gd a t aa sm a r m a yp r o d u c e m i s l e a d i n gr e s u l t s h e n c e ，i ti sn e c e s s a r yt oc o n s i d e rm i s s i n gd a t aw i t ha n o n - i g n o r a b l em e c h a n i s m 【2 2 a l t h o u g hm i s s i n gc o v a r i a t e sa n dt h en o n - i g n o r a b l e m i s s i n gm e c h a n i s mh a v er e c e i v e dc o n s i d e r a b l ea t t e n t i o ni nt h es t a t i s t i c a ll i t e r - a t u r e 1 3 ，2 1 ，2 5 ，2 6 ，3 5 m e t h o d sf o ra n a l y z i n gm i s s i n gc o v a r i a t e sh a v eb e e n d e v e l o p e df o ro t h e rs t a t i s t i c a lm o d e l s ，s u c ha sr a n d o me f f e c tm o d e l sa n dg e n - e r a l i z e dh n e a rm i x e dm o d e l su s i n gt h em o n t ec a r l oe ma l g o r i t h m 【1 3 ，a n ds o o n t ot h eb e s to fo u rk n o w l e d g e ，n os t a t i s t i c a lm e t h o dh a sb e e nd e v e l o p e df o r m i x t u r es e m sw i t hn o n - i g n o r a b l em i s s i n gd a t ai nb o t hr e s p o n s e sa n dc o v a r i a t e s t oc o p ew i t ht h i sm o r ec o m p l i c a t e dt y p eo fm i s s i n gd a t ai na n a l y z i n gi n i x t n r e s e m s ，ag e n e r a lf r a m e w o r kb a s e do nal o g i s t i cr e g r e s s i o nm o d e lw i l lb eu s e dt o f o r m u l a t et h em i s s i n gm e c h a n i s m ( s e e 【1 2 ) s i n c et h em i s s i n gm e c h a n i s mi sa c t u - a | l l yu n k n o w n s e l e c t i n ga na p p r o p r i a t eo n e i sa l w a y sa ni s s u ea n dc a nb ev i e w e d a sa s e n s i t i v i t ya n a l y s i sf o rm o d e lm i s s p e c i f i c a t i o no fm i s s i n gd a t am e c h a n i s m t h e r e f o r e ，u n d e rt h ec o n t e x to ft h ep r o p o s e dn l i x t u r es e m s ，t h eb a y e s i a nm o d e l s e l e c t i o ni sa ni m p o r t a n ti s s u ew h i c hh e l p sd e t e r m i n i n gt h en u m b e ro fc o m p o - n e n t s ，t h em i s s i n gm e c h a n i s m s ，a n dt h el i n e a ra n d o rn o n l i n e a re f f e c t si n v o l v e d i nt h es t r u c t u r a le q u a t i o n i nt h i sr e p o r t ，w ew i l ld e v e l o pm i x t u r es e m sw i t hn o n - i g n o r a b l em i s s i n g r e s p o n s e sa n d 缸e dc o v a r i a t e s ，a n dp r o p o s eb a y e s i a nm e t h o d st oa n a l y z et h e p r o p o s e dm o d e l t h eb a y e s i a na p p r o a c hi sp r o p o s e di nt h i sa n a l y s i sd u et o t h ef o l l o w i n ga d v a n t a g e s ：( i ) s a m p l i n g - b a s e db a y e s i a nm e t h o d sd on o tr e l yo n a s y m p t o t i ct h e o r ya n dg i v er e l i a b l es t a t i s t i c a li n f e r e n c ee v e nw i t hc o m p a r a t i v e l y s m a l l e rs a m p l es i z e s ( s e e 5 ，2 8 】) ；( i i ) i ti sf l e x i b l et ou t i l i z eu s e f u lp r i o ri n f o r m a t i o n t op r o d u c em o r ea c c u r a t er e s u l t s m o r e o v e r ，t w os t a t i s t i c s ：b a y e sf a c t o r 【1 5 】a n d c h a p t e r1i n t r o d u c t i o n 3 m o d i f i e dd i cf 3 2 1w i l lb ed i s c u s s e df o rm o d e lc o m p a r i s o n t h er e m a i n d e ro ft h i sr e p o r ti so r g a n i z e da sf o l l o w s ：c h a p t e r2d e v e l o p s m i x t u r es e m sw i t hn o n i g n o r a b l em i s s i n gr e s p o n s e s m c m cm e t h o d sa r ee m - p l o y e di nt h eb a y e s i a ne s t i m a t i o n m o r e o v e r ，w ea l s op r o p o s e sb a y e sf a c t o rf o r m o d e lc o m p a r i s o na n dd i s c u s st h ep a t hs a m p l i n g 8 】p r o c e d u r et oc o m p u t et h e l o gb a y e sf a c t o r c h a p t e r3p r o p o s e sm i x t u r es e m sw i t hn o n - i g n o r a b l em i s s i n g r e s p o n s e sa sw e l la sf i x e dc o v a r i a t e s f u r t h e r m o r e ，w ea l s op r o p o s eal o g i s t i c m o d e lt or e l a t et h ec o m p o n e n tp r o b a b i l i t i e sw i t hs o m ef i x e dc o v a r i a t e sw h i l et h e c o m p o n e n t sp r o b a b i l i t i e sa r ec o n s t a n ti nc h a p t e r2 m c m ct e c h n i q u e sa r ea l s o p r e s e n t e di nt h eb a y e s i a ne s t i m a t i o n f i n a l l y , w ep r o p o s ea m o d i f i e dd i cv a l u e t om o d e lc o m p a r i s o n s i m u l a t i o ns t u d i e sa n dr e a ld a t aa n a l y s i sa r ec o n d u c t e d i nb o t hc h a p t e r s c h a p t e r4c o n c l u d e st h er e p o r ta n dd i s c u s s e ss o m ef u r t h e r d e v e l o p m e n t s c h a p t e r2b a y e s i a na n a l y s i so fm i x t u r es t r u c t u r a l e q u a t i o nm o d e l sw i t hn o n - - i g n o r a b l em i s s i n g r e s p o n s e s 2 1i n t r o d u c t i o n t h em a i no b j e c t i v eo ft h i sc h a p t e ri st od e v e l o pab a y e s i a na p p r o a c hf o ra n - a l y z i n gm i x t u r es e m s w i t ha nu n k n o w nn u m b e ro fc o m p o n e n t sa n dn o n i g n o r a b l e m i s s i n gr e s p o n s e s s e c t i o n2 2d e f i n e st h ei d i x t u r es e m s w i t ha nu n k n o w nh u m - b e to fc o m p o n e n t sa n dn o n i g n o r a b l em i s s i n gd a t a s e c t i o n2 3p r e s e n t sb a y e s i a n a n a l y s i so ft h ep r o p o s e dm o d e l i nt h i ss e c t i o n ，ar a n d o mp e r m u t a t i o ns a m p l e r i si m p l e m e n t e dt od e t e r m i n ea na p p r o p r i a t ei d e n t i f i a b i l i t yc o n s t r a i n tf o rs o l v - i n gl a b e ls w i t c h i n gp r o b l e mi nb a y e s i a nm i x t u r em o d e l s ，a n d a l la l g o r i t h mo n t h eb a s i so ft h ep a t hs a m p l i n gi nc o m p u t i n gt h eb a y e sf a c t o ri sp r o p o s e df o r m o d e ls e l e c t i o n as i m u l a t i o ns t u d yf o ri n v e s t i g a t i n ge m p i r i c a lp e r f o r m a n c eo f t h eb a y e s i a ne s t i m a t i o na n dm o d e ls e l e c t i o ni sr e p o r t e di ns e c t i o n2 4 ar e a l e x a m p l ei sp r e s e n t e di ns e c t i o n2 5t oi l l u s t r a t et h em e t h o d o l o g y s e c t i o n2 6 c o n c l u d e st h i sc h a p t e rw i t had i s c u s s i o n 2 2m o d e ld e s c r i p t i o n 2 2 1 f i n i t em i x t u r e si ns e m s l e ty tb ea p 1r a n d o mv e c t o rc o r r e s p o n d i n gt ot h ei t ho b s e r v a t i o ni na r a n d o ms a m p l eo fs i z en ，af i n i t em i x t u r e si ns e m sf o ry ii sd e f i n e da sf o l l o w s ： x ( y t ) = 7 r k a ( y , l o 血) ，i = 1 ，仡 k = l ( 2 1 ) w h e r ek i st h en u m b e ro fc o m p o n e n t sw h i c hc a nb eu n k n o w n ，吼so r et h e c o m p o n e n tp r o b a b i l i t i e st h a ta r en o n n e g a t i v ea n ds u mt o1 0 ，厶i sad e n s i t y f u n c t i o nw i t hap a r a m e t e rv e c t o ro k c o n d i t i o n a l0 nt h ek - c o m p o n e n t ，s u p p o s e 6 带不可忽略缺失数据的混合结构方程模型的贝叶斯分析 t h a tt h er a n d o mv e c t o r 矾s a t i s f i e st h ef o l l o w i n gm e a s u r e m e n te q u a t i o n ： y i = p 七+ a 七u i + e t ， ( 2 2 ) w h e r e 弘詹i sap 1i n t e r c e p tv e c t o r ，a ki sap qf a c t o rl o a d i n gm a t r i x ，u ii s aq 1r a l l d o mv e c t o ro fl a t e n tv a r i a b l e s ，旬i sa p 1r a n d o mv e c t o ro fe r r o r m e a s u r e m e n t sw i t hd i s t r i b u t i o nn 0 ，皿七】，e ti si n d e p e n d e n to fo d i ，a n d 皿后i s ad i a g o n a lm a t r i x f u r t h e r m o r e ，w ec o n s i d e rap a r t i t i o no fu ii n t oaq l 1 e n d o g e n o u sl a t e n tv e c t o r 仇a n daq 2 1e x o g e n o u sl a t e n tv e c t o r 毛ag e n e r a l s t r u c t u r a le q u a t i o nf o r a s s e s s i n gi n t e r r e l a t i o n s h i p sa m o n g 仇a n d 毛，t o g e t h e r w i t hs o m ef i x e dc o v a r i a t e si sd e f i n e da sf o l l o w s ： 仇= a 七c