（概率论与数理统计专业论文）有约束的多元模型的minimax估计及多元正态分布熵的估计.pdf

摘要 m i n i m a x 估计是一类重要的估计，它使极大风险极小化，是避免损失的一种 选择因此在实际生活中有重要的用途用m i n i m a x 原理来估计模型的回归系 数最早由k t t k a 和o l m e m ( 1 9 7 1 ，1 9 7 2 ) 提出，第一章对于有约束的多元线性模型， 在损失函数亡r ( 台一日) 憎( 雪一b ) 下给出参数矩阵b 在线性信计类中的m i n i m a z 估计，研究了其性质在一些特殊的情形下，估计包括了多元功效岭回归估计 f p o w e rr i d # er e g r e s s i o ne s t i m a t i o n ) 多元s t e i n 估计等。给出了有约束的一般多元 线性回归模型的线性h 恤i m “估计第二章对于有约束的增长曲线模型，在损失函 数打( 雪一口) ，a ( b b ) 下给出参数矩阵b 在线性估计类中的胁喇m 估计，研究了 其性质在一些特殊的情形下，估计包括了增长曲线功效盼回归估计等 在分子生物科学中，分子系统的熵对研究分子的热力学性质十分重要第三 章中基于一些随机样本，我们将估计期望为岛方差阵e 都未知的多元正态分布的 熵在损失下给出熵的最优仿射同变估计珏，证明该估计也是广义b 苟估 计；通过计算比较知，b 改进了分子生物学中通常采用的极大似然估计，特别在 高维情况( 如分子遗传学) 下，如更具优良佳进一步研究知一些情况下。是不 可容许估计，我们用s t e i n 型估计和b r e w s t , e r - z i d e k 型估计去改进舡，最后证明了所 得到的b r e w s t e r - z i d e k 型估计也是广义b a y e s 估计 关键词：约束条件多元线性m i n i i n a x 估计多元岭回归估计熵l i n e x 损 失仿射同变估计广义b a y e s 估计s t e i n 型估计b r e w s t , e r - z i d e k 型估计w i s h m t 分 布 a b s t r a c t m i n i m a xe s t i m a t i o ni sa ni m p o r t a n te s t i m a t i o n ，m a k e st h em d m mr i s km i i m n m ，i t s a l lc h i o c ef o re e c a p t i n gl o s s s oi t si m p o r t a n ti no u rn o r m ll i f e u s i n gt h em i n i m a xe r i t e r t i o n t oe s t i m a t ec o e f f i c i e n t sw a sf i r s tg i v e nb yk u l ma n do l m a n ( 1 9 7 1 1 9 7 2 ) i nt h ef i r s tc h a p t e rm c o n s i d e rt h ep r o b l e mo f e s t i m a t i n gt h er e g r e s s i o nc o e f f i c i e n t sn l a t r xi nam u l t i v a r i a t er e g r e s s i o n u n d e rr e s t r i c t i o n so np a r a m e t e rs p a c e am u l t i v a r i a t em i n i m a xe s t i m a t i o n i na l ll i n e a re s t i m a t o r s u n d e rt h el o s sf u n c t i o nt r ( b b ) 7 a ( b b ) j sd e r i v e d w ec o n s i d e ri t sp r o p e r t i e s i ns p e c i a l c a s et h em u l t i v a r i a t em h l i e s t i m a t i o ni n c l u d ep o w e rr i d g er e g r e e s i o n s t e i n se s t i m a t o ra n d 8 0o n i nt h es e e s n dc h a p t e rw ec o n s i d e rt h ep r o b l e mo fe s t i m a t i n gt h er e g r e s s i o nc o e f f i c i e n t s m a t r i xi ng r o u t hc u r v em o d e lu n d e rr e s t r i c t i o n so np a r a m e t e rs p a c e ，am u l t i v a r i a t em i n i m a x e s t i m a t i o ni na l ll i n e a re s t i m a t o r su n d e rt h el e s 6f u n c t i o n 押( b b ) 4 ( b b ) i sd e r i v e d w e c o n s i d e ri t sp r o p e r t i e s i ns p e c i a lc a 8 et h em u l t l v a r m t em i n i m a xe s t i m a t i o ni n d u d ep o w e rr i d g e r e g r e s s i o n e n t r o yo fam o l e c u l a rs y s t e mi si m p o r t a n tf o ru n d e r s t a n d i n gi t st h e r m o d y n a m i cp r o p e r t i e s i nm o l e c u l a rb i o s c i e n c e s wc o n s i d e rt h ee 伍c e n te s t i m a t i o no f am u l t i v a r i a t en o r m a ld i s t r i b u t i o n h a v i n gu n k n o w n 塘姐v e c t o ra n dc 讲舶r j 塘n c em a t r i x b a s e do nar a n d o ms a m p l e 聊d i s c u s st h e p r o b l e mo fe s t i m a t i n gt h ee n t r o p yu n d e rt h el i n e xl o s sf u n c t i o n 。t h eb e s t 缸丘n ee q u i v a r i a n t e s t i m a t o ri so b t i o n e d ，a n d ，i ta l s ot u r n so u tt ob eag e n e r a l i z e db a y e se s t h n a t o r 曲er i s k i i n p r o v e m e n t so ft h eb e s ta l p i n ee q u i v a r i a n te s t i m a t o ro v e rt h em l ea r eo b t a i n e dn u m e r i c a l l y a n da r ef o u n dt ob es u b s t a n t i a li nh i g h e rd i m e n s i o n w ef u r t h e re s t a b l l s ht h a te v e nt h eb e s t8 f f l n e e q u i v a r i a n te s t i m a t o ri 8i n a d m i s s i b l ea n do b t a i ns t e i n - t y p oa n db r e w s t e r - z i d e k - t y p ee s t i m a t o r s d o m i n a t i n gi t ，t h eb e s tb r e w s t e r - z i d e k - t y p ee s t i m a t o ri ss h o w nt ob eg e n e r a l i z e db a y e s k e y w o r d l m u l t i v a r i a t e r e 枣 e s s i o nm u l t i v a r i a t e m i n i m a x e s t i m a t i o ns t e i n 8 e s t i m a t o rg r o u t h c u r v e m o d e l e n t r o yb e s ta 伍i 1 1 ee q u l v a r i a n te s t h n a t o rs t e i n - t y p eb r e w s t e r - z i d e k - t y p ee s t i m a t o rg e n e r a l - z e db a y e sw i s h a r td i s t r i b u t i o n 东南大学学位论文 独创性声明及使用授权的说明 一学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意 二，关于学位论文使用授权的说明 研究生签名；趔日期。塑u 1 7 东南大学中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文本人电 子文档的内容和纸质论文的内容相一致除在保密期内的保密论文外，允诈论文 被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容论文的公布( 包括刊 登) 授权东南大学研究生院办理 研究生签名；王理缝导师签名 期t 勘l 卜u 7 第一章有约束的多元线性回归模型的m i n i m a x 估计 iy ；x b + f v e c ( 司一( o ，w o d it r ( b x f x b ) p 本文在损失函数t r ( b b ) a ( 雪一b ) 下给出口在线性估计类中的m i n i m a x 估计，研究了其性质在一些特殊的情形下，估计包括了多元功效岭回归估计 ( p 。t ，e rr i d g er e g r e s s i o ne s t i m a t i o n ) ，多元s t e i n 估计等 1 1 引言及记号 m 血m x 估计是一类重要的估计，它使极大风险极小化，是避免损失的一种 选择因此在实际生活中有重要的用途用m i n i m a x 原理来估计模型的回归系数 最早由k u k s 和o i m a n ( 1 9 7 1 ，1 9 7 2 ) 提出，之后有许多学者有这种原理来研究模型的 估计和预测问题m i n i m a x 估计与损失函数和所考虑的估计类有关h e l g eb l a k e r 1 t ( 2 0 0 0 ) 讨论二次损失下带椭球约束的线性回归模型的线性m i n i m a x 估计有约束 的一般多元回归模型的线性m i n i m a x 估计并不能通过拉直后利用h e l g eb l a k e r 的结 论得到本文给出了有约束的一般多元线性回归模型的线性m j 衄估计 为了以下计算方便，先介绍几个符号及引理， 符号1a b = m i n ( a ，b ) a vb = m ( 口，6 ) o + = m a x ( x ，0 ) 若a 为n n 阶对称矩阵，有谱分解a = p d f ，其中p 为n n 阶正交阵，d 为对角阵，其对角元记为函，f = 1 ，n 定义： + = p d + p ，d + = d i a g ( d l v o ) ，( d f v o ) ，( d 。v o ) ) 符号2 2 】( 1 ) v e c ( e ) 表示将e 按列拉直，p 表示k r o n e c k e r 积 q 表示占的第i 列。07 0 表示矩阵e 的二范数 ( 2 ) i 为口的可容许估计，记为i p 引理1 1 1 俐v e c ( e 1 e 编) = ( 忍oe 1 ) v e c f t r ( e i f ) = 扣e c 磷) 勺m 历 打( e 1 墨2 ) = t r ( f e 1 )v e c ( e 1 + j 免) = v e c e l + v e c e 2 引理1 1 2 脚a o ( 历+ 历) = a o b l + a o 历 ( a 1 0 s 1 ) ( a 2 0 8 2 ) = ( a l a 2 ) o ( b 1 j 免)t r ( a o b ) = t r a t r b 引理1 - 1 3 脚e ( 一血) = u l a u + t r ( a e ) ，其中眈= t ，t ) a r ( g g ) = e 壅塞奎矍堡圭耋堡垒塞叁三塞童丝塞墼垒垂垡堡里望堡翌墼些! ：! ! 竺堡童 2 考虑多元线性回归模型 v e c 勰( + w ：d 阻- ， i司一( 0 o d ”7 其中y 为q 阶观测矩阵，x 为n x p 阶设计矩阵且r k c x ) = p e = ( e l ，e 。) 为 n q 阶误差矩阵，w = ( 2 ) 为已知的q 阶非零非负定阵b 为p xq 阶未知参数矩 阵，满足亡r ( b x f x b ) p ，其中f 为n f l 阶非负定阵 记 0 = b i t k b x f x b ) 办 模型( 1 1 ) 的最小二乘估计为 晚s = ( x ) _ 1 x y 本文采用的损失函数为 五( 台，b ，a ) = t r ( b 一日) a ( 雪一b ) a 为p 。p 阶正定阵，其相应的风险函数为黝( 雪，b ，a ) 定义1 b 约束条件下b 的线性m i n i m a x 估计。若 i 。n fs u p e l ( 9 ，b ，a ) = s u p e l ( b * ，b ，a ) b b e o b 其中t 为b 的线性估计类记晤：杏= c y , e 为p n 阶矩阵 线性回归的许多问题，包括m i n h n a x 估计问题，在典则形式下变的很容易求解 对x 进行奇异值分解 x = u d v u v 分别为n n ，p p 阶正交阵，b 为n 。p 阶矩阵，b 的( ，f ) 元为d i ( d l 如，南 o ) ，其余位置为0 则 x i x = v 分6 v 。= 厶v 伊v 其中d = d i a g ( d t 昂) ，磊= a ，九为x x 的非零特征根，其中a 1 2 ， 0 令 z = u y 6 = u x v , r = v f b e ：u | e 则模型( 1 ，1 ) 可化为 fz ；d r + e _ e c 妊) 。( 峭d ( 1 2 ) 则模型( 1 2 ) 的最小二乘估计为 a 沾= 筑。西，z 塞堕查耋堡圭耋堡丝塞 萋三塞童塑塞墼耋垂堡堡垦塑堡塞墼些! 窒些笪墼3 记 z = ( ) = ( 以- 勺) = ( 牙7 ) 其中 雪= ( 矗，岛) ，磊= ( 1 t 一，孙) 雪为z 上面px 口阶子块组成的矩阵 记 5 = ( 8 d ) = ( g l e 口) = ( g ) 其中 = 慨，岛) 蓐= t 1 一，白) f 为e 上面p xq 阶子块组成的矩阵记r = ( 勺) = ，勺) ，则 k 州2 = d 。r ，w + ：l ) ( 1 3 ) 【( 0 一( o ，o 昂) 要估计r 只需考虑模型( 1 ，3 ) r p , - t ，而模型( 1 3 ) 中d 为对角阵，它是求解变的 方便、简洁 模型( 1 3 ) 的最小二乘估计为 7 ( d d ) 一1 a 2 = 允s 将模型( 1 , 3 ) 拉直得 j 口e c ( 牙) = ( x 。d ) v e c r + v e c ( d ( 1 4 ) l( 0 一( 0 ，w p 昂) 为使工( 雪，b ，a ) 、t r ( b 7 x f x b ) 做相应的变换能化为简洁形式，规定a ，f 满 足以下条件t 条件1 a = y 互 五= d i a g ( a l 知) ，a t 0 f = 矿p 膏= 出凹( 五二五) ，五 0 记 于= d i a g ( 五，五) 则参数约束空间 e = b ：t r ( b x f x b ) p = r ：s r ( f l f b r ) p ) = r ：打( r ，d 户d 劭p ) = r ：五吗p = e n 损失函数 工( 雪，b ，a ) = t r ( 台一日) a ( 9 一b ) = 亡r ( 竟一冗) j ( 孟一r ) q = ( 岛一勺) a ( 岛一勺) j = l = 工( 盎，足a ) 1 2 有约束的多元线性m i n i m a x 估计的求解 对模型( 1 3 ) 有； 定理1 2 1 ： 将模型( 1 3 ) 。看等 写成元素形式为t z q = d i r q + i = 1 ，弘j = 1 ，q e e q = 0c o v ( e o ，) = 蚴 其中 阮= 篇： e o = 怛：班1 塾1 五九伤力为约束空间，工( 袁，r ，i ) = e l = 1 努l 氐( 锄一) 2 为损失函数，其中函 0 ，五0 记c 4 为d 的第f 个对角元 的线性m i n i m a x 估计 m 两= c 乏。 i = 1 ，p ，= 1 ，一。q 若五 o ，= 町1 ( 1 一 ( 警) ) + ，x4 由盛。五 霹：。吗r = p 次定，( 兰。吗) = ；= l 坳町2 ( ( 轰) 一1 ) + j 若五= o ，0 0 对第i 个坐标方向无约束，四= 击 令e 表示所有p p 阶矩阵组成的类，牙= 伍，知) ，磊= ( 钆，锄) 则模型的m i n i m a x 风险为： i n f ，s u pe r r ( c 2 一r ) i ( c 2 一固 u 雁e o 。 尸啊 一 毗 。似 ，：i = 尸 一 铆 _ b 。触 ，m f 器 西q = 奎查查堂堡圭耋堡篁奎量三塞 童竺塞堕叁重塑堡堡塑堡塞箜丝! 丝筌笪彗 5 2 艉s u e d pe i = 1 j = l 蠡( 锄一勺) 2 ：壹壹呦函町砸一 ( 警) 饥 i = l j = l 一 证明，( 1 ) 首先，我们利用s p e c k m a n ( 1 9 8 5 ，p g s 2 ) 的讨论来证明使极大风险极小化的矩 阵c 是对角阵，记c 的( i ，j ) 元为q ，= 6s u pe t r ( c z r ) a ( c 2 一厨 r e o o =supv e d r 1 ( c n n 7 i ( c d i ) v e c r + t r ( wv2 c c ) 雁e o = p 8 , e u o p o j f = l r ( c d d a ( g d j ) 勺+ 呦t r ( 五g ) ) 记牡喈沌= m a s x ，t j ( 抛9 ( ) 2 雁s u e p 。函y 芝面函( c = e i d - 1 ) 2 磅+ 萎歪呦南馥 = l - 里圳e e ：。 , h 编+ 。- 1 j = l 呦碣 t k p + 呦a 商 i = 1 j = l 取r 满足- i 时勺= 0 则 ，( 出凹) 艉s u p o o j = l 五a t 如南+ 薹薹呦面最= 舻+ 蚤蚤呦魂赢 所以 而( 一。m 蜓a x ，坐! 考蠢监+ 砉耋呦盈。= t ，( 托，( ，( g ) = p 8 , 毫u o p o j = l 勺7 ( c d d 7 _ ( c d d 勺+ 缸协打口a ) ) 2 0 ( o p - 五( c d d 龟+ 盈匈2 = 1 j = l j = l 瞄i = 1 ( 令仇= 袁皿俺也一1 ) 2 + 舀氐q 2 吗2 1 ，毋m2 增m a 9 xo i 取r 满足i m 时， r q = 0 ) 主饕歪 磊k 毋m r + q j 萎面荟o 2鼢焘随(e4idt-1)2+善面q2奶2j+j=l呦；=i函1=11 铲 gfp j o ( c ) 当且仅当c 为对角阵时等号成立因此使极大风险极小化的矩阵c 是对角阵 在 e h 劭一) 2 = r 他句一勺) + 陋( c 勺一) 1 2 j = ij = l 口口 = q 2 t + 磅( d i q 一1 ) 2 处取得最小值 记 = 碧豢南一川， 口口 以= 弓，矗= ( 掣玎+ 函2 2 ) = + 函2 如 j = l j = l r s 。u 印pi n 。f e 耋骞函c q 句一勺，2 = 器委警= 沪 显然以越大，名l 警越大，沪在约束条件边界上达到利用l a g r a n g e 乘子法可 求出沪 对于h 0 ，i = 1 ，p 得 令 而芝掣= 一譬 一 尸w 一 劬妇 _ n 。触 ，： g 器 塞堕奎堂堑圭堂堡丝毫篁三塞童丝塞墼童垂垡堡里塑堡型墅丝! 些笪墼一1 8 b e = ( 口：t r ( b x f x b ) 衍，a 、f 满足条件1 ，则b 音寺线性m i n i m a x 4 ；6 计 ) 9 t m = u h ( x f x ) a 一、+ 白l s 其中h 满足 t r w t r ( x ，x ) 一1 ( 危一1 a ( x 7 f x ) 一x f x ) + ) p口 = t 协九- 1 ( _ i l - 1 ( a i 五沁) 一磊丸) + = p = 1j = l i n fs u pe t r ( s y 一口) 7 a ( s y b ) = s b e s u pe 打( j 一b ) a ( 西盯一b ) b e o t r w t r ( x 7 x ) 一1 ( a h a ( x f x ) 1 ) + 其中表示任意的p n 阶矩阵组成的类 证明。由第一节知z = u y b = u x v , r = v b ，a = y i v 7 ，f = u p u 则 a ：y ，a k ( 西，j 汤) = ( x ，f x ) v 由定理1 2 1 知 锄圹町1 ( 1 叫警) ；) 蜘t = 1 ，p ，j = 1 - 4 口 写成矩阵形式为 袁m = u h ( b ，亏西) 五一) + ( d d ) 一1 d 2 ：( j h ( b p b ) l 一 ) + ( 秒西) 一1 b 7 z ：( f h ( x f x ) j a 一) + 晚s = 厶v 噎m 所以 台m ：啦一h ( x f x ) a 一) + 台l s h 满足 p ：壹五k 壹，) ；壹壹呦一t 一- ( 盈五丸) l 一五九) + = 打w ，t r ( d d ) 一1 ( 一1 a ( 口户西) 墨一西p b ) + = 打 矿t r ( x x ) 一1 ( 一1 j ( x 7 f x ) j x 7 f x ) + 下面证明鼬为b 的线性i 讧e m i m a x 估计 袁j l f 为r 的线性m i n i m a x 估计，由定义1 知， s u p ，e f , r ( r m 一置) 五( f k r ) s u pe t r ( r 一固7 五( 置一置) j 琏e or e o o 其中孟为r 的任意估计 而 e t r ( b b ) a ( 雪一b ) = e 打( 袁一矗) 7 a ( 詹一r ) 其中台为b 的任意估计 e t r ( 雪m b ) a ( j m b ) = e t r ( r m r ) a ( 袁m r ) ，0 与o o 一一对应 所以 s u p 砚r ( 舀k b ) 7 a ( 雪j l f b ) s u pe 打( 雪一b ) a ( 雪一b ) 崖甘爿廿 由定义1 知翰为b 的线性m i n i m a x 估计 由定理1 2 1 知盒l f 的m i n i m a x 风险为。 i n fs u pe t r ( c z 一脚2 ( 0 2 一r ) = g 雁e o 耋耋呦盈町2 ( t n ( 警内+ 呦盈町2 ( 1 一 ( 警) ) + 扛lj = l 1 t r w 打 ( 上) ，d ) 一1 ( 五一 a - i 1 ( d ，户西) ) + ) 打t 矿t r ( x 7 x ) 一1 ( a 一 a 刍( f f x ) ) + 由于 s u pe 打( 自k 一司7 a ( b m b ) = s u pe t r ( r m r ) a ( r m 一硒 b e e 雁0 0 所以线性m i n i m a x 估计的风险为- j i n f b s u p ee 打( 占y b ) 7 ( s y b ) = b s u p 9 e 打( 1 一b ) _ ( 雪j l f b ) = t r w t r ( x x ) 一1 ( 一h a ( x f x ) ) + ) 综上即证定理 当设计阵x = i ( 此时u - - - - p ) a = i 时，有如下定理： 定理1 2 3 对于多元线性模型 y=b+e iv e t ( e ) 一( o ，w o d b 0 = b ：打( b 7 f b ) p ) ，损失函数为工( 雪，b ，a ) = 亡r ( 台一b ) 7 ( 台一b ) 对于任意的满 足t 0 和口一刃0 的n 阶方阵r 且f = 口一2 p = t r w t r ( t 一铲) ，则r y 为b 的线性m i n i m a x 估计 塞童奎耋堡圭堂堡丝奎叁三塞童塑塞墼童重丝堡堡塑堡翌墼丝! 丝竺笪堡1 0 证明t 对t 进行谱分解 t = p r 一，r = 咖m ，h ) ，0 讯1 则 f = ( i 一? ) 2 = p ( i r ) 2 p ， 所以 五= ( 1 一m ) 2 ，p = h 一前) = 嘶j ( 斧一五) i = i j = x1 = i j = l 由定理1 2 2 知h = l ，5 5 = ( i f ) + 晚s = z y 为b 的线性m i n i m a x 估计极大化 风险为tt r w t r t 这个定理说瞬；对于特征根在【o ，1 j 之间的任意n 阶对称阵t ，啻= n 7 使 珥a x e 打( 雪一b ) 7 a ( 雪一b ) ：打( 口( j d 2 b ) 竹i 矿t r ( t 一严) ) 且e c 达到最小，其中为b 的所有线性估计组成的类又因为 e t r ( t y b ) ( r y b ) = 打 b 7 ( t j ) 2 口) + t r w 打严 所以e 可以写成、 e = b ：e t r ( t y 日) 7 ( t y b ) t r - t ，严 1 3 多元线性m i n i m a x 估计的性质 记 口h = 口e c ( 鼬) ，庇s = e c 仇s ) ，f m = 口c c ( 壳j l f ) ，1 吒s = 口e c ( j 圣l f ) ，r = v e c ( r ) 助：( jo ( 一h ( x 7 f x ) a j ) + ) 色s = ( ，ov ( z 一 ( d 于d ) a ) + ) 吒s = ( joy ) f j l f 容易得到如下几条性质， 性质1 声m = ( f o 口一h ( x f x ) a j ) + ) 忽s 为p 的压缩有偏估计，即 e a m i i i i8 i i , e a m o 证明：e 声2 i f 一卢= u o ( j h ( x ，f x ) a 一) + ) j 狲一卢= ( f o ( j h ( x ，f x ) 墨a 1 ) + ) 卢一卢0 因为 ( j 一矗肋) l ) + o ，声l l f 是卢的可容许估计 证明：对于模型( 1 4 ) jv e e ( 2 ) = ( ，o d ) v e c r + v e c ( 0 iv e e ( g ) 一( 0 ，w o 昂) 当w 0 时，r 的广义最小二乘估计 e e l s = u o d ) 7 ( t 矿od 一1 ( ，od ) ) 一1 ( jod ) 7 ( 1 矿od 一1 v e e ( 2 ) = ( w w - 1o ( 功。) 懈( 勿 = ( 固( r o d ) 一1 d ，) ( 牙) 与最小= 乘估计气s 相等刚 f m = ( je ( j 一 ( d 户d ) 五) 十) 九日= ( jo ( j 一九( d 庐d ) 女五) + ) e l s 由引理1 3 1 知嘞为r 的可容许估计的充要条件为： u oc f 一 ( d 庐d ) ； ；) + ) ( 矿一1 0 d d ) 一1 口。( ，一 ( d j - j 。1 - 。1 ) + ) ( j o u 一 ( d f - d ) j i a 。i i ) + ) ( i 矿一1 0 d d ) 一1 = ( 矿。口一 ( d 户d ) 五j ) + d 一2 ) 显然成立而卢= ( j o r 由引理1 3 2 知鼬是芦的可容许估计 1 4 多元线性m i n i m a x 估计的特例 倒l 当a = i ，x 7 f x = i 时， 鼬卸叫 = 趣麟 其m m l m a x 风险为。 槲s u 。p 9 e t r ( 雪川m ( 岛坷) ；篾替 亡r b b ：p 十z 盎= 1l ；= lt p 打 t 一 垄曼奎耋堡圭竺堡篁圣垂三篓至塑圣墼霎垄堡垒塑塑堡堡墼些些! 錾堑些 1 z 例2 当a = x ，x ，f = i 时， 翰= ( 1 一 ) g l s ， = p + ! 謦p 霹= ! = 塑1 w j j ，此时鼬也为多元s t e i n 估计其m i n i m a x 风险为t su，且pspetr(fb,一b)7a(如一日)=万ppe嘶l=,”jjtrb p o b ( p 。 p _ rl = 1 u 的 进一步著口= 口矿砬! f 尘翌i n 。f s u pp - - 1 胁( e y 一口) a ( c y b ) p ch b x x b 口 、 = 蝇 s u p p 一1 e t r ( j ) m b y a ( 台 f b ) p t r b x 7 x b p p p 譬：1 呦 p + p 霹：1 呦 当p - + 时，c 由任意的p t ；阶矩阵变为任意的可测矩阵，此时求得m i n i m a x 估计称为渐近m i n i m a x 估计阍 例3 当a = x ，五，x f x = i 时，雪村= ( 1 一 ( x ) 一) + 瓦s ，h 满足 呦知。以以一1 ) + = p 此时百m 也为多元岭型估计，其m i o l m a x 风险为， 辨胁( 岛一b ) a ( b m - b ) = 呦( 卜 o ) + h 日x 7 x b 0 同理对恐进行奇异值分解 恐= b 2 琚 觇、k 分别为t t 、gx 口阶正交阵，西2 为t q 阶矩阵，岛的( t ， ) 元为 2 ( 毋毋，毋 o ) ，其余位置为0 则 恐码；巩岛岛磁= 砚谚呸 其中 d 2 = 咖( 帮趣2 ) ，趣2 ) = 舻为弼恐的非零特征根，其中a 1 2 ) 世，2 世 0 令 z = u i y v 2 ，r = w b 观，s = 叫硒 则模型( 2 1 ) 可化为 i 篇，r d 2 + 5 。d ( z 2 v e c ( 。0y 2 w v 2 ， i ) ( ， oj ) 模型( 2 2 ) 的最小二乘估计为 袁工s = ( 珥西1 ) - 1 b 1 z 岛( 羁b 2 ) _ 1 为使工( 雪，b ，脚，舌r ( b 7 x 7 f x b ) 做相应的变换能化为简洁形式，规定a - f - w 满足以下条件。 壅塞奎兰堡圭耋堡垒塞量三塞童竺塞墼望丝些堡堡型堕丝量! 銎! 鱼墼1 5 条件2 w = 谚畦形= d i a g ( t b l 奶) ，砚0 a = a 昭a = d i a g ( f i l a p ) ，氐 0 f = 巩庐叫膏= 出卵( 五五五) ，五0 记 尹= d i a g ( y l ，五) ，谚= d i a g ( l ，砚) 记 z = c 锄，= c 乱知，= ( ：) 其中之= 瞳l ，知) ，磊= ( 五，施) 7 牙为z 左上角p x t 阶子块组成的矩阵 记 s = 忙巧，= g ，勺，= ( ：) 其中 亭= ( 自，邑) ，螽；( e l ，勖) f 为左上角p t 阶子块组成的矩阵 记 谚= c 奶，= c 面，奶，= ( 形00 + ) 记r = ( ) = n ，n ) ，则 。翥d ( 0 i r d m 2 + 纠 ( 2 。) i e c 一( o ，形。纠 佯。 要估计r 只需考虑模型( 2 3 ) 即可，而模型( 2 3 ) 中d 1 ，d 2 为对角阵，它是求解 变的方便、简洁 模型( 2 3 ) 的最小二乘估计为 鸵s = ( d i d l ) 一1 d i z 珥( 明见) 一1 = d f l 牙d 2 将模型( 2 3 ) 拉直得 ”) = ( d ，2 d ，1 ) 一v e c r + ， ( 2 4 ) lv e c ( e ) 一( 0 ，帚。易) 、 塞堕奎兰堑圭耋堡垒塞堡三塞童竺塞墼堡丝堕丝堡垒墼些丝笪笪1 6 参数约束空间 0 = b ：t r ( x l b 7 墨f x l b x 2 ) 力= r ：打( 疡爿西1 7 p d l n b 2 ) 力 ： r ：打( d 2 1 掣d i f d l r d 2 ) p ：( r ：壹圭五砖1 ) a 1 2 吗p ：0 。 损失函数 l ( 雪，b ， ) = 打( 台一b ) 7 a ( 台一b ) = t r ( j i 一聊i i ( j i - 劢 = ( 白一巧) 7 五( 咯一巧) = 函( 锄一) 2 = l ( 袁，r ，五) 2 2 有约束的增长曲线模型的m i n i m a x 估计的求解 对模型( 2 3 ) 有z 定理2 2 1 书模型( 2 3 ) f 牙：d l r d 2 + f 1 一( o ，c v 。i p ) 写成元焉形式为； 勺= 1 乎勺+ f = 1 ，p j = 1 ，t ，眈甜= 0c o v ( e t i ，s 材) = 哟l 阮 其中 叫：嚣 0 0 = t r ：e 坠1 ；：l 五a 1 1 弩吗力为约束空间，l ( r ，r ，a ) = 坠i ；：1a ( 奶一勺) 2 为损失函数，其中画 0 ，五0 记为k 的第i 个对角元，b 为l 的第j 个对角 元 q 的线性m i n i m a x 估计 锄= ( h b ) + ， = 1 ，p - j = 1 ，一，t 若五 o ，( b ) ；趣1 ) 一1 谬一1 ( 1 一 ( 2 鬯筮) ) + ，其中h 由2 ， 亲。五a 5 1 弩荡+ ；p 次定， 弓= 呦( ；( 舞静) h ) + 若五= o ，0 0 对第 个坐标方向无约束，限o ) + = 暖1 垆) 一 塞童奎堂堡圭耋堡垒茎 叁三塞童丝塞墼翼篓堕塑堡翌墼些堡! 些! 篁墼 1 7 令e 表示所有p p 阶矩阵组成的类，r 表示所有t t 阶矩阵组成的交 牙= ( 五，知) ，磊= ( 趣”一，锄) ，则模型的m i n i m a x 风险为t 。魏。，曩鼍胁( 缸一固啊( k 缸一动2 以i n b f 艇s u e p 。e 蚤蚤函( 锄一勺r 2 肛s u e p 。e i = lj = l 面( 蹶b ) + 一) 2 ；壹壹呦函砖，一弩一( 1 一 ( 五查萼坚) ) + 证明，( 1 ) 首先，我们利用s p e c k m a n ( 1 9 8 5 ，p 9 船) 的讨论来证明使极大风险极小化的矩 阵k ，l 是对角阵k z l 的( i j ) 元为 pt k b i = 1 v = l i ，( k 工) = 6s u pe t r ( k z l 一功i ( k z l 一励 脆e o = 船面e ( k b t o ) 2 肚可oi = 1j = l；lv = - - 1 2 言装言吾函 苔善b ) 2 + ( 至三k b d 5 1 d ( 2 ) r w - - n 记 = 帮一蟛m a x 一 ，( d i a g ( k ) ，d i a g ( l ) ) 2 孟啬蓦p 蚤q 引k 幻”乎l1 ) 2 吗+ 砉耋呦面( k 幼) 2 p口 2 主畿耋骞五砖”垆s 编+ 耋砉勘面( 幻) 2 口口p口 p口 s p + 嘞面( k l j j ) 2 t = l j = 1 取r 满足- i m ，n 时r i j = 0 则 j ( d i a g ( k ) ，d i a g ( l ) ) 三罂厶蠼) 增) 南。蠢。+ 函慨协) 2 鹏鼽j j = p + 勘面慨坊) 2 所以 搬耻，g 擒g 警溉乎坩萎p 歪q 锄面2 = j ( d i d 9 ( k ) 。d i a g ( l ) ) ，( k 工) = s u pv e c l 掣( l d 2ok d , 一d ( joa ) ( d 2ok d l 一i ) v e c a + t r ( l w lo k k ) p , 譬o o 2 主薹 勺( d 2 k d l - i ) 7 ( 7 。五) ( d 2 。k d , -