（概率论与数理统计专业论文）多元曲线模型的参数估计及其改进.pdf

摘要 本文主要分为两部分，第一部分主要研究多元曲线模型的两类有偏估计，其 中多元曲线模型的岭估计与广义岭估计被评为东南大学校庆报告优秀论文， 发表于研究生学报上；第二部分主要研究生长曲线模型的b c 估计，文章生长衄 线模型的b c 估计已发表于南京理工大学学报2 0 0 6 ( 6 a ) 上 第二章主要讨论当多元曲线模型的设计阵呈病态时，对l s 估计加以改进得到 的岭估计、广义岭估计及其性质，如均方误差、可估性等，比较两种估计的相对于 l s 估计的效率并在此基础上提出综合岭估计，讨论其优良性、可容许性等性质， 给出综合岭估计的迭代解，得到极小化均方误差的无偏估计解第三章主要讨论多 元曲线模型的根方估计与广义根方估计及其优良性，可容许性、抗干扰性等等，并 利用极小化均方误差和q ( c ) 准则提出两种确定根方参数的方法 第四章对于生长曲线模型y = 蜀b x 2 + e ，其中v e c ( e ) 一( o ，o r 2 厶oi n ) ，若设计阵 x l 或呈病态，参数阵b 的l s 估计不再是一个优良估计为此，提出了一种有 偏估计一一b c 估计在均方误差意义下，当满足一定条件时，参数的b c 估计优 于它的l s 估计，并证明了参数的b c 估计是可容许的 关键词：多元曲线模型；岭估计；广义岭估计；综合岭估计；根方估计；广 义根方估计；q ( c ) 准则；生长曲线模型；b c 估计 中圉分类号；0 2 1 2 4 a b s t r a c t t h i sp a p e ri sd i v i d e di n t ot w op a r t s i no n ep a r t ，t w ot y p e so fb i a s e de s t i m a t i o nf o r m u l t i v a r i a t ec u r v em o d e la r es t u d i e d r i d g ee s t i m a t i o na n dt h eg e n e r a l i z e df o rm u l t i v a r i a t e c u r v i i m e a rm o d e i s s u b m i t t e dt ot h e2 0 0 6a c a d e m i cs e m i n a ro ft h ea n n i v e r s a r yo fs o u t h e a s t u n i v e r s i t yb yt h eb e a r e r h a sb e e nc h o s e na sa ne x c e l l e n tp a p e r ，a n dp u l i s h e db yj o u r n a lo f g r a d u a t es c h o o lo fs o u t h e a s tu n i v e r s i t y i na n o t h e rp a r t ，b ce s t i m a t i o nf o rg r o w t hc u r v e m o d e li ss t u d i e d b ce s t i m a t i o no fp a r a m e t e ri ng r o w t hc u r v em o d e l i sp u b l i s h e db y j o u r n a lo fn a n j i n gu n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g y t h es e c o n dc h a p t e r t oi m p r o v el se s t i m a t i o nf o rt h em u l t i v a r i a t ec u r v i l i n e a rm o d e i s ， t h er i d g ee s t i m a t i o na n dt h eg e n e r a l i z e dr i d g ee s t i m a t i o na r ep r o p o s e da n dt h e i rp r o p e r t i e sa r e s h o w u f u r t h e r m o r e t h er e l a t i v ee l f c i e n c yo fo n ee s t i n m t ew i t hr e s p e c tt ol se s t i m a t ei s 西v e n ， a n dt h e i ru p p e r b o u n d sa r ed e r i v e d b a s e do nt h e s e t h es y n t h e s i z e dr i d g ee s t i m a t i o ni 8g i v e n a n di t 8s u p e r i o r i t ya n da d m i e s i b i h t ya r ep r o v e d t h em e t h o df o re v a l u t i n gt h i se s t i m a t i o ni 8 i n t r o d u c e d t h et h i r dc h a p t e rp r o p o s e st h er o o tp o w e re s t i m a t i o na n dt h eg e n e r a l i z e dr o o t p o w e re s t i m a t i o n f o rt h en e we s t i m a t i o n ，s u p e r i o r i t yo v e rt h el e a s ts q u a r e se s t i m a t i o na n d r p e a d m i s s i b i h t ya n dn u m e r i c a ls t a b i l i t ya r ep r o v e d t w om e t h o d sf o re v a l u t i n gt h e 盹 v a l u e sa r ei n t r o d u c e d c o n s i d e r i n gt h eg r o w t hc u r v em o d e ly = x 1 b x 2 + e ，w h e r ev e c ( e ) ( o ，0 2 o 厶) ，i ft h e d e s i g nm a t r i xx io rx 2i sai l l - c o n d i t i o n sm a t r i x ，t h el se s t i m a t o ro ft h ep a r a m e t e rm a t r i xb i sn ol o n g e rag o o de s t i m a t o r t h e r e f o r e i nt h i sp a p e rw ep r o p o s ean e w - b i a s e de s t i m a t o r 一一 b ce s t i m a t o r i nt h es e n s eo fm e a i ls q u a r ee r r o r ，w h e ns o m ec o n d i t i o nm e t ，t h eb ce s t i m a t o r o ft h ep a r a m e t e ri sb e t t e rt h a nt h el se s t i m a t o r ，a n dw ep r o v et h a tt h eb ce s t i m a t i o no ft h e p a r a m e t e ri sa d m i s s i b l e k e y w o r d ： m u l t i v a r i a t ec u r v i l i n e a rm o d e l ；r i d g ee s t i m a t i o n ；g e n e r a l i z e dr i d g ee s t i m a t i o n ；s y n t h e s i z e d r i d g ee s t i m a t i o n ；r o o tp o w e re s t i m a t i o n ； g e n e r a l i z e dr o o tp o w e re s t i m a t i o nq ( c ) c r i t e r i o n g r o w t hc u r v em o d e l ； b ce s t i m a t i o n 东南大学学位论文 独创性声明及使用授权的说明 一、学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果尽我所知，除了文中特别加以标明和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意 二、关于学位论文使用授权的说明 研究生签名；窒臣墨日期；垫塑：! 东南大学、中国科学技术信息研究所，国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文本人电 子文档的内容和纸质论文的内容相一致除在保密期内的保密论文外，允许论文 被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容论文的公布( 包括刊 登) 授权东南大学研究生院办理 研究生签名：窒臣墨导师签名日期 第一章引言 几十年来，对e 行向量或列向量的协方差相同且互不相干的多元线性模型 y ：x b + e ，以及可用于描述小白鼠生长情况的生长曲线模型y = x b z + e ，有 许多著名的统计学家如r a o l l 3 i 等做过研究本文研究如下的多元曲线模型， y=x,(ob+x2bx。3厶+)ewe(e) ( 1 1 ) 【 一( o ，矿o 厶) 其中b 为qx p 阶的参数矩阵，y , x l ，拖，托，e 分别为n p ，n q ，nxq ，p p ，nx p 阶 矩阵设计阵之间满足如下关系：墨x 2 = 0 ；x 3 是正交阵，即托墨= 昂 模型( 1 1 ) 的最小二乘估计为 晚s = ( x i x l + x ；x 2 ) - 1 ( 墨y + 弼y 弼) ( 1 2 ) 事实上，将模型( 1 1 ) 按列拉直，令y = v e c ( y ) ，卢= v e t ( b ) ，e = v e c ( e ) ，得到如下 模型， i = p o x l 妒+ ( 弼o x 2 归+ e = ( i o x l + 弼。恐归+ e ( 1 3 ) ie v ( o ，a 2 昂。厶) 类似于线性回归模型，可得到模型( 1 3 ) 的最小二乘估计为 尻s = 【( j o x l + 磁o ) ( j 固x 1 + 弼。恐) 】1 ( j o x l + 弼圆x 2 ) y = 陋o ( 弼x i + 弼x 2 ) l _ 1 ( j o 墨+ x 3 0 弼) ” 它是就s 的拉直，整理变形即可得式( 1 2 ) 而对于线性回归模型y = x 卢+ e ，这里e 一( 0 ，口2 ) ，当x 呈病态时，l s 估计的 性能就会变坏于是，近三十年来许多学者致力于改进l s 估计，提出了许多新的 估计，其中很重要的一类就是有偏估计，包括有岭估计、广义岭估计、s t e i n 压缩 估计等等而文 1 4 1 针对h o e r l 和k e n n a r d 于1 9 7 0 年提出的岭估计并不能保证将l s 估计值中所有“不正确”的符号均能予以校正这一问题，提出了一种新的有偏估计 一一根方估计。证明了在一定条件下此估计优于l s 估计，并且m o n t ec a r l o 模拟试 验结果表明：有些情况下根方估计优于岭估计 本文前两章就是针对当多元曲线模型中x l ，托均呈病态，l s 的估计精度较差 时，如何改进l s 估计第二章讨论了多元曲线模型的岭估计、广义岭估计及其性 质，如均方误差、可估性等，并研究了这两种估计的相对于l s 估计的效率第三 章首先研究了根方估计及其性质，然后进一步提出了它的一种改进形式，即广义根 方估计，着重讨论了广义根方估计的优良性、容许性和抗干扰性，获得了若干深 入的结果，并给出了确定根方参数的两种方法同时，还提出了多元嗌线模型的综 合岭估计，讨论了综合岭估计的优良性、可容许性等性质，给出了综合岭估计的迭 代解，得到了极小化均方误差的无偏估计解在综合岭估计下，岭估计、广义岭估 计、根方估计作为其特例，从而统一了岭估计和根方估计理论 另外，考虑生长曲线模型 。y 。= 。e x ，1 。b x 。2 ，+ 。e 。厶， 当设计阵x - 呈病态时，参数b 的最小二乘估计的统计性能变坏人们不断地 对b 的估计问题作改进工作，其中比较有影响的有偏估计有s t a i n 估计和广义岭估 计，但这些估计并不能说明其中一种比另一种更优针对这种情况，本文的第四章 在这两种估计的基础上提出一种新的有偏压缩b c 估计，使其在均方误差上优于上 述两种估计 第二章多元曲线模型的岭估计及广义岭估计 2 1 岭估计及其性质 对于多元曲线模型： 二裟茹嚣著 协- ， 1 口e c ( e ) 一( o ，口2 昂。k ) u 。 而言，当x i ，x 2 均呈病态时，上述鼠s 的估计精度较差，因此需要改进最小二乘估 计，为此提出了岭估计t 台( ) = ( 墨x 1 + 弼j 幻+ k i ) 一1 ( x i y + 弼y x 5 ) = ( 耐x i + 弼恐+ k x ) 一1 ( x l x , + x ；x 2 ) 鼠s 相应地，模型( 1 3 ) 的岭估计为 口( ) = 【i o ( x i y l + 墨x 2 + j ) 】一1 ( ，o 弼+ x 3 0 弼) ” = 【j 固( 墨丑十弼x 2 + k 1 ) ( x l x l + 弼恐) 腕s 容易证明，岭估计是一种压缩有偏估计 引理1 设a 为正定阵，d 为实数，z 为向量，则d a 一 0 甘一血 d 引理2 【2 】设鼠，江1 ，2 ，为目的两个估计记 尬= m s e m ( o i ) = e ( 鼠一口) ( 玩一口) m i = g m s e ( o i ) = e ( 以一p ) d ( o i 一口) ； = 1 ，2 则下列两个事实等价： ( 1 ) 尬尬 ( 2 ) 对一切d 0 ，m 1 m 2 定理i 当0 k 0 ，g m s e ( 3 ( k ) ) 0 上式成立的一个充分条件为 2 _ a 2 一， 0 由引理1 知，当0 k 笏时，m s e m ( 声( ) ) m s e m ( 西l s ) 再由引理2 即可得到结论证毕 引理3 【目对线性回归模型y = x 卢+ e ，e ( o ，a 2 ，) 记声= ( x 7 x ) 一1 x 为最小二 乘估计，则 a 声一c 卢讳a ( x x ) 一1 a 7 a ( x 7 x ) 一1 c 定理2 在上述m s e 意义下，声( 女) 为卢的可容许估计 塞室查兰堡主兰垒篁塞叁三塞 童童重些垡堡垒墼竺笪堇垦兰竺篁堑 5 证明根据引理3 ，只需证 陋o ( 墨五+ 弼恐+ k x ) 一1 ( 墨x l + 弼x 2 ) l g o ( 墨噩+ 弼托) 】- 1 陋o ( x i x x + 弼恐+ k i ) - 1 ( 弼噩+ 弼恐) 】 口o ( 墨x l + 弼x 2 + k i ) - 1 ( 耐x l + 弼恐) 】【j o ( 墨墨+ 弼恐) 】- 1 j 该不等式等价于 i o ( 墨x l + 弼恐+ j ) _ 1 ( 墨弱+ 弼拖) ( x i 噩+ 弼恐+ k 1 ) 。j o ( 墨x 1 + 砑憨+ k 1 ) 一 又等价于 ( 弼五十弼恐+ k x ) - 1 ( 墨墨+ 弼恐) ( 墨x t + 弼恐+ k 1 ) - 1 ( 墨x x + 曷恐+ k i ) _ 1 在此不等式两边分别左乘、右乘弼噩+ 弼恐+ j ( 这是个对称阵) ，得 x i 噩+ 弼恐墨五十曷恐+ j 显然成立证毕 上面的结论表明，对于一个多元曲线模型，总存在，使得岭估计声( ) 优于l s 估计但条件“0 而2 0 2 ”与未知参数卢，口2 有关，于是对固定的，声( ) 不是在 整个参数空间上一致优于博估计，而是仅对满足该条件的那部分卢，2 优于工s 估计 在应用上，k 必须通过数据来选择因此口( ) 实际上是一种非线性估计如何 通过数据适当地选择k ，是一个很重要的问题近年来，对于线性模型，人们提出 了许多种选择方法，比如岭迹法( h o t e l 和k e n n a r d ) ，应用所谓“双h 公式”的选 方法，等等这些方法也一般也可以类似地用于多元曲线模型 2 2 广义岭估计及其性质 这节中，我们首先给出多元曲线的典则形式 因为x i 恐= 0 ，有x 1 弼恐弼= 0 可同时对角化，即存在正交阵p ，使 p l x l x i p = a t ，p | x 2 x ；p = a 2 这说明p ，甄、p x 2 各行正交，长度分别为a ：”、a 5 2 由于p 凰弼p = 0 ，可知p ，弱与p x 2 行之间正交，故可生成一组正交基，生 成阵q ，即 p l x l = d 删。p i x 2 = d 2 q “ 有x l = p d l q ，x 2 = p d 2 q ，所以x i 五= q a l q ，码x u = q a 2 q ，这里 a 1 = d i a g ( a 1 ，a 2 ，) ， a 2 = d i a g ( 5 1 ，如，如) 即q 为x l x l 的标准正交化特征向量( 也是弼弱的标准正交化特征向量) 组成的 正交阵 记z 1 = x l q 2 2 = x 2 q ，a = q ，b ( 典则参麦的，有 蜀z 1 = q x i x l 口= a 1 z ；历= q 弼x 2 q = a 2 多元曲线模型的典则形式为； ly = z 1 a + z j a 弱+ e iv e c ( e ) 一( o ，口2 o 厶) 拉直成向量形式，即 iy = ( i o z l ) a + ( 弼o z 2 ) n + e ie 一( o ，口2 昂。厶) 其中o = v e c ( a ) = ( i o q 妒 我们可以类似的得到 & l s = 口o ( a 1 + a 2 ) l 一1 ( j o 蜀+ 托o z ； a ( 七) = 【j o ( a 1 + a 2 + 七j ) 】一1 ( ，o 墨+ j b o z ； = 【i o ( a 1 + a 2 + k i ) 一1 ( a 1 + a 2 ) a l s 性质设5 为n 的任一估计，q 为正交阵，声= q a ，则总有m s e ( 声) = m s e ( 5 ) ( 2 2 ) ( 2 3 ) 因墨x l 与弼托的特征根不一定全接近于零，为了既减少方差，又接近无偏 估计，故提出广义岭估计定义如下： 定义1 模型( 2 1 ) 中参数矩阵b 的广义岭估计为： 台( 耳) = ( 弼x 1 + 弼x 2 + q k q ，) - 1 ( x i y + 弼y 墨) 奎童奎堂堡圭兰堡垒塞 量三塞童童重些垡堡型墼竺笪垫壁! 兰竺笪些 7 拉直后即为 口( j r ) = i t o ( x o n + 弼x 2 + 0 j r ) 】一1 ( j p x i + x 3 0 弼冶 其中q 是x i x l ，弼恐的特征向量构成的正交阵，k = 击a g ( k t ，如，) 是由g 个岭 参数( 或称广义岭参数) 组成的对角阵 当h = 乜= = 岛时，即变为上节中的岭估计雪( ) ，故岭估计雪( 女) 也称为狭 义岭估计 易知 a ( k ) = p o ( a 1 + a 2 + k ) 】一1 ( j o z i + 恐o z ；h = 陋o ( a 1 + a 2 + 耳) 一1 ( a 1 + a 2 ) a l s 是典则参数。的广义岭估计故a ( k ) 也是一种压缩型有偏估计 a ( k ) 和声( 耳) 满足关系a ( k ) = ( j o ) p ( ) 事实上 ( j o ) 卢( k ) = ( j o ) i x o ( 墨x 1 + 弼恐+ q k q ，) 】。( ，o 墨+ 凰。弼挎 = ( j o ) j o ( q a l + q a 2 + q k ) - 1 】( j o 墨+ x 3 0 蜀挎 = p o ( q a l + q a 2 + q k ) 一1 】( j o 墨+ 弱。弼) ” = 口o ( a 1 + a 2 + k ) 一1 1 ( j o ) ( j o x i 十o 弼) 掣 = 口o ( a l + a 2 + k ) 一1 l ( x o 研+ x 3 0 彩 = a ( k ) 引理4 1 2 1m s e ( o ) = 打c o t i ( d ) + l i 埘一o l l 2 定理3 存在k ，使得m s e ( 卢( + ) ) 0 ，u 为n p 的矩阵，则 p ( 1 ) 脆打( u a u ) = k ( a 溉 t = 1 p ( 2 ) 鹏打( u a u ) 2 薹k 刊a ) 瓯 证明令w ：矿一，即u = w a ，此时w ，w = i ，则 b = w 7 a = 圣( ：二) 圣7 t r v , v = a ( u a u ) 斗圣( ： 。k 1 脚1j f 肛， o 11 = 打【l 。脚j 圣7 圣j 记c = 圣7 圣= ( 。玎) ，垂= ( p 巧) ，贝q p c “= 虎5 k = 跳 t = l 这里d = ( d l ，由) = ( 伤) p p 是双随机阵，= ( 5 1 ，昂) ，从而有 pp t r ( u t a u ) = 以= 或地= d p 这里= ( p 1 ，脚) 由于_ d 是双随机阵，不难证明 这里= ( 脚，p - ) ，亦即 器h s g d p s 8 p np m 品一i + l t r u ，u ：a ( u a u ) “瓯 t=1扛=l 因为= i ，依p o i n c a r 分离定理。有 ) 、n - p + i 九( w 7 7 a w ) = m 丸( a ) 结合( 2 4 ) 式就有 显然当 ( 2 4 ) pp a 。一p + t ( ) 昂一i + l t r u ，= ua ( u 7 a u ) a i ( a ) s i ( 2 5 ) i = 1t = 1 垂= 卜：) 即w 的列为a 的后p 个特征根对应的标准化正交特征向量时，( 2 5 ) 左边等号成 立；而当中= i 即w 的列为a 的前p 个特征根对应的标准化正交特征向量时，( 2 5 ) 右边等号成立证毕 引理6 设a 为p 阶正定阵，则有p - 1 ”( a ) 】2 t r ( a 2 ) 防( a ) 】2 证明设a 的特征根为a l2 0 2 嘶 0 ，则a 2 的特征根为o i o l 之2 0 塞室奎堂堡圭耋堡垒塞 堑三塞童童垂些丝堡型墼竺笪塑墨妄兰篁鱼墼 n 因为t r ( a ) = 陛1 砒，t r ( a 2 ) = 班l 研，所以 pp 眇( a ) 1 2 = ( 啦) 2 p 砰= p t r ( a 2 ) i = 1i = l 整理后可得上式左端不等式；而 证毕 p pp 扮( a ) 】2 = ( 啦) 2 = 0 拿+ 啦霹= 打( ) i = l i = l 婷0 i = l 下面给出在模型( 1 3 ) 中，广义岭估计声( k ) 相对于最佳线性无偏估计声的效率 上界 定理5 设在模型( 1 3 ) 中， o ，最 o ，i = l ，2 ，q 分别为墨凰和弼恐的特征根， 且满足a 1 + 6 1 a 2 + 5 2 + 岛，对于q 个岭参数，当6 h 如 0 时，有 e c 绷睚镢砉熹，妾揣 证明为了计算简便，记x 7 x = x i 凰+ 弼恐，则 声= ( i p x 7 x ) - 1 ( ，o x i + 弱p 弼h 声( ) = 【j o ( x 7 x + q k q ，) 】_ 1 口。墨+ x 3 0 弼冶 = 口o ( x x + q k q 7 ) 一1 x 7 x 】p 由于声( ) 是卢的有偏估计，所以声( 耳) 相对于p 的效率定义中c o v c 声c k ) ) 不妨 换成m s e m ( 声( k ) ) e ( p ( k ) l 蜃) ；石石丽面面五丽玎i 丽 = 扛丽面面可两而面石面面河砑面瓦百面f 砑 其中，e = e 声( k ) 一卢 由引理6 知， 口， t r ( 一声) 2 州一钟= 2 蚤志) 2 ( 2 - 6 ) t = 1 壅室查兰堡圭堂堡垒塞董三塞童童重堕堡堡塞墼竺笪墼垦妄兰竺笪生 1 2 同时设c = i o ( x 7 x + q k q ) 1 x x ( x 7 x + q k q ) - 。，由引理6 知 州( c + o - - 2 e e ，) 1 2 t r ( c 2 ) 壶弘r ( c ) 】2 ( 2 7 ) 又设v = ( x x + q k ) 。口p ，这里p 为次对角单位阵且p = p 由于( a 1 + a 2 + j r ) 一2 = d a g ( ( a 1 + 6 1 + k 1 ) 一2 ，( a 2 + 如+ 扔) 一2 ，( a 口+ + k q ) 一2 ) ， 所以 y = p 7 ( a l + a 2 + k ) 一2 p = d i a g ( ( a 4 + 岛+ k q ) 一2 ，( 一1 + 如一1 + k q 1 ) 一2 ，一，o l + 以+ k 1 ) 一2 ) 又因为 t r ( c ) = p t r 【( x 7 x 十q k ) - 1 x 7 x ( x 7 x + q 耳) - 1 纠 = 讲r 【，( x x + q k ) 一1 x 7 x ( x 7 x + q k ) 一1 q p 】 p y ，y = p ，( m l + i n 2 + 柳一2 p t r 【( x 7 x ) 卅 由于( + 如+ ) 一2 ( a q _ 1 + 6 q 一1 + k q 1 ) 一2 q 1 + 以+ k 1 ) 一2 0 ，根据引理 5 ( 2 ) 有 即) w p ( l r a 讹i n 删唧咿( 删】_ p 砉斋名南 ( 2 8 ) 于是，由式( 2 6 ) ，( 2 7 ) ，( 2 8 ) 得 e(声(k)1声)；ctrccov声)2trlc+a-2ez2 俪打( m 声) 加w ：p ，( m ，+ 2 i n + 。厂。，t r v 协x ) 卅 一 # 、q 11 0 * a i + o i 2 舾善丽7 刍丙研 故结论成立，证毕 推论设在模型( 1 3 ) 中，凡 0 ，魂 0 ，i = 1 ，2 ，q 分别为x i x l 和弼恐的特征 根，且满足a i + 6 l a 2 + 如+ ，0 o ，洁1 ，2 ，口分别为x x l 和弼恐的特征根因x ；x 2 = 0 ，故 q 1 ，他，舶为墨x 1 和弼恐相应的标准正交化特征向量记q = ( 口1 ，q 2 ，g 口) 且 a i = d i a g ( a 1 ， 2 ，) ， a 2 = 讹g ( 6 i ，如，如) 定义3 在模型( 2 1 ) 中，系数矩阵b 的综合岭估计为； 雪( f ( ) ) = ( x i 噩+ 弼恐+ q f ( k ) 科) - 1 ( 墨y + 弼y 弼) 这里 f ( k ) = d i a g ( f l ( k 1 ) ，2 ( 乜) ，- ，厶( ) ) 已知函数 假) 0 满足条件，丘阮) 0 或爿 ，k 1 ) 0 或，；限) 10 ，其中k = ( 1 ，如，) 7 为岭参数向量 拉直后即为 声( f ( k ) ) = 【j o ( 墨五十弼恐+ q f ( k ) ) 】一1 ( j o x l + 弱。弼) ” 下面讨论综合岭估计口( f ( k ) ) 的一些性质： 1 p ( f ( k ) ) 是i l i a - - 乘估计口的一个线性变换 这是因为声( f ( k ) ) = 口o ( x ；x l + 弼x 2 + q f ( k ) q j ) 一1 ( x l x l + 弼磁) 垆 2 只要f ( k ) 0 ，声( f 僻) ) 是卢的有偏估计 3 口( f 暇) ) 是对卢向原点的压缩 事实上，注意到 ( ) 0 ，i = 1 ，2 ，q ，即f ( k ) 0 ，有 l 悔( f ( k ) ) 0 = i i q i ( a 1 + a 2 + f ( k ) ) 一1 ( a l + a 2 ) 】q 口0 = i i xo ( a x + a 2 + f ( j r ) ) 一1 ( a l + a 2 ) i q 7 西 0 q 7 口= i 晒0 4 优良性 定理6 存在k + = ( 埘，蝣，端) 7 使得m s e 陋( f ( k + ) ) 1 m s e ( 房) ，即在均方误差 意义下，综合岭估计优于最小二乘估计 证明由多元曲线模型的典则形式( 1 3 ) ，口= ( i o ) p = ( n ，- ，n l p ，a 2 1 ，) 的最小二乘估计为 a = p o ( a 1 + a 2 ) l - 1 ( j o 彳+ 恐o z h 只需证明，存在k = ( 舛，嵫，磁) 使得m s e & ( f ( k + ) ) 】 m s e ( a ) ，这里 a ( f ( k ) ) = p o ( a 1 + a 2 + f ( 耳) ) 】一1 ( ，固墨+ 恐o z 挎 是典则系数a 的综合岭估计 事实上，m s e 陋( f ( ) ) 】 = t r c o v & ( f ( k ) ) 】+ l | e a ( f ( k ) ) 一o i l 2 = ：t r io ( a 1 + a 2 + f ( k 。) ) 一1 ( a i + a 2 ) j po ( a 1 + a 2 ) 】一1 口o ( a t + a 2 + f ( j r ) ) 一1 ( a i + a 2 ) 1 7 - e l l p ( a 1 + a 2 + f ( j r ) ) 一1 ( a t + a 2 ) 一i q i l 2 = a 2 t r io ( a 1 + a 2 + f ( ) ) 一1 ( a 1 + a 2 ) ( a 1 + a 2 + f ( k ) ) 】 + l l x p ( a 1 + a 2 + f ( 丘) ) 一1 ( a 1 + a 2 一a 1 一a 2 一f ( k ) ) a l l 2 = 妾妻c 篇+ 篇， 上式对求导，忙1 ，2 ，q ，并令之为零，得到 塑涨篱掣= 。( 凡+ 最+ ( ) ) 3 。 注意到 慨) 的条件，有 ( ) = 矽2 a 弓号= ，1 2 萌) ( 2 9 ) j = t j = l 或f ；( k 1 ) ；0 ，蟛任意，即五陬) 是非负常数，回到广义岭估计 由于m s e ( 5 ) = p a 2 墨1 点，则有 口_口 m s e 酬f ( f ) ) 】- m s e ( a ) 2p a 2 蚤1 丽西南厦j 焉叩2 蚤1 熹 = 。1u t = 。 = 一p 2 c r 4 ；a ，。1 磊虿而 ot = l 、。 。 j j 一町 7 证毕 由( 2 9 ) 式知，岭参数向量的最优解k + ( 或f ( k ) ) 依赖于模型未知参数 5 可容许性 定理7 在线性估计类中，声( f ( ) ) 是卢的可容许估计 证明与定理4 的证明过程类似，略 2 3 2 综合岭估计的迭代解 上节( 2 9 ) 式说明，k 的最优值与未知参数一2 和有关现从( 2 9 ) 式出发， 给出综合岭估计的迭代解 显然只需讨论，i ( ) 0 时综合岭估计的迭代解设 a ( f ( k ) ) = ( m l ( f ( ) ) ，a l p ( f ( k ) ) ，a 2 1 ( f ( k ) ) ，a ( f ( k ) ) ) 7 a = 【j o ( a 1 + a 2 ) 】一1 ( j o 雹+ 施o 砭) = ( a 1 1 ，a l p ，a 2 1 ，- 一，a 卵) 子2 = = = ! = 打【( y x 1 雪一x 2 雪x 3 ) 7 ( y x 1 雪一x 扫x 3 ) 】 印一印 。 将奶，奇2 代入( 2 9 ) 式，有 将硅w 代入a ( f ( k ) ) = 口圆( a 1 + a 24 - f ( k ) ) 】_ 1 ( j o z l + 弱o z ) ”，得 a ( 1 ) ( f ( k ) ) ， = i 。d i a g 再蒜再南再i 丽”u 嘲+ 恐喇挎 = i d i 训百辅再茄蕊，再而了季隔，百面雨壶蕊) 】 = i p d i 叼( f 而书，i 而雨a 2 两+ 6 霉2i 丐，i 瓦i a q 砑+ 6 蕊q ) 】a 故 agcfck，)=芝豸!ipi氮黼2 a 村，t = - ，z ，一，。，= ，。，p g 2l= 劲 口 ，触 vf = 0 q 奎塞奎兰堑圭兰堡篁塞 堑三耋童室垂些竺堡型竺竺笪垫垦兰竺篁些 1 6 再将a 5 j ( f ( k ) ) 和铲代入( 2 i l ) 式，得 1 = 疗1 2 皤( f ( 耳) ) 】2 ) 江l j 2 一，q 将此1 代入a l ；( f 暇) ) ，得 a铲cfck，=主i三；毫甓；笔：黠奶，t；，。，。一，吼，=-，。，一，p 如此反复迭代，得到序列 a m ) ( f ( 耳) ) ) ；m = = 1 ，2 ， = 1 ，2 ，g j = 1 ，2 ，p ， 其中 a铲cfc，=三i!薹囊；!；i兰姜蔫黠奶，t=-，。，一，玑，=，z，t一，“。j。， 为了证明a 铲( k ) ) 的收敛性，现证明如下引理 引理7 【5 】设0 1 ，则c = 0 ( 2 ) 若4 口( 6 + 1 ) 1 ，贝0 f 哎， 匈 噶 c = 弓， c o = 弓 【o ， 匈 1 记g ( x ) = z 2 + b ( 1 一动2 + n z = ( 1 + b ) x 2 一( 2 b + 1 ) x + ( a + b ) ，其判别式为 ( 2 6 + 1 ) 2 4 ( b + 1 ) 缸+ b ) = 1 一缸( 6 + 1 ) 0 即对任 意实数z ，有 x 2 + b ( 1 兰- x ) 2 一+ a l 、 由此得到 钳t 2c n 虿而若笔陌 1 的 条件下，c ：，呓都是复数故c = 0 ( 2 ) 假定4 a ( 1 + b ) 1 分四种情况来证明： ( 8 ) 设c o c 由畦的表达式易见0 贯 1 ，令 ，( 。) = x 2 + b ( 二1 - x ) 2 一+ a 注意到为方程，( z ) = 。的解，即，( c ：) = c i 又直接计算得 m ，= 苦端 不难发现在0 z 0 因此，当0 z 1 时，f ( x ) 是增函数。再由 0 0 故c 1 c 0 于是我们证明了贯c l c l c 2 c - n c i 于是 c ，l ，是收敛序列因已证其极限只能为 0 ，c i ，呓中的一个，故必有h 。岛= ( b ) 设呓 c o c ：同样根据9 ( z ) 的判别式及缸( 6 + 1 ) s 1 的假设知，呓 c 时，9 ( z ) 0 因此，若能证明，对一切n ，有噶 c n 西，则由9 ) 0 及a n 与岛1 的递推关系可推得b 为单调上升序列首先，由呓 c o c i 以及f ( z ) 在0 z 1 是增函数，可知c l = f ( c o ) c o 这就是说，由畦 c o 西可 推出c 2 c 0 c ：1 贯用归纳法可证明：岛 c n c 于是 岛 为单调上升有界序 列，因而其极限必存在又因此极限只能为0 ，c ：，c 耋三者之一，故必有u m o o = c ( c ) 设句 c 耋由于当z 0 ，由前面的证明可知。此时 为单 调下降序列，且有下界零因此 收敛易见其极限c 比为0 ( d ) 设c o = 荡这时一切c ，i = 呓，因此对这种情况结论显然成立证毕 对b = 0 的特殊情况，为后面应用方便，写成如下推论形式 推论若0 ；时，矿= 0 ( 2 ) 口 时，矿= c i ( 若c o 噶) ；荡( 若e o = 噶) ；0 ( 若c o 0 ，则 酵= 嚣揣( a i + 5 1 ) 嘉雷；箬 仁 铲i 础矧翰) j ( 鳓霞? a 芬妒2 但。1 3 2 若1 ( k i ) 妒2 的情况，有 卯c ，= p 。咖c 舞甍手，鬻蛩等， ( 1 q 万i - 赤p 掣- 2p a ) 。z i + 弱。z 挎 ( a q + 岛) 2 ；：l 吃”“1 4 。2 7 9 显然，a ( f ( k + ) ) 与f ( k ) 无关，即a ( f 僻) ) ( 关于f ( k ) ) 有不变性 2 3 4 特例 由f ( k ) 的任意性，综合岭估计给出了一大类估计下面讨论两个特例 1 若取f l ( k 1 ) = f 2 ( k 2 ) - = ，叮( ) = ， 0 ，则声( f 僻) ) 即为岭估计； 若取 ( h ) = k l , 丘他) = 如，f q ( k q ) = k q ，则口( f ( k ) ) 即为广义岭估计 2 若取 限) = ( + 尻) 1 一( 丸+ 最) ，0 k l ，i = l ，2 ，口，则声( f ( ) ) 即为根 方估计； 若取 ( ) = ( 九+ 文) 1 一。一( + 盈) ，t = 1 ，2 ，口，其中 ，