（概率论与数理统计专业论文）递推m估计的极限定理.pdf

摘要 考虑多元线性回归模型 = x ；f l 十e i ，i = l ，2 卢是p 维未知回归系数，k ，x “。分别是第i 次观察或试验时的目标变量、解 释变量和随机误差的取值。它们分别为m 1 维、mxp 维、m l 维矩阵 置可以是随机矩阵，也可以是已知的、不带随机性的矩阵( 称为设计矩阵，通常 记为x 。) 多元线性回归模型的统计推断问题，一类是要利用观察和试验所得的 数据( x 。k ) 去对p 作出推断( 估计、检验等) 。另一类问题涉及对误差e ；的 分布特征( 如方差、密度等) 作推断 选定一个定义于r 1 上的函数p ( u ) ，定义 h ，( p ) = p ( k x 。) i = l 则回归系数p 的m 估计风定义为h ，( p ) 的最小值点，即 h ，( p 。) = m i n h ，( p ) ：p r p 这种估计是h u b e r 最先关于位置参数模型于1 9 6 4 年引进的，并于1 9 7 3 年将这 种估计拓展到一般线性模型当| | “l f - o 。和p ( “) 增长速度较慢时，风有较 好的稳健性，即对样本可能混入的少量异常值有较强的抵抗力例如l a d e ( 最 小距离估计) 的稳健性优于l s e ( 最小二乘估计) 的稳健性这种对稳健性的追 求是m 一估计研究的动力 假定，( “) 是定义在【0 ，o ( 3 ) 上的非负函数，p ( “) = 0 当且仅当u = 0 ， m a r o n n a ( 19 7 6 ) 基于加权最小二乘估计的思想，定义回归系数p 和离散参数y 的加权m 一估计( 风，k ) 为最小值问题 玑一x ，风+ l o g iki = r m n i = l 的解其中 yj 代表y 的行列式，| | y 幢= y v 一- y 2 0 0 0 年中置科学技术大学博士学位论文 i 1 当p 是连续可微时，回归系数卢和离散参数v 的( j j s t ) m 一估计( 风，k ) 是方程 i x v - 1 ( k x ，口) “，( 1 lk x ，p l i v ) = 0 嗜( o1 ) l ( k x ：口) ( m 一x ；p ) 7 “。( | | 一x 。pl i 移) 一v = 0 的解，其中“1 ( t ) = f “p ，( f ) 和u 2 ( t ) = u 1 ( 吵 如果“，( ) 和“。( t ) 同时由，决定，通常很难同时保证回归系数p 和离散参 数v 的( 加权) m 一估计的稳健性为了追求稳健性的需要，m a r o n n a ( 1 9 7 6 ) 撇 开函数p ，推广到独立选择的“t ( t ) 和u 2 ( t ) 除了l s e 外，其它m 一估计都未有清晰的表达式且不易计算，这极大影响了 m 一估计的推广应用8 0 年代后期，随着计算机技术的迅猛发展，建立m 一估计 的递推算法，解决计算m 一估计的问题成了当务之急b i c k e l ( 1 9 7 5 ) 的”o n e s t e p a p p r o x i m a t i o n ”是最先的尝试，e n g l u n de ta l ( 1 9 8 8 ，1 9 8 9 ) 和e n g l u n d ( 1 9 9 3 ) 对 最简单的位置和刻度参数模型建立了m 一估计的递推算法b a ia n dw u ( 1 9 9 3 ) 推广到一般的线性模型，建立了一般线性模型的m 一估计的递推算法： 风+ 12 风+ 铽l a n h l ( f l n ，k ，x n + l ，k + 1 )( o2 1 lk + 1 = k + ( n + 1 ) _ 1 h 2 ( 风，k ，+ 1 ，k + 1 ) 、 7 其中 jh ，( p ，k x ，e ) = x v - 1 ( e x f l ) u , ( i ie x 卢| i p ) 【h 2 ( f l ，k x ，e ) = ( e x g ) ( e x f l ) ，u 2 ( i ie x pl l 吝) 一v & = x ；x 。 阮和任意给定，1 1 1 ( ) 和“。( ) 是适当选取的函数， n 。) 满足一定条件，矿 如下定义； 记九和0 1 i 分别是y 的特征值和特征向量， 矿= 工积n ： t = 1 其中天；= ( 国va 。) a 如，d l 和如( 0 6 1 如 0 任意给定，u t ( t ) 和“。( z ) 是适当选取的函数，( a 。) 满足一定条 件，y 的定义如( o 2 ) 在设计矩阵：g i 有界以及其它一些比较常见的条件下，我 们证明了m 估计递推算法中( 风，k ) 的强相合性 7” 在第四章我们首次考虑了方差n 的递推m 一估计k 的渐近正态性。包括 解释变量为随机矩阵和非随机设计矩阵两种情形对由( o3 ) 和( o 4 ) 定义的方 差n 的递推m 一估计k ，在一些比较常见的条件下。基于强收敛结果证明了 v 丽( e c ( k n ) ) 的渐近正态性，并给出了渐近方差2 2 0 0 0 年中国科学技术大学博士学位论文 i v 在第五章我们建立了模型( 0 3 ) 在u ( t ) 单调递增情形下递推m 一估计算法 中风的渐近正态性。并且首次提出了递推m 一估计渐近效的定义，通过对渐近 效的比较，我们得出最优d 。的选取 在第六章我们对前四章的一些结果进行了模拟和分析，进一步验证这些结 果 中，。( 稚甲孚色班，了收苏i ! ： a b s t r a c t c o n s i d e rt h em u l t i v a r i a t el i n e a rr e g r e s s i o nm o d e l k = x 。p + e i ，i = 1 ，2 w h e r e 口i sap - v e c t o ro fu n k n o w nr e g r e s s i o nc o e f f i c i e n t s ，a n dk ，x i ，qa r et h e v a l u eo fo b j e c tv a r i a b l e s ，e x p l a n a t o r yv a r i a b l e s ，r a n d o me r r o r so ft h ei t ht r i a lo r o b s e r v a t i o n ，w h i c hi sm l ，m p ，m lm a t r i c e s ，r e s p e c t i v e l y x im a yb e r a n d o mm a t r i c e so rn o n r a n d o mm a t r i c e s ( i nt h ec a s e ，o f t e nw r i t ea sx i ) s u p p o s et h a tp ( u 1i s af u n c t i o nd e f i n e do nr 1 d e f i n e h ，( p ) = ，( k x 。p ) t h e nt h em e s t i m a t o r s8 no ft h er e g r e s s i o nc o e f f i c i e n t s8i sd e f i n e dt ob et h e s o l u t i o n so ft h ef o l l o w i n gm i n i m i z a t i o np r o b l e m ： h ，( 风) = m i n 日，( 口) ：口r 9 ) m e s t i m a t i o ni sf i r s ti n t r o d u c e db yh u b e r ( 1 9 6 4 ) t ot h el o c a t i o np a r a m e t e r m o d e l s ，a n di sg e n e r a l i z e dt ot h eg e n e r a ll i n e a rm o d e l sb yh u b e r ( 1 9 7 3 ) w h e n 0ui l 斗。o ，a n dp ( u ) i ss l o w l yi n c r e a s i n g ，口。h a v eg o o dr o b u s t n e s s ，e x a m p l e ，t h e l a d ei s p r i o r i t ot h el s e t h eo n em o t i v a t i o ni n t r o d u c i n gm e s t i m a t o r si s a l w a y sp e r u s i n gr o b u s t n e s s s u p p o s et h a tp ( u ) i san o n d e c r e a s i n gf u n c t i o nd e f i n e do n 0 ，。) s u c ht h a t p ( u 1 = 0 i fa n do n l yi f = 0 t h e nt h em e s t i m a t o r so ft h er e g r e s s i o nc o e f f i c i e n t s pa n dt h es c a t t e rp a r a m e t e rvw i t hr e s p e c tt ot h ed i s p e r s i o nf u n c t i o npi sd e f i n e d t ob et h es o l u t i o no ft h ef o l l o w i n gm i n i m i z a t i o np r o b l e m ： p ( 1 l 叭一x 。风+ l o gl k1 _ m i n l = l 2 0 0 0 年中国科学技术大学博士学位论文 ”i w h e r e1v l d e n o t e st h ed e t e r m i n a n to fv ，l y 悖= y v y i fp i sc o n t i n u o u s l y d i f f e r e n t i a b l e ，t h e n ( 风，k ) i sas o l u t i o no ft h ef o l l o w i n ge q u a t i o n s ： l x ；v 。( k x ；f 1 ) u f f i 一 0a r ea r b i t r a r y , u l ( t ) a n d 2 ( t ) a r es u i t a b l yc h o s e nf u n c t i o n ， a 。) s a t i s f i e sc e r t a i nc o n d i t i o n s ，a n d 矿i sd e f i n e da sf o l l o w s ： l e t 九a n ，do qb et h ee i g e n v a l u e sa n d o r t h o n o r m a le i g e n v e c t o r so fv r e s p e c m t i v e l y ，v = a i a i o ：，w h e r ea t = ( 6 1v a i ) j 2a n d0 j l 0 任意给定，“- ( ) 和u 2 ( t ) 是适当选取的两个函数， n 。) 满足一定 条件，y 如下定义： 记a ；和啦分别是y 的特征值和特征向量，则 矿= 元a ，a ： i = 1 一： ，仆 t =j 叶 “x x 。k 风 ”“ 归日 广 i ” + + 艮 = 2 + +艮k ，iij(1l 2 0 0 0 年中国科学技术大学博士学位论文 3 其中丘= ( 6 。v 九) a 如，6 l 和以( 0 6 1 如 0 a 2 2u l ( t ) 非负递增函数且具有连续导数，仳( 0 ) 0 ，向量函数t u 。( j | tl f ) 满 足l i p s c h i t z 连续条件，即3 m 0 ，v t l ，t 2 r ”， i it l u t ( i it ll i ) 一t 2 u 。( lt z1 1 ) i mf lt l t 。i | a 2 3u 2 ( t ) 是非负递减b l 函数，t u 2 ( t ) 单调递增，在z v 。( o ) 严格递增u 2 ( o ) 0 3 m 0 ，t u 2 ( t ) m 0 ，且存在常数 ，钞2 使0 口lso h v 2 o 。 a 2 5e l ix l1 1 4 0 任意给定，u t ( t ) 和u z ( ) 是适当选取的函数， n 。) 满足一定条 件，矿的定义如( 0 2 ) 在设计矩阵z 。有界以及其它一些比较常见的条件下，我们证明了m 一估计 递推算法中( 风，k ) 的强相合性 我们引入如下假设： 螺吣燃啪以 m 风k风k 中国科学技术大学博士学位论文 5 a 3 1e i , i ：l ，2 ，是独立同分布，且e i 有密度i r i ( i | e 性) ，其中f x ( t ) 在 0 ，。) 单调递减，在肌( o ) 严格递减，矩阵 0 a 3 2 。( t ) 非负递减b l 函数，t u l ( t ) 单调递增，在肛( o ) 严格递增 a 3 3 口。) 是一列只一1 一可测的随机变量，口。- a 0 ，a s ，且存在常数v l ， u 2 使0 ”l n 。”2 0 且对v t ，t u 2 ( t ) 0 ，v k 口n ( ) + 1 我们得到 定理0 3 如果假设a 3 1 一a 3 5 成立，则由似砂定义的风， 风马3 ( 0 8 ) 定理0 4 如果j l 3 a ( n ) ，且假设a 3 1 一a 3 5 成立则由 佃，纠定义的k ， k - 马n ，n 。( 0 n ) 其中f 由p 纠，p 纠给定，n 满足n = e e e 屹( j | e 悒) 在第四章我们考虑了方差n 的递推m 一估计k 的渐近正态性，包括解释 变量为随机矩阵和非随机设计矩阵两种情形 我们引入如下假设： 0 a 4 2 “l ( t ) 非负递减b l 函数，t u l ( t ) 单调递增，在m ( o ) 严格递增，u l ( t ) 连 续 a 4 3 “2 ( t ) 是非负递减b l 函数，t u 2 ( t ) 递增，在肛( 0 ) 严格增 jt 0 ，t u 2 ( t ) m ，v t ，t u 2 ( t ) m ，u 2 t ( ) 连续，vt r ”，k ，k 0 ， f jt t 7 “2 ( j | t | j 勃) 一t t “。( j jtjj 琵) j j c ojj 一j j 0 ，a 8 ，且存在常数 口l ，v 2 使0 m ，t u 2 ( t ) m ，t 2 ”) 连续，并且vt r ”，h ， 0 ， f jt t 7 “2 ( | t | h ) 一t t “2 ( j | t | k ) | | c o ik k | | ，c o 0 ，叫，且存在常数 u l ，口2 使0 0 ，向量函数t 札1 ( | | t | j ) l i p s c h i t z 连续，即存在m ，对任意t l ，t 2 r “，有 t - u l ( i it li i ) 一t 2 u l ( lt 21 1 ) l m i t t t 2 a 5 3u 2 ( t ) 是非负递减b l 函数，t u 2 ( t ) 单调递增，在札( o ) 严格递增， u 2 ( o ) 0 ，t u 2 ( t ) 0 ，a 8 ，且存在常数 l ， 2 使0 v l a n v 2 ，且a 5 1 一a 5 5 成立，则 瓶( 风卅与( 0 ，翥貉，) ( 0 1 7 ) 其中b 1 ( q ) 和6 2 ( q ) 分别由r d 1 5 ) 和佃j 纠定义 定理0 8 当a 。_ 括时，由p 别定义的回归系数m 一估计的渐近协方差阵 达到最小，其最小协方差阵是 搿，、瑶( n ) 其中b - ( q ) 和6 2 ( n ) 分别由佃1 5 ) 和似j 卅确定 在第六章，我们介绍了对前面的一些结果进行计算机模拟的情况，通过对模 拟结果进行分析，进一步验证了我们加的条件 第一章递推m 一估计概述 1 1m 一估计概述 考虑多元线性回归模型 k = x i p + e l ，i = 1 ，2 p 是p 维未知回归系数，k ，五，e i 分别是第i 次观察或试验时的目标变量、解 释变量和随机误差的取值，它们分别为m x1 维、m p 维、m 1 维矩阵 咒可以是随机矩阵，也可以是已知的、不带随机性的矩阵( 称为设计矩阵，通常 记为z ：以示区别) 多元线性回归模型的统计推断问题，一类是要利用观察和试验所得的数据 ( 咒，k ) 去对p 作出推断( 估计、检验等) ，另一类问题涉及对误差e 。的分布 特征( 如方差、密度等) 作推断 选定一个定义于冗1 上的函数p ( “) ，定义 n 协( p ) = ：p ( 一x i # ) 则回归系数p 的m 一估计风定义为耳( p ) 的最小值点，即 砟( 风) = i i l j n 毋( p ) ：厣r 9 ) 这种估计称为由极值点定义的m 一估计，它是h u b e r 最先关于位置参数模型于 1 9 6 4 年引进的，并于1 9 7 3 年将这种估计拓展到一般线性回归模型，l a d e ( 最 小距离估计) 和l s e ( 最小二乘估计) 是m 一估计的两个最重要的特例当 1 1 “i i - + 。和p ( u ) 增长速度较慢时，p 。有较好的稳健性( r o b u s t n e s s ) ”稳健 性”一词由g e p b o x 在1 9 5 3 明确提出直观地讲，稳健性是指统计推断关于 统计模型即假设条件具有相对稳定性即当模型假设发生某种微小变化时。相应 的统计推断也只有微小变化通俗地说就是对样本可能混入的少量异常值有较强 的抵抗力例如l a d e 的稳健性优于l s e 的稳健性这种对稳健性的追求是 m 一估计研究的动力 9 2 0 0 0 年中国科学技术大学博士学位论文 1 0 当损失函数p 为凸函数这种情况，国内外许多学者曾致力于这方面的研究， 取得了比较成熟和深刻的理论成果陈希孺院士和赵林城教授在 1 】中系统总结 这方面的成果比较杰出的工作有有很多。其中包括h u b e r ( 1 9 6 4 ，1 9 7 2 ，1 9 7 3 ，1 9 8 1 ) ， b i c k e l ( 1 _ 9 7 5 ) ，m a r o n n a 孤dp o r t n o y ( 1 9 8 4 ，1 9 8 5 ，1 9 8 6 a ，1 9 8 6 b ) ，y o h a i a n dm a r o n n a ( 1 9 7 9 ) ，m a r o n n a a n d y o h a i ( 1 9 8 1 ) ，h e i l e r a n d w i u e r s ( 1 9 8 8 ) ，c h e n a n d w u ( 1 9 8 8 ) ， b a i ，c h e n ，m i a oa n dr a o ( 1 9 9 0 ) ，z h a o a n d c h e n ( 1 9 9 1 ) ，r a o a n d z h a o ( 1 9 9 2 a ，1 9 9 2 b 1 9 9 2 c 1 ，b a l ，r a oa n dw u ( 1 9 9 2 ) ，b a i ，r a o ，z h a o ( 1 9 9 3 ) ，z h a o ，r a oa n dc h e n ( 1 9 9 3 ) ， b a ia n dw h ( 1 9 9 4 a ，1 9 9 4 b ) 等等 1 2 递推m 一估计概述 假定p ( u ) 是定义在【0 ，o 。) 上的非负函数，p ( u ) = 0 当且仅当u = 0 ， m a r o n n a ( 1 9 7 6 ) 基于加权最5 - - 乘估计的思想，定义回归系数p 和离散参数y 的( 加权) m 一估计( 风，k ) 为最小值问题： 【p ( | y i 一五风| j 以) + l o gi k = m i n ! i = l 的解其中lyl 代表y 的行列式，i ly 悖= ，1 v “y 当p 是连续可微时，( 加权) m 一估计( 艮，k ) 是方程 i 卫y 。( 一置卢) “- ( | 一五卢) = 0 嗉1 ( 1 1 ) i 【( k x i 卢) ( 一x p ) “。( 1 fk 一五pf | 移) 一y 】= 0 的解，其中“1 ( t ) = t - ! - p ( ) 和u 2 ( t ) = u l ( 撕) 如果? 2 1 ( t ) 和1 1 2 ( t ) 同时由p 决定，通常很难同时保证回归系数p 和离散参 数y 的( 加权) m 一估计的稳健性为了追求稳健性的需要，m a x o n n a ( 1