（概率论与数理统计专业论文）广义线性模型的广义最小一乘估计.pdf

大连理工大学硕士学位论文 摘要 广义线性模型( g l m s ) ，可用于对多种类型的数据进行建模，是应用非常广泛的模型 线性回归模型、方差分析模型、用于列联表分析的对数线性模型和逻辑斯谛模型等都是 广义线性模型的特例通常，我们用极大似然的方法估计广义线性模型中的参数但是，在 文献中，对参数p 的极大似然估计的非稳健性已经有了广泛的研究广义线性模型的拟似 然估计也显示了非稳健性在统计中，有时需要考虑统计方法的稳健性，即当实际模型中 的分布与假定模型中的分布有较少差异时，统计方法的性能不会受到较大的影响我们知 道最小一乘估计具有很好的稳健性，该方法在经济计量学和生物医学的研究中有很多的 应用在本论文中我们首先提出使用广义最小一乘估计来估计广义线性模型由于准则 函数的不可导性和均值函数的非线性性，导致研究估计的分布理论是很复杂的因此，基 于将目标函数泰勒展开的渐近正态性的证明的标准方法是不可能直接使用的在一定条 件下，我们运用经验过程的方法和随机等度连续性的结果，证明了该估计的相合性和渐近 正态性其次，通过对准则函数的分析。我们提出使用两种加权的广义最小一乘估计来估 计广义线性模型使用类似的手法，我们证明了该估计的相合性和渐近正态性最后，对广 义线性模型的几个特例进行数值模拟 本文主要内容可概括如下：第一部分：广义最小一乘估计；第二部分：加权广义最小 一乘估计：第三部分：数值模拟 关键词：广义线性模型；广义最小一乘估计；相合性；渐近正态性；多项式判别；覆盖数 i 广义线性模型的广义最小一乘估计 t h eg e n e r a l i z e dl e a s ta b s o l u t ed e v i a t i o ne s t i m a t i o n f o rt g l e r a l i z e dl i n e a rm odelsforth eg e n e ri z el i n e a rm od e l s a b s t r a c t g e n e r a l i z e dl i n e a rm o d e l s ( g l m s ) ，w h i c hc a nm o d e lal a r g ev a r i e t yo fd a t a ，h a v eaw i d e a r e ao fa p p l i c a t i o n t h ec l a s so fg l m si n c l u d e s ，a ss p e c i a lc a s e s ，l i n e a rr e g r e s s i o n ，a n a l y s i s - o f - v a r i a n c em o d e l s ，l o g - l i n e a rm o d e l sf o rt h ea n a l y s i so fc o n t i n g e n c yt a b l e s ，l o g i s t i cm o d e l sf o r b i n a r yd a t ai nt h ef o r mo fp r o p o r t i o n sa n dm a n yo t h e r s u s u a l l y , t h ep a r a m e t e r si nt h eg e n e r a l - i z e dl i n e a rm o d e l sa r ee s t i m a t e db yt h em e t h o do fi n a x i i n u i nl i k e l i h o o d b u t ，i nt h el i t e r a t u r e ， t h en o n r o b u s t n e s so ft h em a x i m u ml i k e l i h o o de s t i m a t o rf o r 口h a sb e e ns t u d i e de x t e n s i v e l y t h e q u a s i - l i k e l i h o o de s t i m a t o ro ft h ep a r a m e t e ro ft h eg e n e r a l i z e dl i n e a rm o d e ls h a r e st h es a i n en o n - r o b u s t n e s sp r o p e r t i e s i ns t a t i s t i c s ，w es h o u l dc o n s i d e rt h er o b u s t n e s so fs t a t i s t i c a lm e t h o d s s o m e t i m e s ，t h a ti s ，w h e nt h e r ea r es m a l ld i f f e r e n c e sb e t w e e nt h et r u em o d e la n dt h ea s s u m e d m o d e l ，t h e r ei sn ol a r g ei n f l u e n c eo nt h ep e r f o r m a n c eo ft h es t a t i s t i c a lm e t h o d s w ek n o w ，t h e l e a s ta b s o l u t ed e v i a t i o n ( l a d ) m e t h o di saw i d e l yr e c o g n i z e ds u p e r i o rr o b u s tm e t h o d t h e m e t h o dh a sf o u n dm a n ya p p l i c a t i o n si ne c o n o m e t r i c sa n db i o m e d i c a ls t u d i e s i nt h i sp a p e r ， w ed e v e l o pg e n e r a l i z e dl e a s ta b s o l u t ed e v i a t i o nc r i t e r i o nt oe s t i m a t eg e n e r a l i z e dl i n e a rm o d e l s 五_ r s t l y b yt h el a c ko fd i f f e r e n t i a b i l i t yo ft h ec r i t e r i o nf u n c t i o na n dt h en o n l i n e a ro ft h em e a n f u n c t i o n ，t h es t a n d a r da p p r o a c ht ot h ed e m o n s t r a t i o no fa s y m p t o t i cn o r m a l i t y , b a s e do na t a y l o r ，ss e r i e se x p a n s i o no ft h eo b j e c t i v ef u n c t i o n ，i sn o td i r e c t l ya p p l i c a b l e u n d e rs u i t a b l e c o n d i t i o n s ，a p p l i e dt h em e t h o do fe m p i r i c a lp r o c e s sa n dt h er e s u l to fs t o c h a s t i ce q u i c o n t i n u i t y ， w ep r o o ft h a tt h ee s t i m a t o ri sc o n s i s t e n ta n da s y m p t o t i c a l l yn o r m a l s e c o n d l y , b ya n a l y z i n gt h e c r i t e r i o nf u n c t i o n ，w eu s et w ow e i g h t e dg e n e r a l 娩e dl e a s ta b s o l u t ed e v i a t i o nc r i t e r i o n st oe s t i m a t e g e n e r a l i z e dl i n e a rm o d e l s s i m i l a r l y , w eg i v eo u tt h ep r o o fo f t h ec o n s i s t e n c ya n da s y m p t o t i c a l n o r m a l i t yo ft h ee s t i m a t o r s a tl a s t ，w ec o n d u c tas i m u l a t i o ns t u d yf o rs e v e r a ls p e c i a lc a s e so f g l m s t h e r ea r et h r e ep a r t si nt h i sp a p e r ：s e c t i o n1 ，g e n e r a l i z e dl e a s ta b s o l u t ed e v i a t i o ne s - t i m a t i o n ；s e c t i o n2 ，t h ew e i g h e dg e n e r a l i z e dl e a s ta b s o l u t ed e v i a t i o ne s t i m a t i o n ；s e c t i o n3 ， s i m u l a t i o ns t u d y k e y w o r d s ： g e n e r a l i z e dl i n e a rm o d e l ；g e n e r a l i z e dl e a s ta b s o l u t ed e v i a t i o ne s t i m a t i o n ；c o n - s i s t e n c y ；a s y m p t o t i cn o r m a l i t y ；t h ep o l y n o m i a ld i s c r i m i n a t i o n ；c o v e r i n gn u m b e r s i i 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行 的研究工作及取得研究成果。尽我所知，除了文中特别加以标注和 致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果， 也不包含为获得大连理工大学或其他单位的学位或证书所使用过 的材料。与我一同工作的同志对本研究所做的贡献均已在论文中 做了明确的说明并表示了谢意。 作者签名：蛰整茎 e tn ：塑墨：重 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论 文版权使用规定 ，同意大连理工大学保留并向国家有关部门或机构送交学 位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理工大学可 以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、 缩印或扫描等复制手段保存和汇编学位论文。 作者签名：趔捡茎 导师躲聋丝 4 1 大连理工大学硕士学位论文 引言 广义线性模型( g l m s ) 首先由n e l d e r 和w e d d e r b u r n ( 1 9 7 2 ) 提出其理论和应用的完 善处理在m c c u l l a g h 和n e l e d e r ( 1 9 8 9 ) 的文献中已做了介绍该模型可用于对多种类型的 数据进行建模，是应用非常广泛的模型例如s t e v e nh a b e r m a n 和a r t h u re r e n s h a w ( 1 9 9 6 ) 表明g l m s 在精算学中有较为广泛的应用线性回归模型，方差分析模型，用于列联表分 析的对数线性模型和逻辑斯谛模型等都是广义线性模型的特例 广义线性模型是我们熟悉的经典线性模型的自然推广，它对线性模型进行了两个方 面的推广：一方面通过设定一个联接函数将响应变量的期望与线性自变量相联系，另一方 面对误差分布给出了一个误差函数。即y 的分布为指数分布族，这些推广允许许多用于 线性模型的方法能被用于更一般的问题广义线性模型有如下三部分假设： ( i ) 随机成分，即响应变量y 服从指数类分布，密度函数为 f y ( y ) ：e x p 业型生业 ， 删 其中自然参数口通过口( ) 与e ( y i x ) 相联系，即肛= e ( y i x ) = a i ( 口) 妒是刻度参数在 给定x 的条件下，y 的方差是均值和的函数，即v a r ( y x ) = 加( p ) 广义线性模型与 多元回归和其他的正态分布模型的一个关键的不同是方差依赖于均值如果口，( 一) = c m ) ， 则称c 为方差函数 ( i i ) 系统成分，即自变量的线性组合叩， ，7 = 风+ 俄x l + + 体却 尽管系统成分，7 是x 的线性函数，但是e ( y i x ) 不必是x 的线性函数 ( i i i ) 联接函数，联接函数g 是单调可微函数，它将线性预测与e ( y i x ) 相联系，即 、9 ( 肛) = 卵= 阮+ 卢1 $ 1 + + 正p z p g 的单调性保证了映射是一对一的，因此我们以联接函数的反函数来表示e ( y i x ) ，即 e ( y x ) = g - 1 ( 岛+ 卢1 2 1 + + 岛唧) 对广义线性模型，我们记f ( 矿x ) = g - 1 ( 矿x ) ，因此我们将模型表示为熟悉的可加形 式 y = f ( 矿x ) + y ( p t x ) e ，( 1 ) 其中y ( 矿x ) = 、历：丽，服从均值为0 方差为1 的指数类分布 通常，我们用极大似然的方法估计广义线性模型中的参数但是，在文献中，卢的极大 似然估计的非稳健性已经有了广泛的研究广义线性模型的拟似然估计也显示了非稳健 性在统计中，有时需要考虑统计方法的稳健性，即当实际模型中的分布与假定模型中的分 布有较少差异时，统计方法的性能不会受到较大的影响我们知道最小一乘估计( p o r t n o y 】 广义线性模型的广义最小一乘估计 a n dk o e n k e r ，1 9 9 7 ) 具有很好的稳健性，该方法在经济计量学和生物医学的研究中有很多 的应用，例子见k o e n k e r 和b a s s e t t ( 1 9 7 8 ) ，p o w e l l ( 1 9 8 4 ) ，b u c h i n s k y ( 1 9 9 8 ) 和j i ne t a 1 ( 2 0 0 1 ) 在一定条件下，最小一乘估计具有相合性和渐近正态性等好的性质然而，对于基 于最小化绝对值准则的估计方法，由于准则函数的不可导性，导致研究估计的分布理论 是很复杂的因此，基于将目标函数泰勒展开的渐近正态性的证明的标准方法是不可能 直接使用的对一般的线性回归模型。已有几种方法证明了最小一乘估计的渐近正态性 b a s s e t t 和k o e n k e r ( 1 9 7 8 ) 运用t a y l o r ( 1 9 7 4 ) 提出的方法证明了最小一乘估计的渐近正态 性b l o o m f i e l d 和s t e i g e r ( 1 9 8 3 ) 使用类似于a m e m i y a ( 1 9 8 2 ) 的光滑性的手法扩展了中心 极限定理r u p p e r t 和c a r r o l l ( 1 9 8 0 ) 运用b i c k e l ( 1 9 7 5 ) 的随机等度连续性的结果，证明了 最小一乘估计的渐近正态性对i i d ，u d ，v a nd eg e e r ( 1 9 8 8 ) 运用经验过程的方法 证明了最小一乘估计的渐近正态性d a v i dp o l l a r d ( 1 9 9 1 ) 利用准则函数的凸性这一简单的 手法证明了最小一乘估计的渐近正态性以上证明大部分都是建立在某种随机等度连续 性的基础上的，它们要求当参数有很小的变化时，随机过程序列【j 乙】的变化是一致小的， 即 l 。i m 1 i m s u p p s u pi 蜀( 8 ) i s ) = 0 ，ve 0 ”。n - - c o o l a l 6 设k ，硷，k 是一组容量为n 的独立样本，其分布属于指数类分布，密度函数为： 地) ：e x p 丛二旦掣) ， 其中巩= h ( x t z ) 是自然参数，是刻度参数，口( ) ，九( ) 和6 ( ) 为已知函数，p = ( 历，阮， ，岛) t 为未知参数向量，参数空间为e x k = ( g c k l ，x i 2 ，z 咖) t 设9 为响应变量y 的 取值空间因为 fe x p 进掣 d y i 乩 ( 2 ) 对( 2 ) 式两边对0 i 求导得到： fe x p 丝掣鼍掣) d y k o ( 3 ) 所以由( 3 ) 3 式可得： e ( r i l x d ：唧【丝型掣) 轨妣 = o a t ( o i ) = f ( 卢t 五) 对( 3 ) 式两边对0 k 求导得到： 上唧 进掣) ( 半) 2 d y i 一上唧 坐掣卜孚d y k o ( 4 ) 所以由( 4 ) 式可得： v a r ( y i 咒) = e i k a ( e d l 。 ：e x p 【丛型竽型) y i - - a ，( 2 d y k j9甲 = c a ( o d ， 2 大连理工大学硕士学位论文 所以e ( k l 五) = a t ( = f ( 卢r x d ，y 盯( k i 五) = c a ( e d ，( m ，x 1 ，e 1 ) ，m ，恐，2 ) ， ( k ，n ) 是独立同分布的样本，满足参数为岛的广义线性模型( 1 ) 本论文的结构如下，第一部分：我们首先提出用广义最小一乘估计来估计广义线性模 型我们运用经验过程的方法和随机等度连续性的结果证明了该估计的相合性和渐近正 态性第二部分：我们通过对广义最小一乘估计准则函数的分析，提出两种加权广义最小 一乘估计准则，并在一定条件下证明了估计的相合性和渐近正态性第三部分：数值模拟 3 大连理工大学硕士学位论文 1 广义最小一乘估计 1 1 广义最小一乘估计准则 假设未知参数向量卢有界，对( h ，x 1 ) ，( 玢，x 2 ) ，( k ，) 设相应的观测值为( y l , z 1 ) ， ( 耖2 ，z 2 ) ，( 鲰，z n ) ，取参数向量p 的估计为： ，庞= a r g 黯 口( 执一f ( 1 9 t x i ) ) + + ( 1 一q ) ( 班一f ( f i r x i ) ) 一 ，0 口 0 ，足( o ) = o r ； m t ) 对任何一个低维超平面h ，p ( x h ) ：0 ； ( 切) 设x 有界，e 0 时，0 是 h ( b 1 的唯一的最小值点设 s ( ) = e a ( y f ( 矿x ) ) + + ( 1 一q ) ( y f ( p t x ) ) 一】， 岛( p ) = 三喜 a ( k f ( p t 噩) ) + + ( 1 一a ) ( k f ( p t ) ) 一】 5 广义线性模型的广义最小一乘估计 由于 s ( p ) = e a ( y f ( p 1x ) ) + + ( 1 一o o ( y f ( 卢1x ) ) 一 = a e f ( 届t ox ) 一f ( 1 9 t x ) + y ( 席x ) + + ( 1 一o o e f ( 届t ox ) 一f ( p r x ) + y ( 解x ) 司一 = a e e ( ( f ( j 3 t ox ) 一f ( z t x ) + y ( 藤x ) e ) + i x ) - - t - ( 1 一o o e e ( ( f ( 届t x ) 一f ( p ? x ) 十y ( 解x ) ) 一i x ) 】 = a e y ( 席啪( ( 盥铲刊+ ) + ( 1 - - o r ) e y ( z o r x ) e ( ( 兰垡盗吾铲+ s ) 一) 】 = 驯懈础( 型铲) 由假设( i i ) 及前面的推导可知，在几乎处处意义下，当f ( z t x ) = f ( z ? x ) 时，s ( 卢) 取到最 小值，再由f ( ) 的单调性及假设( i i i ) 可知，卢= 风，所以励是s ( 卢) 唯一的最小值点我 们称反为广义最小一乘估计关于& ( 卢) 、s ( p ) 及庞的相合性，我们有下面的命题和定 理 命题1 1 假设( i ) 一( i v ) 成立，f ( ) 是占阶日况d e r 连续函数，0 6 l ，则 s u p i 晶( p ) 一s ( p ) l 叶o ，凸8 口e 。 证明：首先对每一个固定的p ，由大数定律可知： & ( 钟= 丢喜陋( k f ( p t 五) ) + + ( 1 一口) ( m f ( p t 五) ) 一 一s ( p ) = e 口( y f ( 卢t x ) ) + + ( 1 一c o ( y f ( f l r x ) ) 一 另外对v 卢l ，尾有， 因为 岛( f h ) 一晶( 尾) i = 0 ，有( ( 9 l a ) 一1 ) 吾一网 p 1 ，风) ，对每个 p o ，j 岛，使得 i i8 0 j1 1 6 ) 时，有 1 5 k ( p ) 一岛( 岛) i 3 l ai i 卢一岛1 1 6 专 同理可知： s ( f 1 ) 一s ( 岛) i = l e a ( y f ( z t x ) ) + - t - ( 1 一q ) ( y f ( f l r x ) ) 一 一e a ( y f ( 谬x ) ) + + ( 1 一q ) ( y f ( 谬x ) ) 一 o , e l ( y - f ( z r x ) ) 十一( y f ( 谬x ) ) + i + ( 1 一a ) e i ( y f ( z t x ) ) 一一( y f ( z f x ) ) 一i o , f q f ( z r x ) 一f ( z t x ) l + ( 1 一a ) e i f ( p t x ) 一f ( z ? x ) = e i f ( 卢t x ) 一f ( d r x ) f l a0p 一岛i l d 3 l a | | p 一岛旷 e ) 时， l & ( p ) 一s ( p ) 一 岛( 岛) 一s ( 岛) i f s k ( p ) 一& ( 岛) i + i s ( p ) 一s ( 岛) j 2 帆) 时，有 l 晶( 凤) 一s ( 觑) l m a x ) ，1 p ) ，) ) 时，在几乎处处意义下有， s u pi s k ( p ) 一s ( p ) i = 婴- p1 & ( 卢) 一s ( p ) 一 s n ( 岛) 一s ( 岛) + ( 岛) 一s ( 岛) l 口e 卢e s u p 1 & ( p ) 一s ( p ) 一 s k ( 岛) 一s ( 岛) i + s u pl 岛( 岛) 一s ( 岛) 口e b e o 0 ，存在t o 的 邻域u 满足： 。l i m s u p p s u pi 磊( t ) 一磊( t o ) i 叼) 0 假设均值函数f ( u ) 是二 阶连续可导函数，由于p 和x 均有界，所以存在一个正常数m ，使得矿x f m ，明，所 以f ( 乱) 在【m ，m 】上是有界的，因此由控制收敛定理可知，对 s ( p ) = a e f ( f l t ox ) 一f ( f l t x ) + v ( z o r x ) e 一+ ( 1 一a ) e f ( f l t x ) 一f ( z t x ) + v ( z o r x ) 一 = 印( f l t x ) h ( 壁铲) 】， 积分号下求导得 所以 因为 所以 s 7 ( p ) = e 日7 ( 里塑三铲) f 7 ( 卢r x ) x ， ( 伪) = e 日7 ( o ) f 7 ( 甜x ) x = o p 1 洲= 刀p ( 塑铲) 踹群脚 + e 日7 ( 呈塑：铲) ，( p t 誓) x x l ， v = s ! 1 8 心 = 申，( o ) 帮删1 州删，( 悯麒1 = 州e 帮肼】 “球怒目c 怒硼 由假设( 讹) 可知，x 的分布为非退化的，所以v 是正定矩阵即引理1 1 中的条件( “) 成 立 1 0 大连理工大学硕士学位论文 因为 又因为 p =e a ( ) e 陋【s 9 n ( e ) vo 】- i - ( 1 一q ) 【s 9 n ) a0 1 if 7 ( 席x ) x ) e e a s g n ( e ) vo 】+ ( 1 一口) 【s 夕佗( ) ao f 7 ( 届t x ) x l x e f 7 ( 届t x ) x e a ( s g n ( e ) vo ) + ( 1 一a ) ( s g n ( e ) ao ) 】) e a ( s 夕佗g ) v0 ) + ( 1 一q ) ( s 夕n ) ao ) 】 t o ，+ = ( q 一1 ) f s ( t ) d t + a f , ( t ) d t = a 加肌a o 佃郇肛腓) 出 i + o o = a 厶( t ) d t 一忍( o ) = 0 所以得到：p a = 0 p 1 由于 p ( a a t ) = e 【( ) ( ) t 】 = e ( a ( s g n ( e ) vo ) + ( 1 一q ) ( s 9 n ) ao ) 】2 ( f 7 ( 解x ) ) 2 x x t ) = e ( a 2 【s 9 n ( ) vo 】2 ( 一( 舔x ) ) 2 x x t ) + e ( ( 1 一q ) 2 【8 夕佗( e ) ao 】2 ( f 7 ( 厢x ) ) 2 x x t ) = e e ( a 2 【s 9 仃( ) vo 】2 ( f ，( 解x ) ) 2 x x t i x ) ) + e e ( ( 1 一口) 2 【s 夕礼( e ) ao 】2 ( f ( 解x ) ) 2 x x t i x ) ) = e q 2 ( f 7 ( 露x ) ) 2 x x t e 【s 9 佗( ) vo 】2 ) + e ( 1 一a ) 2 ( f 7 ( 藤x ) ) 2 x x t e 【s 9 几( s ) ao 】2 ) = e 口2 ( f 7 ( 席x ) ) 2 x x t f e ( t ) d t ，0 ，0 + e ( 1 一口) 2 ( f ，( 藤x ) ) 2 x x t a ( t ) d t = e a 2 ( ( 席x ) ) 2 x x t 【l e ( o ) 1 ) + e 0 一a ) 2 ( f ，( 厢x ) ) 2 x x t 忍( o ) ) = 【a 2 ( 1 一q ) + ( 1 一q ) 2 卅e ( f 7 ( 席x ) x ) ( f 7 ( 解x ) x ) 1 = 口( 1 一a ) e ( f ，( 席x ) x ) ( f 7 ( 舔x ) x ) t 】 1 1 广义线性模型的广义最小一乘估计 所以( ) 的所有分量都属于夕2 ( p ) 即引理1 1 中的条件( 抛) 满足 由以上计算可知引理1 1 中的 v 一1 p ( a a t ) 一( p ) ( 尸) r i v 一1 = v 一1 p ( a a r ) v 一1 = 帮础怒酬丽f ( z r o x ) 硝4 咿( 翮删( 翮硐 e ( 墅x ) ( 磐x ) 1 。v v m 彳x )y ( 舔x ) 。 因此对广义最小一乘估计序列 反) ，我们有下面的定理： 定理1 2 定义r ( ，p ) 和向量函数( ) 为上述( 1 7 ) 式，假设均值函数f ( u ) 是二阶连 续可导函数，序列 玩7 ( ，卢) ) 在f l o 点是随机等度连续的，则 何( 庞一风) 一n ( o ，) 舯= 帮e ( 勰x ) ( 勰x ) 1 - l e ( f ，( 私) x ) ( f 懈x ) x ) 1 e ( 号器x ) ( 季器x ) t _ 1 为渐近协方差阵 为了得出下面的重要推论，我们首先引入几个定义和引理 定义1 2 设勿是某空间s 的一个子集类，如果存在一个多项式p ( ) ( 次数为t ，) ，对 s 中任意n 个点的集合s o ，类9 n 岛垒 岛nd ，d 9 ) 中至多存在p ( n ) 个& 的子集， 称9 是多项式判别类，或粥类，p ( ) 是9 的判别多项式 定义1 3 设，为集合s 上的实函数，s o 冗中的子集 g f = ( s ，t ) ：0 t f ( 8 ) d rf ( 8 ) t 0 ) 称为函数s 的图 定义1 4 设q 为集合s 上的概率测度，矿为由乡( q ) ( i 次可积函数全体) 中的某 些函数组成的函数类，对任意的s 0 ，定义覆盖数m ( ，q ，罗) 为，对任意的s 莎，存在 函数9 1 ，9 2 ，9 m ( 不必在箩中) ，使得m i n iq i i f 一仍酽成立的最小的m 值若m 不 存在，定义眦( 5 ，q ，莎) = 。o 通常取i = 1 ，2 引理1 2 ( 等度连续性引理) 设莎是在2 2 ( p ) 中有包络g 的函数构成的可容许的 函数类，假设随机覆盖数满足一致性条件：对每一个卵 0 和e 0 ，存在7 0 使得 l i r a s u p p 无( ，y ，r ，少) ，7 ) 0 使得 l i s a s u p p s u pi 岛( ，一g ) i 计 ， n 旧 其中闷= _ 【( ，9 ) ：，夕莎，p p ( f 一9 ) 6 ) ，也( 7 ，r ，少) = 眉 2 1 0 9 ( 2 ( u ，r ，罗) 2 u ) 1 2 d u 大连理工大学硕士学位论文 证明见c o n v e r g e n c eo f s t o c h a s t i cp r o c e s s e s 1 5 0 页的第1 章的等度连续性引理 引理1 3 设莎是定义在集合s 上的一个有限维实函数向量空间，则穸中的函数的 图类有多项式判别 证明见c o n v e r g e n c eo fs t o c h a s t i cp r o c e s s e s 3 0 页的第1 i 章的引理2 8 引理1 4 如果够和9 有多项式判别则下面的集合也有多项式判别： ( i ) d c ：d 勿) ，( i i ) c u d ：c 够，d 9 】，( i i i ) 【cn d ：c 够，d 勿 证明见c o n v e r g e n c eo fs t o c h a s t i cp r o c e s s e s 1 8 页的第1 i 章的引理1 5 引理1 5 设莎是有严格正的包络g 的函数构成的函数类，q 是概率测度，且q g 2 0 0 ，定义p ( ) = q ( g 2 ) q ( 0 2 ) ，5 f = i o ：，步) ，则 ( i ) n 2 ( 6 ( q c 2 ) 1 2 ，q ，莎) 2 ( 正p ，5 p ) 1 ( 6 2 ，p ，夕) i ( i i ) 在夕中的函数的图类有唯一的多项式判别，则存在不依赖于q 和g 的常数a 和叫， 满足： n 2 ( 5 ( q 0 2 ) 1 2 ，q ，。芗) a 5 一埘，0 6 1 证明见c o n v e r g e n c eo fs t o c h a s t i cp r o c e s s e s 3 4 页的第1 i 章的引理3 6 当f ( u ) 为分段多项式函数时，对广义最小一乘估计序列【厥】，我们有下面的推论： 推论1 1 若f ( u ) = 翠1 乃( 札) 文叼一。 o ，卢e ) ) u ( ( 秒忍t ) ：- a ( y - 乃( 解x ) ) + + ( 1 二一口) f a z r x ) 一暑，一 一f a z r o x ) ) 一】2o ，p e n _ ( 可，z ，亡) ：y 一易( p t x ) o ，p e 】_ ) = ( 白，$ ，亡) ：6 ( s r x ) 乃( 解x ) 一i a ( u 一6 ( z o r x ) ) 一，e ) n z ，亡) ：y j ( z t x ) 秒，p e ) ) u ( 【( 矽，z ，t ) ：马( p t x ) 而1 阿+ ( u - f a 届r ox ) ) 一一a 乃( 解x ) ，p e ) n z ，亡) ：乃( 卢丁x ) ，卢e 】) 对f 分析 因为 ( 耖，z ，t ) ：乃( 矿x ) 乃( z o r x ) 一圭( 耖一f j ( z o r x ) ) 一，卢e n ( 可，z ，t ) ：易( 卢t x ) 秒，p e ) = ( 3 ，z ，t ) ：x f i - 1 ( 乃( 解x ) 一寺( 一f j ( z r ox ) ) 一) ，p e ) n ( ，z ，t ) ：r x 可1 ( 可) ，卢e ) = 【( ! ，$ ，t ) ：p l z l + + f l p x p 一1 巧1 ( 乃( 藤x ) 一寺( 一f a 届r x ) ) 一) so ，p e ) n ( 秒，z ，t ) ：风z 1 + + 岛唧一1 f 2 1 白) o ，卢e ) ( ，z ，t ) ：伍z l + + f l p x p 一1 f 2 1 ( f j ( z o r x ) 一三( 一f a z r o x ) ) 一) o ，p e 】 c g 1 = ( 耖，z ，亡) ：历z 1 + + 岛z p + n 可1 ( 乃( 解x ) 一三 一f a z x ) ) 一) s o ， p o ，a 冗) ( 可，z ，t ) ：风。1 + + 届p 唧一1 j 丁1 ( ! ，) o ，卢e ) c g 2 = ( 暑，z ，t ) ：卢1 z l + + 卢p 却+ 口f 2 1 ( ! ，) _ 1 卢e ” 由以上证明可知。对e 只分析 g = ( ，z ，亡) ：i t 卢一风| | t q 【( 矽一乃( p r x ) ) + 一( 一f j ( 置o r x ) ) + 】 + ( 1 一q ) 【( 箩一乃( p t x ) ) 一一( 耖一乃( 解x ) ) 一】，p e ) = ( ( 可，z ，t ) ：a 马( 矿x ) q 乃( 解x ) 一( 一乃( 舒x ) ) 一一i lp 一岛，p e ) + n ( 可，z ，亡) ：f j ( p r x ) 可，卢e ) ) u ( ( 剪，z ，t ) ：( 1 一a ) 乃( 取) 剪+ 一乃( 解x ) ) 一 一a f a 3 r ox ) + i i 一岛忆，p e ) n ( 耖，z ，t ) ：乃( 卢t x ) 秒，p e ) ) 不妨设f a p r x ) 是b t x 的m 阶多项式函数，即乃( 卢t x ) = 磊+ n ( 矿x ) + + 幺( 矿x ) m 所以 g = ( ( 可，z ，t ) ：q 啸+ 口i ( 矿x ) + + 旗( p r x ) m 】q 弓( 席x ) 一( v - 乃( 解x ) ) 一一i l 卢一励”，卢e f i t 可，z ，t ) ：p t x 1 和w ，使 得：9 2 ( u ，r ，砑) a 钍一，其中a 和w 不依赖于r ，所以 对0 0 ，所以上述 确忍2 俪7 + v ( 4 w + 2 ) f 0 7 厨 = 2 俪7 + 厕 1 0 9 ( 扩苎z 7 l o g ( 1 ) d u 因为 fl o g ( 1 ) d u = 啪l i r a t 7l o g ( 1 u ) d u ， 令l o g ( 古) = t ，t 【l o g ( 专) ，1 0 9 ( 批则u = e - t , d u = - e - t d t 1 8 所以 所以 f 0 7 l o g ( 1 ) 也( ，y ，r ，纺) ， 叩名 v 0 以件立 所条成 大连理工大学硕士学位论文 2 加权广义最小一乘估计 由广义最小一乘估计的准则函数，我们知道响应变量与均值间的较大偏差对估计产 生很大影响在文献中，通常，将残差除以误差的标准差来标准化显然地，广义最小一乘 估计准则函数没有考虑误差的条件方差，因此我们提出用加权的广义最小一乘估计准则 函数来估计口即 席= a r g 黯三南陋( m - f ( ，r 砒+ ( 1 - - a 地_ f ( p 一 ，o 口 1 ， 其中y ( 矿戤) = 瓦丽，称尚为权函数直观上解释为，对较大方差的样本加较小 的权 因为权函数桶中包含参数向量p ，所以估计的大样本性质的证明和计算都是很 复杂的，综合以上两种准则，我们考虑用加权广义最小一乘准则1 估计卢，即 反= a r g 曲w ( 瓤) a ( 玑一f ( f 7 r x i ) ) + + ( 1 一q ) ( 玑一f ( z r x l c ) ) 一】，o q l ， 其中缈( ) 是已知的不含卢的权函数当( ) 兰1 时，该准则为广义最小一乘估计准则 2 1加权广义最小一乘估计准则1 假设未知参数向量p 有界，对( m ，墨) ，( 硷，拖) ，( 碥，) 设相应的观测值为( y l ，z 1 ) ， ( y 2 ，z 2 ) ，( y n ，z n ) ，取参数向量卢的估计为： 反= a r g 留萎( 讣( 玑一f ( 矿观) ) + + ( 1 一q ) ( 玑一f ( p 一】 0 n 0 ，b ( o ) = a ； 假设( i i i ) 对任何一个低维超平面h ，p h ) ：0 ； 假设( i v ) 设x 有界，e i i 0 且e | | w ( x ) xi i o o 2 1 1 加权广义最小一乘准则1 的估计的相合性 设 k ( p ) = e ( x ) p ( y f ( 卢t x ) ) + + ( 1 一口) ( y f ( z t