（应用数学专业论文）部分线性回归模型的估计.pdf

摘要 部分线性回归模型由于兼具参数部分和非参数部分，比较容易解释各个变量 的影响情况，从而在实际应用中有着更强的灵活性和适用性。从1 9 8 6 年e n g l e 等在研究电力需求和气候变化之间的关系时建立该模型，至今，国内外学者对部 分线性回归模型的研究已具有相当的规模。在现有文献资料的基础上，本文就部 分线性回归模型在误差为相依的情形下，运用一般权函数法并综合最小二乘法得 到了未知参数和未知函数的估计量，接着讨论了估计量的相合性及渐近正态性。 首先，本文对部分线性回归模型的历史背景及国内外的研究发展状况作以简 介。主要是在观察值为固定设计时，对部分线性回归模型的误差项作各种不同假 设，以便寻求对参数部分及非参数部分合理的估计方法及对所得估计量的大样本 性质的讨论途径。 其次，对部分线性回归模型 圪= 乙f + g ( ) + ，l f 行 在误差为线性过程时，利用两阶段估计法并综合一般权函数法及最小二乘法，得 到了和g ( ) 的估计量，然后利用鞅差序列加权和的中心极限定理，讨论了估计 量的渐近正态性，进而证明了估计量的相合性。相比现有文献中关于估计量的相 关性质的证明，本文的证明方法假设条件较弱，主要是去掉了一些跟对数运算有 关的限制条件，引进了关于权函数的部分极限性质，使得条件更具有普遍性，也 很容易验证，从而更便于操作和运用。 最后，对上述模型在误差为声混合序列情形下，利用小波方法得到和g ( ) 的估计量，进而证明了估计量的，一阶相合性。 关键词 部分线性回归模型，鞅差序列，p 混合序列，小波估计 a b s t r a c t i n c l u d i n gp a r a m e t r i cc o m p o n e n ta n dn o n p a r a m e r t i cc o m p o n e n t , p a r t i a l l yl i n e a r r e g r e s s i o nm o d e l sa l l o we a s i e ri n t e r p r e t a t i o no ft h ee f f e c to ne a c hv a r i a b l e ，s ot h e ya r em o r e f l e x i b l ea n du n i v e r s a lt h a nt h e c l a s s i c l i n e a rm o d e l so rn o n - p a r a m e r t i cr e g r e s s i o nm o d e l s e n g l e ，g r a b g e r , r i c ea n dw e i s sw e r ea m o n gt h e f i r s tt oc o n s i d e rt h ep a r t i a l l yl i n e a r r e g r e s s i o n m o d e l s i n19 8 6 ，t h e ya n a l y z e dt h er a l a t i o n s h i pb e t w e e nt e m p e r a t u r ea n d e l e c t r i c i t yu s a g e f r o mt h e no n ，t h e r eh a v eb e e nm a k e ng r e a tp r o g r e s si nt h es t u d i e so l l p a r t i a l l yl i n e a rm o d e l s i nt h i sp a p e r , t h ec o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yo ft h e e s t i m a t o r sa r es t u d i e do nt h eb a s eo fd o m e s t i ca n do v e r s e a ss c h o l a rr e s e a r c h e s f i r s t l y , t h ep a r t i a l l yl i n e a rr e g r e s s i o nm o d e l sa r ei n t r o d u c e df r o mt h eo r i g i nt o t h e d e v e l o p m e n ta th o m ea n da b r o a d ，m a i n l yi n c l u d i n ga l lk i n d so fe s t i m a t i o nm e t h o d st o p a r a m e t r i cc o m p o n e n ta n dn o n - p a r a m e t r i cc o m p o n e n ta n ds t u d i e st ot h ep r o p e r t i e so fl a r g e s a m p l e t h es t u d i e sa r eb a s e do i lt h ed i f f e r e n ts u p p o s e st ot h ee r r o r si nt h em o d e l sw i t hf i 】【e d d e s i g n e dp o i n t s s e c o n d l y , c o n s i d e r i n g t h e p a r t i a l l y l i n e a rm o d e l sw i t hl i n e a rp r o c e s se r r o r s 艺f = 0 + g ( ) + ，1 i 刀 b y i n gl e a s ts q u a r e sa n du s u a lw e i g h t e df u n c t i o nm e t h o dc o m b i n i n gt w o s t a g ee s t i m a t i o n , w e d e f i n et h ee s t i m a t o r s 夕a n d 雪f o r a n dg ( ) ，t h e nw eo b t a i nt h e i rr - o r d e rm e a n c o n s i s t e n c y ，c o m p l e t ec o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yu n d e rs u i t a b l ec o n d i t i o n s s i n c e g i v e nc o n d i t i o n sb e c o m ew e a k e r , t h em e a n si nt h i sp a p e ra r em o r eu n i v e r s a la n df l e x i b l e t h a no t h e rm e t h o d s ，t h e r ew er e m o v es o m er e s t r i c t i o n so nl o g r i t h mc a l c u l a t i o n , a n di n t r o d u c e s o m el i m i t ep r o p e r t i e so np o w e rf u n c t i o n f i n a l l y , t ot h ea b o v em o d e lw i t hp - m i x i n gs e q u e n c e ，w eu s ew a v e l e t m e t h o d sa n d o b t a i nt h ee s t i m a t o r so f a n dg ( ) ，t h e nw es t u d yt h er - o r d e rc o n s i s t e n c yo ft h e e s t i m a t o r s k e yw o r d s p a r t i a l l yl i n e a rr e g r e s s i o nm o d e l s ，m a r t i n g a l ed i f f e r e n c es e q u e n c e ，多- m i x i n gs e q u e n c e ， 肠y e l e tm e t h o d s 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 萎裹薹妻凳萎裹霎亍三主董呈- 一指导教师签名：趟 学位论文作者签名：旦耋兰1 2 指导教师签名：。翟l 兰 7 , 1 , r 年6 月日 少。年6 月，日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。据我所知，除了文中特别加以标注和 致谢的地方外，本论文不包含其他人已经发表或撰写过的研究成 果，也不包含为获得西北大学或其它教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均己 在论文中作了明确的说明并表示谢意。 学位论文作者签名：白菱五 加f 年6 月f ，日 ， f 酉j 量右堂堡堂鱼鲶窑 第一章绪论 回归分析是统计学中一个重要的分支，是对回归函数的统计推断方法的一种统称。 一般情况下，对回归函数的基本假设与推断方法总是密切相关的，因而常根据对回归函 数的基本假设，对回归模型进行分类。常见的主要有参数回归模型、非参数回归模型和 半参数回归模型等。 在现实生活中，如下的情况是大量存在的：两个变量x 和y 之间有一定的依赖关 系，即任意给定x 的一个值，我们可以大约确定y 的值，但往往这种确定是不够准确的。 特别当我们需要通过x 和y 之间的这种依赖关系进行一些研究及实际应用时，这里的确 定性就显得尤为重要。其中，最简单、最直观的一个例子就是人的身高与体重之间的关 系。众所周知，如果设某人的身高为x ，体重为y ，一般情况下，都满足随着x 的增大 y 也增大，但是由x 的值却不能准确地确定y 的值。还有诸如儿子与父亲的身高之间的 关系等等，类似于这样的例子在我们的周围不乏少数。统计学中，把变量之间的这种关 系称为“相关关系”，而回归模型就是对这种相关关系进行研究的一个有力工具。 一般情况下，回归模型只是对客观事实进行一个大概的、近似的解释。当然，一 个较好的模型会具有较强的解释能力及对未来情况的预测能力。那么，如何才能建立一 个较好的模型，使其能够很好的解释现实，就成为所有统计工作者不断追求的目标。 一类最简单但是却非常有用的模型是线性回归模型，即假设回归函数如下： ( z ) = p o + 层z ，+ + a z i ，这里回归函数( ) 中，只有七+ 1 个参数屁，屈，压是未知 的：另一类比较常用的模型是非线性回归模型，即存在一个已知的非线性函数g ，满足 ( ) - g ( ；p o ，属，展) ，其中p o ，层，层为未知参数。这两种模型统称为参数回归模型。 对于参数回归模型，由于其比较容易处理，在此方向上展开研究已经有相当长的历史， 从而也已经形成了一套成熟的理论和方法。 由于参数回归模型由经验和历史资料提供了大量的额外信息给回归函数，所以如果 假设模型成立，那么它的推断精确度就会较高。但是，当参数的假设与实际情况不相符 很不理想时，基于这种模型所做的推断就可能。这就要求人们必须寻找别的出路，从而 有了非参数回归的产生。非参数回归的最大优点在于，其回归函数的形式没有任何限制， 从而有很强的灵活性。 自s t o n e ( 1 9 7 7 ) 的一项著名工作发表以后，对非参数回归模型的研究开始热烈和繁 忙起来。至今，在这方面的理论和方法已经有了很大的进展。然而，即使具有如前所述 的种种优点，这种模型在实际应用中依然存在它的局限性。事实上，若影响考察对象 ( 指标y ) 的因素即解释变量可分为两个部分，即葺，及，o ( p + q = 后) ，根据经验 或历史资料可以认为因素，是主要的，而且，同y 是线性的；而 ，名则是 某种干扰因素或称为协变量，它与j ，的关系是完全未知的，而且也没有任何理由将其归 于误差项。对于这种情况，如果用非参数回归去处理，就会失去太多的信息，如果用一 般的参数回归即线性回归，通常拟合情况会很差。而且，在非参数回归模型中，各个解 释变量对因变量的作用之间的差别经常会被忽略，如果实际问题对这种情况没有提供任 何信息时，是很难避免的。但是如果有理由认为某些解释变量对y 的影响是显著的，使 用非参数回归将会非常明显的降低模型的解释能力。所以很自然的是采用两者的混合即 半参数回归。e n g l e ，g r o n g e r 等( 1 9 8 6 ) 在研究气候条件与电力需求之间的关系时首先提 出和应用了这种模型。 半参数回归模型的优点是集中了主要部分的信息，因此有较强的解释能力。由于 既含有参数分量又含有非参数分量，半参数回归模型把解释变量中的一部分与响应变量 的关系比较明确的变量建立为参数模型，把一些与响应变量的关系不够明确的部分建立 为非参数模型，综合了参数与非参数回归的大量优点，从而在实际应用中有更大的灵活 性和适用性。 在现有文献中，对于半参数模型的研究，人们主要是沿着这样的思路：对函数空间 w 做一定的限制，一般情况下主要是关于光滑性的限制。这是因为w 是无穷维的，通常 借助光滑性可以使用合理的逼近形式，从而使得w 中的元可以参数化。例如w 中的元在 指定基 p ，) 下，能够线性表示为g ( ，) g 勺( r ) 。如果w 中的元具有某种光滑性，使得 扭l 此级数能够一致收敛，则可以用相应的有限和来逼近。基于此，文献中大多估计量都借 助参数化的方法命名，如：偏光滑样条估计；偏分块多项式估计；偏f o u r i e r 级数估计 等等。另外，两阶段估计也是半参数模型中的常用方法，其典型的例子就是核估计。即 第一步先假设已知，利用标准的非参数回归方法，基于 ，j ，z 一彬 估计g ，记估计量 2 为自；第二步再以或代g ，使用最小二乘法求的极小值；从而定义g 的最终估计为 爵( ；夕) ，其中，允为非参数回归中的光滑参数，它的取值可以是实数、向量、或者集 合，如在核估计时，五取为窗宽。 需要说明的是，在半参数模型中，对于非参数分量g 的估计，一般情况下都会带有 光滑参数兄。所以在实际运用时，有个对名的选择问题，其中一个比较自然的途径就是 由数据本身来挑选。关于这一点，文献中已经提出了很多方法，如交叉核实( c d ) 法；广 义交叉核实法等。当然，这些方法在非参数回归中已经被证明是有效的。 对半参数回归模型的研究主要集中在它的大样本性质上，其中在基本模型下，根据 不同的估计方法或误差项的不同假设条件，研究参数部分和非参数部分及误差方差估计 的各种相合性及渐近正态性是最主要的一个研究方向。常见的主要有：( 1 ) p 的相合估 计条件，包括在什么条件下，所给的估计是相合的以及在什么条件下才存在相合估计； ( 2 ) 参数分量( 包括误差方差盯2 ) 估计的渐近行为，主要指收敛速度、渐近分布、 b e r r g e s s e e n 界限等，其中收敛速度是指矩相合速度和几乎处处收敛速度。渐近分布主 要是研究在什么条件下，所构造的估计才是渐近正态的。而b e r r g e s s e e n 界限主要是 指具有渐近正态的估计量向正态逼近的速度的界限。还有一个与此相关联的问题，即 估计的渐近有效性。这一点旨在如何构造的估计，才能使其效果与该模型在非参数分 量已知时的情形在渐近意义下同样好。尤其是怎样构造的渐近正态估计，使它能够具 有最小渐近协方差。( 3 ) 估计量的稳健性及其它相关的问题，如：估计的b o o t s t r a p 逼近，非参数分量估计的优良性，模型变换等等。 部分线性回归模型是半参数模型中的一种最常见、最简单、最实用的模型。从1 9 8 6 年建立该模型，至今对它的研究和应用已经有了相当大的进展。 1 1 部分线性回归模型的发展历史 定义部分线性回归模型为如下形式 z = 五r + g ( z ) + 毛，f = 1 ，挖 3 这里x ，= ( l ，一，) r 和i = ( l ，o ) r 是解释变量，( 五，霉) 是独立同分布的随机变量， p - - ( z , ，屏) 7 是未知的参数向量，g 是尺9 到尺1 的未知函数，毛，乞，乞是独立随机误 差且满足如= 0 和q 2 = e 毛2 。 部分线性回归模型是1 9 8 5 年g r e e n 等在研究农业试验及1 9 8 6 年e n g l e 等在研究电 力需求和气候变化之间的关系时首先提出的。随后，j e n n i s o n 和s e h e u l t ( 1 9 8 5 ) 等对 非随机设计点列情形下的部分线性回归模型系统地研究了最小二乘估计法的渐近行为。 e n g l e 等应用样条光滑方法定义了和g 的罚估计为 a r g m i n a , g 寺喜 z z r 一g ( z ) ) + 见f g ”( z ，) ) 2 砌 其中a 为罚参数( 参见w h a b a ( 1 9 9 0 ) ) ，研究证明，这些估计具有渐近偏差性。 s c h i m e k ( 1 9 9 9 ) 经过大量的研究表明，即使在参数部分和非参数部分相关的情形下，这 种偏差对小样本也并不适合。针对这种情况，r i c e 提出了罚最小二乘估计。h e c k m a n ( 1 9 8 6 ) 研究了五和z 独立时的渐近正态估计，并证明如果光滑参数的影响不大，的罚最 t j 、- - 乘估计是相合的。h a m i l t o n 和t r o u n g ( 1 9 9 7 ) 对部分线性回归模型应用局部线性回 归建立了参数部分和非参数部分的渐近分布。沿着这个方向的许多理论结果都得到了证 明，并且随着研究过程的不断发展，更多的估计方法被提了出来，如：加权二乘估计、 级数估计、局部对数似然估计等。 我国统计学者在八十年代末期也开始对部分线性模型进行系统研究并取得很大成 就。对未知参数和未知函数g 的估计，文献中提出了多种方法，如核估计，近邻估计， 局部多项式估计等，参见文献 卜4 。柴根象啼3 讨论了和g 的小波估计下估计量的弱 相合性及其偏差和方差的渐近性质；钱伟民等1 n ) l l d , 波法给出了夕和雪的强逼近；薛 留根h 利用小波光滑法和随机加权法讨论了未知参数小波估计的误差分布的随机加权 逼近速度。上述文献都是假设误差为独立同分布的情形。 最近，关于部分线性模型在误差为相依情形下的大样本性质的研究逐步兴起，并取 得了些显著成果。鉴于参数模型和非参数模型中误差项的各种情形，刘强等碡1 在误差 4 为矽一混合或伊一混合条件下，利用最d , - - 乘法和小波估计法得到了和g 的估计量，并 在较弱的条件下得到了夕的强相合性和营的一致强相合性及一致r 一阶矩相合性；闰在 在等阳1 利用近邻权函数讨论了误差为鞅差序列下估计量的强相合性；金丽红n 利用偏残 差法并综合最小二乘法，给出了和g 的估计夕和雪，并且在误差为鞅差序列时，得到 了夕和季的厂( ，- 2 ) 阶矩相合性及渐近性质。 在各种相依序列中，线性时间序列和混合序列是最常见的类型之一。线性时间序列 由于具备优良的大样本性质，在部分线性回归中已有大量的研究结果。声混合序列作为 一种较新的相依序列，是b r a d l e y 3 在1 9 9 0 年首先提出来的。 设 五，ien 是概率空间( q ，b ，p ) 上的随机变量序列，e = 仃( x ，i esc n ) 为 仃一域，在b 中给定仃一域f 、r ， 令p ( f ，r ) = s u p ( x ，y ) ix 厶( f ) ，y 厶( r ) ， 其中c 。 ( x ，y ) ：毒彗禁为相关系数，b r a d l e y 引入如下的相关系数：、1 0 v 甜x v a r y 对k 2 0 ，令p ( 后) = s u p p ( 层，辱) ，有限子集s ，t n ，g a i s t ( s ，r ) z k ， 显然，o a ( k + 1 ) 声( 七) i ，且声( o ) = l 。 从而定义如下： 对随机序列 x ，f n ) ，如果存在k n ，使p ( 七) 1 ，则称 x ，f ) 是p 混 合序列。 与通常的p 混合相比，p 混合与p 混合类似但并不完全相同，它们互不包含。因为对p 混合系数p ( k ) ，定义中的s , t 分别是 1 ，n 】和【刀+ 七，】中的子集，而p 混合只要求存在 某七z ，使p ( 七) l ，仅从这一点上看，要比p 混合要求以疗) 专o 甩寸o o 弱得多。因 此，声混合是一类比p 混合更加广泛的相依混合序列，有很大的研究价值。在现有的文 献中，主要是关于同分布和不同分布的多混合序列的各种收敛性质的研究。这些研究结 果表明，声混合序列也具有与其它相依序列相类似的性质和结论。从而，沿着这一方向 5 进行探讨研究是可行的，必要的。 1 2 本文用到的主要定义及引理 ( 一) 有关定义 定义1 称随机过程x ( t ) ：t 0 为一鞅，若有 ( i ) e l x ( t ) l o ， ( i i ) 对o 1 ) 为鞅序列，其中最2 = 置2 ，i u x 寸v r 2 有- 州c ，酗斫i 2 性质3 若随机过程x ( ，) ，f o 是一鞅，l 硼l x c t o 恒有 e x ( ，) = e e 彳( 州x ( o ) ) - - e x ( o ) 性质4 设下列矩阵均存在逆矩阵，则成立下列各式： 6 ( i ) ( 叫) = c 一1 彳一； ( i i ) ( 么b ) 一= b 一1 a ； ( i i i ) 如果a ：p xp，b：px n ，c ：r 2 xy i 和d ：n xp ，那么 ( a + b c d ) 一= 彳- i _ b ( c j + 删一1 d a 一： ( i v ) 如果l + 6 a 。a 0 ，那么有 ( 么+ 动) - i - a - i 一而a - , a b a - i ； ( v ) i a - 1 i - - i a i 。1 性质5 设x 是一个n 维向量，彳是一个甩刀对称矩阵，则有 旦z a x = 2 a x 苏 性质6 设x 是一个r l 维向量，y 是一个m 维向量，c 是一个n x m 矩阵，则 吴x - c y = x y a c 性质7 设x 是一个k 维向量，彳是一个t x t 对称矩阵，c 是一个t x k 矩阵，则有 旦工c 4 q ：2 彳。阢 a c 性质84 是一个n r l 对称矩阵，c 是一个标量，则有 乃( 叫) = c t r ( a ) 性质9a 是一个对称m xv l 矩阵，b 是一个n x m 矩阵，则有 r r ( a b ) = t r ( b a ) 如果口= ( 口l ，) 。是一个疗维向量，那么其平方的范数为 i l a l l 2 ：口口：窆q 2 ：r r ( a a ) j 皇i 1 3 本文的主要工作 本文对一类半参数回归模型即部分线性回归模型，在误差为线性过程及声混合序列 两种情形下，分别利用权函数并综合最小二乘法、两阶段估计法及小波方法，得到了 7 和g 的估计夕和雪，并且在较弱的条件下，利用鞅差序列加权和的中心极限定理，证明 了夕和营的，一阶矩相合性，强相合性及渐近正态性。具体有以下几方面的内容： 一、第二章对固定设计点列下，误差为线性过程时的部分线性回归模型，首先利用 一般权函数并综合最小二乘法，得到和g 的估计夕和雪，接着对估计量的大样本性质 进行证明。主要包括：第一，对和g 的估计方法做以简单的介绍，并对本文要用到的 重要引理及相关性质进行扼要说明。第二，在参数是一维的情形下，利用鞅差序列加权 和的中心极限定理证明了估计量的r - 阶相合性，完全相合性，和渐近正态性。第三，把参 数的维数推广到任意自然数的情形下，用类似于一维情形的方法，证明了估计量的相合 性及渐近j 下态性。 二、第三章对不同分布的卢混合序列情形下的部分线性回归模型，运用小波方法， 首先得到未知参数和未知函数的估计量，然后对估计量的相合性进行证明。具体安排如 下：第一，引入声混合序列的相关定义及基本性质。第二，运用小波估计方法得到和 g 的估计矽和雪。第三，提出本章证明中用到的一些基本假设及重要引理。第四，对本 文的重要结果进行证明推理。 综上所述，本文主要对误差为相依情形时的部分线性回归模型进行了研究，与现 有文献中关于这方面的研究相比较，由于利用鞅差序列加权和的中心极限定理对估计量 的渐近正态性进行证明，从而使得定理中的条件更加易于判断，证明过程也大大简化。 8 第二章误差为线性过程时部分线性回归模型的估计 2 1 引言 由于部分线性回归模型兼具参数分量和非参数分量，因而比经典的线性回归模型或 非参数回归模型更具灵活性和适用性。基于对线性模型和非参数模型的研究经验，对部 分线性回归模型，人们研究的热点主要集中在对未知参数和未知函数g 的估计量的渐 近性质上，特别是对和g 的估计量的相合性和渐近正态性的研究。在独立误差情形下， 关于部分线性回归模型的研究，文献中已有大量深刻的结果。由于相依误差情形在实际 应用中大量存在，在这方面的研究有一定的实用价值，近年来已经取得很大成果，包括 鞅差误差序列情形部分线性回归模型的近邻估计；固定设计下部分线性回归模型中的相 合估计等。本章主要研究了固定设计下误差为线性时间序列时，部分线性回归模型的，一 阶矩相合性( ，2 ) 、完全相合性和渐近正态性。由于利用一般权函数法估计g 及引进鞅 差序列加权和的中心极限定理，从而使得相应结果的判断条件更简单易行，简化了结论的证 明。基于本文的相关结果，可以合理的选择模型中的估计量，并可得到估计量的大样本 性质。 2 2 估计方法及重要引理 2 2 1 估计方法 考虑固定设计下部分线性回归模型 艺f = 乞f + g ( ) + 气， 1 i 珂， ( 2 2 1 ) 其中0 r p ，r ，r q , 也，) 为固定设计点列，为未知参数，g 为r 叮中紧集彳 上的未知函数，为随机误差，设对每个刀1 ， 气，1 f ”) 与 缶，l f 刀) 同分布，这里 畿 是一般弱平稳线性时间序列，磊= 吩z 乙，f = 0 ，l ，2 ， 其中iz , ，c ) 是一个鞅差 = 序列，且 9 e ( z2 ) = o - 2 姒，川 o o ( 2 2 2 ) j 若视为已知，( 2 2 1 ) 可等价变形为 匕，- p 厶，= g ( 矗，) + ， i i s 刀 ，( 2 2 3 ) 于是基于( 乙，以，) 定义g 的估计 雪。( x ) = 雪。( x ，) = ( x ) ( 一o ) ， ( 2 2 4 ) 户l 其中( x ) = ( 而，) ，1 ，刀 令 磊= 匕一( 。) ；乙= o 一缈( ) 0 ；毛= g ( 靠) 一雪( 靠) + ， = lj = l 代入( 2 2 3 ) 得 由此得的s 估计 e ，= 乙+ 气，i = l ，2 ，刀 厦= 喜华， 其中砰= ；：i ：，由此得g 的最终估计 ( 2 2 5 ) 删全色胁丢n ( 坝一鼢 ( 2 2 6 ) 2 2 2 重要引理 引理l m 3 设 毛，- - o o 抗v 万 。i = 。， 贝0 l i m 晕翌x i 互色( ) 一g ( ) l = 0 n - 啼e o1 9 5 加 引理5n 9 1 设畿，e ；一 f o d ) 为适应的鞅差序列， ( 2 2 9 ) 比2 ，e ( 毒2l 巳。) = q 2 ， - - o o i o o ( 2 2 1 0 ) 。l i m s u p 。e ( 、毒2 州驴c 吣一) = o 跳 ( 2 2 1 1 ) ：一毛( 丹) 后岛( 玎) 为双下标常数列，其中毛( 疗) ，如( 挖) 非负，非降， 毛( 刀) + 后：( r 1 ) 一o 。， 则 证明记 如( 月) 舰。- - - k l ( e t l c 2 础吼2 = l 七2 ( 一) s u p c 2 破 月翻k - - k l ( n ) 煅叫( 麟：( 。) 川= o ，n _ 一屯扣净矗2 ( n ) t 2n ) 彘寺n ( o ，1 ) k = - k l ( n ) 免= 巳一屯( 。) 最一l 呐( 。) ，h ：= 一l _ 。( 。) ，吒- l f i ( n ) + k 2 ( ) + l ， 则对固定的n ， 厶，h ：) 为适应的鞅差序列，且 k 2 ( 月) 磊= k = - k i ( n ) 由( 2 2 1 0 ) ，( 2 2 1 2 ) 式知 对任一0 万) i k = - k ln ) ! 墨e 蚓 七2 ( 一) _ l k = - k , ( n ) 最一。) m a x 扫c , 止h州例刚卜hj 1 2 ( 2 2 1 2 ) ( 2 2 1 3 ) ( 2 2 1 4 ) 时 2 声j 、 e 免 厶乙榭 腑 2 芦j 、 ，fi e 量乙捌 免 ，、 ， 破 2 芦j 、 ，jl e 厶乙纠 于是由( 2 2 1 1 ) 、( 2 2 1 3 ) 式得 舰善e ( 手2 破刈缸i 万) jh 乜) = 。，伽，对任一。 盯l ， 再由引理3 知( 2 2 1 4 ) 式成立。证毕 推论设 毒，f ；- - 0 0 f a 。 为适应的鞅差序列，且满足( 2 2 1 0 ) 、( 2 2 1 1 ) 式， 巳。：1 七刀 为双下标常数列， 则 舰善，破吼2 - l ， s u p z c 2 础 0 贝u l i m e g 。( x ) 一g ( x ) i j = o ，x c ( g ) ，田 。 证明对x c ( g ) ，a 0 ，n h ( 2 2 1 ) 和( 2 2 4 ) 式知 j e g ( x ) - g ( x ) l 1 3 ( 2 3 2 ) ( 2 3 3 ) ( 2 3 4 ) 酉j e 左堂堡堂丝途塞 = 陋喜c 坝圪一。，】- g c x ) |i f z l l + 窆i = 1 味坝瓶) - g ) i ll 口) + i g ( x ) l k ( x ) 一1 i ， ，= l 扣l 由于x 为g 的连续点，所以v 占 o ，存在仃 o ，当l l x 一x 0 盯时，有k o ) 一g ( x ) i g ， 故当0 0 的任意性得 l i m e g ( x ) = g ( 工) ，工c ( g ) n + 记如= ( x ) ，由引理1 得 i = 1 e i g 。( x ) 一魄( x ) r = e l i ( x ) g ( ) + ( x ) 一( x ) g ( ) l 一一再 i ， i ，_ i扛i 扣l i = e i i 1 月 。 i ， i i = 1 t 。 l = e f 砉r 水弧i ，) 4 l ， l 矗= i 因为 互，e 是一个适应的鞅差序列，所以对固定的胁岛而l ， 1 4 ( 2 3 6 ) ( 2 3 7 ) e 陲c 碑心驴。) = 缸e ( 巩卜。) = 缸“ 所以偿j = l 味石，纠邪门卜一个鞅，从而蚓理2 知【j e i 卜c e ( ( x ) 琵) i 再由( 2 3 7 ) 和( 2 3 8 ) 式及m i n k o v s k i 不等式得 e l g ( x ) - e g ( x ) 1 7 r2i 【川( m ( ( z ) z t 2 k ) 三阡】7 1 n 2i 【川( 妒( 玩( x ) ( e i 陟) j 】， ( 2 3 8 ) c s u p e l z ，r ( k i ) r ( ( x ) ) i ( 2 3 9 ) 1 2 i 七= i = i 从而由( 2 2 2 ) 和( 2 3 2 ) 式知 l i m e l g 露( x ) 一e g ( x ) l = 0 n ( 2 3 1 0 ) 由q 不等式知 e l g ( x ) 一g ) i 7 2 1 e i ( x ) 一e g 打( x ) 1 7 + l ( 功一g ( 刮， ( 2 3 11 ) 于是由( 2 3 4 ) ，( 2 3 1 0 ) 和( 2 3 1 1 ) 式得( 2 3 4 ) 式证毕 定理2 3 2 设引理4 及下述条件满足，且存在2 使 吲 ( i n l i m m 眺a x 。e 研i 占, 哺= 。； l i m m a x 碾r 蹬( j - z ( 删i = o 则对，= r o 2 有 1 5 酉i s 叁堂壅堂丝途耋 i i ， ! 骢e l 尾一l = 0 ( 2 3 1 2 ) 霉毛，暑( g ) 一包“) ) 证明 尾一= 爷+ 上l 百了一 垒 + 厶 u u 打 由c r 不等式知 e 陋一吖 2 ，一1 ( e m + e m ) 再由引理4 及m i n k o v s k i 不等式， 吼l ， o 贝0 。l i ，m 。eg ( t ) 一g ( t ) 1 7 = o ，c ( g ) 如果魄，( f ) 还满足 i ( f ) l 0 ，由( 2 2 1 ) 和( 2 3 4 ) 式知 i e g ( t ) - g ( t ) i = e 2 c o i ( i = i 唢儿一x ? 俐_ g i l 1 7 酉j 基盔堂亟堂丝诠窑 = 陲i = l 啪眺心lll - o ，存在盯 o ，当肛一f 0 仃时，有k ( f i ) 一g ( ，) f f ，故 当0 0 的任意性得 l i r a 艮。o ) = g ( f ) ，t c ( g ) 一 记岛= c ( t ) z i _ i ，由引理1 得 e i g , ( t ) - e g , ( t ) 1 7 = e i ，( f ) g ( ) + ，( ，) 一，( ，) g ( r i ) l r l 疗 一 井i i = 1 i - - ! i = ll = e i ) 巩i ih l ， i f = l上= l = e l k 艺= - - 。rij 匡似刚r 因为 z ，c 是一个适应的鞅差序列，所以对固定的胁岛而l ， 1 8 e ( 杰i * l ( r 澎_ k 产。h ) ， = 善j - i ( ，皿一。( x ) e ( z f 一。l 曩川h ) 所以e ( 窆j = l 鸭，( ，澎一。i 反一h ；z 疗) 是一个鞅，从而由弓，理2 知 ， e 卜c r ( 2 ( f ) 琵) i 再由( 2 3 7 ) 和( 2 3 8 ) 式及m i n k o v s k i 不等式得 e i g 疗( t ) - e g 。( f ) l r r h 2i f 川( 矿( ( t ) ( e 1 陟) i 】7 k - - - - i - - l nr d s u p 脚e i z , 1 7 ( i i ) ，( ( ，) ) j ( 2 3 1 3 ) t = i = 1 从而由( 2 2 2 ) 和( 2 3 2 ) 式知 。l i m e l g c t ) 一( ，) | ，= o 由q 不等式知 e i g ( ，) 一g ( ，) i ，2 7 e i g 订( ，) 一e g 疗( f ) 1 7 + l e g 一( f ) 一g ( f ) l ， 于是由( 2 3 4 ) ，( 2 3 1 0 ) 和( 2 3 1 1 ) 式得定理2 3 4 的结论成立。证毕 对任意占 0 ，由m a r k o v 不等式及( 2 2 3 ) ，( 2 3 1 ) 和( 2 3 4 ) 式得 喜尸( 鼬) 一艮驯 占) e e l g ( t 厂) - e g ( t ) l rs 寸c 缶hl i 缶, , 嚷( ，j x j o o ， 此式表明岛( f ) 一酝( ，) 完全收敛于零，由于( ，) g ( ，) = 岛( ，) 一( ，) + ( ，) 一g ( ，) ， 于是结合( 2 3 4 ) x - - g ( t ) 完全收敛于g ( r ) 。证毕。 1 9 口 “ 乙 、l ，“：， 盆己州 l l r! 尸二r 2 hz o 。问 e ty 。 一 记( 2 3 1 ) 中的设计矩阵为只，= ( 屈，岛) ，t = ( 只，见) ，假定n 充分大时 只满秩，则的基于前n 次测量值