非线性时间序列

1、第六章时间序列的平滑6.1 引论上一章我们引进非参数函数估计的基本概念，现在将它应用到时间序列别的重 要平滑问题上对估计慢变化时间趋势，平滑技术是有用的图示工具，它产生了时 域平滑（§ 6.2）.对将来事件和与之相联系的现在与过去变量之间的关系的非参 数统计推断导致了 §6.3的状态域平滑.§ 6.4引入的样条方法是对§6.3引入的局部多项式方法的有用替代这此方法能够容易地推广到时间序列的条件方差（波 动性）的估计，甚至整个条件分布的估计，参阅§6.5.6.2 时域平滑6.2.1趋势和季节分量分析时间序列的第一步是画数据图 .这种方法使得人们可

2、以从视觉上检查一 个时间序列是否像一个平稳随机过程.如果观察到趋势或季节分量，在分析时间序 列之前通常要将它们分离幵来.假定时间序列YJ能够分解成Y 二 ft st Xt，（ 6.1）其中ft表示慢变函数，称为“趋势分量”，st是周期函数，称为“季节分量”，人是随机分量，它被假定是零均值的平稳序列.在使用这种分解之前，可以先用方差稳定变换或Box-Cox变换.这类幂变换有如下以参数为指标的形式u ,' - 0,g（x）（ 6.2llog（u）,丸=0,或具有在=0点处连续的变换形式g（u） =（u' -1）/ .这类变换由Box和Cox（ 1964）给出.注意，由在幂变换中数据

3、必须是非负的，因 此，在使用幂变换之前，可能必须先实施平移变换.我们的目的是估计和提取确定性分量ft和s.我们希望残差分量Xt是平稳的，且能够用线性和非线性技术做进一步的分析.通过推广Box和Jenkins （ 1970）而发展的一个替代方法是对时间序列Yt重复应用差分算子，直到被差分的序列表现为平稳为止.这时，被差分的序列可以进一步平衡时间序列技术来处理.作为说明Box和Jenkins方法的一个例子，我们先取S&P500指数的对数变换，然后计算一阶 差分.图6.1给出了这个预处理序列.所得序列基本上是该指数中变化的每日价格 的百分比.除了几个异常值（即1987年10月19日20.47

4、%的市场崩盘，金融市场 称之为“黑色星期一”）外，这个序列显示出平稳性.这个变换与金融工程中常用 资产定价的几何布朗运动模型的离散化有关.图6.1 1972 年1月3日至1999年12月31日（上图）和1999年1月4日至1999年12月31日（下图）S&P500指数对数变换的差分我们首先把注意力集中在没有季节分量的情形，即Yt =ft Xt，EXt =0.（ 6.3）然后，我们再在§6.3.8中估计趋势和季节分量.6.2.2 滑动平均平均是最常用的消除随机噪声的技术.假定趋势是慢变化的，使得其能够在大小为h的局部时间窗中用常数来逼近，即Yt i :- ft Xt P h 叮

5、乞 h .（ 6.4）这时ft能够用该窗周围的局部平均来估计：hft =（2h+1）七 Y*，（ 6.5）随着中心t的改变，局部窗也在移动.例如，在图6.2中，t=50处h=20所得的估 计是落在第一个窗内的那些数据的平均.窗的中心移动到新的点处以构成在这些点处的估计.随着局部窗从左向右滑动，它的轨迹就是所得的滑动平均曲线.这是滑动平均平滑的最简单的例子.它常常被用来验证时间序列的趋势.图6.2描绘的 是从1999年1月4日到1999年12月1日S&P500指数一个月和两个月的滑动平均.图6.2 1999 年1月4日至12月31日S&P500指数和它的21个交易日（粗线）和41

6、个交易日（虚线）的滑动平均在边界处，滑动平均估计的习惯做法是忽略超出观察时间范围的那些数据.例如，f2是用数据Y, ，丫2h的平均所得的简单估计（时间点2右边的数据比左边更多）. 这种不对称平均可能会产生边界偏倚.当边界处趋势陡峭且带宽又大时，这种边界 效应更为明显.正如图6.2所示那样，在右边界处的滑动平均低估了趋势.该问题能够通过使用局部线性平滑.（参见§ 6.2.6 ）或别的边界改善方法，比如，边界 核方法（Gasser 和 Miller 1979 ; Mdler 1993 ）和数据削尖方法（Choi, Hall 和 Bousson 2000 ）来减弱.滑动平均数列（6.5 ）

7、利用了时间t周围两边的数据.这样它还依赖于时间t之 后的数据.为便于预报，单变滑动平均数列*hft 二h" YtU（6.6 ）i珀也常被用来验证时间趋势.数列仅用直到时间t-1的过去的数据.6.2.3 核平滑滑动平均估计的一个改善方法是引进一个加权设计.这允许对所给时间点附近的数据给予较大的权数.这也就得到了核回归估计，定义为t t喑YK（护（6.7 ）h壬K （口°）h这个估计还被称为 Nadaraya-Watson 估计.参阅 Nadaraya（ 1964）和 Watson（1964）. 当我们使用均匀核K（u） =0.51 （| u |兰1）时，上述核估计就变成滑动平

8、均估计 （6.5 ）.当核函数有有界支撑1,1时，核回归估计就是一个局部（2h 1）数据的加权平均.当核 K（t）是模在零点的单峰函数时，t。附近的数据点获得更多的权 一般地，核函数不 要求有一个有界的支撑，只要它薄尾的（如它是一个有二阶矩的密度函数） K的非负性要求还能被减弱带宽h也不必是整数.注意，在高斯核定义中的标准化常数和核的对称Beta族只是用来保证函数 K是一个概率密度函数.在核回归估计中它们并不起作用.在计算时，我们常常标准化 各种核函数使得它们如图5.2那样有相同的最大值1.由于这种标准化，（6.7 ）可以直观地理解为 寸K（t-t°）/h数据点的有效平均.当核函数有

9、在（-：,0）中的支撑 时（这样的核还可看作是单边核），核回归估计所使用的数据仅到时间t0-1.这是单边滑动平均（6.6 ）的推广.如同在核密度估计中那样，在核回归估计中带宽h是一个重要参数.如同在图6.2中所显示的那样，大的带宽 h产生过度平滑的估计，遗漏趋势和所估计的峰和 谷的度量上的一些可能的细节.特别地，当使用大的带宽时，估计可能产生大的偏 差.当使用小的带宽时，仅有几个局部的数据被使用，降低了估计的方差，却导致 所得估计是一条波动的曲线.例如，用带宽h=0，滑动平均估计（6.5 ）简单地复 制原始数据.为了得到满意的结果需要反复尝试和修正.带宽的数据驱动选择能够帮助我们确定所要的平滑

10、度.正如在§ 6.2.9所看到的那样，渐近方差本质上依 赖于所研究的过程的相关结构.因此，针对独立数据的由数据驱动选择的带宽在时 域平滑中效果不佳.实际上，Altman （ 1990）， Chu和 Marron （1991a）以及 Hart（1991）指出，对相依数据，通常的留一在外（leave-one-out ）交叉核实方法效果不好.这些作者提出了几个修正的方法.对带宽选择的嵌入方法由Ray和Tsay（1997）以及 Beran 和 Feng（ 2000）提出.以上考虑能够通过计算核回归估计的偏倚和方差得到理解.经过直接计算，在模型（6.3 ）下，核估计得偏倚为t _t壬(ft -

11、ft°)K(r)Eft0hK(- 5)h它不依赖于误差过程.它实际上是一个逼近误差 .当带宽取得小时，逼近误差ft-代小，从而偏倚也小.另一方面，当h取得大时，大多数逼近误差ft-ft°是大的归因于t和t0间的距离是大的，因此，偏倚可能是大的.这个线性估计的方差还能够被计算.令X（t）是过程X （t）的自协方差函数，则T TVar（仏）八 ' x（|i - j |）WiWj .（ 6.8 ）i =i jm该方差依赖于自相关函数.进一步简化需要渐近分析.我们将在§ 6.2.9中讨论. 在那里我们将看到当k：时方差X（k）的渐近行为.但我们现在可以指出，当带宽

12、 小时，核平滑的方差增大，这归因于在局部领域中数据点数太小的缘故6.2.4 核平滑的变种核平滑有许多变种.（6.7 ）中的分母对相对于t求导数和数学上的分析是不方便的代替用核函数的高度作为权，我们还可用核函数下方的面积作为权由于核函数下方的总面积是1,分母不需要这就是隐含在Gasser-M Uler估计中的基本 思想.在现在的框架下，令 色二 1)/2(t =1,|(,T-1)，其中=二和可=：玉.Gasser 和Miller(1979)提出了以下的估计：T sft。八 s Kh(u -t°)duYt .由于总的权T soo' s Kh(u -to)du 二_Kh(u -to

13、)du =1 ,所以没有分母.Gasser-M ller估计是对Priestley 和Chao (1972)早期版本的一 种修正.Priestley 和Chao ( 1972)给出的估计定义为Tft。八 Kh(t-t°)Y .这个估计简单地去掉了Nadaraya-Watson估计的分母.通过积分和变量变换逼近黎曼和，对适当选择的h，我们得到总的权TT(T _to)/h、Kh(t -toH . 1 Kh(t-t°)du 二工°)/hK(u)du，11 0如果to不太接近边界，且h相对于T小，并使得(to-1)/h和(T-to)/h大，则上述积分 近似地等同于.；K(

14、u)du =1.事实上，只要K的支撑限制在区间低1)/h,仃-to)/h内，等式就精确地成立.换 句话，对不在边界区域的点to，总的权近似于1.以上观点依赖于设计点为等间隔 的.事实上，Priestley 和Chao估计仅能用于等间隔情形.它不能用于§ 6.3所讨 论的状态域平滑.6.2.5 滤波核回归是用于工程的卷积滤波的一种特殊形式.一般地，一个长度为2h - 1的线性滤波定义为hft - a wYt i .(6.9 )当K有支撑-1,1时，核回归对应Wi =K(i/h)J + K(j/h).滤波能够被设计为拥有各 种性质.例如，它能够被设计成可以去掉高频信号(低通滤波)，或低频

15、信号(高通滤波)或超出某个频率范围的信号(带通滤波)；见§ 2.3.3.核平滑是一种低通滤波.线性滤波变换可以用递推方式来定义.例如，单边滑动平均ft可以对某个b 1，利用下式来定义ft =bY +(1-b)f, t=2,HI,T，这等价于用YJH,Y的如下的加权滑动平均：ft =bX+b(仁 bd+lll+b(仁 b+b(仁 b)tY.由于权以指数速度快速衰减，以上滤波实际上仅用了时刻t附近的局部数据.平滑的有效性依赖于参数b.这种方法称为指数平滑指数平滑是用hjb的Kh(x)x|(x_0)的一种特殊的核平滑.这是一种单边平滑.它仅使用直到现大时刻t的数据.关于这方面内容的进一步讨

16、论可参见Gijbels、Pope 和 Wand( 1999).6.2.6 局部线性平滑局部常数逼近(6.4 )能够通过使用局部线性逼近来改善.我们把趋势£通过如 下线性函数局部地近似为i的函数Y ftft(i -t) Xi, |i 甘.这样，ft就近似地看做上述局部线性模型的截距.可见图6.3中时刻t=200处的图示.窗内的数据用一个线性回归来拟合.对局部窗附件的数据用最小二乘方法，我 们通过相对于a和b极小化下式可得到局部截距的估计T2' Y-a-b(i -1) Kh(i -t).i吕这里引进核权是为了减少距离给定时间点t较远的数据的贡献.令at和bt是最小二乘解.这里用下

17、标t是为了表示所得的解依赖于给定的时间点t.这时，ft用局部截距at来估计，它有如下的精确表示TTft =a八 wt"广wt,i, wt-©(i -以目上-红")和(切，(6.10)i £i A其中Sr,j(t)=£：4Kh(i -t)(i-t)j .当t从1取到T时就得到整个趋势函数.这样，局部 线性平滑实际上是一种移动线性回归方法.正如图6.3所示那样，在t=80处的估计由一个新的局部最小二乘问题得到.在每个数据窗中拟合的直线用实线表示.估计的局部截距的值位于虚垂直线和局部直线的交叉处.局部斜率是时间趋势导数的估计.此外，这些局部窗还可以互

18、相重叠(见图 6.2). S-Plus 函数“ lls.s ” 已写成程序差可用于计算图6.3中的平滑曲线.这个S-Plus函数能够从本书的网址获得.图6.3 使用Epanechnikov核和带宽h = 20所得的1999年1月4日至1999年12月31日S&P500指数局部线性拟合.在每个窗中的虚抛物线表示每个局部数据点所得的权局部线性平滑能够很容易地堆广到局部多项式平滑.局部多项式拟合和它的应用的全面介绍可参阅 Fan和Gijbels (1996).局部多项式拟合的优点总结在 § 6.3.3中.注意，(6.11 )中的权wt,i满足T、wt,i(i -tSr,1(t)Sr

19、,2(tSr,2(t)Sr,1(t0.(6.11)i £这就蕴涵了如果趋势是线性的，f：r 1，则局部线性平滑是无偏的：TTEft= Wt,。i + P)/壬 WtjUGt + P.i =1i#换句话，无论趋势函数多以陡峭，只估计线性趋势时，局部线性平滑就是无偏的这 对在内部以及边界处的点t的同样成立也就是说对于估计陡峭趋势，局部线性估 计将有小的偏倚另一方面，因为类似于(6.11 )的方程即便是近似地也都不成立， 因此，对估计边界区域附近的点估计陡峭趋势，核平滑将有较大的偏差627其他的平滑方法核局部线性平滑有许多别的方法.例如，Gasser和Muller (1979)使用了不 同

20、于核和局部线性平滑的权形式， Jones ( 1997)介绍了局部线性平滑的各种形式. Fan和Gijbels (1996)给出了各种平滑技术的概述，包括样本和正交级数方法.核回归和局部多项式建模是基于在许多格子点上的局部近似.诸如样条这样的全局逼近方法还能够用于对时间域的平滑.这些思想将在关于状态域平滑的§ 6.4中介绍.对诸如时域平滑这样的等间隔设计，正交级数方法也非常容易使用.其基本思想是先用正交矩阵对数据进行变换，然后，在高频点向零点有选择地调整系数(或 向零点收缩它们).平滑估计能够通过tapered系数的逆变换来获得.常用的正交 变换包括傅里叶变换和小波变换.它们的统计应

21、用可参阅Ogden( 1997 )、 Efromovich (1999)和 Vidakovic (1999)等近期出版的专着.6.2.8季节分量修正有许多实用的修正季节分量的方法.在此我们概要地介绍一个方法以说明其 基本大意.假定(6.1 )中的季节分量的周期是p，即p2 jp = sk,二.sk = 0 .(6.12)k=1后一个约束是一个可识别条件.若此约束不成立时，只要加一个常数到趋势分量ft，并在季节分量修正中减去相同的常数.归因于约束(6.12 )，当p是一个奇数时，趋势能够方便地用具有h=(p-1)/2的滑动平均(6.5 )来估计.在(6.5 )中季节分量 平均掉，因而对趋势估计没

22、有贡献.当周期p是偶数时，用如下稍加修改的形式估计趋势ft=(0.5Y丄III Y d<0.5Ytd)/p, d 二 p/2.季节分量能够按如下步骤来估计.就一个例子来说，我们假定要处理的月度数据， 且周期p =12.在3月的季节分量的值能用在3月所得一切观测值的移去趋势分量后的平均来很好地近似.这就得到估计(TA-k)/psk 二、(Yk jp 一 fk jp)/(T -d -k)/ p -(d -k)/ p 1，j 老d A)/ p 1其中a表示a的整数部分，d二p/2.在上述求和中对上下限所作的限制是为了保证数据不要太接近边界使得在趋势估计中边界影响达到最小这种初步估计可能不能精确

23、地满足约束(6.12).但这能够容易地通过用下式估计季节分量$来作修正*d *Sk =Sk -d 八 Si , k =1,|( , p i 4以上方法还被用于没有趋势分量ft的情形在这种情形，不需要移去趋势，即令 ft =o.6.2.9理论概况*问题(6.3 )的理论表述应该得到注意.一个简单的方式是把所得的时间序列Yt看作是来自如下连续过程的离散化样本路径这种表述常常被用在金融时间序列建模中.时间单位通常取年，每星期数据被看作 是以厶=1/52的速度抽自连续过程.对金融中的期权定价和风险管理，这种表述是 非常有效的.然而，在时域平滑方面，这种述有一些缺点.首先，为了能够相容地估计f(t)，我

24、们需要在给定的时间to的周围用大小为h > 0的窗局部化数据.但是， 只要过程X(t)是连续的，所有的局部数据Y(t)t t°_h都是高度相关的，且当h > 0 时，相关系数趋于1.这就蕴涵了局部数据变化不大，因而也就不需要局部平滑.正如在图6.2中所看到的那样，局部数据变化很大，局部平滑就能改善趋势估计.这样，以上表述从理论的观点来看似乎是病态的.其次，在以上的表述下，趋势f(t)和随机误差X(t)有相似的光滑度(两者都是连续的).因此，在Y(t)中没有希望将随机部分与趋势部分分离幵来.一个代替的表述是推广等间隔设计的非线性回归模型到时间序列框架.假定所得到的时间序列是

25、来自模型Yt 二 g(t/T) Xt, t =1,|I(,T,(6.13)其中g是平滑时间趋势函数，Xt是随机过程，EXt=0.在这种表述下，我们现在 能够利用平滑技术从随机噪声中分离出平滑趋势.一个小的缺点是平滑趋势f(t)二g(t/T)依赖于观测数量T.这个问题早就出现在具有固定设计的非参数回归文 献中.实际上它不是一个严重问题.渐近理论毕竟只是一个工具，为我们理解理论 性质提供简化的结构.用g(t/T)建模趋势是捕捉趋势比噪声变化更慢这一特征的简 单的技术手段.在以上两种表述之间选择哪一个依赖于所研究的问题.在纵向数据和泛函数据分析中，Hart和 Wehrly( 1986)以及Silve

26、rman ( 1996)基本上是用前一种表述： 人们通过模型Y(t)二f(t) X(t)观测到大量独立序列.这种表述对他们的问题是适合 的.对时域平滑，模型(6.13 )常被假定.例如见Hall和Hart( 1990)，Robinson(1997)，以及Johnstone和Silverman ( 1997).这就保证了能捕捉到时间趋势比 随机噪声更光滑这一特征.进一步，它也保证了能相容地估计时间趋势由公式(6.13 )能够获得核和局部线性平滑的渐近性质.估计g的偏倚与具有均匀设计的独立样本情形是相同的.核和局部线性平滑的方差经繁琐的计算也可得到.它们依赖于噪声过程XJ的协方差结构.一般地，我们

27、假定XJ的自方差函 数满足x(k)二Cov(XXt k)Cxk= k:，(6.14)其中:0, Cx是常数.在2.5.2中定义的分式ARIMA过程就满足(6.14).我们将 估计(6.10 )重写为g(t/T).对任何u =t/T (0,1)，使用EY二g(i仃)和(6.11 )，我们得到偏倚Eg(u) - 盹)二5皿)讥)(i/TU)T-i 4WTu,i(6.15)注意，这个偏倚不依赖于误差过程X(t).它完全是局部线性拟合的近似误差为理论叙述的简单，我们假定K有有界支撑.这个假定可以冗长的叙述为代价而得到减弱.特别地，可以使用像高斯核这样的轻尾核.由j表示.：vjK(v)dv.在下面的定理

28、中我们总结了渐近偏倚和方差，定理的证明放在§6.6.1.注意,由于时间单位的尺度，h/T和用在一般的非参数回归中的带宽是相同的定理6.1 假定K有有界支撑，满足40(K)=1和已(K)=0，且当h/TT0时，带 宽 hr-'.(a) 如果g()存在，且在点u处连续，则1 32Eg(u)-g(u)2(K)g (x)(x/T) o(h/T).2(b) 如果自方差函数x满足(6.14 )，我们有Cx "K(x)K(y)|x yldxdyh, 0<口 <1,Varg(u)二 2Cx |K |； h'log( h),：=1,( 6.16 )卜lx(j)|K

29、|；h二« >1.定理6.1表明，过程Xt的协方差结构对渐近方差有强烈的影响.反过来这也影响到渐近最优带宽，并解释了为什么独立数据的数据驱动带宽选择不能直接应用 到相依数据.对核估计的类似于定理 6.1的结果由Hall和Hart( 1990)证明.最近，这些 结果被Beran和Feng(2000)用不同于§ 6.6.1给出的方法推广到局部多项式拟合 . 他们还证明了对anti-persistent过程，渐近方差具有阶hd.局部线性估计的渐近正态性也可以被建立.如果误差过程Xt是高斯的，则它的加权平均估计(6.10 )还是高斯的.这样，局部线性估计的渐近正态性直接由定

30、理6.1得到.此外，在正态假定下，Cs?rg?和Mie In iczuk( 1995 )建立了类似于定理5.4的最大偏差的渐近分布.然而，对Xt的正态假定并不是本质的.正如在Robinson (1997)中所证明的那样，这个条件可以去掉.我们在此概要地叙述用于 本章的技术令;J是相对于它自身匚域的鞅差序列，即 假定 Xt是一双边无穷阶滑动平均过程： 且 f是一致可积的，并满足它是鞅差序列的和.ToOTS' =送 WT,tXt =送 | X WT,tat引， yjqjyj由鞅的性质，oO / oOfVar(Sr)=瓦 iZ wr,taj |，假定这个方差存在.Ibragimov 和 Li

31、nnik下面的定理由 Robinson( 1997)给出.类似的结果还可在(1971)中发现.分式ARIMA过程满足这三个假定.考虑加权和定理6.2在上面所述的条件下，倘若Tmax£ wr,tat4 j t=i= o(Var(Sr)/2)，则有/2DVar( Sr)Sr' N(0,1).对于局部线性估计(6.10)，易见这时渐近正态性变为验证定理6.2中所叙述的条件.我们略去细节 6.3 状态域平滑6.3.1 非参数自回归状态域平滑与非参数预报密切相关.考虑一个平稳时间序列Xt.为了简单起 见，我们考虑仅基于变量 Xt4的预报基于Xtv二x的Xt的最优预报是给定 Xt_i =

32、 x 时，Xt的条件期望m(x)二 E(Xt |Xt4严x)，它在所有的预报函数g中极小化MSEEXt -g(Xt)2.这个函数还称为阶为1的自回归函数.当Xt是零均值平稳高斯过程时，这个条件 均值是线性函数m(x)=ax，条件方差是常数.这就得到一个AR (1)模型X t 二 aX t j ；t.一般地，函数m(x)不必是线性的，条件方差也不必是常数.然而，总是能够以如下方式表示数据Xt =m(Xtv) ；(Xt4)；t，(6.17)其中匚2(x) =Var(Xt |Xt4、=x).这里，；t的条件均值为零，条件方差为1,即卩E( ；t |XtG =0, Var( ；tX) =1.非参数平滑

33、技术还能够用于包括自回归函数的估计以外的领域考虑一个双变量序列（Xt，Yj：t=1, ,T，它可以被看作是来自平稳过程的一个实现 我们的兴 趣是估计回归函数m（x） E（Yt|Xt=x）.为便于对问题的理解，我们记Yt 二 m（Xt） ；（Xt） ；t，（6.18）其中 b2（x） =Var（Y |Xt =x）,呑满足E（ ；t |Xt） =0, Var（ ；t |Xt） =1 显然，这个结构包括通过取 Y=X而把估计的自回归函数作为一个特定的例子下面是三个有用的例子例6.1 考虑平稳时间序列Zt 对给定的k，我们取Yt=（Zt）k, Xt二乙.则目 标函数变为mk（x） = E（Ztk|Z2

34、 = x）条件方差可以通过用 m2（x）-mi（x）2来估计特别地，当mi（x）小得如例1.1中所给的 利率差分数据，m2（x）基本上就如同条件方差换句话，对下面图64中所给的数据， 均值回归函数是波动函数的平方二（x）- Var（Xt|Xt匸x）这就是由Stanton （ 1997）以及Fan和Yao（ 1998）所给出的波动估计的基础图64 对12个月国库券回报用局部线性拟合估计条件方差 （a）具有Epanechnikov核和带宽索h=3.06的局部线性拟合的图示；（b）估计条件标准差用局部线性拟合（实曲线） ，Fan和Yao（ 1998）的基于残差的方法（短虚曲线）和具有:-0.143和

35、-1.324的参数模型；（x） -X-（长虚曲线）例6.2再考虑平稳时间序列Zt.我们取Y = l（ac Ztb），它是区间（a,b上的示性函数，Xt二乙.则目标函数变为m（x）二 P（a ： Zt _ b | Zt=x） 特别地，如果a - - ：，我们就得到条件分布估计进一步，如果a二y - ：和b = y， 则当取值小时，m（x）/（2J基本上就如同给定 乙二二x时乙的条件密度这个条件密 度函数对了解给定Zt二x时Zt分布的全貌是非常有用的特别地，自回归函数是这 个分布的中心，波动函数是这个分布的扩展.这个思想形成了Fan、Yao和Tong（1996）估计条件密度（§ 6.5）

36、和与它们相关的泛函 （§ 10.3），以及Hall，Wolff 和Yao（ 1999）估计条件分布函数（§ 10.3），Polonik 和Yao（ 2000）估计最小量 预报区域（§ 10.4 ）等所用方法的起源.例6.3 对给定的时间序列Zt，多步预报能够通过令 Yt二Zt -d和Xt二乙来完成， 其中d是预报步长数对这种情形，我们用非参数方法，基于变量乙来估计最优d步 预报m（x） =E（Zt d |乙=x），下面的图6.6画出了山猫数据的一步和两步预报.把这个方法和例6.1和例6.2中的技术结合起来，我们能够估计多步预报的条件方差和条件密度6.3.2局部多项

37、式拟合局部多项式拟合是一个用途广泛的非参数技术它拥有多种好的统计性质关于这些内容可参阅 Fan和Gijbels ( 1996).令m(v)(x)是定义在(6.18 )中的回归函数v阶导数.局部多项式技术可非常方 便地用来估计m(v)(x)，包括回归函数本身 m(x) = m(0) (x).由于回归函数的形式没有 被指定，因而距离xo远的数据点对m(xo)提供了很少的信息.因此，我们只能使用xo 附近的局部数据点.假定m(x)在xo点处有(p 1)阶导数.由泰勒展幵，对xo局部邻 域的x，我们有-III 也尹(x_x°)P O(x-X0)p1.( 6.19)p!在统计建模方面，对X。周

38、围的局部点，我们建模 m(x)为pm(x) ： ' ：j(x-X。).(6.20)j 乂参数打依赖于xo，故称之为局部参数.显然，局部参数 =m(v)(xo)/v!.用局部数 据拟合局部模型(6.2o )可极小化TPY -'(Xt -x°)j2Kh(Xt -沧)，(6.21)t 吕j=o其中h是控制局部邻域大小的带宽作为一个说明的例子，我们取Yt=(XXt)2，其中Xt是12个月国库券回报.带 宽为h =3.06，它是由预渐近代入法(见§6.3.5 )用C-程序“ lls.c ”计算得到的.在X。=12点处(百分数)，线段(p=1)用来拟合在阴影区域Xo_h

39、中的局部数据，在 此对每个数据，权用虚曲线(对应于Epanechnikov核)表示.在xo点处局部截距q 是拟合的线段和垂直线段间的交点.这就构成了在点xo =12处的回归函数(v = 0)的估计.沿着水平轴滑动这个窗，我们就获得在区间3，14上要估计的曲线.条件标准差被展示在图6.4(b)中.基于残差来估计条件方差的方法由Fan和Ya(1998)提出，其计算通过 C程序“ autovar.c ”来实现(还可见§ m(x)=x '常被用来对生 产率动态的波动进行建模，它用长的虚曲线表示 .正如人们所看到的那样，在参数 和非参数方法之间还存在本质差异，这对参数拟合是否合适提出了

40、疑问.选择带宽预渐近代入方法由Fan和Gijbels ( 1995)提出，见§用 jj =0,川，p，表示最小二乘问题(6.21 )的解.m(v)(xo)的局部多项式估计 是mv(Xo)=v!Pv(v=O,1,ltl,p).这里，我们不用记号m(v)(xo)是为了避免由估计回归m(Xo)的v阶导函数所带来的混淆.事实上，导数m(x)是用局部斜率来估计，而不是用估计的回归函数的导数来估计.当p=0,局部多项式拟合退化为该回归估计m(x)二它还被称为Nadaraya-Watson估计.因此，从局部逼近的观点来看，核回归估计是 基于局部常数逼近的.见(6.19 ).使用矩阵记号来表示局部多

41、项式回归更为方便 .用X表示相应于(6.21 )的设计矩阵:1 （XX。）川（XX0）PX =：:J （Xt-X。）川（Xt-Xo）P且令“1、+<Yr >,B =1则加权最小二乘问题（6.21 ）能够写为min（y-X ' ）t W （y-X J ,（6.22 ）其中=C°，IHp）t，W是对角矩阵，它的第i个元素为Kh（Xi-Xo）.解向量为=（XtWX 尸XtWy .（6.23）为了实现局部多项式估计，我们需要选择阶p，带宽h和核K.当然，这些参数相互关联.当h：时，局部多项式拟合就变成全局多项式拟合，阶p决定模型的复杂性.与参数模型不同，局部多项式拟合的复

42、杂性主要是由带宽来控制.因此，p通常是较小的，故而选择 p的问题就变得不重要了 .如果目的是估计m（v），则当 p-v是奇数，局部多项式拟合自动修正边界偏倚.进一步，当p-v是奇数，与p-1阶拟合（则P-v1是偶数）相比较，p阶拟合包含了一个多余参数，但没有增加估 计m（v）的方差.不过这个多余参数创造了一个降低偏倚的机会，特别是在边界区域.见 Fan（ 1992）、Fan 和 Gijbels （ 1992）、Hastie 和 Loader（ 1993）、Ruppert 和 Wand （1994）.因为这些理由，奇数阶拟合（选择p使和p-v是奇数）比偶数阶拟合（选 择p -1使得p -v是偶数

43、）更好.基于理论和实际的考虑，在Fan和Gijbels （ 1996）中推荐阶 v 1.如果主要目的是估计回归函数，我们使用局部线性拟合，如果目标函数是一阶导数，我们就使用局部平方拟合，等等.另一方面，带宽h的选择在多项式拟合中起着重要作用.太大的带宽引起过度平滑，产生过大的建模偏倚，而 太小的带宽会导致不足平滑，获得受干扰的估计.带宽可由使用者通过目测检查所得到的估计曲线来主观选择，或由数据通过极小化的估计理论风险来自动选择（见 6.3.5 ）.由于估计基于局部回归 （6.21 ），我们有理由要求一个非负权函数K. Fan,Gasser, Gijbels, Brockma nn和 En ge

44、l （ 1995）已证明，对所有 p 的选择和 v，最优权函数是K（z）二色（1 -z2）.，它被称为Epanechnikov核.这样，它是一个万能的加4权方式，并对比较其他核提供了一个有用的基准.正如在5.5所证明的那样，对实际中使用的p和v,其他核具有几乎相同的有效性.因此，核函数的选择并不是至 关重要的.将局部多项式估计与其他估计进行比较，包括Nadaraya-Watson估计、Gasser和Miller 估计和Priestley 和Chao估计.实际上，由Fan（ 1993a）可知，局部线 性拟合在所有线性估计中是渐近最小最大的，而在所有可能的估计中几乎是最小最 大的.这种最小最大性质

45、由 Fan，Gasser，Gijbels ， Brockmann 和 Engel （1995）推广到更一般的局部多项式拟合633局部多项式估计的性质整个这一节中，我们假定(Xi,Yi),|H,(Xt,Yt)是平稳序列.令Fik是有随机变量 ( Xj,Yj), 1 G乞k生成的事件的匚域.令：(k)和门k)是它们相应的：和混合系数. 用evi表示单位向量，其(vi)位置的元素为1.令TStj 八 心区-x°)(Xt -x°)j(6.24)y和St = XT WX是(p 1) (p 1)矩阵，它位于(i,j)的元素是 “i.j?首先，我们容易证明估计能够写为氏=eT屛上 WjY

46、t，(6.25)y I h丿其中有效核Wj是核K和一个多项式函数的乘积，其定义如下Wj(t) =eLsF1,th,川，(th)pT K(t)/h .(6.26)以上表达式显示除了“核” WVT依赖于设计点X1, ,Xt和位置X0夕卜，估计看起来就像传统的核估计.这就解释了为什么局部多项式拟合能够自动地适应各种设计 框架和边界估计.图6.5给出了局部常数拟合(p=0)的有效核函数和对Epanechnikov核K在点x° =0.05和x -0.5处的局部线性拟合(p=1).它们满足如下 矩性质.图6.5 对局部常数拟合(P =0)和具有核K为Epanechnikov核的局部线性拟合(p

47、=1)在内点x0 = 0.5处(权由 表示)和边界点X。=0.05 (权由表示)分配给局部数据点的有效权.水平实线和虚线分别是真实函数和估计的函数在点x0 = 0.05和X0 = 0.5的高度.它们的差是在这两个点处的偏倚.(a)Nadaraya-Watson估计；(b)局部线性拟合.为清楚起见，数据(？)不包含噪声命题6.1 有效权Wj满足如下有限矩性质：v (Xx0)qWvr- v,q 0 空 v,q 空 p，t. h其中如果v = q，则r,q =0，否则为1.证明由ST的定义T=ev 1St StQ 1 二 r,q从而得到所要的结论.作为命题6.1的结果，当真实的回归函数 m(x)是阶

48、为p的多项式时，的局部多项式估计的无偏倚的.为了获得更多有关有效核的知识，我们提供它的渐近形式 我们首先引进一些记号.令S是(p 1) (p 1)矩阵，它的第(i,j)元素为，其中 和=.：ujK(u)du.定义等价核如下pK；(t)二£.禹'(1,tl|,tp)TK(t)Sv¥ )K(t)，(6.27)1=0其中svl是S的(v 1,l 1)元素.命题6.2 在定理5.5的条件下，如果X的边缘密度f在点X。处有连续的导数, 则在对xo a,b和t 一致地有T1*Wv(t)FKv(t)1 Op(aT),Th f (xo)其中aT =h (logT/Th)1/2.对高

49、阶核而言，等价核满足如下矩条件：:q *uqKv(u)du 二、v,q o 乞 v,q 乞 p .-co证明 注意到St, j/(Thj)基本上和具有诱导核K*(x) = xjK(x)的核密度估计是相同的.因此，由定理5.5，对xoa,b 致地有仃)和 7(冷)片+Op(qJ，(6.28)把(6.28 )代入St的每一个元素就立即得到T-H jStH - = f(Xo)S1 Op(aJ,或等价地有St =Tf (Xo)HSH1 + Op(aJ，其中H二diag(1,h,|(,hp)，因此，把这个式子代入 W的定义，我们得到1W； (t)77&1S '(1,t川，tp)TK(t)

50、1 Op(aT).Th f (xo)这就证明了第一个结果.第二个结果用与命题6.1相同的证明可得.由(6.25 )和命题6.2，有 島 K；Y1 Op(aJ.(6.29)Th f (xo) t. h因此，使用局部多项式估计就像使用具有已知设计密度f的核回归估计一样.这就解释了为什么局部多项式拟合适应于多种设计密度.反过来，核回归估计在f的导数偏大的区域有大的偏倚，即它不能适应高偏斜设计.为了搞清楚这一点，想象真实的回归函数在这样的区域内有大的斜率.对给定的X。，由于设计密度的导数是大的，故而在xo的一边比另一边有更多的点.当使用局部平均时，由于局部数据呈现 对称状态，故Nadaraya-Wat

51、son估计向着有更多局部数据点的那一边产生偏倚.由于局部数据多是非对称的，故而这个问题在边界区域更显着，见图6.5.另一方面， 如果需要，局部多项式拟合造出非对称权以补偿这类设计偏倚(图6.5 (b).因此，它适合于各种设计密度和边界区域.我们现在给出局部多项式估计的渐近偏倚和方差表达式.对独立数据，我们通过在设计矩阵X上加条件来获得偏倚和方差表达式.然而，对诸如在例6.1-6.3中 所给出的时间序列，加在 X上的条件将意味着几乎是加在整个序列上.因此，我们用渐近正态性而不是用条件期望来导出渐近偏倚和方差.正如在§ 5.3所解释的那样，状态局部化减弱了局部数据的相依结构.因此，人们期

52、望对独立数据的结果对具有某种混合条件的平稳序列依然成立.混合条件和窗的大小是有关系的.这点的严格叙述由在§ 6.6.2中的条件1( iv )给出.下面属于Masry和Fan (1997)的 定理的证明将在§定理6.3 在§ 6.6.2的条件1下，如果O(T1/(2p3)，且m(p1 ()在点x处是连 续的，则当T 一；时，> N0, ；2(x)S SS / f (x),其中 (x) =(m(x),|,m(p)(x)/p!)T , S* 是(p 1) (p 1)矩阵，它的第(i, j)元素是Vi 2二t1 JK2(t)dt, c p是(p 1)维向量，其第i个

53、元素为p.2_i.注意，由等价核的定义易见和因此，定理6.1的直接推论是导数估计mv(x)是渐近正态的:(6.30)(6.31)(6.32)(6.33)I(v!)2<y2(x)JK；2(t)dtN 0,f (x)当v =0时，(6.30 )给出m(x)本身的渐近正态性.局部多项式估计的渐近偏倚和渐近方差被自然地定义为,p卅 *v!m(p41)(x) pgAB(x)二 tp Kv(t)dthp ，(P+1)!2 2 *2(v!)(x)Kv (t)dtAV( x)-.Th2v+f(x)对给定的权函数w，理想的带宽h应极小化2-(x)w(x)/ f (x)dxm(p 1) (x)2w(x)dx

54、1/(2 p 3)T/(2 P 3)这就得到渐近最优带宽Ihopt Cv,p( K)J其中2*2i1/(2 p 七)Cv,p(K)二2(p+1v) Jtp卅K；2(t)dt2(p+1)! (2v+1)jKv (t)dt然而，由于这种理想带宽依赖于未知函数，故它不是直接可用的.我们将在§ 6.3.5中提出方法来估计它.正如在上一节所叙述的那样，当p-v是奇数时，局部多项式拟合自动地适应边界区域.为了说明这一点，我们沿用Gasser和Muller (1979)的公式表示.假定Xt 有有界支撑，记为0,1.则当核K有有界支撑0,1时，x = ch(0空c：1)是右边界点.我们现在考虑mv(

55、x)在边界点x_=ch处的行为.为此，令oO .cd .-4j,c = J uJK(u)du, vj,c =uJK2(u)du . c c在定义S,S*和Cp中，我们用c,vj,c分别代替Jj和vj，这就得到了 Sc,S；和Cp,c.类 似地，在边界定义等价核为则我们有下列结果，它的证明非常类似于定理6.3的证明.定理6.4 假定§ 6.6.2中条件1成立，且f(0)0.如果h =O(T1/(2p3) , m(p d)和匚2f在点0处是右连续的，则当T > -:,一 J N0, <T2(0)S冷；S；/f(0+)，其中 s(0) =(m(0),|,m(p)(0)/p!)T

56、.作为定理6.4的推论，在边界点x=ch处，我们有如下渐近偏倚和方差: 和2 2 *2AV( x)=(v!)l2(0 )K；c(t)dtTh2f(0+)将它们与(6.31 )和(6.32 )相比较.注意，当K是对称的且p-v是偶数时，可以证明(Ruppert和 Wand1994 (6.31 )中的系数是零.在此，偏倚在内点比在边界 点有较小的阶.这就是所谓的边界效应.当p-v是奇数时，偏倚在内点和边界点具有相同的阶.实际上，它们在c=1点处甚至是连续的，该点是内点和边界点之间的 界.因此，当p-v是奇数时，局部多项式拟合并没有产生额外的边界偏倚.假定p_v奇数，且K是对称的.可以证明，对阶p -1和阶p的局部多项式拟合有相同的 渐近方差(参阅 Fan和Gijbels ，1996的§ 3.