非线性时间序列第六章

1、PAGE PAGE 192第六章 时间序列的平滑6.1 引论上一章我们引进非参数函数估计的基本概念，现在将它应用到时间序列别的重要平滑问题上. 对估计慢变化时间趋势，平滑技术是有用的图示工具，它产生了时域平滑（6.2）. 对将来事件和与之相联系的现在与过去变量之间的关系的非参数统计推断导致了6.3的状态域平滑. 6.4 引入的样条方法是对6.3引入的局部多项式方法的有用替代. 这此方法能够容易地推广到时间序列的条件方差（波动性）的估计，甚至整个条件分布的估计，参阅6.5.6.2 时域域平滑6.2.1 趋势和和季节分分量分析时间间序列的的第一步步是画数数据图. 这种种方法使使得人们们可以从从视觉

2、上上检查一一个时间间序列是是否像一一个平稳稳随机过过程. 如果观观察到趋趋势或季季节分量量，在分分析时间间序列之之前通常常要将它它们分离离开来.假定时间间序列能能够分解解成， （6.11）其中表示示慢变函函数，称称为“趋势分分量”，是周期期函数，称为“季节分分量”，是随机机分量，它被假假定是零零均值的的平稳序序列. 在使用用这种分分解之前前，可以以先用方方差稳定定变换或或Boxx-Coox变换换. 这这类幂变变换有如如下以参参数为指指标的形形式 （6.22）或具有在在点处连连续的变变换形式式.这类变换换由Boox和CCox（19664）给给出. 注意，由在幂幂变换中中数据必必须是非非负的，因此

3、，在使用用幂变换换之前，可能必必须先实实施平移移变换.我们的目目的是估估计和提提取确定定性分量量和. 我我们希望望残差分分量是平平稳的，且能够够用线性性和非线线性技术术做进一一步的分分析. 通过推推广Boox和JJenkkinss（19970）而发展展的一个个替代方方法是对对时间序序列重复复应用差差分算子子，直到到被差分分的序列列表现为为平稳为为止. 这时，被差分分的序列列可以进进一步平平衡时间间序列技技术来处处理. 作为说说明Boox和JJenkkinss方法的的一个例例子，我我们先取取S&PP5000指数的的对数变变换，然然后计算算一阶差差分. 图6.1给出出了这个个预处理理序列. 所得得

4、序列基基本上是是该指数数中变化化的每日日价格的的百分比比. 除除了几个个异常值值（即119877年100月199日200.477%的市市场崩盘盘，金融融市场称称之为“黑色星星期一”）外，这个序序列显示示出平稳稳性. 这个变变换与金金融工程程中常用用资产定定价的几几何布朗朗运动模模型的离离散化有有关.图6.11 119722年1月月3日至至19999年112月331日（上图）和19999年年1月44日至19999年122月311日（下下图）SS&P5500指指数对数数变换的的差分我们首先先把注意意力集中中在没有有季节分分量的情情形，即即. （6.3）然后，我我们再在在6.33.8中中估计趋趋势和

5、季季节分量量.6.2.2 滑动平平均平均是最最常用的的消除随随机噪声声的技术术. 假假定趋势势是慢变变化的，使得其其能够在在大小为为的局部部时间窗窗中用常常数来逼逼近，即即. （6.4）这时能够够用该窗窗周围的的局部平平均来估估计：， （66.5）随着中心心的改变变，局部部窗也在在移动. 例如如，在图图6.22中，处处所得的的估计是是落在第第一个窗窗内的那那些数据据的平均均. 窗窗的中心心移动到到新的点点处以构构成在这这些点处处的估计计. 随随着局部部窗从左左向右滑滑动，它它的轨迹迹就是所所得的滑滑动平均均曲线. 这是是滑动平平均平滑滑的最简简单的例例子. 它常常常被用来来验证时时间序列列的趋

6、势势. 图图6.22描绘的的是从119999年1月月4日到到19999年112月11日S&P5000指数数一个月月和两个个月的滑滑动平均均.图6.22 119999年1月月4日至至12月月31日日S&PP5000指数和和它的221个交交易日（粗线）和41个个交易日日（虚线线）的滑滑动平均均在边界处处，滑动动平均估估计的习习惯做法法是忽略略超出观观察时间间范围的的那些数数据. 例如，是用数数据的平平均所得得的简单单估计（时间点点2右边边的数据据比左边边更多）. 这这种不对对称平均均可能会会产生边边界偏倚倚. 当当边界处处趋势陡陡峭且带带宽又大大时，这这种边界界效应更更为明显显. 正正如图66.2

7、所所示那样样，在右右边界处处的滑动动平均低低估了趋趋势. 该问题题能够通通过使用用局部线线性平滑滑. （参见6.22.6）或别的的边界改改善方法法，比如如，边界界核方法法（Gaasseer和MMlleer 119799；Mlleer 119933）和数数据削尖尖方法（Chooi, Halll和BBousssonn 20000）来减弱弱.滑动平均均数列（6.55）利用用了时间间周围两两边的数数据. 这样它它还依赖赖于时间间之后的的数据. 为便便于预报报，单变变滑动平平均数列列 （6.66）也常被用用来验证证时间趋趋势. 数列仅仅用直到到时间的的过去的的数据.6.2.3 核平滑滑滑动平均均估计的的

8、一个改改善方法法是引进进一个加加权设计计. 这这允许对对所给时时间点附附近的数数据给予予较大的的权数. 这也也就得到到了核回回归估计计，定义义为. （66.7）这个估计计还被称称为Naadarrayaa-Waatsoon估计计. 参参阅Naadarrayaa（19964）和Waatsoon（119644）. 当我们们使用均均匀核时时，上述述核估计计就变成成滑动平平均估计计（6.5）. 当核核函数有有有界支支撑时，核回归归估计就就是一个个局部数数据的加加权平均均. 当当核是模模在零点点的单峰峰函数时时，附近近的数据据点获得得更多的的权. 一般地地，核函函数不要要求有一一个有界界的支撑撑，只要要它

9、薄尾尾的（如如它是一一个有二二阶矩的的密度函函数）. 的非非负性要要求还能能被减弱弱. 带带宽也不不必是整整数.注意，在在高斯核核定义中中的标准准化常数数和核的的对称BBetaa族只是是用来保保证函数数是一个个概率密密度函数数. 在在核回归归估计中中它们并并不起作作用. 在计算算时，我我们常常常标准化化各种核核函数使使得它们们如图55.2那那样有相相同的最最大值11. 由由于这种种标准化化，（66.7）可以直直观地理理解为数数据点的的有效平平均. 当核函函数有在在中的支支撑时（这样的的核还可可看作是是单边核核），核核回归估估计所使使用的数数据仅到到时间. 这是是单边滑滑动平均均（6.6）的的推

10、广.如同在核核密度估估计中那那样，在在核回归归估计中中带宽是是一个重重要参数数. 如如同在图图6.22中所显显示的那那样，大大的带宽宽产生过过度平滑滑的估计计，遗漏漏趋势和和所估计计的峰和和谷的度度量上的的一些可可能的细细节. 特别地地，当使使用大的的带宽时时，估计计可能产产生大的的偏差. 当使使用小的的带宽时时，仅有有几个局局部的数数据被使使用，降降低了估估计的方方差，却却导致所所得估计计是一条条波动的的曲线. 例如如，用带带宽，滑滑动平均均估计（6.55）简单单地复制制原始数数据. 为了得得到满意意的结果果需要反反复尝试试和修正正. 带带宽的数数据驱动动选择能能够帮助助我们确确定所要要的平

11、滑滑度. 正如在在6.22.9所所看到的的那样，渐近方方差本质质上依赖赖于所研研究的过过程的相相关结构构. 因因此，针针对独立立数据的的由数据据驱动选选择的带带宽在时时域平滑滑中效果果不佳. 实际际上，AAltmman（19990），Chuu和Maarroon（119911a）以以及Haart（19991）指指出，对对相依数数据，通通常的留留一在外外（leeavee-onne-oout） 交叉叉核实方方法效果果不好. 这些些作者提提出了几几个修正正的方法法. 对对带宽选选择的嵌嵌入方法法由Raay和TTsayy（19997）以及BBeraan和FFengg（20000）提出.以上考虑虑能够通通

12、过计算算核回归归估计的的偏倚和和方差得得到理解解. 经经过直接接计算，在模型型（6.3）下下，核估估计得偏偏倚为.它不依赖赖于误差差过程. 它实实际上是是一个逼逼近误差差. 当当带宽取取得小时时，逼近近误差小小，从而而偏倚也也小. 另一方方面，当当取得大大时，大大多数逼逼近误差差是大的的归因于于和间的距距离是大大的，因因此，偏偏倚可能能是大的的. 这这个线性性估计的的方差还能够被被计算. 令是是过程的的自协方方差函数数，则. （66.8）该方差依依赖于自自相关函函数. 进一步步简化需需要渐近近分析. 我们们将在6.22.9中中讨论. 在那那里我们们将看到到当时方方差的渐渐近行为为. 但但我们现

13、现在可以以指出，当带宽宽小时，核平滑滑的方差差增大，这归因因于在局局部领域域中数据据点数太太小的缘缘故.6.2.4 核平滑滑的变种种核平滑有有许多变变种. （6.7）中中的分母母对相对对于求导导数和数数学上的的分析是是不方便便的. 代替用用核函数数的高度度作为权权，我们们还可用用核函数数下方的的面积作作为权. 由于于核函数数下方的的总面积积是1，分母不不需要. 这就就是隐含含在Gaasseer-MMlleer估计计中的基基本思想想.在现在的的框架下下，令，其中和和. GGassser和和Mlleer（119799）提出出了以下下的估计计：.由于总的的权，所以没有有分母. Gaasseer-MM

14、lleer估计计是对PPrieestlley和和Chaao（119722）早期期版本的的一种修修正. Priiesttleyy和Chhao（19772）给给出的估估计定义义为.这个估计计简单地地去掉了了Naddaraaya-Wattsonn估计的的分母. 通过过积分和和变量变变换逼近近黎曼和和，对适适当选择择的，我我们得到到总的权权，如果不太太接近边边界，且且相对于于小，并并使得和和大，则则上述积积分近似似地等同同于.事实上，只要的的支撑限限制在区区间内，等式就就精确地地成立. 换句句话，对对不在边边界区域域的点，总的权权近似于于1. 以上观观点依赖赖于设计计点为等等间隔的的. 事事实上，Pr

15、iiesttleyy和Chhao估估计仅能能用于等等间隔情情形. 它不能能用于6.33所讨论论的状态态域平滑滑.6.2.5 滤波核回归是是用于工工程的卷卷积滤波波的一种种特殊形形式. 一般地地，一个个长度为为的线性性滤波定定义为. （66.9）当有支撑撑时，核核回归对对应. 滤波能能够被设设计为拥拥有各种种性质. 例如如，它能能够被设设计成可可以去掉掉高频信信号（低低通滤波波），或或低频信信号（高高通滤波波）或超超出某个个频率范范围的信信号（带带通滤波波）；见见2.33.3.核平滑滑是一种种低通滤滤波.线性滤波波变换可可以用递递推方式式来定义义. 例例如，单单边滑动动平均可可以对某某个，利利用

16、下式式来定义义，这等价于于用的如如下的加加权滑动动平均：.由于权以以指数速速度快速速衰减，以上滤滤波实际际上仅用用了时刻刻附近的的局部数数据. 平滑的的有效性性依赖于于参数. 这种种方法称称为指数数平滑.指数平滑滑是用的的的一种种特殊的的核平滑滑. 这这是一种种单边平平滑. 它仅使使用直到到现大时时刻的数数据. 关于这这方面内内容的进进一步讨讨论可参参见Giijbeels、Poppe和WWandd（19999）.6.2.6 局部线线性平滑滑局部常数数逼近（6.44）能够够通过使使用局部部线性逼逼近来改改善. 我们把把趋势通通过如下下线性函函数局部部地近似似为的函函数.这样，就就近似地地看做上上

17、述局部部线性模模型的截截距. 可见图图6.33中时刻刻处的图图示. 窗内的的数据用用一个线线性回归归来拟合合. 对对局部窗窗附件的的数据用用最小二二乘方法法，我们们通过相相对于和和极小化化下式可可得到局局部截距距的估计计.这里引进进核权是是为了减减少距离离给定时时间点较较远的数数据的贡贡献. 令和是最小小二乘解解. 这这里用下下标是为为了表示示所得的的解依赖赖于给定定的时间间点. 这时，用局部部截距来来估计，它有如如下的精精确表示示， （66.100）其中. 当从11取到时时就得到到整个趋趋势函数数. 这这样，局局部线性性平滑实实际上是是一种移移动线性性回归方方法. 正如图图6.33所示那那样

18、，在在处的估估计由一一个新的的局部最最小二乘乘问题得得到. 在每个个数据窗窗中拟合合的直线线用实线线表示. 估计计的局部部截距的的值位于于虚垂直直线和局局部直线线的交叉叉处. 局部斜斜率是时时间趋势势导数的的估计. 此外外，这些些局部窗窗还可以以互相重重叠（见见图6.2）. S-Pluus函数数“llss.s”已写成成程序差差可用于于计算图图6.33中的平平滑曲线线. 这这个S-Pluus函数数能够从从本书的的网址获获得.图6.33 使使用Eppaneechnnikoov核和和带宽所所得的119999年1月月4日至至19999年112月331日S&P5500指指数局部部线性拟拟合. 在每个个窗

19、中的的虚抛物物线表示示每个局局部数据据点所得得的权局部线性性平滑能能够很容容易地堆堆广到局局部多项项式平滑滑. 局局部多项项式拟合合和它的的应用的的全面介介绍可参参阅Faan和GGijbbelss（19996）. 局局部多项项式拟合合的优点点总结在在6.33.3中中. 注注意，（6.111）中中的权满满足 （6.111）这就蕴涵涵了如果果趋势是是线性的的，则则局部线线性平滑滑是无偏偏的：.换句话，无论趋趋势函数数多以陡陡峭，只只估计线线性趋势势时，局局部线性性平滑就就是无偏偏的. 这对在在内部以以及边界界处的点点的同样样成立. 也就就是说对对于估计计陡峭趋趋势，局局部线性性估计将将有小的的偏倚

20、. 另一一方面，因为类类似于（6.111）的的方程即即便是近近似地也也都不成成立，因因此，对对估计边边界区域域附近的的点估计计陡峭趋趋势，核核平滑将将有较大大的偏差差.6.2.7 其他的的平滑方方法核局部线线性平滑滑有许多多别的方方法. 例如，Gassserr和Mlleer（119799）使用用了不同同于核和和局部线线性平滑滑的权形形式，JJonees（119977）介绍绍了局部部线性平平滑的各各种形式式. FFan和和Gijjbells（119966）给出出了各种种平滑技技术的概概述，包包括样本本和正交交级数方方法.核回归和和局部多多项式建建模是基基于在许许多格子子点上的的局部近近似. 诸如

21、样样条这样样的全局局逼近方方法还能能够用于于对时间间域的平平滑. 这些思思想将在在关于状状态域平平滑的6.44中介绍绍.对诸如时时域平滑滑这样的的等间隔隔设计，正交级级数方法法也非常常容易使使用. 其基本本思想是是先用正正交矩阵阵对数据据进行变变换，然然后，在在高频点点向零点点有选择择地调整整系数（或向零零点收缩缩它们）. 平平滑估计计能够通通过taaperred系系数的逆逆变换来来获得. 常用用的正交交变换包包括傅里里叶变换换和小波波变换. 它们们的统计计应用可可参阅OOgdeen（119977）、EEfroomovvichh（19999）和Viidakkoviic（119999）等近近期出

22、版版的专著著.6.2.8 季节分分量修正正有许多实实用的修修正季节节分量的的方法. 在此此我们概概要地介介绍一个个方法以以说明其其基本大大意.假定（66.1）中的季季节分量量的周期期是，即即. （6.12）后一个约约束是一一个可识识别条件件. 若若此约束束不成立立时，只只要加一一个常数数到趋势势分量，并在季季节分量量修正中中减去相相同的常常数. 归因于于约束（6.112），当是一一个奇数数时，趋趋势能够够方便地地用具有有的滑动动平均（6.55）来估估计. 在（66.5）中季节节分量平平均掉，因而对对趋势估估计没有有贡献. 当周周期是偶偶数时，用如下下稍加修修改的形形式估计计趋势.季节分量量能够

23、按按如下步步骤来估估计. 就一个个例子来来说，我我们假定定要处理理的月度度数据，且周期期. 在在3月的的季节分分量的值值能用在在3月所所得一切切观测值值的移去去趋势分分量后的的平均来来很好地地近似. 这就就得到估估计，其中表示示的整数数部分，. 在在上述求求和中对对上下限限所作的的限制是是为了保保证数据据不要太太接近边边界使得得在趋势势估计中中边界影影响达到到最小. 这种种初步估估计可能能不能精精确地满满足约束束（6.12）. 但但这能够够容易地地通过用用下式估估计季节节分量来来作修正正.以上方法法还被用用于没有有趋势分分量的情情形. 在这种种情形，不需要要移去趋趋势，即即令6.2.9 理论概

24、概况*问题（66.3）的理论论表述应应该得到到注意. 一个个简单的的方式是是把所得得的时间间序列看看作是来来自如下下连续过过程的离离散化样样本路径径这种表述述常常被被用在金金融时间间序列建建模中. 时间间单位通通常取年年，每星星期数据据被看作作是以的的速度抽抽自连续续过程. 对金金融中的的期权定定价和风风险管理理，这种种表述是是非常有有效的. 然而而，在时时域平滑滑方面，这种述述有一些些缺点. 首先先，为了了能够相相容地估估计，我我们需要要在给定定的时间间的周围围用大小小为的窗窗局部化化数据. 但是是，只要要过程是是连续的的，所有有的局部部数据都都是高度度相关的的，且当当时，相相关系数数趋于1

25、1. 这这就蕴涵涵了局部部数据变变化不大大，因而而也就不不需要局局部平滑滑. 正正如在图图6.22中所看看到的那那样，局局部数据据变化很很大，局局部平滑滑就能改改善趋势势估计. 这样样，以上上表述从从理论的的观点来来看似乎乎是病态态的. 其次，在以上上的表述述下，趋趋势和随随机误差差有相似似的光滑滑度（两两者都是是连续的的）. 因此，在中没没有希望望将随机机部分与与趋势部部分分离离开来.一个代替替的表述述是推广广等间隔隔设计的的非线性性回归模模型到时时间序列列框架. 假定定所得到到的时间间序列是是来自模模型 （6.113）其中是平平滑时间间趋势函函数，是是随机过过程，. 在这这种表述述下，我我

26、们现在在能够利利用平滑滑技术从从随机噪噪声中分分离出平平滑趋势势. 一一个小的的缺点是是平滑趋趋势依赖赖于观测测数量. 这个个问题早早就出现现在具有有固定设设计的非非参数回回归文献献中. 实际上上它不是是一个严严重问题题. 渐渐近理论论毕竟只只是一个个工具，为我们们理解理理论性质质提供简简化的结结构. 用建模模趋势是是捕捉趋趋势比噪噪声变化化更慢这这一特征征的简单单的技术术手段.在以上两两种表述述之间选选择哪一一个依赖赖于所研研究的问问题. 在纵向向数据和和泛函数数据分析析中，HHartt和Weehrlly（119866）以及及Sillverrmann（19996）基本上上是用前前一种表表述：

27、人人们通过过模型观观测到大大量独立立序列. 这种种表述对对他们的的问题是是适合的的. 对对时域平平滑，模模型（66.133）常被被假定. 例如如见Haall和和Harrt（119900），RRobiinsoon（119977），以以及Joohnsstonne和SSilvvermman（19997）. 这就就保证了了能捕捉捉到时间间趋势比比随机噪噪声更光光滑这一一特征. 进一一步，它它也保证证了能相相容地估估计时间间趋势. 由公式式（6.13）能够获获得核和和局部线线性平滑滑的渐近近性质. 估计计的偏倚倚与具有有均匀设设计的独独立样本本情形是是相同的的. 核核和局部部线性平平滑的方方差经繁繁琐的

28、计计算也可可得到. 它们们依赖于于噪声过过程的协协方差结结构. 一般地地，我们们假定的的自方差差函数满满足， （6.114）其中是常常数. 在2.5.22中定义义的分式式ARIIMA过过程就满满足（66.144）. 我们将将估计（6.110）重重写为. 对任任何，使使用和（6.111），我们得得到偏倚倚. （6.115）注意，这这个偏倚倚不依赖赖于误差差过程. 它完完全是局局部线性性拟合的的近似误误差. 为理论论叙述的的简单，我们假假定有有有界支撑撑. 这这个假定定可以冗冗长的叙叙述为代代价而得得到减弱弱. 特特别地，可以使使用像高高斯核这这样的轻轻尾核. 由表表示. 在下面面的定理理中我们们

29、总结了了渐近偏偏倚和方方差，定定理的证证明放在在6.66.1. 注意意，由于于时间单单位的尺尺度，和和用在一一般的非非参数回回归中的的带宽是是相同的的.定理6.1 假定有有有界支支撑，满满足和，且当当时，带带宽. （a）如如果存在在，且在在点处连连续，则则. （b）如如果自方方差函数数满足（6.114），我们有有 （6.116） 定理66.1表表明，过过程的协协方差结结构对渐渐近方差差有强烈烈的影响响. 反反过来这这也影响响到渐近近最优带带宽，并并解释了了为什么么独立数数据的数数据驱动动带宽选选择不能能直接应应用到相相依数据据. 对核估估计的类类似于定定理6.1的结结果由HHalll和Haar

30、t（19990）证证明. 最近，这些结结果被BBeraan和FFengg（20000）用不同同于6.66.1给给出的方方法推广广到局部部多项式式拟合. 他们们还证明明了对aantii-peersiisteent过过程，渐渐近方差差具有阶阶. 局部线线性估计计的渐近近正态性性也可以以被建立立. 如如果误差差过程是是高斯的的，则它它的加权权平均估估计（66.100）还是是高斯的的. 这这样，局局部线性性估计的的渐近正正态性直直接由定定理6.1得到到. 此此外，在在正态假假定下，Csrg和Mieelniiczuuk（19995）建建立了类类似于定定理5.4的最最大偏差差的渐近近分布. 然而而，对的的

31、正态假假定并不不是本质质的. 正如在在Robbinsson（19997）中中所证明明的那样样，这个个条件可可以去掉掉. 我们们在此概概要地叙叙述用于于本章的的技术. 令是相相对于它它自身域域的鞅差差序列，即假定是一一双边无无穷阶滑滑动平均均过程：且是一致致可积的的，并满满足分式ARRIMAA过程满满足这三三个假定定. 考考虑加权权和，它是鞅差差序列的的和. 由鞅的的性质，假定这个个方差存存在. 下面的的定理由由Robbinsson（19997）给给出. 类似的的结果还还可在IIbraagimmov和和Linnnikk（19971）中发现现.定理6.2 在上面面所述的的条件下下，倘若若，则有.

32、对于局局部线性性估计（6.110），易见这时渐近近正态性性变为验验证定理理6.22中所叙叙述的条条件. 我们略略去细节节.6.3 状态态域平滑滑6.3.1 非参数数自回归归 状态域域平滑与与非参数数预报密密切相关关. 考考虑一个个平稳时时间序列列. 为为了简单单起见，我们考考虑仅基基于变量量的预报报. 基基于的的最优优预报是是给定时时，的条条件期望望，它在所有有的预报报函数中中极小化化MSEE.这个函数数还称为为阶为11的自回回归函数数. 当当是零均均值平稳稳高斯过过程时，这个条条件均值值是线性性函数，条件方方差是常常数. 这就得得到一个个AR（1）模模型.一般地，函数不不必是线线性的，条件方

33、方差也不不必是常常数. 然而，总是能能够以如如下方式式表示数数据， （66.177）其中. 这里，的条件件均值为为零，条条件方差差为1，即. 非参数数平滑技技术还能能够用于于包括自自回归函函数的估估计以外外的领域域. 考考虑一个个双变量量序列，它可以以被看作作是来自自平稳过过程的一一个实现现. 我我们的兴兴趣是估估计回归归函数. 为便便于对问问题的理理解，我我们记， （6.118）其中满足足.显然，这这个结构构包括通通过取而而把估计计的自回回归函数数作为一一个特定定的例子子. 下下面是三三个有用用的例子子.例6.11 考考虑平稳稳时间序序列. 对给定定的，我我们取. 则目目标函数数变为.条件方

34、差差可以通通过用来来估计. 特别别地，当当小得如如例1.1中所所给的利利率差分分数据，基本上上就如同同条件方方差. 换句话话，对下下面图66.4中中所给的的数据，均值回回归函数数是波动动函数的的平方.这就是由由Staantoon（119977）以及及Fann和Yaao（119988）所给给出的波波动估计计的基础础.图6.44 对对12个个月国库库券回报报用局部部线性拟拟合估计计条件方方差. （a）具有EEpannechhnikkov核核和带宽宽索的局部部线性拟拟合的图图示；（b）估估计条件件标准差差用局部部线性拟拟合（实实曲线）， FFan和和Yaoo（19998）的基于于残差的的方法（短虚曲

35、曲线）和和具有和和的参数数模型（长虚曲曲线）例6.22 再再考虑平平稳时间间序列. 我们们取，它它是区间间上的示示性函数数，. 则目标标函数变变为.特别地，如果，我们就就得到条条件分布布估计. 进一一步，如如果和，则当当取值小小时，基基本上就就如同给给定时的条件件密度. 这个个条件密密度函数数对了解解给定时时分布的的全貌是是非常有有用的. 特别别地，自自回归函函数是这这个分布布的中心心，波动动函数是是这个分分布的扩扩展. 这个思思想形成成了Faan、YYao和和Tonng（119966）估计计条件密密度（6.55）和与与它们相相关的泛泛函（10.3），以及HHalll，Woolfff和Yaao

36、（119999）估计计条件分分布函数数（10.3），Polloniik和YYao（20000）估估计最小小量预报报区域（10.4）等等所用方方法的起起源.例6.33 对对给定的的时间序序列，多多步预报报能够通通过令和和来完成成，其中中是预报报步长数数. 对对这种情情形，我我们用非非参数方方法，基基于变量量来估计计最优步步预报，下面的图图6.66画出了了山猫数数据的一一步和两两步预报报. 把把这个方方法和例例6.11和例66.2中中的技术术结合起起来，我我们能够够估计多多步预报报的条件件方差和和条件密密度.6.3.2 局部多多项式拟拟合局部多项项式拟合合是一个个用途广广泛的非非参数技技术. 它拥

37、有有多种好好的统计计性质. 关于于这些内内容可参参阅Faan和GGijbbelss（19996）.令是定义义在（66.188）中的的回归函函数阶导导数. 局部多多项式技技术可非非常方便便地用来来估计，包括回回归函数数本身. 由于于回归函函数的形形式没有有被指定定，因而而距离远远的数据据点对提提供了很很少的信信息. 因此，我们只只能使用用附近的的局部数数据点. 假定定在点处有有阶导数数. 由由泰勒展展开，对对局部邻邻域的，我们有有. （6.19）在统计建建模方面面，对周周围的局局部点，我们建建模为. （6.220）参数依赖赖于，故故称之为为局部参参数. 显然，局部参参数. 用局部部数据拟拟合局部

38、部模型（6.220）可可极小化化， （6.221）其中是控控制局部部邻域大大小的带带宽. 作为一一个说明明的例子子，我们们取，其其中是112个月月国库券券回报. 带宽宽为，它它是由预预渐近代代入法（见6.33.5）用C-程序“llss.c”计算得得到的. 在点点处（百百分数），线段段用来拟拟合在阴阴影区域域中的局局部数据据，在此此对每个个数据，权用虚虚曲线（对应于于Epaanecchniikovv核）表表示. 在点处处局部截截距是拟拟合的线线段和垂垂直线段段间的交交点. 这就构构成了在在点处的的回归函函数的估估计. 沿着水水平轴滑滑动这个个窗，我我们就获获得在区区间33，144上要要估计的的曲

39、线. 条件件标准差差被展示示在图66.4（b）中中. 基基于残差差来估计计条件方方差的方方法由FFan和和Yaoo（19998）提出，其计算算通过CC程序“auttovaar.cc”来实现现（还可可见8.77.2），为比比较方便便，它用用短虚曲曲线表示示. 参参数模型型常被用用来对生生产率动动态的波波动进行行建模，它用长长的虚曲曲线表示示. 正正如人们们所看到到的那样样，在参参数和非非参数方方法之间间还存在在本质差差异，这这对参数数拟合是是否合适适提出了了疑问. 选择择带宽预预渐近代代入方法法由Faan和GGijbbelss（19995）提出，见6.33.5. 用，表表示最小小二乘问问题（66

40、.211）的解解. 的的局部多多项式估估计是. 这里里，我们们不用记记号是为为了避免免由估计计回归的的阶导函函数所带带来的混混淆. 事实上上，导数数是用局局部斜率率来估计计，而不不是用估估计的回回归函数数的导数数来估计计. 当，局局部多项项式拟合合退化为为该回归归估计，它还被称称为Naadarrayaa-Waatsoon估计计. 因因此，从从局部逼逼近的观观点来看看，核回回归估计计是基于于局部常常数逼近近的. 见（66.199）. 使用矩矩阵记号号来表示示局部多多项式回回归更为为方便. 用表表示相应应于（66.211）的设设计矩阵阵：，且令.则加权最最小二乘乘问题（6.221）能能够写为为，

41、（6.222）其中，是是对角矩矩阵，它它的第个个元素为为. 解解向量为为. （6.23） 为了实实现局部部多项式式估计，我们需需要选择择阶，带带宽和核核. 当当然，这这些参数数相互关关联. 当时，局部多多项式拟拟合就变变成全局局多项式式拟合，阶决定定模型的的复杂性性. 与与参数模模型不同同，局部部多项式式拟合的的复杂性性主要是是由带宽宽来控制制. 因因此，通通常是较较小的，故而选选择的问问题就变变得不重重要了. 如果果目的是是估计，则当是是奇数，局部多多项式拟拟合自动动修正边边界偏倚倚. 进进一步，当是奇奇数，与与阶拟合合（则是是偶数）相比较较，阶拟拟合包含含了一个个多余参参数，但但没有增增加

42、估计计的方差差. 不不过这个个多余参参数创造造了一个个降低偏偏倚的机机会，特特别是在在边界区区域. 见Faan（119922）、FFan和和Gijjbells（119922）、HHasttie和和Loaaderr（19993）、Ruuppeert和和Wannd（119944）. 因为这这些理由由，奇数数阶拟合合（选择择使和是奇奇数）比比偶数阶阶拟合（选择使使得是偶偶数）更更好. 基于理理论和实实际的考考虑，在在Fann和Giijbeels（19996）中中推荐阶阶. 如如果主要要目的是是估计回回归函数数，我们们使用局局部线性性拟合，如果目目标函数数是一阶阶导数，我们就就使用局局部平方方拟合，等

43、等. 另一一方面，带宽的的选择在在多项式式拟合中中起着重重要作用用. 太太大的带带宽引起起过度平平滑，产产生过大大的建模模偏倚，而太小小的带宽宽会导致致不足平平滑，获获得受干干扰的估估计. 带宽可可由使用用者通过过目测检检查所得得到的估估计曲线线来主观观选择，或由数数据通过过极小化化的估计计理论风风险来自自动选择择（见66.3.5）. 由于于估计基基于局部部回归（6.221），我们有有理由要要求一个个非负权权函数KK. FFan, Gaasseer, Gijjbells, Broockmmannn和Enngell（19995）已证明明，对所所有的选选择和，最优权权函数是是，它被被称为EEpan

44、nechhnikkov核核. 这这样，它它是一个个万能的的加权方方式，并并对比较较其他核核提供了了一个有有用的基基准. 正如在在5.55所证明明的那样样，对实实际中使使用的和和，其他他核具有有几乎相相同的有有效性. 因此此，核函函数的选选择并不不是至关关重要的的. 将局部部多项式式估计与与其他估估计进行行比较，包括NNadaarayya-WWatsson估估计、GGassser和和Mlleer估计计和Prriesstleey和CChaoo估计. 实际际上，由由Fann（19993aa）可知知，局部部线性拟拟合在所所有线性性估计中中是渐近近最小最最大的，而在所所有可能能的估计计中几乎乎是最小小最

45、大的的. 这这种最小小最大性性质由FFan，Gassserr，Giijbeels，Broockmmannn和Enngell（19995）推广到到更一般般的局部部多项式式拟合.6.3.3 局部多多项式估估计的性性质 整个这这一节中中，我们们假定是是平稳序序列. 令是有有随机变变量生成成的事件件的域. 令和和是它们们相应的的和混合系系数. 用表示示单位向向量，其其位置的的元素为为1. 令 （6.224）和是矩阵阵，它位位于的元元素是. 首先，我们容容易证明明估计能能够写为为， （66.255）其中有效效核是核核和一个个多项式式函数的的乘积，其定义义如下. （66.266）以上表达达式显示示除了“核

46、”依赖于于设计点点和位置置外，估估计看起起来就像像传统的的核估计计. 这这就解释释了为什什么局部部多项式式拟合能能够自动动地适应应各种设设计框架架和边界界估计. 图66.5给给出了局局部常数数拟合的的有效核核函数和和对Eppaneechnnikoov核在在点和处的局局部线性性拟合. 它们们满足如如下矩性性质.图6.55 对对局部常常数拟合合和具有有核为EEpannechhnikkov核核的局部部线性拟拟合在内内点处（权由表示）和边界界点（权权由表示）分配给给局部数数据点的的有效权权. 水水平实线线和虚线线分别是是真实函函数和估估计的函函数在点点和的高度度. 它它们的差差是在这这两个点点处的偏偏

47、倚. （a）Naddaraaya-Wattsonn估计；（b）局部线线性拟合合. 为为清楚起起见，数数据（）不包包含噪声声命题6.1 有效权权满足如如下有限限矩性质质：，其中如果果，则，否否则为11.证明 由的定定义.从而得到到所要的的结论. 作为命命题6.1的结结果，当当真实的的回归函函数是阶阶为的多多项式时时，的局局部多项项式估计计的无偏偏倚的. 为了了获得更更多有关关有效核核的知识识，我们们提供它它的渐近近形式. 我们们首先引引进一些些记号. 令是是矩阵，它的第第元素为为，其中中. 定定义等价价核如下下， （6.27）其中是的的元素.命题6.2 在定理理5.55的条件件下，如如果的边边缘

48、密度度在点处有有连续的的导数，则在对对和一致地地有，其中. 对高阶阶核而言言，等价价核满足足如下矩矩条件：.证明 注意到到基本上上和具有有诱导核核的核密密度估计计是相同同的. 因此，由定理理5.55，对一一致地有有， （6.28）把（6.28）代入的的每一个个元素就就立即得得到，或等价地地有，其中，因因此，把把这个式式子代入入的定义义，我们们得到.这就证明明了第一一个结果果. 第第二个结结果用与与命题66.1相相同的证证明可得得. 由（66.255）和命命题6.2，有有. （6.229）因此，使使用局部部多项式式估计就就像使用用具有已已知设计计密度的的核回归归估计一一样. 这就解解释了为为什么

49、局局部多项项式拟合合适应于于多种设设计密度度. 反反过来，核回归归估计在在的导数数偏大的的区域有有大的偏偏倚，即即它不能能适应高高偏斜设设计. 为了搞搞清楚这这一点，想象真真实的回回归函数数在这样样的区域域内有大大的斜率率. 对对给定的的，由于于设计密密度的导导数是大大的，故故而在的的一边比比另一边边有更多多的点. 当使使用局部部平均时时，由于于局部数数据呈现现对称状状态，故故Naddaraaya-Wattsonn估计向向着有更更多局部部数据点点的那一一边产生生偏倚. 由于于局部数数据多是是非对称称的，故故而这个个问题在在边界区区域更显显著，见见图6.5. 另一方方面，如如果需要要，局部部多项

50、式式拟合造造出非对对称权以以补偿这这类设计计偏倚（图6.5（bb）. 因此此，它适适合于各各种设计计密度和和边界区区域. 我们现现在给出出局部多多项式估估计的渐渐近偏倚倚和方差差表达式式. 对对独立数数据，我我们通过过在设计计矩阵上上加条件件来获得得偏倚和和方差表表达式. 然而而，对诸诸如在例例6.11-6.3中所所给出的的时间序序列，加加在上的的条件将将意味着着几乎是是加在整整个序列列上. 因此，我们用用渐近正正态性而而不是用用条件期期望来导导出渐近近偏倚和和方差. 正如如在5.33所解释释的那样样，状态态局部化化减弱了了局部数数据的相相依结构构. 因因此，人人们期望望对独立立数据的的结果对

51、对具有某某种混合合条件的的平稳序序列依然然成立. 混合合条件和和窗的大大小是有有关系的的. 这这点的严严格叙述述由在6.66.2中中的条件件1（iiv）给给出. 下面属属于Maasryy和Faan（119977）的定定理的证证明将在在6.66.2中中概要地地给出.定理6.3 在6.66.2的的条件11下，如如果，且且在点处是是连续的的，则当当时，其中，是是矩阵，它的第第元素是是是维向量量，其第第个元素素为. 注意，由等价价核的定定义易见见和因此，定定理6.1的直直接推论论是导数数估计是是渐近正正态的： （66.300）当时，（6.330）给给出本身身的渐近近正态性性. 局部多多项式估估计的渐渐

52、近偏倚倚和渐近近方差被被自然地地定义为为， （6.331）. （6.332）对给定的的权函数数，理想想的带宽宽应极小小化这就得到到渐近最最优带宽宽， （6.333）其中.然而，由由于这种种理想带带宽依赖赖于未知知函数，故它不不是直接接可用的的. 我我们将在在6.33.5中中提出方方法来估估计它. 正如在在上一节节所叙述述的那样样，当是是奇数时时，局部部多项式式拟合自自动地适适应边界界区域. 为了了说明这这一点，我们沿沿用Gaasseer和MMlleer（119799）的公公式表示示. 假假定有有有界支撑撑，记为为. 则则当核有有有界支支撑时，是右边边界点. 我们们现在考考虑在边边界点处处的行为

53、为. 为为此，令令.在定义和和中，我我们用分分别代替替和，这就就得到了了和. 类类似地，在边界界定义等等价核为为则我们有有下列结结果，它它的证明明非常类类似于定定理6.3的证证明.定理6.4 假定6.66.2中中条件11成立，且. 如果，和在点00处是右右连续的的，则当当，其中. 作为定定理6.4的推推论，在在边界点点处，我我们有如如下渐近近偏倚和和方差：和.将它们与与（6.31）和（66.322）相比比较. 注意，当是对对称的且且是偶数数时，可可以证明明（Ruuppeert和和Wannd19994）（6.31）中的系系数是零零. 在在此，偏偏倚在内内点比在在边界点点有较小小的阶. 这就就是所

54、谓谓的边界界效应. 当是是奇数时时，偏倚倚在内点点和边界界点具有有相同的的阶. 实际上上，它们们在点处处甚至是是连续的的，该点点是内点点和边界界点之间间的界. 因此此，当是是奇数时时，局部部多项式式拟合并并没有产产生额外外的边界界偏倚. 假定定奇数，且是对对称的. 可以以证明，对阶和和阶的局局部多项项式拟合合有相同同的渐近近方差（参阅FFan和和Gijjbells，119966的3.33）. 但后者者有更多多的参数数以减少少建模偏偏倚，特特别是在在边界区区域. 这就是是我们推推荐适用用奇数阶阶拟合的的理论背背景. 这真是是一个奇奇妙的世世界！ 下面引引理对导导出局部部多项式式估计是是非常有有用

55、的. 它是是Macck和SSilvvermman（19882）的的结果的的推广.引理6.1 令是平平稳序列列，满足足混合条条件，其其中和. 进进一步假假定对某某个和区区间，有有且，其中表示示的联保保密度. 此外外，我们们假定6.66.2中中条件11（iii）和（iiii）成立立. 令令为具有有界支撑撑的有界界函数，满足LLipsschiitz条条件. 则倘若若，且对对某个和和，我们有. 注意，由于，当混合合系数指指数衰减减，则引引理6.1的最最后一个个条件自自动成立立. 一一般地，当相当当大时，上述引引理中的的最后一一个条件件成立. 我们现现在叙述述和证明明局部多多项式估估计结果果的一致致收敛

56、性性.定理6.5 假定引引理6.1的条条件成立立，设计计密度在在上是一一致连续续的，且且. 则则. 在定定理6.5中取取第元素素，我们们有.特别地，局部多多项式估估计有如如下的一一致收敛敛性：.6.3.4 标准误误差和估估计偏度度 局部多多项式估估计的标标准误差差对构造造置信区区间是有有用的. 为了了导出它它们，我我们暂时时假定是是来自某某总体的的独立样样本. 则由（6.223）有有.注意，. 由于于所有运运算都是是对局部部地进行行，故而而上述条条件方差差几乎是是常数. 使用用这种局局部同方方差性，我们有有.当然，这这个近似似仅对那那些成立立，但是是，那些些点实际际是用于于计算方方差的数数据点

57、. 由此此，我们们有.条件方差差可以用用一个先先导带宽宽和平方方残差通通过平滑滑来估计计，其中中. 这这就得到到协方差差矩阵的的一个估估计. （6.34）这是在FFan和和Gijjbells（119955）中提提出的估估计条件件方差的的预渐近近替代方方法. 相反，许多作作者使用用了渐近近替代方方法，将将估计代代入诸如如（6.31）和（66.322）的渐渐近表达达式中. 这不不仅导致致了更多多的未知知函数需需要估计计，而且且也降低低了估计计的准确确性. 回忆定定理6.3中关关于的定定义. 与上面面的讨论论一样，我们可可以得到到对于独独立样本本的局部部多项式式估计的的偏倚是是，其中，其其第元素素由

58、下式式给出. 由Faan和GGijbbelss（19995）提出的的预渐近近替代方方法首先先是利用用阶局部部多项式式拟合和和先导带带宽来估估计和. 这这样就给给出了的的估计和和估计的的偏倚向向量， （66.355） 对于相相依数据据而言，上面的的讨论却却不一定定成立. 但是是，如5.33所阐述述的一样样，局部部数据的的行为非非常像局局部独立立数据. 这样样，（66.344）和（6.335）给给出了在在混合条条件下的的渐近偏偏倚和渐渐近方差差的一个个相合估估计. 实际上上，利用用（6.28）和核类类似的表表示，我我们很容容易地看看出上述述偏倚和和方差的的估计相相合的.的偏倚可可以通过过的元素来来

59、估计，我们记记它为. 类似似地，的的对角元元素就是是的估计计方差，相应地地，我们们记为. 由定定理6.3可知知，关于于的水平的的点置信信区间大大致是， （66.366）其中是标标准正态态分布的的分位数数. 估计偏偏倚涉及及到高阶阶导数的的估计，而这在在普通样样本量下下通常估估计得不不好. 正因为为这个原原因，在在置信区区间的构构造中常常常忽略略掉偏倚倚. 有有人甚至至讨论说说，参数数模型的的置信区区间忽略略了偏倚倚，却也也逼近得得很准确确. 为为简单起起见，我我们称下下的区间间（6.36）为点置置信区间间. 图图6.66描述了了估计回回归函数数和以及它它们相应应的逐点点置信区区间.6.3.5

60、带宽选选择 如5.33的解释释一样，对于特特定混合合条件下下的数据据平稳序序列，状状态域平平滑和独独立数据据的非参参数回归归表现很很相似，因为加加窗技巧巧弱化了了局部数数据间的的相依性性. 也也部分地地因为此此原因，对于状状态域平平滑问题题的带宽宽选择没没有太多多的研究究. 然然而，期期望对于于独立数数据的带带宽选择择方法能能继续应应用到特特定混合合条件下下的相依依数据上上来也是是合理的的. 下下面我们们就一些些有用的的方法做做一总结结. 当当数据没没有足够够强的混混合性时时，减小小方差的的一般方方法就是是增加带带宽. 交驻核核实方法法在平价价一个估估计的好好坏以及及估计预预测误差差时是非非常