（系统分析与集成专业论文）时间序列模型预测及系数估计方法的研究.pdf

摘要 本文以经济和金融系统的时间序列数据为考察对象，综合运用各种模型对 目标系统做预测。引言中首先介绍时间序列模型的实际应用及国内外发展概况， 然后详细说明本文的研究意义及内容创新。 第二章对一般时变白回归模型的时变系数提出一种估计方法，即建立一个 关于时变系数的向量自回归模型，利用最小二乘方法计算其系数矩阵，在此基 础上预测时变系数，从而得到时变自回归序列的点预测，讨论了时变模型的稳 定性并给出了稳定的充分条件，另外给出了点预测和区间预测的方法，本章相 关内容及结论部分已作为本人独立工作成果发表在核心期刊。作为补充在第三 章还介绍多维时间序列的矩估计方法和模型定阶方法，进一步地，运用时间序 列多层分析方法对系统进行建模，充分挖掘时变模型长期预测的有效性这一特 点。在第四章介绍核估计方法和局部线性最小二乘方法拟合非参数自回归时间 序列模型，并比较非参数模型与时变线性模型的不同特点。 最后，对本文研究内容的各种预测模型分别予以比较，说明其优点及建模 中存在的问题，并对模型值得改进之处寄予展望。 关键词：时变自回归，向量自回归，局部线性估计，非参数估计 a b s t r a c t t h i 8p a p e rt a k i n gt h ee c o n o m i e a la n df i n a n c i a ls y s t e mt i m es e r i e sd a t aa st h e i n s p e c t i o no b j e c t ，s y n t h e t i c a l l yu t i h z e se a c hk i n do fm o d e lt om a k et h ef o r e c a s t t ot h eg o a ls y s t e m f i r s t l y , w ei n t r o d u c et h ea p p l i a n c e so ft i m es e r i e sm o d e la n d i t sg e n e r a ld e v e l o p m e n ts i t u a t i o ni nd o m e s t i ca n di n t e r n a t i o n a l ，t h e np o i n to d t t h ep u r p o s ea n dt h ec o n t e n t so fr e s e a r c h i nt h es e c o n dc h a p t e r ，b ye s t a b l i s h i n gt h ev e c t o ra u t o - r e g r e s s i o nt i m es e r i e s m o d e l ，t h ea u t h o ru s e 8l e a s ts q u a r ea l g o r i t h mt oe s t i m a t et h em o d e l sp a r a m e t e r m a t r i xa n dp r e d i c tt h et i m e - v a r y i n gp a r a m e t e r so fat i m e - v a r y i n ga u t o - r e g r e e s i o n m o d e l w ea l s od i s c u s sa n dg i v et h es u f f i c i e n tc o n d i t i o n so fs t a b i l i t yo ft h i sm o d e l ， b a s e do na b o v ec o n c l u s i o n ，w ep r e s e n tam e t h o df o rp o i n tp r e d i c t i o na n di n t e r v a l p r e d i c t i o n a st h es u p p l e m e n t ，i nt h et h i r dc h a p t e rw ea l s oi n t r o d u c et h er e c t a n - g - l a re s t i m a t i n gm e t h o da n dt h es t e p - d e t e r m i n i n gm e t h o do fm u l t i - d i m e n s i o n a l t i m es e r i e s ，f u r t h e r m o r e ，c a r r yo i lt h em o d e l i n gt ot h es y s t e mb yu s i n gm u l t il a y e r a n a l y s i sm e t h o d ，w h i c hs u f f i c i e n t l ye x c a v a t e st h et i m e - v a r y i n gm o d e l sc h a r a c t e r - i s t i c i nt h ef o u r t hc h a p t e r w eu s eb o t hk e r n e le s t i m a t i o na n dl o c a ll e a s ts q u a r e a l g o r i t h mf i t t i n gn o n - p a r a m e t r i ca u t o - r e g r e e s i o nt i m es e r i e sm o d e l a n di n t e r p r 酢 i n gt h ec h a r a c t e r i s t i c so fn o n - p a r aa n dt i m e - v a r y i n gp a r a m e t e mm o d e l f i n a l l y , w em a k eac o m p a r i s o nr e s p e c t i v e l yt ov a r i o u se s t i m a t em o d e li no u r r e s e a r c hc o n t e n t s ，p o i n to u ti t sa d v a n t a g ea n ds o m ee x i s t e n tp r o b l e m si nm o d e l ， a n dg i v ea l lo u t l o o kf o rt h em o d a lo fi m p r o v e m e n t k e y w o r d s ：t i m e - v a r y i n ga u t o - r e g r e s s i o n ，v e c t o ra u t o - r e g r e s s i o n ，1 6 c a ll i n e a re s - t i m a t i o n ，n o n - p a r a m e t r i c a le s t i m a t i o n 表格 3 1 时变参数预测值序列 3 2 指数预测值与实际值的比较 b 1 新建住宅楼盘销售面积 b 2 上海证券交易所2 0 0 5 年3 月3 日一2 0 0 5 年4 9 2 5 日日上证综合指数数据 b 3 时变参数估值算法得出的估值序列1 b 4 时变参数估值算法得出的估值序列2 b 5 非参数时间序列模拟数据1 b 6 非参数时间序列模拟数据2 。 虬缸 舡s i 骆雅的砸 插图 2 1t v a r 模型预测及区间估计结果 2 2 两种预测方法的比较 4 1 核估计方法 4 2 局部线性最小二乘方法 ：宝竹 勰勰 2 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：堡永e l 期：! 习：2 ，吒 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校 可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 日期：幽： ：箩 第一章引言 1 1课题国内外发展概况介绍 时间序列分析是统计预测最重要的工具之一，在实际问题中有很多现象的 研究对象的数据呈现出随时间变化的迹象，比如公司研究产品在当地市场上的 月销售量变化，数据则是以月为时间间隔单位，反映每个月的销售情况，通过研 究可以预测出来来几个月的销售量变化趋势，是否有周期变化或销售淡季的到 来，从而给决策层提供产品生产建议。另外在气象研究，金融股指数据研究和 动力系统仿真研究中时间序列工具也应用广泛。分析平稳时间序列的技术分为 两类时域分析和频域分析，时域分析是直接处理观测数据；频域分析又称为谱 分析，是先对观测数据进行傅里叶变换，然后对变换后的数据进行分析，将过 程分解为具有不同频率的不相关的周期分量的和。无论那种技术，时频域分析 就是通过研究历史数据弄清楚序列的内在发展规律及相依关系，从而方便我们 利用时序的自身变化规律对未来作出预测，所以时间序列分析的主要目的就是 预测，问题是数据的结构及形式千变万化，要探索历史数据的本质形式，建立 一个真正可以预测的时序模型，更重要地使预测问题对于实际问题有意义，对 我们可以说是非常大的挑战。可喜的是在时间序列的研究中，已经取得了很多 有实际应用价值的模型及理论成果，有理论最丰富的应用最广泛的的单变量具 有固定参数的线性模型【6 j ，比如自回归滑动平均模型，针对平稳序列的短期预 测效果比较理想，另外非线性的模型如门限自回归模型也有广泛的研究及应用。 在建立线性单变量预测模型之前，首先要确定所研究的序列是平稳的序列或者 一般可以通过变换转化为平稳的序列。平稳是建立这种固定参数模型最重要的 假设，所谓平稳性，是指序列的均值近似为某一常数，二阶矩不随时间的变化 而变化，这是一个宽平稳的概念。严平稳是指序列的任一有限维分布不随着时 间的推移而变化，事实上宽平稳性主要用于如a r m a 过程的线性时间序列建模， 来考察时间延迟变量间的线性关系，对于非线性建模，时间序列仅存在二阶矩 时不变是不够的，通常还要求满足严平稳条件。给定历史数据序列检验序列的 宽平稳性通常利用绘制数据随时间的散点图，观察数据的均值及变化是否有明 显的差异，就可以对趋势平稳序列做出检验。严平稳的检验至今没有科学而普 2 时间序列模型预测及系数估计方法的研究 遍有效的方法。时变自回归模型在建模之初并没有要求数据序列具有严平稳性， 做为自回归滑动平均模型的基础上的一种改进，并没有改变原来模型的线性形 式，另一方面，时变的系数使得模型具有更大的应用灵活性。其优势在于，将研 究对象即时间序列观察数据的未来预测转化为预测相同时间状态上的时变系数 值，从而减小了直接预测的误差 对于具体的时间序列数据预测问题，在现有的基础上已有很多模型族可供 选择，时变时间序列模型是近年来应用于非平稳数据分析与处理的一种新方 法这种方法一般用具有时变系数的自回归模型和滑动平均模型来表征非平 稳随机序列，这些模型的特点就是其系数具有时变性，其本身可以看作是一组 时间序列时变时间序列模型作为非线性模型非常重要的一种形式，近年来得 到了一定的研究，主要有g e r s c h 和r i t a g a w a 等人所提出的采用正交多项式展开 式来逼近时变a r 模型的参数辨识算法，还有如m a r ch a l l i n g 所提出的通过非平 稳y m e w a l l 【e r 方程来辨识时变a r 模型的参数估计算法，上述算法都是由已知测 量数据估算而得，时变参数变化趋势不具有外延性不适用于适时跟踪及时变参 数预测等问题总体来讲，有关非线性时间序列理论的研究还处于初级阶段，大 量的理论及应用问题等待着探索和实践 1 2 本文的主要结果 本论文选取时变模型建模，一方面考虑到它的时变系数可以连续分层预测 扩展了可用信息的内容，可以很好的反映和描述数据的发展变化规律，另一方 面，它由于采用线性模型的形式，所以避免了非线性建模过程可能遇到的很多 复杂问题吲。在选定模型的基础上，对于时变模型来说，选择一个最优的时变 系数跟踪估计及预测算法也十分重要，系数跟踪估计递推算法是通过证明得出 的满足误差最小准则的算法，本文通过定理证明了时变系数序列的估值过程算 法，另外时变模型的预测效果需要区间预测来检验，针对时变自回归模型，本文 提出一种区间预测算法，这一算法的意义在于应用它的结果可以验证时变模型 的有效性。至于时变系数的预测算法实际上可以应用均值近似法，最小二乘法， 和矩估计方法，还有多层a r 模型法，前面提到的最小二乘方法和矩估计方法是 针对多维时变系数建立自回归模型后的估计深层系数的手段，这两种常用估计 方法的缺点是复杂的公式和大的计算量，尽管计算令人望而生畏，但是我在论 文中分别给出出了多层分析过程中两种估值方法的公式并给出应用的例子以检 第一章引言 3 验效果，时变模型的系数实际上也可以看作是具有时变系数的模型序列，这就 是时变模型多层分析的思想，这种想法可无限挖掘可扩展信息，但是这种分析 过程使得模型中的序列维数迅速扩张，而对新生成的多维序列需要首先判别平 稳性，才能确定建模手段，这是一个难点，例如检验p 维多变量序列 卢( 女) ) 的平 稳性，对如下的统计假设进行检验： g o ：p ( 砷= 芦+ v ( k ) 其中p 是定常向量，如( ) ) 是零均值的平稳向量随机序列。严格意义上的平稳性 检验条件仍旧没有理论上的证明，在多维的情形下，寻找检验统计量是很困难 的问题。本文的解决方法是利用类似因子分析的正交分解方法将序列变化为互 相独立的单变量序列并预测。对于时变模型的系数估计，大的运算量通常会通 过传递引起大的预测误差，影响预测精度这是严格的预测所不愿意看到的，在 多层分析方法的讨论中引进介绍了一种时变系数的改进的预测算法，这一算法 的基本思想是：首先只预测每一层时变系数中相对比较平稳的某一时变参数估 值序列，对于这一相对较平稳性的序列，如果它是满足平稳的，或者说有比较 明显的变化规律可以被识别，那么有很多比较成熟的预测模型和方法可以应用， 例如均值近似法，周期变量法或者滑动平均法。先预测出一步向前外推值，然后 利用时变参数递推算法反算出原始序列的一步外推预测值，进而利用得到的结 果计算其他时变系数的预测值。如果选择的序列没有明显的变化规律可寻，则 仍可以建立时变自回归模型，去寻找下一层时变系数中能发现有明显规律的序 列并预测它。再利用时变参数递推算法计算其他时变参数的值，每一层继续下 去，最终总能发现并预测出全部系数。由于每一层只预测了其中一个参数，其它 的参数通过计算获得，从而减少了预测的误差。本文给出了应用这一改进方法 解决实际问题的例子。对于时间序列的预测来讲，要达到理想的预测精度，完 成一个良好的拟合效果始终有两件事情需要建模统计人员作出选择：模型族的 选取和参数估计预测算法的选择。在前三章中主要讲述针对时变自回归建模做 了参数预测算法的比较选取的工作，为了将时变模型与其他非线性模型做比较， 本文在最后一章还介绍了针对特定问题的非参数时问序列模型，在介绍的非参 数模型中系数是延迟数据序列的未知函数，通常是延迟序列的非线性的函数， 如果将时变自回归模型的时变系数看作是时间变量的未知函数，那么就有理由 认为时变自回归模型和这种非参数模型在建模上有异曲同工之妙，只不过前者 的系数时间变量的函数，后者的系数是延迟变量和时间的函数。此类模型的研 4时间序列模型预测及系数估计方法的研究 究在很多文献中也有介绍【2 4 系数估计方法有核估计和局部线性回归估计，本 文介绍了这两种方法，并给出了应用这两种方法模拟实际数据的例子并比较效 果。 如前所述，本文创新性的给出时变序列的区间预测算法，先给一简单介 绍，a r 模型毫无疑问是最容易理解的一种模型形式，以此为基础，本文第二章 首先介绍带有时变系数的自回归模型，并推导出关于时变模型的区间预测的方 法。下面简要叙述主要结论，假设有序列 ，n ) 的p 阶时交自回归模型： p ；c a n ) x - # + e n ( 1 1 ) 相互独立，且“一n ( 0 ，) 本文记为t v a r ( p ) 本文讨论了( 1 1 ) 的稳定性，并给出了判别( 1 1 ) 稳定的充分条件，在此基础 上给定模型系数的估计方法，序列 x 。，礼在历史测量数据已有的条件下， 利用上面的模型来估计模型中的系数妒，( 几) ，也( n ) 如( 礼) ，无论系数序列独立 与否，我们都可以应用以下方法。 此时，通过构造一个p 维的向量时间序列妒( n ) = ( 1 ( n ) ，也( n ) 如( n ) ) t 建 立一个p 维向量自回归模型如下： o 妒( 凡) = a 妒( n 一尼) + 堍一n ( 0 ，c r 2 厶。，) ( 1 2 ) k = l 其中 i p ( n ) = ( ，( n ) ，也( n ) c a 0 ) r a = ( 拶) ，。， 吼= ( r l ( 礼) ，r 2 ( n ) r p ( 礼) ) t 则通过上面向量自回归模型预测时变系数妒( + t ) 是我们的目标，首先构造历 史数据，假设时变系数满足一定的规则比如相邻时刻的序列值变化不大来构 造 妒( 佗) ， 1 2 ，在完成历史数据的构造后，就可以利用最d 、- - - 乘方法估计其 系数矩阵，将估计值代入模型就可以得至l jc p ( n + t ) 的预测值，将预测值再代入时 变自回归模型就可以得到对原来序列的点预测结果。最后做区间预测，通过区 间预测来描述估计范围能以一定的概率覆盖真实值。可以证明区间预测有下面 的结果：7 i r 、，a r 模型点预测粕+ 。o 1 ) 的置信水平为1 一n 的置信区间为 第一章引言 5 一一；再t-1 ； 3 ) 因此如果预测置信区间需要给出白噪声方差的估计值和g r e e n 函数的值， 对于自噪声方差的估计论文尝试用以下公式得出： r1 2 靠：聪：e i 弱一壹c a n ) x , , 一一 靠= e = l 弱一一，l l j “ j ( 1 4 ) = 兄( o ) 一2 咖忍0 0 ) + 焱( 佗) 如( 彩兄一 0 一j ) j = 1 i = 1 其中相关函数的估计由公式 n - k w ( i 一佗) 置五+ 女 忍( = e ( 赫墨+ 0 = 塑瓦f 一 ( 1 - 5 ) 叫“一札) i = 1 给出，公式中权系数w ( x 1 = e - 舻 其中k 0 是一个可调整的估计参数 g r e e n 函数的传递形式如下： g 0n ) = 1 g 七q ) ：嘣差神如( 神g - j 一歹) ，七芝l ( 1 6 ) g 七q ) = 如( 神( & 一歹) ，七芝l 、 j = l 时变自回归部分的主要工作是估计其时变系数及对模型做预测研究，其中估计 模型时变系数可以用最小二乘法和矩估计法，通过预测及区间预测的结果检验 模型效果，文章第三章首先简单介绍向量自回归及其系数估计，然后仍以时变 系数模型为研究对象，研究时变模型的多层分析过程。最后一章介绍非参数模 型的预测与时变模型作比较，非参数回归模型是近年来计量经济学研究的热点， 相对于传统的线性或非线性回归模型，非参数回归模型更加符合实际问题的需 要，能够有效的减少模型误差，本文将其应用与时间序列的预测，简单介绍以下 模型 五= 咖( 五) 五叫+ e t 6时间序列模型预测及系数估计方法的研究 的系数也( 五) 的非参数函数估计：核估计和局部线性最小二乘估计方法，并以 实例分析比较估计效果。 第二章时变自回归模型系数的估计及预测 现实问题中很多时间序列数据都是非平稳的，与平稳的时间序列相比，非 平稳对间序列并不表现出任何明显趋向于一个不变值。到目前为止，已经证明 有几种方法对于处理此类问题十分有效，例如对于处理金融时问数据非常有效 的格兰杰的协整分析方法和差分方法1 1 1 ，还有h u n g 2 等- 于1 9 9 8 年提出的基于经 验的模式分解及其h i l b e r t 时频谱也称之为局域波分析方法。时变参数模型法是 近年来应用于非平稳数据分析与处理的一种新方法f 3 ，4 t 。这种方法一般用具有 时变系数的自回归模型和滑动平均模型来表征非平稳随机序列，这些模型的特 点就是其系数具有时变性，其本身可以看作是一组时间序列，因此对时变参数 的估计算法研究是相当有意义的，在文献吲中作者采用递推最小二乘法求解非 平稳随机信号模型的时变参数同时比较了不同基时间函数的选取对估计算法的 影响。本文将时变系数看作互相相关的多维时间序列，采用向量自回归来估计 系数，并给出时变模型区间预测的方法，事实证明用区间预测可以非常有效的 检验模型的应用效果，而且可以验证模型是否可用。 2 1时变自回归模型的时变系数估计 设 五，n ) 为零均值非平稳时间序列，对于建立一个系数依赖于时 闻的p 阶自回归模型( 即时交线性自回归模型) p = o a n ) x - j + e 。 ( 2 1 ) j = l 。相互独立，且。1 1 1 e 3 a n ( 0 ，) ，y g t v a r ( p ) 我们讨论当模型( 2 1 ) 中的系 数，( n ) ，也( h i 如( 礼) 不是相互独立的情况，此时通过构造一个p 维的向量时间 序列，( n ) = ( 妒l ( n ) ，也( 竹) c a n ) ) ，建立一个p 维的向量自回归模型如下： ，( n ) = ，一膏) + 忍 ( 2 2 ) k - - 1 其e f l a = ( n 学) ；兄；= ( n m ) ，r 2 ) ，r p ( n ) ) ；r t 。服从( o ，矿k ) 8 时间序列模型预测及系数估计方法的研究 首先给出一个引理和一个定理，通过定理来构造系数时间序列的数 据 ，( n ) ，n 引理1 根据假设条件，模型 ( 2 3 ) 系数序列奶( 扎) 的极大似然估计玉( n ) 应满足 墨= 玉( 礼) 墨- j j = 1 证明由模型( 2 1 ) 知道：条件密度函数 p ( x k f x k 一x k 一，) 一( c a k ) x k j i ) 可对关于西和盯的似然函数求偏导，似然函数如下： l ( d z j ( k ) ，巩f 五，局) = n f ( x l x l ，拖一i ) 2 垂专卅铲1 一洳蝴仁。， ( 2 7 r ) 竿听1 ，靠 唧卜。妻。去陬一著p 办( 功托 m 渤 l 叫蜀，列2 谛一。；h 眨。， 一南( x k 一c a k ) x - a 2 k = p + t “k = 1 分别对咖( 七) ，巩求上式的偏导数： 器= 去c 凰一骞酗陬剐1 面o l n l = 五1 吲1 甄一壹j = l 郴阻扩= o f +k 如 ，傅 = k 第二章时变自回归模型系数的估计及预测 9 根据假设条件序列讯- 吼不为零，从而不难推出 p 甄一南( ) 冠。= 0 j = l 引理证毕 定理2 1 根据引理j ，对于模型( 2 j ) 满足约束条件 ， = 咖( n ) 。 声1 并使目标函数 i c j ( n ) 一九 一1 ) 1 2 j = l 达到最小的机( n ) = 1 ，2 ，力应满足 夏一办枷一1 ) 五o o k ( n ) = c k ( n 一1 ) + j 三一一 霹一j 证明首先根据l a g r a n g e 乘子法构造目标函数： ，= i c e ( n ) 一奶一1 ) 1 2 + 2 a 一c a n ) x - j ) j = lj = l 由于 丽o j = 2 ( 机( 他) 一撕一1 ) ) 一2 a 一k 因为 丽0 2 弼j = 2 。 说明满足上式偏导数为零的点为目标函数的全局最小值点，令 否丽o j = 。 ( 2 6 ) 口 ( 2 7 ) ( 2 8 ) 砷姒 ，触 | | 致 即 l o时阿序列模型颈测及系数估计方法的研究 得： o k ( n ) = c k ( n 一1 ) + a 弱一 再由上式及约束条件： ppp 赫= ( 锄 一1 ) + 砜- j ) - j = 毋j ( n - - 1 ) - j + a 碍一j j = l j = lj = l 得： 墨一咖( n 一1 ) k ， a = 型广一 善霹。 j = l 代入 机( n ) = 妣( 礼一1 ) + 入一- 即证得结论。口 根据上述定理，当样本观测值j ，1 ，j ，2 ，以及初值 机0 ) ( 1 k p ) 为 已知条件时，就可以确定模型的系数序列以( n ) 0 + 1 竹) ( 1sk p ) ) 的 值，对此序列的任何f 步预测缸( + 2 ) 将得到原序列x 。的f 步预测值 p 文n “= 芝二砒o n + q 爻n + i 一 当 2 憾 文n + i i = x n “一 j = l s 篓篓匙螂蜘0 c 2 9 ， i 扣l p ，p 2 () 。a ，磐2 。，。：善+ 。蚤 也( n ) 一k = lj = l 蝣奶m 一七) ) 咖( 扎) = 吃奶一后) + 矗( 几) ( 2 1 0 ) & ( 。= 似( n ) 一n 字也 一七) ) 2 ( 2 1 1 ) 第二章时变自回归模型系数的估计及预测 其中 = 1 ，2 ，p ；膏= 1 ，2 ，r 估计值a f k ) g y 4 市( 2 1 1 ) 取到最小值，所以令 罴碰，= o 石西k 净b 刮 对鼠关于琊= 1 ，2 ，p ；m = 1 ，2 ，r 求偏导数： nr p o s i a a 孑= - 2 农( 稃) 一诺c j ( n 一积一m ) _ 0 ( 2 1 2 ) n f f i 州- r + 1k = l = l 整理上式可得： r p nn 办也一k ) o d n - m ) 彬= 农( n ) 矗一哟 ( 2 1 3 ) n y t 。= 也( n ) 咖一m ) n。p+r+l 从而将( 2 1 3 ) 改为如下形式： r p 秽哲= k f f i lj = l ( 2 1 4 ) 解方程组( 2 1 4 ) 得到估计值a