3.1 MIDAS模型.docx

midas技术文档一、背景介绍在预测一个经济时间序列时，传统的模型经常使用与之相同频率的数据进行预测。但是低频的经济数据存在数据颗粒粗糙、噪音过多、信息丢失等问题，通常会造成预测精度的下降。最近的研究(ghysels, santa, clara and valkanov 2002)显示，加入高频数据作为解释变量会有效地提升经济时间序列预测精度。为了与被预测变量的频率保持一致，传统的高频数据点选取做法有两种：第一种是选取样本区间期末值；另一种是将样本区间内的高频数据点进行简单的等权重加权。这两种数据点选取方式都有明显的问题：第一种只用到了某一点的数据，容易受到期末值异常的影响，同时忽略了很多信息；第二种方法使用等权重加权平均的方式实际上假定每个高频数据点的信息对被预测变量有相同解释能力，但是(andreou, ghysels and kourtellos 2010a)证明了等权重加权的方式存在测量偏差，即：每天股票回报率对预测贡献的信息量是不同的，等权重加权会造成预测结果不准确。针对以上两种方法的缺陷，(ghysels, et al. 2002)采用了一种系数节俭的方式，称为midas(mixed data sampling)。midas假定在样本区间段内的高频数据观测点的信息量服从特定的分布形式，在保留高频数据信息量的前提下减少了待估参数，并得到了广泛的应用。下面的章节结构为：第二部分，简单对midas理论发展文献和应用文献进行了回顾；第三部分，对midas模型及其拓展模型进行了介绍，着重介绍了带有领先项的midas模型，并对其能“即时预测(nowcast)”的能力与其他模型作了比较；第四部分是使用midas对我国通货膨胀率进行预测的实证研究；第五部分附录分为两部分，一部分是对midas的matlab程序模块进行介绍，另一部分阐述了如何使用该程序包。二、文献综述2.1 理论发展综述(ghysels, et al. 2002)最先提出了midas的思想，即：假定高频解释变量的信息结构服从滞后分布，并探讨了midas估计的渐进性质；(ghysels, sinko and valkanov 2007)对midas模型的分布滞后形式进行了研究，提出了多种适用于midas的函数形式，并对midas模型作了一些拓展；(andreou, ghysels and kourtellos 2010b)推导出了midas的非线性最小二乘估计，并将其与传统模型的等权重加权的最小二乘进行了对比，提出了检验在回归模型中是否应当等权重加权的检验方法，最后通过monte carlo模拟验证了以上结论；(bai, ghysels and wright 2010)对比了midas和状态空间模型在处理混合频率数据的效果，发现midas的预测结果与kalman滤波的非常相似，后者的精度更好一些，但是当状态空间模型的设定有误或者参数过多时，midas预测效果更好。2.2 应用研究综述midas实证研究集中在对宏观经济变量的研究上，主要是预测gdp和cpi（通货膨胀率）。(clements and galvao 2006, tay 2006, 2007, clements and galvao 2008, andreou, ghysels and kourtellos 2010c, marcellino and schumacher 2010)使用midas模型，采用日度的金融变量数据对季度gdp进行了预测；(armesto, engenmann and owyang 2010)则采用日度数据对美国的月度cpi数据进行预测。随着日内数据的广泛使用，midas在微观金融变量研究上也发挥出越来越大的作用。(ghysels, santa-clara and valkanov 2005, ghysels, et al. 2007)使用日度收益率的平方对月度方差进行了预测，发现股票市场的风险和收益存在显著的正相关；(ghysels, santa-clara and valkanov 2006)使用了不同频率的数据对日度波动率进行了预测，发现5分钟频率的数据并不能提高波动率的预测精度，日度已实现收益率对未来波动率的预测效果最佳；(alper, fendoglu and saltoglu 2008)以4个发达国家和10个新兴市场国家为样本对周度的波动率进行预测，发现在四个新兴市场国家中，用日度数据的midas模型预测效果显著地好于周度的garch(1,1)模型。三、模型介绍3.1 midas模型(ghysels, et al. 2002)提出了将不同频率的时间序列数据用于回归的方法，称为midas(mixed data sampling)，midas可以有效提取高频数据的信息，并将其用于低频时间序列的预测。midas是一种系数节俭(parameter parsimonious)的将高频数据用于预测的方法。其思路与分布滞后模型非常相似：传统的预测模型在预测时，通常使用与被预测数据相同频率的指标作为解释变量，如果不存在与之相同频率的数据则采用对高频数据进行等权重加权的方式来构造解释变量。假设一个季度股票交易天，我们想用股票回报率来预测gdp增长率，其中是季度中倒数第天的日度股票回报率，遵循midas文献(clements, et al. 2006, ghysels, et al. 2007, clements, et al. 2008, ghysels and wright 2009, andreou, et al. 2010a, andreou, et al. 2010c, b, armesto, et al. 2010)的标记方式，上标代表序列是日度频率，上标代表季度频率。预测方程形式如下： (1)其中，是季度股票回报率，、是待估参数，是误差项。传统的选择方法有两种：第一种，取季度最后一天的股票回报率作为本季度的值，即：取作为季度的股票回报率；第二种，将季度的所有日度股票回报率的值进行等权重加权平均，即：取作为本季度的股票回报率。以上两种解决方法均有明显的问题：第一种只用到了某一天的数据，容易受到异常点的影响，只用一天的观测值忽略掉了很多信息。第二种方法使用等权重加权平均的方式实际上假定每天的股票回报率对因变量有相同解释能力，但是(andreou, et al. 2010a)证明了等权重加权的方式存在测量偏差，他们认为每天股票回报率对预测贡献的信息量是不同的，等权重加权会造成预测结果不准确。(andreou, et al. 2010a)针对以上两种方法的缺点进行了改进，(andreou, et al. 2010a)不再假定权重相等，借鉴分布滞后模型的权重设定形式，将式(1)拓展为如下形式：(2)式(2)中是权重函数，。(ghysels, et al. 2007)探讨和使用了多种权重函数形式，在研究中一般选择almon函数或beta函数，以后的midas实证研究基本都采用这两类函数，取得了不错的效果。指数almon函数的设定形式如(3)式：(3)beta函数的设定形式形式如下：(4)其中，(5)通过引入权重函数，待估参数变为，通过非线性最小二乘对式(2)进行回归就可以得到预测值。传统预测模型一般通过加入解释变量滞后项为了提高预测精度，经典的分布滞后模型如下：(6)(andreou, et al. 2010c)将分布滞后模型用midas的形式表达出来，记作模型，如式(7)所示：(7)上式中，日度数据权重且。时间序列数据一般具有序列相关的特征，分布滞后模型加入被解释变量滞后项可以提高预测精度，这样模型可以变成自回归分布滞后模型，表达成midas模型的形式，如式(8)所示：(8)式(8)记作模型，其中最优滞后阶数和的大小可以由aic准则来确定。随着动态因子模型的发展，越来越多的文献通过提取大量时间序列数据的共同信息来提升预测精度。(andreou, et al. 2010c)将提取出的季度因子加入midas模型中，预测精度显著得到了提升，因子加强后的midas模型记作，如(9)式所示：(9)2.2 带有领先项的midas模型由于高频数据发布总是比低频数据早，在预测低频数据时可以将已经发布的高频数据加入到预测方程中，可以得到更好的预测结果，与预测（forecast）相对，这种预测方法称为“即时预测”（nowcast）。假设我们在t+1季度中的第3个月的第一天，那么使用t+1季度前两个月发布日度数据来预测t+1季度的待预测数据就是“即时预测”。(giannone, reichlin and small 2008)基于动态因子状态空间模型和kalman滤波方法率先实现了即时预测，将最新发布的数据用于更新预测结果，提升预测精度。(ghysels, et al. 2009, andreou, et al. 2010a)发现使用带有领先项的midas同样可以完成即时预测，而且相比(giannone, et al. 2008)的方法，midas有两大优势：第一，midas不需要像状态空间模型那样设定系统方程的形式，避免出现模型设定误差；第二，midas是一种节省参数的方法，待估参数远远比kalman滤波少，计算压力更小。带有领先项的midas模型有如下形式：(10)式(10)记作模型，当t+1季度已经过去两个月，的大小就是两个月的交易天数。四、实证研究4.1 预测方程本文在研究高频日度数据对月度cpi数据的预测能力时，使用带有领先项的midas模型实现即时预测，在加入不同长度的领先日度数据后（即：的大小不同），通过比较预测精度就可以得到已发布日度数据的长度对cpi的预测效果。预测方程为：(11)式中，cpi代表居民消费指数同比增长率，因其频率为月度，故上标为。代表月度动态因子，代表日度解释变量。4.2数据选取及处理本文在预测cpi时，选用的日度指标为全国银行间同业拆借利率(china interbank offer rates，记为chibor)，为了避免主导期限转换带来的度量偏差，本文选择的是加权平均利率。1996年1月中国人民银行建立了全国统一的银行间同业拆借市场，同年6月放开了对同业拆借利率的管制，拆借利率由拆借双方根据市场资金供求状况自行决定，初步形成了全国统一的同业拆借市场利率。chibor的交易量近几年增长比较迅速，但是关于chibor是否能作为基准利率的争议一直存在。本文选择chibor主要原因是midas回归数据长度要求，自由度太少的预测结果并不可靠；另一个原因是本文研究的内容是高频chibor对cpi的预测能力，chibor只要能对市场利率变动作出迅速的反应就可以为预测cpi提供有效的信息，至于其是否是基准利率并不重要。时间区间是2003年1月2日至2011年3月31日，2003年的全国银行间同业拆借市场经过几年的发展已经呈现良好的发展态势，基本能够代表市场利率。从图一中可以看出，chibor与cpi的走势有一定的相似性。4.3实证结果为了体现出midas在预测精度上的提升，本文选择的对照模型为arima模型，两个模型均采用滚动窗口的形式进行预测。估计窗口为2001年3月1日-2010年12月31日，预测2011年1月-2011年6月的cpi，滚动窗口向前预测，一次向前滚动1个月。根据aic标准选择的cpi滞后阶数为1，使用的是beta函数设定形式。在即时预测时，已知信息的天数()的值分别为5、10、15、20、25。结果如表一所示：monthcpiarimamidasmidas(5d)midas(10d)midas(15d)midas(20d)midas(25d)2011m014.95.10755.03185.15745.12295.08354.99725.05262011m024.94.56425.07215.03054.90884.84264.80104.95022011m035.45.11955.74595.41875.37045.37315.15755.42902011m045.35.42935.07264.79924.87614.91474.89524.99812011m055.55.11595.28885.31335.29325.27515.23785.2816mse0.07980.05260.07390.05460.04730.06210.0331stddev0.05240.03980.10190.07360.06030.06310.03762011m065.87055.36515.37025.40695.38175.25445.3287表一：预测结果（其中mse为误差平方均值，stddev是mse的方差）从表一可以看出，使用midas模型对通货膨胀率的预测明显比arima模型好，而midas即时预测的效果也要好于普通预测；随着已经得到的信息越来越多，即时预测的精度也有逐渐上升的趋势；当时，midas模型的预测精度最高，而且预测误差的方差最小。五、附录标准midas模型形式 以下的程序解释均以该模型为基准。如下： (5.1)程序初始化时需要对两个结构体data和opt进行赋值。data结构体是原始数据的储存位置，opt则是估计midas模型时选择的模型形式，调整opt的参数可以使式(5.1)转变成不同的形式。5.1程序模块说明 matlab程序包可以从/eghysels/software_datasets.html处下载，sinko, a., sockin, m., and ghysels, e. (2010), matlab toolbox for mixed sampling frequency data analysis using midas regression models, unpublished manuscript, july.对该程序包进行了详细的说明。5.1.1 data结构体data.x:解释变量数据值data.xdate:解释变量数据的日期值data.y:被预测变量data.ydate:被预测变量日期值5.1.2 opt结构体1.opt.aggropt.aggr.xlag：高频的时间区间，可以是数值型或字符型（|nd|nwk|nm|nq|ny，n是日、周、月、季度、年的个数）（即：日度数据预测月度时，该变量为1m），式(5.1)中的opt.aggr.ylag：被预测的自回归项，式(5.1)中的opt.aggr. xmidaslip:是否对高频数据的缺失值进行线性插值，true/falseopt.aggr.factors:每个因子的滞后项，式(5.1)中的2.opt.estopt.est.horizon：式(5.1)中的s，预测区间opt.est.polyconstr:选择的多项式opt.est.start:起始窗口的开始日期，是datestr()形式或者是观测点数opt.est.end：起始窗口的结束日期，是datestr()形式或者是观测点数opt.est.estmethod：滚动窗口估计，1代表recursive回归，0代表固定窗口回归3.opt.autoic自动选择最优的y滞后阶数,如果使用自动选择的话，那么此前定义的opt.aggr.ylag 会自动无效opt.autoic.auto:启动自动根据ic值选择的功能，true/falseopt.autoic.ic：选择要使用的ic标准，aic/bicopt.autoic.minlag：选择最小的滞后阶数，从0开始opt.autoic.maxlag：选择最大的滞后阶数，到12为止opt.autoic.reportall：如果为true，报告最所有阶数，false最优化程序只报告最优阶数5.2 程序使用说明（以实证研究预测cpi为例）要实现第四部分midas预测cpi，只需要导入数据滞后，填写如下代码：data.x=; %日度数据序列data.xdate=; %日度数据日期，转化为数据形式data.y=; %月度数据data.ydate=; %月度数据，转化为日期data.factors=; % 因子数据序列data.factorsd=; %因子数据的日期，一般与日度数据日期相同opt.aggr.xlag=1m; %日度数据的时间区间，日度数据预测月度，如果预测季度则为1qopt.aggr.ylag=1; %因变量自回归项滞后阶数为1opt.aggr.xmidaslip=true; %对解释变量线性插值opt.aggr.factors=; %填写因子的滞后阶数opt.est.horizon=10d; %当选择estmethod=0时可以使用现时预报opt.est.polyconstr=es; %选择数据排列形式,将每个月的数据设定为相同opt.autoic.auto=true; %是否根据aic或者bic标准选择自回归阶数opt.autoic.ic=aic; %根据aic选择自回归阶数opt.autoic.minlag=0; %最小的自回归阶数opt.autoic.maxlag=12; %最大的自回归阶数opt.autoic.reportall=false; %只公布最优阶数的aic或bicopt.poly=optpolyinit(); %滞后多项式初始化，这句不需要任何修改%opt.poly.beta =1; %选用beta形式%opt.poly.exp =2; %选用指数形式opt.poly.almon = 3; %选用almon形式%预测期长度为6个月opt.est.start=7/1/2003; %样本初始日期“mm/dd/yy”opt.est.end=7/1/2010; %样本结束日期opt.est.estmethod =0; %采用滚动窗口估计，窗口长度不变output=midas_interface_adl_new(opt,data); %进行预测，这句不需要任何修改参考文献alper, c. e., fendoglu, s., and saltoglu, b. (2008), forecasting stock market volatilities using midas regressions: an application to the emerging markets, mpra paper.andreou, e., ghysels, e., and kourtellos, a. (2010a), forecasting with mixed-frequency data, university of cyprus working papers in economics.andreou, e., ghysels, e., and kourtellos, a. (2010b), regression models with mixed sampling frequencies, journal of econometrics, 158, 246-261.andreou, e., ghysels, e., and kourtellos, a. (2010c), should macroeconomic forecasters use daily financial data and how?, ssrn elibrary.armesto, m. t., engenmann, k., and owyang, m. t. (2010), forecasting with mixed frequencies, federal reserve bank of st. louis review, 92, 521-536.bai, j., ghysels, e., and wright, j. h. (2010), state space models and midas regressions, technical, working paper, january 2010.clements, m. p., and galvao, a. b. (2006), macroeconomic forecasting with mixed frequency data: forecasting us output growth and inflation, the warwick economics research paper series (twerps).clements, m. p., and galvao, a. b. (2008), macroeconomic forecasting with mixed-frequency data, journal of business and economic statistics, 26, 546-554.ghysels, e., santa-clara, p., and valkanov, r. (2005), there is a risk-return trade-off after all, journal of financial economics, 76, 509-548.ghysels, e., santa-clara, p., and valkanov, r. (2006), predicting volatility: getting the most out of return data sampled at different frequencies, journal of econometrics, 131, 59-95.ghysels, e., santa, clara, p., and valkanov, r. (2002), the midas touch: mixed data sampl