非线性时间序列

1、近代时间序列分析选讲: 一. 非线性时间序列二. GARCH模型三. 多元时间序列四. 协整模型 第一部分 非线性时间序列第一章. 非线性时间序列浅释1. 从线性到非线性自回归模型2. 线性时间序列定义的多样性 第二章. 非线性时间序列模型 1. 概述 2. 非线性自回归模型3. 带条件异方差的自回归模型4. 两种可逆性5. 时间序列与伪随机数第三章. 马尔可夫链与AR模型 1. 马尔可夫链2. AR模型所确定的马尔可夫链3. 若干例子第四章. 统计建模方法 1. 概论 2. 线性性检验3. AR模型参数估计4. AR模型阶数估计第五章. 实例和展望 1. 实例2. 展望 第一章. 非线性时间

2、序列浅释1. 从线性到非线性自回归模型时间序列xt是一串随机变量序列,它有广泛的实际背景, 特别是在经济与金融领域中尤其显著. 关于它们的从线性与非线性概念, 可从以下的例子入手作一浅释的说明.考查一阶线性自回归模型-LAR(1):xt=axt-1+et, t=1,2, (1.1)其中ett=0, Eet=s2<¥, 而且et与xt-1,xt-1,独立. 反复使用(1.1)式的递推关系, 就可得到xt=axt-1+et= et + axt-1= et + a et-1 + axt-2= et + aet-1 + a2 xt-2 = et + aet-1 + a2et-2+ an

3、-1et-n+1 +anxt-n. (1.2)如果当n®¥时, anxt-n®0, (1.3)et+aet-1+a2et-2+an-1et-n+1 ® åj=0¥ ajet-j . (1.4) 虽然保证以上的收敛是有条件的, 而且要涉及到具体收敛的含义, 但是, 对以上的简单模型, 不难相信, 当|a|<1时, (1.3)(1.4)式成立. 于是, 当|a|<1时, 模型LAR(1)有平稳解, 且可表达为 xt=åj=0¥ ajet-j . (1.5)通过上面叙述可见求LAR(1)模型的解有简便之优点,

4、 此其一. 还有第二点, 容易推广到LAR(p)模型. 为此考查如下的p阶线性自回归模型LAR(p):xt=a1xt-1+a2xt-2+.+apxt-p+et, t=1,2, (1.6)其中ett=0, Eet=s2<¥, 而且et与xt-1, xt-1,独立.虽然反复使用(1.6)式的递推式, 仍然可得到(1.2)式的类似结果, 但是,用扩张后的一阶多元AR模型求解时, 可显示出与LAR(1)模型求解的神奇的相似. 为此记Xt=, U=,A=, (1.7)于是(1.6)式可写成如下的等价形式: Xt=A Xt-1+ etU. (1.8) 反复使用此式的递推关系, 形式上仿照(

5、1.2)式可得Xt=AXt-1+etU= etU+ et-1AU+A2xt-2=¼=etU+et-1AU+et-2A2U+et-n+1An-1U+Anxt-n. 如果矩阵A的谱半径(A的特征值的最大模)l(A), 满足如下条件 l(A)<1, (1.10)由上式可猜想到(1.8)式有如下的解: Xt=åk=0¥AkUet-k. (1.11)其中向量Xt的第一分量xt形成的序列xt, 就是模型(1.6)式的解. 由此不难看出, 它有以下表达方式xt=åk=0¥jket-k. (1.11)其中系数jk由(1.6)式中的a1,a2, . ,ap

6、确定, 细节从略. 不过, (1.11)式给了我们重要启发, 即考虑形如xt=åk=0¥yket-k, åk=0¥yk2 < ¥, (1.12)的时间序列类 (其中系数yk能保证(1.12)式中的xt有定义). 在文献中, 这样的序列xt就被称为线性时间序列.虽然以上给出了线性时间序列的定义, 以下暂时不讨论什么是非线性时间序列, 代之先讨论一阶非线性自回归模型-NLAR(1), 以便与LAR(1)模型进行比较分析. 首先写出NLAR(1)模型如下xt=j(xt-1)+et, t=1,2, (1.13)其中ett=0, Eet=s2<

7、;¥, 而且et与xt-1,xt-2,独立, 这些假定与LAR(1)模型相同, 但是, j(xt-1)不再是xt-1的线性函数, 代之为非线性函数, 比如j(xt-1)=xt-1/a+bxt-12. 此时虽然仍可反复使用(1.13)式进行迭代, 但是所得结果是 xt=j (xt-1) +et = et+ j (xt-1) = et+ j ( et-1+ j (xt-2) = et+ j ( et-1+ j ( et-2+ j (xt-3) =et+j ( et-1+ j ( et-2+ +j (xt-n). (1.14)根据此式, 我们既不能轻易判断j(xt-1)函数满足怎样的条件时

8、, 上式会有极限, 也不能猜测其极限有怎样的形式.对于p阶非线性自回归模型 xt=j(xt-1,xt-2,xt-p)+et, t=1,2, (1.15)仿照(1.6)至(1.9)式的扩张的方法, 我们引入如下记号 F( xt-1,xt-2,xt-p)º, (1.16)我们得到与(1.15)式等价的模型Xt=F(Xt-1) +etU, t=1,2, (1.17) 但是, 我们再也得不出(1.9)至(1.14)式的结果,至此我们已将看出, 从线性到非线性自回归模型有实质性差异, 要说清楚它们, 并不是很简单的事情. 从数学角度而言, 讨论线性自回归模型可借用泛函分析方法, 然而, 讨论非

9、线性自回归模型, 则要借用马尔可夫链的理论和方法. 这也正是本讲座要介绍的主要内容.2. 线性时间序列定义的多样性 现在简单叙述一下非线性时间序列定义的复杂性, 它与线性时间序列的定义有关. 前一小节中(1.12)式所显示的线性时间序列, 只是一种定义方式. 如果改变对系数ykt放宽为平稳鞅差序列, 这在预报理论中很有意义. 无论引用哪一种线性时间序列定义, 都对相应的序列的性质有所研究, 因为其研究成果可用于有关的线性时间序列模型解的特性研究. 事实上, 已经有丰富的成果被载入文献史册.依上所述可知, 由于线性时间序列定义的多样性, 必然带来非线性时间序列定义的复杂性. 这里需要强调指的是,

10、 对于非线性时间序列, 几乎没有文章研究它们的一般性质, 这与线性时间序列情况不同. 于是人们要问, 我们用哪些工具来研究非线性时间序列模型解的特性呢? 这正是本次演讲要回答的问题. 确切地说, 我们将介绍马尔可夫链, 并借助于此来讨论非线性自回归模型解的问题. 第二章. 非线性时间序列模型1. 概论从(1.12)式可见，一个线性时间序列xt, 被et的分布和全部系数yi 所决定. 在此有无穷多个自由参数，这对统计不方便，因此人们更关心只依赖有限个自由参数的线性时间序列，这就是线性时间序列的参数模型. 其中最常用的如ARMA模型. 对于非线性时间序列而言, 使用参数模型方法几乎是唯一的选择.

11、由于非线性函数的多样性, 带来了非线性时间序列模型的多样性. 但是, 迄今为止被研究得较多, 又有应用价值的非线性时序模型, 为数极少, 而且主要是针对非线性自回归模型. 在介绍此类模型之前, 我们先对非线性时序模型的分类作一概述.通用假定: etet=0, 而且et与xt-1, xt-2,独立.可加噪声模型:xt=j(xt-1,xt-2,)+et, t=1,2, (2.1)其中j()是自回归函数. 当它仅依赖于有限个未知参数时, 记此参数向量为a, 其相应的(2.1)模型常写成xt=j(xt-1,xt-2,;a)+et, t=1,2, (2.2)否则, 称(2.1)式称为非参数模型. 关于(

12、2.1)(2.2)的模型的平稳性, 要在下一章讨论, 但是, 它有类似于线性AR模型的几个简单性质, 是重要的而且容易获得的, 它们是:E(xt|xt-1,xt-2,)=Ej(xt-1,xt-2,)+et|xt-1,xt-2,=j(xt-1,xt-2,)+E(et|xt-1,xt-2,)=j(xt-1,xt-2,) (2.3)varxt|xt-1, xt-2 , ºExt-j(xt-1,)2|xt-1, xt-2 , = Eet2|xt-1, xt-2 , = Eet2=s2. (2.4)Pxt<x|xt-1,xt-2, = Pj(xt-1,)+et<x|xt-1,xt-

13、2, = Pet<x-j(xt-1,)|xt-1,xt-2, =Fe(x-j(xt-1,). (2.5)其中Fe是et的分布函数.带条件异方差的模型:xt=j(xt-1,xt-2,)+S(xt-1,xt-2,)et, t=1,2, (2.6)其中j()和S()也有限参数与非参数型之分, 这都是不言自明的. 另外, (2.6)式显然不属于可加噪声模型. 但是, 它比下面的更一般的非可加噪声模型要简单得多. 这可通过推广(2.3)(2.4)(2.5)式看出, 即有,E(xt|xt-1,xt-2,)=Ej(xt-1,xt-2,)+S(xt-1,xt-2,)et|xt-1,xt-2,=j(xt-

14、1,xt-2,)+S(xt-1,xt-2,)Eet|xt-1,xt-2,=j(xt-1,xt-2,) . (2.3)varxt|xt-1, xt-2 , ºExt-j(xt-1,)2|xt-1, xt-2 , =ES2(xt-1,xt-2,)et2|xt-1, xt-2 , =S2(xt-1,xt-2,)Eet2|xt-1, xt-2 , =S2(xt-1,xt-2,)s2. (2.4)Pxt<x|xt-1,xt-2, =Pj(xt-1,)+S(xt-1,)et<x|xt-1, xt-2 , = Pet<x-j(xt-1,)/S(xt-1,)=Fe(x-j(xt-1

15、,)/S(xt-1,). (2.5)一般非线性时序模型:xt=y(xt-1,xt-2,; et, et-1,) t=1,2, (2.7)其中y()也有参数与非参数型之区别, 这也是不言自明的. 显然, (2.7)式既不是可加噪声模型, 也不属于(2.6)式的带条件异方差的模型. 虽然, 它可能具有条件异方差性质. 相反, 后两者都是(2.7)式的特殊类型. 虽说(2.7)式是更广的模型形式, 在文献中却很少被研究. 只有双线性模型作为它的一种特殊情况, 在文献中有些应用和研究结果出现. 现写出其模型于后, 可供理解其双线性模型的含义xt=åj=1pajxt-j+åj=1qb

16、jet-j+åi=1Påj=1Qqijet-ixt-j. 2. 非线性自回归模型在前一小节中的(2.1)和(2.2)式就是非线性自回归模型, 而且属于可加噪声模型类. 在这一小节里, 我们将介绍几种(2.2)式的常见的模型. 函数后的线性自回归模型:f(xt)=a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et, t=1,2, (2.8)其中f(.)是一元函数, 它有已知和未知的不同情况, 不过总考虑单调增函数的情况, a=(a1,a2,ap)t是未知参数. 在实际应用中, xt是可获得量测的序列. 当f(.)是已知函数时, f(xt)也是可获得量测的序列

17、, 于是只需考虑yt=f(xt)所满足的线性AR模型yt=a1yt-1+a2yt-2+.+apyt-p+et, t=1,2, (2.9)此时可不涉及非线性自回归模型概念. 在宏观计量经济分析中, 常常对原始数据先取对数后, 再作线性自回归模型统计分析, 就属于此种情况. 这种先取对数的方法, 不仅简单, 而且有经济背景的合理解释,它反应了经济增长幅度的量化规律. 虽然在统计学中还有更多的变换可使用, 比如Box-Cox变换, 但是, 由于缺少经济背景的合理解释, 很少被使用. 由此看来, 当f(.)有实际背景依据时, 可以考虑使用(2.7)式的模型. 当f(.)是未知函数时, f(xt)不是可

18、量测的序列, 于是只能考虑(2.8)模型. 注意f(.)是单调函数, 可记它的逆变换函数为f-1(.), 于是由(2.8)模型可得xt= f-1(a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et),t=1,2, (2.9)此式属于(2.7)式的特殊情况, 此类模型很少被使用. 取而代之是考虑如下的模型xt=a1f(xt-1)+a2f(xt-2)+.+apf(xt-p)+et, t=1,2, (2.10)其中f(.)是一元函数, 也有已知和未知之分, 可不限于单调增函数. 此式属于(2.1)式的特殊情况, 有一定的使用价值. 当(2.10)式中的f(.)函数是已知时, 此式还

19、有更进一步的推广模型, xt=a1f1(xt-1,xt-s)+a2f2(xt-1,xt-s)+.+apfp(xt-1,xt-s)+et, t=1,2, (2.11)其中fk()(k=1,2,p)是已知的s元函数.例如, 以后将要多次提到的如下的模型:xt=a1I(xt-1<0)xt-1+a2I(xt-1³0)xt-1+et, t=1,2, (2.12)其中I(.)是示性函数. 此模型是分段线性的, 是著名的TAR模型的特殊情况. 为了有助于理解它, 我们写出它的分段形式:xt= t=1,2, 请注意, (2.8)(2.10)和(2.11)式具有一个共同的特征, 就是未知参数都以

20、线性形式出现在模型中. 这一特点在统计建模时带来极大的方便. 此类模型便于实际应用. 但是, 对于xt而言不具有线性特性, 所以, 讨论它们的平稳解的问题, 讨论它们的建模理论依据问题,都需要借助于马尔可夫链的工具. 已知非线性自回归函数的模型:xt=j(xt-1,xt-2,xt-p;a)+et, t=1,2, (2.13)其中j()是p元已知函数, 但是其中含有未知参数a=(a1,a2,ap)t.一般说来, a在一定范围内取值.例如,xt=, t=1,2, 其中a=(a1,a2)t是未知参数, 它们的取值范围是: -¥<a<¥, 0£a<

21、65;.这里需要指出, 使用上式的模型, 不仅要借助于马尔可夫链的工具, 而且在统计建模时遇到两种麻烦, 其一是参数估计的计算麻烦, 二是确定j()函数的麻烦. 一般来说, 只有根据应用背景能确定j()函数时, 才会考虑使用此类模型.广义线性模型(神经网络模型):xt=j(a1xt-1+a2xt-2+apxt-p)+et, t=1,2, (2.14)其中j(.)是一元已知或未知函数, 参数a=(a1,a2,ap)t总是未知的. 为保证模型的唯一确定性, 或者说是可识别性, 要对a作些约定, 其一, |a|=1, 其二, a=(a1,a2,ap)t中第一个非零分量为正的. 不难理解, 若不加这两

22、条约定, 模型(2.14)不能被唯一确定.当j(.)是一元已知函数时, 与神经网络模型相通.当j(.)是一元未知函数时, 与回归模型中的PP方法相通.除了以上两类模型外, 还有(2.1)式的非参数自回归模型, 以及从统计学中引入的半参数自回归模型. 对它们的统计建模更困难. 本讲座主旨在于介绍如何用马尔可夫链的工具, 描述非线性自回归模型的基本特性问题, 对这类模型不再仔细讨论.3. 带条件异方差的自回归模型 在第一小节中的(2.6)式就是带条件异方差的自回归模型. 在这一小节里, 我们将介绍几种(2.2)式的常见参数模型.参数型条件异方差的自回归模型:xt=j(xt-1,xt-2,xt-p)

23、+S(xt-1,xt-2,xt-q)et, t=1,2, (2.15)其中j()是p元函数, S()是q元函数. 它们也有限参数型和非参数型之分别, 这里不在赘述. 有两点必须指出: 为了保证(2.15)式中的j()和S()被唯一确定, 还要限定Eet2=1; 另外, 在根据数据为(2.15)式建模时, 需要对j()和S()都作估计. xt=j(xt-1,xt-2,xt-p)+a0+a1xt-12+apxt-p21/2et, =j(xt-1,xt-2,xt-p)+S(xt-1,xt-2,xt-q)et, t=1,2, (2.16)其中S2(xt-1,xt-2,xt-q)=a0+a1xt-12+

24、apxt-p2. (2.17)我们将看到, 带异方差ARCH模型的自回归模型. 它们都可以借助于马尔可夫链的工具加以研究, 但是, 对于推广后的GARCH模型, 还会遇到某些麻烦.此为后话.现在, 让我们再回顾一下(2.12)式的原始的一般形式:xt=t=1,2, (2.18)其中e1t和e2te1tN(0,s12), e2tN(0,s22),此外, 在(2.18)式中, d³1可能是未知的, c被称为门限值, 一般也是未知的, 这些未知信息都会带来统计的麻烦. 现在我们关心它的类型问题. 为此先改写它的形式如下:xt=a10+a11xt-1+a1pxt-p+e1tI(xt-d<

25、;c)+a20+a21xt-1+a2qxt-q+e2tI(xt-d³c) =a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c)+e1t I(xt-d<c)+e2tI(xt-d³c). (2.19)对此模型计算xt的条件均值和方差,即(2.1)(2.2)式, 并不难, 其条件均值是:Ext|xt-1,xt-2,=a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c).但是, 条件方差有异样, 我们只给出它的计算过程如

26、下:varxt|xt-1,xt-2, (用前一式)=Ee1tI(xt-d<c)+e2tI(xt-d³c)2|xt-1,xt-2,=Ee1t2I(xt-d<c)|xt-1,xt-2,+Ee2t2I(xt-d³c)|xt-1,xt-2,+2Ee1te2tI(xt-d<c)I(xt-d³c)|xt-1,= I(xt-d<c)Ee1t2|xt-1,xt-2,+I(xt-d³c)Ee2t2|xt-1,xt-2,+2I(xt-d<c)I(xt-d³c)Ee1te2t|xt-1,=s12I(xt-d<c)+s22I(xt-

27、d³c)+2I(xt-d<c)I(xt-d³c)ºS(xt-d).据此可见, (2.19)式不能写成(2.6)式的条件异方差模型, 虽然它的条件方差不是常数!进而, xt的条件分布要比(2.3)式更复杂, 不仿一试.由此可见, 当e1t=e2t=et时, 上式变成xt=a10+a11xt-1+a1pxt-pI(xt-d<c)+a20+a21xt-1+a2qxt-qI(xt-d³c) +et , =a10+a11xt-1+a1pxt-p+(a20+a21xt-1+a2qxt-q)-(a10+a11xt-1+a1pxt-p)I(xt-d³

28、;c) +et , (2.20)此式表明, 它属于函数后的线性自回归模型. 由(2.20)式不难写出(2.11)式中的fk(.)函数(k=1,2,p), 注意它们都不是连续函数. 但是, 在实际应用中发现, (2.19)式中的两个残差项很少相同. 在此情况下, (2.19)式属于上述提到的哪一类呢? 易见, 它有条件异方差特性, 但是, 它又不像(2.15)或(2.16)式的任何一类. 事实上它属于下面的多噪声驱动的性自回归模型.多噪声驱动的自回归模型:xt=j(xt-1,xt-2,xt-p)+S1(xt-1,xt-2,xt-q)e1t + S2(xt-1,xt-2,xt-q)e2t, t=1

29、,2, (2.21)其中e1t和e2te1t=Ee1t=0, Ee1t2=s12, Ee2t2=s22. 为了统计建模方便, 常假定它们有正态分布. 读者不难看出(2.19)式中的j(xt-1,xt-2,xt-p), S1(xt-1,xt-2,xt-q)和 S2(xt-1,xt-2,xt-q)的具体表达式. 仿照对(2.19)式的条件均值和方差的讨论, 不难讨论(2.21)式的条件均值和方差, 不仿一试.虽然还可写出比(2.21)式更广的形式, 那不是我们所关心的内容. 这里顺便指出,称e1t和e2t为驱动噪声, 它们都是白噪声序列, 而且是不可观测的. 因此, 这样的模型可称为自激系统. 此

30、类模型亦可借助于马尔可夫链的工具加以研究.(总结两要点: 非线性的复杂性与实用性)4. 两种可逆性 (1). 对严平稳序列xt而言, 称它对新息序列et (et定义见(2.2)式)是可逆的, 如果Ftx=Fte, 对每个t成立， (2.22)其中Ftx和Fte的定义:Ftx=sxs ; s£t, Fte=ses ; s£t,显然, xtÎFte. (2). 平稳序列xt对时间是可逆的, 如果xt与x-t有相同概率分布结构。例如, (x3, x5, x9) 和 (x-3, x-5, x-9) 的分布相同。 (3). 以上两种可逆性概念, 有着本质区别, 现在先指出:

31、若et如果xt为正态平稳序列, 它具有两种可逆性, 但不是显而易见的. (4). 正反向模型的差异具有第二种是时间倒向可逆性时, 此平稳序列的正向与倒向的概率结构是一样的。不言而喻，具有这种可逆性的平稳序列不是普遍存在的。人们自然要问, 不具有这种可逆性的平稳序列，其正向与倒向的概率结构是怎样的呢?它们有什么联系呢？这些内容可有使用价值吗？这些也正是我们所共同面对的问题。目前尚无答案, 甚至于还未被较多的人所意识到。从宏观上看，自然界的现象都不是严格可逆的, 所以, 对它们的观测数据序列也不会具有倒向的可逆性。严格地说,也很难具有平稳性。从统计学观点看,对以上问题都有兴趣, 所取得的有价值的结

32、论, 都有可能为统计学提供新的理论和方法, 用于对观测数据序列的分析，以揭示自然界现象所具有的更深奥的属性。在此，我们仅考查几个简单例子，或许能给我们某些启示。例1. 考查如下的模型： xt=0.5xt-1+et, (2.23)其中etP(et=0) =P(et=0.5)=1/2. 这几乎是不能再简单的线性自回归模型了。按照(1.10)式可知它有平稳解, 而且被表达为 xt=åk=0¥0.5ket-k. (2.24)注意, 在上式中的et, 并不是零均值的, 这并非本质, 我们只是提醒一下。你能想象到此平稳序列xt的倒向概率结构是怎样的吗？很容易验证，它们是： x-t=f(

33、x-t+1), (2.25)其中 f(x)= 注意, xt的倒向结构是纯确定性的! 全无随机性! 易见f(x)可写作 f(x)=2xmod(1). (2.26)再记yt=x-t, 依(5.22)式知: yt=f(yt-1). 由此看来我们可以考虑如下的迭代系统: (2.27)由此式和任给的初始y0, 就唯一确定了全序列yk: k=0,1,2,. 如前一样, 我们也问它的倒向结构是怎样的呢？此时回答这一问题,不如前面那样简单。因为, 当已知yt时, 并不能知道yt-1取何值。 由(2.26)式知, f(x)不是一对一的变换。 又易见, 此时yt-1有两个可能的取值都对应着同一yt. 如果我们考虑

34、一个二项分布的随机变量et, 并用它的试验结果来决定yt-1取哪个值, 我们岂不是得到了与(2.23)式相似的模型吗? 即 yt-1=0.5yt+et, (2.28)其中etP(et=0) =p, P(et=0.5)=1-p.只有当p=1/2时, 模型(2.28)式才与(2.24)式相一致。于是人们会发问: 序列 yk: k=0,1,2,的反向结构能唯一确定吗?回答是肯定的, 至少对上述情况是如此。 回答这一问题, 要涉及非线性变换的不变测度(或分布)。 考虑 (2.29)其中Fx(.)是0,1上的概率分布(也是测度)。 对每个分布Fx(.), 由(2.28)式都确定一个y=f(x)的分布Fy

35、(.)。 当Fy(.)=Fx(.)时, 称这样的分布为不变分布。 这样的分布不一定是唯一的。 关于此类分布的存在性, 唯一性等问题, 是泛函分析讨论的内容。 这里只提一个与本文有关的结果,即y=f(x)的不变分布中, 与勒贝格测度绝对连续的只有一个。 对(2.28)式而言, 这样的不变分布恰是0,1上的均匀分布。不难看出, 只有在(2.28)式中取p=1/2时, 其不变分布才是0,1上的均匀分布。这样就可以在多个反向模型中, 确定唯一的特殊者, 它在理论和应用中都具有特殊地位。yn+1=f(yn) , n=1, 2, . (2.29) y0D=(0, 1) f(y) = 2y, 当0<y

36、<1/2; = 2y-1, 当1/2<y<1. f(y)yn+1 ynyn yn 最后, 我们总结以上结果如下: 满足(2.23)式的xt序列是: 向前看(正向) 向后看(倒向)随机的数序列 - 确定性的数序列线性随机模型 - 非线性确定差分方程不可确切预报 - 可确切预报以上的例子并不少见，再看一个。以上考虑的模型, 都是取值有界的, 下面考虑一个无界的例子。为了叙述方便, 我们仅限于离散取值的情况。 相应的连续的例子可在安和陈的书（1998）中找到。 例2. (3X+1问题)。 考虑如下迭代系统:xt= x0Î1,2, t=1,2, (2.30) 注意, 上式中

37、的xt: t=0,1,2,是只取正整数的序列。显然, 这样的序列被x0的取值唯一确定。当然, 我们还是要问它的反向结构是什么? 在讨论此问题之前, 先看一看它的正向序列的结构是什么, 这可能更有意思。大约在七十多年前, 多位学者猜想: 无论x0取何正整数值, 由(2.30)式迭代得到的序列xt: t=0,1,2,其中总包含1, 从而也包含4和2. 换句话说, (2.30)式迭代系统只有一个极限环1,4,2, 而且无发散现象。 迄今为止, 对此猜想无任何实质性的研究成果。 或许人们更想知道它的反向序列的结构是什么。 事实上, 容易验明其反向序列满足以下非可加噪声的非线性自回归模型: 记yt=x-

38、t, 则有yt=y(yt-1, et), (2.31)其中etP(et =0)=p, P(et =1)=1-p, (0<p<1)以及 y(y, e)=e(y-1)/3+2(1-e)yI(ymod(6)=4)+2yI(ymod(6)¹4).容易验证, 由(2.31)式迭代得到的序列yt: t=0,1,2, 是一个发散的马氏链, 或者说, 无穷远点是它的吸收壁。 可见这对讨论前面的猜想没有任何帮助。 (展望: 正反向统计分析的理论方法) 5. 时间序列与伪随机数(1). 三种序列类型据以上论述, 有分布规律的数据序列, 可有下面三种情类型:(i) 双向随机; (ii) 双向确

39、定; (iii) 单双随机且向确定.(2). 乘同余法的美中不足以(2.26)为例, 由它生成的数据序列 X0, X1, X2, , Xn此序列实际上被X0D=(0, 1)唯一确定. 它的统计特征被它的经验分布所描述,即 Fn(x)=(1/n) åk=1n I(Xk<x).人们关心Fn(x)的极限性质. 希望它收敛到(2.26)式的不变分布-(0,1)上的均匀分布-U(x). 很遗憾, 此要求并不是总能被满足. 具体情况如下:当X0N0, Fn(x)不收敛;当X0N1, Fn(x)收敛, 但是, 极限并非U(x);当X0N2, Fn(x) 收敛于U(x);不过, N0, N1,

40、 N2的Lebesgue测度分别为 m( N0)=m( N1)=0, m( N2)=1.但是, 所有的有理数都在N1中! 此外还有几个有趣的事实：(i). 在N0, N1中举例，十分容易；(ii). 在N2中举例，十分困难，类似寻于找一个哈密尔顿图；(iii). 根据以上结果：m( N2)=1，易见，如果x N2则x的尾部中的各数码出现的概率相等；(iv). 举一x N1，且尾部中的各数码出现的概率相等，十分容易；(v). 若问任何0<x<1中的一无理数(如1/)的尾部中的各数码出现概率是否相等，无法回答。(vi). 在模拟应用中, 有不足之时.(3). 一种新的伪随机数生成法 在

41、(2.29)式中, 取f(Xn+1)=(3/2)Xn+(1/4), 当0£Xn<1/2; =(1/2)Xn(1/4), 当1/2<Xn£1. (2.32) 用(2.32)式生成的伪随机数列: X0, X1, Xn, 对每个X0D=(0, 1), 都有 limn®¥Fn(x)=F(x), 其中F(x)是不变分布: F(x)=log(x+0.5)+log2/log3, 0£X£1.换句话说, 此时的N0=N1=空集! (证明可见书P272)(展望新方法)第三章. 马尔可夫链-描述AR模型的特性1. 马尔可夫链 时间序列xt;

42、t=1,2, 其实就是一个随机变量序列, 也简称随机序列. 与随机过程x(t); t=Î(0,¥)相比, 它只在离散时间处取随机变量值的过程, 故此得名. 随机过程的类型很多, 研究的方法很多, 取得的成果也很多. 其中最重要的是马尔可夫过程, 当它是随机序列时, 就称为马尔可夫链. 初次接触此类过程时, 为了便于理解其本质特征, 先了解马尔可夫链为宜, 即xt; t=1,2,为一马尔可夫链. 为了更易于理解实质性概念, 又不妨考虑xt只取两个可能值的最简单情况. 以下就从一个示意性的例子说起. 一个例子: 甲乙二人进行赌博, 每局分主(庄家)客方, 第一局的主客方由二人协

43、商确定, 以后个局, 由前一局的取胜者担任(每局必分胜负)主方. 记xt=1表示在第t局时由甲任主方; xt=2表示在第t局时由乙任主方. 于是x1, x2, 就是一个时间序列. 虽然它们只取1和2两个可能值, 但是不能预先知道它们的确切取值, 所以这是一个随机序列. 我们先用直观分析方法考查此例的特征. 如果此赌博含有技巧因素, 那么他们坐庄的多少与他们的水平有关. 以t表示当前局, 那末, xt的取值已定. 比如xt=1时, 意味着甲坐庄, 此时不能预知xt+1=1还是2. 如果xt+1=1意味着甲继续坐庄, 如果xt+1=2意味着甲丢掉庄家. 虽然我们不能预知xt+1的取值, 但是我们关

44、心甲有多大把握继续坐庄. 重复上面的叙述, 当xt=2时, 我们关心甲有多大把握上庄.在以上分析中, 我们忽略了x1, x2, , xt-1的已知取值信息, 在已知x1,x2, , xt-1 , xt时, 回答前面所关心的两个问题, 只与xt的取值有关. 这一特征是被马尔可夫首先注意到, 并将此类随机过程定名为马尔可夫过程. 当此过程为序列时, 称为马尔可夫链. 现在将以上的问题和马尔可夫特性给出概率论描述如下:P(xt+1=1ôxt=1)=? P(xt+1=1ôxt=2)=?P(xt+1=1ôxt, xt-1, , x1)=P(xt+1=1ôxt),基

45、于这几个启发性的记号, 我们给出此例子全部概率论描述如下: P(xt+1=kôxt=j, xt-1=jt-1, , x1=j1)=P(xt+1=kôxt=j), (3.1)如果在上式中的P(xt+1=kôxt=j)与t无关(详见后文), 可记P(xt+1=kôxt=j)=pjk, j, k=1,2. (3.2)称pjk为从状态j向状态k的转移概率. 注意, 此时只有两个可能状态(对应于xt=1或2), 于是易见 pj1+ pj2=1, 即 pj2=1- pj1, 对于j=1和2成立. (3.3)再将这些记号概括到如下的矩阵中, 即P= (3.4)称P称为

46、马尔可夫链xt的一步转移概率矩阵, 也简称为转移矩阵. 又因(3.3)式成立, 故可简化记为p11=p, p22=q, 这非关紧要, 不过, p11恰好表示甲继续坐庄的概率(相当于把握的大小), p22恰好表示甲继续不坐庄的概率. 经马尔可夫和后来人的不断研究表明, 在以上例子中, 转移矩阵P能刻画出马尔可夫链xt的全部概率特征. 这一断言不仅对此例成立, 对更广泛的马尔可夫过程也适用. 回顾前文曾言道, 在随机过程中最重要的一类是马尔可夫过程. 其内容丰富可想而知. 在本讲义中, 我们只想利用马尔可夫链的概率工具, 希望尽可能少地涉及马尔可夫过程的深层理论知识. 为此, 我们将马尔可夫过程理

47、论分为的四大类, 概括在如下的一拦表中, 据此可明确我们将关心哪一类. 当然, 我们也只关心此类中的局部内容(见后文便知). 为列此表, 只须知道, 在马尔可夫过程xt, 时间t有连续和离散之区分; xt的取值(又称为状态)也有连续和离散之区分. 在上述例子中, 就是离散型, 而且是两状态的, 这是有限状态马尔可夫链的最简单的情况. 有了这点预备知识就可列出下表:马尔可夫过程分类表 状态时间离散连续离散 离散状态马尔可夫链连续状态马尔可夫链连续马尔可夫跳过程马尔可夫过程有趣的是, 此表中的四部分的研究历程不同, 其先后次序是离散状态马尔可夫链®马尔可夫过程®马尔可夫跳过程&

48、#174;连续状态马尔可夫链(1975年)我们关心的连续状态马尔可夫链, 是较近代的内容. 此内容恰好是近代非时间序列分析盼望已久的理论基础. 在以下的各节中, 我们将只介绍连续状态马尔可夫链的定义和特性, 对其它部分将不涉及. 连续状态马尔可夫链的定义: 若随机序列xt; t=1,2,具有以下性质, 则称它为连续状态马尔可夫链,P(xt+1<xôxt, xt-1, , x1)=P(xt+1<xôxt). (3.5)上式表明: 在给定xt, xt-1, , x1时, xt+1的条件分布, 与给定xt时xt+1的条件分布相等. 此条件分布可记为Ft+1(x|xt)

49、, 在给定xt时, Ft+1(x|xt)是一个分布函数; 不过, 它会随着xt的取值不同而不同. 注意, 若序列xt是满足(3.5)式的马尔可夫链, 而且E|xt|存在, 那么,Ext+1ôxt, xt-1, , x1=òx d P(xt+1<xôxt, xt-1, , x1)=òx d P(xt+1<xôxt)= òx d F t+1(xôxt)= Ext+1ôxt .此式很像AR(1)模型的性质, 但是, (3.5)式与上式并无次序关系, 而且, 也不能简单地推广到AR(P)的情况.在非线性时间序列

50、模型讨论中, 还须要用到多元马尔可夫链, 即Xt中的Xt=( Xt1, Xt2, Xtm)t是随机向量. 以上定义不难推广到向量的情况.向量马尔可夫链的定义: 若随机序列Xt; t=1,2,具有以下性质, Xt=( Xt1, Xt2, Xtm)t是随机向量, 而且 P(Xt+1ÎA ôXt, Xt-1, , X1)=P(Xt+1ÎA ôXt). (3.6)在(3.6)式中的A, 是m维欧氏空间的可测集合.其实, 向量马尔可夫链的定义蕴涵了马尔可夫链的定义, 我们分先后介绍, 只是为了便于理解. 在后文中不再区分向量与非向量,一律用马尔可夫链称之, 它们的

51、维数会不言自明的. 有了上述定义, 我们的目的是介绍马尔可夫链的平稳性条件的定理, 为达到此目标, 还有几个概念不可缺少. 这里还要指出, 在上面的定义和即将叙述的概念中, 严格地说,都要用到测度论的术语, 而我们回避了它们, 因为我们只是为了使用这些概念, 而不是研究它们. 在后文中将看到, 这并不影响使用这些概念来解决非线性自回归模型的平稳性等问题. 齐时马尔可夫链: 如果马尔可夫链xt(一元的或多元的)满足P(x, A)=P(xt+1ÎAôxt=x), k=1,2, (3.7)与时刻t无关, 称xt为齐时马尔可夫链. 再记 Pk(x, A)=P(xt+kÎA

52、ôxt=x), k=1,2, (3.8)表示在当前时刻t处在xt=x, 经过k步后的xt+k落入A的概率, 简称为k步转移概率. 显然, 依(3.7)式知P1(x, A)=P(xt+1ÎAôxt=x)= P(x, A).又易见P2(x, A)=P(x2ÎAôx0=x)=òP(y, A)P(x, dy). (3.9)此式表明, 两步转移概率P2(x, A), 可写成从x0=x先用一步转移到y, 再从x1=y转移到A的概率的平均. 其平均是指按一步转移概率分布完成, 以一元为例, P1(x, (-¥,y)= P(x, (-

53、65;,y), P(x, dy)=dP(x, (-¥,y).重复上面的推理可得Pk(x, A)=P(xkÎAôx0=x)=òPk-1(y, A)P(x, dy), k=2,3, (3.10)马尔可夫链的不可约性: 如果马尔可夫链xt满足åk=1¥Pk(x, A)>0, (3.11)其中x是m(³1)维欧氏空间Rm的任意一点, A是m(³1)维欧氏空间的任意一个有正测度的可测集合, 这里的测度不妨用Lebesgue测度, 在本讲义中已是够用了.现在对不可约概念作些直观解释. 先从(3.11)式的定义可看出, 从Rm中的任何一点出发, 对任何指定的正测度集合A, 在有限步转移到A的概率是正的. 换句话说, 不存在那样的点x和正测度集合A, 从x出发永远不能达到A. 更直观解释可借助前边的例子, 考虑甲对乙, 丙对丁同来赌博, 但是只有一个台面可用, 于是, 他们先要用抽签决定哪一对先赌. 我们记xt=1表示在第t局时由甲坐庄; xt=2表示在第t局时由乙坐庄. 记xt=3