第一章 随机序列.doc

第一章 随机序列 前言：这一章是本书的预备知识. 我们借助于实例，用较通俗的语言引入平稳随机序列的概念. 然后介绍平稳随机序列的描述方法，并且对平稳序列中的“频谱分析方法”、“相关分析方法”及“参数化方法”之间的关系给予简要说明. 另外，还将介绍两种常用的估计方法，以备后用. 讨论描述随机过程的方法必须注意随机过程表面上杂乱无章（如Brownian Motion）但是，它既然是客观事物和数量表征，必然有其内在的规律；为了掌握和利用这些随机过程所表现出来的规律，需要一定的数学工具，这就是随机过程理论.这章主要讨论随机序列的概率分布、参数表征、平稳随机序列（定义、谱分解、白噪声序列、线性运算、有理谱密度的平稳序列、随机差分方程、遍历性）、多维随机序列、两种估计和参数估计的优效性概念。 1随机序列的概率分布： 随机序列由无穷多个随机变量构成的，我们说给定了一个随机序列的概率分布，是指对于任意有穷多个时刻，相应的随机变量的联合分布函数都是被给定的，而且它们之间不能矛盾，即是说由高维联合分布推出的低维联合分布与原给定的低维分布相同. 有时我们也说给定了序列的任意有穷维分布. 为独立的随机序列：若对于有穷个不相同时刻相应是相互独立的random variable 即Exp：电话中的热噪声常常近似于这种独立序列. 由于分布函数完整地描述了随机变量的统计特性，故严平稳随机过程的所有统计特性均不随时间的平移而变化. 故这一要求相当严格. 称之为严平稳（狭义平稳）. 而宽平稳过程对时间推移的不变性表现在统计平均的一、二阶矩上. 显然，严平稳过程比宽平稳过程之条件要求更“严”. 为狭义平稳序列（严平稳序列）：若一个随机序列的任意有穷维分布满足：（整数集），即和有相同的分布，无论对怎样的和时刻以及都如此. 2随机序列的参数表征： 均值函数：对每个而言，若把随机变量的均值记为. 则随机序列的均值函数就是；若的分布为，若具有密度，则. Remark：可取常数（1例4且电负荷量）；可取周期函数（1例2某点平均水温）；或取其它形式，为方便计，称为的均值. 自协方差函数：易知随机序列的均值只和随机序列的一维分布有关，为了分析随机序列在不同时刻取值的统计关系，须要考虑与的协方差值，令作为的二元函数，称为随机序列的自协方差函数，特别称为的方差函数，简称方差. 若一个随机序列的任意有穷维分布都是正态分布，则称为正态随机序列. 若以表示相应于的分布密度，此时其中；很多实际应用的随机序列可近似当做正态序列，正态序列在数学处理上有很多方便之处. 自相关函数：序列的自相关函数定义为它刻划了序列在不同时刻取值的线性相关程度. Remark：随机序列的参数表征还有很多，与本书关系密切的就是以上三种量. 从上述表述易见，和被的分布唯一确定. 但是，反之由和一般并不能唯一确定的分布，即具有不同分布的随机序列可以有相同的均值、自协方差和自相关函数. 3平稳随机序列： 为便于读者掌握，我们把本书的讨论几乎完全限于正态序列范围之内，这不会影响时序分析方法的介绍，且会使很多数学概念和性质有较为简单的形式，只是在某些个别情形下，我们指出对于非正态序列的类似结果. 特别，本书所介绍的各种方法的基础是广义平稳序列（宽平稳序列）. （1）广义平稳序列的定义： 若随机序列的二阶矩有穷且对任意时刻和满足： 为方便计，通常不妨设. 则称它为广义平稳序列（宽平稳序列），即与无关，只与有关. “广义”是相对于“狭义”而言的，简称平稳过程. Remark：若狭义平稳过程（序列）的一、二阶都有穷则它一定也是广义平稳的. 若是正态随机序列，的狭义平稳性的广义平稳性. （，复旦大学随机过程第三册P183特征函数） Proof：“”若是狭义平稳的（严平稳的），又正态过程有二阶矩，由知为宽平稳的. “”若正态过程是宽平稳的，则 表明和具有相同的协方差矩阵和均值向量，而正态（多维）分布仅由它们确定（特征函数知识）因而是严平稳（狭义平稳）过程. Theorem. 设为平稳列，则要表为 其中是标准化的具有正交增量的，左连续的随机过程，且这样的正交增量过程唯一地由所确定.（证明略） 实际应用中，平稳序列仅仅是对于真实随机序列的一种近似描述手段. 例：电路中的热噪声，陀螺仪的漂移速率及其它精密仪表的漂移误差，金融中的收益率序列等，第三章将给出一种粗略判别平稳序列手法. （2）自协方差函数与谱分布（为实列） 对于正态平稳序列，其均值和自协方差函数唯一决定了它的分布（1.2.6）式知），从而也就决定了它的全部统计性质，故讨论自协方差函数的性质十分重要，也是首要任务. 满足： 对称性： 非负定性：对，方阵是非负定的. （对维实值非零向量都有： ）有时称满足上述性质1和性质2的实数列称为非负定列. 易知，反之，任意一个非负定列必为某平稳序列的自协方差函数（3，E.lukacs, Characteristic Functions, London, 1960）. Theorem1. 设为一平稳序列的自协方差函数，则存在一有界非降函数，使得（相关函数的谱表示Th）称为平稳序列的谱分布，若可微，并记则 称为平稳序列的谱密度. 当时，一定存在且. 有的工程书上，称为序列的功率谱密度. （3）白噪声序列 若平稳序列的均值为，自协方差函数，我们称这样的为白噪声序列，或简称白噪声，它的谱密度：可见为一常数，即序列的谱密度在各个频率上具有相同的分量（正象白光一样，等量地包含了各种有色光的光频分量）. Remark：很多随机序列可以近似地符合白噪声的性质. 虽纯粹的白噪声很难遇到（自然界）. （4）平稳序列的线性运算 随机变量可以进行加减等运算，随机序列也是如此. 设是一平稳序列，是两个实数，是某一固定时刻，则，还是平稳序列（令验证）. 假定是实数列，且，那么易验证也是平稳序列，其中，作为当时的均方极限. （Remark：设为平稳序列，若，称均方收敛于，又称为的均方极限）. Remark：（A）取为白噪声，当时，这时平稳序列称为的滑动和；特别若再有，当时（时），则称为的阶滑动平均. 上两式所给出的平稳序列，其自协方差函数和谱密度可利用的性质很方便求出，约定时，则 讨论：当时. 当时，由于时，从而总有. 若令 则上式可表为： . 例下面介绍有理谱密度. 它比白噪声的常值谱密度更具一般性，具有较复杂连续谱密度. （5）具有有理谱的平稳序列： 对于正态平稳序列，只要知道了它的自协方差函数，或知道了它的谱分布，就等于掌握了它的统计性质. 主要利用去分析时间序列时，称为“相关分析法”或“时域分析法”；利用后者时，称为“频谱分析法”. 怎样求得一个正态平稳序列的或呢？主要利用的样本值对或进行估计，这是时序分析要解决的主要问题之一，这有两个难点： 是由无穷多个值构成的，谱密度为在内取值的函数，用有穷个的样本值对所有或的所有取值进行估计，难点之一. 即使能对或的所有取值做出估计，由于或的形状复杂，也不利于在预报、控制或模拟等应用中使用. 于是为克服这两个困难，我们采取绪论中提到的“参数化”方法，即将局限在一个较窄的函数范围内讨论，我们只讨论这样一类正态平稳序列，它们的谱分布不仅可微，而且它的导函数（谱密度）为的有理函数： （I）其中和为的实系数多项式： （II）两者无公共因子，且限定和的根全在复平面的单位圆外. 这样一来，为了估计，只要估计和（II）中诸系数和即可，这些只是有限个系数而已. 有了这些参数的估计值，利用（I）式即可得到在上的各处取值的估计. 在用于预报、控制和模拟等目的时，由于拥有（I）之形式，解决问题就方便多了. Remark： 谱密度有（I）这种形式的，称为具有有理谱的平稳序列； 对于为连续的情形，它可用有理谱来逼近真实的谱，这是较有效的一种方法. （6）随机差分方程： 据前所述，具有有理谱的平稳序列的自协方差函数也是被以上诸参数所决定. 由Th1知 （III）反之，若能表成（III）之形式，则随机序列也一定具有（I）形式的有理谱密度. 例1 取 则 （ 当时， 此级数对一切一致收敛，它的各项都乘以同一有界函数后仍然一致收敛，从而 从而 若 ，则随机序列也一定有形式的有理谱密度. ( Theorem1 令，是，则对一个（正整数），一个正整数，使当时均有对一正整数属于之下限事件. or 成立 )Theorem2 若没有模为的因子（即），若为差分方程（IV）的平稳解（即它是平稳序列且满足（IV），则有有理谱密度. 反之，若平稳序列有此谱密度，则可表成（IV）形式. Theorem3 （Wiener-XHHYH）设是平稳列，其相关函数满足，则必有非负谱密度函数，且和是Fourier变换的关系： 推论，若是实平稳列，绝对可和，则谱密度必存在，并且 （a） （b） 这表明自协方差函数为一指数型数列，反之，若形式，则相应的随机序列一定具有谱密度，. 虽然（III）式反映了有理谱与其相应的自协方差函数之间的关系，但是，为了以后的时域分析，还要引进随机差分方程的概念. 上例中 . 设和分别是个和个实数，并设以它们为系数的两个多项式和无公共因子，且它们的根全在单位圆外（为了保证收敛性），若平稳序列满足关系式： （IV）其中是一白噪声，且当时，那么我们就说是随机差分方程（IV）的一个平稳解. 根据平稳序列的理论（1附录，1Th1）知，具有有理谱密度（I）的平稳序列，一定是随机差分方程（IV）式的一个平稳解；反之，（IV）式的平稳解一定具有（I）的有理谱密度. 于是建立关系：具有有理谱的平稳序列随机差分方程的平稳解. 例1 （同前）具有谱密度平稳序列，它应满足差分方程： （V）于是有： 又由（V）知：这与前面解答完全一致，但计算方便. 另一方面，（V）又可写为，表明了的前后依赖关系（这很类似的回归方程，自身滞后一步），又称的平稳解为一阶自回归序列，而参数表明前后的相关程度. 由（V）推知： 由于的根在单位圆外（）对上式两边取极限得到： （均方意义下）（ ）这恰如平稳列的滑动和（只是的滑动和，而是白噪声，当时，与独立，）下面再从滑动和回到谱密度，由知 从此后，我们所讨论的平稳随机序列，不仅限于正态序列，而且都有有理谱密度. 即它们必是（IV）型的随机差分方程的平稳解，利用（IV），下一章再详细分析相应的各种性质. （7）遍历性： 为了估计，和与的系数等值，常用的统计方法显得不够用，应用新手段的一个重要前提：随机过程要具有遍历性. 遍历性定义：设为一随机序列，是的函数（如），若对任何使存在的函数，概率为一地有（or依概率1）则称为具有遍历性的随机序列. Remark： （5（U.Grenander and M. Rosenblatt）平稳时间序列的统计分析，郑绍谦译（1962）知：正态有理谱平稳序列一定具有遍历性. 遍历性物理意义：随机序列的函数（连续）也是一个随机变量，其均值为，可称之为的总体平均（即依的分布所求出的均值，或称相平均. ）又当固定，而将视为一个随机序列时，称为的时域平均. 所谓的遍历性，简而言之，就是对任何函数，的总体平均等于它的时域平均. 粗略说：意味着的任何一个样本随的变化所能取的值，依随机变量的概率分布，历经它所能取的各种值，. 若具有遍历性，它的线性运算也具有此性质. 例1 遍历性用途取，则由遍历性这说明当很大时上式右边平均值可作为的近似估计值. 4多维随机序列： 为维随机序列：对每个固定的整数值时刻而言，是-维随机向量，常记做，时刻. 这个随机序列相互之间有一定的统计联系. （1）的均值函数（均值）：对而言，固定时为一个维向量（非随机的）. （2）方差阵、自协方差阵与互协方差函数： 方差阵函数： 这是一个阶非负定矩阵，其主对角线上的元恰是的方差，而行列的元，则为与的互协方差. 为掌握在不同时刻取值的统计关系，定义为的自协方差阵函数；其主对角元素是的自协方差函数，而行列的元称为与的互协方差函数. 当时，为的方差阵函数. 更进一步揭示了的各分量间及前后之间的相互联系. （3）多维平稳序列： 设为维随机序列，若它还满足则称为维平稳随机序列. （略）5两种估计及参数估计的优效性概念： （1）最小二乘法（Least Square 简称LS法） 线性参数的最小二乘法是常用的估计方法之一，这里主要介绍非线性参数的最小二乘法（第四章将用之）. 考虑模型 （I）其中仍表示残差，为未知参数矢量，是的函数，对非线性，若获得了测量值，那么，使得残差平方和达到极小的解，即称为的最小二乘估计，以后简称LS估计（Least Square Estimation）. Remark： 一般说来，对非线参数而言，的求解比线性情形要麻烦得多，且只能给出数值解法，无法得到线性参数明显解. 此外，还可能是用迭代方式给出，而不必有明显的函数形式； 为了分析估计的误差情况，应当引入和的统计特征. 假定为白噪声，而且与独立；作为的函数的最小二乘估计和真值之间的接近程度可用下面介绍的几种估计量优效性来衡量. 可见附录5关于最小二乘估计量各种优效性质. （2）最小方差估计（Least Mean Square or 简记LMS估计）（第IV、VII、IX等章常用之） 设为整数 or 正、负无穷是一组正态随机变量，且它们的均值都是. 又设正态随机变量的均值亦为，且与的联合分布也是正态分布. 所谓根据对做的（或关于的）LMS估计是指存在如下的量：其中系数使误差方差达到极小，即我们把这种估计记为 最有用的情况是：每一可以表成白噪声的和（I），同时每一也能表成之和，即（II）.且其中系数满足如下条件： （III）此处表示与无关的正实数. （上述条件当为有穷整数时易满足（E.P.Box 时序分析：预测与控制P138-149） 当时，由P4952和附录中将会有，若是的平稳解，则上述条件满足（LMS估计） 对于这样的，随机变量的最小方差估计形式简便，易于讨论它们的性质. 令为实数， 为实数， 从与出发讨论LMS估计的性质. 1当都为有穷时，显然. 我们只对情形给予证明. 若，则串使得且，由上述讨论知：其中，由（III）及Schwarz不等式知：因此，是的任意元. ，同理，. 利用泛函分析知识：是Hilbert空间（估计量是在上的投影，也是在上投影，）2为的最小方差估计（LMS估计）对，必有. 首先注意，由性质1，可表为，且，“”（反证法）设是的LMS估计，而且使. 那么显然成立. 由最小方差性质，对有由此有：. 取. 便导致. 这与实数理论相矛盾，必有这与为之最小方差估计矛盾. 另证：令则“”设满足条件：，对成立. 则对（H氏空间）有，于是这就证明了是LMS估计. 又可注意，上式不等号当且仅当时才取等号，中唯一的. 3的的最小方差估计（LMS估计）存在且唯一. 唯一性已在性质2的充分性证明过程得到. 现证存在性：令，为白噪声. 易算出： “（利用上述不等式且为正态随机变量）从而中. 由性质1，又对任意 因此由性质2，即为的最小方差估计. 4若，其中是实数，则；若，则；若与的元都独立，则；若是相互独立的随机序列，则任意的最小方差估计为它们由性质2得到验证： ，利用独立性易知. 5若是维随机向量，且有穷，则的最小方差估计（的各分量为的对应分量的最小方差估计）可表为其中，这也易由性质2得到. （3）参数估计的优效性概念： LS估计与LMS估计在概念上有本质的差别： LMS估计是用随机变量或序列的样本的对另一随机变量做出估计，它们之间的概率分布是已知的（常为正态分布）（用于解决随机序列预报VII章）. LS估计则是用随机变量或序列的样本去估计某些未知参数（参数化非线性估计问题IV章）. 其它方未能：极大似然法或近似极大似然法来解决参数估计问题. 从数理统计的角度怎样衡量参数估计的优劣程度，是另一个很重要的问题，我们在这里引进几个有关的定义. 参数估计：根据某种原则，将随机序列的样本（即测量值）进行各种运算，从而对于未知参数向量作出估计与判断. 因此，一般可以把的估计量表成样本的函数形式，即，为了衡量与真值的近似程度，需一些概念： 1无偏性与渐近无