数理统计与随机过程ch.ppt

,数理统计与随机过程 第十章,主讲教师：程维虎教授,北京工业大学应用数理学院,什么是“随机过程”？,确定性过程：事物的变化过程可以用一个时间t的确定函数来描述。比如：物体的自由落体过程。 不确定过程：没有确定的变化规律，即这类事物的变化过程不能用一个时间t的确定性函数来描述。 如果对该事物的变化全过程进行一次观测，可得到一个时间t的函数，但是若对该事物的变化过程重复的独立的进行多次观测，则每次得到的结果是不同的。 从另一个角度来看，如果固定某一个观测时刻t，事物在时刻t出现的状态是随机的。,例1电话问题：我们用X(t)表示在时刻t前电话局接到的呼唤次数。如果固定时间t，则X(t)是一个随机变量；但是t是可变参数，是一个连续变量，所以X(t)是一个过程。因此，这个问题所涉及的不仅是一个随机变量的问题，它是随机的，又是一个过程。,例2液面上质点的运动：我观测液面上一个做布朗运动的质点A,若用X(t),Y(t)表示在时刻t该质点在液面上的坐标位置。当t固定时， X(t),Y(t) 是一对二维随机变量。而t是一个连续变量，因此X(t),Y(t)又是一个过程。,例3 热噪声电压: 电子元件或器件由于内部微观粒子(如电子)的随机运动所引起的端电压称为热噪声电压,它在任一确定时刻 t 的值都是一随机变量, 记为V(t)。不同时刻对应不同的随机变量。当时间在某个区间, 如0, )上变化时，热噪声电压表现为一族随机变量,记为 V(t), t0。,在无线电通讯技术中，接收机在接收信号时，机内的热噪声电压要对信号产生持续的干扰，为消除这种干扰，就必须掌握热噪声电压随时间变化的过程。为此，我们通过某种装置对元件(或器件)两端的热噪声电压进行长时间的测量，并把结果自动记录下来。,作一次试验( 测量一此长时间内的热噪声电压)，得到一个电压时间函数v1(t) , t 0 (如图10-1)。这个电压时间函数在试验前是不可能预先确知的，只有通过测量才能得到。,图10-1,如果在相同条件下独立地再进行一次测量，得到的记录可能是不同的。,事实上，在相同条件下每次测量都将产生不同的电压时间函数。这样，不断独立地一次次重复测量，就得到一族不同的电压时间函数，这族函数从另一角度规划了热噪声电压。,图10-1,随机过程：依赖于一个变动参量的一族随机变量。 设 T 是一个无限实数集。我们把依赖于参数 t T 的一族 (无限多个) 随机变量收集在一起，称为随机过程，记成 X(t), t T 。 这里，对每一个t T，X(t) 都是一个随机变量。 T 称为参数集。常把 t 看作为时间，称 X(t) 为 t 时刻 过程的状态，称 X(t1)x (实数) 为t t1 时过程处于状态 x。 对于一切 t , X(t) 所有可能取得一切值的全体称为随机过程的状态空间。,对随机过程 X(t)，t T 进行一次试验 (即在 T上进行一次全程观测)，其结果是 t 的函数，记为x(t)， tT， 称它为随机过程的一个样本函数或样本曲线。 所有不同的试验结果构成一族 (可以只包括有限个，如本节例1) 样本函数。 随机过程可以看作是多维随机变量的延伸。随机过程与其样本函数的关系就像数理统计中总体与样本的关系一样。 依照上面的说法，热噪声电压的变化过程(t)， t是一随机过程，它的状态空间是(-, +)，一次观测到的电压时间函数就是这个随机过程的一个样本函数。,在以后的叙述中，为简便起见：常以 X(t)，t 表示随机过程。在上下文不致混淆的情形下，一般略去记号中的参数集 T。,例1 抛一枚硬币试验，样本空间是 S=H,T，定义,其中 P(H) = P(T)=1/2。对任意固定的 t, X(t)是一定义在S上的随机变量；对不同的 t， X(t)是不同的随机变量(见图10-2)，所以 X(t)， t (-, +) 是一族随机变量，即是随机过程。,作一次试验，若出现H，样本函数 x1(t) = cos t；若出现T，样本函数 x2(t)=t。故，随机过程对应的一族样本函数仅包含两个函数: cos t, t 。显然，这个随机过程的状态空间为(-, +)。,图10-2,例2 考虑 式中 , 是正常数，是在(0,2 )上服从均匀分布的随机变量。 显然，对任一固定的时刻 t1, X(t1) = cos( t1+ )是一个随机变量。因而，由(1.1)式确定的 X(t)是一随机过程，通常称它为随机相位正弦波。其状态空间是-, 。在(0, 2)内随机地取一数 i , 相应的样本函数是 图10-3中画出了这个随机过程的两条样本曲线。,图10-3,例3 在测量运动目标的距离时，存在随机误差。若以 (t)表示在时刻 t 的测量误差，则它是一个随机变量。当目标随时间 t 按一定规律运动时，测量误差 (t) 也随时间 t 而变化。换句话说, (t)是依赖于 t 的一族随机变量，亦即 (t), t0是一随机过程，状态空间是(-, +)。,例4 设某市120急救电话台不断地接到用户的呼叫，若以X(t)表示时间间隔 (0, t内接到的呼叫次数，则它是一个随机变量，且对不同的 t0, X(t)可能是不同的随机变量。故，X(t), t 是一随机过程，状态空间是0, 1, 2, 。 例5 考虑掷一颗骰子试验。 (1). 设Xn是第 n 次(n1)掷的点数，对于n=1, 2, 的 不同值, Xn是不同的随机变量，因而Xn, n1 构成一随机过程, 称为伯努力过程, 或伯努力随 机序列。状态空间都是1, 2, 3, 4, 5, 6。 (2). 设Xn是前n次掷出的最大点数，则Xn, n 1也 是一随机过程。状态空间是1, 2, 3, 4, 5, 6。,随机过程可依其在任意时刻的状态是连续型随机变量或离散型随机变量而分成连续型随机过程或离散型随机过程。 热噪声电压、例2和例3是连续型随机过程，例1,例4和例5是离散型随机过程。 随机过程还可依时间(参数)是连续或离散进行分类。当时间集T是有限或无限区间时，称X(t), t T为连续参数随机过程 (以下如无特别指明，随机过程总是指连续参数而言的)；如果T是离散集合，例如T= 0, 1, 2, ，则称X(t), tT为离散参数随机过程或随机序列，此时常记成 Xn, n =0,1,2, 等，如例5。,有时，为了适应数字化的需要，实际中也常将连续参数随机过程转化为随机序列处理。例如,我们只在时间集T=t, 2t, , nt, 上观察电阻的热噪声电压(t)，这时就得到一个随机序列V1, V2, ,Vn, ，其中Vn=V(nt)。 显然，当t充分小时，这个随机序列能够近似地描述连续时间情况下的热噪声电压。 需注意的是：参数 t 虽然通常解释为时间，但它也可以表示其它的量。诸如：序号、距离等。如例5中，假定每隔一个单位时间掷一次骰子，则第n次掷出的点数 Xn就相当于 t=n时骰子出现的点数。,10.2 随机过程的统计描述,随机过程在任一时刻的状态是随机变量，由此可以利用随机变量(一维或多维)的统计描述方法来描述随机过程的统计特征。,10.2.1 随机过程的分布函数族,给定随机过程 X(t), t T ，对每个固定的 t T, 随机变量 X(t)的分布函数一般与 t 有关，记为,称其为随机过程 X(t), t T 的一维分布函数，称Fx(x, t), t T为一维分布函数族。,一维分布函数族刻画了随机过程在各个时刻的统计特征。为描述随机过程在不同时刻状态之间的相关关系，一般要对任意 n个(n=2, 3, ) 不同时刻 t1, t2, , tnT, 引入 n 维随机变量 (X(t1), X(t2), , X(tn), 其联合分布函数记为,对固定的n, 称FX(x1, x2, , xn; t1, t2,tn), tiT为随机过程X(t), t T的 n 维分布函数族。,当n充分大时，n 维分布函数族能近似地描述随机过程的统计特征。显然，n 取得愈大，则n维分布函数族描述随机过程的特征也愈趋于完善。一般地,可以指出(科尔莫戈罗夫定理): 有限维分布函数族，即FX(x1, x2, , xn; t1, t2, , tn), n=1, 2, , tiT完全地确定了随机过程的统计特征。,上一节，我们曾将随机过程按其状态或时间的连续或离散进行了分类。然而，随机过程本质的分类方法乃是按其分布特征进行分类的。具体地说：就是依照过程在不同时刻的状态之间的特殊统计依赖方式，抽象出一些不同类型的模型。如：独立增量过程、马尔可夫过程、平稳过程等。我们将在以后的章节中对它们作不同程度的介绍。,10.2.2 随机过程的数字特征,随机过程的分布函数族能完善地刻画随机过程的统计特征。但是，人们在实际中，根据观察往往只能得到随机过程的部分资料(样本)，用它来确定有限维分布函数族是困难的，甚至是不可能的。因而，像引入随机变量的数字特征那样，有必要引入随机过程的基本数字特征均值函数和相关函数等。这些数字特征在一定条件下是便于测量的。,给定随机过程 X(t), t T，固定 t T, X(t)是一随机变量，它的均值一般与 t 有关，记为,称 X(t)为随机过程X(t)，t T的均值函数。 注意, X(t)是随机过程的所有样本函数在时刻 t 的函数值的平均，通常称这种平均为集平均或统计平均, 以区分第十二章中引入的时间平均概念。,均值函数X(t)表示了随机过程 X(t)在各个时刻的摆动中心，如图10-4所示。,其次，把随机变量X(t)的二阶原点矩和二阶中心矩分别记作,并分别称它们为随机过程X(t), t T的均方值函数和方差函数。方差函数的算术平方根 X(t)称为随机过程的标准差函数，它表示随机过程X(t)在时刻 t 对于均值X(t)的平均偏离程度。见图10-4。,又， 对任意 t1, t2T，把随机变量X(t1)和X(t2)的二阶原点混合矩记作,并称它为随机过程X(t)，t T的自相关函数，简称相关函数。记号RXX(t1,t2)在不致混淆时，常简记成RX(t1,t2)。,类似地，将X(t1)和X(t2)的二阶混合中心矩记成,并称为随机过程X(t), t T的自协方差函数，简称协方差函数。CXX(t1,t2)也常简记为CX(t1,t2)。,由多维随机变量数字特征的知识可知，自相关函数和自协方差函数是可划随机过程自身在两个不同时刻的状态之间统计依赖关系的数字特征。 现把(2.1) (2.5)式定义的诸数字特征之间的关系简述如下： 由(2.2)和(2.4)式知,由(2.5)式展开，得,特别地，当t1=t2=t时，由(2.7)式，得,由(2.6) (2.8)式可知，以上诸数字特征中最主要的是均值函数和自相关函数。 从理论的角度来看，仅仅研究均值函数和自相关函数当然是不能代替对整个随机过程的研究的，但是由于它们确实刻画了随机过程的主要统计特征，而且远较有限维分布函数族易于观察和实际计算，因而对于应用课题而言, 它们常常能够起到重要作用。据此,在随机过程的专著中都着重研究了所谓二阶矩过程。 随机过程X(t)， t T，如果对于每一个t T，二阶矩EX2(t)都存在，那么称它为二阶矩过程。,二阶矩过程的相关函数总存在。事实上，由于EX2(t1), EX2(t2)存在，根据柯西施瓦兹不等式(参见第四章习题33)，有,即知：RX(t1,t2)=EX(t1)X(t2)存在。 在实际中，常遇到一种特殊的二阶矩过程正态过程。随机过程X(t), t T称为正态过程，如果对任意 n1及任意 t1, t2, , tnT, (X(t1), X(t2), , X(tn)服从 n 维正态分布。由第四章3、4知，正态过程的全部统计特征完全由它的均值函数和自协方差函数(或自相关函数)所确定。,例1 设A, B是两个随机变量, 求随机过程X(t)=At+B, t T=(-, +)的均值函数和自相关函数。如果A, B相互独立，且 AN(0,1), BU(0,2)，问 X(t) 的均值函数和自相关函数又是怎样的？ 解 X(t)的均值函数和自相关函数分别为,当AN(0,1)时，EA=0，EA2=1；当BU(0,2)时，EB=1，EB2=4/3；又因A、B独立时，有 EAB=EAEB=0。故,例2 求10.1例2中随机相位正弦波的均值函数、方差函数和自相关函数。,由定义，得,解 由假设，知的概率密度为,自相关函数,特别地，令t1=t2=t, 即得方差函数,其中 = t2-t1。,例3 设 X(t) = Acos t + Bsin t, tT= =(-, +)，其中A, B相互独立，且均是服从正态分布N(0, 2) 的随机变量， 是实常数。证明: X(t)是正态过程，并求其均值函数和自相关函数。 解 由题设，A, B是相互独立的正态变量，所以(A, B)是二维正态变量。对任意一组实数t1, t2, , tnT, X(ti)=Acosti+Bsinti, i=1, 2, , n 都是A, B的线性组合。于是，根据第四章4, n维正态变量的性质3。, (X(t1), X(t2), ,X(tn)是n维正态变量。因为n, ti是任意的，由定义，X(t)是正态过程。,另由题设，有E(A)=E(B)=E(AB)=0, E(A2)=E(B2)=2. 由此，可算得X(t)的均值函数和自协方差函数(或自相关函数)分别为： X(t) = EAcost+Bsint=0, CX(t1,t2) = RX(t1,t2) = E(Acost1+Bsint1) (Acost2+Bsint2) = (cos t1 cos t2)E(A2)+(sin t1 sin t2)E(B2) + (cos t1 sin t2+ sin t1 cos t2)E(AB) = 2(cost1cost2+sint1sint2) = 2cos(t2-t1).,10.2.3 二维随机过程的分布函数和数字特征,实际问题中，我们有时必须同时研究两个或两个以上随机过程及它们之间的统计联系。例如：某地在时段(0, t内的最高温度X(t)和最低温度Y(t)都是随机过程，需研究它们的统计联系。又如：输入到一个系统的信号和噪声可都是随机过程，这时，输出也是随机过程。我们需要研究输出与输入之间的统计联系等等。对于这类问题，我们除了对各个随机过程的统计特征加以研究外，还必须将几个随机过程作为整体研究其统计特征。,设 X(t), tT 和Y(t), tT 是同一参数空间上的两个不同的随机过程，称(X(t),Y(t), tT 是二维随机过程。,设 (X(t),Y(t), tT 是二维随机过程，如果对任意正整数n, m，任意数组 t1, t2, tn T， t1, t2, , tm T，称n+m 维随机变量 (X(t1), X(t2), X(tn), Y(t1), Y(t2),Y(tm) 的分布函数,F(x1, x2, xn; t1, t2, tn: y1, y2,ym ;t1, t2, , tm) 为随机过程X(t)与Y(t)的n+m维联合分布函数。,如果对任意正整数n, m，任意数组 t1, t2, tn T; t1, t2, , tm T，n维随机变量 (X(t1), X(t2), X(tn) 与 m维随机变量(Y(t1), Y(t2),Y(tm)相互独立，则称随机过程X(t)和 Y(t)是相互独立的。,关于数字特征，除X(t), Y(t)的均值和自相关函数外，在应用课题中感兴趣的是X(t)和Y(t)的二阶混合原点矩，记作 并称它为X(t)和Y(t)的互相关函数。 类似地，还有如下定义的X(t)和Y(t)的互协方差函数 如果对任意的 t1, t2T，恒有 则称随机过程X(t)和Y(t)是不相关的。,由第四章3可推知，两个随机过程如果是相互独立的, 且它们的二阶矩存在, 则它们必然不相关。反之, 从不相关一般并不能推断出它们相互独立。,当同时考虑 n(n2)个随机过程或 n维随机过程时, 我们可类似地引入它们的多维分布，以及均值函数和两两之间的互相关函数 (或互协方差函数)。,在许多应用问题中，经常要研究几个随机过程之和 (例如，将信号和噪声同时输入到一个线性系统的情形) 的统计特征。现考虑三个随机过程 X(t), Y(t)和Z(t)之和的情形，令 W(t)=X(t)+Y(t)+Z(t). 显然，均值函数 而W(t)的自相关函数可以根据均值运算规则和相关函数的定义得到，,此式表明：几个随机过程之和的自相关函数可以表示为各个随机过程的自相关函数以及各对随机过程的互相关函数之和。 如果上述三个随机过程是两两不相关的，且各自的均值函数都为零，则由(2.11)是可知诸互相关函数均等于零，此时W(t)的自相关函数简单地等于各个过程的自相关函数之和，即 特别地，令t1=t2=t, 由(2.12)式，得W(t)的方差函数(此处即均方值函数)为,10.3 泊松过程及维纳过程,泊松 (Poission) 过程及维纳 (Wiener) 过程是两个典型的随机过程，在随机过程理论和应用中都占重要地位，都属于独立增量过程。下面首先介绍独立增量过程。 给定二阶矩过程X(t), t 0, 称X(t)-X(s), 0st为随机过程在区间(s, t上的增量。如果对任意正整数n 和任意 0t0 t1 t2 tn, n个增量 X(t1)-X(t0), X(t2)-X(t1), , X(tn)-X(tn-1) 相互独立，则称X(t), t 0为独立增量过程。,直观地说： 就是在互不重叠的区间上，状态的增量相互独立。,对于独立增量过程，可以证明：在 X(0)=0 的条件下, 过程的有限维分布函数族可以由增量 X(t)-X(s) (0st)的分布所确定。 特别地，若对任意的实数 h 和 0 s+ h t+ h, X(t + h)-X(s + h) 与 X(t)-X(s) 具有相同的分布，则称增量具有平稳性。这时，增量 X(t)-X(s) 的分布函数实际上只依赖于时间差 t - s (0st)，而不依赖于t和 s 本身 (事实上，令h=-s即知)。 当增量具有平稳性时，称相应的独立增量过程是齐次的或时齐的。,在 X(0)=0 和方差函数 DX(t) 已知条件下，可计算独立增量过程X(t), t 0的协方差函数CX(s, t)。 记 Y(t)= X(t)-X(t)。首先注意到：当 X(t) 具有独立增量时, Y(t)也具有独立增量; 其次注意到: Y(0)=0, EY(t)=0，且方差函数 DY(t)= EY2(t)= DX(t)。利用这些性质，当 0st 时，就有,故，对任意s, t0，协方差函数可用方差函数表示。,10.3.1 泊松过程,考虑下列随时间推移迟早会重复出现的事件： (1). 自电子管阴极发射的电子到达阳极； (2). 意外事故或意外差错的发生； (3). 要求服务的顾客到达服务站。 此处“顾客”与“服务站”的含义是相当广泛的。如: “顾客”可以是电话的呼叫， “服务站”是120急救台； “顾客”可以是联网的个人电脑， “服务站”是某网站的主页; “顾客”可以是等待起飞的飞机， “服务站”是机场跑道等。,为建立一般模型，我们把电子、顾客等看作时间轴上的质点，电子到达阳极、顾客到达服务站等事件的发生相当于质点出现。于是，抽象地说，我们研究的对象将是随时间推移，陆续出现在时间轴上的许多质点所构成的随机的质点流。 以N(t), t 0表示在时间间隔(0, t内出现的质点数。N(t), t 0是一状态取非负整数、时间连续的随机过程，称为计数过程。,计数过程的样本函数如图10-5所示，图中t1, t2, 是质点依次出现的时刻。,图10-5,将增量 N(t)-N(t0) 记成 N(t0, t), 0 t0 t, 它表示时间间隔(t0, t内出现的质点数。“在(t0, t内出现 k 个质点”，即N(t0, t) = k是一事件，其概率记为 Pk(t0, t)=PN(t0, t)=k, k=0, 1, 2, . （3.2),现假设 N(t) 满足如下条件： (1). 在不相重叠的区间上的增量具有独立性； (2). 对于充分小的t, 其中常数 0 称为过程 N(t) 的强度，而 当 时是关于t的高阶无穷小； (3). 对于充分小的t, (4). N(0)=0。,我们把满足条件(1) (4)的计数过程N(t), t 0称作强度为 的泊松过程。相应的质点流，即质点出现的随机时刻 t1, t2, 称作强度为 的泊松流。 以下首先来求增量的分布律 (3.2)。对于泊松过程，注意到 =1，结合条件(2)和(3)，有,下面就泊松过程来计算概率(3.2)。 首先确定P0(t0, t)。为此，对t 0，考虑,由条件(1)和(3.5)式，上式可写成,用t 除上式两边，并令 ，即得P0(t0, t)满足的微分方程,因为N(t0, t0)=0，故P0(t0, t0)=1。把它看作初始条件即可从方程 (3.6) 解得,再来计算Pk(t0, t), k1。根据并事件概率公式和条件(1)，有,由(3.2) (3.5)式，并注意到,上式可表示成,将此式适当整理后，两边除以t，并令 ，可得到 Pk(t0, t) 满足的微分-差分方程,又因 N(t0, t0) = 0，故有初始条件,在(3.8)与(3.9)中令k=1, 利用求出的P0(t0, t), 可解出,如此重复，即逐次令 k=2, 3, ，就得到(t0, t 时间段内出现 k 个质点的概率为,由上式易见：增量 N(t0, t) = N(t) - N(t0)的概率分布是参数为 (t-t0) 的泊松分布, 且只与时间差 t-t0 有关。所以，强度为 的泊松分布是一齐次的独立增量过程。,在一些文献中，泊松过程也用另一种形式定义。 若计数过程 N(t), t 0 满足下列三个条件： .过程是独立增量过程； .对任意 t t00，N(t)-N(t0) 服从参数为 (t -t0) 的 泊松分布; . N(0)=0, 则称N(t), t 0是强度为 的泊松过程。 从前面的推导不难看到：从条件(1)(4)可推出。反之, 在中令 t-t0= t，并利用e- t的泰勒展开式，就能得到条件(2)、(3)。由此可知：定义泊松过程的两组条件是等价的。,由(3.10)式， t t00，可知,特别地，令t0=0，由于假设N(0)=0，可推出泊松过程的均值函数和方差函数分别为,从(3.11)可看到: =EN(t)/t，即泊松过程的强度 (常数)等于单位时间间隔内出现的质点数的期望值。,泊松过程的协方差函数，则可由(3.1), (3.11)式直接推得：,相关函数,若条件(3.3)式中的强度为非均匀的，即 是时间 t 的函数 = (t), t0。则称泊松过程为非齐次的。对于非齐次泊松过程，用类似的方法，可得,下面介绍与泊松过程有关的两个随机变量，即等待时间和点间间距，以及它们的概率分布。,在一些实际问题中，观察质点时，通常不是对时间间隔 (t1, t2 内出现的质点进行计数, 而是对达到一定数量的质点所需要的时间进行计时。,例如：为研究含某放射性元素的物质，常对它发射出来的粒子作如下计时试验。 设质点(或事件)依次重复出现的时刻 t1, t2, tn, 是一强度为 的泊松流，,N(t), t 0为相应的泊松过程。,记 W0=0, Wn= tn, n=1, 2, 。 Wn是一随机变量，表示第n个质点(或事件第n次)出现的等待时间(见图10-6)。,为求出Wn的分布函数 首先注意，事件 Wnt=N(t)n。,所以，,将上式关于 t 求导，得Wn的概率密度为,易见：泊松过程的等待时间Wn服从分布。特别地，质点(或事件)首次出现的等待时间W1服从指数分布，其密度函数为：,又记 它也是一连续型随机变量，称为相继出现的第 i-1个质点和第 i 个质点的点间间距(见图10-6)。,图10-6,下面求Ti 的分布。 由于T1=W1，所以T1服从指数分布(3.13)。对于i2，我们先求在第 i-1 个质点出现在时刻 ti-1 (即ti-1= ti-1)的条件下， Ti 的条件分布函数：,由N(t)的定义,由增量的独立性,由增量的平稳性,从而知相应的条件概率密度为,于是，随机变量Ti, ti-1的联合概率密度为,此处 为ti-1的概率密度。将此表达式关于ti-1积分，即得Ti (i=2, 3, )的概率密度,由(3.13)及(3.14)知，点间间距序列 Ti 服从同一指数分布。理论上还有:T1, T2, 是独立的随机变量。我们把这些结论写成如下定理。 定理1 强度为 的泊松过程的点间间距是独立同分布随机变量序列，且同服从指数分布(3.14)。 定理2 若任意相继出现的两个质点的点间间距是独立同分布随机变量序列，且同服从指数分布(3.14)，则质点流构成强度为 的泊松过程。,这两个定理刻画了泊松过程的特征，定理 2 告诉我们：为确定一个计数过程是不是泊松过程，只要用统