几种重要随机过程

1、随机过程的定义,定义1设(,P)是一个概率空间，T是一个实数集。X(t,)（tT,)是定义在T和上的二元函数。若对于任意固定的tT，X(t,)是(,P)上的随机变量，则称随机变量族X(t,),tT,是(,P)上的随机过程。t称为参数，T称为参数集。把随机过程X(t,)在t时刻的取值称为该随机过程在t时刻所处的状态；一个随机过程所有状态构成的集合称为状态空间（或值域），记为。,随机过程的定义,定义2设(,P)是一个概率空间，T是一个实数集。X(t,)（tT,)是定义在T和上的二元函数。若对于任意固定的，总有一个t的函数X(t,)（tT）与之对应,对于所有的，就得到一族确知的t的函数，则称这一族t

2、的函数的集合X(t,),tT,是(,P)上的随机过程。其中，每一个函数称为样本函数，或该随机过程的一个实现。,随机过程的定义,随机过程X(t,)（tT,)在不同情况下的含义：（1）当t和都是变量时，是一个时间函数族，或依赖与t的随机变量族；（2）当t是变量、固定时，是一个确定的时间函数（样本函数）；（3）当t固定、是变量时，是一个随机变量；（4）当t和固定时，是一个确定的值。,复随机过程,1、定义设X(t),tT和Y(t),tT是两个实随机过程，定义复随机过程Z(t),tT为复随机过程Z(t)的概率密度由实随机过程X(t)和Y(t)的n+m维联合概率密度给出，即fXY(x1,xn;y1,ym;

3、t1,tn;t1,tm),复随机过程,2、数字特征（1）均值函数：（2）方差函数：（3）自相关函数：（4）自协方差函数：,复随机过程,2、数字特征（5）均方值函数：（6）互相关函数：（7）互协方差函数：,复随机过程,例：设复随机过程其中相互独立，且是常数，求均值函数和自相关函数解：,复随机过程,因,作业,随机过程的基本概念作业：习题二中的1，4，7，14，16，18，19,几种重要随机过程,正态过程（高斯过程）独立过程独立增量过程维纳过程泊松过程,4.1.1正态分布（高斯分布）定义1：如果随机变量X的概率密度为则称X为服从参数的正态分布，记为，其中，为均值；为方差。分布函数为当时的正态分布称为

4、标准正态分布，记为。分布函数,4.1正态过程(高斯过程),4.1.1正态分布（高斯分布）定义2：如果n维随机变量的概率密度为其中，为均值向量，为协方差矩阵，则称X服从n维正态分布，称X为n维正态随机变量。n维正态分布完全由一阶矩和二阶矩所确定。,4.1.1正态分布（高斯分布）特征函数为,4.1.1正态分布（高斯分布）,用特征函数与矩的关系：,4.1.1正态分布（高斯分布）n维正态随机变量的性质：（1）（n维正态分布的边沿分布）设是n维正态随机向量，则X的任一子向量也服从正态分布。,Cb是保留C的第k1,k2,km行和列所得到的mm矩阵,4.1.1正态分布（高斯分布）n维正态随机变量的性质：（2

5、）（独立性）定理1：n维正态分布的随机变量相互统计独立的充要条件是它们两两互不相关。定理2：若X是正态分布的随机向量，X1和X2是X的两个子向量，即，则X1与X2相互统计独立的充要条件是它们的互协方差矩阵为0。,4.1.1正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）设是n维正态随机变量，均值为，协方差矩阵为C。若，其中，则。若e=(ejk)是mn矩阵,是m1的列矩阵，即m维向量，则。,4.1.1正态分布（高斯分布）n维正态随机变量的性质：（3）（线性变换）定理1：服从n维正态分布的充要条件是它的任何一个线性组合服从一维正态分布。定理2：若服从n维正态分布，而若e=(ejk)是

6、mn矩阵,则服从m维正态分布。,正态分布随机变量的线性变换不变性,设随机变量(X,Y)N(,C)，其中，求随机变量(X,Y)的概率密度f(x,y)和特征函数解：由已知，故(X,Y)的概率密度为,4.1.1正态分布（高斯分布）,例为零均值4维正态随机变量证明：,4.1.1正态分布（高斯分布）,令,4.1.1正态分布（高斯分布）,4.1.2正态随机过程（高斯过程）定义：若随机过程X(t),tT,对于任意n个时刻t1,t2,tnT,n维随机变量X(t1),X(t2),X(tn)的联合概率分布为n维正态分布，则称X(t),tT为正态过程（或高斯过程）。,一维特征函数：,设X(t),tT为正态过程，则其

7、有限维概率分布都是正态分布,一维概率分布：,4.1.2正态随机过程（高斯过程）,n维概率分布：,n维特征函数：,4.1.2正态随机过程（高斯过程）性质：（1）正态过程X(t),tT的n维概率密度及特征函数完全由它的均值向量和协方差矩阵所确定。（二阶矩过程）（2）对于正态过程，独立性和不相关性是等价的。若一个正态过程X(t),tT在任意n个时刻t1,t2,tnT,采样，所得的n维随机变量X(t1),X(t2),X(tn)两两互不相关，则，这些随机变量也是相互独立的。对于多个正态过程，若两两互不相关，则两两相互独立。证明X(t1),X(t2),X(tn)两两互不相关，则协方差函数,n维正态概率密度

8、等于n个一维正态概率密度的乘积。,4.1.2正态随机过程（高斯过程）性质：（3）对于正态过程，宽平稳与严平稳是等价的。,严平稳过程,二阶矩存在,宽平稳过程,宽平稳过程:,n维分布相同严平稳过程,严平稳过程:,4.1.2正态随机过程（高斯过程）性质：（4）正态过程的线性不变性。正态过程的线性组合仍为正态过程；正态过程经过线性系统（变换）后仍为正态过程。,4.1.2正态随机过程（高斯过程）性质：（5）正态过程的均方微积分定理1设为k维正态随机向量,且均方收敛于,则X也是k维正态随机向量。定理2设X(t),tT是正态过程,且在T上均方可导,则该过程的导数X(t),tT也是正态过程。定理3设X(t),

9、tT是正态过程,且在T上均方可积,则该过程的积分是正态过程。,4.1.2正态随机过程（高斯过程）复正态过程：设X(t),tT和Y(t),tT为两个实正态过程，定义为复正态过程。对于复正态过程，在n个时刻采样，得到n个复正态随机变量，2n个实正态随机变量；n个复正态随机变量的联合概率密度，应是2n维实正态随机变量的联合概率密度。,4.1.2正态随机过程（高斯过程）例题：设有随机过程，式中为常数，U和V是相互独立的正态随机变量，且均值皆为0，方差都是。求X(t)的一维、二维概率密度。解：在任意时刻，该随机过程是正态随机变量U和V的线性组合，因此，是一正态过程。求出均值和方差函数，即可求出其概率密度

10、。,4.1.2正态随机过程（高斯过程）,定义：如果随机过程X(t),tT，对应于任意n个时刻t1,t2,tnT的n个随机变量X(t1),X(t2),X(tn)相互独立，则称该随机过程为独立过程。n维概率分布由一维分布确定：当时间参数是离散时，若X(n)(n=1,2,)是相互独立的随机变量，称X(n),n=1,2,是独立随机序列。独立随机序列在实际中是存在的，如重复抛硬币试验结果就形成一个独立随机序列；而对于任何连续参数过程，当t1与t2充分接近时，X(t1)和X(t2)将不可能完全独立。因此参数连续的独立过程实际上是不存在的，是一种理想化的随机过程。如理想白噪声概率模型。,4.2独立过程,例1

11、：伯努利随机序列。伯努利试验仅有两种结果，各次试验结果互不影响，伯努利随机序列X(n),n=1,2,是独立随机序列。按教材例1的概率分布，均值：均方值：方差：相关函数：协方差函数：,4.2独立过程,例2：高斯白噪声。如果随机过程X(t),-t+的均值为0，方差为，相关函数满足功率谱为常数，即，则称X(t),-t+为连续参数白噪声（过程）。如果对于每个t(-,+),X(t)是正态随机变量，则称X(t),-t+为高斯白噪声（过程）。高斯白噪声是独立随机过程。如热噪声，等等。,4.2独立过程,例2：高斯白噪声。如果随机序列X(n),n=0,1,2,的均值为0，方差为，相关函数满足功率谱为常数，即，则

12、称X(n),n=0,1,2,为白噪声序列。如果白噪声序列X(n),n=0,1,2,都服从正态分布，则称X(n),n=0,1,2,为高斯白噪声序列。高斯白噪声序列是独立随机序列。,4.2独立过程,定义：设X(t),tT是一随机过程，如果对于任意正整数n2，以及任意的t1,t2,tnT,且0t10，以及任意的t1,t2,t1+,t2+T，随机变量X(t2+)-X(t1+),与X(t2)-X(t1)有相同的分布，称X(t),tT为平稳独立增量过程。如抛硬币，布朗运动等。,4.3独立增量过程,定义：对于任意的t1t2T,如果随机过程X(t),tT的增量X(t2)-X(t1)的概率分布，只与时间间隔的长

13、度t2-t1有关，而与起点t1无关，则称X(t),tT为平稳增量过程。例1和过程。设X(n),n=1,2,是独立随机序列，称为和过程。若PX(0)=0=1,则Y(n),n=0,1,2,是独立增量过程。若X(n),n=1,2,的各个随机变量具有相同的分布，称X(n),n=1,2,是独立同分布随机序列。则Y(n),n=0,1,2,是平稳独立增量过程。,4.3独立增量过程,例1证明在这两个Y(n)的增量中，没有共同的X(n)。由独立序列X(n)的相互独立性知，和过程Y(n)是独立增量过程。又Y(n2)-Y(n1)与Y(n2+m)-Y(n1+m)都是X(n)的n2-n1个随机变量之和。当X(n)是独立

14、同分布随机序列时，Y(n2)-Y(n1)与Y(n2+m)-Y(n1+m)有相同的概率分布，这时，和过程Y(n)便是平稳独立增量过程。也可得Y(n2-n1)与Y(n2)-Y(n1)同分布。,4.3独立增量过程,性质1：如果X(t),t0是平稳独立增量过程，且X(0)=0，则（1）均值函数m(t)=mt,（m为常数）；（2）方差函数D(t)=2t,(为常数）；（3）协方差函数C(t1,t2)=2min(t1,t2)=D(min(t1,t2).证明（1）设m(t)=EX(t)m(t+s)=EX(t+s)=EX(t+s)-X(s)+X(s)-X(0)=EX(t+s)-X(s)+EX(s)-X(0)=E

15、X(t)-X(0)+EX(s)-X(0)=EX(t)+EX(s)=m(t)+m(s)根据线性算子的可加性条件，m(t)=mt（m=m(1).,4.3独立增量过程,证明（2）方差函数D(t)=2t,(为常数）；设D(t)=DX(t)D(t+s)=EX(t+s)-m(t+s)2=EX(t+s)2-m(t+s)2=EX(t+s)-X(s)+X(s)-X(0)2-m(t+s)2=EX(t+s)-X(s)2+EX(s)-X(0)2+2EX(t+s)-X(s)X(s)-X(0)m(t+s)2=EX(t)2-(mt)2+EX(s)2-(ms)2+2EX(t+s)-X(s)X(s)-X(0)-2(mt)(ms

16、)=DX(t)+DX(s)+2CX(t+s)-X(s),X(s)-X(0)=D(t)+D(s)根据线性算子的可加性条件，D(t)=2t（2=D(1).,4.3独立增量过程,证明（3）协方差函数C(t1,t2)=2min(t1,t2)当t1t2,C(t1,t2)=D(t2)=2t2所以，C(t1,t2)=2Dmin(t1,t2)=2min(t1,t2)。即，两时刻的协方差等于较小时刻状态的方差。,4.3独立增量过程,性质2：独立增量过程的有限维分布由初始随机变量和增量过程的概率分布确定。先证明：独立增量过程可以表示成若干个独立的增量过程之和。对于独立增量过程X(t),t0，X(0)=0，令Yn=

17、X(tn)-X(tn-1)为增量过程,有Y1=X(t1)，Y2=X(t2)-X(t1),Yn=X(tn)-X(tn-1)X(tn)=Yn+X(tn-1)=Yn+Yn-1+X(tn-2)=Yn+Yn-1+Y2+Y1=,4.3独立增量过程,X(t)的n维特征函数：,4.3独立增量过程,例2二项计数过程。设X(n),n=1,2,是伯努利独立同分布随机序列，各个随机变量的分布律为则其和过程Y(n),n=0,1,2,称为二项计数过程。表示n次伯努利试验中某事件发生的次数。显然，二项计数过程是平稳独立增量过程。一维概率分布：二维概率分布：,4.3独立增量过程,例2二项计数过程：均值函数：方差函数：协方差函

18、数：,4.3独立增量过程,布朗运动1827年，布朗发现的悬浮在液体中的花粉微粒在液体分子不断随机碰撞下的不规则运动。若取水面上平面坐标系的原点为花粉的起始位置，任意时刻t花粉所处的位置可用横坐标X(t)和纵坐标Y(t)表示。特点：（1）起始时刻位于原点(X(t)=0,Y(t)=0)。（2）时间和取值都是连续的(t0)。（3）在任意时刻花粉的位移方向和位移量都是随机的；且朝各个方向运动的概率相等，每次的位移量都很小。对于一个方向，如x坐标，符合伯努利试验(向左向右位移的概率相等,分别为1/2)；在该方向上的位移X(t)为和过程.因X(t)=0,X(t)为独立增量过程。,4.4维纳过程,布朗运动（

19、4）在各个不相交时间间隔，花粉沿某个方向的位移是相互独立的，且相同时间间隔的概率分布相同，是一平稳独立增量过程。（5）根据中心极限定理，花粉在某个方向的位移，如X(t)及其增量X(t2)-X(t1)（0t1t2）都服从正态分布。（6）在x方向上，由于左移和右移距离的概率分布是对称的，X(t)的均值为0(EX(t)=0)。（7）刻画位移分散程度的方差正比于时间间隔的长度(DX(t)=C2t)。维纳1918年给出了这类运动（过程）的数学描述维纳过程。,4.4维纳过程,维纳过程定义：若随机过程W(t),0t0;W(t2)-W(t1)N(0,2|t2-t1|)则称W(t),0t为维纳过程。W(t)N(

20、0,2t)称=1的维纳过程为标准维纳过程。W(t2)-W(t1)N(0,|t2-t1|),4.4维纳过程,维纳过程的统计特征：均值：EW(t)=EW(t)-W(0)=0方差：D(t)=DW(t)2=DW(t)-W(0)2=2|t-0|=2t自相关函数：当t1t2，R(t1,t2)=EW(t1)W(t2)=EW(t1)-W(0)W(t2)-W(t1)+W(t1)-W(0)=EW(t1)-W(0)2+EW(t2)-W(t1)W(t1)-W(0)=EW(t1)2=2t1R(t1,t2)=2min(t1,t2)自协方差函数：C(t1,t2)=R(t1,t2)=2min(t1,t2),4.4维纳过程,维纳过程的统计特征：n维概率密度：正态分布n维均值向量n维协方差矩阵C(t1,t2)=R(t1,t2)=2min(t1,t2),4.4维纳过程,n维特征函数,维纳过程的性质：（1）维纳过程是平稳独立增量过程；（2）维纳过程的增量是正态分布，维纳过程是正态过程；（3）维纳过程具有无后效性,是马尔可夫过程；（4）维纳过程是非平稳过程；（5）维纳过程是均方连续、均方不可导、均方可积的二阶矩过程。均方可导准则：存在。,4.4维纳过程,例：维纳过程