数学随机过程PPT课件

1、1二阶矩过程定义定义1 :设X(t)=X( t , ), t T 为一个随机过程，若 tT ，其均值EX(t )和方差DX(t )都存在，则称X(t)为二阶矩过程 ( second order process ) ，亦称有限方差过程( finite variance process ) 。3.2二阶矩过程定义及其性质第1页/共42页约定1：设X(t)=X ( t , ), t T 是二阶矩过程，则EX(t)=0 EX(t)= X(t) 关于自变量 t 的确定函数，定义Y(t)=X(t)-X(t)，则EY(t)=0。而Y(t)与X(t)的方差、自协方差函数、自相关函数等数字特征是相同的。为了便于

2、分析讨论，约定 EX(t)=0.约定2： Xn ,n 1以概率1 收敛于 X Xn = X.或几乎处处收敛到X.3.2二阶矩过程定义及其性质第2页/共42页2 二阶矩过程的基本性质定理1 :设X(t)=X( t , ), t T 为一个二阶矩过程，则其自协方差函数总是存在的。证明： t1, t2 T , X(t)的自协方差函数为所以 CXX(t1, t2 )=covX(t1), X(t2)+)()(| )()(| )()(|)()()()( |)()()()(|)(),(cov| ),(|)()()()()(),(cov),(21222211222112221122122122112121tX

3、DtXDtmtXEtmtXEtmtXtmtXEtmtXtmtXEtXtXttCtmtXtmtXEtXtXttCXXXXXXXXXXXX3.2二阶矩过程定义及其性质思路：自协方差函数为有限值。第3页/共42页定理2 : 设 X(t)=X( t , ), t T 为一个二阶矩过程，则其自相关函数总是存在的。即 t1, t2 T , X(t)的自相关函数定理3 : 设X(t)=X( t , ), t T 为一个二阶矩过程，其自相关函数为RXX(t1, t2 )，则特别：若X(t)=X( t , ), t T 为一个实二阶矩过程，则 )()(),(2121tXtXEttRXX),(),(2112ttR

4、ttRXXXX),(),(1221ttRttRXXXX3.2二阶矩过程定义及其性质第4页/共42页定理4 : 设X(t)=X( t , ), t T 为一个二阶矩过程，则其自相关函数为RXX(t1, t2 )具有非负定性，即0),(:)(0),(),(),(),(),(),(),(),(),() (TT212121222121211121RmkXXnnnnXXnXXnXXnXXXXXXnXXXXXXnttttRttRttRttRttRttRttRttRttR0),(C,112121mknknmmkXXnnttRTttt3.2二阶矩过程定义及其性质第5页/共42页数学分析：给定空间定义距离极限

5、连续性、导数、积分为研究提供数学框架与几何直观解释。随机分析：确定空间定义随机变量的“距离” 随机变量极限 随机变量连续性、导数、积分空间距离均方极限均方连续均方导数均方积分H3.3 随机分析初步第6页/共42页1 H空间与均方极限1.1 H空间定义1：设定义在概率空间( ,F F, P)上具有二阶矩的随机变量全体记作H = X : EX + 称集合 X: EX + 为二阶矩随机变量空间，简称为二阶矩空间(second order space) 或 H空间. 3.3 随机分析初步第7页/共42页附注A关于线性空间概念的回顾设V是一个非空的集合，K是一个数域，又设(a)在V中定义加法： , V

6、: + V ;(b)在V中定义数乘： V, k K: k V ;且 , , V , k,l K , 满足(1) k ,l K, , V : (2) +( + )= ( + )+ ; (3) + = + ;(4) 0 V, V: +0= ; (5) V, V: + =0(6) 1 K: 1 = ; (7) k ,l K, V: (kl) =k(l ) ;(8) k ,l K, V: (k+l) = k +l ;(9) k K, , V : k( + )= k + k .则称V是数域K上的一个线性空间。3.3 随机分析初步第8页/共42页定理1 H空间是线性空间。即(1)1X1+2X2H XiH,

7、 i =const R(C) (i=1,2). 因为Schwarz不等式（EXY)2=EX2EY2H|)|(|,|2| 22112221121222121222121212222212122211XXXXEXEXEXXEXEXEXXEXEXEXXE3.3 随机分析初步第9页/共42页(2) (X1+X2) +X3 = X1+ (X2+X3) Xi H(i=1,2,3) ; (3) X1+X2 = X2 +X1 Xi H (i=1,2) ; (4) 0 H: X +0 = X X H ;(5) -X H: X+(-X)=0 X H ;(6) 1 X = X 1 K: (7) (12)X =1(2

8、X) i =const R(C) , X H: (8) (1+2)X =1X +2X i =const R(C) , X H;(9) (X1+X2 )=X1+X2 i =const R(C) , X H :.3.3 随机分析初步第10页/共42页附注B关于内积空间概念的回顾 设V是定义在复数域C上的线性空间，若 , V，在V中定义 与 的内积(数量积) ，记作( , ) ,且满足：则称V是一内积空间。特别若数域K为实数域，则称V为欧几里得空间。“定义了内积的线性空间称为内积空间”),(),(),( )3(00),(, 0),( )2(),(),( ) 1 (22112211kkkk且3.3 随

9、机分析初步第11页/共42页 定义2 设 X,Y H ,定义 , 并称(X,Y )为H空间的内积。 定理2则 H空间是一个内积空间。证明：),(YXEYX) (a.e 00),(, 0),( ) (a.e 00)(d| ,|,),( ) 1 ( :1,2)K(iconstcH, 222i21XXXXXXxFxXEXEXXEXXYXXX且且3.3 随机分析初步第12页/共42页证明(续),(),(),( ),(),()(),( )3(),(),( ),(,),( )2(2211221122112211221122112211YXcYXcYXcXcYXcYXcYXEcYXEcYXcEYXcEYXc

10、XcEYXcXcXYYXYXYXEXYEXY3.3 随机分析初步第13页/共42页特别设 X,Y H,若(X,Y )=0 ，则称X与Y正交，记为X Y同时根据约定1：EX(t)=0， EY(t)=0因此(X,Y )=0 即X与Y正交时有所以X与Y不相关。故 (X,Y )=0 X与Y不相关0 ,covYXEmYmXEYXYX几何直观意义3.3 随机分析初步第14页/共42页附注C关于赋范线性空间概念的回顾设V是一个线性空间，若 V，存在一个实数| |与之对应，且具有下列性质：(1) | | 0 , 且| |=0 =0 ；(2) |c |= |c| | , 特别 |- |= | |； c R(3)

11、 | + | | |+ | |； V则称| | 为V中元素 的范数(norm)(模、长度)，此时线性空间V称为赋范线性空间 。对于赋范线性空间 V，若定义 ( , ) = | - |( , V) , 则V是一个度量(距离)空间 3.3 随机分析初步第15页/共42页定义3设 X H ,定义 称|X|为H空间的范数。 定理3 H空间是赋范线性空间。证明：21221)|(),(|XEXXXa.s)or (a.e 00| |, 0| |a.s)or (a.e 00),( , 0),(| | ) 1 ( :H, 221XXXXXXXXXXXX且且3.3 随机分析初步第16页/共42页证明| | | |

12、 | |)| | | (| | ),( |2| | )(| )( | ),( |),( )()(),(),( ),(| | )3(; | | ),(),(| | )2(21212212221212212211122122111212122121221XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXcXXccXcXcX3.3 随机分析初步第17页/共42页附注D关于度量(距离)空间概念的回顾设V是一个集合，若 , V，若存在一个非负的实数d( , )与之对应，且具有下列条件：(1) d( , ) 0 , 且d( , ) =0 = ；(2) d( , ) = d( , ) ；(3

13、) d( , ) d( , ) + d( , ) ， V ； 则称d( , )为V中元素 , 的距离，此时集合V称为度量(距离)空间 。 3.3 随机分析初步第18页/共42页定义4设 X ,Y H ,定义 称(X ，Y) 为X 与Y 的距离。 定理4 H空间是度量(距离)空间。证明：|),(YXYXda.s)or (a.e 0|0),( a.s)or (a.e 0| , 0|),( ) 1 ( :H, YXYXYXdYXYXYXYXdYX且且3.3 随机分析初步第19页/共42页证明：),(),(|E|E|)( )E( ),(|),( , ),(),( )2( 2222XYdYXdXYXYY

14、XYXYXYXYXYXYXYXdXYdYXd),( ),(),(|)()(|)(H),( ),(),( )3(ZYdZXdYXdZYZXYZZXYZZXYXYXZZYdZXdYXd3.3 随机分析初步第20页/共42页 H空间 H = X : EX + X,Y H：内积：距离：X H范数),(YXEYX21221)|(),(|XEXXX|),(YXYXd在H空间 H=X:EX+ 中进一步定义极限连续导数积分与空间中两个向量的内积、距离和一个元素的范数相类似3.3 随机分析初步第21页/共42页2 均方极限一、 随机变量序列均方极限定义5 ：设定义在概率空间( ,F F, P)上的随机变量X与随

15、机变量序列Xn, n 1均存在二阶矩，即X , Xn , n 1 H。若则称X为序列Xn, n 1的均方极限( limit in mean square)记作：即序列Xn, n 1均方收敛(mean square convergence)于X 。0|lim|lim0,lim212XXEXXXXdnnnnnn)(or l.i.mor lim m.s.m.s.nXXXXXXnnnnn3.3 随机分析初步第22页/共42页定义6 ：设定义在概率空间( ,F F, P)上的随机变量序列Xn, n 1均存在二阶矩，即 X ,Xn , n 1 H。若则称随机变量序列Xn, n 1是柯西序列(基本序列)。0

16、,limmnmnXXd3.3 随机分析初步第23页/共42页定理1 ：设 Xn , n 1 H。若 X H，使得则随机变量序列Xn, n 1是(均方收敛的)基本序列(柯西序列) 。证明： |Xn Xm | |Xn X | + |Xm X | n ,m : |Xn Xm | 0 , 即 Xn, n 1是基本序列XXnnl.i.m0,limmnmnXXd3.3 随机分析初步第24页/共42页定理2 ：设 Xn , n 1 H是基本序列(柯西序列)，则必 X H，使得完备性定理。XXnnl.i.m3.3 随机分析初步第25页/共42页附注E关于希尔伯特(Hilbert)空间的复习设E是一个度量空间，

17、若E中的每一个基本序列均收敛于E，则称E是一个完备空间。具有内积的完备空间称为希尔伯特(Hilbert)空间。定理3 Xn , n 1 H， X H，使得即H是一个希尔伯特(Hilbert)空间。XXnnl.i.m3.3 随机分析初步第26页/共42页二、 随机变量序列均方极限的性质性质 1: 设 X ,Y ,Xn,n 1,Yn,n 1 H , , 。若则证明：YYXXnnnnl.i.m ,l.i.mYXYXnnn)(l.i.m0|)()(| 0| , 0|:|)()(|)()(| YXYXYYXXnYYXXYYXXYXYXnnnnnnnnnn3.3 随机分析初步第27页/共42页性质 2 :

18、 设 X ,Y ,Xn,n 1 H 。若则证明：即“均方极限是唯一的”YXXXnnnnl.i.m ,l.i.m.).( eaYX .).(0|0| eaYXYXYXXXYXXXYXnnnnn3.3 随机分析初步第28页/共42页性质 3 : 设 X ,Y,Xn,n 1, Yn,n 1 H 。若 则YYXXnnnnl.i.m ,l.i.ml.i.mlim)3(),()l.i.m,l.i.m(l.i.m),(l.i.m)2(l.i.mlim) 1 (222XEXEXEYXYXYXEYXXEXEXEnnnnmmnnmnmnmnmnmnnnnn3.3 随机分析初步第29页/共42页证明：l.i.mli

19、m| ),( |:Schwarzl.i.mlim) 1 (022122222222222nnnnnnnnYnnnnXEXEXEXXEXXEXEXEXEXEYEXEYXYEXEYEXEYXEYEXEXYEXEXEXE令不等式由3.3 随机分析初步第30页/共42页证明(续),()l.i.m,l.i.m(l.i.m),(l.i.m)2(YXYXYXEYXmmnnmnmnmnmnmn0),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(),(,nmnmmnnmmnnnmmnnnmmmnnnmmmnmnYXXY

20、YXYYXXYXXYYXYYXXYXXYXXYYXYXXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYXYX),()l.i.m,l.i.m(l.i.m),(l.i.mYXYXYXEYXmmnnmnmnmnmnmn3.3 随机分析初步第31页/共42页证明(续)实际上第(3)式是第 (2)式的特例。即在第 (2)式中取Yn =Xn即得l.i.mlim)3(222XEXEXEnnnn),()l.i.m,l.i.m(l.i.m),(l.i.mYXYXYXEYXmmnnmnmnmnmnmn3.3 随机分析初步第32页/共42页性质 4 : 设 X,Xn,n 1 H 。若 则证明：X

21、Xnnl.i.m)l.i.m(limXDXDXDnnnnl.i.m )2() 1 (3 22222222nnnnnnnnnXDXDXEXEXDXEXEXEXEXEXEXD，两式知：和的第由性质；由定义：3.3 随机分析初步第33页/共42页三、 均方收敛的判断准则-判断该序列是否收敛1、柯西准则( Cauchy criterion for maen square convergence)设 X , Xn,n 1 H , 则的充要条件是：2、均方收敛准则XXnnl.i.m)const(),(l.i.m)(l.i.mCXXXXEmnmnmnmn0l.i.m2nmmnXXE3.3 随机分析初步第34页/共42页定理4: 李普希茨(Lipschitz)条件: 函数f(x)在a,b上有定义，若存在常数M，使得f(x)是一确定性函数， x1,x2 a,b成立：| f(x1) - f(x2) | M| x1 - x2 |.则称f(x)在a,b上满足李普希茨(Lipschitz)条件。3.3 随机分析初步第35页/共42页四、 随机变量函数的均方极限定理5 设 X , Xn,n 1 H , 且 ，又设f(x)是一个在其定义域 D D 上满足李普希茨(Lipschitz)条件的普通函数。则XXnnl.