随机过程第一章介绍

1、1随机过程随机过程v卢正新（副教授）卢正新（副教授）vEmail:2教材或参考书教材或参考书vAn Introduction to Stochastic Processes 随机过程引论（英文版）随机过程引论（英文版）Edward P.C. KaovBasic Stochastic Processes 随机过程基础随机过程基础 Zdzisilaw Brzeniak; Tomasz Zastawniakv随机过程随机过程刘次华刘次华 编编华中科技大学出版社华中科技大学出版社v应用随机过程应用随机过程林元烈林元烈清华大学出版社清华大学出版社3课程大纲课程大纲v第一章：概率

2、论与随机过程介绍第一章：概率论与随机过程介绍v第二章：第二章： 泊松过程泊松过程v第三章：马尔柯夫链第三章：马尔柯夫链v第四章：连续时间的马尔柯夫链第四章：连续时间的马尔柯夫链v第五章：布朗运动与鞅第五章：布朗运动与鞅4第一章：介绍第一章：介绍v简要回顾一下概率论中与本课程有关的基本简要回顾一下概率论中与本课程有关的基本概念：随机试验、样本空间、事件、概率、概念：随机试验、样本空间、事件、概率、随机变量等随机变量等v随机过程的概念、分类随机过程的概念、分类5随机试验随机试验v试验结果事先不能准确预言，三个特征试验结果事先不能准确预言，三个特征:可以在相同条件下重复进行；可以在相同条件下重复进行

3、；每次试验结果不止一个，可预先知道试验所有可能每次试验结果不止一个，可预先知道试验所有可能结果；结果；每次试验前不能确定那个结果会出现。每次试验前不能确定那个结果会出现。样本空间样本空间随机试验所有可能结果组成的集合，记为随机试验所有可能结果组成的集合，记为事件事件样本空间的子集样本空间的子集A称为事件称为事件集合运算集合运算6古典概率古典概率v随机试验中一切可能结果是有限多个；随机试验中一切可能结果是有限多个；v每个结果出现的可能性是相等的；每个结果出现的可能性是相等的；v则事件则事件A发生的概率可表示为发生的概率可表示为个数样本空间中所含样本点所包含的样本点个数事件A)(AP7几何概率几何

4、概率v计算无穷个基本事件的情形；计算无穷个基本事件的情形；v样本点具有均匀分布的性质；样本点具有均匀分布的性质；v设用设用L() 作为区域作为区域大小的量度，而区域大小的量度，而区域中任中任意可能出现的小区域意可能出现的小区域A的量度用的量度用L(A)表示；表示；v则事件则事件A（或某一区域）发生的概率表示为（或某一区域）发生的概率表示为)()()(LALAP8统计概率统计概率v用于计算前两种随机概率概括不了的随机事件概率；用于计算前两种随机概率概括不了的随机事件概率；v用事件的频率近似地去表达事件的概率；用事件的频率近似地去表达事件的概率；v若在同样的条件下，将随机试验独立的重复做若在同样的

5、条件下，将随机试验独立的重复做n次，事件次，事件A出现了出现了nA次，则事件次，则事件A的频率是的频率是nnfAAv当试验次数当试验次数n增大时，其中大量的频率聚集在一个常数周围增大时，其中大量的频率聚集在一个常数周围;v这个常数是客观存在的，反映了事件这个常数是客观存在的，反映了事件A出现可能性的大小，出现可能性的大小，我们认为这个常数就是事件的概率。我们认为这个常数就是事件的概率。)(APfA9v规定一个随机试验，所有样本点之集合构成样本空间规定一个随机试验，所有样本点之集合构成样本空间 ，在，在样本空间中一个样本点或若干个样本点之样本空间中一个样本点或若干个样本点之适当集合适当集合F称为

6、集称为集合类或域，合类或域，F中的每一个集合称为事件。中的每一个集合称为事件。v并不是所有的并不是所有的的子集都能方便地定义概率，要有限制。的子集都能方便地定义概率，要有限制。v例如：掷骰子，例如：掷骰子， =1,2,3,4,5,6 F=, ,1, , 6,1,2, 6,6,1,2,3, , F=, , , 小点小点,大点大点，小点，小点=1,2,3；大点；大点=4,5,6 但在但在F=,1 , 大点大点上定义概率就有问题。上定义概率就有问题。10FDeMorganFFF注：设若 为域，根据法则，对可数次交、并、差运算封闭，即 中的任何元素经可数次集合运算后仍属于 。F定义：设 是由 的某些子

7、集构成的非空集类，若满足：1 F ）2CAFAF）若，则3nnAFnNAFn=1）若，则FF则称 为域（代数），称（， ）为可测空间。110,F 例：，平凡 域1, ,CFA A 2:FAA 3, ,FA ( )( )A定义： 是由 的子集构成的集类，一切包含 的 域的交记为，称为由 生成的 域（包含 的最小 域）。3F例：求 （） ( , ): ,)BorelBa ba bR例：域，( , :) (, :) (, :)Ba babRbbRbbQQ可以验证：， 表示有理数12定义：定义： 设（设（,F）为可测空间）为可测空间 ，P是定义在是定义在F上的集函上的集函数，若满足：数，若满足：1.0

8、P(A) 1， ;2.P()=1;3.若若A1,A2,.,Ak两两互斥，则两两互斥，则11)()(kkkkAPAP称称P为可测空间（为可测空间（,F）的一个概率测度，简称概率；）的一个概率测度，简称概率； 称称（,F,P）为一个概率空间；）为一个概率空间；F为事件域，为事件域，A为事件，为事件，P(A)为事件为事件A的概率。的概率。AF13例：U0,10,1区间上的均匀分布： =0,1 ，F=B0,10,1区间上的Borel域， U0,1的概率P定义为： 令A为 0,1上全体有理数，AC为0,1上全体无理数。 1）证明 2）证明 P(A)=0， P(AC)=1( , )0,1( )Aa bBP

9、 Aba，0,10,1CABAB，14条件概率条件概率v在事件在事件B已发生这一条件下，事件已发生这一条件下，事件A发生的概率。发生的概率。)()()|(BPBAPBAP全概率公式：全概率公式：v若有若有N个互斥事件个互斥事件Bn（n=1,2,N），它的并集等），它的并集等于整个样本空间，则于整个样本空间，则NiiiBPBAPAP1)()|()(15v设事件设事件A1，A2，An构成一个完备事件组，概率构成一个完备事件组，概率P(Ai)0,i=1,2,n,对于任何一个事件对于任何一个事件B，若，若P(B)0, 有有NiiiiiiABPAPABPAPBAP1)|()()|()()|(贝叶斯公式贝

10、叶斯公式独立事件独立事件()( ) ( )P ABP A P Bv独立的等价命题：独立的等价命题：1）A，B独立；独立； 2） A，BC独立；独立； 3）P(A/B)=P(A)； 4） P(A/BC)=P(A)v思考：独立与互斥的关系思考：独立与互斥的关系16v事件A1，A2，An看作是导致事件B发生的“因素”，P(Ai )是在事件B已经出现这一信息得知前Ai出现的概率，通常称为先验概率。先验概率。v在试验中事件B的出现，有助于对导致事件B出现的各种“因素”发生的概率作进一步探讨，公式给出的P(AiB)是在经过试验获得事件B已经发生这个信息之后，事件Ai发生的概率，称为后验概率。后验概率。v后

11、验概率依赖于试验中得到的新信息的具体情况（比如事件B发生还是事件B补发生），并且给出在获得新信息之后，导致B出现的各种因素Ai发生情况的新知识，因此贝叶斯公式又称为后验概率公式或逆概率公式。后验概率公式或逆概率公式。 先验概率与后验概率先验概率与后验概率17随机变量随机变量定义：定义：设（设（，F，P）是概率空间，）是概率空间，X=X(e)是定义在是定义在上的实函数，上的实函数，如果对任意实数如果对任意实数x，e:X(e) x F，则称，则称X(e)是是F上的随机上的随机变量（变量（X也称为也称为F可测的）。可测的）。18事件事件随机变量随机变量离散型随机变量：离散型随机变量：只取有限个数值或

12、可列无穷多个值。只取有限个数值或可列无穷多个值。连续型随机变量：连续型随机变量：从原样本空间到新样本空间的映射是从原样本空间到新样本空间的映射是某一个范围，是一段（或几段）实线某一个范围，是一段（或几段）实线（也可能是整个坐标轴），随机变量（也可能是整个坐标轴），随机变量可以取值于某一区间中的任一数。可以取值于某一区间中的任一数。19分布函数（一个描述随机变量取值的概分布函数（一个描述随机变量取值的概率分布情况的统一方法）率分布情况的统一方法）xxeXePxF),)(:()(性质：性质：1.F(x)是非降函数；是非降函数；2.0F(x) 1；3.Px1Xx2=F(x2)-F(x1)4.F(x)

13、是右连续。是右连续。2020概率密度函数：分布函数的导数概率密度函数：分布函数的导数( )( )dF xf xdx性质：性质：1. ；2. ；3. ( )1f x dx211221()()( )xxP xXxF xF xf x dx( )0f x 对离散型随机变量，其概率密度可以用对离散型随机变量，其概率密度可以用 函数来表示：函数来表示：1)()()(kkkXxxxXPxf21离散型随机变量的概率分布用分布列描述离散型随机变量的概率分布用分布列描述01分布分布二项分布二项分布泊松分布泊松分布qXPpXP)0(,)1(knkknqpCkXP)(ekkXPk!)(连续型随机变量的概率分布用概率密

14、度描述连续型随机变量的概率分布用概率密度描述均匀分布均匀分布正态分布正态分布指数分布指数分布其它,0,1)(bxaabxf222)(21)(axexf0,00,)(xxexfx22随机变量函数的分布随机变量函数的分布在给定某任意的随机变量在给定某任意的随机变量X，以及它的概率分布函数，以及它的概率分布函数FX(x)，希望进一步求出给定的随机变量的某些可测函数，希望进一步求出给定的随机变量的某些可测函数（如（如Y=g(X)）的概率分布函数。）的概率分布函数。Y的概率分布函数公式为的概率分布函数公式为),)(:()(XYxyxgxPyF如果上式右端概率的导数对于如果上式右端概率的导数对于y处处存在

15、，那么这个导数处处存在，那么这个导数就给出了随机变量就给出了随机变量Y的概率密度的概率密度),)(:()(XYxyxgxPdydyf23（一）（一）g(x)是可导的单调函数，其反函数为是可导的单调函数，其反函数为x=g-1(y)。若若g(x)是单调上升函数，则有：是单调上升函数，则有：11( )()( : ( ),)( :( )( )YXXFyP YyP x g xy xP x xgyFgy111( )( )( )( )( )YXXx gydgydxfyfgyfxdydy1111( )( )( )( )( )( )( )YXXXx gyx gydgydxdxfyfgyfxfxdydydy 两边

16、求导得：两边求导得：同理，若同理，若g(x)是单调下降函数，则有：是单调下降函数，则有：综合两种情况，对任意的单调可导函数综合两种情况，对任意的单调可导函数g(x)，有：，有：1( )( )( ) ()YXx gydxfyfx JJdy：雅可比11( )()( : ( )1( :( )1( )YXFyP YyP x g xyP x xgyFgy 24（二）若（二）若g(x)是不是单调函数，其反函数有多个值，即对一是不是单调函数，其反函数有多个值，即对一个个y，有多个，有多个x与之对应。与之对应。若一个若一个y值有两个值有两个x值，值，x1=h1(y)和和x2=h2(y)与之对应，可证：与之对应

17、，可证：12121122( )()+()=()+()YXXXXdxdxfyfxfxfxJfxJdydy同理，同理，若一个若一个y值有值有n个个x值，值，x1=h1(y)，xn=hn(y)与之对与之对应，则有应，则有：11( )=()+()YXXnnfyfxJfxJ例：例：X为为0,2上的均匀分布，求上的均匀分布，求Y=cos(X)的概率密度。的概率密度。2525n维随机变量及其分布函数维随机变量及其分布函数设（设（ ，F，P）是概率空间，）是概率空间，X=X(e)（X1(e),Xn(e)）是定义在是定义在上的上的n维空间维空间Rn中取值的向量函数。如果对于中取值的向量函数。如果对于任意任意X=

18、(X1,Xn) Rn，e:X1(e) x1,Xn(e) xn F，则称则称X=X(e)为为n维随机变量。称维随机变量。称)(,)(:(),()(111nnnxeXxeXePxxFxF为为X=(X1,X2,Xn)的联合分布函数的联合分布函数26边际分布边际分布若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是一维若二维联合分布函数中有一个变元趋于无穷，则其极限函数便是一维分布函数，对于这种特殊性质，我们称其为边际分布。分布函数，对于这种特殊性质，我们称其为边际分布。对于任意两个随机变量对于任意两个随机变量X,Y，其联合分布函数为，其联合分布函数为FXY(x,y)，则，则),()(),()(

19、21yFyFxFxF分别称分别称F1(x)和和F2(y)为为FXY(x,y)关于关于X和关于和关于Y的边际分布函数。的边际分布函数。)(),(),(lim),()(1xXPYxXPyxFxFxFXYy ydudvvufyFyF),(,)(2离散型随机变量（离散型随机变量（X，Y）边际分布函数计算如下）边际分布函数计算如下连续型随机变量（连续型随机变量（X，Y）边际分布函数计算如下）边际分布函数计算如下27相互独立的随机变量相互独立的随机变量设设X，Y是两个随机变量，若对任意实数是两个随机变量，若对任意实数x，y有有)()()()(),(yYPxXPyYxXPyYxXP则称则称X，Y为相互独立的

20、随机变量。为相互独立的随机变量。若若X，Y为相互独立随机变量，则有为相互独立随机变量，则有)()(),()()(),(yfxfyxfyFxFyxFYXXYYXXY联合密度联合密度边际密度边际密度边际密度边际密度联合密度联合密度28条件分布条件分布)()()|(BPBAPBAP)()()|()|(|BPBxXPBxXPBxFBX)(),()|(|yfduyufyYxFYxXYYX条件概率条件概率条件分布函数条件分布函数两边对两边对x微分微分)(),()|(|yfyxfyxfYXYYXxYXYXduyufyYxF)|()|(|29全概率公式（续）全概率公式（续）设设A1, A2, An是样本空间是

21、样本空间的的一个划分，事件一个划分，事件B=Xx，根据全概率，根据全概率公式，有：公式，有：1()(|) ()nkkkP XxP Xx A P A即：即：1( )(|) ()nkkkF xF Xx A P A两边求导得：两边求导得：1( )(|) ()nkkkf xf Xx A P A这两个公式称为分布函数和概率密度的全概率公式。这两个公式称为分布函数和概率密度的全概率公式。30随机变量的数字特征随机变量的数字特征v统计平均与随机变量的数学期望统计平均与随机变量的数学期望v随机变量函数的期望值随机变量函数的期望值v方差方差v协方差协方差v相关系数相关系数v独立与不相关独立与不相关31统计平均与

22、数学期望统计平均与数学期望设离散随机变量设离散随机变量X，它可能取，它可能取4个值个值x1，x2，x3，x4，做试验，做试验n次，计算次，计算X的的算术平均可得：算术平均可得：4141443322111)(1kkkkkknnxnxnnxnxnxnxnXP(X=xk)1)()(kkkxXPxXEX对于离散型随机变量可以用对于离散型随机变量可以用 函数来表示其概率密度函数来表示其概率密度1)()()(kkkXxxxXPxf随机变量数学期望定义随机变量数学期望定义dxxxfXEX)()(3232随机变量函数的期望值随机变量函数的期望值已知随机变量已知随机变量X的数学期望值，求随机变量函数的数学期望值

23、，求随机变量函数Y=g(X)的数学期望，的数学期望，dxxfxgdyyyfXgEYEXY)()()()()(对于多维随机变量对于多维随机变量nXXX21X)( XYg()()()XEgfd YXXX33设设X1,X2, ,Xn为随机变量，求随机变量函数为随机变量，求随机变量函数Y=a1X1+a2X2+anXn的数学的数学期望。期望。N维随机变量的数学期望维随机变量的数学期望)()()()()()()()(221122112211nnnnnnXEaXEaXEaXaEXaEXaEXaXaXaEYE34已知随机变量已知随机变量X1和和X2，求随机变量函数，求随机变量函数YaX1+bX2的数学期望的数

24、学期望)()(),(),(),()()(212121221211212121212121XbEXaEdxdxxxfxbdxdxxxfxadxdxxxfbxaxYEXXXXXX 加权和的期望等于加权期望的和加权和的期望等于加权期望的和求数学期望是线性运算求数学期望是线性运算数学期望的线性运算不受独立条件限制数学期望的线性运算不受独立条件限制3535已知随机变量已知随机变量X1和和X2，求随机变量函数，求随机变量函数Yg1(X1)g2(X2)的数学期望的数学期望 21212211),()()(21dxdxxxfxgxgYExx假设两个随机变量假设两个随机变量X1和和X2相互独立，则有相互独立，则有

25、)()(),(21211121xfxfxxfxxxx121211221212111122221122 ()()()()()()()()() ()xxxxE Ygxgxfxfxdx dxgxfx dxgxfxdxE gXE gX 36K阶原点矩（阶原点矩（moments），），k阶中心矩阶中心矩随机变量随机变量X，若，若E|X|k，称，称EXk为为k阶原点矩。阶原点矩。niXkikikdxxfxxXPxXE1)()(离散随机变量离散随机变量连续随机变量连续随机变量又若又若EX存在，且存在，且E|X-EX|k ，称，称)(kXEXE为为X的的k阶中心矩。阶中心矩。niXkikikdxxfXExxX

26、PXExXEXE1)()()()()(离散随机变量离散随机变量连续随机变量连续随机变量37一阶原点矩就是随机变量的数学期望，一阶原点矩就是随机变量的数学期望，)(xxdFEX数学期望大致的描述了概率分布的中心。数学期望大致的描述了概率分布的中心。说明：说明： E|X|，即是要求，即是要求xk的出现顺序对随机变量的统计特的出现顺序对随机变量的统计特性没有影响。性没有影响。注意：数学期望要求注意：数学期望要求E|X|。例：设随机变量例：设随机变量X的分布律为：的分布律为：21( 1),1, 2,2kkkkPxkk可以求得，可以求得， E|X|=，其期望值不存在（如果没有此，其期望值不存在（如果没有

27、此条件，条件， EX=-ln2 ）。）。38中心化的两个随机变量中心化的两个随机变量X-EX，Y-EY的互相关矩称为随机变量的互相关矩称为随机变量X和和Y的的协方差，协方差，(, )()()()() ( )XYBCov X YEXEXYEYE XYE X E Y协方差是描述随机现象中，随机变量协方差是描述随机现象中，随机变量X和和Y概率相关的程度。概率相关的程度。引入一个描述两个随机变量相关程度的系数引入一个描述两个随机变量相关程度的系数DYDXYXCovdefXY),(XYXY称为归一化的协方差系数或相关系数。称为归一化的协方差系数或相关系数。11XY39若若XY0，则称随机变量，则称随机变

28、量X和和Y不相关。不相关。若两个随机变量若两个随机变量X和和Y的联合矩满足的联合矩满足jijiYEXEYXE则称随机变量则称随机变量X和和Y统计独立统计独立40统计独立统计独立不相关不相关0)(),(YEXEXYEEYYEXXEYXCov统计独立统计独立不相关不相关设设Z是一个随机变量，具有均匀概率密度是一个随机变量，具有均匀概率密度其它,020,21)(zzfZ令令X=sinZ，Y=cosZ，求随机变量，求随机变量X和和Y是否相关，是否独立？是否相关，是否独立？41条件期望条件期望v示性函数（示性函数（Indicator function）v离散随机变量的条件期望离散随机变量的条件期望设（X

29、,Y）为两个离散型随机变量，称P(X=xi|Y=yj)= P(X=xi,Y=yj)/ P(Y=yj)为给定Y=yj时，X的条件分布律。称为给定Y=yj时，X的条件数学期望1 ( ) 0 ()( ) (/)(/)AAAAeAIeAeAE II dPP AE IBP A B称 为的示性函数，有(|)(|)jiijiE X Yyx P Xx Yy42条件期望（续）条件期望（续）v定义：定义：记称E(X|Y)为X关于Y的条件期望。 思考： E(X|Y)是一个随机变量，其概率分布如何求？v连续随机变量的条件期望连续随机变量的条件期望设（X,Y）的条件密度函数为其条件期望为()(|)( ) (|)jYyj

30、jE X YIe E X Yy)(),()|(|yfyxfyxfYXYYX|(|)( | )X YE X Yyxfx y dx43条件期望（续）条件期望（续）v定义：定义：两个随机变量 X,Y，如果P(X=Y)=1，称 X,Y几乎处处相等，记为X=Y a.s.（almost surely)。v条件期望的基本性质：条件期望的基本性质：11, ,(1)( ), ( ),1)() ( )() 1( (/)(/)( ) 2(|)(|) . . (1) 3( () ( )|)( ) ( ()iiYnniiiiiiiX Y Xing x h yE XE XinE g X h YE g XE E X YE

31、X Yy dFyEXEXYE XYa sinE g X h YYh Y E g X 设为随机变量，为一般函数，且（，则有：）其中为常数。）|) . . (/) . . 4,(/) Ya sE XXX a sX YE X YEX（已知的拿出） 特别地 ）如果相互独立，则（独立的拿掉）4444条件期望（续）条件期望（续）v由性质由性质1，令，令 X=IA，则有：( )(/)( )(/)( )YYP AP A Yy dFyP A Yy fy dy此公式也称为全概率公式。此公式也称为全概率公式。v设设X与与Y为相互独立的随机变量，其分布分别为为相互独立的随机变量，其分布分别为FX(x)和和FY(y)，

32、证明，证明Z=X+Y的分布的分布FZ(z) = FX(x)*FY(y)（卷积）（卷积） 。vN个相互独立的随机变量序列的和的分布（或概率密度），为这个相互独立的随机变量序列的和的分布（或概率密度），为这N个个随机变量的分布（或概率密度）的随机变量的分布（或概率密度）的N重卷积。重卷积。 45生成函数生成函数v定义：设定义：设an为数字序列，称该序列的为数字序列，称该序列的Z-变换为变换为an的生成函数，记的生成函数，记为：为：1=,0,1,( )1 |1ngnanazzz例：，则其中， ，收敛域v定义：设定义：设X为离散随机变量，令为离散随机变量，令an =PX=n ，称，称PX(z)=ag(

33、z)=E(zX)为为X的生成函数，的生成函数，|z|1。0( )( )nggmn mma baz bz（卷积）v卷积性质卷积性质0( )gnnnaza z46生成函数生成函数2(1) (1)(1)(1)34,( )( ( )( )Nkk=1EXPDXPPPXX ,NXXY =XH zG P zG zP性质：1） 非负整数值随机变量的分布列由其生成函数唯一确定，2）独立随机变量之和的生成函数等于各随机变量生成函数之积，）若，是相互独立且同分布的非负整数值随机变量， 是与，独立的非负整数值随机变量，则的生成函数其中和 ( ) zNX分别是 ，的生成函数特征函数特征函数( )( )()( )1( )

34、( )2itxitxitxf xg tE eef x dxXf xeg t dt定义：设随机变量的概率密度为，称其傅氏逆变换为 的特征函数。而(0)1( )1, ()( ) 2( )(,)gg tgtg tg t 性质： 1) ，）在上一致连续22 cossinixxaibxabxaibexix复数运算，模运算 共轭运算欧拉公式： 特征函数特征函数( )1212123( )(0)4( )5,( )( )( )( )6nkkknnnXnEXXg tnkngi EXg tX XXXXXXg tg t g tg t特征函数性质（续）：）若随机变量 的 阶距存在，则 的特征函数可微分 次，且 当时，有

35、）是非负定函数）若是相互独立的随机变量，则的 特征函数 ）随机变量的分布函数由其特征函数唯一确定49拉氏变换拉氏变换( )( )( )lsxf tfsef t dtsi定义：设为定义在0, )上的实值函数，其拉氏变换为： 0( )( ) ( )( ) 2()(0) ( ) 3( ) () ( )( ) llslllf tg tfsg sf te fsfg tdfs g s 性质： 1) 线性运算） 延时） 卷积对应于乘积01 4( ) ( ) lfdfss） 积分傅里叶变换要求函数在傅里叶变换要求函数在(-(-, ), )绝对可积，对不满足这一性质的函数，绝对可积，对不满足这一性质的函数，可以

36、用拉氏变换，拉氏变换的性质和傅氏变换类似。可以用拉氏变换，拉氏变换的性质和傅氏变换类似。50随机变量与随机过程在每次试验的结果中，以一定的概率取某个事先未知，但未确定的数值。在实际应用中，我们经常要涉及到在试验过程中随时间t而改变的随机变量。例如，接收机的噪声电压，此外，还包括生物群体的增长问题；电话交换机在一定时间段内的呼叫次数；一定时期内的天气预报；固定点处海平面的垂直振动；等等51在第Wi次试验中测量获得的噪声电压Xt是一个样本函数52)(1tXw)(2tXw)(3tXw)(tXkw)(tXnw1t2t53定义设（,F,P）是概率空间，T是给定的参数集，若对每个tT，由一个随机变量X(t

37、,e)与之对应，则称随机变量族X(t,e),t T是（,F,P）上的随机过程。随机过程X(t,e),t T可以认为是一个二元函数。对固定的t，X(t,e)是（,F,P）上的随机变量；对固定的e， X(t,e)是随机过程X(t,e),t T的一个样本函数。54有限个随机变量统计规律联合分布函数随机过程统计规律有限维分布函数族设XT=X(t),tT是随机过程，对任意n1和t1,t2, ,tn T，随机向量(X(t1),X(t2), ,X(tn)的联合分布函数为)(,)(),(1121,1nnnttxtXxtXPxxxFn这些分布函数的全体1,),(2121,1nTtttxxxFFnnttn称为XT

38、=Xt,t T的有限维分布函数。55设XT=X(t),tT是随机过程，如果对任意tT，EX(t)存在，则称函数TttEXtmdefx),()(为XT的均值函数，反映随机过程在时刻t的平均值。若对任意tT，E(X(t)2存在，则称XT为二阶矩过程，而称TtstmtXsmsXEtsBXXdefX,),()()()(),(为XT的协方差函数，反映随机过程在时刻t和s时的线性相关程度。TttmtXEttBtDXXX,)()(),()(2为XT的方差函数，反映随机过程在时刻t对均值的偏离程度。TtstXsXEtsRX,),()(),(为XT的相关函数，反映随机过程在时刻t和s时的线性相关程度。数字特征数

39、字特征56对于二阶矩随机过程，其协方差函数和相关函数一定存在，且有如下关系：)()(),(),(tmsmtsRtsBXXXX例题设随机过程0),sin()cos()(ttZtYtX其中，Y和Z是相互独立的随机变量，且EY=EZ0，DY=DZ=2，求X(t)的均值函数和协方差函数。12 232 ,( )1,2,.,( ) ( ; ):1;( ) (1,2;,);nX nnnX nF n xnX nFx x例 设盒子中有 个红球，个白球，每次从盒子中取出一球后放回，定义随机过程第n次取出的是红球第n次取出的是白球求：(1) 的一维分布函数族 (1) 的二维分布函数族57两个随机过程之间的关系两个随

40、机过程之间的关系互协方差函数互相关函数定义：设X(t),tT，Y(t), tT是两个二阶矩过程，则称TtstmtYsmsXEtsBYXXY,),()()()(),(为X(t),tT与Y(t), tT的互协方差函数，称)()(),(tYsXEtsRXY为X(t),tT与Y(t), tT的互相关函数。58两个随机过程X(t),tT与Y(t), tT的互不相关定义0),(tsBXY互协方差函数与互相关函数之间的关系)()(),(),(tmsmtsRtsBYXXYXY例题2.8：设X(t)为信号过程，Y(t)为噪声过程，令W(t)=X(t)+Y(t)，求W(t)的均值函数和相关函数。例题2.7设有两个

41、随机过程X(t)=g1(t+)和Y(t)=g2(t+)，其中g1(t)和g2(t)都是周期为L的周期方波，是在(0,L)上服从均匀分布的随机变量，求互相关函数RXY(t,t+)的表达式。59复随机过程复随机过程定义：设Xt, tT，Yt, tT是取实数值的两个随机过程，若对任意tTtttiYXZ其中 ，则称Zt, tT为复随机过程。1i复随机过程的数字特征函数复随机过程的数字特征函数均值函数方差函数相关函数协方差函数tttZiEYEXZEtm)()(2( )|( )| ( )( )ZtZtZtZD tE Zm tE Zm tZm t),(tsZZZEtsR( , )( )( )ZsZtZBs

42、tEZmsZmt( , )( , )( )( )ZZZZBs tRs tms mt相互之间的关系60复随机过程的性质复随机过程的性质复随机过程XT,tT的协方差函数B(s,t)具有性质：（1）对称性（埃米特性）：（2）非负定性，对任意ti T及复数ai，i=1,2, ,n，n1，有( , )( , )B s tB t snjijijiaattB1,0),(说明：1. 如果函数f(s,t)具有非负定性，那么它必具有埃米特性。2. 若f(s,t)为一非负定函数，则必存在一个二阶矩过程（并可要求它为正态过程）以给定的f(s,t)为协方差函数。61两个复随机过程Xt，Yt的互相关函数定义为)(),(t

43、sXYYXEtsR互协方差函数定义为( , )( )( )XYsXtYBs tE XmsYmt例题2.9设随机过程 ，其中X1,X2, ,Xn是相互独立的，且服从N(0,k2)的随机变量，w1,w2, ,wn是常数，求Zt,t0的均值函数m(t)和相关函数R(s,t)。1,0knittkkZX et62随机过程的几种基本类型随机过程的几种基本类型二阶矩过程正交增量过程独立增量过程马尔可夫过程正态过程维纳过程平稳过程鞅63二阶矩过程二阶矩过程2( ),( )( )XX t tTtTE X tX t 定义：设已给定随机过程，如果对于一切，均有，则称为二阶矩过程。222( )( ) 2( )( )(

44、 )( ) xm tEX tEX s X tEX sEX t性质：1二阶矩过程必存在均值（常设为0）。由Schwartz不等式知其相关函数和协方差都存在。三个分支：正态（高斯）过程，宽平稳过程和正交增量过程。64定义：设X(t),tT是零均值的二阶矩过程，若对任意的t1t2t3t4 T，有2143( )( )( )( )0EX tX tX tX t则称X(t)是正交增量过程正交增量过程。例题设X(t),tT是正交增量过程，T=a,b为有限区间，且规定X(a)=0，当astb时，求其协方差函数。正交增量过程正交增量过程65定义：设X(t),tT是随机过程，若对任意的正整数n和t1t2tn T，随

45、机变量X(t2)-X(t1),X(t3)-X(t2), ,X(tn)-X(tn-1)是互相独立的，则称X(t),tT是独立增量过程。特点：独立增量过程在任一个时间间隔上过程状态的改变，不影响任一个与它不相重叠的时间间隔上状态的改变。独立增量过程独立增量过程66正交增量过程独立增量过程定义依据：不相重叠的时间区间上增量的统计相依性互不相关相互独立正交增量过程独立增量过程正交增量过程独立增量过程二阶矩存在，均值函数恒为零67定义：设X(t),tT是独立增量过程，若对任意st，随机变量X(t)-X(s)的分布仅依赖于t-s，则称X(t),tT是平稳独立增量过程平稳独立增量过程。例题：考虑一种设备一直

46、使用到损坏为止，然后换上同类型的设备。假设设备的使用寿命是随机变量，令N(t)为在时间段0,t内更换设备的件数，通常可以认为N(t)，t0是平稳独立增量过程。平稳（平稳（stationary）独立增量过程）独立增量过程68定义：设X(t),tT是随机过程，若对任意正整数n及t1,t2, ,tnT，(X(t1),X(t2), ,X(tn)是n维正态随机变量，则称X(t),tT是正态过程或高斯过程。特点：1. 正态过程只要知道其均值函数和协方差函数，即可确定其有限维分布。2. 独立和不相关是等价的。正态过程正态过程二维正态随机变量：二维正态随机变量：讨论随机变量讨论随机变量X1,X2的联合概率密度

47、函数的联合概率密度函数22111122221222112212()()11( ,)exp()2() 2(1)21xaxaxaxaf x x称称X1,X2为二维正态随机变量。其中为二维正态随机变量。其中为为X X1 1和和X X2 2的相关函数。的相关函数。对于上述二维随机变量，其边际密度可表示为对于上述二维随机变量，其边际密度可表示为211211()211( )2xaXfxe222222()221( )2xaXfxe边际分布为一维正态分布边际分布为一维正态分布 ，),(2111aNX),(2222aNX二维正态分布的协方差矩阵：二维正态分布的协方差矩阵：22212121C二维正态分布的协方差矩阵的性质：二维正态分布的协方差矩阵的性质：)1 (1)1 ()1 ()1 (12222122122211C二维正态随机变量的联合密度的矩阵表示二维正态随机变量的联合密度的矩阵表示)()(21exp|21),(12121axCaxCxxf其中其中),(),(2121aaaxxx1、 实对称；实对称；2、正定阵、