第1章随机过程与马尔可夫链

1、日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 预备知识：预备知识： 随机过程与马尔可夫链随机过程与马尔可夫链第1节 随机变量第2节 一维随机过程的定义及物理意义第3节 一维随机过程的统计特性第4节 二维随机过程的定义及统计特性第5节 马尔可夫过程的定义及数学表述第6节 马尔可夫链的定义及数学表述第7节 齐次马尔可夫链第8节 马尔可夫链的遍历性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第1节节 随机变量随机变量1、复杂性系统复杂性系统：事件本身很复杂，社会复杂性。2、随机现象、随机现象。抛掷硬币、射击等 特点：单次

2、不确定和多次统计规律性3、研究随机事件的必要性和可行性4、随机变量随机变量: 实函数，用大写字母表示5、频率和概率频率和概率日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 6、数学特征、数学特征（一阶原点矩）数学期望XE二阶中心矩方差22XEkXEk阶原点矩kXEk阶中心矩(,)ijiijjCov XXEXX二阶混合中心矩第第1节节 随机变量随机变量日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 7、连续随机变量的概率密度函数和分布函数第第1节节 随机变量随机变量8、离散随机变量的分布律和分布函数9、随机变量的函数 X Y

3、=g1(X)=X2 Z=g2(X)=X2 )(xfxdttfxXPxF)()(日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第1节节 随机变量随机变量说明：随机变量研究的是一次试验中可能出现的各种情况。日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1、随机试验：、随机试验：可以在相同的条件下重复进行。每次试验的可能结果不止一个但预先知道所有可能的结果。每次试验前不能确定哪个结果会出现。2、随机过程的概念和数学描述、随机过程的概念和数学描述研究连续单次随机试验，在某一具体时间为一个随机变量，在不同的时刻，随机变量不同。

4、第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例2：在天气预报中，若用X(n)表示某地区第n次统计所得的该天最高气温。例1：电话交换台在时间段0，t内接到的呼叫次数是与t有关的随机变量X(t)。第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义参量参量( (时间时间) )连续，状态连续，状态( (呼叫次数呼叫次数) )离散离散参量参量( (次数次数) )离散，状态（温度）连续离散，状态（温度）连续X(10)是离散随机变量， X(11.5)是离散随机变量，X(2)是连续随机

5、变量， X(5)是连续随机变量，日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例4：连续抛掷一枚骰子的实验，第n次实验的结果记为X(n) (n=1,2, )例3：在时间段0，)内电路中某器件的热噪声电压X(t)第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义参量参量( (时间时间) )连续，状态（电压）连续连续，状态（电压）连续参量参量( (次数次数) )离散，状态（点数）离散离散，状态（点数）离散X(10)是连续随机变量， X(11.5)是连续随机变量，日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波

6、 第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义 设E是随机试验，Se是其样本空间。如果对于每一个样本e S ，总可以有一个确定的参数为t的实值函数X(e，t)，t T与之对应，我们称之为随机过程，记作： X(e，t)， e S， t T， 简写为： X(t)， t T 通常情况下，t表示时间。3、随机过程的定义、随机过程的定义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 4、随机过程的物理意义：、随机过程的物理意义：1）、对于一个特定的试验结果（样本）eiS， X(ei，t)表示对应于ei的样本函数，也是随机过程的一次实现。（样本函

7、数族）2）、对于每一个固定的参数 tjT， X(e，tj)是一个定义在S上的随机变量。（随机变量族）随机过程是依赖于参量 tT的一族随机变量。第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 4、例(p330)：X(t)a cos（t），a， 为常数， 为在(0,2)上服从均匀分布的随机变量。1)、t为具体值时，X(t)为一随机变量。)cos()0( aX)cos()1 (aX)2cos()2(aX随机变量族第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日

8、睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 2)、当随机变量随机取一个值j时，得到相应的样本函数xj(t)a cos（t j ）,0321n若样本空间)cos()(111tax)cos()(222tax样本函数族第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 5、为什么要研究随机过程？1)、通信过程中的信号是随机过程，2)、噪声也是随机过程第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北

9、大学物电学院蒋碧波 6、说明：、说明：理论分析时通常以随机变量族为描述方式。实际测量和处理中往往采用样本函数族为描述方式。为什么？第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义o)(jtX日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 3)、说明：可列(离散)与非可列(连续)7、随机过程的分类1）、按随机过程任一时刻的状态，可分为连续型随机过程和离散型随机过程。 2）、按参量t（通常表示

10、时间）时离散还是连续可分为连续参量随机过程和离散参量随机过程如：时间可列型连续随机过程第第2节节 一维随机过程的定义及物理意义一维随机过程的定义及物理意义日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1、一维分布函数、一维分布函数1)、定义：给定随机过程 ， 对于任意一 ，随机变量 的分布函数一般与t有关，记为：),(TttXTt )(tXRxxtXPtxF,)(),(称为随机过程 的一维分布函数，而 称为一维分布函数族。),(TttX),(TttxF第第3节节 一维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息

11、论与编码 湖北大学物电学院蒋碧波 第第3节节 一维随机过程的统计特性一维随机过程的统计特性2）、对于随机过程，可以用n（足够大）维分布函数 来近似描述随机过程的统计特性。)(,)(,)(,)(),(332211321321nnnnxtXxtXxtXxtXPttttxxxxF；日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例题：p352 T1利用抛掷一枚硬币的试验定义一随机过程cos,( )2tHX ttT出现出现).1 ,21;,() 1 ;(),21;()(21)()(21xxFxFxFtXHPTP以及二维分布函数函数的一维分布，试确定假设第第3节节 一

12、维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 分析：21t）、1THX出现出现1212,02cos)21(21) 1 ()()0()(PTPPHPxxxxXPxF00012111)21()21;()21(X01P2121第第3节节 一维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1t）、2THX出现出现212, 1cos)1 (21)2()() 1()(PTPPHPxxxxXPxF10122121) 1 () 1 ;()1 (X21P2

13、121第第3节节 一维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 ）、3)21(X01)1 (X2121212121211(,;,1)(),(1)220011012211, 2FxxPXxXxxxxxxx 或或 - 1第第3节节 一维随机过程的统计特性一维随机过程的统计特性1121200日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1)、均值函数)()(tXEtX2)、方差函数)()()(22ttXEtX3)、均方值函数)()(2tXEtX第第3节节 一维随机过程的统计特性一维

14、随机过程的统计特性2、随机过程的数字特征、随机过程的数字特征日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第3节节 一维随机过程的统计特性一维随机过程的统计特性5)、自协方差函数)()()()()(221121ttXttXEttCXXX，4)、自相关函数)()()(2121tXtXEttRX，日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例：P353 T5已知随机过程 的均值函数 和协方差函数 , 是普通的函数。试求随机过程),(TttX)(tX),(21ttC X)(t)()()(ttXtY的均值函数和协方差函数第

15、第3节节 一维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 分析：）、1)()()()()()()(ttEtXEttXEtYEtXY)( t第第3节节 一维随机过程的统计特性一维随机过程的统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第3节节 一维随机过程的统计特性一维随机过程的统计特性）、2),()()()()()()()()()()()()()()()()(),(21221122221111221121ttCttXttXEttttXttttXEttYttYEttCX

16、XXXXYYY日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1）定义二维随机过程设X(t),Y(t)是定义在同一样本空间S和同一参数集T上的随机过程，对于不同的t T，(X(t),Y(t) 是不同的二维随机变量，我们称(X(t),Y(t), t T为二维随机过程。第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性2）二维随机过程的分布函数用二维随机过程的m+n维随机变量的分布函数近似代替随机过程的分布函数

17、，即：1212121211221122(,; ,;,; ,)( ),( ),(); ( ), ( )( )mmnnmmnnF x xxt tty yy t ttP X tx X txX txY ty Y tyY ty 称为二维随机过程的mn维分布函数或随机过程X(t)与Y(t)的mn维联合概率分布。日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 则称随机过程X(t)与Y(t)相互独立1212121212121212( ,; ,;,; ,)( ,; ,( ,; ,)mmnnmmnnF x xx t tty yy t ttF x xx t ttF y yy t

18、tt ）第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 6)、互相关函数)()()(2121tYtXEttRXY，7)、互协方差函数)()()()()(221121ttYttXEttCYXXY，二维随机过程的情况第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例：P353 T7的协方差函数。求的协方差矩阵为已知二维随机变量、设)(),(,)(62221tZYXtYtXtZ第第4节节 二维随机过程及其统计特

19、性二维随机过程及其统计特性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第4节节 二维随机过程及其统计特性二维随机过程及其统计特性YXZtYtXEtZEt)()(2221122121221121)()()()()()()(),(t tttYtXYtXEttZttZEttCYXYXZZZ日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 作业作业 P352 T2, 3, 9 例题最好做在另外一个本子上日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1、马尔可夫过程1）、马尔可夫性（无后效性

20、，遗忘特性）： 过程在时刻t0所处的状态为已知的情况下，过程在tt0所处的状态的条件分布与过程在时刻t0之前的状态无关。ctytty)(0|)(1010)(,)(|)(ctyctytty 第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 2）、马尔可夫过程定义： 设随机过程X(t),t T的状态空间为I。如果对时间t的任意n个数值t1 t2 tn，n3， tiT，在条件 X(ti)=xi，i1，2， n1下，X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数。即：第第

21、5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述111|121121|11(,|,; ,)(,|;)nnnnt ttnnnnt tnnnnFx tx xxt ttFx txt则称之为马尔可夫过程说明：其中状态空间I可离散可连续，参量空间T可离散可连续。11221111( )|( ),( ),()( )|()nnnnnnnnP X txX tx X txX txP X txX tx日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大

22、学物电学院蒋碧波 例：例：p373 T1构成一齐次马氏链。说明记为中任取一数，如此继续，任取一数记为中，再从中任取一数，记为，从数1,2 , 1;21;211211nXXXXXXNnnn第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第5节节 马尔可夫过程及其数学表述马尔可夫过程及其数学表述分析：若第m次取值为i，则第m+1次取值样本空间为1,2,i,设取值为j，则有：11(,1)0ijjipmmiij日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 第第5节节

23、马尔可夫过程及其数学表述马尔可夫过程及其数学表述思考：思考：从上面的例子可以看出，用条件概率可以很直观地表示马尔可夫过程，那为什么要用条件分布函数(而不是条件概率)来定义马尔可夫过程呢？条件概率只存在于离散情况，而条件分布函数可以总括连续和离散随机过程。日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 1、马尔可夫链的定义 时间和状态都离散的马尔可夫过程称为马尔可夫链。记作：Xn=X(n),n=0,1, 第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 2、马尔可

24、夫链的表示、马尔可夫链的表示表示马氏链在m时刻处于状态ai的条件下，在m1时刻转移到状态aj的概率。称为在以m为起始点的1步转移概率。|,|121121imjmimttjmaXaXPaXaXaXaXP|) 1,(1imjmijaXaXPmmp记作：第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述（1）1步转移概率。 马尔可夫链的遗忘特性通常以条件概率来表述。1）1步转移日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 (2) 1步转移概率矩阵13 ,2, 1,1),(jijinmmP) 1,() 1,() 1,() 1,() 1,() 1,()

25、 1,() 1,() 1,(333231232221131211mmpmmpmmpmmpmmpmmpmmpmmpmmp321aaa321aaa第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述) 1,(mmP日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 (3)状态转移图第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述123) 1,(12mmp) 1,(11mmp)(13p) 1,(22mmp)(21p)(23p) 1,(32mmp) 1,(33mmp) 1,(13mmp日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码

26、 湖北大学物电学院蒋碧波 第第6节节 马尔可夫链的定义及数学表述马尔可夫链的定义及数学表述设一醉汉Q在如图所示的直线点集I=1,2,3,4,5上作随机游动，且仅在1秒、2秒等时刻发生游动。游动的规律是：如果Q现在在点i(1i0则此链为具有遍历性。2、遍历性证明第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 3、如果齐次马氏链具有遍历性，则有以下性质：、如果齐次马氏链具有遍历性，则有以下性质： 我们称（1， 2，3，j， ）为马氏链的平稳分布第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性设齐次马氏链的状态空间为

27、I，如果对于所有的aj，ajI，转移概率pij(n)有极值存在： n 时， pij(n) j 。即a.极限分布（平稳分布）存在123123123lim( )limnnnP nPLLLLLLL日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 b.平稳分布满足： P第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性121212limlimniiniPpppPPpppP123123123limlimnnPPPPLLLLLLL日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 例：P374 T8一步转移概率矩阵为无误差状态。设状态的表示表示误差状态，以，以先前一个循环是否有误取决于一循环具有误差的概率在一计算机系统中，每105 . 05 . 025. 075. 0P01011(2)试说明相应齐次马氏链是遍历的，并求起极限分布(平稳分布）（）用定义解；用遍历性定理解第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性日日 思思 日日 睿睿 笃笃 志志 笃笃 行行信息论与编码 湖北大学物电学院蒋碧波 、用定义证明：) 15 .05 .025.075.0P0101XPX特征方程：1,25.005 .05 .025.075.0021PE特征值：1 MAMP10025.0A第第8节节 马尔可夫链的遍历性马尔可夫链的遍历性日