《随机过程学习指导及习题解析》课件 第6章第1节马尔可夫过程的概念

第六章离散时间马尔可夫链马尔可夫过程是前苏联数学家A.A.Markov首先提出和研究的一类随机过程.经过世界各国几代数学家的相继努力,至今已成为内容十分丰富,理论上相当完整,应用也十分广泛的一门数学分支.它的应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、生物、经济、管理、气象、物理、化学等.马尔可夫

(1856年6月14日——1922年7月20日）

马尔可夫对数学的最大贡献是在概率论领域作出的．十九世纪后二十年，他主要是沿着切比雪夫开创的方向，致力于独立随机变量和古典极值理论的研究，从而改进和完善了大数定律和中心极限定理．二十世纪初，他的兴趣转移到相依随机变量序列的研究上来，从而创立了以他命名的著名概率模型——马尔可夫链．王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教.是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。

1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论，著有《概率论基础及其应用》、《随机过程论》、《生灭过程与马尔科夫链》等9部数学著作。§6.1马尔可夫过程概念一、马尔可夫过程的数学定义二、满足马氏性的随机过程三、马氏随机过程的证明四、马氏过程的分类一、马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.定义设{X(t),t∈T}为一随机过程，I为其状态空间，若对任意的t1<t2<…<tn<t，任意的x1,x2,…,xn,xєI，随机变量X(t)在已知条件X(t1)=x1,X(t2)=x2,…,X(tn)=xn下的条件分布函数若只与X(tn)=xn有关，而与X(tn-1)=xn-1,...,X(t2)=x2,X(t1)=x1无关，即条件分布函数满足等式：2.马尔可夫过程的数学定义此式即为马尔可夫性的数学表示则称此过程为马尔可夫过程，简称为马氏过程。注2若X(t)为连续型随机变量时,上式等价为注1若X(t)为离散型随机变量时,上式等价为3.马尔可夫特性的数学解释

若把时刻tn视作“现在”，而t>tn

，故视t为“将来”，自然视时刻t1<t2<…<tn-1为“过去”，因此上述定义中的条件可表述为：在tn时刻过程X(t)处于X(tn)=xn的状态条件下，X(t)的“将来”状态（可以）只与“现在”状态有关，而（可以）与“过去”状态无关。所以有人形象地将马氏过程戏称为一个“健忘”过程，即指它是一个只注重现在，而把过去经历统统忘却的一类特殊的随机过程。也可以说，过程X(t)的“将来”只通过“现在”与“过去”发生联系，一旦“现在”已经确定，则“将来”与过去无关。例如:假设一部电梯是由进入电梯内的人自行操纵的，那么电梯下一步会运行到何处，只依赖于当前在电梯内的人的意图，而与过去电梯从何而来是无关的；又如:某电话交换台在时段[0,tk)内收到xk次呼唤，则在时段内[0,t)(t>tk)收到的呼唤次数X(t)为在[0,tk)内收到的呼唤次数与[tk,t)内收到的呼唤次数之和，其中xk为确定已知时，这个数X(t)就与tk以前呼唤的历史情况无关.二、满足马氏性的随机过程1独立随机过程为马氏过程

证：设X(t)为一独立随机过程，则由定义可知，对于任意的

例1.1

设X(t)为一个随机过程，其中X(n)如下定义

由于n次投掷同一枚硬币时，每一次投掷与其它各次投掷是相互独立的，故而为一独立随机过程，故知它是马氏过程。注意:独立过程为马氏过程，但马氏过程不一定为独立过程，马氏过程只是满足马氏性的特殊随机过程。例1.2

设X(n)为第n次投掷一骰子出现朝上的点数，X(n)的参数空间T={n,n≥1},状态空间E={1,2,…,6},且对于任意的n≠m,X(n)与X(m)相互独立的，即此X(n)是一独立随机过程，亦为一马氏过程。定理：如果{X(t),t∈[0,+∞)}为一独立增量过程，且有P(X(0)=x0)=1（x0为常数），则此X(t)为马氏过程。2独立增量过程为马氏过程

证：因为X(t)为一独立增量过程，由定义可知，对于任意的0<t1<t2<…<tn<t∈T，相应的增量相互独立.所以：所以，独立增量过程为马氏过程分别表示在时间段[0,t1),[t1,t2),…,[tn,t)内电话交换台接到的呼叫次数，自然可以认为它们是相互独立的，所以是一独立增量过程，因而亦为马尔可夫过程。

例1.3

设X(t)表示电话交换台在时段[0,t)内收到的呼叫次数,则X(t)为一随机过程。显见对于任意的0<t1<t2<…<tn<t∈T，相应的增量

例1.4（二项过程）设在每次试验中，事件A发生的概率为p(0<p<1)，独立地重复进行这项试验，以X(n)表示到第n次为止事件A发生的次数，则{X(n),n=1,2,…}是一个平稳独立增量过程。实际上，由二项分布知识可知，X(n)服从二项分布B(n,p)，故称此为二项过程。若令增量为显见Yn是第n次试验中事件A发生的次数：即为一平稳独立增量过程，亦为一马氏过程。三、马氏随机过程的证明四、马氏过程的分类马氏过程亦可根据参数空间与状态空间的离散与