第7章 马尔可夫过程与泊松过程.doc

第7章 马尔可夫过程与泊松过程7.1马尔可夫过程1引例例1：随机游动问题。质点在一直线上作随机游动，如果某一时刻质点位于点，则下一步质点以概率向左移动一格达到点，以概率向右移动一格达到点。用表示时刻质点的位置，则是一随机过程。在时刻质点所处的位置只与时刻质点的位置有关，而与以前的位置、无关。例2：遗传病问题。某些疾病常遗传给下一代，但不隔代遗传。第代是否有此种疾病只与第代是否有此疾病有关，而与代以前的健康状况无关。2马尔可夫过程描述性概念一般而言，若随机过程在时刻所处的状态为已知的条件下，过程在时刻（）所处的状态只与过程在时刻的状态有关，而与以前的状态无关，则称此过程为马尔可夫过程。3马尔可夫过程分类马尔可夫过程分为四类：（1） 离散马尔可夫链：时间取离散值，可直接记为。状态取离散值，可直接记为。（2）连续马尔可夫链：时间取离散值，状态取连续值。（3） 离散马尔可夫过程：时间取连续值，状态取离散值。（4） 连续马尔可夫过程：时间取连续值，状态取连续值。.4马尔可夫过程的研究与应用概况在随机过程的研究领域，马尔可夫过程是主要的研究对象，有关的专著、专题无计其数，其原因是马尔可夫过程与众多的应用领域有关联。5马尔可夫链（1）定义设时间取离散值，记，设状态取有限个离散值，若称马尔可夫链。（2） 一步转移概率记，称为马氏链的一步转移概率。由所有的（，）构成的矩阵称为马氏链的一步转移矩阵。可以证明：（3） 步转移概率记，称为马氏链的步转移概率。由所有的（，）构成的矩阵称为马氏链的步转移矩阵。可以证明：（4） 一步转移矩阵与步转移矩阵的关系定理：。5应用举例例3：天气预报。假设明日是否有雨只与今日的天气状况有关，而与以前的天气状况无关。在今日有雨的条件下，明日有雨的概率为0.6，明日无雨的概率为0.4；在今日无雨的条件下，明日有雨的概率为0.3，明日无雨的概率为0.7；用1表示有雨，用2表示无雨。（1） 求1一4步的转移概率矩阵。（2） 求今日有雨，第2日（后日）有雨的概率。（3） 求今日有雨，第3日无雨的概率。（4） 求今日无雨，求第4日有雨的概率。解：0.60.40.30.7今日有雨，第2日（后日）有雨的概率为。今日有雨，第3日无雨的概率为。今日无雨，求第4日有雨的概率为。7.2 独立增量过程1 引例例1：用表示我国第年的人口总数，则表示在时间段的人口增量。一般，是相互独立的。例2：用表示时刻到某商店购物的房客总数，则表示在时间段的房客增量。一般，是相互独立的。例3：用表示时刻通过某路口的车辆总数，则表示在时间段的车流增量。一般，是相互独立的。2 独立增量过程的定义设有一随机过程，如果对任意时刻，过程的增量为（），若，是相互独立的随机变量，则称为独立增量过程，又称为可加过程。3 泊松过程（1） 定义设随机过程（），其状态只取非负整数值，若满足下列三个条件： 对任意时刻，在时间段，事件出现的次数（）是相互独立的。 对于充分小的，在时间段事件出现1次的概率为 对于充分小的，在时间段事件出现再次及再次以上的概