马尔可夫过程 (2)ppt课件

期末考试时间：1月18日(星期四)9:00-11:00地点：6教学301方法：封闭式考试范围：第一章至第五章考试内容：作业选题，1。第五章马尔可夫过程。马尔可夫过程具有“无后效”。在本章中，我们介绍了两种最简单的马尔可夫过程：离散时间离散状态马尔可夫链和连续时间离散状态马尔可夫链。马尔可夫过程广泛应用于计算机、通信、自动控制、随机服务、可靠性、生物、经济、管理、教育、气象、物理、化学等领域。换句话说，这些领域中的许多现象可以用马尔可夫过程来近似描述，以供分析。2，5.1基本概念，定义5.1(马尔可夫链)。随机过程被称为马尔可夫链。如果有(5.1.1)，则公式(5.1.1)描述了马氏链的非后效性。5.1.1马尔可夫链的定义，马尔可夫链是一个离散时间离散状态的马尔可夫过程。根据公式(5.1.1)，给定马尔可夫链的初始分布，其统计特性可以由条件分布唯一确定。因此，如何确定这种条件概率是马尔可夫链理论和应用中的重要问题之一。5.1.2转移概率，一般来说，转移概率与时间有关。如果它是不相关的，那么这种马氏链被称为齐次马氏链，即：4。注意：齐次马氏链有时被称为时间齐次马氏链。在本课程中，我们只考虑齐次马氏链。为了便于记忆，我们定义了以下矩阵：(5.1.2)，5，易于验证，转移矩阵具有以下性质：(5.1.3)，并定义了5.4(随机矩阵)。如果一个矩阵在公式(5.1.3)中有两个性质，它被称为随机矩阵。(赌徒破产模型)系统的状态是反映赌徒在赌博期间拥有的钱数。当他输了或有足够的钱时，赌博就停止了。否则他会继续赌博。假设他每次以概率赢1，以概率输1。显然，上述过程是一个齐次马尔可夫链。转移矩阵是(5.1.4)，示例5.2(具有一个赞助的游戏者破产模型)在示例5.1中，当游戏者失败时，他将接收赞助1以继续游戏，那么转移矩阵是：7，(5.1.5)，示例5.3。右边有一只蚂蚁在爬行。当两个节点相邻时，蚂蚁会爬到其中一个节点，并且爬到任何邻居节点的概率是相同的。那么这个马尔可夫链的转移矩阵是8，5.1.4步转移概率C-K方程，它定义了5.4(步转移概率)。它被称为条件概率(5.1.6)，即马尔可夫链的阶跃转移概率，也相应地被称为阶跃转移矩阵。9，显然，当时，此外，(5.1.7)是单位矩阵。根据定义5.4，阶跃转换概率是系统一步一步地从一个状态转换到另一个状态的概率。定理5.1(查普曼-科尔莫戈洛夫方程，缩写为C-K方程)是(1)的矩阵表达式。(5.1.10) 11。试着找出他在4次赌博后输掉的可能性。某鲜奶a改变其广告方式后，调查发现每两个月购买一种鲜奶和其他三种鲜奶B、C、D的顾客的平均转化率如下(假设市场上只有4种鲜奶):(5.1.13)。假设目前购买甲、乙、丙、丁类鲜奶的顾客分布情况是，六个月后试着找出甲、乙、丙、丁类鲜奶的市场份额。为了在半年内获得市场份额，我们需要知道。因此，半年后，鲜奶a的市场份额为15，鲜奶b为15，鲜奶c为16，鲜奶d为16。因此，这种新的牛奶广告方法非常有效。示例5.6是一个齐次马尔可夫链。它的状态空间是，它的转移矩阵是，(5.1.15)，它的初始分布是，试着找到，17，解。(1)，18，(2)从总概率公式，乘法公式和马氏链性质，19，(3)类似于(2)，我们有，20，5.1.5。有限齐次马氏链的遍历性质，和(5.1.16)，我们称马氏链为遍历的。遍历性的直观含义是，无论系统从哪个状态开始，当跃迁的“步长”足够大时，跃迁到某个状态的概率接近某个常数。因此，只要它足够大，就可以用于近似。问题：马尔可夫链满足哪些遍历条件？这里我们只解释有限齐次马尔可夫链。有限指马尔可夫链的状态集中有有限元素。在例5.6中，我们知道，因此，这个有限齐次马尔可夫链满足公式(5.1.17)。根据定理5.2，满足上述方程和方程式(5.1.19)的解是：23。定理5.2中的条件是充分的，但不是必要的，如下例所示：考虑马尔可夫链，其状态空间是，转移矩阵是，并且容易验证的步骤转移矩阵是，因为它是遍历的。然而，对于任何一种情况，公式(5.1.17)都不满足。例5.4中的马尔可夫链不是遍历的。24，5.2。国家的分类和性质，5.6的定义表示国家可以达到的状态，如果有这样的话。把它写下来。如果同时存在，则调用并交换，并记录为。定理5.3交换是一种等价关系，即满