《概率论》第10章-马尔可夫链课件

第十章马尔可夫链第一节马尔可夫链的概念及转移概率第二节多步转移概率的确定第三节马氏链的有限维分布第四节遍历性第十章马尔可夫链第一节马尔可夫链的概念及转移概率1第一节

马尔可夫链的概念及转移概率第一节

马尔可夫链的概念及转移概率2《概率论》第10章---马尔可夫链课件3下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。4《概率论》第10章---马尔可夫链课件5《概率论》第10章---马尔可夫链课件6而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。其状态空间为：而且当时，7称其为具有两个反射壁的随机游动称其为具有两个反射壁的随机游动801若令表示质点在时刻的位置，那末，是一个随机过程，而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链。其状态空间为：例：一维随机游动。考虑在直线上作随机游动的质点，且只在非负整数上作随机游动。当质点在时刻时处在位置，在时刻转移到的概率为，转移到的概率为，不动的概率为，而处在别的位置的概率为0。01若令表示质点在时刻的位置，那末，9它的一步转移矩阵为：0123这里并且由于它的转移概率与起点无关，所以它还是齐次马氏链。它的一步转移矩阵为：0123这里并且由于它的转移概率与10如果称为带一个吸收壁的随机游动，质点一旦到达状态0后就永远停留在0这个状态上，这样的状态称为吸收状态。如果称为带一个反射壁的随机游动，质点一旦到达状态0后下一步它以概率向右移一格。0101如果状态空间是有限的，且状态0与状态N都为吸收状态，即称为具有两个吸收壁的随机游动.01N如果11第二节

多步转移概率的确定第二节

多步转移概率的确定12定理:设为齐次马氏链，则对任意的有或证明：利用全概率公式及马尔可夫性，有定理:设为齐次马氏链，则对13这就是有名的切普曼－柯尔莫哥洛夫方程，简称为方程。或这就是有名的切普曼－柯尔莫哥洛夫方程，简称为方程。14有由可见齐次马氏链，它的多步转移概率完全由它的一步转移概率所决定。因此，在马氏链中，一步转移概率是最基本的。有由15第三节

马氏链的有限维分布第三节

马氏链的有限维分布16定义：设 为马氏链，称它为马氏链的初始分布。0n定义：设 为马氏链，称它为马17一维分布可用向量形式表示为：初始分布与一维分布的关系可表示为：表明一维分布可由初始分布和n步转移概率矩阵确定。一维分布可用向量形式表示为：初始分布与一维分布的关系可表示为18定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移概率决定。定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移19《概率论》第10章---马尔可夫链课件20《概率论》第10章---马尔可夫链课件21《概率论》第10章---马尔可夫链课件22例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111设为第n个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间为由于96次状态转移的情况是：次次次次因此，一步转移概率可用频率近似地表示为：例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观23《概率论》第10章---马尔可夫链课件24续例：若计算机在某一时段（15分钟）的状态为0，问从此时段起此计算机能连续正常工作一小时（4个时段）的概率为多少？解：由题意，续例：若计算机在某一时段（15分钟）的状态为0，问从此时段25《概率论》第10章---马尔可夫链课件26《概率论》第10章---马尔可夫链课件27续例：（3）设初始分布又已知系统经n级传输后输出为1，问原发数字也是1的概率为多少？先求出n步转移概率矩阵由于由特征方程可得到两个相异的特征值:续例：（3）设初始分布又已知系统经n级传输后输出为128由线性代数知识可将P表示成对角阵的相似矩阵。具体做法是:求出对应的特征向量令：则由线性代数知识可将P表示成对角阵的相似矩阵。具体做法是:29于是根据贝叶斯公式，当已知系统经n级传输后输出为1，原数字也是1的概率为于是根据贝叶斯公式，当已知系统经n级传输后输出为30第四节

遍历性第四节

遍历性31《概率论》第10章---马尔可夫链课件32《概率论》第10章---马尔可夫链课件33则称为平稳分布，称具有平稳性。定义：对于齐次马氏链 如果存在概率分布

满足：即定义中平稳性的直观含义是过程在任何时刻处于状态的概率都相等。在定理的条件下，马氏链的极限分布就是平稳分布，且是唯一的。即，若用作为链的初始分布，即，则链在任一时刻的绝对分布永远与一致。事实上由和有则称为平稳分布，称具有平稳性。定义：34例：考虑直线上带反射壁的随机游动,如果质点只能取1、2、3三个点,一步转移概率矩阵为:其中试说明此链是遍历的，并求出极限分布。解：计算二步转移概率矩阵可见当 ,对任意的 有由定理可知,此链具有遍历性,例：考虑直线上带反射壁的随机游动,如果质点只能取1、2、3三35下面求极限分布列出方程式：由此解得：下面求极限分布列出方程式：由此解得：36例：设一马氏链的一步转移概率矩阵为讨论它的遍历性。解：先计算二步转移矩阵进一步可验证：这表明对任一固定的

j，极限都不存在，当n为奇数时，；而当n为偶数时，按定义，此链不具有遍历性。例：设一马氏链的一步转移概率矩阵为讨论它的遍历性。解：先计算37第十章马尔可夫链第一节马尔可夫链的概念及转移概率第二节多步转移概率的确定第三节马氏链的有限维分布第四节遍历性第十章马尔可夫链第一节马尔可夫链的概念及转移概率38第一节

马尔可夫链的概念及转移概率第一节

马尔可夫链的概念及转移概率39《概率论》第10章---马尔可夫链课件40下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。41《概率论》第10章---马尔可夫链课件42《概率论》第10章---马尔可夫链课件43而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。其状态空间为：而且当时，44称其为具有两个反射壁的随机游动称其为具有两个反射壁的随机游动4501若令表示质点在时刻的位置，那末，是一个随机过程，而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链。其状态空间为：例：一维随机游动。考虑在直线上作随机游动的质点，且只在非负整数上作随机游动。当质点在时刻时处在位置，在时刻转移到的概率为，转移到的概率为，不动的概率为，而处在别的位置的概率为0。01若令表示质点在时刻的位置，那末，46它的一步转移矩阵为：0123这里并且由于它的转移概率与起点无关，所以它还是齐次马氏链。它的一步转移矩阵为：0123这里并且由于它的转移概率与47如果称为带一个吸收壁的随机游动，质点一旦到达状态0后就永远停留在0这个状态上，这样的状态称为吸收状态。如果称为带一个反射壁的随机游动，质点一旦到达状态0后下一步它以概率向右移一格。0101如果状态空间是有限的，且状态0与状态N都为吸收状态，即称为具有两个吸收壁的随机游动.01N如果48第二节

多步转移概率的确定第二节

多步转移概率的确定49定理:设为齐次马氏链，则对任意的有或证明：利用全概率公式及马尔可夫性，有定理:设为齐次马氏链，则对50这就是有名的切普曼－柯尔莫哥洛夫方程，简称为方程。或这就是有名的切普曼－柯尔莫哥洛夫方程，简称为方程。51有由可见齐次马氏链，它的多步转移概率完全由它的一步转移概率所决定。因此，在马氏链中，一步转移概率是最基本的。有由52第三节

马氏链的有限维分布第三节

马氏链的有限维分布53定义：设 为马氏链，称它为马氏链的初始分布。0n定义：设 为马氏链，称它为马54一维分布可用向量形式表示为：初始分布与一维分布的关系可表示为：表明一维分布可由初始分布和n步转移概率矩阵确定。一维分布可用向量形式表示为：初始分布与一维分布的关系可表示为55定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移概率决定。定理说明，马尔可夫链的有限维分布完全由它的初始分布和转移56《概率论》第10章---马尔可夫链课件57《概率论》第10章---马尔可夫链课件58《概率论》第10章---马尔可夫链课件59例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观察一次计算机的运行状态，收集了24小时的数据（共作97次观察）。用1表示正常状态，用0表示不正常状态，所得数据序列如下：1110010011111110011110111111001111111110001101101111011011010111101110111101111110011011111100111设为第n个时段的计算机状态，可以认为它是一个齐次马氏链，状态空间为由于96次状态转移的情况是：次次次次因此，一步转移概率可用频率近似地表示为：例：某计算机房的一台计算机经常出现故障，研究者每隔15分钟观60《概率论》第10章---马尔可夫链课件61续例：若计算机在某一时段（15分钟）的状态为0，问从此时段起此计算机能连续正常工作一小时（4个时段）的概率为多少？解：由题意，续例：若计算机在某一时段（15分钟）的状态为0，问从此时段62《概率论》第10章---马尔可夫链课件63《概率论》第10章---马尔可夫链课件64续例：（3）设初始分布又已知系统经n级传输后输出为1，问原发数字也是1的概率为多少？先求出n步转移概率矩阵由于由特征方程可得到两个相异的特征值:续例：（3）设初始分布又已知系统经n级传输后输出为165由线性代数知识可将P表示成对角阵的相似矩阵。具体做法是:求出对应的特征向量令：则由线性代数知识可将P表示成对角阵的相似矩阵。具体做法是:66于是根据贝叶斯公式，当已知系统经n级传输后输出为1，原数字也是1的概率为于是根据贝叶斯公式，当已知系统经n级传