《随机过程学习指导及习题解析》课件 第4-8章 平稳过程的时域特征-布朗运动

§5.1严平稳过程

1.严平稳过程定义

2、实例

3.严平稳过程的基本性质4.二阶矩严平稳过程的数字特征

1.严平稳过程定义其n维分布函数相等，即定义设{X(t),t∈T}为一随机过程，若对任意整数n，任意的则称此随机过程为严平稳过程，或称强（狭义）平稳过程。上式称之为平移不变性或严平稳性。易见，严平稳过程的概率特性不随时间的平移而改变例1：设{X(n),n≥1}为一随机过程，其中X(n),n=1,2,…相互独立且同分布，则此随机过程为严平稳过程。如令X(n)=第n次投掷一枚硬币正面出现次数,则{X(n),n≥1}构成一严平稳随机过程又如令X(n)=测试同类型同一批次的第n只灯泡的寿命,则{X(n),n≥1}构成一严平稳随机过程这是因为对于任意的m及k

2、实例

注1

一般来说，用定义去判断某个随机过程是否具有严平稳性是很困难的。若在实际问题中产生随机过程的主要物理条件在时间进行中保持不变，则可认为此过程就是严平稳的。又如,自由电子的不规则运动（热运动）引起电路中的电压或电流的随机波动(热扰动)，其概率特性可视为不随时间推移而变化，故此波动过程就是严平稳随机过程例如，一个工作在稳定状态下的接收机，其输出噪声就可以认为是严平稳的随机过程。注2

严平稳性过程的所有样本曲线都在某一水平直线上下随机波动。注3

当参数集T为离散时，严平稳过程称为严平稳序列,如例1.1中{X(n),n≥1}的即为严平稳序列。另外，如某个地理位置上海浪的波高过程,照明用的电网中电压的波动过程，以及各种噪声和干扰的变化过程等等，在工程上都近似认为是严平稳的。3.严平稳过程的基本性质(1)严平稳过程的一维分布函数与时间t无关因为其一维分布函数为若令ε=-t代入可得即严平稳过程的一维分布函数与时间t无关，此时其一维概率密度为(2)严平稳过程的二维分布与时间起点无关，只与时间间隔有关。因为严平稳过程的二维分布函数为若令ε=-t1代入可得其二维密度函数为由上述性质易得严平稳过程的数字特征的相关性质(1)均值函数（2）均方值函数（3）方差函数4.严平稳过程的数字特征（4）自相关函数即自相关函数与时间起点t1无关，只与时间间隔t2-t1有关。（5）自协方差函数§5.2宽平稳过程一.宽平稳过程定义二.宽平稳过程的实例三.宽平稳过程的数字特征四.宽平稳过程的均方微积分性质

五.严平稳过程与宽平稳过程的关系一.宽平稳过程定义定义设{X(t),t∈T}为复（或实）随机过程，若满足条件则称该过程为宽（或弱，广义）平稳过程。即宽平稳过程是其均值函数为常数，且自相关函数仅与时间间隔有关的二阶矩过程。

例设随机过程{X(n),n=±1,±2,…}为实的互不相关随机变量序列，且其自相关函数为易见此过程为一宽平稳过程。这个平稳序列称为离散白噪声.则称其为正态白噪声。二.宽平稳过程的实例证明，此随机序列是宽平稳过程。。易见此过程为一宽平稳过程。例易见此过程为一宽平稳过程。此随机过程是宽平稳过程。例2，例3此随机过程是宽平稳过程。例4

（随机电报信号过程）设随机过程

{X(t),t∈[0,+∞)}为且N(t)和X(0)相互独立，试X(t)讨论的平稳性。X(t)是平稳性例5(随机相位周期过程)设s(t)是一个周期为2T的连续函数,Y是服从区间[-T,T]上均匀分布的随机变量.定义X(t)=s(t+Y)为随机相位周期过程,试讨论其平稳性.解(1)连续的周期函数为有界函数,故X(t)二阶矩有限(2)X(t)的均值函数为因此随机相位周期过程X(t)=s(t+Y)为宽平稳过程.例6

设X(t)=Ycos(

t)+Zsin(

t),

t>0，且Y,Z相互独立，EY=EZ=0，DY=DZ=

2，试讨论随机过程{X(t),t>0}的平稳性。

所以{X(t)，t

T

}为宽平稳过程。三、数字特征（1）均值函数与时间t无关,即（2）均方值函数有限,即（3）方差函数有限,即§5.2宽平稳过程一.宽平稳过程定义二.宽平稳过程的实例三.宽平稳过程的数字特征四.宽平稳过程的均方微积分性质

五.严平稳过程与宽平稳过程的关系（二)自相关函数的性质柯西－施瓦兹不等式四.宽平稳过程的均方微积分性质（1）设{X(t),t∈T}为宽平稳过程，RX(τ)为其自相关函数，则宽平稳过程{X(t),t∈T}均方连续的充要条件是RX(τ)在τ=0处连续，此时，RX(τ)是连续函数。（2）设{X(t),t∈T}为宽平稳过程，RX(τ)为其自相关函数，则宽平稳过程{X(t),t∈T}均方可导的充分条件是RX(τ)在τ=0处一阶导数存在，二阶导数存在而且连续。（4）设{X(t),t∈T}为宽平稳过程，RX(τ)为其自相关函数，则X(t)为k（正整数）次均方可导的充分条件是RX(τ)在τ=0处2k次可导且连续，此时RX(τ)处处都2k次可微，且（3）设{X(t),t∈T}为宽平稳过程，RX(τ)为其自相关函数，则宽平稳过程{X(t),t∈T}均方可导的必要条件是RX(τ)在τ=0处一阶、二阶导数都存在。公式的应用RX(τ)在τ=0处一阶导数存在，而且RX(τ)在τ=0处二阶导数存在，而且RX(τ)在τ=0处二阶导数连续，故{X(t),t>=0}均方可导。（5）设{X(t),t∈T}为宽平稳过程，RX(τ)为其自相关函数，如果{X(t),t∈T}是均方可导的，那么，其导过程仍为宽平稳过程，而且证明：（6）设{X(t),t∈T}为均方可微的实宽平稳过程，则有而实平稳过程的自相关函数有性质而实平稳过程的自相关函数有性质（7）设{X(t),t∈(-∞,+∞)}为宽平稳过程

例设实宽平稳过程{X(t),t∈(-∞,+∞)}的自相关函数为试求X(t)的均值与方差。解即此实宽平稳过程的均值为（8）设{X(t),t∈(-∞,+∞)}为均方连续的宽平稳过程,f(t)为分段连续函数，则在任意有限区间[a,b]上，下列积分在均方意义下存在：例题解：不满足宽平稳过程的定义，不是宽平稳过程。

五.严平稳过程与宽平稳过程的关系（1）若X(t)是严平稳过程，若其二阶绝对原点矩有限，则X(t)必为宽平稳过程；（2）若X(t)为宽平稳过程，它不一定是严平稳过程，（3）若X(t)为宽平稳的正态过程，则它必为严平稳过程。证明：因为正态过程的有限维分布完全由其自协方差函数决定，而自协方差只与时间间隔有关，而与时间起点无关，故宽平稳正态过程的有限维分布亦只与时间间隔有关，与时间起点无关，此即严平稳性，故宽平稳正态过程为严平稳过程。例设{W(t),t≥0}是参数为σ2的Wiener过程,a为正实数,令试证明{X(t),t≥0}是严平稳的正态过程.同理可得因此,此X(t)是宽平稳的正态过程，即是严平稳的过程．第五节平稳过程的遍历性一、时间平均和时间自相关函数的定义；二、平稳过程的遍历性——定义三、均值遍历性——定理四、自相关函数遍历性——定理五、均值函数与相关函数的估计式定义

设{X(t),-

<t<

}是均方连续的实平稳过程，如果下列的均方极限存在，1、时间平均的定义一、时间平均和时间自相关函数的定义；存在，则称它为X(t)在(-∞,+∞)上的时相关函数，记为<X(t)X(t+τ)>，

即2、时间自相关函数的定义定义

设{X(t),-

<t<

}是均方连续的实平稳过程，如果对于固定的τ，下列的，均方极限存在时间自相关函数3、统计平均实宽平稳过程的时间平均与其均值函数之间有何关系呢？实宽平稳过程的时间自相关函数与其自相关函数之间又有何关系呢？二、平稳过程的遍历性——定义1、时平均遍历性的判断(方法一）三、均值遍历性证明时间均值具有遍历性的方法一：Step1，计算时间平均；Step2，计算时间平均的方差。如果方差为零，那么具有遍历性。如果方差不是零，不具有遍历性（1）证明：（2）判断即：均值具有遍历性。在什么情况下，平稳过程的均值具有遍历性？下面的遍历性定理给出解答。2、均值遍历性定理3：判断时间均值具有遍历性的方法二：Step1，计算自相关函数；Step4，如果极限为零，具有均值遍历性。否则，不具有。4、定理1的推论定理：平稳过程X(t)的均值具有遍历性的充要条件是：则均值具有遍历性;则均值具有遍历性;均值不具有遍历性.则均值具有遍历性;例：

试讨论随机电报信号过程的均值遍历性。其中N(t)与X(0)相互独立，且N(t)为泊松过程。解：由上节课程内容知，此随机过程为宽平稳过程，且其自相关函数为： 所以由推论2知此随机过程的均值具有遍历性。四、时间自相关函数的遍历性证明时间均值具有遍历性的方法一：Step1，计算时间自相关函数；Step2，计算时间自相关函数的方差。如果方差为零，那么具有遍历性。如果方差不是零，不具有遍历性1、时间自相关函数遍历性的判断(方法一）

2、自相关函数遍历性——定理3、推广

各态历经定理的重要价值在于它从理论上给出了如下保证：一个平稳过程X(t)，若0<t<+∞，只要它满足各态历经性条件，便可以根据“以概率1成立”的含义，从一次试验所得到的样本函数x(t)来确定该过程的均值和自相关函数。五、均值函数与自相关函数的估计式如何根据实验记录确定平稳过程的均值和自相关函数呢？按照均值函数和自相关函数的定义，需要对一个平稳过程重复进行大量观察，获得一族样本函数用统计实验方法，均值和自相关函数近似地为：

第六节谱密度的物理意义一、实函数（确定信号）的功率谱密度二、随机过程的功率谱密度三、宽平稳过程的功率谱密度四、实平稳过程的功率谱密度——性质五、谱函数与谱分解式一、实函数（确定信号）的功率谱密度2、实函数的频谱则它的Fourier变换存在:并称为其频谱定理：Parseval等式（能量公式）证明Parseval’等式我们称为的能量谱密度。证明：4、平均功率通常情况下，狄利克雷条件不能满足，如正弦函数。所以我们转而去研究在上的平均功率。5、定义x(t)的功率谱密度为公式刻画了平均功率随频率的变化规律。这也是功率谱密度这个名字的由来二、随机过程的功率谱密度设随机过程在均方可积，定义为随机过程的平均功率.西南交通大学王沁1、设实平稳过程在均方可积，定义为实平稳过程的平均功率.三、实平稳过程的平均功率设平稳过程在均方可积，定义为平稳过程过程的平均功率.2.定理.(维纳-辛钦公式)设均方连续的平稳过程的相关函数在任一有限区间上只有有限个极值，且在上绝对可积，则有证明：三、实平稳随机过程的功率谱密度的性质第一式表明了谱密度曲线下的总面积（即平均功率）等于平稳过程的均方值；第二式表明了谱密度的零频率分量等于相关函数曲线下的总面积。

4、设X(t)与Y(t)为两个正交的平稳过程(即RXY(s,t)=0）则Z(t)=X(t)+Y(t)的谱密度为两过程的谱密度之和，即则有四、实平稳随机过程的谱函数第5节平稳过程的功率谱密度西南交通大学王沁功率谱是功率谱密度函数的简称，它定义为单位频带内的信号功率。功率谱表示了信号功率随着频率的变化关系，即信号功率在频域的分布状况。西南交通大学王沁PSD

(PowerSpectralDensity)

功率谱密度则它的Fourier变换存在

1.功率谱密度的定义

2、欧拉公式（1）（2）X(t)的自相关函数RX(τ)与谱密度SX(ω)是一付氏变换对，即3.维纳一辛钦公式这样，在应用中我们可根据实际情形选择适当的时间域方法或频率域方法去解决实际问题。这两式即著名的维纳一辛钦公式，它说明了平稳过程的自相关函数和谱密度之间的密切关系，揭示了从时间角度描述平稳过程X(t)的统计规律和从频率角度描述X(t)的统计规律之间的联系。上两式成立的条件是RX(τ)与SX(ω)绝对可积，即

例1已知一平稳过程X(t)的自相关函数为试求其谱密度。

4、

已知自相关函数求谱密度-11直接计算

例1已知一平稳过程X(t)的自相关函数为试求其谱密度。

例1-0已知一平稳过程X(t)的自相关函数为试求其谱密度。

5.维纳一辛钦公式(常用的公式）

试求其谱密度。

西南交通大学王沁例3

已知一实平稳过程的自相关函数为

其中α,ω0均为常数，试求其谱密度。对τ配方可得:西南交通大学王沁例4解西南交通大学王沁西南交通大学王沁第5节平稳过程的功率谱密度(1)自相关函数的性质(2)功率谱密度的性质(3)已知功率谱密度如何求自相关函数一、平稳过程的自相关函数的性质1.复习：自相关函数的定义：那么，X(t)的自相关函数RX(τ)与谱密度SX(ω)是一傅氏变换对，即二.维纳一辛钦公式X(t)的相关函数RX(τ)与谱密度SX(ω)是一付氏变换对，即三、平稳过程的功率谱的性质（1）功率谱SX(ω)是

的实值非负函数。(2)若X(t)为实平稳过程，则其谱密度为偶函数。4.设X(t)与Y(t)为两个正交的平稳过程(即RXY(s,t)=0）则Z(t)=X(t)+Y(t)的谱密度为两过程的谱密度之和，即则有证明：四.已知功率谱，求自相关函数第一类：功率谱是有理函数，求其自相关函数。解(1)例

已知平稳随机过程的功率谱密度为试求其自相关函数RX(τ)和平均功率W。Step2:Step1:Step3:Step4:例

已知 ，其中s0，c为常数，试求RX(τ)。

第二类：功率谱是呈负指数衰减到零，求其自相关函数。5.双边谱密度与单边谱密度(1)双边谱密度由于定义3.1式中的谱密度SX(ω)在整个频率轴ω上都有定义，因此被称为X(t)的双边谱密度,即(2)单边谱密度定义3.2

设X(t)为实平稳过程,SX(ω)为定义3.1中定义的双边谱密度，则称

为X(t)的单边谱密度.见下图0ωSX(ω)

例

设平稳过程的谱密度为

试求X(t)的自相关函数，单边谱密度与平均功率。单边谱密度为

例3.9设平稳过程的谱密度为

试求X(t)的自相关函数，单边谱密度与平均功率。再由性质5

可知，SX(ω)的逆变换为单边谱密度为利用δ-函数求谱密度与自相关函数第5节平稳过程的功率谱密度在工程中遇到的平稳过程X(t)的自相关函数一般有以下三种情况：（1）当τ→∞时，RX(τ)→0，其傅立叶变换SX(ω)存在；（2）当τ→∞时，RX(τ)→mX

，此时在ω=0处引入

-函数，可求出的傅立叶变换SX(ω)；（3）当τ→∞时，RX(τ)呈振荡形式，引入

函数，也可求出RX(τ)的付立叶变换SX(ω)。1、δ-函数的定义定义：

若函数为则称其为δ-函数。通常用单位有向线段来表示.

─函数常用来表示作用在一点的冲击力或脉冲信号。当冲击力或脉冲发生在t0时刻，这时定义

─函数为据此可得：2、─函数的基本性质：

据此，我们可得到

─函数的付立叶变换对：利用上面的两式，求实际情况中三种自相关函数(功率谱)形式对应的谱密度（自相关函数）。据此可得：据此，我们可得到

─函数的付立叶变换对：西南交通大学王沁例

白噪声过程：通常称谱密度在整个频率轴

上为非零常数，且均值为0的平稳过程为白噪声过程，简称白噪声（由于白色光的光谱成分大体上是均匀的，白噪声因此而得名），其功率谱密度为3.已知功率谱，利用δ-函数求自相关函数这表明白噪声的平均功率是无限的，因此白噪声只是一个理想的数学模型，是一个相对的概念。例

若平稳过程X(t)的功率谱密度如下：求其对应的自相关函数。

例已知随机电报信号过程的自相关函数为试求其功率谱密度。解：由于自相关函数存在直流分量，故在ω=0处引入

─函数，即可求出功率谱密度，即4、已知自相关函数，利用δ-函数求功率谱

例

已知一随机过程的自相关函数为试求其功率谱密度。解：由于此自相关函数既包括直流分量，又包括一个频率为ω0的正弦分量，因此，分别在ω=0和ω=±ω0处引入

─函数，可得谱密度强调一下：白噪声过程的概念(1)白噪声过程：通常称谱密度在整个频率轴

上为非零常数，且均值为0的平稳过程为白噪声过程，简称白噪声。(2)设随机过程{X(n),n=±1,±2,…}为实的互不相关随机变量序列，且其自相关函数为易见此过程为一宽平稳过程。这个平稳序列称为离散白噪声.例

若平稳过程X(t)在有限频率带上的功率谱密度为常数，在此频率带之外为零，即称此过程为限带白噪声，对应的自相关函数为此时X(t)与X(t+τ)不相关。西南交通大学王沁第七节平稳过程的谱分解1、平稳过程的谱表示定理4.1

设{X(t),-∞<t

<+∞}是零均值，且均方连续的复平稳过程，其谱密度为SX(ω)，则X(t)可表示为1平稳过程的谱表示称为X(t)的随机谱函数。随机谱函数Z(ω)

具有以下性质：2

{Z(ω),-∞<ω<+∞}是右连续的正交增量过程；3

对于任意的ω1<ω2称为X(t)的谱分布函数，或称功率谱函数，简称谱函数。定理4.1表明一个平稳过程可表示为随机谱函数的傅立叶积分,而随机谱函数的增量的二阶矩可用谱密度函数来描述。

注意到X(t)为平稳过程,而Z(ω)为X(t)的线性函数的均方积分,因而亦为一平稳随机过程,且为一正交增量过程。由X(t)的谱分解式可见

X(t)实际上是和式均方收敛的极限，换言之，我们可用Xn(t)来逼近X(t)，而Xn(t)的表达式表明，它就是频率为ωj的具有随机振幅[Z(ωj+1)-Z(ωj)]的随机简谐振动的叠加，而Z(ω)是正交增量过程，故Xn(t)中的各随机振幅[Z(ωj+1)-Z(ωj)]是互不相关的，如果对

的分割加密，再取极限，即得例3.14

设平稳过程X(t)的相关函数为即平稳过程X(t)的谱表示就是说明X(t)为无限多个各种不同频率随机振动的叠加的一种数学描述。其中

、

是正数，试求X(t)的谱密度、谱函数。

解：由X(t)的自相关函数，利用付氏变换可得，其谱密度为推论4.1

设X(t)为零均值的均方连续正态平稳过程的充要条件是它的谱分解式中的随机谱函数为正态独立增量过程。2实平稳过程的谱分解定理定理4.2

设{X(t),-∞<t<+∞}是零均值，且均方连续的实平稳过程，其谱函数为FX(ω)，则X(t)可表示为随机函数有以下性质：2

对于任意不相重叠的区间：[ω1,ω2],[ω3,ω4]，有3

对于任意的ω1<ω2,有3复平稳时间序列的谱分解定理4.3

设{X(n),n=0,±1,±2,…}是零均值的复平稳序列，其谱函数为FX(ω)，则X(n)可表示为

为X(t)的随机谱函数，满足以下性质3

对于任意的ω1<ω2，有对于实平稳序列,有相应谱分解定理如下：

2

{Z(ω),-∞<ω<+∞}是右连续的正交增量过程；定理4.4

设{X(n),n=0,±1,±2,…}是零均值的实平稳序列，其谱函数为FX(ω)，则X(n)可表示为称为X(n)的随机谱函数，具有以下性质：2

对于任意不相重叠的区间:3

对于任意的ω1<ω2，有[ω1,ω2],[ω3,ω4]，有

（1）试证明{Y(n),n=0,±1,±2,…}亦为平稳过程，并求其随机谱函数；例3.15

设{X(n),n=0,±1,±2,…}为实平稳序列，E[X(n)]=0，其对应的随机谱函数为{ZX(ω),

-π<ω<π}，又设{an,n=0,±1,±2,…}是实数列，满足（2）若X(n)有谱密度函数SX(ω)，求Y(n)的谱密度函数。

故由定义知{Y(n),n=0,±1,±2,…}为平稳过程。故由定义知{Y(n),n=0,±1,±2,…}为平稳过程。第六章离散时间马尔可夫链马尔可夫过程是前苏联数学家A.A.Markov首先提出和研究的一类随机过程.经过世界各国几代数学家的相继努力,至今已成为内容十分丰富,理论上相当完整,应用也十分广泛的一门数学分支.它的应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、生物、经济、管理、气象、物理、化学等.马尔可夫

(1856年6月14日——1922年7月20日）

马尔可夫对数学的最大贡献是在概率论领域作出的．十九世纪后二十年，他主要是沿着切比雪夫开创的方向，致力于独立随机变量和古典极值理论的研究，从而改进和完善了大数定律和中心极限定理．二十世纪初，他的兴趣转移到相依随机变量序列的研究上来，从而创立了以他命名的著名概率模型——马尔可夫链．王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教.是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。

1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过程理论。当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论，著有《概率论基础及其应用》、《随机过程论》、《生灭过程与马尔科夫链》等9部数学著作。§6.1马尔可夫过程概念一、马尔可夫过程的数学定义二、满足马氏性的随机过程三、马氏随机过程的证明四、马氏过程的分类一、马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.定义设{X(t),t∈T}为一随机过程，I为其状态空间，若对任意的t1<t2<…<tn<t，任意的x1,x2,…,xn,xєI，随机变量X(t)在已知条件X(t1)=x1,X(t2)=x2,…,X(tn)=xn下的条件分布函数若只与X(tn)=xn有关，而与X(tn-1)=xn-1,...,X(t2)=x2,X(t1)=x1无关，即条件分布函数满足等式：2.马尔可夫过程的数学定义此式即为马尔可夫性的数学表示则称此过程为马尔可夫过程，简称为马氏过程。注2若X(t)为连续型随机变量时,上式等价为注1若X(t)为离散型随机变量时,上式等价为3.马尔可夫特性的数学解释

若把时刻tn视作“现在”，而t>tn

，故视t为“将来”，自然视时刻t1<t2<…<tn-1为“过去”，因此上述定义中的条件可表述为：在tn时刻过程X(t)处于X(tn)=xn的状态条件下，X(t)的“将来”状态（可以）只与“现在”状态有关，而（可以）与“过去”状态无关。所以有人形象地将马氏过程戏称为一个“健忘”过程，即指它是一个只注重现在，而把过去经历统统忘却的一类特殊的随机过程。也可以说，过程X(t)的“将来”只通过“现在”与“过去”发生联系，一旦“现在”已经确定，则“将来”与过去无关。例如:假设一部电梯是由进入电梯内的人自行操纵的，那么电梯下一步会运行到何处，只依赖于当前在电梯内的人的意图，而与过去电梯从何而来是无关的；又如:某电话交换台在时段[0,tk)内收到xk次呼唤，则在时段内[0,t)(t>tk)收到的呼唤次数X(t)为在[0,tk)内收到的呼唤次数与[tk,t)内收到的呼唤次数之和，其中xk为确定已知时，这个数X(t)就与tk以前呼唤的历史情况无关.二、满足马氏性的随机过程1独立随机过程为马氏过程

证：设X(t)为一独立随机过程，则由定义可知，对于任意的

例1.1

设X(t)为一个随机过程，其中X(n)如下定义

由于n次投掷同一枚硬币时，每一次投掷与其它各次投掷是相互独立的，故而为一独立随机过程，故知它是马氏过程。注意:独立过程为马氏过程，但马氏过程不一定为独立过程，马氏过程只是满足马氏性的特殊随机过程。例1.2

设X(n)为第n次投掷一骰子出现朝上的点数，X(n)的参数空间T={n,n≥1},状态空间E={1,2,…,6},且对于任意的n≠m,X(n)与X(m)相互独立的，即此X(n)是一独立随机过程，亦为一马氏过程。定理：如果{X(t),t∈[0,+∞)}为一独立增量过程，且有P(X(0)=x0)=1（x0为常数），则此X(t)为马氏过程。2独立增量过程为马氏过程

证：因为X(t)为一独立增量过程，由定义可知，对于任意的0<t1<t2<…<tn<t∈T，相应的增量相互独立.所以：所以，独立增量过程为马氏过程分别表示在时间段[0,t1),[t1,t2),…,[tn,t)内电话交换台接到的呼叫次数，自然可以认为它们是相互独立的，所以是一独立增量过程，因而亦为马尔可夫过程。

例1.3

设X(t)表示电话交换台在时段[0,t)内收到的呼叫次数,则X(t)为一随机过程。显见对于任意的0<t1<t2<…<tn<t∈T，相应的增量

例1.4（二项过程）设在每次试验中，事件A发生的概率为p(0<p<1)，独立地重复进行这项试验，以X(n)表示到第n次为止事件A发生的次数，则{X(n),n=1,2,…}是一个平稳独立增量过程。实际上，由二项分布知识可知，X(n)服从二项分布B(n,p)，故称此为二项过程。若令增量为显见Yn是第n次试验中事件A发生的次数：即为一平稳独立增量过程，亦为一马氏过程。三、马氏随机过程的证明四、马氏过程的分类马氏过程亦可根据参数空间与状态空间的离散与连续类型分为以下四种类型：（1）离散参数集，离散状态集马氏过程；（2）离散参数集，连续状态集马氏过程；（3）连续参数集，离散状态集马氏过程；（4）连续参数集，连续状态集马氏过程.其中第一种类型，即离散参数集，离散状态集的马氏过程，称之为马尔可夫链，简称马氏链。§6.2马尔可夫链一、马氏链的定义二、齐次马氏链（时齐马氏链）定义三、一步转移概率矩阵的确定四、状态传递图与概率转移图一、马尔可夫的定义1.参数集为离散集，状态集亦为离散集的马氏过程谓之马尔可夫链。

此时参数集常当作为时间集，即取T={0,1,2,…},其中t=0称为初始时刻，且其状态集E为简单计数，常取作:整数集E1={0,±1,±2,…};正整数的子集E2={0,1,2,…};整数子集E3=

{i0,i1,i2,…};有限子集E4=

{0,1,2,…,n}。定义1

设{X(n),n≥0}为一随机序列，其状态集为E={i0,i1,i2,…}，若对于任意的n，及i0,i1,i2,…in+1，对应的随机变量X(0),X(1),X(2),…,X(n+1)满足则称此随机序列为一马尔可夫链，简称马氏链。2.马氏链的有限维概率分布

若{X(n),n≥0}是一个马尔可夫链，则其n+2维变量(X(0),X(1),X(2),...,X(n+1))的概率分布为其中条件概率记为：易见,马氏链的有限维分布律是由一些条件分布与初始分布的乘积而得，因此讨论马氏链的概率特性,将重点讨论马氏链的转移概率与初始分布.称为初始分布称为转移概率,称马氏链在时刻k时所处状态i,而下一步将处于状态j的一步转移概率为3、马氏链的一步转移概率即此条件概率表示马氏链在时刻k时取i值的条件下，在下一时刻(下一步)取j值的概率。起始时刻转移步长起始状态到达状态称马氏链在时刻k时所处状态i,而下m步将处于状态j的一步转移概率为4、马氏链的m步转移概率马氏链的m步转移概率具有下述两个性质：起始时刻转移步长起始状态到达状态

第1)条性质是由概率定义所决定的;第2)条性质利用全概率公式可知其正确性，实际上上式表明马氏链在时刻k处于状态i的条件下，下一步到达状态集E中之一状态的概率为1.马氏过程的m步转移概率构成的矩阵，称为m步转移概率矩阵，表示为

4、m步转移概率矩阵二、齐次马氏链（时齐马氏链）定义

1、定义设{X(n),n≥1}是一马氏链，状态空间为E={0,1,2,…}

，若其一步转移概率与马氏链现在所在起始时刻无关，即满足等式起始时刻转移步长起始状态到达状态则称此马氏链为齐次马氏链（或时齐马氏链），亦称之具有平稳转移概率的马氏链。注意:齐次马氏链从i状态转移到j状态的一步（m步）转移概率只与起始状态i、到达状态j有关,而与现在所在时刻k,即绝对时间k无关。不是齐次的马氏链称为非齐次马氏链。2齐次马氏链的转移概率矩阵若将齐次马氏链的所有一步转移概率表示为矩阵的形式，则有则称P为马氏链的一步转移概率矩阵，其中pij为P的腹元.起始状态作为行到达状态作为列三、齐次马氏链一步转移概率矩阵的确定例1，从1,2,3,4,5,6等6个数中等可能地任意取出一数，取后还原，如此不断地连续取下去，如在前n次中所取得的最大数为j，则称质点在第n步时的位置处于状态j，试问这样的质点运动是否构成马氏链？是否为齐次的？如果是齐次马氏链，求出转移概率矩阵。解：令X(n)=前n次取得的最大数，n=1,2,…,则X(n)的可能取值为1,2,3,4,5,6，即状态空间E={1,2,3,4,5,6}.所以，X(n+1)的取值仅与X(n)的取值和第n取数的结果有关系，与X(n-1)，X(n-2)…X(1)的取值无关。所以，这样的质点运动构成了马氏链。如此类推可得

例，一质点在圆周上作随机游动，圆周上共有N格，质点以概率p顺时针游动一格，以概率逆时针移动一格。试用马氏链描述游动过程，并确定状态空间及转移概率矩阵。解：圆周上N格N个格点，记为1,2,3,…,N,顺时针排列，记X(n)为n

时质点所在的位置。显只与X(n-1)时的位置有关，为马氏过程。E={1,2,......,N},X(n)为马氏链。四、状态传递图与概率转移图

为了能更加直观形象地表现马氏链的状态转移过程及状态转移的概率特性，我们借助于转移图与标明转移概率的概率转移图加以描述。1马氏链的状态传递图

若将马氏链所具有的各个状态用数字一一标出，并用标有箭头的连线将各状态连接起来，箭头所指的状态，就是箭尾所连状态一步能到达的状态，这样描绘的图形称为马氏链的状态转移图.如下状态转移图表示此马氏链包含1,2,3等3个状态，即其状态空间为E={1,2,3}且可看出,从状态1可一步到达状态2，经状态2两步到达状态3，再由状态3可一步返回到状态1；从状态2又可一步到达状态1，也可一步到达状态3；从状态3出发可一步到达状态1，也可经一步又返回到自身的状态的传递特性。

1

3

2

若在马氏链的状态转移图的状态之间的连线上再标出相应的一步转移概率，这样所得的图形称为马氏链的概率转移图.2马氏链的概率传递图例如,在上图中状态转移的连线上,添加相应的一步转移概率,即为

1

3

21/21/32/31/21/32/3由此可看出,若已知马氏链的一步转移概率矩阵,容易画出其概率转移图;若已给出马氏链的概率转移图,容易得出其一步转移概率矩阵.且概率转移图表示马氏链的概率特征比较直观.这给我们研究状态的相通性、可达性、常返性及马氏链的可约性等概念提供了许多方便。故其一步转移概率矩阵为[例]

设质点在线段[1,4]上作随机游动。假设它只能在时刻n

T发生移动，且只能停留在1,2,3,4点上。当质点转移到2,3点时，它以1/3的概率向左或向右移动一格，或停留在原处。当质点移动到点1时，它以概率1停留在原处。当质点移动到点4时，它以概率1移动到点3。若以Xn

表示质点在时刻n

所处的位置，则{Xn

,n

T}是一个齐次马尔可夫链。描述马氏链的三种方式（1）状态转移图（2）转移概率矩阵（3）函数表达式④①②③11/31/31/31/31/31/31吸收壁反射壁

pij=f(i,j)§6.3切普曼—柯尔莫哥洛夫方程一、切普曼柯尔莫哥洛夫方程（C－K方程）1、非齐次马氏链C－K方程定理：

设{X(n),n=0,1,2,…}为一马氏链，状态空间E={0,±1,±2,…}或有限子集，则其n步转移概率满足下述等式：即n步转移概率矩阵等于一个m步转移概率矩阵与一个n-m步转移概率矩阵的乘积.

对应的n步转移概率矩阵为C-K方程的实际背景C-K方程基于下述事实，即“从时刻s所处的状态ai，即X(s)=ai出发，经时段u+v转移到状态aj,即X(s+u+v）=aj”这一事件可分解成“从X（s）=ai

”出发，先经时段u转移到中间状态ak(k,=1,2…)，再从ak经时段v转移到状态aj”这样一些事件和事件。aiajOss+us+u+v293m步ijkn-m步n步EEE证明：利用全概率公式，概率加法公式以及马氏性可以证明这个结论.实际上，时间起点为r的n步转移概率为

再由矩阵运算可得，P(n)(r)的第i行，j行的元素，恰好等于P(m)(r)的第i行元素与P(n-m)(r+m)的第j列元素相乘并求和而得。例如E={1,2,…,k},则有2、齐次马氏链C－K方程定理3.2

设{X(n),n=0,1,2,…}为一一齐次马氏链马氏链，状态空间E={0,±1,±2,…}或有限子集，则其n步转移概率满足下述等式：对应的n步转移概率矩阵为即：上述定理与推论中所得的等式：上述等式均称为C-K方程。

例

设{X(n),n=0,1,2,…}为齐次马尔可夫链，状态空间为E={1,2,3}，其一步转移概率矩阵为试求其二步及三步转移概率矩阵.

例设{X(n),n≥1}为齐次马氏链，E={1,2,…5}为其状态空间，一步转移概率为其余为0，试求：

（1）两步转移概率矩阵；（2）从状态3经过两步到达状态3的概率；（3）从状态3经过四步到达状态5的概率。

解：由所给条件得{X(n),n≥1}的一步转移概率矩阵为：

（1）由齐次性及C-K方程得两步转移概率矩阵（2）由此可知

（3）再由C-K方程计算四步转移概率：例解概率为[例]

设{Xn

,n

T}是一个马尔可夫链，其状态空间I={a,b,c}，转移矩阵为求：解：二步转移概率矩阵：§6.初始分布与绝对分布定义

设{X(n),n≥0}为一马氏链，E={0,±1,±2,…}或有限子集为其状态空间，令且对于任意的i∈E，均有

1初始分布与初始概率则称此为该马氏链的初始分布，或称初始概率。一、初始分布和绝对分布2绝对分布与绝对概率定义

设{X(n),n≥0}为一马氏链，E={0,±1,±2,…}或有限子集为其状态空间，令且对于任意的i∈E，均有则称{pi(n),i∈E,n≥1}为该马氏链的绝对分布，或称绝对概率。

马氏链的绝对概率与初始概率的关系由如下定理给出：定理3.2

马氏链的绝对概率由其初始分布及相应的转移概率唯一确定。

一般地，当n≥2时，绝对概率推论3.4

马氏链的绝对概率由其初始分布及一步转移概率唯一确定。

某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110010011111110011110111111001111111110001101101分析状态空间:I={0,1}.例11101101101011110111011110111111001101111110011196次状态转移的情况:因此,一步转移概率可用频率近似地表示为:在传输系统中,传输后的误码率;系统经n级传输后输出为1,问原发字符也是1的概率是多少?续例

定理3.3

马氏链的有限维概率分布由其初始分布及一步转移概率唯一确定。

证：设{X(n),n≥0}为一马氏链，E为其状态空间，初始分布为pj(0),j∈E，则对于任意的k及k个非负整数0<n1<n2<…<nk-1<nk及任意数ij∈E,j=1,2,…,k,随机变量X(n1),X(n2),…,X(nk)的联合概率分布为二、马氏链的有限维分布(1)当n1=0时，联合分布律就由初始分布pi1(0)与多步转移概率唯一确定.且多步转移概率又由其一步转移概率确定，故知定理3.3结论成立；(2)当n1>0时，其联合分布律由绝对概率pi1(n1)与多步转移概率唯一确定.且由定理3.2知绝对概率由其初始分布及一步转移概率唯一确定.故知结论正确.

由定理3.2与3.3知，马氏链的初始分布与一步转移概率唯一确定了其概率特性，因此讨论初始分布与一步转移概率对马氏链研究是非常重要的。

定理3.3

马氏链的有限维概率分布由其初始分布及一步转移概率唯一确定。

四、马氏链的数字特征

定理3.4

如果马氏链是二阶矩存在的随机序列，那么，其数字特征由其初始分布及一步转移概率唯一确定。

342343常返态和瞬时态基本概念：首达时间和首达概率常返态和瞬时态首达概率和转移概率的关系判断常返态和瞬时态的方法1．首达时间系统从状态i出发，首次到达状态j的时刻称为从状态i出发首次进入状态j的时间，或称自i

到j的首达时间。如果这样的n不存在，就规定说明一、基本概念自状态i出发，经过n步首次到达状态j的概率2.首达概率自状态i出发，经过n步首次到达状态j的概率自状态i出发，经有限步终于到达状态j的概率注13.状态i的首达时间表示从状态i出发首次返回状态i所需的时间状态i的首返概率状态i的首达时间表示从状态i出发首次返回状态i所需的时间相应的便是从状态i出发，经有限步终于返回状态i的概率，从0出发，经4步首次回到0状态二、常返态和瞬时态1.常返态：注:

如果状态i是常返的,那么从状态i出发经过有限步转移后最后又回到i的概率为1.2．瞬时态注意：“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”例转移矩阵试证明：状态1是常返态解按一步转移概率，画出各状态间的传递图21/4111/41/411/4143于是状态1是常返的。1.定义

设i和j是齐次的Markov链的两个状态,如果存在n0,使得,则称从状态i可达状态j,记作i

j.反之,以ij表示从状态i不可达状态j,即对一切n0,.

若i

j且j

i,则称状态i和j互达(相通),记作i

j.三、首达概率和转移概率的关系2.定义自状态i出发，经有限步终于到达状态i的概率定理2

证设系统从状态i经n步转移到状态j，由条件概率及马氏性得对任意IjiÎ,及1³n，有定理

对任意及，有说明1该定理表示n步转移概率按照首次到达时间的所有可能值进行分解说明2说明3说明4四、判断常返态和瞬时态的方法方法一：按照定义判断：逐步计算方法二：利用n步转移概率：①状态i是常返的②状态i是瞬过的方法三：利用n步转移概率：例3.9考虑整数点上的随机游动.向右移动一格的概率为p,向左移动一格的概率为q=1-p.从原点0出发,则一步转移概率矩阵为:所以利用Stirling公式知,当n充分大时于是因此,当p=0.5时,当p

0.5时即当p=0.5时状态0是常返的;当p

0.5时0是瞬过的.正常返态和零常返态基本概念判断方法典型例题1.状态i的首达时间表示从状态i出发首次返回状态i所需的时间状态i的首返概率一、基本概念自状态i出发，经有限步终于到达状态i的概率定义1：

如果fii=1,则称状态i是常返的.否则,即fii<1,称状态i为非常返的或瞬过的.说明1：当状态i为常返状态时，那么，不能构成一个分布。说明2：当状态i为瞬时状态时，那么，构成了一个分布，所以，对应了一个随机变量，其数学期望为：称状态i是零常返的。

定义2：

如果状态i是常返状态，当且仅当称状态i是正常返状态。定义3：

如果状态i是常返状态，当且仅当二、判断方法方法一：按照定义判断：第1步：计算判定状态是否为常返态。当状态为常返态，再进行下一步。第2步：计算判定状态为正常返态，还是零常返态。例转移矩阵解于是状态4是非常返的。于是状态3是非常返的。于是状态1是正常返的。于是状态2是正常返的。定义

设i和j是齐次的Markov链的两个状态,如果存在n0,使得,则称从状态i可达状态j,记作i

j.反之,以ij表示从状态i不可达状态j,即对一切n0,.

若i

j且j

i,则称状态i和j互达(相通),记作i

j.推论1：

如果i是常返的,且i

j,则j也是常返的.推论2：

如果i，j是常返态的,且i

j,则i,j同为正常返或同为零常返.推论3：

如果i，j是互通的,即i

j,那么，状态i和状态j是同一类型的状态。1/31/211/31/211/31234例，设马氏链的状态空间S={1，2，3，4}，其一步转移矩阵为解试对其状态分类。按一步转移概率，画出各状态间的传递图链中四个状态都是互通的。因此，所有状态都是一种类型的状态。可讨论状态1状态1是常返态状态1是正常返态所以，全部状态都是正常返态例4

设马氏链的状态空间S={0,1,2,…}，其一步转移概率为其中试证此马氏链是一个不可约常返态链证先证S不可约设i，j是I中任意两个状态，则有类似地可证所以即I中任意两个状态都是相通的。因此，S是一个不可约的闭集再证S中状态0是一个常返态：由状态的转移规则，得所以由定义知状态0为常返态。因此，由定理知S中所有状态都是常返态。故此马氏链为不可约常返链。定理设i是常返态，则（1）i是零常返态的充要条件是（2）i是正常返态的充要条件是说明用极限判断状态类型的准则（2）i是零常返态（2）i是正常返态（1）i是瞬时态且且定理设i是常返态，则（1）i是零常返态的充要条件是（2）i是正常返态的充要条件是推论如果j是零常返态，i是任一状态，则由定理9，上式第一项有从而推论得证。推论如果j是零常返态，i是任一状态，则第7节周期态定义1：

设i为Markov链的一个状态,使的所有正整数n(n

1)的最大公约数,称为状态i的周期,最大公约数记作d(i)或di

.

如果对所有n

1,都有,则约定周期为

;

如果d(i)=1，状态i称为是非周期的.一、周期态的定义和性质推论:

如果n不能被周期d(i)整除,则必有.推论1

设状态i的周期为di.如果,则存在整数N,使得对所有n

N恒有命题1

如果状态i有周期d,则存在整数N,使得对所有nN恒有.若hi

>1,称i是周期的；若hi=1,称i是非周期的。定义2：

(1)若，则存在，使得(2)若，则存在，使得(3)若和中一个存在，则另一个也存在，并且相等。引理：如果i是周期态的定理：如果i

j,则di=dj.试求状态0的周期.例3.7若Markov链有状态0,1,2,3和转移概率矩阵解:

状态转移可以用下图表示猜想：:用数学归纳法不难求出:所以d(0)=2.试求状态1的周期.例2:若Markov链有状态1,2,3和转移概率矩阵解:

状态转移可以用下图表示所以d(1)=2.您能求出状态2的周期吗?二、判别状态是否为周期态的方法(4)互通的两个状态必有相同的状态类型三、状态类别的分类和判别1.状态类别的划分说明（2）i是零常返态（2）i是正常返态（1）i是瞬时态且且周期态和状态的分类定义1：

设i为Markov链的一个状态,使的所有正整数n(n

1)的最大公约数,称为状态i的周期,最大公约数记作d(i)或di

.

如果对所有n

1,都有,则约定周期为

;

如果d(i)=1，状态i称为是非周期的.一、周期态的定义和性质推论:

如果n不能被周期d(i)整除,则必有.推论1

设状态i的周期为di.如果,则存在整数N,使得对所有n

N恒有命题1

如果状态i有周期d,则存在整数N,使得对所有nN恒有.若hi

>1,称i是周期的；若hi=1,称i是非周期的。定义2：

(1)若，则存在，使得(2)若，则存在，使得(3)若和中一个存在，则另一个也存在，并且相等。引理：如果i是周期态的定理：如果i

j,则di=dj.试求状态0的周期.例3.7若Markov链有状态0,1,2,3和转移概率矩阵解:

状态转移可以用下图表示猜想：:用数学归纳法不难求出:所以d(0)=2.试求状态1的周期.例2:若Markov链有状态1,2,3和转移概率矩阵解:

状态转移可以用下图表示所以d(1)=2.您能求出状态2的周期吗?二、判别状态是否为周期态的方法(4)互通的两个状态必有相同的状态类型三、状态类别的分类和判别1.状态类别的划分说明（2）i是零常返态（2）i是正常返态（1）i是瞬时态且且状态空间的分解一、相关定义和性质二、状态空间的分解三、若干例子定义

设i和j是时齐的Markov链的两个状态,如果存在n0,使得,则称从状态i可达状态j,记作i

j.反之,以ij表示从状态i不可达状态j,即对一切n0,.

若i

j且j

i,则称状态i和j互达(相通),记作i

j.1、互通性：一、相关定义和性质命题

互达性是等价关系,即满足: (1)自反性:i

i; (2)

对成性:若i

j,则j

i

; (3)传递性:若i

k

且k

j,则i

j.证:

(3)若i

k且k

j,则存在整数n和m使得:由Chapman-Kolmogorov方程得:即:i

j.类似可证j

i.

互通关系是等价关系，所以，可以把状态空间S

按照互通关系，划分为若干个不相交的集合（或者说等价类)。

2．闭集注1

若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。显然，整个状态空间构成一个闭集。注2定义引理

(有关闭集的判定和性质)证明(1)用数学归纳法则显然{1,2}和{3,4,5}是状态在互达意义下的两个等价类.因此,这个Markov链是可约的.比如其中一个子链为:例1若Markov链有转移概率矩阵{3,4,5}是周期为2的常返态{1，2}是周期为1的常返态例2其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图2/31/41/41/31/21/20121/2图3---1由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间S的各状态都是互通的。又由于S的任意状态i(i=0，1，2)不能到达S以外的任何状态，所以S是一个闭集而且S中没有其它闭集所以此马氏链是不可约的。例3其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图111/21/21/2311/2图3---24521

闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间S有闭子集，故此链为非不可约链。二、状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的。若类中有一个非常返态，则类中其它状态都是非常返态。若对不可约马氏链，则要么全是常返态，要么全是非常返态。把状态空间S划分为若干个不相交的集合，每一一个集合是同一类状态构成的集合——状态空间的分解。

如果从某一非常返态出发，系统可能一直在非常返集中，也可能进入某个常返闭集，一旦进入某个常返闭集后，将一直停留在这个常返闭集中；如果系统从某一常返状态出发，则系统就一直停留在这个状态所在的常返闭集中。说明1定理7（1）非常返态集N不可能是闭集；（2）至少有一个常返态；（3）不存在零常返态；（4）若链是不可约的，那么状态都是正常返的（5）其状态空间可分解为是互不相交的由正常返态组成的闭集。定理8(周期链分解定理)转移概率矩阵的标准形式状态空间的分解周期链的分解例．设马氏链的状态空间为S={1，2，3，4}，其一步转移矩阵为试研究各状态间的关系。解10.60.20.20.71120.334状态空间为S分两个部分：={1，2，3}，={4}

是闭集

中状态4可到达中各状态，且它非吸收状态，所以不是闭集。例其一步转移矩阵如下，是对I进行分解。I可分解为：C1={2，3,4}C2={5，6,7}两个闭集及N={1}，即I=N+C1+C24、遍历状态若状态i是正常返且非周期，则称i为遍历状态。例5设马氏链的状态空间S={0,1,2,…}，转移概率为试讨论各状态的遍历性。解根据转移概率作出状态传递图…1/21/21/21/21/21/20121/2图3---431/2从图可知，对任一状态都有，故由定理可知，S中的所以状态都是相通的，因此只需考虑状态0是否正常返即可。…故从而0是常返态。又因为所以状态0为正常返。又由于故状态0为非周期的从而状态0是遍历的。故所有状态i都是遍历的。7．设马氏链的状态空间S={1，2，3，4，5}，其一步转移矩阵为试研究各状态的类及周期性解各状态间的传递图对于任意有，即S为不可再分闭集。所以S中每一个状态都是常返态，且此马氏链为有限状态不可约常返链。0.40.2110.50.50.80.631254所以状态1的周期为3，由定理知，S中所有状态都为周期态，且周期都为3。因此，这个马氏链又是以3为周期的周期链。又因为马氏链为有限状态不可约链，所以所有状态都是正常返状态。8．设马氏链的状态空间为S={1，2，3}，其一步转移矩阵为试研究各状态间的关系。解0.50.50.5120.513可继续讨论正常返2153411试分解此链并指出各状态的常返性及周期性解：由转移矩阵可得转移图.1352111146第9节

转移概率的极限性质相关例子相关定理相关例子1.引例设一马氏链的一步转移概率阵为试讨论转移概率的极限.解例表明2.相关定理定理

若i是周期为di的常返状态，则（2）j是零常返态（1）j是瞬时态且定理2

若是一个非周期的正常返状态，则三、极限分布注2：此定理指出了如何求出极限分布的方法。定理例设有6个球（其中2个红球，4个白球）分放于甲、乙两个盒子中，每盒放3个，今每次从两个盒中