应用随机过程课件 ch3 可数状态马氏链

应用随机过程第三章可数状态马氏链中国人民大学出版社PAGE应用随机过程第三章可数状态马氏链中国人民大学出版社PAGE1/24第三章可数状态马氏链第三章可数状态马氏链应用随机过程中国人民大学出版社离散时间马氏链与可数状态马氏链离散时间马氏链与可数状态马氏链离散时间马氏链的时间和状态均离散，并且状态是有限的。本章将在其基础上，将状态空间拓展为可数（countable）状态。所谓的可数状态是指状态的取值是在整数域Z上，且状态的数量无穷大，因此可数状态马氏链所包含的状态为：S=Z。正因为可数状态马氏链的状态数是无穷多个，其与离散时间马氏链在性质上存在一定的区别。本章内容本章内容1状态的分类12分支过程2状态的分类状态的分类状态的分类可数状态马氏链遇到的新问题是常返并不能保证平稳分布的存在。状态的分类举例举例1：带反射壁的随机游动状态的分类质点在{0,1,2,...}上游动，它以概率p状态的分类(1−p)向左移动一步，但是如果处于0点，并试图向左移动一步时，它将停留在0点。012301231−p 1−p 1−p 1−p

p p p

p pn1n1−p1−p

p···1−p应用随机过程1−p应用随机过程第三章可数状态马氏链中国人民大学出版社PAGE6/24带反射壁的随机游动带反射壁的随机游动(cont.)状态的分类状态的分类p(i,i−1)=1−p, i≥1(0,0)=1−, p(i,i−1)=1−p, i≥1该模型属于生灭链的特殊形式，可以根据细致平衡方程来求其平稳分布p(i,j)π(i)=p(j,i)π(j)p(i,i+1)π(i)=p(i+1,i)π(i+1), i≥0p·π(i)=(1−p)·π(i+1)因此：

π(i+1)=

p π(i)带反射壁的随机游动带反射壁的随机游动(cont.)状态的分类令π(0)=c状态的分类π(i)=π(0)

pi( )=c( )1−p

pi( )1−p( )( )注意到，当p/(1−p)<1时，p<1/2，此时：( )∞∞=0∞∞

π(i)=c

=0

pi=1−p∑∞∑

c p1−1−p

=1−pc<∞1−2p∞对于平稳分布而言，必须满足 π(i)=1，因此：i=0c=1−2p应用随机过程第三章可数状态马氏链中国人民大学出版社PAGE应用随机过程第三章可数状态马氏链中国人民大学出版社PAGE24/24带反射壁的随机游动带反射壁的随机游动(cont.)状态的分类状态的分类·因此：·

π(i)=

1−2p1−p

pi( )1−p( )E(τ)=1=1−p<∞00 π(0) 1−2p称状态0是正常返（positiverecurrent）的。因此p<1/2时，该马氏链对正常返的马氏链，一定可以找到其对应的平稳分布；若马氏链不存在平稳分布，则其可能是零常返（nullrecurrent）或非常返的。注意：是正常返的，且存在一个平稳分布对正常返的马氏链，一定可以找到其对应的平稳分布；若马氏链不存在平稳分布，则其可能是零常返（nullrecurrent）或非常返的。注意：带反射壁的随机游动带反射壁的随机游动(cont.)π(i)=c

pi状态的分类( )1−状态的分类( )

, c=

1−2p1−pp1/2时，p/(1p1c0{π(i)(即|π(i+1)|>|π(i)|)，因而不存在平稳分布，此时马氏链是非常返的。当p=1/2时，p/(1−p)=1,c=0，此时π(i)=0,∀i，相应地：E xE xπ(x)∑∞∑而 π(i)=1,因而不存在平稳分布，此时马氏链的各状态均是零i=0常返态。状态的判定状态的判定状态的分类零常返态代表了常返态和非常返态的边界情况。三者的联系和区别状态的分类正常返态：Px(τx∞1Ex(τx∞；零常返态：Px(τx∞1Ex(τx∞；非常返态：Px(τx∞1Ex(τx∞。分支过程分支过程分支过程在可数状态马氏链的相关研究中，有一类非常重要的随机过程常常应用于生物学领域，这就是分支过程(branchingprocess)。分支过程最早由弗朗西斯∙高尔顿（FrancisGalton）和沃森（Watson）提出，用于对姓分支过程分支过程举例分支过程举例分支过程nY1Y2都相kpk=p(1k)分支过程nXn{012}，其转移概率如下：p(i,j)=P(Y1+Y2+···+Yi=j), i>0,j≥0此处的“消亡”是指马氏链吸收于状态0。此处的“消亡”是指马氏链吸收于状态0。思路：分支过程举例分支过程举例(cont.)分支过程该家族的消亡发生与否，可通过一个个体的平均后代数量µ分支过程定：∞ ∞µ=∑k·p(1,k)=∑k·pkk=0 k=0由于Xn表示第n代的个体数，因此：E(Xn|Xn−1)=µXn−1 ⇒ E(Xn)=µE(Xn−1)通过迭代可得：显然，µ<1时，limn→∞

E(Xn)=µnE(X0)E(Xn)=0，该家族以概率1消亡。µµ≥1的情形分支过程引入消亡概率extinctionprobabilit，记作α，表示当前时刻的某个个体在未来的消亡概率。1分支过程α=P(τ0<∞|X0=1)其中τ0表示个体全部消亡的时刻。如果当前时刻有k个个体，则他们全部消亡的概率是αk，因此：∑∞∑α=P(τ0<∞|X0=1)= p(1,k)·P(τ0<∞|X1=k)k=0最终可得：

∑ k∑ kα= pk·αk=0µµ≥1的情形(cont.)分支过程∑ 分支过程∑ kα= pk·αk=0∑∞∑记G(α)= pkαk，则上式可表示为：G(α)=αk=0当α=0和α=1时，等式左侧分别为：∑∞∑G(0)=p0=p(1,0), G(1)= pk=1注意：α=注意：α=1是(α)=α的平凡解（trivialsolution。要求的消亡概率α应当G(αα所有根当中的最小正根。µµ≥1的情形(cont.)分支过程∑ 分支过程∑ k对G(α)= pkα关于α求一阶和二阶导，可得：k=0∞ ∞k=0k=1G′(α)=∑k·pkαk−1≥0, G′′(α)=∑k(k−1)·pkαk−2≥k=0k=1∑由此可见，函数G(α)是凸向原点的单调递增曲线。当α=1时：∑∞G′(1)= k·pk=µ>0k=0两种可能性两种可能性分支过程G(分支过程G(α)αG(α)αp0p00 （a） 1 0 α（） 1G′(1)<1时，α=1；G′(1)>1时，α<1。分支过程的结论分支过程的结论分支过程G′(1)µ，因此进一步可以得到如下结论：µ分支过程当µ≤1时，消亡以概率1发生；当µ>1时，存在一个正的概率避免消亡。分支过程举例分支过程举例1分支过程当p0=1/4，p1=1/4，p2=1/2分支过程1 1µ=4×1+2×2=1.25>1因此：消亡概率不为1。根据G(α)=α，可得：012244G(α)=pα0+pα1+pα2=α ⇒ 1α2+(1−)α+1=0012244α11α21/20.5。分支过程举例分支过程举例2：二分支过程分支过程当p0=1−a，p2=a，pk=0,k̸=0,2分支过程µ=0(1−a)+2a=2a因此，当a≤1时，消亡以概率1发生；当a>1时，根据G(α)=α，2 2可得：解得：

G(α)=p0α0+p2α2=α ⇒ aα2−α+(1−a)=0α1=1 或 α2

=1−a<1a此时消亡概率α=1−a。a二分支过程二分支过程(cont.)分支过程分支过程当a>1时，消亡以概率1发生；22a当a≤1时，消亡概率α=1−a。2a分支过程举例分支过程举例3：姓氏的消亡分支过程高尔顿和沃森最初考虑的问题是人群中姓氏消亡的概率，而姓氏是由后代中的男性所继承，因此他们所研究的问题便转化为后代中男性消分支过程假设每个家庭都恰好有3个孩子，并且每个母亲平均有1.5个女儿，计算一个妇女的后代当中，男性消亡的概率。姓氏的消亡姓氏的消亡(cont.)分支过程男女的概率均为1/2；假设后代中有k分支过程022122P(k=0)==8, P(k=1)==8(3)(1)0(1)3 1 022122P(k=0)==8, P(k=1)==8222322222322P(k=2)==8, P(k=3)==8(3)(1)2(1)1 3 222322222322P(k=2)==8, P(k=3)==8由于平均男性后代数量为µ=1.5>1，因此需要计算消亡概率。姓氏的消亡姓氏的消亡(cont.)分支过程∑根据G(α)= αkpk=α分支过程∑kα