应用随机过程 全书

1、一、 随机过程简介随机过程这一学科最早起源于对物理学的研究，如吉布斯（美国物理化学家、数学物理学家）、玻尔兹曼（奥地利物理学家）、庞加莱（法国数学家）等人对统计力学的研究，及后来爱因斯坦、维纳(Wiener，美国数学家，控制论的创始人、莱维(Levy，法国数学家等人对布朗运动的开创性工作。1907年前后，马尔可夫(Markov研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。随机过程一般理论的研究通常认为开始于20世纪30年代。1931年，柯尔莫哥洛夫发表了概率论的解析方法，1934年辛饮发表了平稳过程的相关理论

2、，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。1953年，杜布出版了名著随机过程论，系统且严格地叙述了随机过程基本理论。一般认为，随机过程整个学科的理论基础是由柯尔莫哥洛夫（Kolmogorov）和杜布(Doob奠定的。第一章 随机过程的基本概念一、随机过程的定义例1：医院登记新生儿性别，0表示男，1表示女，Xn表示第n次登记的数字，得到一个序列X1 ， X2 ， ，记为Xn，n=1,2, ，则Xn 是随机变量，而Xn，n=1,2, 是随机过程。例2：在地震预报中，若每半年统计一次发生在某区域的地震的最大震级。令Xn 表示第n次统计所得的值，则Xn 是随机变量。为了预测该区域未来地震的强

3、度，我们就要研究随机过程Xn，n=1,2, 的统计规律性。例3：一个醉汉在路上行走，以概率p前进一步，以概率1-p后退一步（假设步长相同）。以X(t记他t时刻在路上的位置，则X(t, t0就是（直线上的）随机游动。例4：乘客到火车站买票，当所有售票窗口都在忙碌时，来到的乘客就要排队等候。乘客的到来和每个乘客所需的服务时间都是随机的，所以如果用X(t表示t时刻的队长，用Y(t表示t时刻到来的顾客所需等待的时间，则X(t, tT和Y(t, tT都是随机过程。定义：设给定参数集合T，若对每个tT, X(t是概率空间上的随机变量，则称X(t, tT为随机过程，其中T为指标集或参数集。，E称为状态空间，

4、即X(t的所有可能状态构成的集合。例1：E为0,1例2：E为0, 10例3：E为例4：E都为注：（1）根据状态空间E的不同，过程可分为连续状态和离散状态，例1，例3为离散状态，其他为连续状态。（2）参数集T通常代表时间，当T取R, R+, a,b时，称X(t, tT为连续参数的随机过程；当T取Z, Z+时，称X(t, tT为离散参数的随机过程。（3）例1为离散状态离散参数的随机过程，例2为连续状态离散参数的随机过程，例3为离散状态连续参数的随机过程，例4为连续状态连续参数的随机过程。二、有限维分布与Kolmogorov定理随机过程的一维分布：随机过程的二维分布：随机过程的n维分布：1、有限维分

5、布族：随机过程的所有一维分布，二维分布，n维分布等的全体称为X(t, tT的有限维分布族。2、有限维分布族的性质：（1）对称性：对（1,2，n）的任一排列，有（2）相容性：对于m ，有 3、Kolmogorov定理定理：设分布函数族满足上述的对称性和相容性，则必存在一个随机过程X(t, tT，使恰好是X(t, tT的有限维分布族。定义：设X(t, tT是一随机过程：（1） 称X(t的期望（如果存在）为过程的均值函数。（2） 如果，存在，则称随机过程X(t, tT为二阶矩过程。此时，称函数，为过程的协方差函数；称为过程的方差函数；称为自相关函数。例：，其中和V是相互独立的且均服从N(0,1分布的

6、随机变量，求和。三、随机过程的基本类型独立增量过程：如果对任意随机变量 是相互独立的，则称X(t, tT是独立增量过程。平稳增量过程：如果对任意，有X(t1+h-X(t1 X(t2+h-X(t2，则称X(t, tT是平稳增量过程。平稳独立增量过程：兼有独立增量和平稳增量的过程称为平稳独立增量过程，例如Poisson过程和Brownian motionPoisson 过程2.1 Poisson 过程1. 计数过程定义：随机过程称为计数过程，如果表示从0到t时刻某一特定事件A发生的次数，它具备以下两个特点：（1）且取值为整数；（2）时，且表示时间内事件A发生的次数。2. Poisson过程定义：计

7、数过程称为参数为（）的Poisson过程，如果（1）（2）过程具有独立增量性；（3）在任一长度为t的时间区间中事件发生的次数服从均值为的Poisson分布，即对一切，有 注：Poisson过程具有平稳增量性因为的分布只依赖于t, 与区间起点s无关， 于是可认为是单位时间内发生的事件的平均次数，一般称是Poisson过程的强度。例：（Poisson过程在排队论中的应用）研究随机服务系统中的排队现象时，经常用到Poisson过程模型。例如：到达电话总机的呼叫数目，到达某服务设施（商场、车站、购票处等）的顾客数，都可以用Poisson过程来描述。以某火车站售票处为例，设从早上8:00开始，此售票处连

8、续售票，乘客以10人/小时的平均速率到达，则9:00-10:00这一小时内最多有5名乘客来此购票的概率是多少？10:00-11:00没有人来买票的概率是多少？解：我们用一个Poisson过程来描述，设8:00为时刻0，则9:00为时刻1，参数，于是, 例：（事故发生次数及保险公司接到的索赔数）若以表示某公路交叉口、矿山、工厂等场所在时间内发生不幸事故的数目，则Poisson过程就是的一种很好近似。例如，保险公司接到赔偿请求的次数（设一次事故导致一次索赔），向315台的投诉（设商品出现质量问题为事故）等都是可以用Poisson过程的模型。我们考虑一种最简单的情形，设保险公司每次的赔付都是1，每月

9、平均接到索赔要求4次，则一年中它要付出的金额平均为多少？解：设一年开始时刻为0，1月末为时刻1，年末为时刻12，则有=48问题：为什么实际中有这么多现象可以用Poisson过程来反映呢？定理：定义1和定义2是等价的。例：事件A的发生形成强度为的Poisson过程，如果每次事件发生时以概率p能够被记录下来，并以M(t表示到时刻t被记录下来的事件总数，则是一个强度为的Poisson过程。例：若每条蚕的产卵数服从Poisson分布，强度为，而每个卵变为成虫的概率为p，且每个卵是否变为成虫彼此间没有关系，求在时间0, t内每条蚕养活k只小蚕的概率。2.2 与Poisson过程相联系的若干分布设表示第n

10、次事件发生的时刻，n=1,2，规定。表示第n次与第n-1次事件发生的间隔时间，n=1,2，。1. 关于和的分布定理：（n=1,2,）服从参数为的指数分布，且相互独立。定理：（n=1,2,）服从参数为n和的分布。注：如果每次事件发生的时间间隔相互独立，且服从同一参数为的指数分布，则计数过程是参数为的Poisson过程。例：设从早上8:00开始有无穷多的人排队等候服务，只有一名服务员，且每个人接受服务的时间是独立的并服从均值为20min的指数分布，则到中午12:00为止平均有多少人已经离去，已有9个人接受服务的概率是多少？例：假设某天文台观测到的流星流是一个Poisson过程，根据以往资料统计为每

11、小时平均观察到3颗流星。试求：上午8:00-12:00期间，该天文台没有观察到流星的概率。2. 事件发生时刻的条件分布对于，有现在考虑的情况：定理：在已知的条件下，事件发生的n个时刻的联合分布密度是， 例：乘客按照强度为的Poisson过程来到某火车站，火车在时刻t启程，计算在内到达的乘客等待时间的总和的期望值。即要求，其中是第i个乘客来到的时刻。2.3 Poisson过程的推广1. 非齐次Poisson过程称作强度函数为的非齐次Poisson过程，如果等价定义：称作强度函数为的非齐次Poisson过程， 若（1）（2）具有独立增量性；（3）即任意实数，为具有参数的Poisson分布，称为非齐

12、次Poisson过程的均值函数（或累积强度函数）。是一个强度函数为的非齐次Poisson过程。对任意的，令 则是一个强度为1的Poisson过程。2 复合Poisson过程为复合Poisson过程，如果对于，它可以表示为：，其中是一个Poisson过程，是一族独立 同分布的随机变量，并且与独立。注：复合Poisson过程不一定是计数过程。，每次要求赔付的金额都相互独立，且有相同分布F，每次的索赔数额与它发生的时刻无关，则时间内保险公司需要赔付的总金额就是一个复合Poisson过程，其中。，形成一强度为的Poisson过程，在每个时刻，可以同时有多名顾客到达。表示在时刻到达的顾客人数，假定相互独

13、立，并且与也独立，则在时间内到达服务系统的顾客总人数可用一复合Poisson过程来描述。的Poisson过程进人一个商店，又假设各顾客所花的钱数形成一族独立同分布的随机变量。以记到时间t为止顾客在此商店所花费的总值，易见是一个复合Poisson过程。，是一复合Poisson过程，Poisson过程的强度为，则（1）有独立增量；（2）若，则 ，例：设顾客以每分钟6人的平均速率进入某商场，这一过程可用用Poisson过程来描述。又该进入该商场的每位顾客买东西的概率为0.9，且每位顾客是否买东西互不影响，也与进入该商场的顾客数无关。求一天（12小时）在该商场买东西的顾客数的均值。3条件Poisson

14、过程定义：设随机变量，在的条件下，计数过程是参数为的Poisson过程，则称为条件Poisson过程。定理：设是条件Poisson过程，且，则（1）；（2）例：设意外事故的发生频率受某种未知因素影响有两种可能，且 ，为已知。已知到时刻t已发生了n次事故。求下一次事故在t+s之前不会到来的概率。另外，这个发生频率为的概率是多少？第三章 Markov 链3.1 基本概念定义：随机过程称为Markov链，若它只取有限或可列个值（常用非负整数集来表示），并且对任意的，及任意状态，有=，其中表示过程在时刻n处于状态，称为该过程的状态空间，记为. 上式刻画了Markov链的特性，称为Markov性。定义：

15、称条件概率为Markov链的一步转移概率，简称转移概率，记为，它代表处于状态的过程下一步转移到状态的概率。定义：当Markov链的转移概率=只与状态有关，而与n无关时，称之为时齐Markov链；否则，就称之为非时齐的。注：我们只讨论时齐Markov链，简称Markov链。定义：当Markov链的状态为有限时，称为有限链，否则称为无限连。但无论状态有限还是无限，我们都可以将（）排成一个矩阵的形式，令P=（）=为转移概率矩阵，简称转移矩阵。容易看出（）具有性质：（1），；（2）=1，。，若他患病，认为他处于状态，若他死亡，认为他处于状态，易见这是一个Markov链，转移矩阵为P=例：（赌徒的破产或

16、称带吸收壁的随机游动）系统的状态时，反映赌博者在赌博期间拥有的钱数，当他输光或拥有钱数为n时，赌博停止，否则他将持续赌博。每次以概率p赢得1，以概率q=1-p输掉1。这个系统的转移矩阵为P=例：（带反射壁的随机游动）设上例中当赌博者输光时将获得赞助1继续赌下去，就如同一个在直线上做随机游动的球在到达左侧0点处立刻反弹回一样，这就是一个一侧带有反射壁的随机游动，此时转移矩阵为：P=例：（自由随机游动）设一个球在全直线上做无限制的随机游动，它的状态为0，它是一个Markov链，转移矩阵为：P=练习：设有一只蚂蚁在图上爬行，当两个节点相邻时，蚂蚁将爬向它邻近的一点，并且爬向任何一个邻近节点的概率是相

17、同的，求转移矩阵。2 n步转移概率， C-K方程，为Markov链的n步转移概率，相应地称为n步转移矩阵。规定：问题：和是什么关系？对一切有（1）（2）证明：（赌徒的破产或称带吸收壁的随机游动）系统的状态时，反映赌博者在赌博期间拥有的钱数，当他输光或拥有钱数为n时，赌博停止，否则他将持续赌博。每次以概率p赢得1，以概率q=1-p输掉1。设，赌博者从2元赌金开始赌博，求他经过4次赌博之后输光的概率。例：甲乙两人进行某种比赛，设每局甲胜的概率是p。乙胜的概率是q，和局的概率是r，。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不计分，且当两人中有一人获得2分时比赛结束。以表示比赛至第n局时

18、甲获得的分数，则为时齐Markov链，求甲获得1分的情况下，不超过两局可结束比赛的概率。例：质点在数轴上的点集上做随机游动，质点到达点-2后，以概率1停留在原处；到达点2后，以概率1向左移动一点；到达其他点后，分别以概率向左、右移动一点，以概率停留在原处。试求在已知该质点处于状态0的条件下，经3步转移后仍处于状态0的概率。例：（广告效益的推算）某种啤酒A的广告改变了广告方式，经调查发现买A种啤酒及另外三种啤酒B, C，D的顾客每两个月的平均转换率如下（设市场中只有这四种啤酒）：假设目前购买A，B, C，D四种啤酒的顾客的分布为（25%，30%，35%，10%），试求半年后啤酒A的市场份额。3.

19、2 状态的分类及性质使得，称状态可达状态，记为。若同时有，则称与互通，记为。（1） 自反性：；（2） 对称性：，则（3） 传递性：，则证明：，患病状态，死亡状态，可分为几个类？非空，则称它的最大公约数为状态的周期。若，称是周期的。若，称是非周期的。规定，上述集合为空集时，称的周期为无穷大。注：（1）虽然有周期但并不是对所有的n，都大于0。请举出反例：（2）虽然有周期但可能，举出反例：同属一类，则。证明：，以记从出发经n步后首次到达的概率，则有令，如果，称状态为常返状态；如果，称状态为非常返状态。问题：的含义是什么？，定义，可以知道表示的是由出发再返回到所需的平均步数（时间）。（2）对于常返状态

20、，若，则称为正常返状态；若，则称为零常返状态。（3）若为正常返状态，且是非周期的，则称之为遍历状态。若是遍历状态，且，则称为吸收状态，此时显然。余轮, 许明, 周霆, 陈东侠(福州大学信息工程学院, 福建福州350002摘要:I S95具有两个速率集, 在同一个速率集中, 不同的速率其数据帧的长度不同, 为了使进入正交调制的数据帧的长度相同, 其采用了信号重复器。信号重复器进行简单的重复作用, 使得带宽不能充分利用。文中提出的方法利用一个信号发生器, , 卷积编码后的数据帧长度同样符合要求, 约束V iterbi 译码。在BSC 。关键词:信道编码; 约束V ; ; 中图分类号:A me fo

21、r I mprovi n g the Channel Codi n g Perfor mance i nI S 95Protocol by Usi n g Constra i n ed Viterbi Algorith mYU L un, XU M ing, ZHOU Ting, CHEN D ong -xia(I nfor mati on Engineering School, Fuzhou University, Fuzhou 350002, China Abstract:I S95p r ot ocol has t w o rate sets, in each rate set, dif

22、ferent rate has different fra me length . I n or 2der t o adjust the fra me length t o the sa me, a sy mbol repeater is used, which just repeats the sy mbol si m 2p ly, and the band width is not fully made use of . I n the sche me p r oposed in this paper, a sy mbol generat or is used t o p r oduce

23、s ome known sy mbols, this known sy mbol sequence is taken as an input t o convoluti onal encoder, and makes the length of data fra mes after encoder meet the require ment of I S95p r ot ocol . Since the constrained V iterbi algorith m is used in the receiver, those sy mbols p r oduced by sy mbol ge

24、nerat or can be regarded as useful contrained condit ons and i m p r ove the decoding perf or mance greatly . The si m ulati on result over BSC channel shows that this sche me can achieve good perf or mance when the channel err or rate is high .Key words:channel coding; constrained V iterbi algorith

25、m; I S95p r ot ocol; sy mbol repeater; sy mbol gener 2at or国Qualcomm 公司提出的I S95通信协议, 于1993年1引言当前的无线通信系统的信道编码都采用级联1码, 其中外码为循环冗余校验码, 内码为卷积码。此外, 为了实现了传输功率控制技术(Trans m it Pow 22er Contr ol, TPC , 都采用了多码率设计。例如, 美第47卷第3期2007年6月Teleco mmunicati on Engineering Vol . 47No . 3Jun . 2007m s, 所以不同的传输速率对应不同的数据帧长

26、。在发送端数据进行卷积编码后, 为了使进入交织器的数据帧长相同, 其采用了信号重复器(Sy mbol Repe 2titi on , 针对不同的速率对编码后的数据帧分别进行1、2、4、8的重复, 在接收端则采用维特比译码。在本文提出在无线通信系统中采用约束V iterbi为非常返状态时，有 的速率, 每个原始数据信号进入编码后, 信号发生器产生3个规定的符号进入编码器进行编码, 之后再对下一个原始数据的信号进行编码。据帧长度同样符合要求, 码。本文首先介绍了其信道编码方案, 之后探讨了在这一协议中利用约束V iterbi 算法的可能性, 最后就所提出的改进方案和原I S95协议中的相关方案进行

27、比较。到的用户信息帧为每帧20m s 。除了2. 4kbit/s 和1. 2kbit/s 数据外, 帧质量指示器(Fra me Quality I n 2dicat or 在每帧的末端加帧质量指示比特(循环冗余校验比特 , 用于帮助接收端判断数据速率和误帧率。2. 4kbit/s 和1. 808828824008144416087282无线通信系统中信道编码方案当前主要的无线通信系统的信道编码部分基本相同, 都采用了循环冗余校验加卷积码的级联码作为主要的编码方案, 其中又因为传输功率控制技术而采用了多码率设计, 为了保证码率匹配又采用了信号重复器。现以I S95协议中的业务信道的信道编码部分作

28、为范例, 说明其信道编码的主要技术。I S95的信道编码部分见图1。卷积编码器为R =1/3, K =9, 生成多项式为g 0=557, g 1=663, g 2=711, 其经过重复后的数据帧长度为576bit 。对于业务信道, 码元经过编码后, 在分组交织之前, 只要输入信号的数据率低于本信道的最高输入数据率, 在分组之前都要进行码元重复处理。例如对于输入9. 6kbit/s, 码元不重复; 如果输入是4. 8kbit/s, 则每个码元重复1次(每个码元符号连续出现2次 ; 如果输入是2. 4kbit/s, 则每个码元重复3次(每个码元符号连续出现4次 ; 如果输入是1. 2kbit/s,

29、 则每个码元重复7次(每个码元符号连续出现8次 。重复符号的发送功率必全速率符号的功率低, 例如对于4. 8kbit/s, 每个码元符号重复一次, 但在半功率上发送。同时, 重复的符号可以进行时间分集接收, 为无线信道抵抗衰落提供附加的措施, 增加接收的可靠性。3约束V ite rbi 译码在无线通信系统中的应用 。 且为常返状态，则。2。图4无约束时的错误译码和有约束时的正确译码5采用约束V ite rb i 译码前后的性能比较测试采用I S95的速率集1, 其具体数据见表1, 卷积编码器为R =1/3, K =9, 生成多项式为g 0=557, g 1=663, g 2=711, 其经过重

30、复后的数据帧长度为576bit 。数据经过AW G N 信道, 调制方式为BPSK 调制, 最后进行V iterbi 译码。在改进的算法中, 信号生成器生成的信号为全零, 一个数据帧的信号进入卷积编码后, 再由M 个信号生成器生成的信号(即M 个零 进入卷积编码, 不同速率下M 的值见表2, 编码后的数据帧的长度仍然为576bit 。I S95考虑两种对重复信号的处理方法, 一种是图3递归系统卷积码(2, 1, 2当一个位被确定为正确后, 其不仅自身译码正确, 同时可以影响其附近的位。例如采用图3所示的递归系统卷积码(Recursive Syste matic Convolu 2ti onal

31、 Code, RSC , 从零状态开始, 到零状态结束。直接去掉重复信号(D irectly D iscarded , 这种方法比较简单, 但效果不好; 另一种是考虑对重复信号进行5时间的分集接收(D iversity , 该方案较为复杂, 但经过信道后, 由于噪声干扰, 接收段收到的序列中, 有3位数据发生错误(加框的数据 :00110010111。如果按照一般的V iterbi 译码(图4(a 中粗线表示的路径 , 其得到的结果将是0011可以充分利用重复信号。图5为实验结果, 测试了译码后的误包率(Packet Err or Rate, PER 与误比特率(B it Err or Rat

32、e, BER 。对于每种传输速率在采用改进后的系统与约束算法进行译码后与I S95协议进行比较。5第47卷第3期2007年6月Teleco mmunicati on Engineering Vol . 47No . 3Jun . 2007每帧作为一包, 共测试1000组。表2I S95标准速率集1具体数据传输速率(bit/ s 每帧数据长度(bit 添加的CRC 校验位(bit 卷积编码器复位(bit 编码后每帧的长度(bit 重复次数(次M (bit 48008088288212400400814443可以提高约45dB 甚至更多, 但是应考虑到分集接收需要有较复杂的硬件支持, 故其分集可在

33、解调之前完成。本文提供的改进算法的性能居于中间, 与简单得译码方案相比约提高23d B , 但差于分集接收的方法; 同样其复杂度也处于中间, 在编码端需要引入信号发生器, 在解码端需要进行修改。虽然直接去掉重复信号的方法最简单, 但是其效果最差。参考文献:1. M.北京:电子工业, . M.北京:北京邮, 2000:76-125.3Lei Cao , ChangW en Chen . A Novel Pr oduct Coding andRecurrent A lternate Decoding Sche me f or I m age Trans 2m issi on Over Noisy

34、ChannelsJ .I EEE TRANS ACTI O NS ON C OMMUN I C ATI O NS, 2003, 51(9 .4邓华. MAT LAB 通信仿真及应用实例详解M.北京:人民邮电出版社, 2003.5杨留清, 张闽申, 徐菊英. 数字移动通信系统M.北京:人民邮电出版社, 1998:1-25, 166-316.作者简介:余轮, 男, 福州大学信息工程学院教授、博士生导师, 中国图像图形学学会常务理事, 国务院政府特殊津贴获得者, 长期从事图象处理 、多媒体通信、远程医疗、数字媒体技术等方面的研究工作, (电话电子信箱 yulunfzu

35、. edu . cn;许明(1980- , 男, 山东青岛人, 福州大学物理与信息工程学院硕士研究生, 主要研究方向为纠错编码;周霆, 女, 上海人, 福州大学物理与信息工程学院博士研究生, 主要研究方向为纠错编码、图像处理和传输, (电子信箱 infophdhot m ail . com;图5实验结果陈东侠(1981- , 女, 山东曹县人, 福州大学物理与信息工程学院硕士研究生, 主要研究方向为纠错编码。在改进后的信道编码系统中, 插入一定的零作为译码的约束比特, 来代替I S95信道编码系统中单纯的信号重复, 图5试验结果可以清楚看到, 无论BER 性能还是PER 性能都比未改进的I S

36、95信道编码系统好, 其采用时间分集后的效果为最佳, 而性能51设 Markov 链的转移矩阵为 ， 0 试求： 例p=，求 若令p= ，求定理（1）若状态i是周期为d的常返状态，则 ， （2）若状态i是非常返状态时，则 推论设i是常返状态，则i是零常返状态 定理（1）若j是非常返状态或零常返状态，则对 （2）若j为正常返状态且周期为d，则对, 有：有限状态的Markov链，不可能全为非常返状态，也不可能有零常返状态，从而不可约的有限Markov链是正常返的。若Markov链有一个零常返状态，则必有无限个零常返状态。例设Markov链的状态空间为E=1, 2 ，3，4, 5，转移矩阵为试确定常

37、返状态，非常返状态，并对常返状态i确定其平均回转时间。对于Markov链，概率分布称为平稳分布，若问题：为什么称之为平稳分布？（1）称Markov链是遍历的，如果所有状态相通且均是周期为1的正常返状态。（2）对于遍历的Markov链，极限 称为Markov链的极限分布。注：对于不可约非周期的Markov链：（1）若它是遍历的，则是平稳分布且是唯一的平稳分布。（2）若状态都是非常返的或全为零常返的，则平稳分布不存在。例：设Markov链的转移矩阵为求极限分布。例：设有6个车站，车站中间的公路连接情况如下图所示：汽车每天可以从一个车站驶向与之直接相邻的车站，并在夜晚到达车站留宿，次日凌晨重复相同的

38、活动。设每天凌晨汽车开往邻近的任何一个车站都是等可能的，试说明很长时间后，各站每晚留宿的汽车比例趋于稳定。求出这个比例以便正确地设置各站的服务规模。例设甲袋中有k个白球和1个黑球，乙袋中有k+1个白球，每次从两袋中各任取一球，交换后放入对方的袋中。证明经过n次交换后，黑球仍在甲袋中的概率满足例 我国某种商品在国外的销售情况共有连续24个季度的数据（其中1表示畅销，2表示滞销）：1，1，2，1， 2，2，1，1，1，2，1，2，1，1，2，2，1，1，2，1，2，1，1，1如果该商品销售情况近似满足时齐次与Markov性：（1） 试确定销售状态的一步转移概率矩阵。（2） 如果现在是畅销，试预测这

39、之后的第四个季度的销售状况。（3） 如果影响销售的所有因素不变，试预测长期的销售状况。 3.4 Markov链的应用群体消失模型（分枝过程）：考虑一个能产生同类后代的个体组成的群体，每一个体生命结束时以概率产生了j个新的后代，与别的个体产生的后代的个数相互独立。初始个体数以表示，称为第零代的总数；第零代的后代构成第一代，其总数记为，第一代的每个个体以同样的分布产生第二代，一般地，以记第n代的总数。此Markov链称为分枝过程。假设，则有 其中表示第n-1代的第i个成员的后代的个数。考虑以下几个问题：（1） （2） 的意义（3） 3.5连续时间Markov链过程的状态空间E为离散空间，若对一切及

40、有成立，则称是一个连续时间Markov链。转移概率 转移概率矩阵 称连续时间Markov链是时齐的，若与s无关。简记,相应地记 ：设是连续时间Markov链，假定在时刻0过程刚刚到达。以记过程在离开i之前在i停留的时间，则服从指数分布。说明：构造连续时间Markov链的方法（1）在转移到下一个状态之前处于状态i的时间服从参数为的指数分布。（2）在过程离开状态i时，将以概率到达j，且 定义称一个连续时间Markov链是正则的，若以概率1在任意有限长的时间内转移的次数是有限的。例（Poisson过程）参数为的Poisson过程，取值为。由第2章可知，它在任意一个状态i停留的时间服从指数分布，并且在

41、离开i时以概率1转移到i+1，由Poisson过程的独立增量性看出它在i停留的时间与状态的转移是独立的，从而Poisson过程是时齐的连续时间Markov链。例（Yule过程）考察生物群体繁殖过程的模型。设群体中各个生物体的繁殖是相互独立的，强度为的Poisson过程，并且群体中没有死亡，此过程称为Yule过程，此过程是一个连续时间Markov链。例（生灭过程）死亡，这是一个生灭过程。例（M/M/S排队系统）顾客的来到是参数为的Poisson过程。服务人员数为s个，每个顾客接受服务的时间服从参数为的指数分布。遵循先来先服务，若服务员没有空闲时间就排队的原则。以记t时刻系统中的总人数，则是一个生

42、灭过程（来到看作出生，离去看作死亡），来到率是服从参数为的Poisson过程，离去过程的参数会发生变化，以记系统中有n个顾客时的离去率，则 微分方程定理：时齐连续时间Markov链的转移概率满足：（1）（2）（3 连续时间Markov链的C-K方程。证明 ： 推论：对有限状态时齐的连续时间Markov链，有 注：对于无限状态的情况，一般只能得到 定理kolmogorov微分方程对一切 且，有（1）向后方程（2）在适当的正则条件下，有向前方程 例：讨论Poisson过程的微分方程及转移概率。例：类似Poisson过程，给出Yule过程的转移概率。例：讨论生灭过程的微分方程。第三章练习题1、设今日

43、有雨明日也有雨的概率为0.7，今日无雨明日有雨的概率为0.5。求星期一有雨，星期三也有雨的概率。2、设Markov链的状态空间为E=1,2,3,4,5,6，其一步转移概率矩阵为试确定状态的周期，常返性，并给此Markov链分类。3、若，证明：（1） （2）4、 将两个红球、四个白球分别放入甲乙两个盒子中。每次从两个盒子中各取一球交换，以 记第n次交换后甲盒中的红球数。（1）试说明是一个Markov链并求转移矩阵P（2）试证明是遍历的。（3）求它的极限分布。5、对于Yule过程计算群体总数从1增长到N的平均时间。6、考虑有两个状态的连续时间Markov链，状态为0和1，链在离开0到达1之前在状态

44、0停留的时间服从参数为的指数分布，相应地在1停留的时间是参数为的指数变量。对此建立kolmogorov微分方程，并求其解。第四章 更新过程4.1 更新过程的定义及若干分布事件发生的时间间隔是独立同分布的非负随机变量，这样得到的计数过程叫做更新过程，其数学表达式如下：设，n=1,2,是一列独立同分布的非负随机变量，分布函数为F(x设F(0=PX=01，记=，则0+。令，n1，T=0。我们把由定义的计数过程称为更新过程。例子：机器零件的更换。在时刻0，安装上一个新零件并开始运行，设此零件在T时刻损坏，马上用一个新的来替换（假设替换不需要时间），则第二个零件在T时刻开始运行，设它在T时刻损坏，同样马

45、上换第三个，很自然可以认为这些零件的使用寿命是独立同分布的，那么到t时刻为止所更换的零件数目就构成一个更新过程。说明：（1）在更新过程中事件发生一次叫做一次更新，X表示第n-1次和第n次更新的间隔时间，T是第n次更新发生的时刻，N(t就是t时刻之前发生的总的更新次数。（2）Poisson过程是更新过程。问题一：在有限时间0,t内是否会发生无穷多次更新，即N(t= ？问题二：求N(t的分布 PN(t=n问题三：以M(t记EN(t，求M(t（M(t叫做更新函数）。注：M(t是t的不减函数，且对0t，M(t +考虑一个时间离散的更新过程N，j=1,2，在每个时刻独立地做Bernoulli试验，设成功

46、的概率为p，失败的概率为q=1-p。以试验成功作为事件（更新），求此过程的更新函数M(k。4.2 更新方程 若的导数存在，则其导数称为更新密度，记为。由= 知 m(t=。其中是的密度函数。和分别满足积分方程其中。(更新方程称如下形式的积分方程为更新方程其中为已知，为分布函数，且当0时，均为0。设更新方程中为有界函数，则方程存在唯一的在有限区间内有界的解其中是的更新函数。（Wald等式）设 (i=1，2，证明：4.3 更新定理初等更新定理记，则。若。：若存在，使得，则称随机变量服从格点分布。同时称满足上述条件的最大的为此格点分布的周期。记(1 若不是格点分布，则对一切，当时，有。(2 若是格点分布，周期为，则当时，有。记，设函数满足：(1非负不增；(2 。 是更新方程的解，那么(1 若不是格点分布，有(2 若是格点分布，对于，有例：某控制器用1节电池供电，设电池寿命（=1,2,）服从均值为45小时的正态分布，电池失效时需