信息论与随机过程

1、.,随机过程,Stochastic Processes,生物信息科学与技术学院 统计遗传教研室,.,课程主要安排,随机过程的概念与基本类型 马尔可夫链 隐马尔可夫模型 随机过程在生物信息科学中的应用,.,第二章 随机过程的概念和基本类型,第一节 随机过程的定义及其分类,第二节 随机过程的分布及其数字特征,第三节 几种重要的随机过程简介,.,第一节 随机过程的定义及其分类,一、直观背景及例子,电话站在时刻t时以前接到的呼叫次数,例1,一般情况下它是一个随机变数X ，并且依赖时间t，即随机变数X（t），t0，24。,例2,研究某一商品的销售量,一般情况下它是一个随机变数X ，并且依赖时间t，即随机

2、变数X（t），t=1，2，,首页,.,例3,国民收入问题,表示依赖于一个变动参量的一族随机变量。它虽然不能用一个确定的函数来描述，但也是有规律的。,随着各种随机因素的影响而随机变化， 一般地有 其中C（t）、I（t）分别表示t年的消费和积累,随机过程,首页,.,二、随机过程的定义,1随机 过程,设E是随机试验， 是它的样本空间，T是一个参数集，若对于每一个 都有随机变量 ，与之对应， 则称依赖于t的随机变量 为随机过程，或称为随机函数。,通常记作,说明1,参数集T在实际问题中，常常指的是时间参数，但有时也用其它物理量作为参数集。,首页,.,说明2,因为,是一个随机变量，,首页,.,2贝努利过程

3、,设每隔单位时间掷一次硬币，观察它出现的结果。如果出现正面，记其结果为1；如果出现反面，记其结果为0。一直抛掷下去，便可得到一无穷序列,因为每次抛掷的结果是一个随机变量（1或0），所以无穷次抛掷的结果是一随机变量的无穷序列，称为随机序列，也可称为随机过程。 每次抛掷的结果与先后各次抛掷的结果是相互独立的，并且出现1或0的概率与抛掷的时间n无关。,首页,.,设,称具有这种特性的随机过程为贝努利型随机过程。,注,如果固定观测时刻t，则它的试验结果是属于两个样本点（0，1）所组成的样本空间,则样本空间出现的值为（0,0）,（0,1）,（1,0）,（1,1）,首页,.,三、随机过程的分类,1、按参数集

4、和状态分类,参数集T的是一个可列集T=0，1，2，,离散参数,连续参数,参数分类,参数集T的是一个不可列集,状态分类,离散状态,连续状态,取值是离散的,取值是连续的,首页,.,T离散、I离散,T离散、I非离散（连续）,参数T状态I分类,概率结构分类,2按过程的概率结构分类,T非离散（连续） 、I离散,T非离散（连续） 、I非离散（连续）,独立随机过程,独立增量随机过程,马尔可夫过程,平稳随机过程,首页,.,第二节 随机过程的分布及其数字特征,一、随机过程的分布函数,一维分布函数,其分布函数为,一维概率密度,首页,.,二维分布函数,联合分布函数,二维概率密度,首页,.,例1,袋中放有一个白球，两

5、个红球，每隔单位时间从袋中任取一球，取后放回，对每一个确定的t对应随机变量,试求这个随机过程的一维分布函数族。,分析,先求概率密度,首页,.,所以,解,首页,.,二、随机过程的数字特征,1均值函数,或称为数学期望,说明,首页,.,2方差函数,说明,均方差函数,首页,.,3协方差函数,二阶中心混合矩,简称协方差函数,注,首页,.,4互协方差函数,其中,首页,.,5相关函数,简称相关函数,注,首页,.,6互相关函数,注,则,首页,.,7互不相关,注,有,则,即,若,首页,.,例2.5 设随机过程 其中 是相互独立的随机变量，且 ， ，求 的均值函数 和协方差函数 。,解：由数学期望的性质，有 因为

6、 相互独立，故,.,例2.8 设 为信号过程， 为噪声过程，令 ，则 的均值函数为 其自相关函数为,特别，当两个随机变量的均值函数恒为零且互不相关时，有,.,补例2,解,求：（1）均值函数；（2）协方差函数；（3）方差函数。,（1）,（2）,（3）,首页,.,第三节 几种重要的随机过程简介,一、正交增量过程,1定义,首页,.,补充：独立随机过程,简称独立随机过程。,首页,.,二、独立增量过程,1定义,随机变量的增量,是相互独立的,首页,.,2.平稳独立增量过程,首页,.,例1,证,的随机变量序列，令,则,首页,.,三、马尔可夫过程,简称马氏过程。,首页,.,马氏过程的特点,马氏性实质上是无后效

7、性，所以也称马氏过程为无后效过程。,称这个特性为马尔可夫性，简称马氏性。,首页,.,四、正态过程,1定义,为n维正态分布，,其密度函数为,也称高斯过程,则称,首页,.,其中,且,B为协方差矩阵,首页,.,例5,证,可得,注,逆命题也成立,.,五、维纳过程,1定义,则称,或布朗运动过程,称为标准维纳过程,特别,首页,维纳过程是一类非常重要的随机过程，它是基于对例子布朗运动的数学刻画。维纳过程经常被广泛地应用到经济学、管理学等其他应用学科之中。,.,维纳过程是布朗运动的数学模型. 英国植物学家布朗在显微镜下，观察漂浮在平静的液面上的微小粒子，发现它们不断地进行着杂乱无章的运动，这种现象后来称为布朗

8、运动. 以W(t）表示运动中一微粒从时刻t=0到时刻t0的位移的横坐标（同样也可以讨论纵坐标），且设W(0)=0，根据爱因斯坦1905年提出的理论，微粒的这种运动是由于受到大量随机的相互独立的分子的碰撞的结果. 于是，粒子在时段（s,t上的位移可以看作是许多微小位移的代数和. 则W(t)-W(s）服从正态分布.,.,2均值、方差、协方差及相关函数,均值,协方差及相关函数,证,方差,由定义可得,均值、方差公式,首页,.,下证,同理,故,显然,首页,.,3维纳过程是正态过程,由维纳过程定义知,服从n维正态分布,首页,.,故知,所以,又因,首页,.,4具有马氏性,证,因此,所以,所以维纳过程是马氏过

9、程。,首页,.,.,六、平稳随机过程,平稳过程的统计特性与马氏过程不同，它不随时间的推移而变化，过程的“过去”可以对“未来”有不可忽视的影响。,返回,首页,定义2.12,.,.,例2.13 设随机过程 其中Y，Z是相互独立的随机变量，且 ，则随机过程 为广义平 稳过程。,.,七泊松过程,满足,首页,则称,.,注意,从条件（3）可知泊松过程有平稳增量，且,并称,生起率或强度,（单位时间内发生的事件的平均个数）。,首页,.,说明,要确定计数过程是泊松过程，必须证明它满足三个条件：,为此给出一个与泊松过程等价的定义,.,则称,首页,满足,定义2,.,泊松过程的基本性质,一数字特征,.,.,2到达时间间隔和等待时间的分布,定义,则称,则称,首页,.,定理3.2,证,或,首页,.,那么类似地有,（增量的独立性）,（平稳独立