随机过程导论第一章概率论

随机过程导论,电子信息学院,主讲人：邵卫东,10/11/2012,参考书目,实变函数论曹广福高等教育出版社随机数学萧树铁主编高等教育出版社随机过程导论周荫清编著北京航空航天大学随机过程与排队论王维一编上海交通大学电子工程系,授课主要内容,第一章、概率论第二章、随机过程第三章、平稳随机过程的谱分析第四章、随机信号通过线性系统分析第五章、几种常用的随机过程,第一章概率论,主要内容：论及概率论的基础知识，具体介绍概率空间、条件概率空间、随机变量及其概率分布、随机变量函数的分布、随机变量的数字特征、特征函数等概念，它们是学习以后各章的理论工具。,第一章概率论,重点及其要求：（1）随机变量函数的分布，关键是在各种函数变换条件下求出相应的雅可比因子J。（2）随机变量的数字特征，例如：数学期望、方差、各阶矩的定义和运算性质要熟练掌握；对于随机变量之间的统计独立、不相关、正交应各满足的条件，三者的差别与联系要有明确的认识。（3）随机变量特征函数的定义和性质，它们与矩的关系，应该能灵活应用。,1.1集合,（一）集合的定义所谓集合，指的是具有某种特定性质的对象的全体，通常用大写的英文字母表示，如，集合中的每个对象称为该集合的元素，一般都以小写字母a,b,x,y,例如，A是由具有性质P的元素全体组成的，通常记为：,1.1集合,例1假设集合A是直线上满足方程的点组成的，试用适当方法表示该集合。,例2假设是定义在R1（实直线）上的函数，试用适当方法表示使函数值小于2的那些点的全体。,1.1集合,R：表示实数全体（或直线）；C：表示复数全体（或复平面）N，Z，Q：分别表示自然数、整数、有理数全体,不包含任何元素的集合称为空集，记作包含有研究中出现的全部元素的“最大”集，称之为空间，常用表示。,1.1集合,子集：假设A，B是两个集合，如果A中的元素都是B中的元素，则称A是B的子集，记作，或者。,结论：空集是任何集合的子集，任何集合是其自身的子集。,（二）集合运算余集：集合A的余集是指在一个给定空间的中，不属于A的那些点的集合，可以表示为：,1.1集合,并集：两个集合A和B的并集是指至少属于A和B之一的点的集合，记作：,交集：两个集合A和B的交是指同时属于它的两个集合的点的集，记作,1.1集合,若AB=0，即集合A和集合B没有公共元素，则成为互斥或不相交。若对每个满足，则集合是互斥的或互不相交。,差集：两个集合A和B的之差A-B是指属于集合A而不属于集B的点的集合，记作,1.1集合,三个重要定律：,1.交换律,2.结合律,1.1集合,3.分配律,德.摩尔根（De.Mergan)定理,加法分配律,乘法法分配律,1.1集合,（三）波莱尔集合体设有空间，的一些子集A（一般是不可列的）组成的类F称为中的一个代数或称为波莱尔（Borel)集合体，如果F满足下列条件：,（1）,（2）,（3）,1.1集合,结论：一个波莱尔体是一些集的类，它显然包含空集和空间。对于它的一切可列集的并和交的运算是封闭的。,一切子集的类是波莱尔体。在概率论中，这个特殊的波莱尔体太大而且不实用。因此一般研究的子集的最小类，它们既构成波莱尔体又包含被研究的一切元素和集。,1.2概率简述,（一）随机事件与样本空间随机试验E：即在一组可重复实现的条件下观察某种现象能否出现的行动。随机事件：随机试验的每一个可能结果一般称为随机事件，简称事件。最简单的事件称为基本事件。样本空间：随机试验的所有可能基本事件的集合称为样本空间。,1.2概率简述,集合论和概率论之间的一些关系：,1.2概率简述,（二）概率的定义1.概率的古典定义事件A的概率的古典定义式中S为样本空间，子集2.概率的几何定义事件A的概率的几何定义,1.2概率简述,3.概率的统计定义事件A的概率的统计定义我们用事件A的频率近似表示事件A的概率，这就是概率的统计定义。,1.2概率简述,概率空间的定义规定一个试验，所有样本点之集合构成样本空间S,在样本空间中一个样本点或若干个样本点之适当集合F称为事件域，F中的每一集合称为事件。若AF，则P(A)就是事件A的概率，并称这三个实体的结合（S,F,P)为一个概率空间。,1.2概率简述,（三）条件概率与概率的基本定理1.条件概率的定义在事件B已出现的条件下，事件A出现的条件概率为或记称(S,F,PB)为给定事件B的条件概率空间，简称条件概率空间。,1.2概率简述,2.全概率公式设有N个互斥事件BN(n=1,2,N),它们的和为整个S，即满足则此式称为全概率公式。,1.2概率简述,3.贝叶斯公式将条件概率公式推广到N个事件中去，可得这就是贝叶斯公式。,4.统计独立如果事件A、B满足,或者,则称这两个事件是统计独立的。并有,1.2概率简述,例3某一基本的二元通信系统，由一步发射机和一部接收机组成，如图1.1所示。发射机经过信道向接收机发送两个符号0或1中的一个符号。,若发送符号1和0的概率分别为0.6和0.4，且条件概率为,求,1.2概率简述,解：由全概率公式得,1.2概率简述,根据贝叶斯公式有,习题,1.写出下列随机试验的样本空间S：a.同时掷两枚骰子，记录两枚骰子点数之和；b.10件产品中有3件是次品，每次从中取1件，取出后不再放回，直到3件次品全部取出为止，记录抽取的次数；c.生产某种产品直到得到10件正品，记录生产产品的总件数。d.将一尺之捶折成3段，观察各段的长度。,习题,2.设有一个二进制的数字通信系统，主要由1和0两种符号组成，如下图所示，且求条件概率。,1.3随机变量及其分布函数,（一）随机变量的定义设(S,F,P)是一概率空间。对于sS，X(s)是一个取实数值的单值函数。若对于任意实数x，s:X(s)x是一随机事件，亦即s:X(s)xF，则称X(s)为随机变量，并将它简记为X。,1.3随机变量及其分布函数,（二）离散型随机变量及其分布律随机变量的全部可能取值是有限个或可列无限多个，称之为离散型随机变量。离散型随机变量X的概率分布或分布律定义为,显然有,1.3随机变量及其分布函数,（三）连续型随机变量及其密度函数对于随机变量X,若存在非负函数,且有，使X取值于任意区间(a,b)的概率为,称X为连续型随机变量；为X的概率密度，且有如下性质,1.3随机变量及其分布函数,（四）分布函数及其基本性质1.分布函数设X是定义在概率空间(S,F,P)上的一个随机变量，若对于任意的，则X的分布函数定义为,对于任意实数a、b(ab)，有,1.3随机变量及其分布函数,离散型随机变量的分布函数为,式中U(x)为单位阶跃函数；,离散型随机变量的概率密度为,式中,1.3随机变量及其分布函数,连续型随机变量的分布函数为,若F(x)连续可微，则其概率密度为,1.3随机变量及其分布函数,2.分布函数F(x)的基本性质,（1）,（2）F(x)为x的单调递增函数,（3）F(x)是右连续的，即,（4）若X的取值全部在区间(a,b)内，则当时，,当时，,1.3随机变量及其分布函数,例2设随机变量X的分布函数为,求：（1）系数A;(2)X落在区间（0.3,0.7)内的概率；（3）X的概率密度。,解：（1）由于分布函数是右连续的，所以A=1,（2）,（3）,习题,3.随机变量X服从柯西分布,求：（1）系数A和B;(2)落在区间(1,1)内的概率；（3）X的概率密度。,1.4多维随机变量及其概率分布,（一）二维概率分布及其基本性质设X,Y为定义在同一概率空间(S,F,P)上的两个随机变量，则(X,Y)称为二维随机变量，其联合分布函数为,其基本性质如下：,（1）,（2）FXY(x,y)为变量x或y的单调非降函数,（3）FXY(x,y)对变量x或y为右连续,1.4多维随机变量及其概率分布,若二维随机变量(X,Y)的所有可能取值为有限或可列无限对时，则称(X,Y)为二维离散随机变量，其概率分布或分布律定义为,显然其有如下性质：,二维离散随机变量(X,Y)的联合分布函数为,1.4多维随机变量及其概率分布,对于(X,Y)的联合分布函数FXY(x,y)，若存在非负的函数fXY(x,y)，使对任意的x,yR1,有,则称(X,Y)为连续型的二维随机变量，称fXY(x,y)为该(X,Y)的联合概率密度。,1.4多维随机变量及其概率分布,fXY(x,y)有如下性质：,（1）,（2）,（3）若fXY(x,y)在点(x,y)处连续，则有,（4）设G是xoy平面上一个区域，点(X,Y)落在G内的概率为,1.4多维随机变量及其概率分布,例3.给定的通信系统通过某一线路传送二元（如0与1）数码。为方便起见，数码流被分成段（成为字），每个字由相连接的4个数码组成。实践证明：此线路传送的各个数码皆互相独立的，且每个数码是等可能地取0和1。现在，线路接收机记下每个字头两位数码出现1的个数及每个字中出现1的总数。设头两位数码中1的个数用随机变量N2表示，每个字中1的总数用随机变量N4示之。（1）描述一个能定义N2与N4的基本样本空间S。（2）确定区域样本空间与，并求出这些空间上的概率分布。设N为向量其中s是S的任一样本点。（3）确定向量N的范围RN。（4）确定由N在RN上导出的概率分布，并列表示之。,1.4多维随机变量及其概率分布,解（1）对于基本样本空间S，我们列出所有可能出现的四码“字”，如下表。,因为每个数码是等可能地取0和1,故所有16个可能的字皆为等概率的，即：其中某一字出现的概率为1/16。,1.4多维随机变量及其概率分布,续解（2）对于N2,有,同理,因为16个字中4个具有N2=0的属性，故,对于N4,有,1.4多维随机变量及其概率分布,续解（3）现定义,于是,（4）通过计算S上具有所要求属性的样本点的数目，很容易得到其概率分布，故,1.4多维随机变量及其概率分布,例4设(X,Y)的联合概率密度函数,记,求,解：,1.4多维随机变量及其概率分布,（二）边沿分布二维随机变量(X,Y)具有联合概率分布函数FXY(x,y),而随机变量X、Y各自具有分布函数FX(x)、FY(y)，称FX(x)、FY(y)为该(X,Y)关于X、Y的边沿分布函数。边沿分布函数可由联合分布函数来确定,1.4多维随机变量及其概率分布,对于连续型随机变量(X,Y)，可分别得到X,Y的边沿概率密度,对于概率函数的二维离散随机变量(X,Y),有,分别称为(X,Y)关X,Y的边沿概率函数。,1.4多维随机变量及其概率分布,例5设X,Y是一个二维随机变量，其联合概率密度为,其中,求,解,1.4多维随机变量及其概率分布,令,故,1.4多维随机变量及其概率分布,现定义一般二维正态概率密度表示式为,这是一个具有,五个参数的密度函数。,分别是两个边沿密度函数的均值和方差,称X,Y之间的相关系数。,1.4多维随机变量及其概率分布,（三）相互独立的随机变量与条件分布1.相互独立随机变量设(X,Y)为两个随机变量，若有,则称(X,Y)为相互独立的随机变量。,当(X,Y)为为离散型或连续型随机变量时，X与Y相互独立的条件等价为,或,1.4多维随机变量及其概率分布,2.条件分布在条件B下，随机变量X的条件分布函数定义为,对于连续型随机变量，其条件概率密度为,若事件,则有,1.4多维随机变量及其概率分布,若X,Y为连续型随机变量，且y0，则有,同理可得,1.4多维随机变量及其概率分布,例6设随机变量(X,Y)服从二维正态分布求：条件概率密度,解：已知二维正态概率密度为,前面已求得边沿概率密度为,1.4多维随机变量及其概率分布,则有,同理有,这两式说明在X=x条件下，Y的条件概率密度函数为正态分布和在Y=y的条件下，X的条件概率密度函数也为正态分布,1.4多维随机变量及其概率分布,（四）多维正态概率密度的矩阵表示法二维正态随机变量(X1,X2)的概率密度为,则其矩阵表示式为,式中,为协方差阵,1.4多维随机变量及其概率分布,在n维正态随机变量的情况下，定义,于是概率密度矩阵表达式为,习题,4.设二维随机变量(X,Y)的联合概率密度为,（1）求随机变量X和Y的边沿概率密度；,（2）随机变量X和Y是否统计独立？为什么？,习题,5甲乙两列火车在0,60分钟内的某个时刻到达火车站，并分别停留3、6分钟。在此时间间隔内的任易时刻，两列火车是等可能到达的，且它们到达的时刻互不相关。设随机变量X,Y分别为甲乙列火车的到达时刻，则它们的二维概率密度函数为,试求（1）联合分布函数FXY(x,y);（2）边沿分布函数FX(x),FY(y)及边沿概率密度fX(x),fY(y);（3）甲列火车在30分钟之前到站的概率；（4）乙列火车在3945分钟到站的概率；（5）甲列火车在乙列火车之前达到的概率。,1.5随机变量函数的分布,定义在(S,F,P)上的随机变量X,其函数Y=g(X)可看成是从样本空间SX到值域空间的映射，那么g(X)也是(S,F,P)上的随机变量，并称g(X)为随机变量X的函数。此时随机变量Y的分布函数可写成,若上式对y处处连续可微，则Y的概率密度微,1.5随机变量函数的分布,（一）单个随机变量函数的分布若Y=g(X)是离散型随机变量X的函数，即：不同的X值对应着不同的Y值，那么，X与Y取对应值的概率是相同的：,如果X为连续型随机变量，其概率密度为fX(x)；而有y=g(x)可微且为单调函数，其反函数x=h(y)也是单调的。这时，Y=g(X)的概率密度为,如果y=g(x)不是单调函数，它的反函数x=h(y)也非单调的，并设一个Y值对应着两个X值（x1=h1(y),x2=h2(y)，则Y=g(X)的概率密度为,1.5随机变量函数的分布,例7设一简单的电路，如图1.4所示，电流源发出恒定电流I=2A，电阻值R1为准确值20，电阻R2设计为50，但实际值为一均匀分布于4555之间的随机变量。求FV(v),fV(v)。,1.5随机变量函数的分布,解：电压值为,电阻R2概率密度,即,1.5随机变量函数的分布,例8设随机变量服从均匀分布,求Y=sinX的概率密度函数,解：SinX的函数一个Y值对应两个X值。在0,区间,在,0区间,因此是一个非单调函数变换,1.5随机变量函数的分布,（二）二维随机变量函数的分布设二维随机变量(X1,X2)具有联合概率密度现需求新的随机变量若反变换函数,是唯一的确定，即(X1,X2)与(Y1,Y2)为单值变换，则有,式中雅可比因子,1.5随机变量函数的分布,借助于二维随机变量的变换，可以给出两个随机变量的和、差、积、商的分布密度,1.令U=X+Y，则,2.令U=Y-X，则,3.令U=XY，则,4.令U=Y/X，则,1.5随机变量函数的分布,若X与Y统计独立时，以上四式可独立表示。即,1.5随机变量函数的分布,（三）n维随机变量函数的分布设n维随机变量具有联合概率密度令g(.)为一一对应的连续可微的向量变换，它将映射为一新的n维随机向量Y=g(X)，若其逆变换X=h(Y)，则有,式中雅可比因子,1.5随机变量函数的分布,例9设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量。通过旋转变换，得到两个新的随机变量Y1,Y2,其坐标变换关系如下：,求Y1,Y2的联合概率密度。,解：它们的逆变换关系为,1.5随机变量函数的分布,由这些变换关系求出雅可比变换为,X1,X2的联合概率密度为,Y1,Y2的联合概率密度为,习题,1.6设随机变量X服从均匀分布,求Y=cosX的概率密度函数。,1.7设X是一个二维随机向量，其分量X1,X2是两个独立的随机变量，变化到极坐标以后，分量的变换关系如下：,求随机向量的模Z和相位的联合概率密度以及随机变量Z和各自的概率密度,1.6随机变量的数字特征,（一）随机变量的数学期望（或均值）离散随机变量X的数学期望定义为,连续随机变量X的数学期望定义为,当使用函数表示离散或混合随机变量的概率密度时，上式的定义便适用于所有的随机变量。,1.6随机变量的数字特征,（二）随机变量函数的期望值设随机变量X的函数Y=g(X),若X为离散或连续随机变量，则Y的数学期望为,或,同样引用用函数表示离散或混合随机变量的概率密度后，后式的定义便适用于所有的随机变量。,1.6随机变量的数字特征,数学期望有如下重要性质：,推广之有,（1）若Y=aX1+bX2(a,b皆为常数），则有,（2）若Y=g1(X1)g2(X2)，且X1与X2统计独立，则有,（3）一般而言,1.6随机变量的数字特征,（三）条件数学期望对于二维离散随机向量(X,Y),定义,为随机变量Y在X=xi条件下的数学期望。因此，Y的非条件均值为,对于二维连续随机向量(X,Y),定义,为Y在X=x条件下的数学期望。并有,1.6随机变量的数字特征,若X为离散随机变量，Y为连续随机变量，则我们定义,由此可得,条件期望有如下性质：,（1）当随机变量X与Y相互独立，有,（2）,1.6随机变量的数字特征,证：,1.6随机变量的数字特征,（3）,只需验证对于任意固定的y有,（4）,（5）,（6）,（7）,（a,b皆为常数）,1.6随机变量的数字特征,（四）随机变量的各阶矩离散和连续随机变量X的k皆原点矩分别为,它们的k阶中心矩分别为,1.6随机变量的数字特征,中心矩与原点矩有下述关系,故可得,1.6随机变量的数字特征,离散和连续二维随机变量(X,Y)的(j+k)阶联合原点矩mjk(j、k皆为正整数）分别定义为,它们的(j+k)阶中心矩分别为,1.6随机变量的数字特征,而二阶混合中心矩,称为随机变量X和Y的协方差。X与Y的相关系数（或归一化协方差）定义为,rXY=1时，表示随机变量X,Y强烈相关；rXY=0时，表明X,Y之间不相关。,1.6随机变量的数字特征,1.统计独立与不相关若两个随机变量可分解为,则X,Y统计独立。如果X,Y统计独立，则有KXY=0,也就是X,Y不相关。反之则不然。但是对于两个正态随机变量，不相关与统计独立是等价的。,1.6随机变量的数字特征,例10.设Z是一随机变量，具有均匀概率密度,在设X=sinZY=cosZ,所以X,Y是不相关的随机变量。但是，经计算,故存在,所以X,Y是不独立的随机变量。,1.6随机变量的数字特征,2.正交随机变量若两个随机变量X与Y的二阶矩EXY=0或则称X与Y正交。如果两个随机变量正交，且至少有一个随机变量的均值为零，这时正交与不相关是一致的。,1.6随机变量的数字特征,例11.设随机变量X服从二项分布求数学期望和方差。解:,1.6随机变量的数字特征,1.6随机变量的数字特征,例12.(二项分布的数学期望与方差的简单求法）设X1,X2,Xn是独立同分布的随机变量序列，而且P(Xk=1)=p,P(Xk=0)=q=1-p(k=1,2,n)，X=X1+X2+Xn就遵从二项分布。于是有,1.6随机变量的数字特征,例13.一只小猫不幸陷进一个有三扇门洞的大山中，第一个门洞通到一条通道，沿此通道走2小时后它可到达地面。第二个门洞通到另一个通道，沿它走3小时会使小猫重新回到这大山洞中。第三个门洞通到第三个通道，沿它走5小时后，也会使小猫又回到这大山洞中。假定这只小猫总是等可能地在三个门洞中任意选择一个，请计算这只小猫到达地面的时间的数学期望。解:设Y表示这只小猫最初选择的门洞（编号为1，2，3），故它只取这三个值1，2，3，则,1.6随机变量的数字特征,同理,故,得,Y=1时，则。Y=2时，可得X=3+X,其中X这只小猫重新回到大山洞后再找到地面所需的附加事件。但一旦小猫回到大山洞后，问题与以前完全相同，故X和X有相同分布。所以,1.6随机变量的数字特征,例14.设两个随机变量X,Y的联合概率密度为。,试求：（1）X与Y不相关时的所有A值；（2）X与Y统计独立时所有A值。,解：（1）X与Y不相关时应满足,现计算上式各个期望,故A为2.5或1时，X与Y不相关。,1.6随机变量的数字特征,续解：（2）因为在X与Y统计独立时，它们必定不相关，故只需检验A=2.5和A=1这两个值即可。1）在A=2.5时，因为,故,即：A=2.5时，X与Y不统计独立,1.6随机变量的数字特征,续解：2）在A=1时，因为对所有的j,k，皆有,故,即：A=1时，X与Y统计独立的。,例如：j=k=2时，由于,习题,1.8设离散型随机变量X的可能取值-1,0,1,2，每个取值的概率均为0.25。有设随机变量Y为Y=g(X)=X3-X（1）确定随机变量Y的可能取值；（2）确定做Y的概率分布；（3）求EY。,1.10设随机变量X的均值为3，方差为2，现定义新的随机变量Y=-6X+22，试问随机变量X与Y是否正交、不相关？为什么？,1.9假设物种在第0代只有一个个体，它所繁衍的第1代子女数为一随机变量，其可能取值为0,1,2，分布为P(N=n),n=0,1。假设每个第1代子女又可独立再繁衍子孙，其繁衍的子孙数也服从同一分布P(N=n),n=0,1假设随机变量N的期望为a，求第2代子孙的总数的期望值。,1.7随机变量的特征函数,（一）特征函数的定义设X是定义在概率空间(S，F，P)上的随机变量，它的分布函数为FX(x)，称的数学期望为X的特征函数。,离散和连续随机变量X的特征函数分别定义为,特征函数和概率密度函数一一对应。,1.7随机变量的特征函数,例15.设随机变量X服从正态分布N(mX,2)，求其特征函数。解：作变换则注：最后这个等式利用了这