第二章-随机过程引论.ppt

1、2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,第二章 随机过程引论,2.4 随机过程的特征函数,2.5 随机过程的微积分,2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,第二章 随机过程引论,2.4 随机过程的特征函数,2.5 随机过程的微积分,随机对象,当样本空间为一维实数集合时，则称该一维实变量为随机变量 当样本空间为一维复数集合时，则称该一维复数变量为复随机变量 当样本空间为高维实数空间时，则称该高维实数空间为随机向量 当样本空间为定义于某个数集上的函数组成，则称该函数集合为随机过程,三个概念可以统一在“随机对

2、象”一个概念里。,2.1 随机过程的概念和定义,概率空间和随机对象,概率空间(S,B,P),随机变量,随机向量,随机过程,样本空间,2.1 随机过程的概念和定义,简单地说,随机变量、随机向量、随机过程就是个数上有不同：一个、n个、无穷个。考察一次试验，若试验结果只需要一个数（变量）就可以表示，则随机对象是随机变量；若试验结果需要n个数表示，则随机对象是随机向量；若试验结果需要无穷个数表示，则随机对象是随机过程，此时每个样本点是一个t的函数。,2.1 随机过程的概念和定义,一般情况下，随机过程X(t)往往是有实际意义的，例如上面的“t时刻的天气温度”等。 t 往往有时间的意思。实际上，随机过程这

3、个概念就是为了研究动态的随机变量而引入的。,例: 热噪声电压 电子元件或器件由于内部微观粒子(如电子)的随机热骚动所引起的端电压称为热噪声电压, 它在任一确定时刻t的值是一随机变量, 记为V(t). 不同时刻对应不同的随机变量, 当时间t在某区间, 譬如0,+)上推移时, 热噪声电压表现为一族随机变量, 记为(V(t), t0)。在无线电通讯技术中, 接收机在接收信号时, 机内的热噪声电压要对信号产生持续的干扰. 通过某种装置对元件两端的热噪声电压进行长期测量, 并记录结果, 作为试验结果, 得到一电压-时间函数.,2.1 随机过程的概念和定义,多次试验得到多个电压函数,tj,2.1 随机过程

4、的概念和定义,多次试验得到多个电压函数,2.1 随机过程的概念和定义,以N台性能完全相同，而且工作条件也完全一致的接收机输出端的噪声电压波形为例，随机过程表示为,2.1 随机过程的概念和定义,2.1 随机过程的概念和定义,随机相位信号,观察具有随机振幅 或随机相位 的电压波形,随机振幅信号,从两个随机信号可知，若对该电压输出的波形进行一次观测，可得到确定的一个关于t的函数，但对其变化过程重复独立的进行多次观测，每次得到的结果都不相同,11,自然界事物的变化分为两大类：确定性过程和随机过程。,确定性过程： 1）每次试验得到的观测过程都相同 2）具有确定形式的变化过程， 或可用一个时间t的确定函数

5、表示,随机过程： 1）每次试验得到的观测过程都不同 2）没有确定的变化形式 或不能用一个时间t的确定函数表示,2.1 随机过程的概念和定义,随机过程的数学定义： 设随机试验E的可能结果为(t)，试验的样本空间S为x1(t), x2(t)， , xn(t),， xi(t)是第i次试验的样本函数或实现，每次试验得到一个样本函数，所有可能出现的结果的总体就构成一随机过程，记作(t)。 两层含义： 随机过程(t)在任一时刻都是随机变量； 随机过程(t)是大量样本函数的集合。,2.1 随机过程的概念和定义,13,定义:设随机试验E的样本空间为S=，对其每一个元素 都以某种法则确定一个样本函数 ，由全部元

6、素所确定的一族样本函数 称为随机过程，简记为,定义: 设有一个过程X(t) ，若对于每一个固定的时刻 是一个随机变量，则X(t)称为随机过程。,2.1 随机过程的概念和定义,为了简便起见，随机过程常省略代表试验结果的参量。随机过程常用大写字母 表示，样本函数常用小写字母 表示,随机信号的一般表征,四种不同情况下的意义,2.1 随机过程的概念和定义,随机过程的三种理解方法,一、随机过程是样本空间为函数集的概率空间 二、随机过程是随时间参变量变化的一族随机变量，或者说，随机过程是自变量为t，取值为随机变量的函数。 三、在信号与系统中，若输入信号f(t)不是确定取值而是随机时， f(t)就是个随机过

7、程，而输出信号y(t)当然也是随机过程（信号）。,2.1 随机过程的概念和定义,例 生物群体的增长问题 在描述群体的发展或演变过程中，以X(t)表示在时刻t群体的个数，则对每一个t=0,1,2, X(t)是一个随机变量，假设我们从0开始每隔24小时对群体的个数观测一次，则： X(t)| t=0,1,2,是一个随机过程。 例 某电话交换台在时间段0，t内接到的呼唤次数是与t有关的随机变量X(t),对于固定的t, X(t)是一个取非负整数的随机变量,故X(t)| t0,a是一个随机过程。 例 在海浪分析中,需要观测某固定点处海平面的垂直振动。设X(t)表示在时刻t该处的海平面相对于平均海平面的高度

8、，则X(t)是一个随机变量, X(t)| t0,+)是一个随机过程。 t0),2.1 随机过程的概念和定义,随机过程的分类,时间指标上分类 连续时间随机过程 离散时间随机过程 随机变量的取值（状态）上分类 离散状态随机过程 连续状态随机过程,T 离散、S 离散 T 离散、S 连续 T 连续、S 离散 T 连续、S 连续,参数T状态S分类,2.1 随机过程的概念和定义,连续信号和离散信号,例：f (t) 表示 t 时刻气温，f (k)为整点气温，f1(k)为记录值。,2.1 随机过程的概念和定义,数字信号：时间和幅值均为离散,模拟信号：时间和幅值均为连续,抽样信号：时间离散，幅值连续,量化,抽样

9、,例：f (t) 表示 t 时刻气温。f (k)为整点气温，f1(k)为记录值。,2.1 随机过程的概念和定义,按照时间和状态是连续的还是离散的分类 连续型随机过程：时间和状态都连续，如噪声电压,2.1 随机过程的概念和定义,按照时间和状态是连续的还是离散的分类 离散型随机过程：时间连续，状态离散，如硬限幅电路输出的随机过程,2.1 随机过程的概念和定义,按照时间和状态是连续的还是离散的分类 连续随机序列：时间离散，状态连续，如可通过对连续随机过程等间隔采样得到,2.1 随机过程的概念和定义,按照时间和状态是连续的还是离散的分类 离散随机序列：时间和状态都离散，如对连续型随机序列再进行量化,2

10、.1 随机过程的概念和定义,随机过程的分类,按过程的概率特征分类 正态过程 2维 独立随机过程 1维 独立增量过程(齐次) 2维(1维) Markov过程 2维 平稳随机过程 n维 Poisson过程 1维 Wiener过程 1维 ,2.1 随机过程的概念和定义,例1,2.1 随机过程的概念和定义,2.1 随机过程的概念和定义,2.1 随机过程的概念和定义,2.1 随机过程的概念和定义,例5：考虑抛掷一颗骰子的试验：,2.1 随机过程的概念和定义,例5：考虑抛掷一颗骰子的试验：,2.1 随机过程的概念和定义,2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,

11、第二章 随机过程引论,2.4 随机过程的特征函数,2.5 随机过程的微积分,2.2 随机过程的概率分布,随机过程的分布函数,随机过程的概率密度函数,2.2 随机过程的概率分布,随机过程的分布函数,2.2 随机过程的概率分布,随机过程的分布函数,一、随机过程的分布函数,一维分布函数,分布函数,一维概率密度,Home,如何描述随机过程的统计特性？,如何描述随机变量的统计特性？,2.2 随机过程的概率分布,二维分布函数,联合分布函数,二维概率密度,2.2 随机过程的概率分布,n 维分布函数,联合分布函数,n维概率密度,2.2 随机过程的概率分布,有限维分布族具有对称性、相容性，Kolmogorov定

12、理（随机过程的存在性定理，证明参看王梓坤随机过程）,有限维分布族,一维，二维，n维分布函数的全体,易知,2.2 随机过程的概率分布,一个随机过程的有限维分布族性质,对称性：对 的任一排列 ， 有 相容性：对 ，有,2.2 随机过程的概率分布,上海财经大学统计学系,40,柯尔莫哥洛夫定理 设分布函数族 满足上述的对称性和相容性，则必存在唯一的一个随机过程 ，使 恰好是 的有限维分布族。,2.2 随机过程的概率分布,概率函数族,一个随机过程只有通过概率函数族才能得到完全描述 相容性：概率函数族中，从高维概率函数可以得到低维概率函数 从低维概率函数族不能得到高维概率函数族 不仅揭示了随机过程在时间变

13、化过程中的概率分布的变化，而且可以揭示前后随机变量之间的关联 *特殊的随机过程才能用有限阶的概率密度函数表示（如Markov过程、独立同分布过程等）,2.2 随机过程的概率分布,联合分布函数,n + m维随机向量,分布函数,称为随机过程X(t)和Y(t)的n + m维联合分布函数,2.2 随机过程的概率分布,相互独立,分布函数,则称随机过程 相互独立,2.2 随机过程的概率分布,分析,先求概率密度,2.2 随机过程的概率分布,所以,解,2.2 随机过程的概率分布,例：,2.2 随机过程的概率分布,例：,2.2 随机过程的概率分布,2.2 随机过程的概率分布,随机过程的概率密度函数,同随机变量的

14、情况一样，如果随机过程X(t)的分布函数存在着 对x的偏导数，则定义随机过程X(t)的一维概率密度为：,对于随机序列X(n), 它的一维概率密度为：,随机过程的一维分布律只表征该随机过程在一个固定时刻t上的统计特性。,2.2 随机过程的概率分布,2.2 随机过程的概率分布,例 (脉宽调制信号),2.2 随机过程的概率分布,随机过程的描述,完全描述 概率函数族（五种：分布、密度、质量、特征、生成函数） 部分描述 均值函数 自相关函数、协相关函数,2.2 随机过程的概率分布,2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,第二章 随机过程引论,2.4 随机过程

15、的特征函数,2.5 随机过程的微积分,60,数学期望,随机过程的均值是 时间t的函数，称为 均值函数,2.3 随机过程的数值特征,61,统计均值是对随机过程中所有样本函数在时间t的所有取值进行概率加权平均，所以又称为集合平均。它反映了样本函数统计意义下的平均变化规律， 是所有样本函数在各个时刻摆动的中心。,数学期望,2.3 随机过程的数值特征,62,统计均值是对随机过程中所有样本函数在时间t的所有取值进行概率加权平均，所以又称为集合平均。它反映了样本函数统计意义下的平均变化规律， 是所有样本函数在各个时刻摆动的中心。,数学期望,2.3 随机过程的数值特征,均值,细实线是样本函数,粗实线是数学期

16、望,随机过程的数学期望是随机过程在某时刻t的统计平均，每个样本函数都在它的上下摆动。,2.3 随机过程的数值特征,64,方差,均方值,2.3 随机过程的数值特征,65,均方值和方差都是时间t的函数,2.3 随机过程的数值特征,方差,方差描述的是随机过程所有的样本函数相对于数学期望的离散程度。,2.3 随机过程的数值特征,67,方差,均值与方差的物理意义：,消耗在单位电阻上的总的平均功率,平均交流功率,平均直流功率,-单位电阻上的电压,/1-消耗在单位电阻上的瞬时功率, 2/1-消耗在单位电阻上的瞬时交流功率,E 2/1-消耗在单位电阻上的瞬交流功率的统计平均值,2.3 随机过程的数值特征,68

17、,自相关函数（重点）,描述了整个随机过程任意两个不同时刻的内在关系：线性相关性,若,2.3 随机过程的数值特征,自相关函数的物理意义,1、自相关函数可正可负，其绝对值越大，表示相关性越强。一般说来，时间相隔越远，相关性越弱，自相关函数的绝对值也越弱，当两个时刻重合时，其相关性应是最强的，所以RX(t,t)最大。,不相关,若：,2.3 随机过程的数值特征,自相关函数的物理意义,2、反映不同随机过程的波形变化,2.3 随机过程的数值特征,自相关函数,表征了随机过程在任意两个时刻之间的关联程度,72,自协方差函数,若,中心化自相关函数,自相关系数,2.3 随机过程的数值特征,2.3 随机过程的数值特

18、征,2.3 随机过程的数值特征,2.3 随机过程的数值特征,续,2.3 随机过程的数值特征,78,随机过程的不相关和独立以及正交的关系,时刻的状态是相互独立的。,和,正交,正态随机过程,79,若,均值和自相关函数是随机过程最基本的特征,2.3 随机过程的数值特征,80,x1(t),x2(t),x3(t),x4(t),t1 t2,6 5 4 3 2 1,例2.1 一个随机过程由四条样本函数构成，每条样本函数等概，时刻t1，t2上各条样本函数的取值给定，求,2.3 随机过程的数值特征,82,互相关函数,3）两个随机过程的相关特性,描述两个随机过程任意两个时刻之间的统计关联性,2.3 随机过程的数值

19、特征,83,互协方差函数：,中心化互相关函数,描述两个随机过程任意两个时刻之间的统计关联性,2.3 随机过程的数值特征,85,两个随机过程的独立，不相关和正交,不相关,正交,2.3 随机过程的数值特征,2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,第二章 随机过程引论,2.4 随机过程的特征函数,2.5 随机过程的微积分,1 一维特征函数,随机过程 在任一特定时刻t的取值是一维随机变量，其特征函数为:,其反变换为：,的n阶原点矩,2.4 随机过程的特征函数,2 二维特征函数,其反变换为：,2.4 随机过程的特征函数,3 n维特征函数,2.4 随机过程的特

20、征函数,2.1 随机过程的概念和定义,2.2 随机过程的概率分布,2.3 随机过程的数值特征,第二章 随机过程引论,2.4 随机过程的特征函数,2.5 随机过程的微积分,2.5.1 随机过程的连续性,预备知识：,对于确定性函数 ， 若,则 在 处连续。,2.5 随机过程的微积分,随机过程 连续性定义,如果随机过程 满足,则称 依均方收敛意义下在t点连续，简称随机过程 在t点均方连续。,2.5 随机过程的微积分,随机过程 的相关函数连续，则 连续,因此，如果对 时刻，函数 在 点上连续，则随机过程 必在点t上连续。,2.5 随机过程的微积分,随机过程 均方连续，则其数学期望连续,证：,由均方连续的定义， ，则不等式左端趋于0，那么不等式的右端也必趋于0（均值的平方不可能小于0）,设,2.5 随机过程的微积分,即：,注意 为确定性函数，由预备知识，可知连续。,可将此结果写成,2.5 随机过程的微积分,2.5.2 随机过程的导数,预备知识： 对于一般确定性函数，高等数学给出的可导定义如下：,一阶可导：,如果 存在，则 在t处可导，记为 。,2.5 随机过程的微积分,二阶可导：,存在，则 二阶可导，记为,若,2.5 随机过程的微积分,随机过程可导的定义,如果随机过程 满足