~整理版~全部的随机过程.ppt

随机过程,第一章随机过程基本概念,自然界和现实生活中发生的现象一般分为两类现象，一类为确定性现象，另一类为不确定性现象。何谓确定性现象呢？如果我们向上抛一支粉笔，则该粉笔必然下落；水在100必然会开；同性相斥，异性相吸等等，这类现象称为确定性现象。大学一二年级所学的微积学、代数、议程等主要是研究确定性现象。对于确定性现象又可称为必然现象。必然现象的主要特点是条件和结果之间存在着必然联系，即条件具备，某种结果必然发生，因此我们可由条件预测结果。,而另一类现象在自然界社会工程中也是经常出现，即不确定性现象，又可称为随机现象，或偶然现象，其特点是条件和结果之间不存在的必然联系，无必然的因果关系，因此不能用必然条件的方法来加以定量研究。如，在相同条件抛同一枚硬币，其出现的结果可能有两种，正面或反面，但最终结果到底是正面还是反面不能预先断言。又如商店每天的营业额，一天中不同时刻的气温等这些现象都是不确定现象。由于不确定现象不存在因果关系，是不是它们就没有规律可研究呢？事实上，人们经过长期实践研究后发现，虽然随机现象就每一次试验结果来说具有不确定性，但在相同条件下大量重复试验其结果就呈现出某种规律性，著名的蒲丰试验表明在相同条件下大量重复抛一枚硬币出现正面的次数大致等于出现反面的次数。,上述事实表明，随机现象从一次试验上看，似乎没有什么规律存在，但当它们大量出现时，从总体上讲却呈现出一种总体规律性，这就是统计规律，这种统计规律的存在，就是随机数学的研究基础。因此今后我们在随机数学中，一说“统计规律”时大家就要想到大量重复的试验。概率统计随机过程就是研究随机现象是否具有统计规律性的一门数学学科。统计方法的基本思想是从一组样本分析、判断整个系统的状态，或判定某一论断以多大的概率来保证其正确性，或算出发生错误判断的概率，简言之就是“由局部推测总体”，“由特殊来研究一般”，是归纳法的具体应力。,为了研究随机现象，下面我们首先需要给出如下几个定义解释：,随机试验：具有下述三个特点的试验称为随机试验。可以在相同的条件下重复进行。每次试验的可能结果不止一个，并且能事先确定试验的所有可能结果。每次试验前不能确定哪个结果会出现。随机事件：随机试验的所有可能出现的结果。必然事件：随机试验中必然发生的事情。注意：必然事件和不可能事件不是随机事件，但为了今后讨论，我们把它作一种特殊的随机事件。,样本空间：随机试验中所有可能出现的结果(事件样本)，组成的集合叫做随机试验的样本空间，记为S。随机变量：设E是随机试验，它的样本空间S=e，如果对于每一个，都有一个实数X(e)与之对应，则X为定义在S上的随机变量。有了随机变量我们就可以在一定的统计意义下，定量地用随机变量描述随机现象的变化规律，从而达到认识世界和改造世界的目的。再者，引入了随机变量，我们可以利用数学分析的方法更好地研究随机现象。由此我们可以简单的说概率统计的研究对象就是研究随机世界(空间)中随机变量的变化规律，为此我们自然需要考虑建立随机变量的“函数关系”，这个“函数关系”在随机数学中我们一般用随机变量的分布函数、或者分布律及数字特征等来描述。,1.1随机过程的概念引入,我们知道，在自然界中的变化过程可以广义地分为两类。一类为确定性过程，另一类为不确定性过程或随机过程。何谓过程呢？通俗讲凡和时间有关的变化称为过程。例如真空中的自巾落体运动，假定初速为零，则有,这个函数关系确定了物体在任意时刻离开初点的精确位置，存在必然确定的因果关系，显然X与时间t有关，构成一个过程。这个过程我们把它称为确定性过程。另一类过程是没有确定的变化形式，没有必然的变化规律，如商店每天的营业额M，显然是一个不确定量即随机变量，进一步分析知该营业额M还和时间t有关，即M(t)，由此M构成一个过程，这里称这个过程为随机过程；又如传呼台传呼小组每天接到传呼的次数，X显然不能确定，即为随机变量，进一步分析知这个X还和时间t有关，即X(t)，所以X(t)也构成一个过程，即随机过程；类似地，气温、气压、商店每天的顾客流量等都构成一个随机过程。,下面我通过一个具体的过程实例来导出随机过程一般的数学定义。,设有一电子直流放大器,其中U(t)为输入信号，K为放大器，也表示对输入信号U(t)的放大倍数，X(t)为放后的输出信号。,显然对于该放大器，当U(t)=0，也就是没有输入信号时，X(t)应为零，但是由于放大器内部元件以及外部电磁波等各种干挠的影响，使得当U(t)=0时，输出U(t)0，由此造成所谓的输出零点漂移。,进一步分析发现这个输出零点漂移在相同条件，比如每天的某一时刻进行观测，如果我们观测是了n天，就可得n条输出零点漂移曲线，把这些曲作出，如图1.2所示。,可以发现这些曲线形态不一样，即每条曲线各不相同，不能用统一的确定函数表示，但它们都是时间t的函数即零点漂移构成一个随机过程记为X(t)，也可以说这些曲线的全体（时间函数的全体）集合就构成了一个零点漂移随机过程，即X(t)=x1(t),xn(t)，其中每一曲线xi(t)又可称为随机过程的样本曲线函数（时间函数），i=1,2,n。显然，由图1.2所所示的在一次实验结果中，随机过程必取一个样本函数，但究竟取哪一个函数则在试验前不能确定，但是在大量的重复实验中，可知道随机过程呈现出统计规律性。因此直观地讲，随机过程既是时间t的函数，也是试验可能结果e的函数，记为X(t,e)。,进一步分析可以看出对于随机过程X(t)=x1(t)。当我们取定t=ti时刻时有由图1.2可以看出，取值各不相同，没有必然的规律。若把x1(ti),xn(ti)看成是随机过程X(t)在时刻ti的各种可能取值，很显然X(ti)是一个随机变量。,在地震勘探工作中，我们通过检波器把混有随机干扰的随时间变动的地层结构信号记录下来，如图1.3所示。,在O点放炮，在A点记录仪把接收到的混有干扰的地震信号波记录下来，我们在相同条件下做了n次记录，则可得n个彼此有差异的地震波形（曲线）。如在时间t0观察它们的信号波的值X(t0)是一个随机变量，也就是说，混有随机干扰的地层结构信号波构成一个依赖于时间t的随机过程。定义随机过程：设E是随机试验，它的样本空间是，若对于每一个，总有一个确定的时间函数与之对应。这样对于所有，就可能得到一族时间t的函数，称为随机过程，族中的每一个函数称为这个随机过程的样本函数。,由定义可知，对于一个特定的试验结果，总有一个确定时间函数。该函数是普通意义下确定的时间函数（样本函数），又由定义知，当取定与e有关，由于是一个随机变量，如果让变动，可得一族随机变量。因此从这个意义上讲随机过程又可看成是依赖于时间t的一族随机变量。由此可给出下面另一种形式的随机过程定义。为简便起见，省略e，用表示随机过程。如是对于每一给定的都是随机变量，则X(t)是一个随机过程。或者说，随机过程是依赖于时间的一族随机变量。随机过程的两种定义本质是一致的，一般在理论分析采用第二定义，在实际应用中采用第一定义。,1.2随机过程的分类,1.按随机变量和指标集类型分类（1）连续型随机过程：对于随机过程X(t,e)，如果随机变量X(e)是连续变化的，也是连续变化的，则称X(t,e)为连续型随机过程。注意这里指标集为0t+，or。如正弦波随机过程。（2）离散型随机过程：对于随机过程，如果取值离散，而t是连续，则称为离散型随机过程，如电报信号过程。也可简单地说时间连续，状态离散。,（3）连续型随序列：对于随机过程，如果连续，而是离散变化，如或，则称为连续型随机序列，也就是时间离散，状态连续。（4）离散型随机序列：对于随机过程，如果状态离散，时间t也是离散，则称为离散型随机序列。注意，为了适应数字技术的需要，对连续型随机过程进行量化、分层，就得离散随机序列。如伯努力试验、随机游动等。,2.按随机过程功能分类平稳过程；高斯过程；马尔可夫过程；二阶过程；独立增量过程；维也纳过程；白噪声过程等。其它过程还很多，如泊松过程、分枝过程、更新过程、生灭过程等。,1.3随机过程的描述,我们知道概率统计的研究对象是随机变量的变化规律，由此我们需要建立随机变量的数学模型或称函数关系，这里函数关系在概率统计中就叫分布函数（或称概率密度函数）。类似的，随机过程也是要研究X(t)的变化规律，进而建立随机过程的数学模型或函数关系，下面我们来分析如何建立所谓随机过程的函数关系。对于一个随机过程X(t)，严格地说我们不能在图上用一条曲线简单地表示一个过程，因为按随机过程的定义，该随机过程可表为：,为了研究随机过程的变化规律，我们暂且假定随机过程可以在图上用一条曲线来表示，如图1.4。当然这条曲线不能作为具体的样本函数，而应把它看作全部可能样本函数的集合。,图1.4,现在我们动用记录器来记录X(t)的变化过程，由于记录器不可能连续地记下过程，而只能记下过程X(t)在确定时刻下的状态。前面已讲过，在确定的时刻t上，随机过程变成为通常的随机变量，于是记录器在时刻，就记录下相应的结果。显然，当记录器的速度相当快时，即时间间隔很小（或n很大）时，我们可用这n个随机变量的变化来描述随机过程的变化规律。这样，在一定的近似程度下，我们可以通过研究多维随机变量的变化规律，即分布函数关系来代替研究随机过程的变化规律，由此进而建立起近似随机过程的数学模型。,定义一维分布函数：对于随机过程X(t)，当取定时，为随机变量，该随机变量X(t1)的分布函数记为则称为随机过程X(t)的一维分布函数。同随机变量一样，若对x1的偏导数存在，则有,这里称为随机过程的一维概率密度。,例1.1求随机过程的一维概率密度函数，式中是常数，x是一个服从标准正态分布的随机变量。,解对于任意取定时间是一个随机变量，由随机过程的一维分布函数及一维概率密度函数定义知又,注意，的二元函数，又可称为是时刻的状态,结合概率统计知识，显然随机过程X(t)的一维分布函数、一维概率密度具有普遍随机变量分布函数和概率密度函数的各种性质。惟一的差别是随机过程的一维分布函数和一维密度都是时间t的函数，即是一个动态的分布函数和概率密度。由上面的分布知随机过程的一维分布函数仅仅描述了随机过程X(t)在t=(t1)时刻所对应的一个状态X(t1)的变化规律。显然此时由随机过程的一维分布函数来近似描述X(t)的变化规律，其数学模型误差太大。为了比较全面地描述随机过程X(t)的变化规律，我们引入随机过程的二维分布函数。,定义随机过程的二维分布函数：,对于随机过程X(t)在任意两个时刻两个随机变量（两个状态），我们把这两个随机变量的二维分布函数记为：,称为随机函数过程X(t)的二维分布函数。,若对的二阶偏异数存在，则有,称之为随机过程X(t)的二维概率密度。,随机过程的二维分布函数比一维分布函数包含了随机过程变化规律更多的信息，但它仍不能完整地反映出随机过程的全部特性及变化规律。用同样的方法，我们可以引入随机过程X(t)的n维分布函数和n维概率密度。,显然，当n取得愈大，随机过程X(t)的n维分布函数就愈能描述随机过程的变化规律及其统计特性。,还需要指出，在实际工程中还会遇到需要同时研究两个或两上以上随机过程的变化规律，如商店每天营业额M(t)和顾客流量Q(t)相互间的关系及其变化规律。类似地，我们可引入两个随机过程X(t)，Y(t)的联合分布函数与联合概率密度函数定义。,同理，,仿概率统计的性质,性质1.1若相互独立，则这里我们要告诉大家在实际工程中，要想通过将n取得很在来得到过程的我维分布函数进而用多维分布函数作为X(t)的数学模型，理论上可行，但实际操作很复杂。,习题一,1.若随机过程，式中A为（0，1）上均匀分布的随机变量，求X(t)的一维概率密度。2.设随机过程，其中振幅A及角频率均为常数，相位是在上服从均匀分布的随机变量，求X(t)的一维分布。,第二章随机过程的数字特征,从上面的分析可知，对于一个随机过程X(t)，要研究它的变化规律，常常需要建立起它的“函数关系”，也就是建立随机过程的多维分布。因为随机过程X(t)的多维分布可以比较全面地描述随机过程的整个变化规律的统计特性，但要建立过程的分布函数一般比较复杂，使用也不便，甚至不可能。,怎么办呢？事实上，在许多实际应用中，当随机过程的“函数关系”不好确定时，我们往往可以退而求其次，像引入随机变量的数字特征一样，引入随机过程的数字特征。用这些数字特征我们认为基本上能刻划随机过程变化的重要统计规律，而且用随机过程的X(t)的数字特征，又便于运算和实际测量。显然，对于随机变量X，它的的数字特征我们主要介绍了数学期望、方差、相关函数来描述随机过程X(t)的主要统计特性。,例2.1设随机变量X具有概率密度,求,解：,注意：随机变量的数字特征计算结果是一个确定的数。而随机过程的数字特征不是数，是一个关于时间的确定函数。,2.1随机过程X(t)的数学期望,对于某个给定时刻t，随机过程成为一个随机变量，因此可按通常随机变量的数学期望方法来定义随机过程的数学期望。定义X(t)的数学期望式中，是X(t)的一维概率密度函数。又可称为X(t)的均值，这个均值函数可以理解为在某一给定时刻t随机过程的所有样本函数的平均值。如图2.1所示。,显然由图2.1可看出，随机过程X(t)就在附近起伏变化，图中细线表示样本函数，粗线表示均值函数。如果我们计论的随机过程是接收机输出端的一条噪声电压，这个就是噪声电压在某一瞬时t的统计平均值（又称集平均值）。,2.2随机过程的均匀方值与方差,对于某一固定的时刻，随机过程X(t)就成为一个随机变量，由此可给出随机过程均方值定义。定义随机过程X(t)的均方值：式中，的一维概率密度函数。定义随机过程的方差（又可称二阶中心矩）：显然是关于t的函数，且为非负函数。,定义随机过程的标准离差：注：随机过程的标准差是表示了随机过程在t时刻偏离均值的程度大小，如图2.2所示。,图2.2,2.3随机过程的自相关函数,随机过程的数学期望、方差描述了随机过程在各个孤立时刻的重要数字特征值，但它们不能反映随机过程的内在联系，这一点可以通过下图的两个随机过程X(t)、Y(t)来说明。,对于这两个随机过程，从直观上讲，它们都具有大致相同的数学期望和方差，但两个过程的内部结构却有着非常明显的差别，其中X(t)随机时间变化缓慢，这个过程在两个不同的时刻的状态之间有着较强的相关性，而过程Y(t)的变化要急剧得多，其不同时刻的状态之间的相关性，显然很弱。怎样去研究和反映一个随机过程在不同时刻的内在联系呢？为此我们引入自相关函数（简称相关函数）来描述随机过程在两个不同时刻状态之间的内在联系。,定义随机过程的自相关函数：这就是随机过程X(t)在两个不同时刻的状态之间的混合原点矩，自相关函数就反映了X(t)在两个不同时刻的状态之间的相关程度。若在定义式中取，则有此时自相关函数即为均方值。式中，为过程X(t)的二维概率密度函数。,例2.2求随机相位正弦波过程的均值、方差和自相关函数，其中的概率密度为,解：当取定是一个随机变量，且该随机变量X(t)显然是随机变量的函数。由求随机变量函数的数学期望定理，有,又,当令,，,例2.3给定随机过程，式中是常数，A和B是两个独立的正态随机变量，而且，试求X(t)的均值和自相关函数。,解,，且A，B独立,当取定t时，X(t)为随机变量,有时为了描述随机过程在任意两个不同时刻t1、t2间内在联系，我们还可以用协方差函数中心化自相关函数来定义。,定义协方差函数：称为随机过程X(t)的协方差函数。由定义可知，当取此时的协方差就是方差。注意，实际上自相关函数所描述的特性是几乎一致的。,性质2.1证从上式分析可知，随机过程的协方差函数与其自相关函数只差一个统计平均值，特别当随机过程的任意时刻数学期望时，二者完全相同。,2.4两个随机过程之间的互相关函数,随机过程的自相关函数描述了一个随机过程本身的内在联系，而要描述两个过程在不同时刻之间的相互关系，我们引入了互相关函数的定义。定义互相关函数：称为两个随机过程的互相关函数。式中：为在两个不同时刻随机变量、的联合概率密度函数。,定义互协方差函数：称为两个随机过程的互协方差函数。性质2.2,在上式中，若对任意都有则称X(t)，Y(t)为正交过程，此时在上式中，若，又称X(t)，Y(t)互不相关；此时推论：若两个随机独立，则它们必不相关。反之，两个随机过程不相关，还不能断言它们的相互独立。（除非是正态过程）。注：自相关函数、互相关函数、协议差函数其结果是数，而不再是一个过程。,习题二,若随机过程X(t)为X(t)=At，式中A为（0,1）上均匀分布的随机变量，求给定一随机过程X(t)和常数a，试以X(t)的相关函数表示随机过程的自相关函数,3.已知随机过程X(t)的均值和协方差函数是普通函数，试求随机过程是普通函数，试求随机过程的均值和协方差函数。4.设，其中A，B是相互独立且服从同一高斯（正态）分布的随机变量，a为常数，试求X(t)的值与相关函数。,应用随机过程,第三章随机分析简介,3.1随机过程的收敛性,随机过程的收敛性是研究随机分析的基础，由于随机过程的不确定性，其收敛性的选择也是多种多样的，本节主要介绍均方收敛，这是因为均方收敛能简化分析、比较实用。今后，本书分析和研究问题一般都使用均方收敛概念。定义依均方收敛：考虑随机变量序列，如果存在随机变量x满足,则称随机变量序列xn依均方收敛于随机变量x，并记为或（ms是英文MeanSquare缩写）1.两个均方收敛性判据里斯菲希尔定理：对随机变量序列构造柯西序列如果满足则必然存在一个随机变量x，使得。,洛夫准则（又称均方收敛准则）：随机变量序列均方收敛于x的充要条件是（c取常数）2.均方收敛的性质（1）如果随机变量序列依均主收敛于随机变量x，则有（2）均方收敛是唯一的。如果则必有x=y,（3）如果，则有（4）如果，a和b是任意常数，则有研究随机过程的统计变化规律，在一定条件下，有时我们也可以借助数学分析的工具建立起随机过程的收敛性、连续性、可微性、可积性等概念，进而可对随机过程的变化规律有更清楚的分析了解。这部分内容属于随机分析，这里我们只作简介。当然在此基础上，我们还可建立随机微分方程，自从伊藤1961年建立随机微分方程理论以来，随机微分方程发展很快，已渗透到各领域。,3.2随机过程的连续性,定义：若随机过程X(t)满足=0，则称随机过程X(t)于t时刻在均方意义下连续（简称连续）。另一方面，由定义知,有,对于右边极限式，自相关函数是的函数。欲使右边极限为零，则需，才能保证随机过程均方连续。对于左边，若随机过程均方连续，则随机过程的自相关函数，在上也处处连续。总之，若随机过程处处均方连续，则它的自相关函数所在上也处处连续，反之也成立。,性质3.1若随机过程X(t)是连续的，则它的数学期望也必定连续，即：证设是一个随机变量,又均方连续由夹挤定理知这表明求极限和求数学期望的次序可以交换，这是一个非常有用的结果，以后经常可用到。,3.3随机过程的微分及其数学期望与相关函数,1.随机过程的微分我们知道一般函数导数定义是对于一个随机过程，在一定条件下，是不是也有类似的导数定义，即：,我们说当随机过程的所有样本函数，即的极限都存在，则可以说随机过程的导数存在，然而在随机过程中可能有某些样本函数的极限不存在，但大部分都存在，为此我们给出一个条件较弱的随机过程在均方意义下（即平均意义下）的导数存在定义。定义均方可微：如果满足下式,则称在t时刻具有均方导数，记为一般函数存在导数的前提是函数必须连续，因此随机过程存在导数的前提也需要随机过程必须连续。但是，对一个随机过程要求它们所有样本函数都连续很困难，为此我们定义了所谓的均方连续，并给出随机过程的均方导数与它的相关函数关系,性质3.2如果自关函数时连续，且存在二阶偏导数则随机过程在均方意义下存在导数（证明略）应当指出，随机过程有导数，首先过程必须是连续的，但随机过程的连续性不能保证过程一定有导数。,2.随机过程的均方导数的数学期望,设，由均方导数定义，有,上式说明：随机过程的导数的数学期望等于它的数学期望的导数，且上式的量都是普通非随机函数，因此这个导数具有一般意义。,3.随机过程的的导数的自相关函数,性质3.3如果的导数存在，则的自相关函数可表示为：,证,又,3.4随机过程的积分,对于一个随机过程如果它的每一个时间样本函数可积，在一般意义下可理解随机过程可积，然而在实际问题中要求所有的时间样本函数都可积很困难，于是我们给出在大多数样本函数可积条件下的所谓随机过程均方可积定义。该定义类似高等数学函数可积定义：简述为，上可积，则有,仿此，类似可给出随机过程均方可积定义。定义随机过程均方可积：当我们把积分区间a,b分成n个小区间并令，当时，若则称Y为随机过程在均方意义下的积分。可表示为：注意，由随机过程均方可积定义可知其积分结果Y应为一个随机变量。,由随机过程的均方可积定义，我们还可给出带有权函数的随机过程均方可积定义，即式中，是一个权函数，且该函数为普通函数，而积分结果是一个新的随机过程。在第七章我们将看到，在工程上的解释可看成线性时不变系统的输出，这个输出就是输入的随机信号与系统冲激响应的卷积。由于随机过程的均方积分是一个随机变量，下面我们来更进一步讨论随机过程的积分y的数学期望、均方值、方差和相关函数。,1.随机过程积分的数学期望这表明随机过程积分的数学期望等于随机过程数学期望的积分，也就是说，积分运算与数学期望的运算次序可以互换。,由式（3.10）知，对于,2.随机过程积分的均方值与方差,又,3.随机过程积分的相关函数,我们知道随机过程的积分，即为一个随机变量，在实际问题中有时会遇到如下随机过程积分，即即所谓的变上限随机过程的积分，显然此时本身构成一个随机过程。下面我们来求Y(t)的自相关函数。,上式表明，随机过程积分的相关函数等于随机过程相函数的二次积分。,3.5随机微分方程简介,当我们用定量分析的方法来研究工程问题时，通常要建立一个微分方程，由于我们都是在一定条件下对问题进行定量分析，所以还需要给出问题的某些条件，对于微分方程，这些条件就是初始条件或边界条件。例如描述一个线性系统输入与输出关系时，可用如下微分方程及初始条件来表示：,但考虑到随机因素的影响，如实始条件的微小变化、测量误差带来的常系数改变或本身就是一个随机过程（若把看作布朗运动的质点受到液体分子随机碰撞）。由此一来，就使得方程的解具有不确定性，从而使其解为一个随机过程。下面我们来研究一个微分方程：设是随机变量，是随机过程，则称(3.11)式为随机微分方程。式中可以有一个或一个以上是普通的常数或函数，若它们全是普通意义下的常数或函数，则（3.11）式就是通常的微分方程。,（3.11）,随机微分方程可用来表示一个系统的输入与输出关系，若把看作是一个输入信号，则可看作为通过该系统所产生的输出信号，因此，即机微分议程在随机控制论、滤波过程辨识、智能技术、通信等方面都有重要的应用。关于随机微分方程的详细论述可参见文献9。这里我们仅通过一个简单例子来建立一些基本概念。在(3.11)式中，当考虑为常数时，（3.11）式即为,（3.12）,给定初始条件Z(0)=0以概率为1）下面我们来讨论之间的一些数字特征，不妨假设它们的二阶矩都存在。的数学期望之间的关系对（3.12）式两端求数学期望，结合3.3的性质得此时，初始条件，同样两端求数学期望，有,整理得显然（3.15）式是普通的一阶常微分方程，由一阶常微分方程的解法，可求得的函数关系。显然，由（3.15）式知若已知的数学期望，则可通过（3.15）式求得的数学期望，反之也一样。,2.的相关函数关系设，由（3.12）式上式两边乘以得上式两边求数学期望得由3.3节性质有,同理，此时的初始条件可变为用同样方法对（3.12）式令，且两端乘以，也可得类似的常微分方程初始条件为将（3.16）式、（3.17）式联立，则可求得的相关函数之间的关系。,例3.1设随机微分方程为其中上均方可积，是数学期望有限的随机变量。解用直接求法。首先求方程的解，两端取均方积分并代入初始条件得故其数特征为,习题三,试证3.1节均方收敛的性质证明：若均方可微，a,b为任意常数，则也是均方可微，且有证明：若均方可微，是普通的可微函数，则均方可微且,4.证明：设上均方可微，且上均方连续，则有5.证明，设为两个随机过程，且在T上均方可积，为常数，则有6.求随机微分方程的数学期望。式中为平稳过程,工程随机过程,第四章平衡随机过程和各态历经过程,在随机过程的大家族中，有一类随机过程，它的统计特性或者说统计变化规律与所选取的时间起点无关。或者说，整个随机过程的统计特性不随时间的推移而变化。例如，飞机在某一水平高度h上飞行时，由于受到气流的影响，实际飞行高度H(t)总是在理论设计高度h水平上下随机波动，此时飞机的实际飞行高度H(t)是一个随机过程，显然此过程可看作不随机推移面变化的过程，这个随机过程，我们把它看作是平衡的随机过程。,此外当我们知道一个随机过程是平稳过程时，它应不随时间的推移而变幻无常。例如当我们要测定一个电阻的热噪声的统计特性，由于它是平稳过程，因而我们在任何时间进行测试都能得到相同的结果。,4.1严平稳随机过程及其数字特征,定义严平稳随机过程：对于任意的t，随机过程X(t)的任意n维概密度都有则称X(t)为严平稳随机过程。研究平稳过程的意义在于：该过程在任何时刻计算它的统计结果都是相同的。由定义知平稳随机过程的n维概度密度函数不随时间而变化，这一特性具体反映在随机过程的一、二维概率密度及数字特征方面具有如下性质：,性质4.1若X(t)为平衡过程，则它的一维概率密度与时间无关证设X(t)的一维概率密度函数为，由于X(t)为平稳过程令则由此我们可求平稳过程X(t)的均值、均方值、方差。,显然，X(t)的均方值、方差都与时间t无关。由此知，当随机过程为平稳过程时，该过程的所有样本函数总是它们均值水平直线上下波动，样本曲线偏离水平直线的幅度正好是,。,如图4.1所示，图中细实线表示随机过程的样本函数，粗实线表示随机过程的数学期望，虚线表示随机过程对数学期望的偏差。,性质4.2平稳过程X(t)的二维概率密度只与的时间间隔有关，而与时间起点无关。证：设X(t)的二维概率密度函数为由于X(t)为平稳过程，所以对任意有若令，则而正是随机过程二维概率密度函数的时间间隔，令，则：,此式表明，平稳随机过程的二维概率密度函数仅依赖于，而时间的个别值无关。由此，我们可以进一步来讨论平稳过程X(t)的自相关函数应具有什么样的表达形式。,又,顺便指出，由一个随机过程的平稳性研究可推广到关于两个随机过程的平稳性研究，可以这样说，若两个随机过程的联合概率密度函数不随时间的平移而变化，与时间的起点无关，则可称这两个随机过程是联合平衡的，或称平稳相依。,4.2宽平稳随机过程,从上面介绍的严平稳随机过程的定义知，要判断一个随机过程是否是严平稳，需要确定该随机过程的任意n维概率密度函数族，它的变化是否与时间的平稳无关，这本身就是一个十分困难的工作，然而在工程上根据实际需要，我们往往只在所谓的相关理论范围内考虑随机过程的平稳性问题，这里所指的相关理论，就是指随机过程的数字特征，即数学期望、相关函数和今后要介绍的功率普密度等。当在相关理论又可指研究随机过程的一、二阶矩理论。,前面已经介绍过，对于一个随机过程X(t)，我们当然希望能建立起它的多维分布函数，因为随机过程的多维分函数能较完整地描述随机过程的统计特性，但是要建立多维分布函数往往很困难，因此我们一般在相关理论范围内也就是用数字特征来描述过程的重要特性，这种用数字特征来描述过程X(t)统计特性变化规律，对很多实际问题往往已能获得很好的效果，可以提取到所需的参数。,定义宽平稳过程：给定随机过程X(t)，如果常数且则称X(t)为宽平稳过程（广义平稳过程）。显然由宽平稳定义可知，要求就要考虑X(t)的一维概率密度函数和二维概率密度函数。,下面我们来分析一下严平稳和宽平稳之间的关系。对于一个随机过程X(t)，如果它是严平稳的，且它的二阶矩存在及均方有界，则由严平稳双因严平稳的一维概率密度与时间无关，即常数又因严平稳的二维概率密度只与时间间隔有关，即,综上所述，严平稳一定是宽平稳,反之不一定成立，除非是高斯过程（正态过程）。类似地，我们还可以给出两个随机过程联合宽平稳定义。定义联合宽平稳：对于平稳过程若,则称,联合宽平稳。,顺便指出，今后凡提到“平稳过程”，通常是指宽平稳过程。例4.1设Y是随机变量，试分别考虑随机过程的平稳性。解Y是随机变量，这一过程是一个与时间无关的特殊的过程，它的任何n维概率密度函数与时间无关，所以是一个严平稳。是严平稳,只要则X1(t)是宽平稳。对于,都与时间有关，所以为非平稳。例4.2设是一周期为T的函数，是（0,T）上具有均匀分布的随机变量，称为随机相位周期过程，试讨论它的平稳性。解由题设知的概率密度函数为,要讨论X(t)的平稳性，由宽平稳定义知，需要求。当取定为一随机变量的函数，由求随机变量函数的数学期望公式知令，则,常数,又令,4.3各态历经过程,1.各态历经问题的提出对于一个随机过程X(t)，我们当然希望知道它们的分布函数，但很困难，于是我们退而求其次，考虑求它的数字特征即数学期望、相关函数等。但要求X(t)的数字特征，首先需要知道它的一、二维概率密度函数，即这实际上又很难办，进而为我们求数字特征又带来困难。怎么解决这个问题呢？实际上，在工程中，要求X(t)的数字特征，我们自先是通过试验来产生一族时间样本函数,X(t)或者是做试验产生一个样本函数x(t)，然后再对样本函数x(t)取不同时刻，如，得所对应的结果，即此时随机过程可表示为。对任意指定时刻的数学期望可近似表示为自相关函数可近似表示为来计算，显然这种用近似计算的方法来估计随机过程的数学期望及自相关函数要求n很大，即样本函数xk(t)很多。但这在实际工程又常常又很难做到，于是人们自然想到能不能够通过测试一个样本函数如,用一个样本函数xi(t)的均值和相关函数来近似随机过程的均值和相关函数，如果能，这为我们求随机过程的数学特征就带来了很大方便。这里提出一个问题：怎样表示一个样本函数如x1(t)的均值呢？我们以下式来表示显然x1(t)不同其积分结果一般不同。于是对一个随机过程，其样本函数的积数结果可能不同。此时显然用一个样本函数的数字特征如，近似是不正确的。但是如果当时间区间T充分大时，如果X(t)的绝大多数样本函数的均值,都有则我们可用其中一个样本函数的均值作为X(t)的近似，即定义随机过程的时间均值和时间相关函数：称为随机过程的时间相关函数。,注意：定义中一般都是随机变量（常数可看作特殊的随机变量）。由上述分析可知，是不是任何一个随机过程，它的数学期望、相关函数都可用其中的一个样本函数的均值和自相关函数来近似呢，显然不一定，一个自然的问题是X(t)在什么条件下可用一个样本函数的均值和自相关函数作为整个过程X(t)的均值，自相关函数的近似呢？,2.平均随机过程的各态历经性要回答上述的问题，我们设当X(t)为平稳过程且满足一定条件时，可用一个样本函数的均值和自相关函数作为过程X(t)的数字特征近似，为此我们给出如下定义：定义：设X(t)是一个平稳过程（1）若以概率1成立，则称随机过程X(t)均值具有各态历经性这里依概率1成立是指对X(t)的所有样本函数即,由此知，此时，我们可用一个样本函数的均值如的值作为的近似值。反之，若已知X(t)的均值各态历程，则可用一个样本函数的均值作为过程X(t)的均值。（2）若以概率1成立，则称X(t)的自相关函数具有各态历经性。,这里若X(t)的自相关函数各态历经，就是指我们可用过程X(t)的一个样本函数、xn(t)的时间相关函数即作为过程的相关函数。（3）若X(t)的均值和自相关函数都具有各态历经性，则称X(t)是宽各态历经过程，简称X(t)为各态历经过程。综上所述，如果X(t)是各态历经过程，则必为平稳过程，此时可用过程的一个样本函数的数字特征作为过程的数字特征近似。,例4.3设随机过程式中为参数，是（0.2,）上均匀分布随机变量。求证X(t)是宽平稳过程；该过程是否是各态历经过程。解,X(t)为一宽平稳过程。,显然由、结果再由随机过程各态历经定义知X(t)为宽各态历经过程。,如果两个随机过程X(t)，Y(t)，当它们各自都是各态历经时，并且时间互相关函数与统计相关函数以概率1相等时，我们有如下定义：定义两个随机过程联合各态历经：设X(t)，Y(t)各自都各态历经则称X(t)，Y(t)为联合各态历经过程。同理当X(t)，Y(t)联合各态历经时，可用它们的一对样本函数的数字特征作为X(t)，Y(t)的数字特征近似。,3.随机过程成为各态历经过程的判定从前面的分析知，如果一个随机过程能成为一个平衡过程，这对我们研究各态历经，则该过程一定是平衡过程，反之则一定成立，于是很自然提出这样一个问题，能不能给出一些判定定理，使其可以很方便地判定一个平稳过程成为各态历经过程。通过对平稳过程的分析研究，我们给出如下的几个判定定理。性质4.3平稳过程X(t)的均值具有各态历经性的充要条件是式中：为平稳过程的自相关函数；为平稳过程的数学期望。,例4.4已知随机电报信号X(t)，它的，问X(t)是否均值各态历经。解,X(t)是均值各态历经的。,性质4.4平衡过程X(t)的自相关函数具备各态历经性的充要条件是式中平稳过程X(t)和Y(t)的互相关函数具有联合各态历经性的充要条件（4.7）式相似，只是将（4.7）式中相应的自相关函数改为互相关函数即可。,性质4.5对于高斯平稳过程，如果它的均值为零，自相关函数连续，则该过程各态历经的一个充分条件是综上所述，对一个平稳随机过程X(t)通过性质1、2判定以后，如果X(t)各态历经了，则对于该过程的数字特征，即求，我们可用,也就是当X(t)各态历经时，我们可用一个样本函数的时间均值和时间自相关函数作为过程X(t)的数学期望、自相关函数的近似。最后顺便说明，对于许多实际问题，如果要从理论上判定一个过程是否为各态历经过程，往往是比较困难。因此工程上经常都是凭经验把各态历经性作为一种假设，在后根据实验来检验这个假设是否合理。在实际应用一般不可能给出随机过程X(t)的样本函数x(t)的表达式，因此，确定各态历经过程的数学期望、自相关函数，有两种方法：,第一种方法用模拟自相关分析仪，自动画出自相关曲线。这种仪器的功能是当输入样本函数时，X-Y记录仪自动描绘出自相关函数的曲线。它的工作原理如图4.2所示。,图4.2,第二种方法用数字处理方法（即近似计算方法）。如图4.2把0，T等分为N个长为的小区间，再在时刻，取样，得N个函数值。于是再把积分表过式表示为基本区间上的和，就有数字估计式（4.8）。类似可以写出在时的自相关函数估计式（4.9）式，由这个估计式可算出自相关函数的一系列近似值，从而可作出自相关函数的近似图形，见图4.3。,最后指出，工程上遇到的很多平稳过程，我们一般都把它看成各态历经过程，然后用各态历经的方法来确定过程X(t)的统计特性，看处理出来的结果是否与实际相符合，如果不相符合，再对过程的假设作修改。,4.平稳过程自相关函数的性质对于一个随机过程，它的基本数字特征是数学期望和相关函数，但是当随机过程为平稳过程时，它的数学期望是一个常数，经中心化后可以变为零，所以当过程X(t)平稳后其基本数字特征实际上就是相关函数。此外，相关函数不仅可向我们提供随机过程各状态间的关联特性的信息，而且也是求取随机过程的功率谱密度以及从噪声中提取有用信息工具。为此下面我们专门研究一下平稳过程相关函数的性质。,性质4.6证当，即平稳过程的均方值可自由相关函数得到。性质4.7，即平稳过程的自相关函数为偶函数。同理证,性质4.8平稳过程X(t)自相关函数的最大点在处，即证任何非负函数的数学期望恒为非负值，的平方均值，即又X(t)平稳，,平稳随机过程的一维率密度函数不随时间的平缓而变化，即同理,对于,2019/12/14,131,可编辑,性质4.9周期平稳过程X(t)的自相关函数是周期函数，且与周期平稳地程的周期相同，即证设性质4.10非周期平稳过程X(t)的自相关函数满足,例4.6非周期平稳过程X(t)的自相关函数。求。解为了方便表征随机过程在两个不同时刻状态之间的线性关联程度，我们给出自相关系定义：定义自相关系数：,特别取，一般有显然，自相关系数越接近1，状态之间的关联程度越高。也可以说，当状态与状态之间的时间间隔越小，状态之间的关系越高。因此相关系数可直观地说明随机过程不同两个状态的自相关程度的强弱或随机过程起伏的快慢。,相关时间是另一个表示随机过程相关程度的量，它是利用相关系数来定义的。一般相关时间的定义有两种，一种是把满足时的作为相关时间。其物理意义为：若随机过程X(t)的相关时间为，则认为随机过程的时间间隔大于的两个时刻的取值不相关。另一种定义相关时间间隔大于的两相时刻的取值不相关。,另一种定义相关时间方法是将曲线在之间的面积等效成的矩形，如图4.3所示。因此有,图4.3自相关系数,5.设随机过程互相关函数性质,设为两个平稳过程。性质4.11一般情况下，互相关函数是非奇非偶函数，同理，互协方差函数也是非奇非偶函数。性质4.12互相关函数的幅度平方满足同理，互协方差函数满足,性质4.13互相关函数和互协方差函数的幅度满足同理性质4.14互相关系数为了研究两个平稳过程的相互关联程度，我们引入互相关系定义定义互相关系数：可以证明，且当时互不相关。,习题四,1.考虑一个具有随机相位的余弦波，它由如下定义的随机过程描述：，其中是常数，服从上的均匀分布，证明X(t)是宽平稳过程。2.考虑一个具有随机振幅的正弦波，它由如下定义的随机过程描述其中，A、B为两个随机变量，且满足，度X(t)为宽平稳过程。,3.设随机过程是方差不为零的随机变量，试讨论其各态历经性。4.设X(t)是雷达的发射信号，遇到目标后返回接收机的微弱信号是是信号返回时间，由于接收到的信号总是伴有噪声，记噪声为，于是接收机收到的全信号。若X(t)和Y(t)是联合平稳，求互相关函数。在的条件下，假如N(t)的均值为零，且X(t)是相互独立，求（这是利用互相关函数从全信号中检测小信号的接收法）。,5.设有随机过程，其中A是具有瑞利分布的随机变量，其概率密度为是在（0,2）上具有均匀分布且与A相互独立的随机变量，是一个常数，问X(t)是否是宽平稳过程。,第五章随机过程的功率谱密度,当我们在时间域内研究某一函数的特性时，如果确定起来不方便，在数学上我们可以考虑将此函数通过某种变换将它变换到另一区域，比如说频率域内进行研究，最终目的是使问题简化。傅里叶变换提供了一种方法，就是如何将时间域的问题转换到频率域，进而使问题简化。在频率域内，频率意味着信息变化的速度。即，如果一个信号有“高”频成分，我们在频率域内就可以看到“快”的变化。这方面的应用在数字信号分析和电路理论等方面应用极广。,是不是任何一个时间函数都可以将其通过傅氏变换变到频率域去研究呢？我们说当时间函数满足绝对可积条件时可以。然而，随机过程的样本函数，即一般不满足绝对条件，因此随机过程不能直接进行付氏变换。此外，很多随要过程的样本函数极不规则，无法用方程描述。这样，若想直接对随要过程进行谱分解，显然也不行。但是，对随机过程进行某种处理后，同样可对随机过程施行傅里叶变换。,5.1功率谱密度,为了研究随机信号的傅氏变换，我们首先简单复习一下确定信号的频谱、能谱密度及能量概念，然后再引入随机过程的功率谱密度概念。定理5.1设S(t)是一个确定信号，且在上，则S(t)的傅氏变换存在，或者说具有频谱记为,一般频谱是一个复数，且有，*表示共轭。我们知道，对于复数有对于定理的物理解释是，或代表电流或电压，则定理条件要求，即是要求的总能量必须有限。由积分变换的巴塞伐能量公式有,下面我们来解释一下公式的物理含义等式左边表示在上的总能量，而右边积分中被积函数相应地称为能谱密度。巴塞伐公式理解为时间域上的总能量可用频率域上的频谱能量表示。然而，工程技术上有许多重要的时间函数总能量是无限的，不能满足傅氏变换绝对可积条件，如正弦就是。我们要研究的随机过程，由于持续时间是无限的，所以其总能量也是无限的，即所以随机过程的频谱不存在。,那么该如何应用傅氏变换工具来对随机过程进行化简研究呢？我们是这样考虑的，一个随机过程，尽管它的样本函数总能量是无限的，但它的平均功率是有限的，即这是随机过程的样本函数在时间域上的平均功率表示。这样，对随机过程的样本函数而方，虽然研究它的频谱没有意义，但研究它的平均功率确有意义。,图5.1及其截取函数怎样具体表示随机过程一个样本函数的平均功率呢，我们是这样操作的：首先定义的一个样本函数，不妨设为，再次地样本函数任意截取一段，长度为2T，并记为。称为原样本函数的截取函数，如图5.1所示。,用公式表示即为于是满足绝对可积条件。存在付氏变换，即这里称为的频谱函数。,又由于随机过程在随机试验中取哪一个样本函数具有不确定性。因此，不同的试验结果，就意味着随机过程可能取不同的样本函数，亦即样本函数与试验结果有关，为此，可将样本函数进一步表示为，当然该样本函数的截取函数也可相应表示为，显然它的傅氏变换也可表示为。又,由于引入随机过程样本函数的截取函数定义，所以又可给出上式随机过程的样本函数平均功率在频率域的表示形式。在上式中，令则称（5.1）式为随机过程X(t)的样本函数的功率谱