《随机过程学习指导及习题解析》课件 第1-3章 随机过程基础-泊松过程

随机过程

StochasticProcesses

1.随机(随机现象)：随机事件，随机变量是随机现象的数量表现；2.过程：动态，时间；一、随机过程的简介

3.随机过程是随机数学中的一个重要分支，产生于20世纪30年代，其研究对象与概率论一样是随机现象，而它特别研究的是随“时间”变化的“动态”的一连串随机现象。随机过程(StochasitcProcess)是依赖于参数的一组随机变量的全体，参数通常是时间。4.随机过程(StochasitcProcess)是一连串随机事件动态关系的定量描述。“计算机之父”冯.诺伊曼教授把随机过程与概率论的关系比作为物理学中动力学与静力学的关系.近40年来，随着物理学、生物学、自动控制，无线电通讯及管理科学等方面的需求的提出与解决，使它逐步形成为一门独立的分支学科，在自然科学，工程技术及社会科学中日益呈现出广泛的应用前景和蓬勃的发展前景。(1)随机过程是指一族随机变量随时间的演变动态过程；(2)对随机过程的统计分析称为随机过程论,它是随机数学中的一个重要分支；(3)产生于20世纪30年代，其研究对象与概率论一样是随机现象，而它特别研究的是随“时间”变化的“动态”的随机现象，“计算机之父”冯.诺伊曼教授把随机过程与概率论的关系比作为物理学中动力学与静力学的关系。(4)近40年来，随着物理学、生物学、自动控制，无线电通讯及管理科学等方面的需求的提出与解决，使它逐步形成为一门独立的分支学科，在自然科学，工程技术及社会科学中日益呈现出广泛的应用前景和蓬勃的发展前景。5.(描述性)定义一般来说，把一组(族)

随机变量定义为随机过程。随机过程是概率论的继续和发展，被认为是概率论的动力学部分。概率论研究对象为：随机变量；随机过程研究对象为：

随时间演变的随机变量(现象)。X→X(t)例如，某地每个季度的季度降水量xn,由于受许多随机因素的影响,它本身具有随机性,因此{xn,n=1,2,…}便是一个随机过程。例如，某百货公司每天的顾客数xn，它本身具有随机性,随时间变化而形成随机过程,因此{xn,n=1,2,…}便是一个随机过程。例如，上证指数每5分钟的最低价xn，它本身具有随机性,随时间变化而形成随机过程,因此{xn,n=1,2,…}便是一个随机过程。在每一种情形，系统在演化，这就是说它的状态随着时间而改变，于是，在时间t的状态具有偶然性，它是一个随机变量x(t)，参数t的集合通常是一个区间(——连续参数的随机过程)或一个整数集合(——离散参数的随机过程)。如果系统的状态用一个数来表示，x(t)就是数值的，在其他情形，x(t)可以是向量值或者更为复杂。如果x(t)限于数值的情形。当状态变化时，它的值确定一个时间的函数——样本函数，支配过程的概率规律确定赋予样本函数的各种可能性质的概率。随机过程是对随时间和空间变化的随机现象进行建模和分析的学科，在物理、生物、工程、心理学、计算机科学、经济和管理等方面都得到广泛的应用。随机过程目前已得到广泛的应用，在诸如天气预报、统计物理、天体物理、运筹决策、经济数学、安全科学、人口理论、可靠性及计算机科学等很多领域都要经常用到随机过程的理论来建立数学模型。随机过程与其他数学分支如位势论、微分方程、力学及复变函数论等有密切的联系，是在自然科学、工程科学及社会科学各领域研究随机现象的重要工具。二、起源与发展随机过程是随机数学的一个重要分支，产生于20世纪初对物理学的研究，如吉布斯、波尔兹曼、庞加莱等人对统计力学的研究。随机过程整个学科的理论基础是由柯尔莫哥洛夫和

杜布奠定的。(1)1907年前后，马尔科夫(Markov)研究了一系列有特定相依性的随机变量，后人称之为Markov链；(2)1923年维纳给出布朗(Brown)运动的数学定义，这一过程成为一个重要的研究课题。一般理论的研究通常认为开始于20世纪30年代：(3)1931年，柯尔莫哥洛夫(Kolmogorov)《概率论的解析方法》;(4)1934年辛钦(Khinchine)发表了《平稳过程的相关理论》，这两篇著作奠定了马尔科夫过程与平稳过程的理论基础。(5)P.莱维出版了关于布朗运动与可加过程的两本书，其中蕴含着丰富的概率思想。(6)1953年，J.L.杜布的名著《随机过程论》问世，它系统且严格地叙述了随机过程的基本理论。(7)1951年伊藤清建立了关于布朗运动的随机微分方程的理论(见随机积分)，为研究马尔可夫过程开辟了新的道路；研究随机过程的方法多种多样，主要可以分为两大类：一类是概率方法，其中用到轨道性质、停时和随机微分方程等；另一类是分析的方法，其中用到测度论、微分方程、半群理论、函数堆和希尔伯特空间等。

实际研究中常常两种方法并用。另外组合方法和代数方法在某些特殊随机过程的研究中也有一定作用。三、随机过程的研究方法(1)赌徒破产问题:(gambler’sruinproblem)

赌徒有a元,庄家有n−a元,每赌一次输赢一元。赌徒每賭完一次后剩下的资本,即形成一具马尔可夫性质的随机过程。赌徒输光或庄家输光的时间与机率,一向是受瞩目的问题。(2)泊松过程:(Poissonprocess)

商店从一早开门到经过t时间为止,算算光顾的客人总数;或接线生到t时间为止,接到转接电话的总数;这些经过试验证明,可以都是泊松过程。四.随机过程(StochasitcProcess)的内容：(3)衍生过程:(branchingProcess)

一个姓氏的家族,他们的子嗣如果结婚生子，就是繁衍;否則就沒有衍生。观察他们第一代、第二代、...的人口数,就好像一个树图(treegraph)。几个有趣的问题是:这家族生生不息的概率，最后减种的概率等。(4)排队过程:(queueingprocess)

顾客随机地到柜台接受服务,如果服务员来不及处理，则顾客要排队；电脑使用者不断地传送信号到主机，如果还未输到主机处理，则需要等候。这些排队人数是随时间改变的，形成了排队过程。(5)马尔可夫过程:如果给定了过程的现在，其过去与将来相互独立，这一过程是马尔可夫过程。(6)严平稳过程这类随机过程中的任意有限多外随机变量的联合分布不受参数平移的影响，即x(t1+h)，…，x(tn+h)的分布与h无关。(宽)平稳过程(7)时间序列分析：时间序列是按时间顺序的一组数字序列。时间序列分析就是利用这组数列，应用随机过程知识与数理统计方法加以处理，以预测未来事物的发展。时间序列分析是定量预测方法之一，它的基本原理：一是承认事物发展的延续性。应用过去数据，就能推测事物的发展趋势。二是考虑到事物发展的随机性。

随机过程教学内容第一章

随机过程的基本概念随机过程的定义，有限维分布函数，数字特征、特征函数，

常见的几类随机过程章-10、勘探现状。授课提纲第二章随机过程的均方微积分随机过程的均方连续性，均方可导性、均方可积性章

随机过程的导过程，随机过程的积分过程-10从概率论的角度来讲随机过程的基础知识从微积分的角度来讲随机过程的基础知识第三章

泊松过程泊松过程的定义，有限维分布函数，

数字特征、特征函数，状。泊松过程泊松过程相伴的随机点过程泊松过程相伴的时间间隔过程泊松过程的叠加和分解复合泊松过程非齐次泊松过程泊松过程的扩展基于泊松过程的校车辆调度模型研究基于复合泊松过程的机场客流量分析第四章

平稳过程严平稳过程，平稳过程，联合平稳过程，

平稳过程的均值遍历性、

平稳过程的自相关遍历性状。时域特性频域特性第五章平稳过程的谱分析谱密度的物理意义，平稳过程的谱密度，

德尔塔δ函数和谱密度，互谱密度周期宽平稳过程的性质验证及其在信号检测应用第六章

马尔可夫链

一步转移概率切普曼-柯尔莫哥洛夫方程(简称c

-k方程)

多维分布函数和数字特征马尔科夫链基于马尔可夫链的人民币汇率预测马尔可夫过程第七章

马尔可夫链的状态分类和性质

基于滚动窗口马尔科夫链预测模型的股票指数波动情况研究首达概率平稳分布和极限分布常返态和瞬时态正常返和零常返周期态状态空间的分类态课程要求重点掌握“基础”+“三大随机过程”

“基础”

—有关随机过程的基本定义和基本特征

—随机过程的分布函数、特征函数、数字特征各—随机过程的均方微积分的识别

泊松过程平稳过程马尔科夫过程三大随机过程正态过程布朗运动教学思路

加强与精炼基础知识

经典内容讲授与多媒体教学相结合

培养随机数学思维目录第一章

随机过程的基本概念第二章均方微积分第三章泊松过程第四章平稳过程第五章平稳过程的谱分析第六章马尔可夫链第七章马尔可夫链的状态分类和性质学习指导一

课上认真听

由于随机过程课程是属于随机数学的范畴,即是研究不确定性事件的数学理论,学习掌握比学习概率论有更大的难度,这就要求认真听课,逐步弄懂随机过程的新概念,新定义,新定理,对于每一节课的学习,最好能认真作好笔记,认真了解这些概念与定理的理论意义与实际意义,以及应用的范围,不要随意缺课,若有缺课,必须争取在下次上课前补上所缺部分内容，因为随机过程课程的学习具有较强的连贯性。

二

课后勤练习

由于这门课学习较难,这就更加要求督促自己按时完成课后作业。本教材的作者就是按照课后即时复习与练习的特点编写的,在本教材中,每一节内容之后,编有适当的基本练习题,只需对照书中相应例子,就可顺利完成。最好不要拖拉,课后找时间及时完成,并及时验证，争取牢固掌握随机过程的基本概念与基本知识，不然,可能会事倍功半。学习指导三

加强综合练习

在本教材中,每一节后的基本练习只是针对该节的教学内容而设,为了贯穿前后所学知识,了解随机过程的整体知识，所以在每一章末,按照这一章的基本要求,设置了综合练习,通过完成适当数量的练习,能复习巩固所学的概念与定理。数学知识的掌握都是在循序渐进的练习中实现的。学习指导四

不懂就问

在学习过程中,可能会有各种各样的问题,有问题不用怕,怕的是不懂又不问,怕的是学习不投入.要学好随机过程知识,就是要问,第一问自己,第二问同学,第三问老师,随机过程的问题尤其不能拖。学习指导推荐教材或主要参考书：主要参考书主要参考书：(1)应用随机过程(第5版)(21世纪统计学系列教材);作者:张波商豪邓军,出版社:中国人民大学出版社;出版时间:2020年01月;(2)随机过程(第五版);作者:刘次华,出版社:华中科技大学出版社,出版时间:2022年01月;

(3)随机过程基础(原书第2版);作者:RichardDurrett,出版社:机械工业出版社,出版时间:2014年01月;

(4)随机过程(原书第2版),作者:(美)罗斯|译者:龚光鲁,出版社:机械工业,出版时间:2013年07月;(5)应用随机过程,作者:钱伟民梁汉营杨国庆,出版社:高等教育出版社,出版时间:2014年08月;(6)应用随机过程,作者，林元烈编著，出版社：清华大学出版社，出版时间：2002年11月；习题指导：(1)概率统计与随机过程习题解集(第2版),作者:邢家省刘明菊马健出版社:机械工业出版社,出版时间:2021年08月;

(2)随机过程学习指导及习题解析,作者:王勇,程广涛,宋占杰主编,出版社:天津大学出版社,出版时间:2013年03月;(3)随机过程学习指导,作者:袁修久、杨友社、贺筱军、郭艳鹂、原野、郭云霞出版社:清华大学出版社,出版时间:2016年09月;(4)随机过程习题集,作者:周荫清,李春升,陈杰

编著,出版社:清华大学出版社,出版时间:2004年09月;

西南交通大学网络教学平台()成绩考评方式考试形式：闭卷考试成绩比例：平时20%+期中考试20%+期末60%平时成绩包括：出勤，作业，课堂表现期中考试：期末考试：第二章随机过程的基本概念关键词：第一节：随机过程的定义状态和状态空间、样本函数第二节：一维分布、有限维分布函数均值函数、方差函数、自相关函数、自协方差函数、二元随机过程、复随机过程、

随机过程的特征函数第三节：二阶矩过程、独立过程

独立增量过程、正态过程、维纳过程西南交通大学数学学院王沁§2.1随机过程的定义

概率论中讨论的是一个或有限多个随机变量，而这往往不能满足实际问题的需要。因为许多随机现象仅用静止的有限个随机变量去描述，远远不够。虽然在大数定律与中心极限定理考虑了无穷多个随机变量，然而假定了这些随机变量之间相互独立，若它们并非相互独立时，概率论知识就无能为力了。而在实际中，我们往往需要用一族无穷多个相互有关的随机变量去描述自然界与科学技术中存在的大量随机现象，这就导致了随机过程论的产生与发展。一、随机过程的定义1、随机过程被认为是概率论的“动力学”部分，即它的研究对象是随时间演变的随机现象，它是从多维随机变量向一族(无限多个)随机变量的推广。西南交通大学数学学院王沁2、引例：抛掷钱币试验记录试验者抛币次数n“正面向上”次数

频率DeMorgan208410610.518Bufen404020480.5069Pearson1200060190.5016Pearson24000120120.5005例1利用重复抛掷一枚硬币的试验，现以此定义此时，就得到了一个随机过程。分析：(1)随机过程是一个二元函数。(2)对于一个固定的参数t,X(e,t)是一个定义在S={H,T}上的一维随机变量；对于一个固定的参数t,X(e,t)是一个定义在S上一维离散型随机变量；所以，这个一维离散型随机变量的分布律为:(3)对于一个特定的试验结果e,得到对应于e的样本函数。每一个t时刻的抛掷的结果都为H(正面），得到：得到一个样本函数，其图像为一条样本曲线。每一个t时刻的抛掷的结果都为T(反面)，得到得到一个样本函数，其图像为一条样本曲线。该随机过程，有若干个样本函数(4）当随机过程处于固定的t,e时，X(e,t)=x，则称该过程在

t时刻处于状态x，简记为

X(t)=x该随机过程的值域为实数。定义

设E为随机试验，S为其样本空间。如果对于每个参数t∈T,X(e,t)为建立在S上的随机变量，且对每一个e∈S,X(e,t)为t的函数，其值域为实数或实数的一个子集，那么称随机变量族

{X(e,t),t∈T,e∈S}

称为一元实随机过程，简称随机过程，简记为{X(e,t),t∈T}或X(t)。3、随机过程的定义随机过程X(t)实际上可以看成是两个变量e和t的具有特殊意义函数：（1）对于一个特定的试验结果e,X(e,t)就是对应于e的样本函数，简记为X(t)，由它作出的图形就是一条样本曲线，它可以理解为随机过程的一次实现；（2）对于一个固定的参数t,X(e,t)是一个定义在S上的随机变量；(3）当随机过程处于t,e时，X(e,t)=x，则称该过程在

t时刻处于状态x，简记为

X(t)=x状态空间与参数集对于随机过程X(e,t)的一切全部可能取值的集合I，称为该随机过程的状态空间，有时也称为随机过程的状态集。参数t的变化范围T称为参数集，或参数空间.二、典型实例例2

考虑抛掷骰子的试验:设Xn

是第n次抛掷的点数，对于n=1,2,…的不同值，Xn

为不同的随机变量。因而{Xn,n≥1}构成一个随机过程，称为贝努利过程或贝努利随机序列；(1）对于一个特定的试验结果e,Xn就是对应于e的样本函数例如，次次抛掷骰子，出现的点数都是6，那么，这就是一个样本函数。例如，抛掷骰子，第n次抛掷的点数依次为2，1，5，3，1，1，6，5…..那么，这就是一个样本函数。样本函数是随机过程的一次实现，实际上就是观察得到的数据。(2）对于一个特定的n=1，2，….,Xn就是一个离散型随机变量，其分布律为：P{Xn=i}=1/6，i=1，2，3，4，5，6(3）参数集：T={1，2，3，4…….}，离散的状态空间：I={1，2，3，4，5，6}，有限的(3)参数集：T={t,t>=0};连续的；状态空间：I={0,1，2，3，4，5，6，….}，离散的该随机过程称为随机相位正弦波。状态时刻连续型随机过程连续连续连续随机序列连续离散离散型随机过程离散连续离散随机序列离散离散随机过程的分类57离散参数集、离散状态集:例如贝努利过程离散参数集、连续状态集:例如连续参数集、离散状态集:例如，计数过程、涨跌过程连续参数集、连续状态集:例如，抛硬币的例子，随机相位正弦波2.2随机过程的分布函数(1)一维分布函数(2)二维分布函数(3)有限维分布函数一、一维分布函数族定义2.1设X(t)为随机过程，对任意固定的t，及实数x，称

为随机过程的一维分布函数,而称为此随机过程的一维分布函数族.定义2.2设X(t)为随机过程，对任意固定的t，X(t)为离散型随机变量，则称

为随机过程的一维分布律。定义2.3设X(t)为随机过程，对任意固定的t，X(t)为连续型随机变量，则

其中称为随机过程的一维概率密度函数。例，考虑随机过程

此处

为常数，X服从标准正态分布。试求X(t)的一维概率密度。解：在一个给定时刻t0，随机变量X(t0)为X的线性函数，而X服从标准正态分布N(0,1)，由概率论知X(t0)服从正态分布故其一维概率密度为例

设随机过程为其中X服从参数为

的指数分布，试求Y(t)的一维概率密度。分析：(1)当t固定，Y(t)是一维连续型随机变量。(2)参数空间：T={t|t>0}对于固定的t>0，Y(t)的一维分布函数方法一：先求分布函数，再求导得到概率密度因为X～Z(λ),即其概率为密度其中，定理

设X是一个取值于区间[a,b]，具有概率密度f(x)的连续型r.v,又设y=g(x)处处可导，且对于任意x,恒有

或恒有，则Y=g(X)是一个连续型r.v，它的概率密度为方法二：x=h(y)

是y=g(x)的反函数.解因为X～Z(λ),即其概率为密度二、二维分布函数族定义2.4

设X(t)为随机过程，对于任意两个时刻t1,t2，t1t2及实数x1,x2，称为随机过程的二维分布函数,而称为此随机过程的二维分布函数族.定义2.2设X(t)为随机过程，对任意固定的t,s，(X(t),X(s))为二维离散型随机变量，则称

为随机过程的二维分布律，或称为（X(t),X(s))的联合分布律。例：利用重复抛掷硬币的试验，定义一个随机过程：(1)一维分布律(2)二维分布律1234称之为随机过程X(t)的二维概率密度。定义2.4设X(t)为随机过程，对任意固定的t1，t2(X(t1),X(t2))为二维连续型随机变量：那么例

设随机过程为其中X服从参数为

的指数分布，试求Y(t)的二维分布函数。定义2.3

设X(t)为随机过程，对于任意n个时刻，及实数，称三、有限维分布函数族为X(t)的有限维分布函数族。为随机过程的n维分布函数。称关于随机过程X(t)的所有有限维分布函数的集合随机过程X(t)的有限维分布函数族的意义何在?

随机过程的n维分布函数（或概率密度）能够近似地描述随机过程的统计特性，而且，n越大，则n维分布函数越趋完善地描述随机过程的统计特性。所以有很多数学家研究了随机过程X(t)与其有限维分布函数族的关系，1931年，苏联数学家柯尔莫哥洛夫证明了关于有限维分布函数族的重要性的定理：

（1）对称性：对于(1,2,…,n)的任一排列i1,i2,…,in

，有则F必为某个随机过程的有限维分布族。即（2）相容性，对于任意自然数m<n，随机过程的m维分布函数与n维分布函数之间有关系：定理2.1(存在定理)例:考虑抛掷骰子的试验:设Xn

是第n次抛掷的点数，对于n=1,2,…的不同值，Xn

为不同的随机变量。因而{Xn,n≥1}

构成一个随机过程，称为贝努利过程或贝努利随机序列；求其有限维分布函数族。我们主要讨论随机过程X(t)的五大数字特征(1)均值函数(5)自协方差函数(4)自相关函数(3)方差函数(2)均方值函数2.2随机过程的数字特征从上面的分析可知，对于一个随机过程X(t)，要研究它的变化规律，常常需要建立起它的“函数关系”，也就是建立随机过程的有限维分布函数族。因为随机过程X(t)的有限维分布族可以完全地描述随机过程的整个变化规律的统计特性，但要建立过程的有限维分布函数族一般比较复杂，使用也不便，甚至不可能。怎么办呢？事实上，在许多实际应用中，当随机过程的“有限维分布函数族不好确定时，我们往往可以退而求其次，像引入随机变量的数字特征一样，引入随机过程的数字特征。用这些数字特征我们认为基本上能刻划随机过程变化的某些重要统计规律，而且用随机过程的X(t)的数字特征，又便于运算和实际测量。显然，主要介绍了均值函数、均方值函数、方差函数、自相关函数、自协方差函数来描述随机过程X(t)的主要统计特性。二、随机过程的数字特征

对于随机过程X(t)，固定时刻t，则X(t)为随机变量，它应具有相应的数字特征，我们据此定义随机过程的相应数字特征。（1）若对于任意给定的t，EX(t)存在，则称它为随机过程的均值函数，记为设X(t)为随机过程，对任意固定的t，X(t)为连续型随机变量，则

设X(t)为随机过程，对任意固定的t，X(t)为离散型随机变量，则

式中，是X(t)的一维概率密度函数。称为X(t)的均值，这个均值函数可以理解为在某一给定时刻t随机过程的所有样本函数的平均值。如图2.1所示。图2.1随机过程的数学期望mX(t)显然由图2.1可看出，随机过程X(t)就在附近起伏变化，图中细线表示样本函数，粗线表示均值函数。如果我们计论的随机过程是接收机输出端的一条噪声电压，这个就是噪声电压在某一瞬时t的统计平均值（又称集平均值）。（2）若对于任意给定的t，EX2(t)存在，则称它为随机过程的均方值函数，记为对于某一固定的时刻，随机过程X(t)为一个连续型随机变量，由此可给出随机过程均方值定义。随机过程X(t)的均方值：式中，f(x,t)为X(t)的一维概率密度函数。显然是关于t的函数，且为非负函数。对于某一固定的时刻，随机过程X(t)为一个离散型随机变量，由此可给出随机过程均方值定义。随机过程X(t)的均方值为：随机过程的均方值函数为（3）若对于任意给定的t,E[X(t)-mX(t)]2存在，则称它为随机过程的方差函数（又可称二阶中心矩)，记为显然是关于t的函数，且为非负函数。方差函数对于某一固定的时刻，随机过程X(t)为一个连续型随机变量，由此可给出随机过程方差定义。随机过程X(t)的方差：对于某一固定的时刻，随机过程X(t)为一个离散型随机变量，由此可给出随机过程方差定义。随机过程X(t)的方差：显然是关于t的函数，且为非负函数。注：随机过程的标准差是表示了随机过程在t时刻偏离均值的程度大小，如图2.2所示。图2.2定义随机过程的标准差：（定义：若对于任意给定的t1,t2,E[X(t1)X(t2)]存在，则称它为随机过程的自相关函数,记为这就是随机过程X(t)在两个不同时刻的状态之间的混合原点矩，自相关函数就反映了X(t)在两个不同时刻的状态之间的相关程度。若在定义式中取，则有（4）自相关函数对于某一固定的时刻，随机过程X(t)就成为一个连续型随机变量，根据随机过程自相关函数定义，可以给出连续型下随机过程X(t)的自相关函数的公式：

式中，的二维概率密度函数。对于某一固定的时刻，随机过程X(t)就成为一个离散型随机变量，根据随机过程自相关函数定义，可以给出连续型下随机过程X(t)的自相关函数的公是：（定义：若对于任意给定的t1,t2

，存在E[(X(t1)-mX(t1))(X(t2)-mX(t2))]

则称它为随机过程的自协方差函数，记为（5）自协方差函数由定义可知，当取

此时的协方差就是方差。注意，实际上自相关函数

所描述的特性是几乎一致的。均值函数，均方值函数与方差函数是刻画随机过程在某个孤立时刻状态的数字特征，而自相关函数与自协方差函数则是刻画随机过程自身在两个不同时刻状态之间的线性依从关系的数字特征。（6）自相关系数数字特征之间具有如下关系

复习一下：1.2.3.分布参数数学期望方差两点分布二项分布泊松分布均匀分布指数分布正态分布常见随机变量的数学期望和方差的均值函数，方差函数和自相关函数。其中，a,

为常数，

是在(0,2

)上均匀分布的随机变量。其概率密度为解:因为例1

试求随机相位余弦波当取定是一个随机变量，且该随机变量X(t)显然是随机变量的函数。由求随机变量函数的数学期望定理，有

又∵当令，所以，二维随机过程与复随机过程一、二维随机过程1.定义与分布函数；2.独立性；3.二维随机过程的数字特征；二、复随机过程1.复随机过程的定义；2.复随机过程的分布函数；3.复随机过程的数字特征；一、二维随机过程定义2.7

设X(t)与Y(t)为二个随机过程，则(X(t),Y(t))称为二维随机过程。为二维随机过程(X(t),Y(t))的n+m维分布函数。（一）、定义对于任意给定的t1,…,tn及s1,…,sm，称n+m个随机变量X(t1),…,X(tn),Y(s1),…,Y(sm)的联合分布函数（二）、两个随机过程的相互独立性定义2.8

对于任意正整数n和m，以及任意给定的t1,…,tn及s1,…,sm,若二随机过程X(t)与Y(t)的联合分布函数恒为则称此二随机过程X(t)与Y(t)是相互独立的。（三）、二随机过程的相关性

1.定义若X(t)与Y(t)为二个随机过程,则称为随机过程X(t)与Y(t)的互协方差函数。为随机过程X(t)与Y(t)的互相关函数;对于某一固定的时刻，随机过程X(t)为一个连续型随机变量，随机过程Y(s)为一个连续型随机变量，由此可给出两个随机过程的互相关函数：为两个随机过程的互协方差函数。性质2.2

2、X(t)与Y(t)的互协方差函数的性质注意二、复随机过程定义2.4

设X(t)与Y(t)为二个实随机过程。则称

定义2.5

设Z(t)=X(t)+iY(t))

为复随机过程，称(X(t),Y(t))的联合分布函数为Z(t)的分布函数。即对于任意给定的t1,t2,…,tn∈T,

1.复随机过程的分布函数为一复随机过程，为Z(t)的2n维分布函数。2.复随机过程的数字特征定义2.6

复随机过程(1)对于任意t,Z(t)的均值函数为的数字特征定义如下：（2）对于任意的t,Z(t)的均方值函数为（5）对于任意的t1,t2,Z(t)的自协方差函数为（3）对于任意的t,Z(t)的方差函数为（4）对于任意的t1,t2,Z(t)的自相关函数为一、二维随机过程1.二维随机过程的实例——推广到多维随机过程2.二维随机过程的分布函数（1）与一维随机过程的分布函数的区别；（2）与复随机过程的分布函数的区别；二、复随机过程1.为何要讲复随机过程——为了引入特征函数，进一步扩展随机过程。2.复随机过程的分布函数（1）与一维随机过程的分布函数的区别；（2）与二维随机过程的分布函数的区别；随机过程的特征函数一、复习随机变量的特征函数二、随机过程的特征函数-------为何要讲随机变量的特征函数——由于随机变量的数字特征不一存在，所以，要引入。随机变量的特征函数，完美地刻画了随机变量。

一随机变量的特征函数定义2.1

设X为随机变量，称复随机变量eivX的数学期望为X的特征函数，记为，即由于对任意的实数v，总有|eivX|=1，所以对一切随机变量，其特征函数总是存在的。易见，若X为离散型随机变量，概率分布为

则其特征函数为若X为连续型随机变量，概率密度为f(x)，则其特征函数为1391

设a,b为常数，则Y=aX+b的特征函数为

特征函数的基本性质2

若随机变量X与Y相互独立，则有

这由于X与Y相互独立，因此其函数eivX与eivY也相互独立，故由数学期望的性质知3

若随机变量X的n阶矩存在，则它的特征函数可微分n次，且当1≤k≤n时，有因为:若设X为连续型随机变量，其概率密度f(x)，则其特征函数为

因而特征函数的k(1≤k≤n)阶导数存在，且有当v=0时,即有

这样由此性质，若已知X的特征函数，就可通过微分运算方便地求出X的k阶矩：特别地，当k=1时，X的数学期望当k=2时,X的二阶矩为4

一维随机变量的分布函数

与其特征函数一一对应。

n维随机变量的特征函数定义2.6

称为其特征函数.

2

多维分布函数与其多维特征函数一一对应。（唯一性）。因此,可以借助特征函数来区别不同类型的随机变量.从而,我们讨论随机变量可从分布函数,数字特征与特征函数来开展随机变量的研究.2、

随机过程的特征函数

2.若X(t)为连续型随机变量，即具有一维概率密度函数f

(x,t)，则其一维特征函数为

1.定义：设有随机过程X(t)，对于每一个固定的t,X(t)为随机变量，依照随机变量的特征函数的定义，可知X(t)的一维特征函数为例

试求随机过程X(t)=X1+X2t的一维特征函数,其中X1与X2相互独立，且均服从正态分布。

解因X1与X2相互独立，且均服从正态分布

因此有例

设{Yn,n=0,1,2,…}为随机过程,

随机变量Xk,k=1,2,…相互独立，且均服从相同的两点分布，即其分布律为试利用特征函数求出Yn的一维概率分布.其中Y0=0,解：因为Yn的特征函数为而随机变量Xk,k=1,2,…相互独立，因此Xk的函数eivXk,k=1,2,…亦相互独立，再将此二项式展开对照得知:3.随机过程X(t)的n维特征函数定义

随机过程X(t)的一维，二维，…，n维特征函数的全体

称为随机过程的有限维特征函数族。随机过程的特征函数族也能较全面描述该过程的统计特性，并具有与随机变量的特征函数相类似的性质。二阶矩过程

1.定义2.例子3.性质（一）.二阶矩随机过程（实随机过程）1.定义1设X(t)为实随机过程，若其均方值函数EX2(t)，对于任意的t都存在，则称此X(t)为实二阶矩过程；。2.二阶矩过程的简单性质设X(t)为实随机过程，而且随机过程X(t)为二阶矩过程，那么，其均值函数和自相关函数必然存在。例3.1

试问随机过程

在下列两种情况下是否为二阶矩过程？

解1）

所以,此X(t)为二阶矩过程。解2）即其二阶矩不是有限的,所以此X(t)不是一个二阶矩过程。定理：设X(t)为实随机过程，而且随机过程X(t)为二阶矩过程，那么，其均值函数和自相关函数必然存在。所以，自相关函数必然存在。(3)自相关函数RX(s,t)具有非负定性,即对于对于任意的正整数n，任意的t1,…,tn和任意的n个实数a1,…,an,有3.二阶矩过程的存在性定理设T为实参数集,R(s,t)为定义在T上的二元非负函数,则必存在一个二阶矩过程X(t),此R(s,t)为其相关函数.且当R(s,t)为实值二元非负函数时,X(t)是一个实二阶矩过程.定义2:若Z(t)为复随机过程，对于任意的t,其均方值函数都存在，则称此Z(t)为复二阶矩过程（二）.二阶矩随机过程（复随机过程）2.二阶矩过程的简单性质(1)二阶矩过程的均值函数和自相关函数必然存在。故EX(t)和EY(t)均存在,从而EZ(t)亦存在.证明：因为若Z(t)为复二阶矩过程,可得:(2)自相关函数RZ(s,t)具有Hermite性质,即实际上因此自相关函数RZ(s,t)也存在.(3)自相关函数RZ(s,t)具有非负定性,即对于对于任意的正整数n，任意的t1,…,tn和任意的n个复数a1,…,an,有因为一、独立随机过程1.定义；2.例子；3.性质二、独立增量随机过程1.定义；2.例子；3.性质；4.扩展

一、

独立随机过程1.定义：设X(t)为一随机过程。若对于任意的正整数n，任意的t1,…,tn,n个随机变量X(t1),…,X(tn)相互独立，则称X(t)为独立随机过程。注意：(1)两个任意。。。例1

考虑抛掷骰子的试验:设Xn

是第n次抛掷的点数，对于n=1,2,…的不同值，Xn

为不同的随机变量。因而{Xn,n≥1}构成一个随机过程，称为贝努利过程或贝努利随机序列；该过程是一个独立过程。2、独立过程X(t)的数字特征

二、

独立增量随机过程（1）注意：以后都是在二阶矩存在的前提下，谈论独立增量随机过程。（2）注意：以后都是讨论实随机过程，谈论独立增量随机过程，其值域是实数，或实数的子集。（3）注意：以后都是在参数集T={t,t>=0}的前提下，并默认X(0)=0的前提下谈论独立增量随机过程。2.

独立增量过程的性质：(4).设增量Y(t,s)=X(s)-X(t)(t<s)的分布函数为F(x,t,s),则对于任意的t1<t2<t3，总有

F(x,t1,t3)=F(x,t1,t2)*F(x,t2,t3)其中*表示卷积.例

设{Yn,n=0,1,2,…}为随机过程,

随机变量Xk,k=1,2,…相互独立，且均服从相同的两点分布，即其分布律为试求出Yn的均值函数、方差函数、自协方差函数和自相关函数.其中Y0=0,3.平稳独立增量过程4.不相关增量过程定义：设X(t)为一实随机过程，若对于存在，且对于任意的满足等式则称此X(t)为不相关增量过程。注意：不相关增量过程一定是二阶矩过程二阶矩过程不一定是不相关增量过程注意：二阶矩下的独立增量过程一定是不相关增量过程。但不相关增量过程不一定是独立增量过程。正态过程1.定义；2.有限维分布函数；3.如何证明随机过程是正态过程；正态过程设X(t)为随机过程，若对任意的n及任意的t1,…,tn

，n维随机变量(X(t1),…,X(tn))服从n维正态分布，即其概率密度为2.正态过程的n维分布函数3.正态过程的k维特征函数假设是k维正态随机向量，则其特征函数为：4、如何证明一个随机过程是正态随机过程：

定理：n维随机变量(X1,…,Xn)服从n维正态分布的充要条件是n个随机变量X1,…,Xn的任意线性组合均服从一维正态分布.

易见，正态过程的有限维分布均为正态分布，n维正态分布由其协方差阵C唯一确定，故正态过程的有限维分布由X(t)的协方差函数

{CX(ti,tj),i,j=1,2,…,n}唯一确定。注意：X和Y的独立性，不能少。

例3.4

试证随机过程证由于A,B为相互独立的正态随机变量,故其线性组合亦服从正态分布.任取为一正态随机过程,其中A,B为相互独立同服从N(0,σ2)分布的随机变量,ω为一实常数。

仍为A与B的线性变换,故服从一维正态分布,从而知n维随机变量(X(t1),…,X(tn))服从n维正态分布,所以X(t)为正态过程.取任意常数则X(t1),…,X(tn)的线性组合定义3.6

设X(t)与Y(t)为实正态随机过程，则称Z(t)=X(t)+iY(t)为复正态随机过程。

例3.5

复随机过程其中Ak,k=1,2,…,n相互独立，且均服从正态分布N(0,σ2),ωk,k=1,2,…,n为实常数,则此复随机过程Z(t)即为复正态随机过程。（1）EX(t)X(t+1)=6exp(-1/2)试写出次随机过程种随机变量X(t),X(t+1),X(t+2),X(t+3)的协方差矩阵C.（2）1.布朗运动的引入；2.布朗运动的数学模型3.布朗运动的定义；4.布朗运动的分布；5.布朗运动的数字特征；布朗运动1.布朗运动的引入；Brown运动最初是由英国生物学家R.Brown于1827年根据观察花粉在液面上作”无规则运动”的物理现象而提出的.Einstein于1905年首次对这一现象的物理规律给出了一种数学描述,使这一课题有了显著的发展.Wiener于1918年对这一现象在理论上作出了精确的数学描述,并进一步研究的Brown运动的轨道性质,提出了在Brown运动空间上定义测度与积分.Brown运动作为具有连续参数和连续状态空间的一个随机过程,是一个最基本,最简单同时又是最重要的随机过程.许多其它的随机过程常常可以看作是它的泛函或某种意义下的推广.Brown运动及其推广广泛出现在许多科学领域中,如物理,经济,通信理论等.同时,由于Brown运动与微分方程有密切联系,它又成为概率与分析联系的重要渠道.2、布朗运动的数学模型以B(t)表示运动中一微粒从时刻t=0到时刻t>0的位移的横坐标，且设B(0)=0。由于微粒的运动是受到大量随机的、相互独立的分子碰撞的结果，于是:

粒子在时段(s,t]上的位移可看作是许多微小位移的 和，根据中心极限定理，假设位移B(t)-B(s)服从正 态分布是合理的。(2)由于粒子的运动完全由液体分子不规则碰撞而引起 的，这样，在不相重叠的时间间隔内，碰撞的次数、 大小和方向可假设相互独立，即B(t)具有独立增量， 同时B(t)的增量具有平稳性。3.Brown运动的定义不失一般性，仅仅讨论标准Brown运动4.布朗运动的分布：布朗运动是正态过程。证明：所以：布朗运动是正态过程。设X(t)为布朗运动，若对任意的n及任意的t1<t2<t3…,<tn

，n维随机变量(B(t1),…,B(tn))服从n维正态分布，即其概率密度为5、维纳过程的数字特征(1)维纳过程的均值函数、方差函数、协方差函数与相关函数为例:

设{B(t),t≥0}是以σ2

为参数的布朗过程,求下列过程的协方差函数:解:(1)设Z(t)=B(t)+At,则(1)B(t)+At,(A为常数);(2)B(t)+Xt,X为与{B(t),t≥0}相互独立的标准正态变量.(3)aB(t/a2),a

为正常数.(2)设Z(t)=B(t)+At,则均值为其中，因为X

与B(t)独立，所以(3)设Z(t)=aB(t/a2),则均值为§3.1均方极限§3.2均方连续§3.3均方导数§3.4均方积分§3.5正态随机过程的均方微积分220第3章二阶矩过程的均方微积分第三章基本要求1、了解均方极限的概念和性质，会求简单随机过程的均方极限；2、了解均方连续性的概念和性质，会确定简单随机过程的均方连续性；3、了解均方导数的概念和性质，会求简单随机过程的均方导数；4、了解均方积分的概念和性质，会求简单随机过程的均方积分；5、了解正态过程的均方微积分性质。221为了深入研究随机过程，如讨论随机信号的线性变换，就必须借助随机过程的微分与积分。因此，有必要将高等数学中的极限、连续、微分和积分等概念进行推广。本课程将引入建立在随机极限上的均方连续、均方可微和均方可积等概念。222一、随机变量序列的均方极限二、均方极限的性质三、随机过程的均方极限223§3.1均方极限数列的极限函数的极限函数的连续性函数的可导性函数的可积性一、相关背景2251.回顾数列的极限：数列{X(n),n≥1}的极限：2262.类比随机变量序列{X(n),n≥1}的极限？X(1)X(2)XX(N)“变动”的数列有极限？极限固定？变动的数列与变动的极限之间的距离也变动？E|X(n)-X|2D(X)=E(X-EX)2227二、均方范数1.定义1.1

二阶矩存在的随机变量的全体组成的集合称为二阶矩变量空间。注2：如无特别指明,本章讨论的均是二阶矩过程。注1：若X为复随机变量，定义中的绝对值符号理解为模。2282.定义1.2在二阶矩变量空间H中，定义范数为注：该范数应该满足三条基本性质。229（1）Cauchy不等式（2）Jessen不等式3.重要不等式230则称Xn均方收敛于X，称X为Xn的均方极限，记作1.定义：

设随机变量序列{Xn,n≥1}和随机变量X的二阶矩有限，注1：L·i·m即limitinmeansquare，表示均方意义下的极限。三、随机序列的均方极限注2：是普通的极限。

（A）数列{X(n),n≥1}的极限定义：(B)设r.v.序列{Xn，n=1,2,···}存在二阶矩，r.v.X也存在二阶矩，若232四、随机序列均方极限的性质（1）均方极限唯一性。概率密度1.性质1：均方极限唯一性定理r.v.序列的均方极限在概率1意义下是唯一的。2.[定理]

设

{Xn},{Yn},都是二阶矩随机序列，U是二阶矩随机变量，{cn}是常数序列，a,b,c为常数。令l.i.mXn=X,l.i.mYn=Y,limcn=c

，则有235注1：即均方极限与期望可交换顺序。2363.如果且，则特别地推论：若,则237对任意常数a,b有(4)若(5)若，X是随机变量，则238(6)判别准则(柯西准则)：均方极限存在的充要条件(7)均方收敛准则。{Xn}均方收敛的充要条件定义设r.v.序列{Xn，n=1,2,···}存在二阶矩，r.v.X也存在二阶矩，若1.依概率收敛的定义则称Xn（n=1,2,···）依概率收敛于X，记作五、随机序列的三种极限定义设r.v.序列{Xn，n=1,2,···}存在二阶矩，r.v.X也存在二阶矩，若2、依分布收敛的定义则称Xn（n=1,2,···）依分布收敛于X，记作3、均方收敛定义定义设r.v.序列{Xn，n=1,2,···}存在二阶矩，r.v.X也存在二阶矩，若则称Xn（n=1,2,···）均方收敛于X，或称X是{Xn}的均方极限，记作L·i·m表示均方意义下的极限，即limitinmean的缩写。242245对于连续参数集的随机过程，讨论极限。首先回顾函数{f(t),t∈T}

的极限：六、随机过程的均方极限246定义

设随机过程{X(t),t∈T}和随机变量X的二阶矩有限，若则称X(t)依均方收敛于X，称X为X(t)的均方极限，记作注：随机变量序列的均方极限一些性质，对随机过程依然成立。247以均方极限为基础，可定义随机过程的均方连续性、均方导数、均方积分。（1）对比数列情形的极限，均方度量随机变量间的距离。（2）随机变量序列均方极限的定义，基本运算可交换顺序，后知均方的重要性。（3）随机过程均方极限的定义。小结：一、均方连续性的概念二、均方连续性的性质三、均方导数的概念四、均方导数的性质248§3.2均方连续性与均方导数249一、随机过程的均方连续性回顾《高等数学》中函数的连续性：t0t0处的极限≠t0处的函数值定义

如果二阶矩过程X(t)满足则称X(t)在t0处均方连续。若对t∈T，X(t)都均方连续，则称X(t)在T上均方连续。注1：均方连续的等价定义：注：回忆均方极限的定义2512、均方连续准则分析：证明：[定理]

若二阶矩实随机过程

{X

(t),t

T}是均方连续的，则它的数学期望也必定连续。推论二阶矩过程{Xt,<t<

}在(

,

)上均方连续R(s,t)在{(t,t),<t<

}上连续。

R(s,t)在{(s,t)，(s,t)

(

,

)}上连续(1)二阶矩过程X(t)在t0处均方连续的充要条件，自相关函数RX(s,t)在点(t0,t0)处连续。(2)二阶矩过程X(t)在t0处均方连续的充要条件，自协方差函数CX(s,t)在点(t0,t0)处连续。(3)若二阶矩过程X(t)的自相关函数RX(s,t)在对角线上连续，则它在整个平面T2上每一点(s,t)处都均方连续，反之亦然。(4)若二阶矩过程X(t)在T上均方连续，则均值函数及方差函数也在T上连续。均方连续性的一些总结：试问此随机过程X(t)是否均方连续？例2.1

设随机过程X(t)的相关函数为解：因为是初等函数，且当t=s时连续，故此随机过程均方连续。解:布朗运动B(t)的自相关函数为例2.2参数为σ2的布朗运动B(t)是否均方连续?在任意点(t,t)处连续,故布朗运动均方连续.二、均方导数的概念1.回顾：函数X(t)在t=t0处的导数，定义为如下极限259则称为X(t)在t0处的均方导数，也称X(t)在t0处均方可导。记为2、均方导数的概念定义3.1若随机过程X(t)在时刻t0处存在如下均方极限注：若X(t)在T上每点t都均方可导，则称X(t)在T上均方可导，记作，是一新的随机过程，其概率空间与X(t)相同。类似地，可定义X(t)的二阶均方导数与n阶均方导数262存在，等价于如下极限存在如何判定均方导数存在呢？263tt+htt+h’R(t+h,t+h’)R(t,t+h’)R(t,t)R(t+h,t)264则称

f(s,t)在(s,t)处广义二阶可导或广义二阶可微，此极限称为在(s,t)处的广义二阶导数，记为定义3.2

设f(s,t)为普通二元函数，若存在极限3、广义二阶导数回忆《高等数学》中的二阶偏导数：二者不一定相等若一阶偏导数存在若二阶混合偏导数存在广义二阶偏导数与二阶偏导数的关系：如果f(s,t)满足如下三条，（1）一阶偏导数都存在，（2）二阶混合偏导数都存在,（3）二阶混合偏导数都连续，则f(s,t)广义二阶导数存在且4、均方可微准则[定理]

二阶矩过程

{X

(t),t

T}在t点均方可微的充要条件是相关函数

RX(t1,t2)的广义二阶导数在点(t,t)处存在。271例，设是一维布朗运动,判断它是否均方可微.解:根据均方可微准则,均方可微R(s,t)在(t,t)处广义二次可微。令s=t,0<h≤k它不是均方可微的.试问此随机过程是否均方连续、均方可导？例：设随机过程X(t)的均值函数和自相关函数为解：此随机过程是均方连续，但是不是均方可导。此随机过程是不是均方可导。解:它不是均方可微的.275例3.1试求随机过程X(t)=At+B的均方导数，其中A，B为相互独立的随机变量。解：(1)任一r.v.（或常数）的均方导数为零；

(2)若{Xt

，tT}、{Yt，tT}是两个均方可微的随机过程，a,b为两个常数，则aXt+bYt也均方可微，且

(3)设{Xt

，tT}均方可微，f(t)为一个普通的可微函数，则f(t)Xt也均方可微，且4、均方可微性质(4)随机过程若均方可微，则必均方连续，反之不然。[推论]

若相关函数

RX(t1,t2)在{(t,t),t

T}上每一点广义二阶可微，则在T

上以及在T

T

上存在，且有数学期望与求导运算可以交换顺序4、均方可微性质280例3.2

设随机过程X(t)的均值与相关函数为试求的均值与协方差。例设{X

(t),t

T}是实均方可微过程，求其导数过程{X

(t),t

T}的协方差函数CX

(s,t)。[解]小结（1）均方导数的定义，基于均方极限；（2）均方导数存在的判定准则，基于自相关函数的广义二阶导数。（3）均方导数的性质，数学期望与求导可交换顺序。一二阶矩过程的均方积分概念二二阶矩过程的均方积分性质§3.4随机过程的均方积分一、均方积分的概念回顾：《高等数学》中的定积分微元的思想：曲边梯形的面积≈小矩形面积和近似一、均方积分的概念1.定义

设随机过程{X(t),t∈T=[a,b]},普通函数f(t),t∈T(1)分割T：将[a,b]分成n个子区间，分点为(3)求极限：若△n→0时Yn均方收敛于Y（不依赖于分点和

k）则称f(t)X(t)在T=[a,b]上均方可积，并称Yn的极限Y为f(t)X(t)在T上的均方积分，记作特别地当f(t)=1，t∈[a,b]时，2二阶矩过程的均方积分存在性1)（均方可积准则）设f(t)为普通函数，X(t)为随机过程,则f(t)X(t)在[a,b]上均方可积的充要条件是下面的普通二重积分

如果随机过程在[a,b]上均方连续，则X(t)在[a,b]上均方可积。3）定理(均方可积充要条件)对于二阶矩过程Xt,Xt在[a,b]上均方可积二重积分存在；且EX设是一维标准维纳运动,判断它是否均方可积.解:根据均方可积准则,但时极限不存在.三、均方积分的性质

(1)（线性）设{Xt，tT}、{Yt，tT}是两个二阶矩过程，若它们在[a,b]T上均方可积，A、B为常数或r.v.，则有(2)（可加性）若X

(t)在[a,b]上均方可积，则(3)若Xt在[a,b]及[c,d]上均方可积，则

(4)若Xt在[a,b]上均方连续，则它在[a,b]上均方可积。特别是则有(6)（唯一性）

(5)若Xt在[a,b]上均方连续，则(7)若X(t)在[a,b]上均方连续，则(8)若Xt在[a,b]上均方可微，且在[a,b]上均方连续，均方可微，且并称Yt是Xt的不定积分。均方连续，则此式相当于黎曼微积分中熟知的牛顿-莱布尼兹公式。即:导数与积分过程互为逆运算过程设{Xt，tT}是一个二阶矩过程，若它在[a,b]T上均方连续，那么，它在[a,b]T上均方可积。设{Xt，tT}是一个二阶矩过程，若参数集T上均方可积例4.2

设随机过程

的协方差函数求的方差。

0≦t1≦t2uvu=vt1t2u>vu<v0讨论：t2>t1的大小0≦t1≦t2uvu=vt1t2u>vu<v0所以例设随机信号