随机过程基础

1、概率论的基本概念随机试验的最简单不能再分的每个结果为的样本点，记为或。由所有样本点组成的集合称为的样本空间或必然事件。称不含样本点的空集为不可能事件。如果中的某些子集组成的集类满足下列3个条件：(1) ；(2) 如果，则；(3) 如果，则。则称为的事件域。称且仅称中的元素为随机事件，简称为事件。如果定义于上的实值集合函数满足下列3个条件：(1) 如，则；(2) ；(3) 设，且当时，则。则称为概率测度，简称为概率。称为概率空间。如果定义于样本空间上单值实函数对任意实数，（简记为）均为事件，即，则称为随机变量。称概率为的分布函数。分布函数有3个基本性质：(1) 如果，则；(2) ，其中，；(3)

2、 。如果随机变量只能取可数多个不同的实数值，则称为离散型随机变量。如果存在非负函数，使得对任意，有，则称为连续型随机变量。称为的密度函数。随机变量的阶原点矩记为，如果，则它定义为其中为勒贝格-司蒂阶（Lebesgue-Stieltjes）积分。的一阶原点矩称为的均值或数学期望。如果的函数的数学期望存在，则有。如果存在，则称它为的阶中心距。称的二阶中心距为的方差，记为或，即。数学期望的几个重要性质：(1) 设是常数，则；(2) 设是一个随机变量，是常数，则；(3) 设，是两个随机变量，则；(4) 设，是相互独立的随机变量，则。性质（3）、（4）中可推广到任意有限个随机变量的情况。方差的几个重要性

3、质：(1) 设是常数，则；(2) 设是一个随机变量，是常数，则有；(3) 设，是两个随机变量，则有特别，若，相互独立，则有，这一性质可以推广到任意有限独立的随机变量之和的情况；(4) 的充要条件是以概率1取常数，即。随机变量与的协方差记为，如果它存在，它有下式定义：而，之间的相关系数由下式定义，其中，如果，则说与不（线性）相关，如果，则说与相关或相依。二维以上随即向量有类似于二维随机向量的诸概念。特征函数：设为随机变量的分布函数，则称，其中，为的特征函数，记为，即即是的数学期望。当为离散型随机变量且，时，则的特征函数为当为连续型随机变量且有密度函数时，则的特征函数为特征函数几个性质：(1) ；

4、(2) 设为常数，则；(3) 在实数轴上一致连续；(4) 如果随机变量和相互独立，则；(5) 分布函数由特征函数唯一决定。（特征函数的反演公式如果是连续型随机变量，则几乎处处有，其中分别为的分布函数与密度函数。如果是离散型随机变量，且，则的分布函数为，其中因为在处，函数的导数都存在且都为零。而在处，在普通意义下，的导数不存在，这是因为。然而在工程上，把记为，即，称为Dirac 函数，简称为-函数。它是一种广义函数，有如下性质：(1) 当时，当时，；(2) ；(3) 对任意连续函数有或者对任意有。）矩母函数：（如果它有限），它包含了任意阶的矩（阶矩）的信息，而且的分布也可由矩母函数唯一确定。如果

5、矩母函数不是有限的，可改用特征函数。随机变量：一个随机地取实数值的量（其中），称为随机变量，如果对于任意实数，样本点的集合都是一个随机事件。维随机向量的分布函数为，这里的含义为。其数学期望为。设随机变量独立且分别具有密度函数，则其和具有卷积密度，如果当时，则。切比雪夫（Chebyshev）不等式设随机变量具有数学期望，方差，则对于任意正数，不等式（等价于）成立。基本极限定理如果随机变量序列与随机变量间满足：对任意固定的，恒有，则称随机变量序列依概率收敛到随机变量，记为，其含义为，在忽略一个任意小的概率情形下，可以近似。常用的大数定理是Khinchine大数定理：设当为独立同分布的随机变量序列，

6、且，则。如果随机变量序列与随机变量之间满足则称均方收敛到，记为。由chebyshev不等式可以得到，均方收敛一定能推出依概率收敛。如果随机变量序列与随机变量之间满足，即“”是一个概率为1的事件，称概率为1地收敛到，记为。概率为1地收敛一定可以推出依概率收敛。设为连续型随机变量，其分布函数为，如果随机变量序列的分布函数收敛到，则称依分布收敛到，记为。对于非连续型的随机变量，如果在随机变量的分布函数的所有的连续点上有：随机变量序列的分布函数收敛到，则也称依分布收敛到。依分布收敛也称弱收敛，记为。从依概率收敛一定能推出依分布收敛。反之，不然。常用的中心极限定理为Levy-Lindeberg 中心极限

7、定理：若随机变量序列为独立同分布，且，则。对于维随机变量，也有相应的按分布（即按联合分布）收敛的概念及中心极限定理。随机过程的基本概念和主要类型随机过程的定义定义1. 设为一概率空间，为一实数集，如果对每个，都有定义于上的随机变量，与之对应，则称依赖于的随机变量族为一个随机过程。其中称为参数集或指标集。它可以是离散的，如，或；也可以是连续的，如，或。称中的元素为参数。称所能取得每一个值为状态，所有状态构成的集合称为状态空间。由上可知，一个随机过程实际上是样本点与参数的二元函数。当固定时，就是的普通函数，称它为随机过程的一个实现或一个样本空间。对应不同的，相应有不同的样本函数，因此随机过程也叫随

8、机函数。当固定时，就是一个随机变量。当，都固定时，就是一个数值，即随机过程的一个状态。当为连续时，称随机过程为连续参数随机过程。当为离散时，称随机过程为离散参数随机序列，简称随机序列。如果对于每个固定的，随机变量都是离散型的，就说随机过程有一个离散状态空间，这时称随机过程为链。否则就说有一个非离散状态空间。状态空间参数集离散非离散连续连续参数链随机过程离散离散参数链离散序列将记成，在不必要标明参数集时，记为或。参数通常是指时间这一物理量，但也可表示其他量，也可是多维的。参数为多维的随机过程成为随机场。随机过程的分布及其数字特征设是一个随机过程，对于每个，定义其一维分布函数为。当变动时就得到一维

9、分布函数族。相应于一维分布函数，可以定义的均值函数与方差函数（如果它们存在的话）分别为，显然，它们都是的函数。一维分布函数只能描述随机过程在各个孤立点的统计特性，而不能描述随机过程的全部统计特性。因此为了描述随机过程的全部统计特性，需要引入随机过程的多维分布函数。设，定义随机过程的二维分布函数为，。相应地，定义随机过程的协方差函数与相关函数（如果它们存在的话）分别为：显然。一般地，设，定义随机过程的维分布函数为，其中为维实数空间中的一点。称随机过程的一维分布函数族，二维分布函数族，维分布函数族等的全体为的有限分布函数族。由多维分布函数的性质易证，一个随机过程的有限维分布函数有如下两个性质：(1

10、) 对称性：对的任一排列有；(2) 相容性：对任意正整数有。随机过程的主要类型1. 独立过程2. 独立增量过程3. 马尔可夫（Markov）过程4. 鞅5. 高斯（Gauss）过程6. 维纳（Wiener）过程7. 泊松（poisson）过程8. 平稳过程1. 马尔可夫（Markov）过程特点：当过程在时刻所处的状态已知，则过程在以后所处的状态与过程在以前所处的状态无关，这一特性叫无后效性也叫马尔可夫性。“已知现在，将来与过去无关。”定义1：设为一随机过程，且，如果对于状态空间的任意状态，的条件分布函数满足：则称具有马尔可夫性或无后效性，并称为马尔可夫过程，简称马氏过程。式右端一般记为即称它为

11、马尔可夫过程的转移概率分布。（转移概率分布是马尔可夫过程极其重要的特征）定义2：设随机过程的状态空间为的可列集。如果对中任意个参数，以及使成立的中的任意状态与均有则称为马尔可夫链。如果为可列离散集，则称为离散参数马尔科夫链。设为离散参数马尔可夫链的状态空间。称条件概率为的步转移概率。并常将上述的步转移概率写成矩阵的形式，并用表示，即，它是一个无穷方阵。称为的步转移概率矩阵。显然，且。定义3：对任意方阵，如果其元素非负且对每个，有，则称为转移概率矩阵。定理 设为离散参数马尔可夫链，其状态空间为，则对任意正整数和非负整数，有2. 鞅定义：设为随机过程。如果(1) ；(2) 对中的任意参数，有即对状态空间中任意状态，有则称是鞅。如果随机序列对任意整数，且则称为离散参数鞅。3. 维纳（Wiener）过程一个质点在一条直线上作对称随机游动，即在一个单位时间内它等可能地向左或向右移动一个单位距离。现在通过变小时间单位和距离单位来加速质点移动的频率。设表示时刻质点的位置，时间单位取为，如果设与之间有关系，其中为正常数，则其中，为不大于的最大正整数。显然诸是相互独立的且，所以 （当时）又因是独立同分布随机变量的和，由中心极