随机过程知识点

1、第一章：预备知识§1.1概率空间随机试验，样本空间记为。定义1.1设是一个集合，F是的某些子集组成的集合族。如果（1）F；（2）F ，F； （3）若F ，则F；则称F为代数(Borel域)。(,F)称为可测空间，F中的元素称为事件。由定义易知：定义1.2 设(,F)是可测空间，P(·)是定义在上的实值函数。如果则称P是上的概率，（）称为概率空间，P(A)为事件A的概率。定义1.3 设（）是概率空间，如果对任意，有： 则称为独立事件族。§1.2 随机变量及其分布随机变量X，分布函数，n维随机变量或n维随机向量，联合分布函数，是独立的。§1.3随机变量的数字

2、特征定义1.7 设随机变量X的分布函数为，若，则称 为X的数学期望或均值。上式右边的积分称为Lebesgue-Stieltjes积分。 方差，为X、Y的协方差，而 为X、Y的相关系数。若则称X、Y不相关。 （Schwarz不等式）若则 § 1.4 特征函数、母函数和拉氏变换 定义1. 10 设随机变量的分布函数为F（x），称 为X的特征函数随机变量的特征函数具有下列性质：(1)1( 2 ) g (t)在 上一致连续。（3）(4)若是相互独立的随机变量，则的特征函数，其中是随机变量X的特征函数，.定义1 . 11 设 是n维随机变量，t = () 则称,为X的特征函数。定义1.12 设

3、X是非负整数值随机变量，分布列 则称为X的母函数。§ 1.5 n维正态分布 定义1.13 若n维随机变量的联合概率密度为 式中，是常向量，是正定矩阵，则称为n维正态随机变量或服从n维正态分布，记作。 可以证明，若，则的特征函数为 为了应用的方便，下面，我们不加证明地给出常用的几个结论。 性质1 若则。 性质2 设，若正定，则。即正态随机变量的线性变换仍为正态随机变量。性质3 设是四维正态随机变量，则§ 1.6 条件期望 给定Y=y时，X的条件期望定义为由此可见除了概率是关于事件Y=y的条件概率以外，现在的定义与无条件的情况完全一样。 E(X|Y=y)是y的函数，y是Y的一个

4、可能值。若在已知Y的条件下，全面地考虑X的均值，需要以Y代替y，E(X|Y)是随机变量Y的函数，也是随机变量，称为 X在 Y下的条件期望。 条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质。 性质 若随机变量X与Y的期望存在，则 -(1) 如果Y是离散型随机变量，则上式为如果Y是连续型，具有概率密度f(x)，则（1）式为第二章 随机过程的概念与基本类型§2.1 随机过程的基本概念定义2.1 设（）是概率空间,T是给定的参数集,若对每个tT，有一个随机变量X(t,e)与之对应，则称随机变量族是（）的随机过程,简记为随机过程。T称为参数集，通常表

5、示时间。通常将随机过程解释为一个物理系统。X(t)表示在时刻t所处的状态。X(t)的所有可能状态所构成的集合称为状态空间或相空间，记为I。从数学的观点来说，随机过程是定义在T×上的二元函数。对固定的t，X(t,e)是定义在T上的普通函数，称为随机过程的一个样本函数或轨道，样本函数的全体称为样本函数的空间。§ 2.2 随机过程的函数特征=X(t),tT 的有限维分布函数族。有限维特征函数族：其中：定义2.3 设=X(t),tT 的均值函数，。二阶矩过程，协方差函数：相关函数： 定义2.4 设X(t),tT ，Y(t),tT 是两个二阶矩过程，互协方差函数，互相关函数。

6、7; 2.3 复随机过程 定义 2.5 设，是取实数值的两个随机过程，若对任意 ，其中 ，则称为复随机过程 定理 2.2 复随机过程的协方差函数 具有性质 （1）对称性：；（2）非负定性§2.4 几种重要的随机过程一、正交增量过程定义2.6 设是零均值的二阶矩过程，若对任意的有公式，则称正交增量过程。二、独立增量过程定义2.7 设是随机过程，若对任意的正整数和随机变量是互相独立的，则称是独立增量过程，又称可加过程。定义 2.8 设是平稳独立增量过程，若对任意随机变量的分布仅依赖于，则称是平稳独立增量过程。三、马尔可夫过程定义2.9设为随机过程，若对任意正整数n及,，且其条件分布=，(

7、2.6) 则称为马尔可夫过程。四、正态过程和维纳过程定义 2.10设是随机过程，若对任意正整数n和,(,)是n维正态随机变量，则称是正态过程或高斯过程。定义 2.11设为随机过程，如果（1）；（2）它是独立、平稳增量过程；（3）对，增量，则称为维纳过程，也称布朗运动过程。定理 2.3 设是参数为的维纳过程，则（1） 任意t,；（2） 对任意,特别： 。五、平稳过程定义 2.12 设是随机过程，如果对任意常数和正整数当时，与有相同的联合分布，则称为严平稳过程，也称狭义平稳过程。定义 2.13 设是随机过程，如果（1）是二阶矩过程；（2）对于任意常数；（3）对任意的，则称为广义平稳过程，简称为平稳

8、过程。若T为离散集，则称平稳过程为平稳序列。第三章 泊松过程§.1 泊松过程的定义和例子 定义3.1 计数过程 定义3.2 称计数过程为具有参数0的泊松过程，若它满足下列条件 (1) X(0)= 0； (2) X(t)是独立增量过程； (3) 在任一长度为t的区间中，事件A发生的次数服从参数t0的泊松分布，即对任意s,t0，有 注意，从条件(3)知泊松过程是平稳增量过程且。由于，表示单位时间内事件A发生的平均个数，故称为此过程的速率或强度。 定义3.3 称计数过程为具有参数0的泊松过程，若它满足下列条件 (1) X(0)= 0； (2) X(t)是独立、平稳增量过程；(3) X(t)

9、 满足下列两式： (3.2) 定理3.1 定义3.2与定义3.3是等价的。3.2 泊松过程的基本性质一、数字特征设是泊松过程， 一般泊松过程的有。有特征函数定义，可得泊松过程的特征函数为 二、时间间隔与等待时间的分布为第n次事件A出现的时刻或第n次事件A的等待时间，是第n个时间间隔，它们都是随机变量。 定理3.2 设是具有参数的泊松分布，是对应的时间间隔序列，则随机变量是独立同分布的均值为的指数分布。 定理3.3 设是与泊松过程对应的一个等待时间序列，则服从参数为n与的分布，其概率密度为 三、到达时间的条件分布 定理3.4 设是泊松过程，已知在0,t内事件A发生n次，则这n次到达时间与相应于n

10、个0,t上均匀分布的独立随机变量的顺序统计量有相同的分布。§3.3 非齐次泊松过程定义3.4 称计数过程为具有跳跃强度函数的非齐次泊松过程，若它满足下列条件：(1) ；(2) 是独立增量过程；(3) 非齐次泊松过程的均值函数为：定理3.5 设是具有均值函数的非齐次泊松过程，则有或 上式表明不仅是的函数，也是的函数。3.4 复合泊松过程定义3.5 设是强度为的泊松过程，是一列独立同分布随机变量，且与独立，令则称为复合泊松过程。 定理3.6 设是复合泊松过程，则（1）。是独立增量过程；（2）X(t)的特征函数，其中是随机变量的特征函数；是事件的到达率。（3）若则第4章 马尔可夫链

11、7;4.1 马尔可夫链的概念及转移概率 一、马尔可夫键的定义 定义1 设有随机过程，若对于任意的整数和任意的，条件概率满足则称为马尔可夫链，简称马氏链。二、转移概率定义2 称条件概率为马尔可夫链在时刻n的一步转移概率，其中，简称为转移概率。 定义 3 若对任意的，马尔可夫链的转移概率与n无关，则称马尔可夫链是齐次的，并记为。定义4 称条件概率为马尔可夫链的n步转移概率， 定理 1 设为马尔可夫链，则对任意整数和，n步转移概率具有下列性质：定义5 设为马尔可夫链，称为的初始概率和绝对概率，并分别称和为的初始分布和绝对分布，简记为和。定理2 设为马尔可夫链，则对任意和，绝对概率具有下列性质：定理3

12、 设为马尔可夫链，则对任意和，有§4.2 马尔可夫链的状态分类一、状态分类假设是齐次马尔可夫链，其状态空间，转移概率是, 初始分布为 。定义4.6 如集合非空，则称该集合的最大公约数为状态的周期。如就称为周期的，如就称为非周期的。（若对每一个不可被整除的，有=0，且是具有此性质的最大正整数，则称为状态的周期。）引理4.1 如的周期为d，则存在正整数M，对一切，有。定义 对记 （4.15）称是系统在0时从出发经过步转移后首次到达状态的概率，而则是在0时从出发，系统在有限步转移内不可能到达状态的概率。我们将和统称为首达概率（又称首中概率）。引理 （1） （2） 首达概率可以用一步转移概率

13、来表示： 定义4.7 若=1，则称状态为常返的；若<1，则称状态为非常返的。定义4.8 如，则称常返态为正常返的；如，则称常返态为零常返的，非周期的正常返态称为遍历状态。从状态是否常返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型：与有如下关系：定理4.4 对任意状态，及，有 （4.16）引理4.2 二、常返态的性质及其性质 定理4.5 状态常返的充要条件为 （4.18）如非常返，则 定理4.7 设常返且有周期d，则 . （4.26）其中为的平均返回时间。当时，.推论 设常返，则(1) 零常返；（2）遍历。定理4.8 可达关系与互通关系都具有传递性，即如果

14、，则；如果，则。定理4.9 如,则（1） 与同为常返或非常返，若为常返，则它们同为正常返或零常返；（2） 与有相同的周期。§4.3 状态空间的分解定义4.9 状态空间I的子集C称为（随机）闭集，如对任意及都有。闭集C称为不可约的，如C的状态互通。马氏链称为不可约的，如其状态空间不可约。引理4.4 C是闭集的充要条件为对任意及kC都有=0，n1。称状态i为吸收的，如=1。显然状态吸收等价于单点集为闭集。定理4.10 任一马氏链的状态空间I，可唯一地分解成有限个或可列个互不相交的子集之和，使得 每一是常返态组成的不可约闭集。 中的状态同类，或全是正常返，或全是零常返。它们有相同的周期且,

15、 。 D由全体非常返状态组成。自中的状态不能到达D中的状态。定义4.10 称矩阵（）为随机矩阵，如其元素非负且每有1。显然k步转移矩阵（）为随机矩阵。引理4.5 设C为闭集，又G（）, ,jC,是C上所得的（即与C相应的）k步转移子矩阵，则G仍是随机矩阵。定理4.11 周期为d的不可约马氏链，其状态空间可唯一地分解为个互不相交地子集之和，即 （4.31）且使得自中任一状态出发，经一步转移必进入中（其中）。定理4.12 设是周期为的不可约马氏链，则在定理4.11的结论下有(1)如只在时刻上考虑，即得一新马氏链，其转移阵，对此新链，每一是不可约闭集，且中的状态是非周期的。(2)如原马氏链 常返，也

16、常返。§4.4 的渐近性质与平稳分布一、的渐近性质定理4.13 如j非常返或零常返，则0， （4.33）推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限马氏链必为正常返的。推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。定理4.14 如j正常返，周期为d，则对任意i及有 （4.37）推论 设不可约、正常返、周期d的马氏链，其状态空间为C，则对一切,有 （4.38）其中为定理4.11中所给出。特别，如d=1，则对一切有 (4.39)定理 4.15 对任意状态有推论 如不可约，常返，则对任意,有 时，理解0 定义4.11 称概率分布为马

17、尔可夫链的平稳分布，若它满足 （4.41）值得注意的是，对平稳分布，有 (4.42)定理4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布。推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。推论2 若不可约马尔可夫链的所有状态是非常返或零常返的，则不存在平稳分布.推论3 若是马尔可夫链的平稳分布，则 第五章 连续时间的马尔可夫链§5.1连续时间的马尔可夫链定义5.1 设随机过程X(t),t0,状态空间,若对于任意及有= (5.1)则称X(t),t0为连续时间的马尔可夫链。记(5.1)式条件概率的一般形式为 (5.2) 定义 5.2 若(5

18、.2)式的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 (5.3)其转移概率矩阵简记为。以下的讨论均假定我们所考虑的连续时间马尔柯夫链都具有齐次转移概率。为方便起见，简称为齐次马尔可夫过程。定理5.1.1 齐次马尔可夫过程的转移概率具有以下性质：其中（3）式为马尔可夫过程的Chapman-Kolmogorov（简称C-K）方程。（1），（2）由概率定义及的定义易知，下面只证明（3）。定义5.1.3对于任一t0,记分别称和为齐次马尔可夫过程的绝对概率分布和初始概率分布。性质5.1.1 齐次马尔可夫过程的绝对概率及有限维概率分布具有以下性质：§5

19、.2 柯尔莫哥洛夫微分方程引理5.2.1 设齐次马尔可夫过程满足正则性条件，则对于任意固定的是t的一致连续函数。定理5.3 设是齐次马尔可夫过程的转移概率，则下列极限存在我们称为齐次马尔可夫过程从状态到状态的转移速率或跳跃强度。推论对有限齐次马尔可夫过程，有 （5.2.1）定理5.4 (柯尔莫哥洛夫向后方程)假设，则对一切及t³0，有 （5.2.4）定理5.2.3 （柯尔莫哥洛夫向前方程）在适当的正则条件下 (5.2.6)定理5.2.4 齐次马尔可夫链过程在t时刻处于状态jI的绝对概率满足如下方程： 定理5.2.5 设马尔可夫过程是不可约的，则有下列性质：(1)若它是正常返的，则极限

20、存在且等于,这里是方程组 的唯一非负解，此时称是该过程的平稳分布，并且有 (2)若它是零常返的或非常返的，则§5.3 生灭过程定义 设齐次马尔可夫过程的状态空间为，转移概率为，如果则称为生灭过程。其中，称为出生率，称为死亡率。(1)若 (,为正常数)，则称为线性生灭过程；(2)若，则称为纯生过程；(3)若，则称为纯灭过程。第六章 平稳随机过程§6.1 平稳过程的概念与例子 一、平稳过程的定义1.平稳过程定义 §6.2 联合平稳过程及相关函数的性质一、联合平稳过程定义 设和是两个平稳过程，若它们的互相关函数及仅与有关，而与无关，则称和是联合平稳随机过程。定理6.1

21、设为平稳过程，则其相关函数具下列性质:(1) (2) (3) (4) 是非负定的，即对任意实数及复数，有(5) 若是周期为T的周期函数，即，则；(6) 若是不含周期分量的非周期过程，当时，与相互独立，则类似地，联合平稳过程和的互相关函数由下列性质：(1) (2) § 6.3 随机分析 一、收敛性概念1、处处收敛对于概率空间上的随机序列，每个试验结果e都对应一序列。 （6.2）故随机序列实际上代表一族(6.2)式的序列，故不能用普通极限形式来定义随机序列的收敛性。若(6.2)式对每个e都收敛，则称随机序列处处收敛，即满足其中X为随机变量。2、以概率1收敛若使随机序列满足的e的集合的概率

22、为1，即我们称二阶矩随机序列以概率1收敛于二阶矩随机变量X(e)，或称几乎处处收敛于X(e)，记作。3、依概率收敛若对于任给的>0， 若有 ，则称二阶矩随机序列依概率收敛于二阶矩随机变量X(e)，记作。4、均方收敛设有二阶矩随机序列和二阶矩随机变量X，若有 (6.3)成立，则称均方收敛，记作。注：(6.3)式一般记为或。5、依分布收敛设有二阶矩随机序列和二阶矩随机变量X，若相应的分布函数列，在X的分布函数F(x)的每一个连续点处，有则称二阶矩随机序列依分布收敛于二阶矩随机变量X，记作对于以上四种收敛定义进行比较，有下列关系：(1) 若，则(2) 若，则(3) 若，则定理2 二阶矩随机序列

23、收敛于二阶矩随机变量X的充要条件为定理3 设都是二阶矩随机序列，U为二阶矩随机变量，为常数序列，a，b，c为常数。令，。则（1） ；（2） ；（3） ；（4） ；（5） ；（6） ；特别有。定理4 设为二阶矩随机序列，则均方收敛的充要条件为下列极限存在。二、均方连续定义 设有二阶矩过程，若对，有，则称在点均方连续，记作。若对T中一切点都均方连续，则称在T上均方连续。定理（均方连续准则）二阶矩过程在t点均方连续的充要条件为相关函数。推论 若相关函数在上连续，则它在T×T上连续三、均方导数定义7 设是二阶矩过程，若存在一个随机过程，满足类似的有称为在的广义二阶导数，记为定理6 均方可微准

24、则 二阶矩过程在t点均方可微的充要条件为相关函数的广义二阶导数存在。推论1 二阶矩过程在T上均方可微的充要条件为相关函数在上每一点广义二阶可微。推论2 若在上每一点广义二阶可微，则在T上以及在上存在，且有 四、均方积分定义8 如果时，均方收敛于，即，则称在上均方可积，并记为定理7 （均方可积准则）在区间上均方可积的充要条件为存在。特别的，二阶矩过程在上均方可积的充要条件为在上可积。定理8 设在区间上均方可积，则有(1) 特别有 (2) 特别的有 。定理9 设二阶矩过程在上均方连续，则在均方意义下存在，且随机过程在上均方可微，且有。推论 设均方可微，且均方连续，则特别有§4 平稳过程的各态历经性定义9 设为均方连续的平稳过程，则分别称为该过程的时间均值和时间相关函数。定义10 设是均方连续的平稳过程，若，即以概率1成立，则称该平稳过程的均值具有各态历经性。若，即以概率1成立，则称该平稳过程的相关函数具有各态历经性。 定义11 如果均方连续的平稳过程的均值和相关函数都具有各态历经性，则称该平稳过程为具有各态历经性或遍历性。 定理 10 设是均方连续的平稳过程，则它的均值具有各态历经性的充要条件为 (6.9)定理6.11 设为均方连续的平稳过程，则其相关函数具有各态历经性的充要条件为 (6