随机过程及其统计描述概率论与数理统计.ppt

1 第十章随机过程及其统计描述 1随机过程的概念 2 热噪声电压电子元件或器件由于内部微观粒子 如电子 的随机热骚动所引起的端电压称为热噪声电压 它在任一确定时刻t的值是一随机变量 记为V t 不同时刻对应不同的随机变量 当时间在某区间 譬如 0 上推移时 热噪声电压表现为一族随机变量 记为 V t t 0 在无线电通讯技术中 接收机在接收信号时 机内的热噪声电压要对信号产生持续的干扰 通过某种装置对元件两端的热噪声电压进行长期测量 并记录结果 作为试验结果 得到一电压 时间函数 3 多次试验得到多个电压函数 tj 4 设T是一无限实数集 把依赖于参数t T的一族 无限多个 随机变量称为随机过程 记为 X t t T 这里对每一个t T X t 是一随机变量 T叫做参数集 常把t看作为时间 称X t 为时刻t时过程的状态 而X t1 x 实数 说成是t t1时过程处于状态x 对于一切t T X t 所有可能取的一切值的全体称为随机过程的状态空间 对随机过程 X t t T 进行一次试验 其结果是t的函数 记为x t t T 称它为随机过程的一个样本函数或样本曲线 所有不同的试验结果构成一族样本函数 5 随机过程可看作多维随机变量的延伸 随机过程与其样本函数的关系就象数理统计中总体与样本的关系一样 因此 热噪声电压的变化过程 V t t 0 是一随机过程 它的状态空间是 一次观测到的电压 时间函数就是这个随机过程的一个样本函数 在以后的叙述中 为简便起见 常以X t t T表示随机过程 在上下文不致混淆的情况下 一般略去记号中的参数集T 6 例1抛掷一枚硬币试验 样本空间是S H T 现藉此定义 7 其中P H P T 1 2 对任意固定的t X t 是一定义在S上的随机变量 对不同的t X t 是不同的随机变量 所以 X t t 是一族随机变量 即它是随机过程 另一方面 作一次试验 若出现H 样本函数x1 t cospt 若出现T 样本函数为x2 t t 所以该随机过程对应的一族样本函数仅包含两个函数 cospt t 显然这个随机过程的状态空间为 8 例2考虑X t acos wt Q t 1 1 式中a和w是正常数 Q是在 0 2p 上服从均匀分布的随机变量 t O x t x1 t q1 0 x2 t q2 3p 2 9 显然 对于每一个固定的时刻t t1 X t1 acos wt1 Q 是一个随机变量 因而由 1 1 式确定的X t 是一个随机过程 通常称它为随机相位正弦波 它的状态空间是 a a 在 0 2p 内随机地取一数qi 相应地即得这个随机过程的一个样本函数xi t acos wt qi qi 0 2p 10 例3在测量运动目标的距离时存在随机误差 若以e t 表示在时刻t的测量误差 则它是一个随机变量 当目标随时间t按一定规律运动时 测量误差e t 也随时间t而变化 换句话说 e t 是依赖于时间t的一族随机变量 亦即 e t t 0 是一随机过程 且它们的状态空间是 11 例4设某城市的120急救电话台迟早会接到用户的呼叫 以X t 表示时间间隔 0 t 内接到的呼叫次数 它是一个随机变量 且对于不同的t 0 X t 是不同的随机变量 于是 X t t 0 是一随机过程 且它的状态空间是 0 1 2 12 例5考虑抛掷一颗骰子的试验 i 设Xn是第n次 n 1 抛掷的点数 对于n 1 2 的不同值 Xn是不同的随机变量 因而 Xn n 1 构成一随机过程 称为伯努利过程或伯努利随机序列 ii 设Xn是前n次抛掷中出现的最大点数 Xn n 1 也是一随机过程 它们的状态空间都是 1 2 3 4 5 6 13 工程技术中有很多随机现象 例如 地震波幅 结构物承受的风荷载 时间间隔 0 t 内船舶甲板 上浪 的次数 通讯系统和自控系统中的各种噪声和干扰 以及生物群体的生长等等变化过程都可用随机过程这一数学模型来描绘 不过 这些随机过程都不能象随机相位正弦波那样 很方便 很具体地用时间和随机变量 一个或几个 的关系式表示出来 其主要原因是自然界和社会产生随机因素的机理极为复杂 甚至不可能观察到 因此只有通过分析样本函数才能掌握它们的规律性 14 随机过程的不同描述方式在本质上是一致的 在理论分析时往往以随机变量族的描述方式作为出发点 而在实际测量和数据处理中往往采用样本函数族的描述方式 这两种描述方式在理论和实际两方面是互为补充的 随机过程可依其在任一时刻的状态是连续型或离散型随机变量而分成连续型随机过程和离散型随机过程 热噪声电压 例2和例3是连续型随机过程 例1 例4和例5是离散型随机过程 15 随机过程还可依时间 参数 是连续或离散进行分类 当时间集T是有限或无限区间时 称 X t t T 为连续参数随机过程 以下如无特别指明 随机过程 总是指连续参数而言的 如果T是离散集合 例如T 0 1 2 则称 X t t T 为离散参数随机过程或随机序列 此时常记成 Xn n 0 1 2 等 如例5 16 有时为了数字化的需要 实际中也常将连续参数随机过程转化为随机序列处理 例如 我们只在时间集T Dt 2Dt nDt 上观察电阻热噪声电压V t 这时就得到一个随机序列 V1 V2 Vn 其中Vn V nDt 显然 当Dt充分小时 这个随机序列能够近似地描述连续时间情况下的热噪声电压 17 参数t通常解释为时间 但它也可以表示其它的量 诸如序号 距离等 例如 在例5中 我们假定每隔一个单位时间抛掷骰子一次 那么第n次抛掷的骰子出现的点数Xn就相当于t n时骰子出现的点数 18 2随机过程的统计描述 19 一 随机过程的分布函数族给定随机过程 X t t T 对于每一个固定的t T 随机变量X t 的分布函数一般与t有关 记为FX x t P X t x x R 称它为随机过程 X t t T 的一维分布函数 而 FX x t t T 称为一维分布函数族 一维分布函数族刻画了随机过程在各个个别时刻的统计特性 20 为了描述随机过程在不同时刻状态之间的统计联系 一般可对任意n n 2 3 个不同时刻t1 t2 tn T 引入n维随机变量 X t1 X t2 X tn 它的分布函数记为FX x1 x2 xn t1 t2 tn P X t1 x1 X t2 x2 X tn xn xi R i 1 2 n 对于固定的n 称 FX x1 x2 xn t1 t2 tn ti T 为随机过程 X t t T 的n维分布函数族 21 当n充分大时 n维分布函数族能够近似地描述随机过程的统计特性 显然 n取得越大 则n维分布函数族描述随机过程的特性也越趋完善 一般 可以指出 科尔莫戈罗夫定律 有限维分布函数族 即 FX x1 x2 xn n 1 2 t1 t2 tn ti T 完全地确定了随机过程的统计特性 22 二 随机过程的数字特征随机过程的分布函数族能完善地刻画随机过程的统计特性 但是人们在实际中 根据观察往往只能得到随机过程的部分资料 样本 用它来确定有限维分布函数族是困难的 甚至是不可能的 因而象引入随机变量的数字特征那样 有必要引入随机过程的基本的数字特征 均值函数和相关函数等 将会看到 这些数字特征在一定条件下是便于测量的 23 给定随机过程 X t t T 固定t T X t 是一随机变量 它的一切均值一般与t有关 记为mX t E X t 2 1 称mX t 随机过程 X t t T 的均值函数 注意 mX t 是随机过程的所有样本函数在时刻t的函数值的平均值 通常称这种平均为集平均或统计平均 均值函数mX t 表示了随机过程X t 在各个时刻的摆动中心 24 把随机变量X t 的二阶原点矩和二阶中心矩分别记作 并分别称它们为随机过程 X t t T 的均方值函数和方差函数 方差函数的算术平方根sX t 称为随机过程的标准差函数 它表示随机过程X t 在时刻t对于均值mX t 的平均偏离程度 25 t X t mX t mX t sX t mX t sX t x1 t x2 t xi t 26 又设任意t1 t2 T 把随机变量X t1 和X t2 的二阶矩原点混合矩记作RXX t1 t2 E X t1 X t2 2 4 并称它为随机过程 X t t T 的自相关函数 简称相关函数 RXX也简记为RX t1 t2 X t1 和X t2 的二阶混合中心矩记作CXX t1 t2 Cov X t1 X t2 E X t1 mX t1 X t2 mX t2 2 5 并称它为随机过程 X t t T 的自协方差函数 简称协方差函数 CXX t1 t2 也常简记为CX t1 t2 27 由 2 2 和 2 4 式知 由 2 5 式展开 得CX t1 t2 RX t1 t2 mX t1 mX t2 2 7 特别 当t1 t2 t时 由 2 7 式得 由上面可知诸数字特征中最主要的是均值函数和自相关函数 28 随机过程 X t t T 如果对每一个t T 二阶矩E X2 t 都存在 则称它为二阶矩过程 二阶矩过程的相关函数总存在 事实上 由于E X2 t1 E X2 t2 存在 根据柯西 许瓦兹不等式有 E X t1 X t2 E X2 t1 X2 t2 t1 t2 T 即知RX t1 t2 E X t1 X t2 存在 29 在实际中 常遇到一种特殊的二阶矩过程 正态过程 随机过程 X t t T 称为正态过程 如果它的每一个有限维分布都是正态分布 亦即对任意整数n 1及任意t1 t2 tn T X t1 X t2 X tn 服从n维正态分布 由第四章的结论知 正态过程的全部统计特性完全由它的均值函数和自协方差函数 或自相关函数 所确定 30 例1设随机变量A N 0 1 B U 0 2 A B相互独立 求随机过程X t At B t T 的均值函数mX t 和自相关函数RX t1 t2 解由题意E A 0 E A2 1 E B 1 E B2 4 3 mX t E X t E At B tE A E B 1 RX t1 t2 E X t1 X t2 E At1 B At2 B t1t2E A2 t1 t2 E AB E B2 t1t2 4 3 t1 t2 T 31 例2求随机相位正弦波 1例2 的均值函数 方差函数和自相关函数 解由假设Q的概率密度为 于是 由定义 32 而自相关函数 式中t t2 t1 特别 令t1 t2 t 即得方差函数为 33 例3设X t Acoswt Bsinwt t T 其中A B是相互独立 且都服从正态分布N 0 s2 的随机变量 w是实常数 试证明X t 是正态过程 并求它的均值函数和自相关函数 解由题设A B是相互独立的正态变量 所以 A B 是二维正态变量 对任意一组实数t1 t2 tn T X ti Acoswti Bsinwti i 1 2 n都是A B的线性组合 而正态变量的任何线性组合仍然是正态变量 因此X t1 X t2 X tn 是n维正态变量 因为n ti是任意的 因此X t 是正态过程 34 另因E A E B E AB 0 E A2 E B2 s2 由此可算得X t 的均值函数和自协方差函数 自相关函数 分别为 mX t E Acoswt Bsinwt 0 CX t1 t2 RX t1 t2 E Acoswt1 Bsinwt1 Acoswt2 Bsinwt2 s2 coswt1coswt2 sinwt1sinwt2 s2cosw t2 t1 35 三 二维随机过程的分布函数和数字特征实际问题中 有时必须同时研究两个或以上随机过程及它们之间的统计联系 例如 某地在时段 0 t 内的最高温度X t 和最低温度Y t 都是随机过程 需要研究它们的统计联系 又如 输入到一个系统的信号和噪声可以都是随机过程 这时输出也是随机过程 需要研究输出与输入之间的统计联系等 对这类问题 除了对各个随机过程的统计特性加以研究外 还必须将几个随机过程作为整体研究其统计特性 36 设X t Y t 是依赖于同一参数t T的随机过程 对于不同的t T X t Y t 是不同的二维随机变量 称 X t Y t t T 为二维随机过程 给定二维随机过程 X t Y t t T t1 t2 tn t 1 t 2 t m是T中任意两组实数 称n m维随机变量 X t1 X t2 X tn Y t 1 Y t 2 Y t m 的分布函数F x1 x2 xn t1 t2 tn y1 y2 yn t 1 t 2 t m xi yj R i 1 2 n j 1 2 m为这个二维过程的n m维分布函数或随机过程X t 与Y t 的n m维联合分布函数 37 如果对于任意的正整数n m 任意的数组t1 t2 tn T t 1 t 2 t m T n维随机变量 X t1 X t2 X tn 与m维随机变量Y t 1 Y t 2 Y t m 相互独立 称随机过程X t 和Y t 是相互独立的 关于数字特征 除了X t Y t 各别的均值和自相关函数外 在应用课题中感兴趣的是X t 和Y t 的二阶混合原点矩 记作RXY t1 t2 E X t1 Y t2 t1 t2 T 2 9 并称它为随机过程X t 和Y t 的互相关函数 38 还有如下定义的X t 和Y t 的互协方差函数CXY t1 t2 E X t1 mX t1 Y t2 mY t2 RXX t1 t2 mX t1 mY t2 t1 t2 T 2 10 如二随随机过程 X t Y t 对任意的t1 t2 T有CXY t1 t2 0 2 11 则称随机过程X t 和Y t 是不相关的 两个随机过程如果是相互独立的 且它们的二阶矩存在 则它们必然不相关 反之 从不相关一般并不能推断出它们是相互独立的 39 当同时考虑n n 2 个随机过程或n维随机过程时 可引入它们的多维分布 以及均值函数和两两之间的互相关函数 或互协方差函数 在许多应用问题中 经常要研究几个随机过程之和 例如 将信号和噪声同时输入到一个线性系统的情形 的统计特性 现考虑三个随机过程X t Y t 和Z t 之和的情形 令W t X t Y t Z t 显然 均值函数mW t mX t mY t mZ t 40 而W t 的自相关函数可以根据均值运算规则和相关函数的定义得到 RWW t1 t2 E W t1 W t2 RXX t1 t2 RXY t1 t2 RXZ t1 t2 RYX t1 t2 RYY t1 t2 RYZ t1 t2 RZX t1 t2 RZY t1 t2 RZZ t1 t2 此事表明 几个随机过程之和的自相关函数可以表示为各个随机过程的自相关函数以及各对随机过程的互相关函数之和 41 如果上述三个随机过程是两两不相关的 且各自的均值函数都为零 则由 2 11 式可知诸互相关函数均等于零 此时W t 的自相关函数简单地等于各个过程的自相关函数之和 即RWW t1 t2 RXX t1 t2 RYY t1 t2 RZZ t1 t2 2 12 特别地 令t1 t2 t 由上式可得W t 的方差函数 此外即为均方值函数 为 42 3泊松过程及维纳过程 43 泊松过程及维纳过程是两个典型的随机过程 它们在随机过程的理论和应用中都有重要的地位 它们都属于所谓独立增量过程 所以下面先介绍独立增量过程 给定二阶矩过程 X t t 0 称随机变量X t X s 0 s t为随机过程在区间 s t 上的增量 如果对任意选定的正整数n和任意选定的0 t0 t1 t2 tn n个增量X t1 X t0 X t2 X t1 X tn X tn 1 相互独立 则称 X t t 0 为独立增量过程 44 对于独立增量过程 可以证明 在X 0 0的条件下 它的有限维分布函数族可以由增量X t X s 0 s t 的分布所确定 特别 若对任意的实数h和0 s h t h X t h X s h 与X t X s 具有相同的分布 则称增量具有平稳性 这时 增量X t X s 的分布函数实际上只依赖于时间差t s 0 s t 而不依赖于t和s本身 事实上 令h s即知 当增量具有平稳性时 称相应的独立增量过程是齐次的或时齐的 45 设X 0 0和方差函数DX t 为已知 计算独立增量过程 X t t 0 的协方差函数CX s t 记Y t X t mX t 则当X t 具有独立增量时 Y t 也具有独立增量 Y 0 0 E Y t 0 且方差函数DY t E Y2 t DX t 当0 s t时CX s t E Y s Y t E Y s Y 0 Y t Y s Y s E Y s Y 0 E Y t Y s E Y2 s DX s 由此知对任意s t 0 CX s t DX min s t 3 1 46 一 泊松过程考虑下列随时间推移迟早会重复出现的事件 i 自电子管阴极发射的电子到达阳极 ii 意外事故或意外差错的发生 iii 要求服务的顾客到达服务站 此处 顾客 与 服务站 的含义也是相当广泛的 例如 顾客 可以是电话的呼叫 服务站 是120急救台 顾客 可以是来领配件的汽车维修工 服务站 是维修站配件仓库的管理员 顾客 也可以是联网的个人电脑 服务站 是某网站的主页等等 47 为建立一般模型方便起见 把电子 顾客等看作时间轴上的质点 电子到达阳极 顾客到达服务站等事件的发生相当于质点出现 于是抽象地说 我们研究的对象将是随时间推移 陆续地出现在时间轴上的许多质点所构成的随机的质点流 以N t t 0表示在时间间隔 0 t 内出现的质点数 N t t 0 是一状态取非负整数 时间连续的随机过程 称为计数过程 48 一样本函数如图所示 1 3 5 N t t1 t2 t5 O t 49 令N t0 t N t N t0 0 t00称为过程N t 的强度 而o Dt 当Dt 0时是关于Dt的高阶无穷小 50 3 对于充分小的Dt 4 N 0 0 把满足条件1 4 的计数过程 N t t 0 称作强度为l的泊松过程 相应的质点流或即质点出现的随机时刻t1 t2 称作强度为l的泊松流 下面先求出增量的分布律 51 对泊松过程 因 下面就泊松过程来计算概率 3 2 52 首先确定P0 t0 t 为此 对Dt 0 考虑P0 t0 t Dt P N t0 t Dt 0 P N t0 t N t t Dt 0 P N t0 t 0 N t t Dt 0 由条件1 和 3 5 式 上式可写成P0 t0 t Dt P N t0 t 0 P N t t Dt 0 P0 t0 t 1 lDt o Dt 或P0 t0 t Dt P0 t0 t lP0 t0 t Dt o Dt 现以Dt除上式两边 并令Dt 0 得微分方程 53 复习一阶线性微分方程的解 一阶线性微分方程 它的通解是 54 因为N t0 t0 0 故P0 t0 t0 1 把它看作初始条件即可从方程 3 6 解得P0 t0 t exp l t t0 t t0 3 7 再来计算Pk t0 t k 1 根据和事件概率公式和条件1 有P N t0 t Dt k P N t0 t N t t Dt k 由P0 t t Dt 1 lDt o Dt 并注意到 55 上式可表示成 1 lDt o Dt Pk t0 t lDt o Dt Pk 1 t0 t o Dt k 1 将此式适当整理后 两边除以Dt 并令Dt 0 就可以得到P0 t0 t 满足的微分 差分方程 初始条件为Pk t0 t0 0 k 1 3 9 56 于是 令k 1 并利用已求出的P0 t0 t 可解出P1 t0 t l t t0 exp l t t0 t t0 如此重复 即逐次令k 2 3 就可求得在 t0 t 内出现k个质点的概率为Pk t0 t P N t0 t k 3 10 由上式易见增量N t0 t N t N t0 的概率分布是参数为l t t0 的泊松分布 且只与时间差t t0有关 所以强度为l的泊松过程是一齐次的独立增量过程 57 在有些书中 泊松过程也用另一种定义 即若计数过程 N t t 0 满足下列三个条件 i 它是独立增量过程 ii 对任意的t t0 0 增量N t N t0 p l t t0 iii N 0 0 则称 N t t 0 是一强度为l的泊松过程 则从前面的演算结果不难看到从条件1 4 可以推出 i iii 反之 在 ii 中令t t0 Dt 并利用e lDt的泰勒级数展开式 就能得到条件2 和3 由此 定义泊松过程的两组条件是等价的 58 因为N t N t0 p l t t0 t t0 0 可知E N t N t0 Var N t N t0 l t t0 特别地 令t0 0 由于假设N 0 0 故可推知泊松过程的均值函数和方差函数分别为E N t lt DN t var N t lt 3 11 从 3 11 式可以看到 l E N t t 即泊松过程的强度l 常数 等于单位长时间间隔内出现的质点数目的期望值 关于泊松过程的协方差函数 由 3 1 3 11 式直接推得 CN s t lmin s t s t 0 而相关函数RN s t E N s N t l2st lmin s t s t 0 59 如果强度l非均匀 即l是时间的函数l l t t 0 则称泊松过程为非齐次的 对于非齐次泊松过程 用类似的方法 可得 60 下面介绍与泊松过程有关的两个随机变量 即等待时间和点间间距 以及它们的概率分布 在较多的实际问题中 通常对质点的观察 不是对时间间隔 t1 t2 中出现的质点计数 而是对记录到某一预定数量的质点所需要的时间进行计时 例如 为研究含某种放射性元素的物质 常对它发射出来的粒子作计时试验 一般 设质点 或事件 依次重复出现的时刻t1 t2 tn 是一强度为l的泊松流 N t t 0 为相应的泊松过程 61 以惯用记号记W0 0 Wn tn n 1 2 Wn是一随机变量 表示第n个质点 或事件第n次 出现的等待时间 如下图所示 T1 T2 Tk O W1 W2 Wk 1 Wk t 62 求Wn的分布函数如下 将它关于t求导 得Wn的概率密度为 63 这就是说 泊松流 泊松过程 的等待时间Wn服从G分布 特别 质点 或事件 首次出现的等待时间W1服从指数分布 又记Ti Wi Wi 1 i 1 2 它也是一个连续型随机变量 称为相继出现的第i 1个质点和第i个质点的点间间距 下面来求Ti的分布 64 由于T1 W1 所以T1服从指数分布 对于i 2 也可以证明 Ti也服从同样的指数分布 即 且T1 T2 Ti 是相互独立的随机变量 即有定理一强度为l的泊松