第二章 随机过程（一）

回顾 离散消息 概率 非等概率 熵 时间 I P x1 P x2 I P x1 I P x2 连续消息 1 5通信系统主要性能指标 1 4信息及其度量 信道分类 模拟 调制信道 恒参 随参 噪声 对信号传输的影响数字 编码信道 有记忆 无记忆 回顾 通信系统性能度量 有效性 消息传输的 速度 可靠性 消息传输的 质量 模拟 有效性可用有效传输频带可靠性用接收端最终输出信噪比 数字 信息传输速率 有效性 码元传输速率 比特率差错率 可靠性 误码率 误信率 信息容量C Shannel 频带利用率 数字通信系统有效性度量的真正指标 例题 已知某四进制离散信源 0 1 2 3 中各符号出现的概率分别为3 8 1 4 1 4 1 8 且每个符号的出现都是独立的 试求 1 信源的平均信息量 熵 2 信源发送1001010201302011030012 消息的信息量 其中0出现38次 1出现25次 2出现24次 3出现13次 共有100个符号 1 信源的平均信息量 熵 解 1 由公式 可得 2 消息的信息量 解 2 若用信息相加性概念来计算 这条消息的总信息量为 若用熵概念来计算 这条消息的总信息量为 第二章随机过程 2 1随机过程的基本概念 引言 信号必须具有不可预知性 否则信号就失去了传输的意义通信系统中的干扰与噪声 信道特性的起伏也是随机变化的 热噪声 因此 通信中的信源 噪声以及信号传输特性都可使用随机过程来描述 本章主要内容 1 介绍随机过程的基本概念2 通信系统中常见的几种重要的随机过程的统计特性 平稳随机过程 高斯随机过程 窄带随机过程 3 随机过程通过线性系统的情况 2 1随机过程的基本概念 2 1随机过程的基本概念 随机过程随时间作随机变化 不能用确切的时间函数描述 可以从两种角度来说明 1 随机过程是所有样本函数的集合2 随机过程可看作是在时间进程中处于不同时刻的随机变量的集合 样本函数 随机变量 样本函数 把随机过程看成对应不同随机实验结果的时间过程的集合 测试结果的每一个记录 都是一个确定的时间函数xi t 它称之为样本函数 Samplefunction 全部样本函数构成的总体就是一个随机过程 t 随机变量 更适合对随机过程进行精确的描述在一个固定时刻t1上 不同样本的取值是一个随机变量 记作 t1 2 1随机过程的基本概念 在了解了随机过程的描述之后 我们再来分析其数字特征 首先要先了解其分布函数 2 1 1随机过程的分布函数 随机过程 t 在任意时刻t1的值 t1 是一个随机变量 其统计特性用分布函数 distributionfunction 或概率密度 probabilitydensity 函数来描述 1 一维分布函数F1 x1 t1 和概率密度函数f1 x1 t1 2 二维分布函数F2 x1 x2 t1 t2 和概率密度函数f2 x1 x2 t1 t2 3 N维分布函数和概率密度函数 2 1 1随机过程的分布函数 2 1 1随机过程的分布函数 t 的n维分布函数 t 的n维概率密度函数 n越大 Fn fn描述 t 的统计特性就越充分 2 1 2随机过程的数字特征 n维分布函数或概率密度函数表示了随机过程的特性 但是往往不容易获得 也不需要确定在实际中 常用随机过程的数字特征来部分描述随机过程的主要特性 最常用的为 2 1 2随机过程的数字特征 注 随机过程的数字特征是由随机变量的数字特征推广而得 由于t1为任意时刻 则直接替换为t 上式变为随机过程在任意时刻的均值 可以看出 随机过程的均值是时间的确定函数 表示随机过程的n个样本函数曲线的摆动中心 由图3 1所示 2 1 2随机过程的数字特征 方差的意义 由此看出 方差等于均方值与均值平方之差 它表示随机过程在时刻t相对于均值的偏离程度 均值和方差只是描述了随机过程在各个孤立时刻的特征 而不能反映随机过程内在的联系 2 1 2随机过程的数字特征 相关函数和协方差 covariancefunction 用来衡量任意两个时刻上获得的随机变量的统计相关特性 2 1 2随机过程的数字特征 可以看出 R t1 t2 是两个变量t1和t2的确定函数 R t1 t2 与B t1 t2 之间有着确定的关系 2 1 2随机过程的数字特征 结论 1 若随机过程的均值为0 则B t1 t2 与R t1 t2 完全相同2 若均值不为0 两者所描述的随即过程的特征也是一致的 衡量的都是同一过程的相关程度 2 1 2随机过程的数字特征 以上只涉及到了一个随机过程 若将相关函数的概念引申至两个或更多的随机过程 可得到互协方差 互相关函数 互协方差函数 互相关函数 2 2平稳随机过程 任何n维分布函数或概率密度函数与时间起点无关 2 2 1平稳随机过程定义 对于任意的正整数n和所有实数 则有 则称该随机过程是在严格意义下的平稳随机过程 简称严平稳随机过程 想一下它的特点 2 2平稳随机过程 2 2 1平稳随机过程定义 一维分布与t无关 二维分布只与t1 t2间隔 有关 1 均值2 方差 2 2平稳随机过程 2 2 1平稳随机过程定义 3 相关函数 结论 1 均值 方差与时间无关 2 相关函数只与时间间隔有关 用以上两个条件来判断随机过程是否平稳 满足则称为广义平稳 2 2平稳随机过程 2 2 1平稳随机过程定义 1 满足 1 狭义平稳 严平稳 2 3 4 2 2平稳随机过程 2 2 1平稳随机过程定义 满足 2 3 4 广义平稳 宽平稳 2 2平稳随机过程 2 2 2各态历经性 目的 为了能够从一次实验中获得一个样本函数 来决定平稳过程的数字特征 方法 具有各态历经性的过程 其数字特征 统计平均 完全可由随机过程中的任意实现的时间平均值来代替 接下来 我们一起来看看各态历经性的定义是什么 随机过程中的任一次实现都经历了随机过程的所有可能状态 2 2平稳随机过程 2 2 2各态历经性 下面我们来讨论各态历经性的条件 1 取一固定的样本函数 实现 对时间取平均 x t 为任意实现 2 时间均值 时间相关函数 3 如其时间平均都相等 且等于统计平均 2 2平稳随机过程 2 2 2各态历经性 优点 各态历经性可使统计平均转化为时间平均 简化计算 注意 具有各态历经的随机过程一定是平稳过程 反之不一定成立 例题3 1 平稳过程 统计平均等于时间平均 各态历经 2 2平稳随机过程 2 2 3平稳过程的自相关函数 作用 1 用来描述平稳过程的数字特征2 与平稳过程的谱特性有着内在的联系 定义 设 t 为实平稳随机过程 则它的自相关函数为 性质 均方值 方差 均值平方 即 平均功率 交流功率 直流功率 2 2平稳随机过程 2 2 3平稳过程的自相关函数 性质 3 证明 2 2平稳随机过程 2 2 3平稳过程的自相关函数 性质 当均值为0时 有R 0 2 2 2平稳随机过程 思路 为求得平稳过程的功率谱密度 可先获得平稳过程中 t 的任一样本的功率谱 再对所有样本的功率谱求统计平均 2 2 4平稳过程的功率谱密度 步骤 1 对于任意的确定功率信号f t 它的功率谱密度为 2 对所有样本的功率谱求统计平均 2 2平稳随机过程 2 2 4平稳过程的功率谱密度 随机过程的功率谱密度应看作是每一可能实现的功率谱的统计平均 虽然上式看去非常直观 但是计算却并不简单 为了方便地求功率谱 我们需要回顾一下傅立叶变化的基础知识 你应该知道的 傅里叶变换记为 2 2 4平稳过程的功率谱密度 2 2平稳随机过程 的自相关函数与功率谱密度之间互为傅氏变换关系 以上关系称为维纳 辛钦 Wiener Khinchine 关系 意义 联系频域和时域 在维纳 辛钦关系的基础上 可得以下结论 2 2 4平稳过程的功率谱密度 2 2平稳随机过程 1 意义 1 可以用自相关函数来表示功率谱密度2 从频域给出了过程 t 平均功率的计算方法 2 各态历经过程的任一样本函数的功率谱密度等于过程的功率谱密度 即 3 小结 随机过程随时间作随机变化 不能用确切的时间函数描述 可以从两种角度来说明 1 随机过程是所有样本函数的集合2 随机过程可看作是在时间进程中处于不同时刻的随机变量的集合 样本函数 随机变量 一 随机过程的描述方式 小结 二 随机过程的分布函数 一维分布函数F1 x1 t1 和概率密度函数f1 x1 t1 其统计特性用分布函数 distributionfunction 或概率密度 probabilitydensity 函数来描述 n越大 Fn fn描述 t 的统计特性就越充分 小结 三 在实际中 常用随机过程的数字特征来部分描述随机过程的主要特性 最常用的为 均值和方差只是描述了随机过程在各个孤立时刻的特征 而不能反映随机过程内在的联系 相关函数和协方差 covariancefunction 用来衡量任意两个时刻上获得的随机变量的统计相关特性 小结 任何n维分布函数或概率密度函数与时间起点无关 四 平稳随机过程定义 严平稳 宽平稳 结论 1 均值 方差与时间无关 2 相关函数只与时间间隔有关 宽平稳 小结 五 各态历经性 目的 为了能够从一次实验中获得一个样本函数 来决定平稳过程的数字特征 定义 随机过程中的任一次实现都经历了随机过程的所有可能状态 六 各态历经性的条件 优点 各态历经性可使统计平均转化为时间平均 简化计算 注意 具有各态历经的随机过程一定是平稳过程 反之不一定成立 小结 七 平稳过程的自相关