信号检测与估计理论 第二章 基础知识

信号检测与估计理论 第二章信号检测与估计理论的基础知识 引言 待处理信号目标 建立信号模型 进行统计描述 研究统计平均量之间的关系 统计特性的应用 随机变量及其统计描述 随机变量的基本概念 是定义在概率空间上的单值实函数 若对任一实数x 有称为随机变量 概率 事件域 样本空间或集合 例如 用五色球抽奖 红 蓝 黄 绿 白 球的数量百分比分别为0 1 0 5 2 10 87 4 对应的中奖额分别是1000 500 100 50 10元 则中奖额是一个随机变量 随机变量及其统计描述 概率 随机变量与随机过程 第4版 美 A 帕普里斯S U 佩莱著 保铮等译P55 随机变量是赋予实验的每一个结果的一个数 记为 在掷骰子实验中 赋予每个结果一个数量 有 b 相同的实验中 把数1赋予每一个偶数结果 数0赋予么一个奇数结果 有 定义 一个随机变量是定义在实验结果所构成的集合S上的一个函数 随机变量x是对每个结果给定一个数的过程 产生的函数必须满足下面两个条件 对每个x 集合 xx 是一个事件 事件 x 和事件 x 的概率等于零 即P x 0P x 0 随机变量及其统计描述 概率密度函数 ProbabilityDensityFunction PDF 事件的概率取决于x的值 一维累积分布函数 CumulativeDistributionFunction CDF 随机变量 随机矢量及其统计描述 随机变量的概率密度函数 随机变量 随机矢量及其统计描述 随机变量的统计平均量 1 随机变量的均值 表征方法 随机变量的数字特征或称矩理论意义 概率密度函数实际操作 通过对有限观测数据的估计获得 随机变量及其统计描述 随机变量的统计平均量 2 随机变量的矩 m阶原点矩 m阶中心矩 以上数字特征都是随机变量函数的数学期望 m阶原点矩和m阶中心距可以互相唯一表示 随机变量及其统计描述 随机变量的统计平均量 2 随机变量的矩 随机变量及其统计描述 切比雪夫不等式 得 随机变量及其统计描述 随机变量的统计平均量 2 随机变量的矩 随机变量 随机矢量及其统计描述 随机变量的统计平均量 3 随机变量的中值 4 随机变量的众数 将随机变量的概率密度函数一分为二 各占50 面积的分界点 称为随机变量的中值 又称中位数 记 随机变量的概率密度函数的峰值对应的x值 称为随机变量的众数 记为 随机变量 随机矢量及其统计描述 随机变量的统计平均量 一阶原点矩 随机变量取值的中心点 二阶中心矩 随机变量取值对于均值的分散程度 三阶中心矩 衡量随机的分布是否有偏 四阶中心矩 随机变量的分布在均值附近的陡峭程度 在实际应用中 高于4阶的矩很少使用 二阶中心距 方差 的值越大 表示随机变量取值分散程度大 一阶原点矩 均值 的代表性差 方差的值越小 则表示随机变量的取值比较集中 以均值作为随机变量取值的代表性好 随机变量 随机矢量及其统计描述 常用的随机变量举例 均匀分布随机变量 均匀分布随机变量的PDF曲线 随机变量及其统计描述 2 高斯分布随机变量 标准高斯分布随机变量的PDF曲线 高斯分布随机变量的PDF曲线 对于标准正态分布 随机变量及其统计描述 2 高斯分布随机变量 对于标准正态分布 累计分布函数 右尾概率 实用的近似公式 对数纵轴 考察某个随机变量的右尾概率可以判断该变量是否近似服从高斯分布 随机变量 随机矢量及其统计描述 3 三角对称分布随机变量 三角对称分布随机变量的PDF曲线 三角对称分布随机变量的PDF曲线 0 b a 随机变量 随机矢量及其统计描述 4 Chi Square Central 若 则独立同分布 随机变量 随机矢量及其统计描述 4 Chi Square Central 适合性检验 检验观测数与依照某种假设或分布模型计算得到的理论数据之间一致性 以便判断该假设或模型是否与实际观测数相吻合 独立性检验 通过观测数与理论数之间的一致性判断事件之间的独立性 即判断两个事件是否是独立事件或处理间差异是否显著 随机变量 随机矢量及其统计描述 关于单边 双边指数分布随机变量 指数分布的无记忆性 单边指数分布随机变量的PDF曲线 0 双边指数分布随机变量的PDF曲线 0 随机变量 随机矢量及其统计描述 指数分布的无记忆性 对连续非负随机变量x 若对任意t 满足该随机变量服从指数分布 泊松事件流的等待时间 相继两次出现之间的间隔 非老化性元件的寿命 元件不老化 仅由于突然故障而毁坏 近似地作为高可靠性的复杂部件 机器或系统的失效分布模型 随机变量 随机矢量及其统计描述 5 Chi Square Noncentral 应用 可参考卡方检验相关文献 随机变量 随机矢量及其统计描述 6 F Central 非中心化FPDF由非中心卡方分布随机变量与一个中心化卡方分布随机变量比值得到 若 其中 有 F分布用于似然比检验 可用于检验总体方差是否相等 随机变量 随机矢量及其统计描述 7 瑞利 Rayleigh 分布随机变量 瑞利分布随机变量的PDF曲线 2 1 随机变量的均值和方差 窄带高斯过程的包络分布属于瑞利分布 应用 测量 通信领域 随机变量 随机矢量及其统计描述 7 瑞利 Rayleigh 分布随机变量 当一个随机二维向量的两个分量呈独立的 有着相同的方差的正态分布时 这个向量的模呈瑞利分布 瑞利分布是最常见的用于描述平坦衰落信号接收包络或独立多径分量接受包络统计时变特性的一种分布类型 两个正交高斯噪声信号之和的包络服从瑞利分布 例如 射击弹落点坐标是一个相互独立的二维随机变量 其中 与均服从正态分布 与相互独立 的概率密度函数为 随机变量及其统计描述 8 广义瑞利 Rayleigh 分布随机变量 广义瑞利分布随机变量的PDF曲线 2 1 关于蒙特卡洛性能评估 StevenM Kay译著P482 若不能通过解析的方法或闭合形式确定随机变量超过某一给定值的概率时 须借助蒙特卡洛计算机模拟 若希望计算一个随机变量或统计量T超过某个门限的概率 例如 观察到数据集 其中且独立同分布 计算本例中 容易证明 若假定不能使用解析或数值计算方法 可以用计算机模拟来确定 关于蒙特卡洛性能评估 StevenM Kay译著P482 数据产生产生N个独立的随机变量 对随机变量的实现 计算重复过程M次 得到 概率计算对超过的次数计数 称为 用来估计概率 关于蒙特卡洛性能评估 StevenM Kay译著P482 M 10000 M 1000 M 100 随机矢量及其统计描述 1 随机矢量的概念 设是一概率空间 是分别定义在该概率空间上的N个随机变量 则由N个随机变量构成的矢量称为N维随机矢量 随机矢量及其统计描述 2 随机矢量的概率密度函数 F x 称为随机矢量的N维累积分布函数 p x 称为随机矢量的N维联合概率密度函数 随机矢量及其统计描述 3 随机矢量和协方差矩阵 如果与互不相关 则协方差为对角阵 随机矢量及其统计描述 4 统计独立性和独立同分布 随机矢量如果对于任意的和所有的其N维联合概率密度函数都能表示为则称随机变量之间是相互统计独立的 若随机变量对于全部的N都有相同的一维概率密度函数 则称是具有独立同分布的N维随机矢量 随机矢量及其统计描述 5 联合高斯随机矢量 N维联合高斯随机矢量的每个分量都服从一维高斯分布 2 联合高斯随机矢量的线性变换仍然是联合高斯随机矢量 随机变量的函数 已知变换前随机变量的概率密度函数 需要确定变换后的随机变量的概率密度函数 称为雅克比变换 JacobianTransformation 1 一维随机变量的情况 若反函数存在 且连续可导 则的概率密度函数为其中 随机变量的函数 2 N维随机矢量的变换 随机变量的特征函数 1 随机变量特征函数的定义 的和构成一对傅里叶变换对 复值随机变量的均值称为的特征函数 随机变量的特征函数 2 特征函数的主要性质 1 特征函数存在的必然性 随机变量的特征函数 2 随机变量线性变换的特征函数 3 相互统计独立随机变量之和的特征函数 随机变量的特征函数 3 相互统计独立随机变量之和的特征函数 随机变量的特征函数 3 N个相互统计独立高斯随机变量之和的概率密度函数 设随机变量是均值为 方差为的相互统计独立的高斯随机变量 其特征函数为 若 有 结论 仍然是高斯分布 有 随机变量的特征函数 3 N个相互统计独立高斯随机变量之和的概率密度函数 设随机变量是独立同分布的高斯随机变量 有 方差为 则 令 有 结论 是 的高斯随机变量 随机变量的特征函数 4 随机变量的特征函数与原点矩之间的关系 随机变量的特征函数 4 随机变量的特征函数与原点矩之间的关系 随机矢量的联合特征函数 4 随机变量的特征函数与原点矩之间的关系 随机矢量的N维联合概率密度函数为则N维联合特征函数定义为 若是相互独立的随机变量 有 随机过程概念和定义 1 随机过程的基本概念 所研究对象具有随时间演变的随机现象 对其变化过程独立地重复进行多次观测 所得到的结果是时间t的函数 每次观测之前不能预知所得结果 这样的过程是一个随机过程 举例 心电图 噪声测定 育苗实验等等 随机过程的概念和定义 随机过程的统计描述 图2 10连续随机过程的M个样本函数图形 随机过程的统计描述 随机过程的二维及N维累积分布函数和联合概率密度函数 随机过程的统计平均量 1 随机过程的均值 2 随机过程的均方值 3 随机过程的方差 随机过程的统计平均量 4 随机过程的自相关函数 5 随机过程的自协方差函数 随机过程的统计平均量 6 随机过程的互相关函数 7 随机过程的互协方差函数 随机过程的平稳性 1 随机过程的平稳性分类 严格平稳的随机过程随机过程x t 经过时间平移 t后 其统计特性保持不变 广义平稳的随机过程若随机过程x t 的平均统计量满足一定条件 称为广义平稳随机过程 1 均值与时间无关 2 自相关函数只取决于时间间隔 非平稳的随机过程既不满足严格平稳随机过程 也不满足广义平稳条件的随机过程 随机过程的平稳性 严格平稳随机过程 严格随机过程x t 的一维概率密度函数与时间t无关 严格随机过程x t 的二维联合概率密度函数仅与时间间隔 t有关 随机过程的平稳性 若随机过程x t 的统计平均量满足下述条件 为广义平稳随机过程 1 x t 的均值是与时间t无关的常数 2 x t 的自相关函数只取决于时间间隔 与起始时间无关 2 严格平稳与广义平稳随机过程的关系 如果严格平稳的随机过程是二阶矩过程 必定是广义平稳随机过程 广义平稳的随机过程不一定是严格平稳的 除非该过程是高斯分布的 随机过程的平稳性 3 平稳随机过程的统计平均量 随机过程的平稳性 4 联合平稳随机过程及其统计特性 两个平稳的随机过程的互相关函数仅与时间间隔有关 与时刻无关 则这两个随机过程是联合平稳的随机过程 随机过程的遍历性 1 时间平均量 具有遍历性的随机过程 可以从随机过程全体可能样本函数的集合中 取一个具有代表性的样本函数来获得该过程的全部统计特性 随机过程的遍历性 2 各态遍历的随机过程 各态历经随机过程x t 的任何统计平均量都能够以概率1由该过程的某个单独样本函数的时间平均求得 2 各态历经随机过程x t 的任一单独样本函数在足够长的时间内 先后经历了该随机过程的各种可能状态 均值具有遍历性 自相关函数具有遍历性 随机过程的遍历性 3 随机过程的平稳性与遍历性的关系 若随机过程x t 具有均值和自相关函数的遍历性 为常数 与时间间隔有关 遍历过程一定是平稳过程 理论角度 并非所有的平稳过程都是遍历的 实际 几乎所有的平稳过程都是各态历经的 可以把平稳随机过程x t 的一个样本函数在时刻的采样作为随机变量x 来处理 随机过程的正交性 不相关性和统计独立性 1 定义 若x t 是相互正交的随机变量过程 若x t 是互不相关的随机变量过程 等价条件 若x t 是平稳随机过程 随机过程的正交性 不相关性和统计独立性 1 定义 设是随机过程在不同时刻的随机变量 若其N维联合概率密度函数对于任意和所有时刻都能表示为 则称是相互统计独立的随机变量过程 随机过程的正交性 不相关性和统计独立性 2 关系 若 相互正交随机变量过程等价为互不相关随机变量过程 2 若是一个相互统计独立随机变量过程 则一定是一个互不相关随机变量过程 3 若是一个互不相关随机变量过程 不一定是相互统计独立随机变量过程 除非服从联合高斯分布 随机过程的正交性 不相关性和统计独立性 两个随机过程和之间的关系 相互正交 2 互不相关或 3 联合平稳随机过程 相互正交互不相关或 4 相互统计独立 平稳随机过程的功率谱密度 1 功率谱密度 平稳随机过程的功率谱密度 2 功率谱密度的主要性质 平稳随机过程的功率谱密度表示该过程的平均功率在频域上的分布 与时域自相关函数是傅里叶对关系 平稳随机过程的功率谱密度 3 联合平稳随机过程的互功率谱密度 线性系统对随机过程的响应 图2 11线性时不变系统 典型自衡系统脉冲响应曲线 响应的平稳性 对于线性时不变系统 输入是一个平稳随机过程 则响应也是一个平稳随机过程 响应的统计平均量 响应与输入的功率谱密度的关系 响应的统计平均量 高斯噪声 白噪声和有色噪声 高斯噪声 1 中心极限定理 一般条件下 N个相互统计独立的随机变量之和 在的极限情况下 其概率密度函数趋于高斯分布 不论每个变量的具体分布 高斯噪声 白噪声和有色噪声 2 高斯噪声的统计描述 3 不相关性与统计独立性 N个高斯随机变量之间是互不相关的 则它们也是相互统计独立的 高斯噪声 白噪声和有色噪声 白噪声和高斯白噪声 白噪声 功率谱密度均匀分布在整个频率轴上 白噪声也可定义为 均值为0 自相关函数为函数的噪声随机过程 其任意两个不同时刻的随机变量互不相关 高斯白噪声 概率密度函数是高斯分布 频域的功率谱密度是均匀分布 其任意两个或以上不同时刻的随机变量互不相关 且相互统计独立 高斯噪声 白噪声和有色噪声 有色噪声 有色噪声 噪声过程n t 的功率谱密度在频域上的分布不均匀 一般采用高斯功率谱密度的模型 信号和随机参量信号及其统计描述 信号的分类 确知信号 1 常数 如A 2 正弦 余弦信号 其中振幅 频率和相位确知或是时间的确定函