5医学信号处理参数估计.ppt

1 第五章信号的参数估计 提出问题 信号估计 Estimations 从受噪声干扰的观测信号中估计信号参量和波形的问题 即参数估计问题 参量估计的目的 在有限个信号观测样值中 以最佳方式估计信号的参数 参数估计 被估计的量是随机变量 静态估计 波形估计 被估计的量是随机过程 动态估计 2 5 1 概述 数理统计中由随机信号的一组样本估计信号的统计特征 如均值 方差 均方 相关函数 功率谱等 是一种简单而常见的参数估计 在数理统计中 均值 均方和方差的估计是按照定义 用有限个样本采用直接估计法来估计 这里的参数估计问题应为 从含有噪声的观察中估计信号的参数 3 数学描述 设观察x x1 x2 xN为随机变量s的独立同分布的N个观测样值 x s a n a为信号的参数 而f x1 x2 xN 是用来估计参量a的观测样值函数 统计量 称 f x1 x2 xN 为参量a的估计量 的均值即为E E f x1 x2 xN 要求通过一定的估计算法 使得为按某一判据的a的最优估计值 比如使得估计误差均方最小为最小均方误差估计 5 1 1 4 一 非线性估计 已知待估参数的先验概率p a 和条件先验概率p x a 依据某些最优判据 通过非线性数理统计算法估计参数 随机参量 其特性用概率密度来表征 贝叶斯估计非随机参量 仅为一般的未知量 最大似然估计 参数估计方法分为两类 5 1 2 5 非线性估计方法经典 计算复杂 估计质量较好 但是要求先验概率知识 二 线性估计 在估计参数a为观察值x的线性函数 基于最小均方误差准则进行估计 前提条件 估计必须是观察值x的线性函数 线性估计方法计算简便 只要求一 二阶统计知识 故先验知识要求低 估计质量较差 近年来发展较快 6 估计准则 1 估计偏差2 估计方差3 估计值的均方误差4 有效估计5 一致估计 5 1 3 有关定义 7 估计准则 无偏估计 如果待估计参数a和它的估计值的均值E 相等 即E a 就称为无偏估计 否则称为有偏估计 估计偏差越小 则各次估计值的均值接近于真实值 但并不能保证每次估计值都接近于真实值 而且各次估计值可能分布很分散 而估计方差很小 表明估计值都接近于均值 即分布很集中 但并不能保证均值E 接近于真实值 也就是不能保证各个集中分布于真实值a附近 8 一致估计 根据以上分析 将估计偏差和方差结合起来的综合量表示估计质量的好坏 即估计值的均方误差 如果随着样本数目的增加 估计的均方误差趋于0 即要求当N 时 偏差和方差都趋于0 则称此估计为一致估计 有效估计 由某一种估计方法得出的估计值的方差小于其它任何估计方法得出的方差 则称该估计为有效估计 如果该估计同时又是无偏的 则为均方误差最小的估计 9 5 2 非线性估计 为双变量连续函数 10 c 均匀代价函数 这样C定义为单变量函数 典型代价函数 11 贝叶斯判据 平均代价最小 即E c min 由于c是的函数 而又是观察值x的函数 所以c就是x和s的联合函数 所以有 用后验概率函数表示为 R称为条件风险函数 令 贝叶斯判据实际为以R最小作为判据 12 情况 a 平方误差情况下 风险函数最小的估计量称为最小均方估计 minimummeansquareestimation 其风险函数为 由于 则风险函数为 p x 0故MS最小即等效为上式括号 内项最小 13 由于 故 14 情况 b 绝对值误差情况下 风险函数为 上式括号 内项为 于是 可令上式对 的导数为零 则有 ABS估计应取在后验概率密度函数面积的平分线上 即等于后验概率密度函数的中值 15 情况 c 均匀估计代价函数 号中的后面一项为 采用对数函数 16 最后 将三种情况估计式中后验概率密度函数借助于贝叶斯公式用先验概率代替得到 ABS估计为 MAP估计为 MS估计为 17 MaximumLikelihoodEstimation MLE 此式为必要条件 而不是充分条件 由于 似然函数就是先验概率密度函数 极大似然估计准则就是使得似然函数最大的s值 实际中常用对数似然函数 18 把各式中的变量x换成矢量X x1 x2 xM 即可扩展为多次观察情况 极大后验概率估计为 最小均方误差估计为 极大似然估计为 19 20 如果要估ABS MAP MS 还需要已知p s 21 例1 M次观察xi s ni i 1 2 M s为待估计的随机变量 做正态分布N ni为正态分布N 且独立同分布 求s的MS MAP ABS和ML估计 22 将与s有关的部分并在一起 同时由于含s的二次方 而对s配平方得到 其中 而且 令p X s 取对数对s求导并等于0得 23 例2 s为离散的二值函数 取 s0二值之一 且概率相等 用公式表示为噪声为高斯型噪声N 现取M次采样 各样本中噪声独立且概率密度函数为 求 24 位于似然函数峰值处 M次观察独立同分布 故 上式取对数求导并令导数为0得 由于 25 化简后为取对数化简 即 当样本总和大于0 则 s0 否则 s0 由于 26 27 例3 发放率估计 由序列的发放间隔 估计脉冲发放率 假设发放率和脉冲间隔均服从指数分布分别为和测得间隔 1 估计发放率 28 发放率估计为 29 30 如果满足条件存在且绝对可积 则Cramer Rao不等式等效于 31 结论 总之 式 1 满足则Cramer Rao不等式取等号 即有效估计存在 那么估计值就是极大似然估计 此估计值可通过解极大似然方程求得 否则 如果式 1 不成立 就不存在有效估计 那么无从评价估计值的估计质量 上式在下述条件下取等号 方差达到下限 即 1 且可以证明满足上式的估计即为极大似然估计 证明略 32 例4 估计性质分析 取M次独立观察 对非随机未知量s A进行估计 已知各ni为正态分布N 0 求极大似然估计 并分析估计是否为有效估计 估计方差有多大 33 所以 为无偏估计 所以 为有效估计 估计的方差应等于克拉美 劳下限 即 34 5 3 线性估计 前提 必需满足估计算法是观察值的线性函数 35 在贝叶斯估计中 平均代价公式采用误差平方作为代价函数 即成为现取单次观察x做估计 并限定估计算法为线性函数 即 于是有 估计任务就是 选a b使得最小 36 上式分别对a b求导并令导数等于0 得 解方程 得 如果待估计量均值为0 即E s 0 观察值的均值也为0 即E x 0 则有 37 38 记作 39 40 x的自相关矩阵 待定系数矩阵 s x的互相关矩阵 41 42 采用均方判据 导出线性方程组 求解简便 算法所需先验知识为 观察x的自相关函数 信号与观察值之间互相关函数 估计误差e和所有观察值xi正交 这是LMS估计的重要特性 LMS的最小均方误差为 正交条件下 估计的均方误差是估计误差和信号乘积的均值 43 44 例5 LMS估计 取M次独立观察 xj s nj j 1 N 噪声为白色 即E ninj E nj 0 s为信号 E s 0 E s2 信号和噪声相互独立 则按照线性估计算法进行LMS估计 也就是求各系数hj和估计值 45 代入 46 解得 最小均方误差 因此 47 观察值 xj s nj j 1 2 如果先验统计信息 用递归线性最小均方估计算法由上一次估计和本次观察值做出本次估计 估计判据为使均方误差最小 系数b1的确定 令 E s 0 则 由正交原理 可证明以下关系式 49 推导ak 1和bk 1之间的关系 两边取均值有 LMS为无偏估计 50 推导 51 由于 即 相应地有 同时 1 2 3 53 将 1 和 2 代入 3 得到 即 54 递归线性最小均方估计算法流程 当k很大时 递归过程最终收敛 55 递归过程的收敛性 最终bk 0 于是 因此算法收敛 56 5 4 最小二乘估计 没有任何先验知识的问题需用最小二乘法进行估计 57 最小二乘法的估计准则就是选s的估计值 使得各次测量的误差平方和最小 即 测 线性测量方法得到的理论值 由测量方法决定的系数 各次测量的误差 上式对s求导 得到 也就是 58 以上结论可推广到待估计量s为多维矢量的情况 LS为m维待估矢量 C为n m维已知系数矩阵 X为n维观察矢量 即 X CS V 59 令 得 60 最小二乘估计是观察值X的线性函数 采用的估计准则是平方误差最小 在误差均值为0的假设下 最小二乘估计是无偏估计 可以证明 估计误差矢量与系数矩阵中各列矢量内积为0 即估计误差与各系数列矢量正交 61 作业 1 观察x n A v n A是常