第三章贝叶斯估计理论(LMMSE和小结)

1、信号检测与估计信号检测与估计Signal Detection and Estimation贝叶斯估计理论LMMSE和小结罗义军QQ:896442923贝叶斯估计理论内容安排主要内容主要内容引言引言线性贝叶斯估计量（线性贝叶斯估计量（LMMSE）估计量总结估计量总结一般贝叶斯估计量选择估计量使得平均代价（贝叶斯风险）最小对给定代价函数，可得最优估计量的形式三种代价函数图11.2 不同代价函数的估计量最小均方误差（MMSE）估计最大后验概率（MAP）估计条件中位数估计LMMSE的引入MMSE含有多重积分，MAP含有多维最大值求解问题。联合高斯假设条件下容易得到，一般情况下难以求得不能做出高斯假定时

2、，选择保留MMSE准则 限定估计量线性LMMSE估计类似于BLUE估计量的显式可由前两阶矩来确定卡尔曼滤波器是维纳滤波器的重要推广贝叶斯估计理论内容安排主要内容主要内容引言引言线性贝叶斯估计量（线性贝叶斯估计量（LMMSE）估计量总结估计量总结线性MMSE估计假定标量参数给定数据矢量假定：联合PDF未知；已知前两阶矩； X与统计相关目标：求满足如下形式的最佳估计量选择加权系数 使贝叶斯MSE最小，导出的估计量称为LMMSE估计量最佳加权系数的推导代入得对 求偏导数，代入可得这里标量！展开可得对加权系数 求偏导可得注意：LMMSE估计仅需1阶和2阶矩，不需PDF代入并化简可得若 和 统计独立，则

3、完全基于先验信息，数据无用例12.1 WGN中具有均匀先验PDF的DC电平若 ，00 ,AuA A需要积分而无法得到闭合形式的解因此，采用LMMSE回顾例10.11N几何解释l内积空间(IP Spaces)l矢量：全部随机变量集合/0均值、有限方差（ZMFV）l标量：全部实数集合l内积： = EXYl构成内积空间首先：是矢量空间l用于估计标量随机变量l由N个随机变量的线性组合进行估计应用正交原理假定 可逆矢量LMMSE估计待估参数线性估计量目标：对每个元素，使 最小可将矩阵A的第i行和矢量a第i个元素，看成 的标量LMMSE估计量的形式已知每个待估参数的标量LMMSE形式得出相应的解 组合为矢

4、量形式 矢量LMMSE的解矢量LMMSE估计若相似地，可得 矩阵LMMSE估计量的两个性质l1. 在线性变换上是可以转换的 若 且 为LMMSE估计量， 则 为 的LMMSE估计量l2. 未知参数之和的LMMSE估计量是每个估计量之和 若 则贝叶斯高斯-马尔可夫定理令数据为应用前面的结果，可得与贝叶斯线性估计（已包含高斯假定）形式相同除非最佳估计线性，通常为次佳估计LMMSE只需得到均值和协方差矩阵则若定理4.2一般线性模型的MVUE定理11.1贝叶斯线性模型下MMSE估计序贯LMMSE估计与序贯LS方法相同固定参数个数（在此为随机的），增加数据样本数目数据模型目标： 给定基于 的估计 ，当新

5、的数据样本 到达时，更新估计到求序贯LMMSEl在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广到一般情况假定 和 均为0均值，给定 ，其LMMSE估计再由 寻求该估计的序贯更新看作矢量空间首先估计新数据 ，即求利用正交原理由 提供的新的非冗余信息，称为“新息”由旧数据，估计新数据预测A在误差矢量上的投影正是所求的修正项回顾特性：新息序列新息序列是：推导和应用序贯LMMSE的关键正交的（即不相关的）矢量序列1. 在信号处理和控制中非常重要一般序贯LMMSE估计 初始化：无数据，利用先验信息 估计量更新： 序贯LMMSE框图框图与序贯LS相同 回顾贝叶斯MSE最小的估计量称为LMMS

6、E估计量 注意：LMMSE估计仅需1阶和2阶矩，不需PDFl矢量：全部随机变量集合/0均值、有限方差（ZMFV）l标量：全部实数集合l内积： = EXYl构成内积空间上节课回顾上节课回顾矢量LMMSE估计若 矩阵上节课回顾 初始化：无数据，利用先验信息 估计量更新： 一般序贯LMMSE估计信号处理的例子维纳滤波器信号模型：问题表述：用线性滤波器处理 ，得到去噪的信号，使得所求信号相关的 最小WSS广义平稳滤波、平滑、预测FIR维纳滤波原理上：实际中：IIR维纳滤波可看作 ，此时维纳滤波为时不变的则维纳-霍夫等式为可采用 “谱因式分解”求得维纳滤波为IIR时不变的定长FIR维纳滤波数据：FIR平滑器为便于解释，考虑N=1的情况：IIR平滑器基于数据 估计维纳-霍夫方程为：IIR维纳滤波1步预测的结果：对于自回归AR（3）贝叶斯估计理论内容安排主要内容主要内容引言引言线性贝叶斯估计量（线性贝叶斯估计量（LMMSE）估计量总结估计量总结估计方法l在经典方法 中，数据信息总结在概率密度函数p(x;)中，其中PDF是的函数。l在贝叶斯方法 中，由于先验PDFp()描述了有关的知识而增加了数据的信息。数据信息总结