第三章贝叶斯估计理论(LMMSE和小结)PPT课件

贝叶斯估计理论LMMSE和小结,罗义军QQ:896442923,2,贝叶斯估计理论内容安排,主要内容,引言,线性贝叶斯估计量（LMMSE）,估计量总结,3,一般贝叶斯估计量,选择估计量使得平均代价（贝叶斯风险）最小,对给定代价函数，可得最优估计量的形式,4,三种代价函数,图11.2不同代价函数的估计量,最小均方误差（MMSE）估计,最大后验概率（MAP）估计,条件中位数估计,5,LMMSE的引入,MMSE含有多重积分，MAP含有多维最大值求解问题。联合高斯假设条件下容易得到，一般情况下难以求得,不能做出高斯假定时，选择保留MMSE准则限定估计量线性,LMMSE估计,类似于BLUE,估计量的显式可由前两阶矩来确定,卡尔曼滤波器是维纳滤波器的重要推广,6,贝叶斯估计理论内容安排,主要内容,引言,线性贝叶斯估计量（LMMSE）,估计量总结,7,线性MMSE估计,假定标量参数,给定数据矢量,假定：联合PDF未知；已知前两阶矩；X与统计相关,目标：求满足如下形式的最佳估计量,选择加权系数使贝叶斯MSE最小，导出的估计量称为LMMSE估计量,8,最佳加权系数的推导,代入得,对求偏导数，,9,代入可得,这里,标量！,10,展开可得,11,对加权系数求偏导,可得,注意：LMMSE估计仅需1阶和2阶矩，不需PDF,12,代入并化简,可得,若和统计独立，则,完全基于先验信息，数据无用,13,例12.1WGN中具有均匀先验PDF的DC电平,若，,需要积分而无法得到闭合形式的解,因此，采用LMMSE,回顾例10.1,1N,14,几何解释,内积空间(IPSpaces),15,矢量：全部随机变量集合/0均值、有限方差（ZMFV）标量：全部实数集合内积：=EXY构成内积空间,首先：是矢量空间,16,用于估计标量随机变量由N个随机变量的线性组合进行估计,17,应用正交原理,假定可逆,18,矢量LMMSE估计,待估参数,线性估计量,目标：对每个元素，使最小,可将矩阵A的第i行和矢量a第i个元素，看成的标量LMMSE估计量的形式,已知每个待估参数的标量LMMSE形式得出相应的解组合为矢量形式,19,矢量LMMSE的解,矢量LMMSE估计,若,相似地，可得矩阵,20,LMMSE估计量的两个性质,1.在线性变换上是可以转换的若且为LMMSE估计量，则为的LMMSE估计量2.未知参数之和的LMMSE估计量是每个估计量之和若则,21,贝叶斯高斯-马尔可夫定理,令数据为,应用前面的结果，可得,与贝叶斯线性估计（已包含高斯假定）形式相同除非最佳估计线性，通常为次佳估计LMMSE只需得到均值和协方差矩阵,22,则,若,定理4.2,一般线性模型的MVUE,定理11.1,贝叶斯线性模型下MMSE估计,23,24,序贯LMMSE估计,与序贯LS方法相同,固定参数个数（在此为随机的），增加数据样本数目,数据模型,目标：,给定基于的估计，当新的数据样本到达时，更新估计到,25,求序贯LMMSE,在此，我们利用矢量空间得到“白噪声中的直流电平”的解，再推广到一般情况,假定和均为0均值，给定，其LMMSE估计,再由寻求该估计的序贯更新,26,看作矢量空间,首先估计新数据，即求,利用正交原理,由提供的新的非冗余信息，称为“新息”,由旧数据，估计新数据预测,27,A在误差矢量上的投影正是所求的修正项,回顾特性：,28,新息序列,新息序列是：推导和应用序贯LMMSE的关键正交的（即不相关的）矢量序列在信号处理和控制中非常重要,29,一般序贯LMMSE估计,初始化：无数据，利用先验信息,估计量更新：,30,序贯LMMSE框图,框图与序贯LS相同,31,32,回顾,贝叶斯MSE最小的估计量称为LMMSE估计量,注意：LMMSE估计仅需1阶和2阶矩，不需PDF,33,矢量：全部随机变量集合/0均值、有限方差（ZMFV）标量：全部实数集合内积：=EXY构成内积空间,上节课回顾,34,上节课回顾,矢量LMMSE估计,若,矩阵,35,上节课回顾,初始化：无数据，利用先验信息,估计量更新：,一般序贯LMMSE估计,36,信号处理的例子维纳滤波器,信号模型：,问题表述：用线性滤波器处理，得到去噪的信号，使得所求信号相关的最小,WSS广义平稳,37,滤波、平滑、预测,38,39,FIR维纳滤波,原理上：,实际中：,40,IIR维纳滤波,可看作，此时维纳滤波为时不变的,则,维纳-霍夫等式为,可采用“谱因式分解”求得,维纳滤波为IIR时不变的,41,定长FIR维纳滤波,数据：,42,FIR平滑器,为便于解释，考虑N=1的情况：,43,IIR平滑器,基于数据估计,维纳-霍夫方程为：,IIR维纳滤波,44,1步预测的结果：对于自回归AR（3）,45,贝叶斯估计理论内容安排,主要内容,引言,线性贝叶斯估计量（LMMSE）,估计量总结,46,估计方法,在经典方法中，数据信息总结在概率密度函数p(x;)中，其中PDF是的函数。在贝叶斯方法中，由于先验PDFp()描述了有关的知识而增加了数据的信息。数据信息总结在联合PDFp(x,)中。,47,CRLB,48,CRLB,49,BLUE,50,BLUE,51,MLE,52,MLE,53,