信号检测与估计理论 第五章 统计估计理论ppt课件

1、估计理论与信号检测,第五章 信号的统计估计理论,1,PPT学习交流,内容提要,5.1 引言 5.2 随机参量的贝叶斯估计 5.3 最大似然估计 5.4 估计量的性质 5.5 矢量估计 5.7 线性最小均方误差估计 5.8 最小二乘估计,2,PPT学习交流,5.1 引言,信号的参量估计 若信号中被估计的量是随机参量或非随机未知参量，则称这种估计为信号的参量估计。 在观测时间内一般不随时间变化静态估计 信号的波形估计或状态估计 若被估计的是随机过程或非随机的未知过程。 信号的波形、参量随时间变化动态估计,3,PPT学习交流,5.1 引言,研究内容： 信号的参量估计 若信号中被估计的量是随机参量或非

2、随机未知参量，则称这种估计为信号的参量估计。 理论基础： 随机变量与数理统计(2.2, P.8) 随机噪声理论(2.6, P.46),4,PPT学习交流,5.1 引言,基本思想 信号模型的差异； 先验知识与数据之间的关系； 估计准则与估计方法； 估计的评价指标。,数 据 模 型,复杂性：足以描述数据的基本特征,简单：允许估计量是最佳的，且易于实现,5,PPT学习交流,5.1 引言-信号处理中的估计,在雷达、声呐、语音、图像分析、生物医学、通信、自动控制等领域，都涉及到参数估计的问题。例如 雷达系统 被动声呐系统 语音识别系统,由时域信号转换为线性预测编码语音模型， 模型的参数决定了谱包络。,6

3、,PPT学习交流,5.1 引言-估计的数学问题,确定估计量后，建立数据的数学模型,例1：,实际问题中，未给出PDF，要选择一个与问题的约束与先验知识 一致，且在数学上容易处理的PDF。例2-道琼斯指数：,参数确定但未知-经典估计,参数为随机变量-贝叶斯估计,20世纪90年代,7,PPT学习交流,5.1.2 数学模型和估计量构造,四个组成部分：参量空间、概率映射、观测空间和估计准则。 概率映射函数 ，完整地描述了含有被估计矢量信息时观测矢量的统计特性。,8,PPT学习交流,5.1.3 估计量性能的评估,单次观测量为标量，被估计量为标量（单参量） 单次观测量为矢量，被估计量为矢量（多参量）,最佳估

4、计准则定义：充分利用先验知识，使构造的估计量具有最优性质的估计准则。 被估计参量（随机或非随机）的先验知识（P.264） 被估计量及其均值、方差和均方误差的表示（P.264）,观测向量为长列向量,9,PPT学习交流,5.1.3 估计量性能的评估,例子：非随机未知单参量的估计,10,PPT学习交流,5.1.3 估计量性能的评估,例子：非随机未知单参量的估计,11,PPT学习交流,经典估计与贝叶斯估计,From Steven M. Key -page253-259,上述估计假定参数取值范围：,考虑到物理条件的限制：,12,PPT学习交流,经典估计与贝叶斯估计,From Steven M. Key

5、-page253-259,贝叶斯最小均方误差估计：,令其为零,后验概率均值,=1,13,PPT学习交流,经典估计与贝叶斯估计,From Steven M. Key -page253-259,短数据记录对后验PDF的影响,大数据记录对后验PDF的影响,14,PPT学习交流,经典估计与贝叶斯估计,From Steven M. Key -page253-259,后验概率均值：在先验知识和由数据贡献的知识之间进行折衷。,例如，当N增加时，后验PDF变得更加集中，MMSE估计量（最小均方误差）对先验知识的依赖越来越小，对数据的依赖越来越多，数据把先验知识“擦除”了。,参数估计的贝叶斯方法：假设要估计的参

6、数是随机变量 的一个实现。 (1) 指定一个先验PDF ; (2) 观测到数据后，后验PDF 概括了对参数的了解。 (3) 利用先验知识通常能改善估计精度。,15,PPT学习交流,经典估计与贝叶斯估计,From Steven M. Key -page253-259,利用先验知识通常能改善估计精度； 在贝叶斯估计中，先验PDF的选择是很关键的。 错误的选择将导致差的估计量，类似与在经典估计量问题中使用不正确的数据模型设计估计量。 围绕贝叶斯估计量的使用上有许多争议，源于在实践中不能证明 先验PDF。 一般说来，除非先验概率是建立在物理约束的基础上，否则还是 使用经典估计比较合适。,16,PPT学

7、习交流,贝叶斯准则： 二元信号检测的贝叶斯准则（P.70） M元信号检测的贝叶斯准则（P.93）,5.2 随机参量的贝叶斯估计,在信号参量的估计中，我们用类似的方法提出贝叶斯估计准则，即使估计的平均代价最小。适用于随机参量情况。,代价函数的一般形式：,满足 （1）非负性； （2）误差 时最小。,17,PPT学习交流,5.2 随机参量的贝叶斯估计,三种典型的代价函数：,18,PPT学习交流,5.2.1 常用代价函数和贝叶斯估计概念,平均代价,条件平均代价,贝叶斯公式,上述条件平均代价函数 对 求最小， 即可以求得随机参量 的贝叶斯估计量 。,19,PPT学习交流,5.2.2 贝叶斯估计量的构造,

8、1、最小均方误差估计（条件均值，代价函数参见图(a)）,对 求偏导，并令结果为零。,20,PPT学习交流,5.2.2 贝叶斯估计量的构造,1、最小均方误差估计（条件均值，代价函数参见图(a)）,二阶偏导数 ，上式求得的估计量， 可以使平均代价 C 达到最小：,最小平均代价是条件方差对所有观测量的统计平均。,21,PPT学习交流,5.2.2 贝叶斯估计量的构造,1、最小均方误差估计（条件均值，代价函数参见图(a)）,估计量 是后验概率密度函数 的均值 。,将后验概率转化 为先验概率表达,22,PPT学习交流,5.2.2 贝叶斯估计量的构造,2、条件中值估计（条件中值，代价函数参见图(b)）,称为

9、条件中值估计，或条件中位数估计 （Conditional Median Estimation）， 估计量 是 的点。,23,PPT学习交流,3、最大后验估计（条件众数，最大后验，代价函数参见图(c)）,5.2.2 贝叶斯估计量的构造,等效于使 最大,估计量 是后验概率密度函数 取最大值的点。,24,PPT学习交流,5.2.2 贝叶斯估计量的构造,例5.2.1 单随机参量的贝叶斯估计（最佳估计的不变性）,贝叶斯公式,25,PPT学习交流,5.2.3 最佳估计的不变性,如果被估计量的后验概率密度函数 是高斯型的，则在三种典型代价函数下，使平均代价最小的估计量是一样的，都等于最小均方误差估计量，即

10、它们的均方误差都是最小的，这就是最佳估计的不变性。但是，代价函数的选择常常带有主观性，而后验概率密度函数 也不一定能满足高斯型的要求。 希望能够放宽条件，也能获得均方误差最小的估计。,26,PPT学习交流,5.2.3 最佳估计的不变性,两种情况下最小均方误差估计所具有最佳估计不变性。,27,PPT学习交流,5.2.3 最佳估计的不变性,情况,情况,28,PPT学习交流,最大似然估计常用来估计未知的非随机参量。 最大似然估计定义：使似然函数 最大的 值作为估计量的参量估计方法(Maximum Likelihood Estimation)。 5.3.1 最大似然估计原理 最大似然函数的基本原理是：

11、对于某个选定的 ，考虑 落在一个小区域内的概率 ，取 最大的那个 作为估计量 。 似然函数是在给定 后 得到的，可以画出它与被估 计量 的关系曲线。,5.3 最大似然估计,PDF作为未知参数的函数（ 固定），称之为似然函数。,29,PPT学习交流,根据最大似然估计原理，可得如下最大似然估计量 或,5.3.2 最大似然估计量的构造,对比（5.2.19）式，,相当于最大似然估计用于估计没有任何先验知识的随机参量 ， 假定 为均匀分布，上式第二项为零，最大后验概率估计转化 为最大似然估计。,30,PPT学习交流,例5.3.1 同例5.2.1，但不利用被估计量的先验分布知识，而把其看成是未知非随机参量

12、 观测矢量 的似然函数为：,5.3.2 最大似然估计量的构造,带先验知识的贝叶斯估计：,31,PPT学习交流,(1) 最大似然估计没有利用被估计量的先验知识，其性能比贝叶斯估计差； (2) 当 为未知随机参量时，计算似然函数 相对容易； (3) 对于绝大多数实用的最大似然估计，观测数据足够多时， 其性能是最优的； (4) 最然似然估计具有不变性。,5.3.2 最大似然估计量的构造,带先验知识的贝叶斯估计：,32,PPT学习交流,最大似然估计的不变性： 1、如果参量 的最大似然估计量为 ，那么函数 的最大似然估计量 ，在 是 的一对一变换时有 2、如果 不是 的一对一变换，而是一对多变换，则首先

13、应找出在 取值范围内所有变化参量的似然函数 中具有最大值的一个，记为 ，即 然后，通过 求出 的最大似然估计量 ，就是函数 的最大似然估计量。,5.3.3 最大似然估计的不变性,33,PPT学习交流,估计量是随机变量 主要性质 无偏性 有效性 一致性 充分性 克拉美-罗不等式(Cramer-Rao) 克拉美-罗界（均方误差下界）,5.4 估计量的性质,34,PPT学习交流,2、估计量的有效性 则称估计量 比 有效。 克拉美-罗不等式 克拉美-罗界（在5.4.2小节讨论） 无偏有效估计量的定义（P.277）,5.4.1 估计量的主要性质,1、估计量的无偏性,估计量方差 估计误差方差 均方误差,3

14、5,PPT学习交流,5.4.1 估计量的主要性质,3、估计量的一致性,4、估计量的充分性 若被估参量的估计量为 。如果以 为参量的似然 函数 能够分解表示为 则称 充分估计量，运用了观测量 中的全部关于 的信息。 无偏有效估计量必然是充分估计量。,一致估计量 均方一致估计量,36,PPT学习交流,均方误差准则（MSE）：,5.4.2 克拉美-罗不等式与克拉美-罗界,度量估计量偏移真值的平方偏差的统计平均值。,约束偏差为零,方差,偏差,最小方差无偏估计(MVU)：,37,PPT学习交流,Cramer-Rao下限,5.4.2 克拉美-罗不等式与克拉美-罗界,对无偏估计量确定一个下限：,判断是否是M

15、VU估计量； 为比较无偏估计量的性能提供标准； 不可能求得方差小于下限的无偏估计量 （用于信号处理的可行性研究）,38,PPT学习交流,引入：依赖于未知参数的PDF,5.4.2 克拉美-罗不等式与克拉美-罗界,观测到上述单个样本，其中 。,显然有： ，方差为 。,图(b)的PDF与A的相关性较弱。直观的看：似然函数的”尖锐”性，决定了 估计未知参数的精度。PDF受未知参数的影响越大，所得到的估计越好。,39,PPT学习交流,考察由对数似然函数在其峰值处的负的二阶导数， 来度量“尖锐”性。,5.4.2 克拉美-罗不等式与克拉美-罗界,一阶导数：,曲率更一般的度量：,负的二阶导数：,曲率随方差 的

16、减少而增加。在本例中：,40,PPT学习交流,假定PDF 满足“正则”条件：,5.4.2 克拉美-罗不等式与克拉美-罗界,Page25 from Steven M. Key,CRLB定理（Cramer-Rao 下限定理）：,且对于某个函数 g 和 I，当且仅当,则，任何无偏估计量 的方差必定满足：,时，对所有 达到下限的无偏估计量可以求得：,41,PPT学习交流,1、非随机参量情况,5.4.2 克拉美-罗不等式与克拉美-罗界,推论 最大似然估计公式,推导：两边对theta求偏导,42,PPT学习交流,5.4.2 克拉美-罗不等式与克拉美-罗界,1、非随机参量情况（续，克拉美-罗不等式的推导P.

17、364）,Cauchy-Schwarz Inequality,无偏估计,不等式取等号条件：,43,PPT学习交流,1、非随机参量情况（续，另一种形式）,5.4.2 克拉美-罗不等式与克拉美-罗界,另一种形式克拉美-罗不等式的推导过程,两边对theta求二阶偏导,44,PPT学习交流,2、随机参量情况（第一种形式）,5.4.2 克拉美-罗不等式与克拉美-罗界,关系常数k与随机参量的二阶统计量有关,推导：两边对theta求偏导,45,PPT学习交流,2、随机参量情况（续，第二种形式）,5.4.2 克拉美-罗不等式与克拉美-罗界,推论 最大后验估计公式,46,PPT学习交流,5.4.2 克拉美-罗不

18、等式与克拉美-罗界,2、随机参量情况（续，第二种形式）,若随机参量 的任意无偏估计量 也是有效的， 则该估计量一定是 的最大后验估计量 。,无偏且达到CRLB的估计量可以有效地使用数据，称其为有效的。如左图所示。 MVU（最小方差无偏）估计量可能是也可能不是有效的，如图(b)所示， 没有 达到CRLB，因此不是有效的，但是它的方差一致地小于所有其它无偏估计量的 方差，因此 是MVU估计量。,Page28-29 from Steven M. Key,47,PPT学习交流,5.4.2 克拉美-罗不等式与克拉美-罗界,2、随机参量情况（续，第二种形式）,当达到CRLB时，方差是Fisher信息的倒数

19、，即信息越多，下限越低， 具有信息测度的基本性质： 非负性； 对独立观测的可加性。,将下限表达式中的分母称为数据 X 的Fisher信息 ，即,48,PPT学习交流,5.4.2 克拉美-罗不等式与克拉美-罗界,关于对独立观测的可加性： N个IID观测的CRLB是单次观测的 1/N 倍。,对于独立观测,对于同分布观测,对于非独立的样本，可能有：,49,PPT学习交流,例5.4.1 非随机参量的最大似然估计量的性质,5.4.2 克拉美-罗不等式与克拉美-罗界,（1）无偏性,（2）有效性,（3）一致性（随观测次数的增加，估计质量有所提高）,50,PPT学习交流,例5.4.1 非随机参量的最大似然估计

20、量的性质（续）,5.4.2 克拉美-罗不等式与克拉美-罗界,（4）充分性估计量利用了观测量中所有有关信息。,51,PPT学习交流,例5.4.2 随机参量的贝叶斯估计量的性质,5.4.2 克拉美-罗不等式与克拉美-罗界,（1）无偏性,（2）有效性,先验知识,之前求取的贝叶斯估计量,52,PPT学习交流,例5.4.2 随机参量的贝叶斯估计量的性质（续）,5.4.2 克拉美-罗不等式与克拉美-罗界,（3）一致性,（4）充分性,53,PPT学习交流,5.4.3 有效估计量均方误差与 的关系,1、非随机参量情况,2、随机参量情况,两边对theta求偏导,两边求均值,两边对theta求偏导，并求均值,54

21、,PPT学习交流,5.4.4 非随机参量函数估计的克拉美-罗界,推导：两边对theta求偏导,未知随机参量 的函数 ，其估计量 是 的 任意无偏估计量，有：,55,PPT学习交流,5.4.4 非随机参量函数估计的克拉美-罗界,由柯西-施瓦兹不等式得（参见(5B.6)式）,其克拉美-罗不等式推导过程,56,PPT学习交流,5.4.4 非随机参量函数估计的克拉美-罗界,例5.4.3 非随机参量线性函数的最大似然估计量的性质,57,PPT学习交流,5.4.4 非随机参量函数估计的克拉美-罗界,例5.4.4 非随机参量非线性函数的最大似然估计量的性质,非线性函数的最大似然估计量 是有偏估计，但是渐进无

22、偏的。,根据最大似然函数估计的不变性：,58,PPT学习交流,5.4.2 克拉美-罗不等式与克拉美-罗界,Page31 from Steven M. Key,非线性变换破坏了估计量的有效性，线性变换能够保持估计量的有效性。 如果数据记录足够大，非线性变换可以近似保持有效性。,要估计的参数是某个基本参数的函数，例如下述两个典型的情况：,线性关系：例如,非线性关系：例如,若： ，CRLB：,Steven P3133,59,PPT学习交流,5.4.5 估计量性质的总结,关于估计量性质的几个基本概念性问题 有效估计量一定是建立在无偏的基础上的。因为克拉美-罗不等式以及不等式取等号的条件，都是在任意无偏

23、估计量基础上推导的。所以检验一个估计量的性质，首先要检验它的无偏性，只有在无偏性的基础上，才能进一步检验它的有效性。 只有无偏的和有效的估计量，其估计的均方误差才能达到克拉美-罗界，并可通过计算克拉美-罗界求得该估计量的均方误差。 虽然，例5.4.1中的最大似然估计量和例5.4.2中的贝叶斯估计量都是无偏有效估计量。但是，非随机参量的最大似然估计量或随机参量的贝叶斯估计量不一定都是无偏有效估计量。它可能是无偏的、有效的；也可能仅是无偏的，但不是有效的；也可能是有偏的。,60,PPT学习交流,5.5 矢量估计,在许多实际问题中，要求我们同时估计信号的多个参量，这就是矢量估计。本节将把单参量估计的

24、概念、方法和性能评估等推广到信号参量的矢量估计中。,类似于单参量估计的情况，矢量估计也可分为 随机矢量和非随机矢量两种情况。,M维矢量,估计矢量的的误差矢量：,61,PPT学习交流,5.5 矢量估计,矢量参数的CRLB对每个元素的方差设置下限：,其中 是 的Fisher 矩阵，有：,关于直线拟合的一个例子：,其中， 是WGN，参数矢量是 。,62,PPT学习交流,5.5 矢量估计,似然函数为：,63,PPT学习交流,5.5 矢量估计,由上式可得：,总结： （1） 的CRLB相对于 B 是已知的情况有所增加； B 已知时，有 （2）对于 ，CRLB随着估计更多的参数而增加； （3）对于 ，B 更

25、容易估计，其CRLB随 而减少； A 的CRLB与 有关； （4）表明 对 B 的变化比对 A 的变化敏感。,64,PPT学习交流,5.5.1 随机矢量的贝叶斯估计,1、最小均方误差估计,条件平均代价,各个分量估计误差的平方和,为使平均代价 最小，要求每个参量 估计的均方误差最小。,矢量形式：,65,PPT学习交流,5.5.1 随机矢量的贝叶斯估计,2、最大后验估计,最大后验估计的另一种形式,66,PPT学习交流,5.5.2 非随机矢量的最大似然估计,被估计的矢量是非随机矢量，或者是完全缺少先验知识的随机矢量。,67,PPT学习交流,是 阶矩阵 的第 i 行第 j 列元素。,5.5.3 矢量估

26、计量的性质,1、非随机矢量情况,（1）无偏性,（2）有效性,若对所有的 ，估计的偏矢量 的每一个分量都为零，则 为无偏估计矢量。,68,PPT学习交流,5.5.3 矢量估计量的性质,矩阵J通常称为费希尔信息矩阵，它表示从观测数据中获得的信息。,当M=1，矩阵J 退化成标量。,若对于M维非随机矢量 的任意无偏估计矢量 中的每一个参量 都满足 ，则该估计称为联合有效估计。 是 的均方误差下界，即克拉美-罗界。,69,PPT学习交流,5.5.3 矢量估计量的性质,例5.5.1 非随机二维矢量的估计问题,70,PPT学习交流,5.5.3 矢量估计量的性质,例5.5.1 非随机二维矢量的估计问题,关于本

27、例题的讨论和关于习题5.17的讨论：,（1）矢量估计的性能一般来说要低于单参量估计的性能； （2）矢量估计中的参量 越多，估计量的性能 可能会越低，除非各估计量之间是互不相关的。,71,PPT学习交流,5.5.3 矢量估计量的性质,2、随机矢量情况,费希尔信息矩阵JT由两部分组成。JD是数据信息矩阵，它表示从观测数据中获得的信息；JP是先验信息矩阵，它表示从先验知识中获得的信息。,均方误差阵,C-R不等式,（1）无偏性 （2）有效性,72,PPT学习交流,设有M维非随机矢量 ，现在需要估计M维矢量 的L维函数 。设L维估计矢量 是L维矢量函数 的任意无偏估计矢量。则估计矢量 的均方误差阵 满足

28、不等式 式(5.5.23)是矢量函数估计的克拉美-罗不等式， 不等式的右边就是克拉美-罗界； 式(5.5.24)是克拉美-罗不等式取等号的条件。 其中，J是费希尔信息矩阵。,5.5.4 非随机矢量函数估计的克拉美-罗界,LM, MM, ML,LM, MM, M1,73,PPT学习交流,5.5.4 非随机矢量函数估计的克拉美-罗界,例5.5.3 高斯噪声背景中的信噪比估计问题（函数估计）,74,PPT学习交流,线性函数估计性质的不变性：如果M维非随机矢量 的任意无偏估计 是有效的；那么，其L维线性矢量函数 的估计矢量 是无偏有效的。证明如下 如果 是非线性函数，则对于有限的观测次数N，不再保持这

29、种不变性。,5.5.4 非随机矢量函数估计的克拉美-罗界,75,PPT学习交流,线性模型,Steven M. Key page70-大量的信号处理问题都可以转化为线性模型构造解决。 可以通过构造线性模型，寻找最佳估计量。,对于之前提到的直线拟合的例子：,有：,76,PPT学习交流,线性模型,在线性观测模型下 和 一般高斯噪声背景下 研究：,非随机矢量 的最大似然估计；,一般高斯随机矢量 的贝叶斯估计；,已知随机矢量 的均值矢量 和协方差矩阵 ：,伪贝叶斯估计估计,指定 先验PDF,线性最小均方误差估计,限定估计量是观测量的线性函数,线性最小二乘估计：直接利用观测模型，不需要先验知识。,77,P

30、PT学习交流,线性模型,（1）若 为非随机矢量：,高斯随机噪声,78,PPT学习交流,线性模型,（1）若 为非随机矢量：,对照CRLB定理：,d(UV)/dX = (dU/dX)V + (dV/dX)U,79,PPT学习交流,线性模型,（1）若 为非随机矢量：,信息矩阵：,80,PPT学习交流,线性模型,（2）若 为随机矢量：,最小均方误差估计,最大后验概率估计,二者具有 等同性,矩阵反演公式：,81,PPT学习交流,线性模型,（3）随机矢量的伪贝叶斯估计：,若被估计量 的均值矢量 与协方差矩阵 已知，PDF函数未知。,假定随机矢量 为高斯分布，则伪贝叶斯估计矢量：,最大似然估计量的均方误差,

31、非负定,伪贝叶斯估计矢量的均方误差阵 小于等于 不利用先验知识的最大似然估计矢量的均方误差阵。,82,PPT学习交流,线性模型举例,曲线拟合,傅里叶分析,系统辨识,Page73-79,83,PPT学习交流,5.7 线性最小均方误差估计,如果关于观测信号矢量和被估计矢量的概率密度函数未知， （1）仅知道观测信号矢量和被估计随机矢量的前二阶矩知识（局部信息），即均值矢量、协方差矩阵和互协方差矩阵； （2）限定估计量是观测量的线性函数。 上述情况下，要求估计量的均方误差达到最小。求得的估计量即为线性最小均方误差估计量。,线性最小均方误差估计量所具有的重要性质正交性： 估计的误差矢量与观测矢量正交，常

32、称为正交性原理。,84,PPT学习交流,5.7.1 线性最小均方误差估计准则,单参量估计,线性最小均方误差估计的估计规则，就是把估计量构造成观测量的线性函数，同时要求估计量的均方误差最小。,矢量估计,N M M1,M1,MN N1,85,PPT学习交流,5.7.2 线性最小均方误差估计矢量的构造,= 0,令,86,PPT学习交流,5.7.2 线性最小均方误差估计矢量的构造,参见附录5G,= 0,参考协方差矩阵定义（见P18）,令,87,PPT学习交流,5.7.2 线性最小均方误差估计矢量的构造,88,PPT学习交流,1、估计矢量是观测矢量的线性函数 2、估计矢量的无偏性 3、估计矢量均方误差阵

33、的最小性,5.7.3 线性最小均方误差估计矢量的性质,添项，配方,89,PPT学习交流,5.7.3 线性最小均方误差估计矢量的性质,4、估计的误差矢量与观测矢量的正交性,正交性原理表明，线性最小均方误差估计量是被估计矢量在 观测矢量上的正交投影。 5、最小均方误差估计与线性最小均方误差估计的关系 非线性vs线性观测模型；线性模型且为联合高斯分布条件下等同。,90,PPT学习交流,线性最小均方误差估计矢量的性质,Setven M. Key page 311-312 -概念更清楚,使MSE最小 等价于 使误差矢量 的长度平方最小。 显然，当 与 张成的子空间正交时， 误差矢量的长度最小。,91,P

34、PT学习交流,5.7.3 线性最小均方误差估计矢量的性质,例5.7.1 线性最小均方误差估计,92,PPT学习交流,5.7.4 线性最小均方误差递推估计,1、递推估计的基本思想 新息,非递推估计算法的缺点：a. 计算量大，效率低；b. 求解高维矩阵逆阵，出现病态矩阵无法求逆。,2、递推估计的公式,证明用到正交投影引理和引理（P402）,93,PPT学习交流,5.7.4 线性最小均方误差递推估计,3、递推估计的过程 初始条件 和 确定后，就可以从第一次观测开始进行递推估计 第1步，求出修正的增益矩阵 ； 第2步，求出估计矢量的均方误差阵 ； 第3步，确定新息 ，前乘增益矩阵 ，结果加到 上，获得

35、估计矢量 。 然后进行第二次观测，继续这个运算过程，实现递推估计。,94,PPT学习交流,5.7.4 线性最小均方误差递推估计,4、递推估计的特点和性质 递推估计算法的优点： 算法效率高； 只需对低阶矩阵求逆； 被估计随机变量的前二阶矩先验知识未知，也可确定某一初始条件后运行算法； 递推算法在获得估计矢量的同时，也获得了反映估计精度的估计矢量的均方误差阵（对其求迹即可得到估计矢量的均方误差）； 修正增益矩阵与观测噪声矢量的协方差矩阵成反比。,95,PPT学习交流,5.7.4 线性最小均方误差递推估计,例5.7.2 线性最小均方误差估计（递推算法）,96,PPT学习交流,5.7.4 线性最小均方

36、误差递推估计,5.29 若观测值,计算可得：,测量中，若发现 ，明显不合理，应当剔除，并补充一个 合理数值，如：,若 :,97,PPT学习交流,线性最小均方误差递推估计思想,Gram-Schmidt正交化方法,线性代数的几何意义 page134/174,98,PPT学习交流,线性最小均方误差递推估计思想,Steven M. Key page319,99,PPT学习交流,5.7.5 单参量的线性最小均方误差估计,已知被估计参量（标量）和观测矢量前二阶矩知识,观测噪声矢量的前二阶矩知识已包含在观测矢量的前二阶矩知识中。可得单参量的线性最小均方误差估计和均方误差阵如下,均方误差阵（矩阵）已退化成均方误差（标量）。,N1 NN 1N,100,PPT学习交流,5.7.6 观测噪声不相关时的单参量估计,令,101,PPT学习交流,5.7.6 观测噪声不相关时的