先进控制基础-第05章-估计问题基础课件1

绪论

—三种重要的先进控制理论概述估计理论：估计理论所要解决的基本问题是如何从被噪声污染的观测信号（观测数据）中尽可能充分地滤除干扰噪声的影响，在某种意义下求得被估信号的最优估计。19世纪初高斯——最小二乘法；20世纪20-30年代费歇尔——经典估计理论；1941年柯尔莫戈洛夫——离散时间情况下的预测问题；1942年维纳——连续时间滤波；20世纪60年代初卡尔曼——卡尔曼滤波理论；20世纪70年代以来多传感器信息融合绪论

—三种重要的先进控制理论概述估计理论：1绪论

—三种重要的先进控制理论概述卡尔曼滤波理论：相对于其他估计方法（如最小二乘估计、最小方差估计、极大后验估计、贝叶斯估计、极大似然估计），卡尔曼滤波从与被估计信号有关的量测值中通过算法提取出所需信号，它实际上是对随时间改变的参数估计的一种顺序最小二乘逼近。特点：算法是递推的，且使用状态空间法在时域内设计滤波器，所以适用于对多维随机过程的估计。采用动力学方程即状态方程描述被估计量的动态变化规律，被估计量的动态统计信息由过程白噪声的统计信息和动力学方程确定。离散型算法可直接在数字计算机上实现。绪论

—三种重要的先进控制理论概述卡尔曼滤波理论：2第五章

——估计问题基础第五章

——估计问题基础3当今时代是信息时代，是知识飞速增长的时代。

一方面，各门学科不断分化，分支学科越来越多，各种新兴学科和新领域不断出现

各学科和领域之间又不断相互渗透、相互交叉，不断产生许多新的边缘学科和领域

5.1估计问题的发展过程和估计问题分类当今时代是信息时代，是知识飞速增长的时代。5.1估计问4估计理论涉及系统辨识（SystemIdentification）状态估计（StateEstimation）时间序列分析（timeseriesanalysis）多传感器信息融合（MultisensorInformationFusion）四门学科及它们相互交叉、相互渗透的边缘学科和领域。估计理论涉及系统辨识（SystemIdentificat5模型（Model）是对事物、现象、过程或系统的简化描述或模仿，有物理模型、数学模型、仿真模型等。

建立一个数学模型通常包括两方面工作：

是模型结构的确定（包括模型的类型和阶次等）模型的参数估计

模型（Model）是对事物、现象、过程或系统的简化描述或模仿6估计问题可分为五类

模型参数估计

时间序列、信号或状态估计多传感器信息融合估计自校正信号或状态估计

自校正信息融合信号或状态估计

估计问题可分为五类7从估计的精度或性能来看，估计可分为最优估计次优估计自校正估计。最优估计是相对的，是针对一定的性能指标而言的

例如，“最小二乘法”估计、线性最小方差估计、加权最优融合估计等。

在一种性能指标下的最优估计可能是在另一种性能指标下的次优估计

从估计的精度或性能来看，估计可分为85.2.1参数估计第一类最优估计问题是模型参数估计问题。建立数学模型是对时间序列、信号或系统状态进行估计的基础。

模型参数估计的最基本的方法是最小二乘法（LeastSquareMethod）。最小二乘法的基本原理是实际观测值与模型计算值的误差的平方和最小原理，由此得名“最小二乘”法。

5.2模型参数估计问题5.2.1参数估计5.2模型参数估计问题9

例1：快速动态椭圆检测

和旋转角，如图1所示。

在图像处理、机器人等领域，需要对运动图像中的椭圆曲线进行快速检测，这个问题类似于当年高斯提出用最小二乘法确定天体运动轨道。几何上这个问题归结为确定其标准型的五个参数，即椭圆中心位置

，长短轴图1椭圆曲线和检测点例1：快速动态椭圆检测和旋转角，如图1所示。10

椭圆和其他二次曲线方程的一般形式为

通常检测椭圆上的点的坐标是带有测量误差的，为此利用椭圆曲线上更多的点的坐标的检测得到较精确的椭圆参数估计将已知椭圆上个点的坐标的检测值（含有检测误差），代入5.2.1，则有方程误差，即椭圆和其他二次曲线方程的一般形式为通常检测椭圆上的点的坐标11

最小二乘法原理就是用极小化方程误差的平方和来确定未知椭圆模型参数，即它们极小化性能指标由极值原理，置关于各参数的偏导数为零，即从而可以解出，进而由有关公式可立刻求出标准型椭圆参数最小二乘法原理就是用极小化方程误差的平方和由极值原理，12

例2：例2：13

5.2.2线性参数模型最小二乘估计

最小二乘估计是一种经典的数据处理方法，最早的应用可以追溯到18世纪。最小二乘法原理简单，可以离线计算，又可在线递推计算，并可在非线性系统中扩展为迭代计算由最小二乘法获得的估计在一定条件下有最佳的统计特性，即估计的结果是无偏的、一致的和有效的。5.2.2线性参数模型最小二乘估计由最小二乘法获14设时不变单输入单输出线性定常系统的数学模型为设时不变单输入单输出线性定常系统的数学模型为15

用矩阵方程式表示为用矩阵方程式表示为16残差估计准则

残差包含两方面的误差因素：参数拟合误差随机干扰带来的误差（过程噪声）。最小二乘的估计准则就是使得残差平方和最小。最小二乘参数估计

残差残差包含两方面的误差因素：最小二乘的估计准则就是使得残差17正则方程

化简根据数学分析中的求极值原理可知，因为是的二次函数，它的极小值是存在的。取得正则方程

正则方程化简根据数学分析中的求极值原理可知，因为是18估计量

持续激励条件

估计量19极小值

对准则函数求二阶导数并化简，有

表明了最小二乘法的一个重要性质，即它只有一个局部极小值存在。因此，这个极小值也是全部极小值极小值表明了最小二乘法的一个重要性质，即它只有一个20矩阵求逆引理

2.递推最小二乘估计（RLS）

矩阵求逆引理2.递推最小二乘估计（RLS）21递推最小二乘估计原理递推最小二乘估计原理22

令

令23定义，这是一个方阵，它的维数取决于未知数的个数，而与观测次数无关，则定义，这是一个方阵，它24式(5.2.3)可化为：

将式（5.2.1）、（5.2.2）、（5.2.4）代入（5.2.3）式(5.2.3)可化为：25令

则（5.2.5）可改写为

令26递推最小二乘估计递推算法：

递推最小二乘估计递推算法：273.初值的确定

人为地给定初值。3.初值的确定28第二类最优估计问题是信号或状态的最优估计问题，也称最优滤波。从被噪声污染的观测信号中过滤噪声，求未知真实信号或状态最优估值叫滤波。“滤波”这一术语最初来自无线电领域。

1941年，控制论创始人Wiener提出了信号Wiener滤波理论。经典Wiener滤波方法是一种频域方法，在处理多变量、时变、非平稳时间序列时往往不能达到预期要求，且算法是非递推的，要求存储全部历史数据，不便于工程应用。5.3信号，状态估计问题

第二类最优估计问题是信号或状态的最优估计问题，也称最优滤波。29

例3

Wiener滤波问题

例3Wiener滤波问题30

图1信号Wiener滤波问题

典型的Wiener信号滤波问题如图1所示。图1信号Wiener滤波问题典型的Wiener信号滤31Kalman滤波1960年，美国数学家和控制论学者Kalman针对Wiener滤波理论的缺点和局限性，以及电子技术和计算机应用技术发展的需要，提出了Kalman滤波理论（状态估计理论）Kalman滤波方法是一种时域方法，它基于状态空间模型和射影理论解决状态估计问题。

Kalman滤波算法是递推算法，便于在计算机上实现，且可处理多变量、时变、非平稳时间序列滤波问题Kalman滤波也可解决信号滤波问题

Kalman滤波1960年，美国数学家和控制论学者Kalma32非递推算法

非递推算法33递推算法实际上，有

递推算法实际上，有34式(5.3.1)中的第二项为校正量，它是根据误差式(5.3.1)中的第二项为校正量，它是根据误差35例4

动态测量系统Kalman滤波问题。例4动态测量系统Kalman滤波问题。36

37

第三类最优估计问题是最优信息融合估计问题。

满足现代电子与信息战争及国防军事的需要

为了提高对运动目标（导弹、飞机、卫星、坦克、车辆、船舰等）的跟踪精度提高对动态系统状态的估计精度涌现了大量具有不同应用背景的多传感器系统

5.4信息融合估计问题第三类最优估计问题是最优信息融合估计问题。5.4信息融38

20世纪70年代后

由于高技术武器的出现，尤其是由于精确制导武器、远程打击和导弹拦截武器的出现使得依靠单传感器提供的信息很难满足目标跟踪或状态估计精度的要求因此必须对每个传感器提供的信息按某种最优融合准则进行最优融合，才能提高对目标跟踪或状态估计的精度。20世纪70年代后39多传感器信息融合有两种方法：状态融合方法观测融合方法。

分布式状态融合估计原理如图所示

分布式状态融合估计原理

多传感器信息融合有两种方法：分布式状态融合估计原理40分布式观测融合估计原理如图所示。

分布式观测融合估计原理

分布式观测融合估计原理如图所示。分布式观测融合估计原理41多传感器分布式状态融合Kalman滤波器原理对于状态估计而言，如何利用基于每个观测方程得到的局部Kalman滤波器进行加权融合得到在某种性能指标下的最优融合Kalman滤波器？它的精度应当比每个局部Kalman滤波器的精度高。多传感器分布式状态融合Kalman滤波器原理如图所示。多传感器分布式状态融合Kalman滤波器原理多传感器分布式状态融合Kalman滤波器原理对于状态估计而言42多传感器观测融合Kalman滤波器原理

多传感器观测融合估计原理是先将各局部传感器的观测加权融合得到一个融合的观测方程，然后与状态方程联立得到观测融合状态估计。由此得到如图所示的观测融合Kalman滤波器框图观测融合Kalman滤波器框图多传感器观测融合Kalman滤波器原理多传感器观测融合估计43第四类最优估计问题是自校正估计，即渐近最优估计。自校正估计是最优滤波与系统辨识相交叉的边缘领域。自校正Kalman滤波器原理如图所示。

5.5自校正状态与信号估计问题自校正Kalman滤波器原理第四类最优估计问题是自校正估计，即渐近最优估计。自校正估计是44第五类估计问题是自校正信息融合估计。它是多传感器信息融合与系织辨识相交叉的领域自校正分布式状态融合Kalman滤波器原理如图所示5.6自校正状态与信号信息融合估计问题自校正分布式状态融合Kalman滤波器原理第五类估计问题是自校正信息融合估计。它是多传感器信息融合与系45自校正观测融合Kalman滤波器原理如图所示。

自校正观测融合Kalman滤波器原理自校正观测融合Kalman滤波器原理如图所示。自校正观测融46绪论

—三种重要的先进控制理论概述估计理论：估计理论所要解决的基本问题是如何从被噪声污染的观测信号（观测数据）中尽可能充分地滤除干扰噪声的影响，在某种意义下求得被估信号的最优估计。19世纪初高斯——最小二乘法；20世纪20-30年代费歇尔——经典估计理论；1941年柯尔莫戈洛夫——离散时间情况下的预测问题；1942年维纳——连续时间滤波；20世纪60年代初卡尔曼——卡尔曼滤波理论；20世纪70年代以来多传感器信息融合绪论

—三种重要的先进控制理论概述估计理论：47绪论

—三种重要的先进控制理论概述卡尔曼滤波理论：相对于其他估计方法（如最小二乘估计、最小方差估计、极大后验估计、贝叶斯估计、极大似然估计），卡尔曼滤波从与被估计信号有关的量测值中通过算法提取出所需信号，它实际上是对随时间改变的参数估计的一种顺序最小二乘逼近。特点：算法是递推的，且使用状态空间法在时域内设计滤波器，所以适用于对多维随机过程的估计。采用动力学方程即状态方程描述被估计量的动态变化规律，被估计量的动态统计信息由过程白噪声的统计信息和动力学方程确定。离散型算法可直接在数字计算机上实现。绪论

—三种重要的先进控制理论概述卡尔曼滤波理论：48第五章

——估计问题基础第五章

——估计问题基础49当今时代是信息时代，是知识飞速增长的时代。

一方面，各门学科不断分化，分支学科越来越多，各种新兴学科和新领域不断出现

各学科和领域之间又不断相互渗透、相互交叉，不断产生许多新的边缘学科和领域

5.1估计问题的发展过程和估计问题分类当今时代是信息时代，是知识飞速增长的时代。5.1估计问50估计理论涉及系统辨识（SystemIdentification）状态估计（StateEstimation）时间序列分析（timeseriesanalysis）多传感器信息融合（MultisensorInformationFusion）四门学科及它们相互交叉、相互渗透的边缘学科和领域。估计理论涉及系统辨识（SystemIdentificat51模型（Model）是对事物、现象、过程或系统的简化描述或模仿，有物理模型、数学模型、仿真模型等。

建立一个数学模型通常包括两方面工作：

是模型结构的确定（包括模型的类型和阶次等）模型的参数估计

模型（Model）是对事物、现象、过程或系统的简化描述或模仿52估计问题可分为五类

模型参数估计

时间序列、信号或状态估计多传感器信息融合估计自校正信号或状态估计

自校正信息融合信号或状态估计

估计问题可分为五类53从估计的精度或性能来看，估计可分为最优估计次优估计自校正估计。最优估计是相对的，是针对一定的性能指标而言的

例如，“最小二乘法”估计、线性最小方差估计、加权最优融合估计等。

在一种性能指标下的最优估计可能是在另一种性能指标下的次优估计

从估计的精度或性能来看，估计可分为545.2.1参数估计第一类最优估计问题是模型参数估计问题。建立数学模型是对时间序列、信号或系统状态进行估计的基础。

模型参数估计的最基本的方法是最小二乘法（LeastSquareMethod）。最小二乘法的基本原理是实际观测值与模型计算值的误差的平方和最小原理，由此得名“最小二乘”法。

5.2模型参数估计问题5.2.1参数估计5.2模型参数估计问题55

例1：快速动态椭圆检测

和旋转角，如图1所示。

在图像处理、机器人等领域，需要对运动图像中的椭圆曲线进行快速检测，这个问题类似于当年高斯提出用最小二乘法确定天体运动轨道。几何上这个问题归结为确定其标准型的五个参数，即椭圆中心位置

，长短轴图1椭圆曲线和检测点例1：快速动态椭圆检测和旋转角，如图1所示。56

椭圆和其他二次曲线方程的一般形式为

通常检测椭圆上的点的坐标是带有测量误差的，为此利用椭圆曲线上更多的点的坐标的检测得到较精确的椭圆参数估计将已知椭圆上个点的坐标的检测值（含有检测误差），代入5.2.1，则有方程误差，即椭圆和其他二次曲线方程的一般形式为通常检测椭圆上的点的坐标57

最小二乘法原理就是用极小化方程误差的平方和来确定未知椭圆模型参数，即它们极小化性能指标由极值原理，置关于各参数的偏导数为零，即从而可以解出，进而由有关公式可立刻求出标准型椭圆参数最小二乘法原理就是用极小化方程误差的平方和由极值原理，58

例2：例2：59

5.2.2线性参数模型最小二乘估计

最小二乘估计是一种经典的数据处理方法，最早的应用可以追溯到18世纪。最小二乘法原理简单，可以离线计算，又可在线递推计算，并可在非线性系统中扩展为迭代计算由最小二乘法获得的估计在一定条件下有最佳的统计特性，即估计的结果是无偏的、一致的和有效的。5.2.2线性参数模型最小二乘估计由最小二乘法获60设时不变单输入单输出线性定常系统的数学模型为设时不变单输入单输出线性定常系统的数学模型为61

用矩阵方程式表示为用矩阵方程式表示为62残差估计准则

残差包含两方面的误差因素：参数拟合误差随机干扰带来的误差（过程噪声）。最小二乘的估计准则就是使得残差平方和最小。最小二乘参数估计

残差残差包含两方面的误差因素：最小二乘的估计准则就是使得残差63正则方程

化简根据数学分析中的求极值原理可知，因为是的二次函数，它的极小值是存在的。取得正则方程

正则方程化简根据数学分析中的求极值原理可知，因为是64估计量

持续激励条件

估计量65极小值

对准则函数求二阶导数并化简，有

表明了最小二乘法的一个重要性质，即它只有一个局部极小值存在。因此，这个极小值也是全部极小值极小值表明了最小二乘法的一个重要性质，即它只有一个66矩阵求逆引理

2.递推最小二乘估计（RLS）

矩阵求逆引理2.递推最小二乘估计（RLS）67递推最小二乘估计原理递推最小二乘估计原理68

令

令69定义，这是一个方阵，它的维数取决于未知数的个数，而与观测次数无关，则定义，这是一个方阵，它70式(5.2.3)可化为：

将式（5.2.1）、（5.2.2）、（5.2.4）代入（5.2.3）式(5.2.3)可化为：71令

则（5.2.5）可改写为

令72递推最小二乘估计递推算法：

递推最小二乘估计递推算法：733.初值的确定

人为地给定初值。3.初值的确定74第二类最优估计问题是信号或状态的最优估计问题，也称最优滤波。从被噪声污染的观测信号中过滤噪声，求未知真实信号或状态最优估值叫滤波。“滤波”这一术语最初来自无线电领域。

1941年，控制论创始人Wiener提出了信号Wiener滤波理论。经典Wiener滤波方法是一种频域方法，在处理多变量、时变、非平稳时间序列时往往不能达到预期要求，且算法是非递推的，要求存储全部历史数据，不便于工程应用。5.3信号，状态估计问题

第二类最优估计问题是信号或状态的最优估计问题，也称最优滤波。75

例3

Wiener滤波问题

例3Wiener滤波问题76

图1信号Wiener滤波问题

典型的Wiener信号滤波问题如图1所示。图1信号Wiener滤波问题典型的Wiener信号滤77Kalman滤波1960年，美国数学家和控制论学者Kalman针对Wiener滤波理论的缺点和局限性，以及电子技术和计算机应用技术发展的需要，提出了Kalman滤波理论（状态估计理论）Kalman滤波方法是一种时域方法，它基于状态空间模型和射影理论解决状态估计问题。

Kalman滤波算法是递推算法，便于在计算机上实现，且可处理多变量、时变、非平稳时间序列滤波问题Kalman滤波也可解决信号滤波问题

Kalman滤波1960年，美国数学家和控制论学者Kalma78非递推算法

非递推算法79递推算法实际上，有

递推算法实际上，有80式(5.3.1)中的第二项为校正量，它是根据误差式(5.3.1)中的第二项为校正量，它是根据误差81例4

动态测量系统Kalman滤波问题。例4动态测量系统Kalman滤波问题。82

83

第三类最优估计问题是最优信息融合估计问题。

满足现代电子与信息战争及国防军事的需要

为了提高对运动目标（导弹、飞机、卫星、坦克、车辆、船舰等）的跟踪精度提高对动态系统状态的估计精度涌现了大量具有不同应用背景的多传感器系统

5.4信息融合估计问题第三类最优估计问题是最优信息融合估计问题。5.4信息融84

20世纪70年代后

由于高技术武器的出现，尤其是由