《系统辨识》课件

1,系统辨识,电气工程与自动化学院陈冲,2,课程主要内容,第一章概述,第二章过渡响应法和频率响应法,第三章辨识线性系统脉冲响应函数的相关分析法,结束,第四章线性系统参数估计的最小二乘法,第五章线性系统的状态估计法,3,第一章概述,一、建模的必要性,二、模型,三、建模方法,四、系统辨识的内容（或步骤）,4,一、建模的必要性,课程的核心问题是建模，主要是辨识建模。,系统辨识是研究辨识建模的理论和方法。,数学模型的主要用途：,控制理论与控制工程就一直围绕着建立模型和控制器设计这两个主题来发展，它们相互依赖、相互渗透并相互发展。,用来预报实际系统物理量,研究实际系统往往需要事先知道一些物理量的数值，而其中有些量可能无法直接测量或测不准，所以需要建立数学模型来预报。,第一章概述,5,为了设计控制系统,目前,对被控系统的控制器的设计方法的选取,以及如何进行具体的控制结构和参数的设计都广泛依赖于对被控系统的理解及所建立的被控系统数学模型。,用于分析实际系统,工程上在分析一个新系统时，通常先进行数学仿真，仿真的前提必须有数学模型。,第一章概述,建模问题在控制器设计中起着非常重要的作用,是设计中首先需要解决的问题；是成功地进行控制器设计的关键之一。,第一章概述,系统的模型一般分物理模型与数学模型,物理模型：指用物理、化学、生物等材料构成的用于描述系统中的关系和特征的实体模型。,模型：就是把系统实体的本质信息简缩成有用的描述形式，,数学模型：描述系统中一些关系和特征的数据模型。,控制领域的数学模型就是指能用来描述系统的动态或静态特性和行为的数学表达式或方程。是进行系统分析、预报、优化及控制系统设计的基础。,二、模型,是一种简化描述。,7,1、理论建模法：,通过对系统内在机理的分析，按照已知的一些物理定律导出各物理量关系来建立数学模型。理论建模法建立的模型称为机理模型。,一般在理论建模中,根据模型应用的目的和精度要求,仅考虑系统中起主导作用的有限的几个因素即可。,缺陷：当验前信息不足时，用理论建模法会遇到很大困难。对于比较复杂的过程，必须对机理模型简化，这就使得机理建模与实际过程间有一定的误差。,第一章概述,三、建模方法,8,理论建模通常只能用以建立比较简单系统的模型（白箱问题）。,由于许多系统的机理和所处的环境越来越复杂，因此，理论建模法的运用亦越来越困难，其局限性越来越大,需要建立新的建模方法。,第一章概述,在被建模的装置尚不存在（设计阶段）或虽存在但无法进行实验时，理论建模是取得模型的唯一途径，是验前问题中唯一可行的方法。,理论建模的难点在于对有关学科知识及实际经验的掌握，故不属于课程的讨论范围。,在理论建模方法难以进行或难以达到要求的情况下，系统辨识建模方法就幸运而生。,9,2、辨识建模法：,对被控系统进行测试，利用观测数据，通过辨识技术去构造系统模型的方法。,系统辩识是研究怎样利用对未知系统的试验数据或在线运行数据(输入/输出数据)建立描述系统的数学模型的科学。,系统辩识亦称为实验建模方法,它是“系统分析”和“控制系统设计”的逆问题。,第一章概述,是现代控制理论的一个分支。,1）完全辨识问题：,第一章概述,完全不了解系统的任何基本特性（定常时变；线性非线性；确定随机等）。这类问题称为黑箱问题。这是一个极难解决的问题，通常需要对系统作某些主观的先验假设。,2）部分辨识问题：,系统的某些基本特性假定是已知的，但不知动态模型的阶次或有关的系数。这类问题称为灰箱问题。显然比黑箱问题容易解决。,根据对系统事先了解的程度（先验知识）可将辨识问题分成二类：完全辨识问题和部分辨识问题。,11,大部分工程系统及工业过程都属于灰箱问题。通常对系统的结构会有很多了解，因此可推导得系统特定的数学模型。在这种情况下只要定阶和确定模型中的一组参数。从而模型化问题简化为参数估计。因此参数估计是一个最重要的问题。,第一章概述,有效的辨识策略：尽可能地掌握系统的先验知识，即尽可能地使系统“白化”；,有效的辨识方法：“灰箱”方法。将两种方法结合起来，互为补充。,对依然“黑”的部分，用理论建模方法不能确定的部分和参数，采用系统辨识方法。,12,第一章概述,系统辨识的框图,13,模糊数学创始人L.A.Zadeh,第一章概述,1962年Zadeh从数学的角度定义:辨识就是在输入输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。,1978年瑞典的李龙(Ljung)提出:系统辩识的三个要素数据、模型类和准则。,系统辩识是按照一个准则，在模型类中选择一个与数据拟合得最好的模型。,拟合的好坏是一个不定的概念，所以要用准则来判别。,3、系统辨识的定义,所谓辨识建模是从实验数据出发，根据辨识的目的以及对过程已有的验前知识，预先给出一个模型类（线性的、非线性的、定常的、时变的、连续的、离散的）进行拟合。,14,第一章概述,它是一个迭代过程。大致包括：试验设计，模型结构确定，参数估计和模型验证。,四、系统辨识的内容（或步骤）,15,大致包括：试验设计，模型结构确定，参数估计和模型验证。,1、试验设计,第一章概述,1）选择变量：以提取有效的信息（数据）为目的。首先根据试验对象，确定所要观测的变量。（u是人为给定的，y是观测的，y的选取不同会改变输出矩阵C的结构和数值。）,通常为得到试验设计前的必要的知识，必须进行一些预备性试验（摸底）。,四、系统辨识的内容（或步骤）,16,第一章概述,预备性试验：可用一些简单方法（阶跃响应，频率响应等）获得系统的如下信息：,主要时间常数（系统频宽，与试验长度有关）允许的输入信号幅度（系统的线性范围）过程的非线性与时变性（有助于模型类的选择）噪声水平（以便用多大的输入，使得观测量有多大的信噪比）变量之间的延迟（滞后环节参数）,2）输入信号的选择（阶跃、方波、脉冲、PRBS）。,17,第一章概述,3）采样速度的选择（要采集数据就有采样速度选择问题）。实际上先采用较短的采样间隔，在数据分析时，可根据需要隔几个取一个数据。,4）试验长度的确定（试验时间问题）。辨识精度与试验时间的长短有关。,2、模型结构确定,根据辨识的目的及对被辨识系统的先验知识，确定系统所属的模型类,模型结构的选择主要取决于应用的目的及精度要求。通常模型精度与复杂性要折衷考虑。,18,第一章概述,常用的模型类：参数的或非参数的线性的或非线性的连续的或离散的确定的或随机的I/O的或状态的时变的或定常(时不变)的集中参数的或分布参数的频率域的或时间域的等等。,19,第一章概述,根据系统的空间、时间的离散化情况，模型可分为三类：,1）集中参数的连续时间模型：空间变量是离散的，时间变量连续。如常微分方程，代数方程。,2）集中参数的离散时间模型：时、空变量均离散。如差分方程，代数方程。,3）分布参数模型：时、空变量均连续，如偏微分方程。它可以在空间上离散化，简化成分块集中参数，所以对它的辨识不介绍。,a,20,第一章概述,3、参数估计,模型结构确定后，其中未知部分就要通过观测数据进行估计。通常未知部分是以未知参数出现，故辨识工作就成了参数估计。,4、模型验证,一个模型辨出来后，是否可靠必须进行多次验证。,参数估计的要求就是要辨识出来的模型与实际过程在某种意义下最“接近”。所以必须有个准则衡量。,通常一个模型用一套数据进行辨识，然后用另一套数据来验证和修改。,21,第二章过渡响应法和频率响应法,21过渡响应法（时域法）,22频率响应法（频域法）,23多输入多输出线性系统传函（矩阵）的辨识,22,模型可以有不同的形式，不同的模型适于不同的系统。,古典辨识方法：采用时域法和频率法来辨识线性系统的传递函数。,原则上只适用于SISO线性系统。,SISO系统通常采用传递函数。MIMO系统通常采用状态空间表达式。,由实验来建立数学模型传递函数，可以为更复杂的系统辨识做预备性实验，它是现代系统辨识的基础，属于连续系统的数学模型的辨识领域。,第二章过渡响应法和频率响应法,23,第二章过渡响应法和频率响应法,试验信号的选用：,对系统模型的研究方法不同，输入试验信号也相应分成非周期的和周期的两种。,用时域法建模：输入信号为非周期的。主要采用阶跃和方波（近似脉冲）函数。,用频域法建模：输入信号用周期的。主要用正弦波，二进制周期函数。它们又分为单频和多频（组合正弦波及周期方波）,24,21过渡响应法（时域法）,采用非周期试验信号，通过系统的动态响应研究系统的模型。,一、非参数模型的辨识,在时域中建立线性系统非参数模型时，用很简便的方法就可得到脉冲响应曲线，阶跃响应曲线、方波响应曲线或它们的离散采样数据表。,对于线性系统，脉冲响应，阶跃响应和方波响应之间是可以相互转换的。,脉冲响应：可以采用幅值相当大，宽度很窄的方波来近似函数。,第二章过渡响应法和频率响应法,25,第二章过渡响应法和频率响应法,二、由阶跃响应曲线辨识传函,1、试探法,工业中常用的模型类：（即便是高阶系统也用低阶模型去逼近）,由非参数模型转变成参数模型，包括确定传函的结构及参数。,先观察试验所得响应曲线的形状特征，据此判断，从模型类中确定一种结构。然后进行参数估计，最后验证数据拟合程度，反复多次，直至误差e(t)最小（验证数据拟合可只取若干点）。,26,第二章过渡响应法和频率响应法,1）若阶跃响应曲线特征为：,曲线逐渐上升到稳态值：,可采用结构：,待估参数为：K，T,稳态增益：,将试验曲线标么化，即,27,第二章过渡响应法和频率响应法,要确定T，只要一对观测数据：y*(t1)，t1,则标么化后响应：,可得：,由,若取y*(t1)=0.63，则T=t1,验证数据拟合如何，可在t=T/2和t=2T二点进行：,若拟合不好，则应另选模型结构类。,1,28,第二章过渡响应法和频率响应法,待估参数为：K，T，,稳态增益：,将试验曲线标么化，即,2）实验曲线是一条S形非周期曲线,）可选用模型类：,则,为了确定T和，必须将两个坐标值（观测值）代入，,则,29,第二章过渡响应法和频率响应法,两边同取对数得：,根据两对观测值y*(t1)和y*(t2)，可求出T和。,30,第二章过渡响应法和频率响应法,若选y*(t1)=0.39，y*(t2)=0.63，则,模型验证：,由,则,31,第二章过渡响应法和频率响应法,待估参数为：K，T，,究竟选一阶惯性带延时的模型结构，还是选二阶模型，事先无法确定，完全看两种模型与试验曲线拟合程度，哪个精度高，选哪个。,由于大多数工业过程的试验曲线是过阻尼的，即1，只讨论此种情况，而1)，代入上式得：,两边同取对数得：,第二章过渡响应法和频率响应法,可见，当t时，是一条直线。,斜率：k=1，截距：,则可得：,2,T，,当t时,35,第二章过渡响应法和频率响应法,若用常用对数，则当t时：,则：,缺点：计算G(s)时采用的点都是t较大时的点，而当t较大时，往往1y*(t)的值较小，这就会产生较大的误差。,b,36,第二章过渡响应法和频率响应法,2、Laplace变换的极限定理法（终值定理法）,利用Laplace变换的极限定理，由非参数模型的单位阶跃响应，求参数模型传递函数。它克服了试探法需选择模型类的不足，但它仅适用于下述一种模型类。,设线性SISO定常系统的传函结构为：,特点：系统只有极点、无零点。,37,第二章过渡响应法和频率响应法,当输入u(t)=1(t)时，输出y(t)为：,终值定理为：,对于阶跃响应:,代入上式得：,K0,38,第二章过渡响应法和频率响应法,在已存在的系统G(s)的基础上构造一个新系统G1(s)，当输入u(t)=1(t)时，其单位阶跃响应为：,（y1(t)与y(t)的关系）,求G1(s)的稳态增益K1:,K1,当输入u(t)=1(t)时，输出y(t)为：,39,第二章过渡响应法和频率响应法,G1(s),求拉氏变换：,求得G1(s)与G(s)的关系:,当输入u(t)=1(t)时，输出y(t)为：,40,第二章过渡响应法和频率响应法,再利用终值定理可求得G1(s)的稳态增益K1：,a1,当输入u(t)=1(t)时，输出y(t)为：,41,第二章过渡响应法和频率响应法,K2,同理，在系统G1(s)基础上构造一个新系统G2(s)。,G2(s)的单位阶跃响应为：,求拉氏变换：,当输入u(t)=1(t)时，输出y(t)为：,42,第二章过渡响应法和频率响应法,再利用终值定理可得：,a2,G2(s),求得G2(s)与G1(s)的关系:,当输入u(t)=1(t)时，输出y(t)为：,43,第二章过渡响应法和频率响应法,当输入u(t)=1(t)时，输出y(t)为：,Kr,同理，在系统Gr-1(s)基础上构造一个新系统Gr(s)。,Gr(s)的单位阶跃响应为：,再用终值定理，由数学归纳法可得：,ar,44,第二章过渡响应法和频率响应法,特点：）每求一次Ki，要计算一次面积，所以计算量大，而且误差随着积分次数增大而增大。故仅适用于低阶模型的辨识。,）使用过程受到一定的限制，仅适用于特定的模型结构（即传函G(s)只有极点，而没有零点的情况）。,由上述（n+1）个方程可求出（n+1）个待估参数：K，a1，an,45,第二章过渡响应法和频率响应法,K1的物理意义：,由可知，,K1为阴影部分的面积。（几何意义）,将G(s)改写成极点形式：,显然：,（物理意义）,1,46,第二章过渡响应法和频率响应法,三、由脉冲响应曲线辨识传函,1、矩法,脉冲响应g(t)可由单位阶跃响应微分后求得，也可用窄方波响应来近似。（方波宽度12时，大约半数序列要用二级反馈产生，其他的则要用4级反馈来产生M序列。,2、M序列的性质,1）是一个确定的周期性序列，它的周期长度NP=2n1,2）一个周期内。“0”状态比“1”状态少1个。（避免出现全“0”状态）,“1”状态：,“0”状态：,92,第三章相关分析法,3）若将序列中相邻状态不变的那一部分长度称“游程”（或“段”），则在一个周期内的游程总数为m。,不允许n个全零状态，只有一个n个码为全“1”,游程总数,如：n=4111101011001000,m=8,93,第三章相关分析法,4）移位相加性：若将一个M序列与将其延迟了r个码以后的序列，按模2加法原则相加，所得的新序列还是M序列，不过延迟了q个码，r、q均为整数，且1r，qNp1。,，1r，qNp1,例：,5）M序列具有近似离散的白噪声性质。,下面将详细讨论M序列的自相关函数和功率密度谱。,b,94,第三章相关分析法,3、M序列的相关函数和功率密度谱：,1）相关函数：,定义:“1”状态的逻辑电平为“a”，“0”状态的逻辑电平为“+a”（为负逻辑关系，反之结论一样）。,由Ruu()定义可知：,95,第三章相关分析法,(1)离散情况(=/):,其中：=/,设是的整数倍，此时Ruu()取值于=0，1，2，Np1,Ruu()写成离散形式为：,显然模2乘法的结果与模2加法的结果在逻辑上是完全一样的，都为异或关系。,即：,同号码+a2（0）u(k)与u(k+)码的电平符号相同。异号码a2（1）u(k)与u(k+)码的电平符号相异。,（同号码个数）（异号码个数）,96,=1，2，Np1,第三章相关分析法,当=1，2，Np1时：,u(k)u(k+)在逻辑状态上相当于原序列u(k)与另一延迟序列u(k+)按摸2加法原则相加。根据M序列的移位相加性质可知，所得的结果在逻辑状态上仍是一个M序列。,当新的序列为“0”状态时，说明u(k)与u(k+)是同号当新的序列为“1”状态时，说明u(k)与u(k+)是异号,97,第三章相关分析法,当=0时：(同一个M序列自乘),98,第三章相关分析法,（2）连续情况（不是的整数倍）：,（为平均面积值）,为一个周期内曲线u(t)u(t+)所围成的面积。,即：一个周期内曲线u(t)u(t+)所围成的：正面积负面积,99,第三章相关分析法,当=0时：(0),M序列每出现一次状态转换，积分将出现一个负面积(a2),负面积,正面积,100,第三章相关分析法,负面积,正面积,101,第三章相关分析法,它是的线性函数，因此可确定其两点：,当=0时，Ruu()=a2;当=时，Ruu()=,Ruu()=Ruu(-)为偶函数，在内，Ruu()为一个波。,102,第三章相关分析法,当(Np-1)时，g(t)0,维纳霍甫方程的离散形式为：,其中：,33用M序列辨识线性系统的脉冲响应函数,124,第三章相关分析法,在离散情况下M序列的Ruu()为：,它是由Ruu2()产生的,令,125,第三章相关分析法,脉冲响应函数g(k)有界，C为有界常数，且C0,1、作图法,将Ruy()上移C就可以得到：,-C一般可以通过对Ruy()的稳态值的目测得到。,从而得到：,126,第三章相关分析法,2、解析法,通过精确计算公式得到：,方程两边同求和，可得：,127,第三章相关分析法,二、估计量的统计特征,1、是无偏的，即,方程两边同取均值，可得：,128,第三章相关分析法,此时，又回到理论的维纳霍甫方程，所以：,此时g()已经是一个确定的量了！,129,第三章相关分析法,2、是一致估计量，即,方程两边同取二阶原点矩，可得：,130,第三章相关分析法,同证明无偏性一样，可得：,可得的方差为:,自然说明了估计量的有效性。,是一致估计量。,131,第三章相关分析法,三、提高估计精度的方法,的估计精度取决于Ruy()的精度。,1、提高采样速率,提高Ruy()的精度：,取采样周期To=/(=14),用更多的y(t)数据计算Ruy()。,2、采用多个周期的M序列,输入r+1个周期的M序列，测得r个周期的y(t)计算Ruy()。,通常取r=14,4,132,第三章相关分析法,四、计算的方法（采用多个周期）,1、一次完成法（离线计算法）,定义：,上式写出向量矩阵形式：,133,第三章相关分析法,134,第三章相关分析法,2）需要输入r+1个周期的u(k)：u(-Np+1)u(rNp-1)。,特点：1）一次离线求出（=0,1，Np-1)。,3）精度要求较高时，Ruy()的计算精度要高，r的数目要大，所以数据存储量大。,4）不是递推公式，无法在线辨识。,135,第三章相关分析法,2、递推算法,设已获得M对I/O数据，且M（=0,1，Np-1，MNp-1），即必须先观测至少一个周期。,Ruy()的递推公式，即全部的M对I/O数据的Ruy(,M)可以用过去的(M-1)对I/O数据算得的Ruy(,M-1)和第M次观测的最新数据y(M)和u(M)递推地计算出。,136,第三章相关分析法,可得向量矩阵形式：,令,137,第三章相关分析法,可以通过过去的和最新的数据y(M)和u(M)在线求得，随着I/O数据的增加，的精度不断地提高。,递推公式,138,第三章相关分析法,用逆重复M序列辨识线性系统的脉冲响应函数，比采用M序列所得的算式更简单。,对于周期为2Tp的逆重复M序列，仍要求Tp满足(Tp-)Ts。可得维纳霍甫方程为：,34用逆重复M序列辨识线性系统的脉冲响应函数,139,第三章相关分析法,(Np-1)时，g(t)0,一般取：既保证系统的线性，又不超出设备允许公差的最大幅值a。,146,第三章相关分析法,五、计算Ruy(),在生产现场做试验，一般是在系统的正常工作状态uo上再附加一个PRBS输入u(t)。,当tTs后，系统的非零初始条件将消失，y(t)中的零输入响应消失了，只剩下由u(t)激起的强制响应，此时y(t)已经是一个平稳随机过程了。,所以，必须对系统先加一个周期u(t)的预激励，从第二周期开始再量测I/O数据，用以计算Ruy()。,b,系统的实际输入：u*(t)=uo+u(t)系统的实际输出：y*(t)=yo+y(t),所以，计算Ruy()时必须从实际输出y*(t)中将稳态数据yo除去。,147,设MIMO系统:输入:u1(t),u2(t),uJ(t)输出:y1(t),y2(t),yI(t),G(),第三章相关分析法,为了辨识多变量系统G()，需要辨识IJ个子系统：gij()(i=1,2,I;j=1,2,J),36多变量系统的辨识,148,式中T1是所有子系统gij()中最大的系统调节时间，即：,第三章相关分析法,第i个输出：,显然，yi(t)与J个子系统的脉冲响应有关。,设uj(t)(j=1,2,J)均为周期性试验信号，且周期TT1,与SISO系统相似，可得MIMO系统的维纳霍甫方程：,多变量系统卷积公式为向量矩阵形式:,IJIJJJ,149,第三章相关分析法,式中:,150,第三章相关分析法,第j个输入、第i个输出的维纳霍甫方程：,若uj(t)（j=1,2,J）为互不相关，即：,且uj(t)又最好都是M序列或逆重复M序列,则可以用类似前面SISO系统的相关法求得：,由于存在第二项互相关函数，使得求产生困难。,=0,151,第三章相关分析法,取uj(t)=M序列，um(t)=Um=Const(mj),1、逐个试验法,缺点：1）若输入多，J较大时，则试验时间较长。2）各个输入之间的交叉作用不能充分反映出来，误差较大。,根据uj(t)和y1(t),y2(t),yI(t)可求得G()的第j列：,继续改变uj(t),让j=1,2,J，可求得G()的全部IJ个元素：,152,第三章相关分析法,2、联合试验法,为了消除式中的第二项互相关函数，最好的办法是使得:uj(t)(j=1,2,J)为互不相关，即在一个T周期内：,2）当J2时：利用M序列的移位相加性质，可以从一个M序列得到J个M序列，它们的相位依次后移了NpJ个码。,1）当J=2时：在2Tp内：M序列与逆重复M序列是不相关的。所以，两个输入可以分别采用M序列和逆重复M序列。,同时可求得G()的全部IJ个元素：,153,第三章相关分析法,对于M序列：,154,第三章相关分析法,取,在小于一个TJ内：uj(t)与uj+1(t)以及其它的um(t)都不相关。,155,第三章相关分析法,上述两种方法仅适合J4时的系统，否则试验时间会太长，可能破坏y(t)为平稳过程的假设。,只需要一个Tp就可求得G()的全部IJ个元素：,逐个试验法：每个uj(t)都要试验两个Tp（预激励+试验）,联合试验法：求Ruu和Ruy时要试验两个Tp，而且：,5,156,第四章线性系统参数估计的最小二乘法,41随机型典范差分方程,42最小二乘估计方法,43加权最小二乘法,44最小二乘参数估计的统计特征,45广义最小二乘法,46辅助变量法,47增广矩阵法（增广最小二乘法）,48相关分析最小二乘两步法,49阶的辨识,41随机型典范差分方程,第四章线性系统参数估计的最小二乘法,令：,引入延迟算子z-1：,157,158,CARMA模型（可控自回归滑动平均模型）,1、CARMA：,第四章线性系统参数估计的最小二乘法,（ControlledAuto-RegressionMovingAverage）,对于SISO系统：,2、CAR（可控自回归）：,3、ARMA（自回归滑动平均）：,159,第四章线性系统参数估计的最小二乘法,6、静态自回归：n=0（回归分析）,5、MA（滑动平均）：,4、AR（自回归）：,160,42最小二乘估计方法,第四章线性系统参数估计的最小二乘法,一、最小二乘法（LS）,SISO的随机差分方程描述（CAR模型可控自回归）：,其中u(k)和y(k)为实际测量的I/O序列，e(k)为过程噪声（观测噪声）。,假设e(k)为独立同分布的随机变量序列，具有零均值和方差2。,上述方程可写成：,待估未知参数2n个：,161,第四章线性系统参数估计的最小二乘法,为了估计2n个参数，必须观测N+n次，N2n，从而得到N个方程组。,定义：,每一个观测方程：,162,第四章线性系统参数估计的最小二乘法,每一个观测方程：,可得观测方程组的向量矩阵方程：,最小二乘的标准格式,特点：输出关于参数是线性的。,最小二乘估计准则：,在最小二乘模型类（CAR模型）中，找出这样一个模型，在这个模型中，系统参数向量的估计量，使得性能指标函数（标量函数）：,因为J是的二次函数，所以J存在极值。,163,第四章线性系统参数估计的最小二乘法,极小化估计准则J的必要条件：,正规方程式,从而得：,解的表达式,a,估计量的解：,164,第四章线性系统参数估计的最小二乘法,极小化估计准则J的充分条件：,为正定的。,若T是正则的(非奇异)，则,165,第四章线性系统参数估计的最小二乘法,因为T与无关（为常矩阵），所以J只有一个局部极小值存在，当然也是全局极小值。故最小二乘估计量是唯一的。,LS的估计准则实际上是:使得残差平方和为观测误差平方和的极小值。,由于在中，是在取好足够数据后一次计算出来的，所以称之为一次完成估计式。,166,第四章线性系统参数估计的最小二乘法,二、递推最小二乘法,递推算法可以减少内存存贮量和计算量，同时还可以实现在线辨识。,在一次完成法中：I/O数据越多,设观测N+n对I/O数据后，获得参数最小二乘估计为,其中：,167,第四章线性系统参数估计的最小二乘法,当增加一对新的观测数据u(n+N+1)和y(n+N+1)后，,第四章线性系统参数估计的最小二乘法,根据矩阵求逆引理：,168,169,第四章线性系统参数估计的最小二乘法,170,第四章线性系统参数估计的最小二乘法,171,第四章线性系统参数估计的最小二乘法,可得估计值的递推公式：,b,172,第四章线性系统参数估计的最小二乘法,是用前N步的数据和估计值来预报第N+1步的y(n+N+1)。,表示在n+N+1时刻输出实测值与预报值之差，即用第N步结果预测第N+1步的残差。它是在n+N+1时刻的观测y(n+N+1)带来的新息，是修正参数估计值的信息来源。,173,第四章线性系统参数估计的最小二乘法,所以第N+1步的估计是在第N步估计的基础上，利用新的观测y(n+N+1)带来的新息对其加以修正后得来的,修正项与成正比。,K(N)表示增益因子，它是一个时变增益矩阵。,2、是个标量，它的求逆只是一个简单的除法，从而避免了矩阵求逆运算，计算效率大大提高。,174,第四章线性系统参数估计的最小二乘法,3、P(N)和的初值设定：,利用一次完成法计算初值:,为了使得T是正定矩阵，观测次数N0+n中必须取N02n。,人为地设定初值:,极小化的充分条件为:,2为数值很大的标量，一般取计算机的最大字长。,可以证明，按上述设定初值后，从第n+1组数据开始进行递推，经过N次递推计算后所得到的递推估计。在数值上基本与所有N+n组数据的一次完成估计相同。,人为设置法选定初值比利用一次完成法设置初值的优点是避免了在求初值时求的矩阵求逆运算。,175,第四章线性系统参数估计的最小二乘法,依次可递推得：,176,第四章线性系统参数估计的最小二乘法,177,依次递推可得第N次递推结果：,第四章线性系统参数估计的最小二乘法,178,递推最小二乘运算框图：,第四章线性系统参数估计的最小二乘法,其中表示：中的第i个分量。（i=1,2,2n),4、估计过程中，显然“历史”数据没有保存下来，但是“历史”数据的影响却一直在起作用。故称之为“无限增长记忆”的最小二乘递推算法。,6,第四章线性系统参数估计的最小二乘法,三、数据饱和现象及实时估计,1、数据饱和现象：,P(N)0,故P(N)是递减的，当N时，可能会出现P(N)0。,意味着新的观测值对参数估计量的修正已不再起作用了，这种现象称为“数据饱和”现象。,179,为实对称矩阵,，且P(N)可逆,180,第四章线性系统参数估计的最小二乘法,当出现“数据饱和”时，由于计算机的字长有限，所以存在舍入误差，因此，新的观测数据不但对参数估计不起改进作用，反而会使得P(N)失去正定性，甚至失去对称性，造成参数的估计量与真实值之间的偏差越来越大。,2、实时估计算法：,无限增长记忆最小二乘递推算法的缺陷：对所有观测数据的加权相同，可能出现“数据饱和”现象。此时，递推算法就有可能不能反映出系统参数的时变性。,参数随时间变化的信息含于新数据中，如果不采用降低旧数据影响的递推算法，新数据就会被旧数据淹没掉，因此，需要一种能跟踪参数变化的递推算法，称为实时估计算法。,可以用降低旧数据影响的办法克服数据饱和现象。,181,第四章线性系统参数估计的最小二乘法,1）渐消记忆法（带遗忘因子的LS递推法）,思路：对每次观测的数据按指数加权，旧数据所加的权按指数衰减，从而人为地强调当前的新数据，降低旧数据的影响。,182,第四章线性系统参数估计的最小二乘法,根据矩阵求逆引理：,K(N),183,第四章线性系统参数估计的最小二乘法,184,第四章线性系统参数估计的最小二乘法,可得带遗忘因子的最小二乘递推公式：,当=1时，相当于对所有数据加相同的权，所以带遗忘因子的最小二乘递推公式就退化成无限增长记忆的最小二乘递推公式。,185,第四章线性系统参数估计的最小二乘法,引入遗忘因子对数据加权后，相当于对最小二乘估计准则中的e(k)加权。,相当于在最小二乘估计准则中对以前的准则加以遗忘。,每递推一步，P(N+1)中都乘上一个(1/)1的因子，使得P(N+1)随N增大而减小的速度降慢，从而减少了数据饱和现象。,a,186,第四章线性系统参数估计的最小二乘法,187,第四章线性系统参数估计的最小二乘法,方程两边同左乘：,188,第四章线性系统参数估计的最小二乘法,将(1)-(2)得：,189,第四章线性系统参数估计的最小二乘法,190,第四章线性系统参数估计的最小二乘法,*(N+1)保持它的行数为N不变，当递推次数kN时，如果令：,P-1(k+1)为N+1行,在Q-1(k)中加上新的一行。,Q-1(k+1)为N行，在P-1(k+1)中减去最前面的一行。,191,第四章线性系统参数估计的最小二乘法,递推公式中初值的选取：,192,第四章线性系统参数估计的最小二乘法,特点：可以用一次完成法或递推一般最小二乘法（无限增长记忆法）对前（n+N）组数据进行计算，在此基础上不再增加记忆长度，每次只保留（n+N）组数据（只保留N行数据），进行递推。,递推计算步骤：,在Q(k)的基础上，加上最新一行：T(N+K+1),在P(k+1)的基础上，减去最前一行T(N+K+1-N),由(N+1)行构成,由N行构成,最新一行：,最前一行：,b,193,43加权最小二乘法,第四章线性系统参数估计的最小二乘法,在一般最小二乘估计中，认为每次观测的误差对估计参数都具有相同的重要性，即对每个观测误差e(k)在指标函数J中所加的权相等。,实际上每次观测的误差是不同的。对观测误差的方差小（观测准确）的数据，应该加大重视程度；对观测误差的方差大（观测不准确）的数据应该减小重视程度。,所以采用加权最小二乘法，它允许对J中每个误差项加不同的权。令W表示希望的加权矩阵，W限定为正定对称矩阵。,指标函数：,用同样的方法，求JW关于的极小，可得加权LS估计的计算公式：,194,第四章线性系统参数估计的最小二乘法,加权最小二乘递推算法,195,第四章线性系统参数估计的最小二乘法,196,第四章线性系统参数估计的最小二乘法,设观测误差的方差阵:,则加权矩阵W一般取：,直观意义：表示对各次观测数据所加之权（即重视程度），应与该次观测误差的方差成反比，即对越精确的数据应加越大的权。,加权最小二乘递推算法:,197,44最小二乘参数估计的统计特征,第四章线性系统参数估计的最小二乘法,一、无偏差性,设观测噪声e(k)是零均值，且e与相互独立。则,E(e)=0,若X与Y相互独立，则E(XY)=E(X)E(Y),二、一致性,设e(k)是白噪声零均值，独立，同分布，Ree(k)=K(k),且方差为2，则是一致估计量，即:,（依概率为1收敛于真值）,198,第四章线性系统参数估计的最小二乘法,依概率为1收敛于一个正定阵，且2是有界的，,故是一致估计量。,199,第四章线性系统参数估计的最小二乘法,最小二乘估计量为一致估计量的前提：是建立在e(k)是不相关序列基础上的（即为e(k)是白噪声）。实际上系统观测误差e(k)往往是相关的。,三、最小二乘法的缺陷,实际系统：,既使(k)是不相关序列，e(k)也是相关序列，所以最小二乘估计不是一致估计。,而且，实际上，(k)=n(k)一般不是白噪声，是有色噪声。因此，最小二乘参数估计方法的应用受到一定限制（即必须要求(k)是不相关的）。,7,200,n(k)：为有色噪声（具有有理谱密度的平稳随机序列）,这样的有色噪声可以看成白噪声(k)通过一个线性稳定系统的滤波后产生而成的：,45广义最小二乘法,第四章线性系统参数估计的最小二乘法,一、方法原理,一般线性系统:,最小二乘模型,201,显然，过程噪声e(k)是一个相关噪声序列（有色噪声）。,有色噪声的白化(将有色噪声通过一个线性系统变成白噪声):,第四章线性系统参数估计的最小二乘法,工程上近似地取有限项：,显然，上式是一个典型的最小二乘结构，而且(k)是不相关序列（白噪声）。,一般为无穷多项,202,第四章线性系统参数估计的最小二乘法,为经过前置滤波以后的观测数据,可得最小二乘估计量为一致估计量：,特点：将过程噪声e(k)为有色噪声的差分模型，转换成观测误差为白噪声(k)的最小二乘标准形式：Yf=f+，从而能得到一致的最小二乘估计量。,问题：噪声模型：C(z-1)e(k)=(k)一般是未知的，所以问题转化成在估计A(z-1)，B(z-1)的参数的同时，还应估计C(z-1)的参数。,203,第四章线性系统参数估计的最小二乘法,显然，要估计，必须知道误差序列e(k)，而，所以要知道e(k)，就必须知道。这就构成循环。,此时，(k)为白噪声。,204,第四章线性系统参数估计的最小二乘法,二、迭代算法（离线算法）,循环迭代步骤（松弛算法）：,（6）判别收敛性，否则转（2）。,迭代收敛判断准则：,一般来讲，经过有限次迭代后，计算就会收敛。但严格的收敛性并没得到证明。,它意味着数据不再滤波，这时得到的估计量与上一次循环相同。,a,205,第四章线性系统参数估计的最小二乘法,三、递推算法（在线算法）,1、辨识系统模型参数：,前置滤波：,构造：,206,第四章线性系统参数估计的最小二乘法,于是，根据矩阵求逆引理可得递推最小二乘公式：,2、辨识噪声模型参数：,和新的数据y(n+N+1)计算新的残差数据：,207,第四章线性系统参数估计的最小二乘法,构造：,于是可得递推最小二乘公式：,处理线性时变系统时，同样也可以采用渐进记忆法和限定记忆法。,208,而：,46辅助变量法,第四章线性系统参数估计的最小二乘法,一、方法原理,最小二乘估计：,（样本的时间均值）,（样本的时间均值）,209,第四章线性系统参数估计的最小二乘法,当u(k)和e(k)为各态历经性平稳随机过程时：,（集均值）,（集均值）,y(k)只与e(k),e(k-1),的值有关。,(k)中的各元素只与e(k-1),e(k-2),的值有关。,当e(k)为白噪声时，(k)与e(k)不相关。即Re=0,210,第四章线性系统参数估计的最小二乘法,当e(k)为白噪声时，(k)与e(k)不相关。即Re=0,故，最小二乘是一致估计，即：,若e(k)是相关序列，一般说来Re0，也不收敛于。,从而有：,引进辅助矩阵W(N)，采用估计量：,b,211,第四章线性系统参数估计的最小二乘法,设所引进的辅助矩阵W(N)，它具有性质：,(保证存在唯一解的条件),(保证是一致估计),如何构造具有上述两性质的辅助矩阵W(N)呢？,212,第四章线性系统参数估计的最小二乘法,二、W(N)的构造方法：,假定u(k)能精确测量，且u(k)与e(k)不相关，即：,可构造W(N)：,213,第四章线性系统参数估计的最小二乘法,性质（1）：当u(k)是白噪声信号时，,性质（2）：当u(k)是白噪声信号时，,当u(k)为持续激励信号（各态历经平稳过程，Ruu是正定）时，一般情况下，并不能保证,当u(k)是白噪声时，是一致估计。对于持续激励信号，不一定是一致的，此方法可能不收敛。,214,第四章线性系统参数估计的最小二乘法,三、迭代步骤：（离线算法）,（4）精度判别，否则，转（2）,四、递推算法：（在线算法）,（一般最小二乘法）,215,第四章线性系统参数估计的最小二乘法,可得递推算法：,递推的初始值：,辅助变量法，对初值P0的选择非常敏感。一般先采用递推最小二乘法算出前50100个采样点，然后再采用辅助变量法。,8,216,47增广矩阵法（增广最小二乘法）,第四章线性系统参数估计的最小二乘法,一、方法原理（只有递推算法）,e(k)是有色噪声，具有有理谱密度的平稳过程，可以白化。,(k)为白噪声序列。,此处的C(z-1)与广义最小二乘的C(z-1)不相同，而且正好是逆的关系。相当于H(z-1)。,待估参数(3n个)向量：,217,第四章线性系统参数估计的最小二乘法,二、递推算法：（令k=n+N+1）,218,第四章线性系统参数估计的最小二乘法,三、特点：,1）将模型和噪声模型的参数一起估计出，所以待估计参数的维数增大了，P(N)的阶次（3n3n）被扩大了，故称为增广最小二乘法。在大多数情况下，它具有较好的收敛性。,2）只有递推算法。,219,48相