系统辨识与参数估计ppt课件

Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计,3.1Introduction概述3.1.1WhatistheModelofDynamicSystem?什么是模型？Theorymodelandexperimentmodel理论模型与实验模型ModelingfromTheoryandAnalysis:educesystemmodelaccordingtophysical,chemicalorothernaturalrules.理论（分析）建模：根据已知的物理、化学规律推导Inpractice,TheoryModelingisnoteasy.现实中理论建模存在困难ExperimentModeling:Fitthemodeltoexperimentaldataaccordingtoanoptimizedcriterion.实验建模：按一定准则的数据拟和Experimentmodel:holisticapproach,complementedbytheorymodel实验建模的特点：整体性、可用机理模型弥补（互补）,1,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计2,3.1.2SystemIdentificationandParameterEstimation系统辨识与参数估计SystemIdentification:istheexperimentalapproachtoprocessmodeling,andthemodelingmethodforidentificationofdynamicalsystemsfrominput/outputdata,whichconfirmamodelinasetofmodelsthatpresentsthedynamiccharacteristicsofthesystemunderanoptimizedcriterion.系统辨识：根据系统的输入、输出数据，从一类模型中确定出一个在某中意义下最能代表该系统的数学模型。Threeessentials:aninput/outputdada,asetofmodels,andanoptimizedcriterion三个要素：输入/输出数据、模型集、最优准则ParameterEstimation:asimplifiedsystemidentificationproblemwhenthemodelstructureisknown,onlyitsparametersisunknown.参数估计：结构已知。参数未知时，系统辨识问题的简化,2,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计3,3.1.3DevelopmentofSystemIdentification系统辨识的发展ModernControlTheoryisbasedonknownamathematicmodelofdynamicprocess.现代控制理论建立在数学模型已知的前提下TheobstacleusingModernControlTheoryinpractice:Itisnoteasytoobtainamathematicmodelofdynamicprocess,thusthetheorydeviatesfromthepractice.实际应用中的障碍：数学模型并不容易获得，造成理论与实际脱节SystemIdentificationandParameterEstimationjustfillupthisgapbetweenthetheoryandthepractice.系统辨识/参数估计正是为了弥合这一差距,3,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计4,3.1.4Systemidentificationincludesthefollowingsteps系统辨识的步骤Experimentdesign:Itspurposeistoobtaingoodexperimentaldata,itincludesthechoiceofthemeasuredvariablesandofthecharacteroftheinputsignals.实验设计：如何获取尽可能多的信息，包括检测信号和输入信号的选取。Selectionofmodelstructure:Asuitablemodelstructureischosenusingpriorknowledgeandtrialanderror.模型结构：根据先验知识和试凑确定模型的结构。Choiceofthecriteriontofit:Asuitablecostfunctionischosen,whichreflectshowwellthemodelfitstheexperimentaldata.最优准则：选择能反应模型对实验数据拟合程度的目标函数。Parameterestimation:Anoptimizationproblemissolvedtoobtainthenumericalvaluesofthemodelparameters.参数估计：得到模型参数数值解的优化问题。Modelvalidation:Themodelistestedinordertorevealanyinadequacies.校验与确认：测试模型以发现存在的问题。,4,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计5,3.1.5Systemidentificationmethods系统辨识的方法Method:Therearemanysystemidentificationmethods,buttheleastsquaresestimationisusedmostfrequently.方法：有多种方法，其中最小二乘法最常用。Off-lineidentification:completeestimationonetimebasedonthedatasetinalongperiod.离线辨识：将一定时间内积累的采样数据集中进行一次辨识计算.On-lineidentification:completerecursiveestimationonetimebasedonnewdataineverysamplinginterval.Itisabletodecreasecalculatingtimespendingandmemoryoccupancy,andeasytofindoutsystemactuality.在线辨识：每个采样周期都根据新的采样数据进行一次递推辨识计算，节省计算时间和内存空间，便于及时掌握系统现状。,5,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计6,3.2LinearDifferenceEquationModel线性差分方程模型3.2.1DifferenceequationmodeloflinearconstantSISOsystem线性定常单输入单输出系统的差分方程模型(3.1)Here其中(3.2)(3.3)3.2.2Themodelofnoise噪声模型Randomvariable随机变量xMathematicdescription:probabilitydensityfunction数学描述：概率密度函数,6,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计7,Mathematicalexpectationofrandomvariable数学期望（均值）E(x)Varianceofrandomvariable方差（二阶中心距）D(x)(3.4)（2）Steadyrandomsequence:Statisticalcharacterisindependentoftime平稳随机序列：各个时刻随机变量的统计特征相同，即统计特征与时间无关（3）Whitenoise:isanindependentsteadyrandomsequence.Randomvariableisindependentoftime,andcanbedescribedbyE(x)andD(x).白噪声：独立平稳随机序列。各个时刻随机变量独立，可由均值和方差两个特征描述。均值=0，方差=2（常数）因为其功率谱密度在整个频率范围内为常数，类似白光的光谱，故称为白噪声。,7,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计8,（4）Non-whitenoise:isformedwhenwhitenoisegoesthroughalinearfilter.非白噪声：白噪声经过一线性滤波器后形成非白噪声Movingaveragemodel滑动平均（MA）模型(3.5)(3.6)isawhitenoisesequence为白噪声序列Autoregressivemodel自回归（AR）模型(3.7)Autoregressivemovingaveragemodel自回归滑动平均（ARMA）模型(3.8),8,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计9,3.2.3MathematicalModeloftheprocesswithrandomdisturbance受随机干扰的过程数学模型（CARMA）(3.9)Inotherform可改写为：(3.10)Here,A,B,Cisdifferentfrom(3.9)此时，A,B,C均不同于(3.9)CARMAmodelisbasedonfollowinghypothesis:thedisturbanceisaanindependentsteadyrandomsequencewithzeromeansandrationalspectraldensity.CARMA模型是基于下述假设：干扰为具有有理谱密度的零均值平稳序列,9,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计10,Fig3.1CARMAmodel图3.1CARMA模型Atanytime,themodeloutputy(k)islinearwithunknownparameterai,bi,ci,diandthemodelerroristhewhitenoiseatthistime,whenpreviousinput,outputandnoiseandinputatthistimeareknown.在任意时刻，只要已知该时刻及其之前的输入；在任意时刻，只要已知该时刻之前的输出、噪声；则模型输出y(k)与未知参数ai、bi、ci、di成线性关系，且误差为该时刻的白噪声。,10,3.3LeastSquaresEstimationofLinearDifferenceEquationModel线性差分方程模型的最小二乘法3.3.1TheprincipleofLeastSquaresEstimation(LSE)最小二乘法原理Afterthesquaredifferenceofmodeloutputandobservationvalueismultipliedbyprecisionmeasurement,theresultshouldbeleast.一个数学模型的未知参数应按下述原则进行选择：各实测值与模型计算值之差的平方乘以度量其精度的数值后，所得的和值应最小。Example:(3.12)y(t)：observationvalue观测值；：thevectorofunknownparameters未知参数向量；：observableorknownfunctiondependedonothervariables由其它变量决定的已知函数或可观测的.,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计11,11,Thecoupleobservationvaluecanbegetbyexperiments.成对的观测值可以由试验得到。Example3.1Model模型observationvalue实测数据ThenLSEistosolvetheestimationvalueofunknownparameteraandbwiththeleasterrorfunction最小二乘法估计就是以最小为目标函数由方程组求未知参数a、b的估计值。,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计12,12,Whenweestimateparameters,(3.12)isrewriteasfollows:参数估计时，（3.12）可以改写为Weassumeremnanterror引入残差And且Leastsquareerrorcanbedefinedasfollows:最小二乘误差可表示为：（3.13）Here，式中,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计13,13,Whenisinexistence,wehaveandisanexactsolutionoftheparametervector.当存在时，此时参数向量的解是精确的。Theorem3.1：(Leastsquaresestimation)定理3.1：（最小二乘估计）Theparameterissatisfiedwith,whichletLeastsquareerror（3.13）isminimum.Ifthematrixisanonsingularmatrix,thisminimumisuniqueand使最小二乘误差（3.13）式最小的参数满足，如果矩阵非奇异，则此最小值是唯一的，由下式给出。证明：From(3.13)(3.15)Thematrixisnon-negativelydefinite,thenVmustbegettheminimum:由于矩阵非负定（等价于非奇异），所以V有一最小值：,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计14,14,At,let,then:当时，即（3.16）Whenisinexistence,wehave：只要存在，即有（3.17）Example3.2：LeastsquaresestimationofExample3.1例3.1的最小二乘估计Theobservationvaluecanbeformedadatavectorasfollows:原实测数据可以构成如下数据向量,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计15,15,Infact,leastsquaresestimationcanbeusedwhenexperimentdataisfittedbyamodel,whichisinalinearrecursiveform.实际上，只要是用一个模型来拟合实验数据，而该模型又可以写成线性回归形式，就可以用最小二乘法求解。,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计16,16,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计17,3.3.2LeastSquaresEstimation(LSE)ofARMAModelParameters最小二乘估计(3.18)Rewriteitindifferenceequation:写成差分方程(3.19)Thatis:即(3.20),17,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计18,Supposena=nb=n.WemeasureNtimes(setk=n+1,n+2,n+N)假定na=nb=n，进行N次测量（令k=n+1,n+2,n+N），则Rewriteitinmatrixequation:写成矩阵形式(3.21)Here:式中,18,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计19,Theleastsquaresestimationis:最小二乘估计为：3.3.3StatisticalCharacteristicsofLeastSquaresEstimation(LSE)最小二乘估计的统计特性UnbiasedEstimation:AnestimatoriscalledunbiasedEstimatorifitsmathematicalexpectationisequaloftherealvalueoftheestimatedvariable.无偏性：称某一估计是一个无偏的估计，它的数学期望应等于被估计量的真值。InLSE:,19,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计20,Thenitsmathematicalexpectation:两边取数学期望：Wheniswhitenoise,therightseconditemiszero.EfficientEstimation:ForaunbiasedEstimation,itiscalledEfficientEstimationifthevarianceofanyotherestimatorisbiggerthanits.有效性：对无偏估计而言，一个估计算法称为有效的算法，就是任一种其它算法所得到的估计的方差都要比有效算法所得到的估计的方差大（即方差最小）。InLSE:,20,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计21,Wheniswhitenoise:ConsistentEstimation:AnEstimationiscalledConsistentEstimation,iftheEstimationisconvergedatitsactualvaluewith100%probabilitywhensampleamountNisincreasedinfinitely.一致性：当样本N无限增大时，估计值以概率1收敛于真值，则这样的估计称为一致性估计。当N很大时，一致性估计总是无偏的，但逆定理不成立。InLSE:,21,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计22,Conclusion:Whentheequationerroriswhitenoise,LeastSquaresEstimationisaNon-biased,EfficientandConsistentEstimation结论：在方程误差为白噪声的条件下，用最小二乘法估计参数所得到的参数的最小二乘估计是无偏的、有效的和一致的。3.4RecursiveLeastSquaresEstimation(RLSE)递推最小二乘估计3.4.1WhyweneedRLSE为什么需要递推最小二乘估计BatchAlgorithm:calculateonceineverysamplingperiod成批处理算法：每增加一次测量，根据所得到的测量数据，观测矩阵及伪逆都要重新计算一遍。Morecalculatingspending随着观测数据增加，要求存储容量将不断增大，且由于存在矩阵求逆运算，计算时间也不断增加。,22,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计23,3.4.2PrincipleofRLSE递推最小二乘估计基本原理Assumeinput/outputdataattimekareknown,wecanestimateparameters:设k时刻已获得输出，输入数据，并由此获得参数的估计值测量：Attimek+1而对于k+1时刻，有Canbecalculatedfromattimekandconsistedofnewdata?于是提出，是否可以根据上一步的和由新增加数据,23,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计24,3.4.3RecursiveFormulaofRLSE递推公式Lemma3.1引理3.1AssumeA,B,CandDarematrixwithrespectiveproperdimension,wehave:设A、B、C、D是适当维数的矩阵(3.22)Prove:证明：Twosidesaremultipliedbyfromright,24,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计25,Attimek:在k时刻：(3.23)Inwhich,25,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计26,Attimek+1:在k+1时刻：(3.24)Inwhich,26,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计27,Attimek:在k时刻：,27,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计28,AccordingtoLemma3.1:根据引理3.1：(3.27),28,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计29,Take(3.27)intoaboveexpression:将(3.27)式代入上式得：Simplifytheexpressioninthebigbracketinaboveexpression上式大括号中的两项可以简化为：(3.28)（3.27）and(3.28)aretherecursiveformulaofRLSE.（3.27）与(3.28)就是最小二乘估计的递推公式。,29,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计30,Estimationattimek+1isequaltotheestimationattimekplusarevisedquantity.Therevisedquantityisconsistedofthreeparts:容易看出，k1时刻的参数估计值等于k时刻的参数估计值加上一个修正量。该修正量包括三个部分（乘积）：PartOne:ErrorofPrediction第一部分：预报误差是k1时刻新接收到输出值（实测值），与的乘积则表示用k时刻得到的参数预报出的k1时刻的输出（模型值）。如果预报与实测相等，说明k时刻所估计的参数就是参数的真值，不用再做修正，即表现为（3.28）式最后一项为0，即,30,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计31,PartTwo:GainFactor第二部分：增益因子（3.29）注意，它是一个标量，因此省掉了费时的矩阵求逆运算，计算效率大大提高。增益因子与预报误差的乘积确定出有多少输出误差需要经过修正参数来实现，至于哪一个参数调整多少需有第三部分，即加权系数来决定。PartThree:WeighingCoefficient第三部分：加权系数iscalledthecovariancematrixofestimation,whichisassociatedwithcovarianceof,andisameasureofestimatingaccuracy.的物理意义：与参数估计值的协方差存在着联系，是参数估计精确程度的一种度量，通常称为参数估计的协方差阵。,31,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计32,当k趋向于无穷时，趋向于0。Infact,thevalueofwillbeverysmallafterestimatinglessthanahundredperiodsifanestimationalgorithmhasgoodconvergence.事实上，如果算法有良好的收敛性，递推估计几十步之后，的值已很小了（注意：每一时刻都要更新）。是一个方阵（2n+1维，同参数个数），而则是2n+1维的列向量，与参数个数一致，表示给每个参数的调整加一定的权（每个参数每次调整的权不一定相同）。,32,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计33,综上所述，递推最小二乘估计公式的物理意义就是：Basedonpreviousparameterestimationandnewsampledata,continuousrecursivecalculatingcanbeimplementedbythepredictionerrortimesweighingfactorwithdifferentextenttoeveryparameter.Parameterestimationwillbeavailableifaconvergedalgorithmisused.根据最新得到的数据，在原有参数估计值的基础上，对预报误差乘上加权增益因子，不同程度的修正每个参数，这样不断的递推更新，只要算法是收敛的，就一定能得到合乎要求的估计参数。递推最小二乘估计的公式可整理为：,33,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计34,3.4.4RecursiveCalculationofRLSE递推计算过程Formthedatavector由k+1时刻的观测值以及前2n个时刻的观测值形成向量（数据向量，2n+1维，与参数个数一致）Calculatingfrom(3.30)由（3.30）式，用及计算Calculatingfrom(3.31)由（3.31）式计算Calculatingfrom(3.32)由（3.32）式计算协方差矩阵，为下一步递推计算作准备。Returntostep1andcontinueuntilparameterestimationisconverged.回到第一步，直到参数收敛,34,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计35,Howtochoicetheinitialvalueof,forrecursivecalculation.递推初值的选择FromtheinitialNcouplesdata取最初N组数据（），即N个数据向量和对应的，对参数进行成批处理的最小二乘估计。以此作为起始值，从N+1时刻进行递推计算。取为0或任意值，其中为充分大的实数，为单位阵。特点：方法一：初始值比较精确，开始递推就可获得较好的估计值，缺点是运算量大；方法二：简单，便于应用，但递推的最初几步参数估计的误差较大。,35,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计36,3.5Real-timeRecursiveEstimationofSlowTime-VaryingParameters慢时变参数的实时递推估计3.5.1Introductiontotheproblem问题的提出InLSE,everyobservationvaluecontributesequablytotheestimation.最小二乘估计的一个特点：参数估计算法对所有观测数据是同等看待的，或者说所有观测数据对参数估计提供的信息是同等重要的。Whentheparameteristime-varying,Thatisunreasonable.当被估计参数是未知常数时，这样处理是合理的；但当对象参数时变，或当作某一非线性系统的局部近似，随着时间变化或工作点变化，模型参数也发生变化。一句话参数在不断变化，这种新旧数据一视同仁的方法就不适合了。Laterthedataare,moretheyshouldcontributetotheestimation这是因为系统不断变化，那么越新的数据就越能反映当前系统的特性和信息。所以新旧数据对参数估计所提供的信息应是有区别的。,36,Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计37,Asaon-lineestimationalgorithm,RLSEisnotsatisfyinginfollowingparameterchange.递推最小二乘估计是一种在线算法，在线估计的一个重要的功能就是跟踪被估计参数的变化，而一般最小二乘递推估计算法正是缺少这种功能，实用性不足。Filteringsaturation滤波饱和问题，总是设置成正定阵，也总是非负定的。也是非负定的，且这意味着随着递推次数增加，越来越小。的减小，使修正项的调整值也越来越小。最后趋向于0，这时新得到的测量数据将不再对估计参数起任何修正作用。这种现象称为滤波饱和。当被估计参数时