系统辨识与参数估计精选ppt

Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计 3 1Introduction概述3 1 1WhatistheModelofDynamicSystem 什么是模型 Theorymodelandexperimentmodel理论模型与实验模型ModelingfromTheoryandAnalysis educesystemmodelaccordingtophysical chemicalorothernaturalrules 理论 分析 建模 根据已知的物理 化学规律推导Inpractice TheoryModelingisnoteasy 现实中理论建模存在困难ExperimentModeling Fitthemodeltoexperimentaldataaccordingtoanoptimizedcriterion 实验建模 按一定准则的数据拟和Experimentmodel holisticapproach complementedbytheorymodel实验建模的特点 整体性 可用机理模型弥补 互补 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计2 3 1 2SystemIdentificationandParameterEstimation系统辨识与参数估计SystemIdentification istheexperimentalapproachtoprocessmodeling andthemodelingmethodforidentificationofdynamicalsystemsfrominput outputdata whichconfirmamodelinasetofmodelsthatpresentsthedynamiccharacteristicsofthesystemunderanoptimizedcriterion 系统辨识 根据系统的输入 输出数据 从一类模型中确定出一个在某中意义下最能代表该系统的数学模型 Threeessentials aninput outputdada asetofmodels andanoptimizedcriterion三个要素 输入 输出数据 模型集 最优准则ParameterEstimation asimplifiedsystemidentificationproblemwhenthemodelstructureisknown onlyitsparametersisunknown 参数估计 结构已知 参数未知时 系统辨识问题的简化 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计3 3 1 3DevelopmentofSystemIdentification系统辨识的发展ModernControlTheoryisbasedonknownamathematicmodelofdynamicprocess 现代控制理论建立在数学模型已知的前提下TheobstacleusingModernControlTheoryinpractice Itisnoteasytoobtainamathematicmodelofdynamicprocess thusthetheorydeviatesfromthepractice 实际应用中的障碍 数学模型并不容易获得 造成理论与实际脱节SystemIdentificationandParameterEstimationjustfillupthisgapbetweenthetheoryandthepractice 系统辨识 参数估计正是为了弥合这一差距 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计4 3 1 4Systemidentificationincludesthefollowingsteps系统辨识的步骤Experimentdesign Itspurposeistoobtaingoodexperimentaldata itincludesthechoiceofthemeasuredvariablesandofthecharacteroftheinputsignals 实验设计 如何获取尽可能多的信息 包括检测信号和输入信号的选取 Selectionofmodelstructure Asuitablemodelstructureischosenusingpriorknowledgeandtrialanderror 模型结构 根据先验知识和试凑确定模型的结构 Choiceofthecriteriontofit Asuitablecostfunctionischosen whichreflectshowwellthemodelfitstheexperimentaldata 最优准则 选择能反应模型对实验数据拟合程度的目标函数 Parameterestimation Anoptimizationproblemissolvedtoobtainthenumericalvaluesofthemodelparameters 参数估计 得到模型参数数值解的优化问题 Modelvalidation Themodelistestedinordertorevealanyinadequacies 校验与确认 测试模型以发现存在的问题 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计5 3 1 5Systemidentificationmethods系统辨识的方法Method Therearemanysystemidentificationmethods buttheleastsquaresestimationisusedmostfrequently 方法 有多种方法 其中最小二乘法最常用 Off lineidentification completeestimationonetimebasedonthedatasetinalongperiod 离线辨识 将一定时间内积累的采样数据集中进行一次辨识计算 On lineidentification completerecursiveestimationonetimebasedonnewdataineverysamplinginterval Itisabletodecreasecalculatingtimespendingandmemoryoccupancy andeasytofindoutsystemactuality 在线辨识 每个采样周期都根据新的采样数据进行一次递推辨识计算 节省计算时间和内存空间 便于及时掌握系统现状 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计6 3 2LinearDifferenceEquationModel线性差分方程模型3 2 1DifferenceequationmodeloflinearconstantSISOsystem线性定常单输入单输出系统的差分方程模型 3 1 Here其中 3 2 3 3 3 2 2Themodelofnoise噪声模型Randomvariable随机变量xMathematicdescription probabilitydensityfunction数学描述 概率密度函数 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计7 Mathematicalexpectationofrandomvariable数学期望 均值 E x Varianceofrandomvariable方差 二阶中心距 D x 3 4 2 Steadyrandomsequence Statisticalcharacterisindependentoftime平稳随机序列 各个时刻随机变量的统计特征相同 即统计特征与时间无关 3 Whitenoise isanindependentsteadyrandomsequence Randomvariableisindependentoftime andcanbedescribedbyE x andD x 白噪声 独立平稳随机序列 各个时刻随机变量独立 可由均值和方差两个特征描述 均值 0 方差 2 常数 因为其功率谱密度在整个频率范围内为常数 类似白光的光谱 故称为白噪声 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计8 4 Non whitenoise isformedwhenwhitenoisegoesthroughalinearfilter 非白噪声 白噪声经过一线性滤波器后形成非白噪声Movingaveragemodel滑动平均 MA 模型 3 5 3 6 isawhitenoisesequence为白噪声序列Autoregressivemodel自回归 AR 模型 3 7 Autoregressivemovingaveragemodel自回归滑动平均 ARMA 模型 3 8 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计9 3 2 3MathematicalModeloftheprocesswithrandomdisturbance受随机干扰的过程数学模型 CARMA 3 9 Inotherform可改写为 3 10 Here A B Cisdifferentfrom 3 9 此时 A B C均不同于 3 9 CARMAmodelisbasedonfollowinghypothesis thedisturbanceisaanindependentsteadyrandomsequencewithzeromeansandrationalspectraldensity CARMA模型是基于下述假设 干扰为具有有理谱密度的零均值平稳序列 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计10 Fig3 1CARMAmodel图3 1CARMA模型Atanytime themodeloutputy k islinearwithunknownparameterai bi ci diandthemodelerroristhewhitenoiseatthistime whenpreviousinput outputandnoiseandinputatthistimeareknown 在任意时刻 只要已知该时刻及其之前的输入 在任意时刻 只要已知该时刻之前的输出 噪声 则模型输出y k 与未知参数ai bi ci di成线性关系 且误差为该时刻的白噪声 3 3LeastSquaresEstimationofLinearDifferenceEquationModel线性差分方程模型的最小二乘法3 3 1TheprincipleofLeastSquaresEstimation LSE 最小二乘法原理Afterthesquaredifferenceofmodeloutputandobservationvalueismultipliedbyprecisionmeasurement theresultshouldbeleast 一个数学模型的未知参数应按下述原则进行选择 各实测值与模型计算值之差的平方乘以度量其精度的数值后 所得的和值应最小 Example 3 12 y t observationvalue观测值 thevectorofunknownparameters未知参数向量 observableorknownfunctiondependedonothervariables由其它变量决定的已知函数或可观测的 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计11 Thecoupleobservationvaluecanbegetbyexperiments 成对的观测值可以由试验得到 Example3 1Model模型observationvalue实测数据ThenLSEistosolvetheestimationvalueofunknownparameteraandbwiththeleasterrorfunction最小二乘法估计就是以最小为目标函数由方程组求未知参数a b的估计值 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计12 Whenweestimateparameters 3 12 isrewriteasfollows 参数估计时 3 12 可以改写为Weassumeremnanterror引入残差And且Leastsquareerrorcanbedefinedasfollows 最小二乘误差可表示为 3 13 Here 式中 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计13 Whenisinexistence wehaveandisanexactsolutionoftheparametervector 当存在时 此时参数向量的解是精确的 Theorem3 1 Leastsquaresestimation 定理3 1 最小二乘估计 Theparameterissatisfiedwith whichletLeastsquareerror 3 13 isminimum Ifthematrixisanonsingularmatrix thisminimumisuniqueand使最小二乘误差 3 13 式最小的参数满足 如果矩阵非奇异 则此最小值是唯一的 由下式给出 证明 From 3 13 3 15 Thematrixisnon negativelydefinite thenVmustbegettheminimum 由于矩阵非负定 等价于非奇异 所以V有一最小值 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计14 At let then 当时 即 3 16 Whenisinexistence wehave 只要存在 即有 3 17 Example3 2 LeastsquaresestimationofExample3 1例3 1的最小二乘估计Theobservationvaluecanbeformedadatavectorasfollows 原实测数据可以构成如下数据向量 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计15 Infact leastsquaresestimationcanbeusedwhenexperimentdataisfittedbyamodel whichisinalinearrecursiveform 实际上 只要是用一个模型来拟合实验数据 而该模型又可以写成线性回归形式 就可以用最小二乘法求解 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计16 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计17 3 3 2LeastSquaresEstimation LSE ofARMAModelParameters最小二乘估计 3 18 Rewriteitindifferenceequation 写成差分方程 3 19 Thatis 即 3 20 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计18 Supposena nb n WemeasureNtimes setk n 1 n 2 n N 假定na nb n 进行N次测量 令k n 1 n 2 n N 则Rewriteitinmatrixequation 写成矩阵形式 3 21 Here 式中 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计19 Theleastsquaresestimationis 最小二乘估计为 3 3 3StatisticalCharacteristicsofLeastSquaresEstimation LSE 最小二乘估计的统计特性UnbiasedEstimation AnestimatoriscalledunbiasedEstimatorifitsmathematicalexpectationisequaloftherealvalueoftheestimatedvariable 无偏性 称某一估计是一个无偏的估计 它的数学期望应等于被估计量的真值 InLSE Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计20 Thenitsmathematicalexpectation 两边取数学期望 Wheniswhitenoise therightseconditemiszero EfficientEstimation ForaunbiasedEstimation itiscalledEfficientEstimationifthevarianceofanyotherestimatorisbiggerthanits 有效性 对无偏估计而言 一个估计算法称为有效的算法 就是任一种其它算法所得到的估计的方差都要比有效算法所得到的估计的方差大 即方差最小 InLSE Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计21 Wheniswhitenoise ConsistentEstimation AnEstimationiscalledConsistentEstimation iftheEstimationisconvergedatitsactualvaluewith100 probabilitywhensampleamountNisincreasedinfinitely 一致性 当样本N无限增大时 估计值以概率1收敛于真值 则这样的估计称为一致性估计 当N很大时 一致性估计总是无偏的 但逆定理不成立 InLSE Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计22 Conclusion Whentheequationerroriswhitenoise LeastSquaresEstimationisaNon biased EfficientandConsistentEstimation结论 在方程误差为白噪声的条件下 用最小二乘法估计参数所得到的参数的最小二乘估计是无偏的 有效的和一致的 3 4RecursiveLeastSquaresEstimation RLSE 递推最小二乘估计3 4 1WhyweneedRLSE为什么需要递推最小二乘估计BatchAlgorithm calculateonceineverysamplingperiod成批处理算法 每增加一次测量 根据所得到的测量数据 观测矩阵及伪逆都要重新计算一遍 Morecalculatingspending随着观测数据增加 要求存储容量将不断增大 且由于存在矩阵求逆运算 计算时间也不断增加 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计23 3 4 2PrincipleofRLSE递推最小二乘估计基本原理Assumeinput outputdataattimekareknown wecanestimateparameters 设k时刻已获得输出 输入数据 并由此获得参数的估计值测量 Attimek 1而对于k 1时刻 有Canbecalculatedfromattimekandconsistedofnewdata 于是提出 是否可以根据上一步的和由新增加数据 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计24 3 4 3RecursiveFormulaofRLSE递推公式Lemma3 1引理3 1AssumeA B CandDarematrixwithrespectiveproperdimension wehave 设A B C D是适当维数的矩阵 3 22 Prove 证明 Twosidesaremultipliedbyfromright Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计25 Attimek 在k时刻 3 23 Inwhich Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计26 Attimek 1 在k 1时刻 3 24 Inwhich Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计27 Attimek 在k时刻 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计28 AccordingtoLemma3 1 根据引理3 1 3 27 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计29 Take 3 27 intoaboveexpression 将 3 27 式代入上式得 Simplifytheexpressioninthebigbracketinaboveexpression上式大括号中的两项可以简化为 3 28 3 27 and 3 28 aretherecursiveformulaofRLSE 3 27 与 3 28 就是最小二乘估计的递推公式 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计30 Estimationattimek 1isequaltotheestimationattimekplusarevisedquantity Therevisedquantityisconsistedofthreeparts 容易看出 k 1时刻的参数估计值等于k时刻的参数估计值加上一个修正量 该修正量包括三个部分 乘积 PartOne ErrorofPrediction第一部分 预报误差是k 1时刻新接收到输出值 实测值 与的乘积则表示用k时刻得到的参数预报出的k 1时刻的输出 模型值 如果预报与实测相等 说明k时刻所估计的参数就是参数的真值 不用再做修正 即表现为 3 28 式最后一项为0 即 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计31 PartTwo GainFactor第二部分 增益因子 3 29 注意 它是一个标量 因此省掉了费时的矩阵求逆运算 计算效率大大提高 增益因子与预报误差的乘积确定出有多少输出误差需要经过修正参数来实现 至于哪一个参数调整多少需有第三部分 即加权系数来决定 PartThree WeighingCoefficient第三部分 加权系数iscalledthecovariancematrixofestimation whichisassociatedwithcovarianceof andisameasureofestimatingaccuracy 的物理意义 与参数估计值的协方差存在着联系 是参数估计精确程度的一种度量 通常称为参数估计的协方差阵 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计32 当k趋向于无穷时 趋向于0 Infact thevalueofwillbeverysmallafterestimatinglessthanahundredperiodsifanestimationalgorithmhasgoodconvergence 事实上 如果算法有良好的收敛性 递推估计几十步之后 的值已很小了 注意 每一时刻都要更新 是一个方阵 2n 1维 同参数个数 而则是2n 1维的列向量 与参数个数一致 表示给每个参数的调整加一定的权 每个参数每次调整的权不一定相同 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计33 综上所述 递推最小二乘估计公式的物理意义就是 Basedonpreviousparameterestimationandnewsampledata continuousrecursivecalculatingcanbeimplementedbythepredictionerrortimesweighingfactorwithdifferentextenttoeveryparameter Parameterestimationwillbeavailableifaconvergedalgorithmisused 根据最新得到的数据 在原有参数估计值的基础上 对预报误差乘上加权增益因子 不同程度的修正每个参数 这样不断的递推更新 只要算法是收敛的 就一定能得到合乎要求的估计参数 递推最小二乘估计的公式可整理为 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计34 3 4 4RecursiveCalculationofRLSE递推计算过程Formthedatavector由k 1时刻的观测值以及前2n个时刻的观测值形成向量 数据向量 2n 1维 与参数个数一致 Calculatingfrom 3 30 由 3 30 式 用及计算Calculatingfrom 3 31 由 3 31 式计算Calculatingfrom 3 32 由 3 32 式计算协方差矩阵 为下一步递推计算作准备 Returntostep1andcontinueuntilparameterestimationisconverged 回到第一步 直到参数收敛 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计35 Howtochoicetheinitialvalueof forrecursivecalculation 递推初值的选择FromtheinitialNcouplesdata取最初N组数据 即N个数据向量和对应的 对参数进行成批处理的最小二乘估计 以此作为起始值 从N 1时刻进行递推计算 取为0或任意值 其中为充分大的实数 为单位阵 特点 方法一 初始值比较精确 开始递推就可获得较好的估计值 缺点是运算量大 方法二 简单 便于应用 但递推的最初几步参数估计的误差较大 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计36 3 5Real timeRecursiveEstimationofSlowTime VaryingParameters慢时变参数的实时递推估计3 5 1Introductiontotheproblem问题的提出InLSE everyobservationvaluecontributesequablytotheestimation 最小二乘估计的一个特点 参数估计算法对所有观测数据是同等看待的 或者说所有观测数据对参数估计提供的信息是同等重要的 Whentheparameteristime varying Thatisunreasonable 当被估计参数是未知常数时 这样处理是合理的 但当对象参数时变 或当作某一非线性系统的局部近似 随着时间变化或工作点变化 模型参数也发生变化 一句话参数在不断变化 这种新旧数据一视同仁的方法就不适合了 Laterthedataare moretheyshouldcontributetotheestimation这是因为系统不断变化 那么越新的数据就越能反映当前系统的特性和信息 所以新旧数据对参数估计所提供的信息应是有区别的 Chapter3SystemIdentificationandParameterEstimation第三章系统辨识与参数估计37 Asaon lineestimationalgorithm RLSEisnotsatisfyinginfollowingparameterchange 递推最小二乘估计是一种在线算法 在线估计的一个重要的功能就是跟踪被估计参数的变化 而一般最小二乘递推估计算法正是缺少这种功能 实用性不足 Filteringsaturation滤波饱和问题 总是设置成正定阵 也总是非负定的 也是非负定的 且这意味着随着递推次数增加 越来越小 的减小 使修正项的调整值也越来越小 最后趋向于0 这时新得到的测量数据将不再对估计参数起任何修正作用 这种现象称为滤波饱和 当被估计参数时变时 滤波饱和现象使估计参数不能跟踪参数的变化 Chapte