系统辨识与控制.ppt

学习的课程内容,PartI理论教学,第1章辨识的一些基本概念,内容：系统和模型概念、建模方法、辨识定义、辨识问题的表达形式、,辨识算法的基本原理、误差准则、辨识的内容和步骤、辨识的应用。,内容：随机过程的基本概念及其数学描述、谱密度函数、白噪声及其产生方法、M序列的产生及其性质,第2章随机信号的描述与分析,第3章过程的数学描述,内容：连续系统的输入输出模型、离散系统的输入输出模型、数学模,型之间的等价变换、噪声模型及其分类。,第4章经典的辨识方法,内容：Levy法、相关分析法、实验一辅导。,第5章线性动态模型参数辨识（III）最小二乘法,内容：最小二乘法的基本概念、最小二乘问题的提法、最小二乘问题的解、最小二乘参数估计的收敛性、最小二乘参数估计的几何解析、最小二乘参数估计的统计性质、最小二乘参数估计的递推算法、最小二乘递推算法的几种变形，增广最小二乘法、广义最小二乘法、辅助变量法、相关二步法。,第6章梯度校正参数辨识方法,内容：确定性问题的梯度校正参数辨识方法随机性问题的梯度校正法,第7章极大似然法第8章模型阶次辨识内容：Hankel矩阵法、F-Test定阶法。第9章系统辨识在实际中的应用,参考书：,1.方崇智、萧德云编著，过程辨识，清华大学出版社，北京,3.蔡季冰编著，系统辨识，北京理工大学出版社，北京,预修课程：自动控制原理，概率统计与随机过程,2.李言俊，张科编著，系统辨识理论及应用，国防工业出版社，北京,系统辨识基础第1讲,第1章辨识的一些基本概念1.1系统和模型(第1讲)1.2辨识的定义和三要素(第2讲)1.3辨识算法的基本原理(第2讲)1.4辨识的步骤(第2讲)1.5线性系统辨识问题的表达形式(第3讲)1.6线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲),1.1系统和模型,1.1.1系统1.1.2模型1.1.3建模方法,1.1.1系统,定义System:Agroupofinteracting,interrelated,orinterdependentelementsformingawhole（金山词霸）.Anobjectinwhichvariablesofdifferentkindsinteractandproduceobservablesignals(Ljung)其它课程、科学研究、工程实践、日常生活严格定义系统科学（不讨论）,1.1.1系统,例：带太阳能加热装置的房屋,1.1.1系统,温度：感兴趣的可测输出,以系统的观点看待太阳能加热装置,泵速：可控的输入,室外环境:不可测的干扰输入,d,z,太阳辐射：可测的干扰输入,u可测输入,1.1.1系统,太阳能加热系统框图,激励,不可测干扰,可测输入,可测输出,1.1.1系统,系统：可以用如下框图来表示的客观对象系统的要素,未知干扰,可测输入,可测输出,我们感兴趣的可测信号,使z发生变化的可测信号,使z发生变化的不可测信号,信号之间的客观因果关系,？,1.1.1系统,系统的分类(从f的角度分)：动态与静态（静态系统是动态系统的特例）线性与非线性离散与连续（1.观察值总是离散的；2.控制系统的输出在采样间隔内保持不变；3.采样间隔足够小）,1.1.1系统,线性动态系统是一种理想化的假设，可以简化研究工程实践中，很多系统可以近似看成线性系统,1.1.2模型,(1)数学模型(2)其它类型的模型(3)模型的定义,(1)数学模型,不可测干扰,?,e,什么是数学模型,数学模型：对真实系统的变量间相互关系的假定性数学描述,?,综合误差,(1)数学模型,数学模型的要素,e,系统的实际输出,系统的实际输入,综合误差,直观：对d的模拟,ed（ff）,伪干扰,本质：刻画ufz关系描述不了的部分(未知d,f的误差)，强行补偿的手段ufz关系描述不了的误差,综合误差,方程误差,可以计算,(1)数学模型,数学模型和真实系统的区别,可测输出,不可测干扰,可测输入,e,综合误差,可测输入,可测输出,(1)数学模型,数学模型的两类形式及其用途,可测输出,e,综合误差,可测输入,系统分析系统设计,(1)数学模型,数学模型的近似性和外特性等价,从黑箱角度出发,外特性等价(统计意义),近似性,模型是对真实系统本质信息的一种有用的描述,(1)数学模型,数学模型的分类(i)静态模型与动态模型(ii)确定性模型与随机性模型(iii)定常模型与时变模型(iv)集中参数与分布参数模型(v)线性模型与非线性模型(vi)单变量与多变量模型(vii)连续与离散模型,静态模型与动态模型,动态模型是用来描述过程出于过渡过程时的各状态变量之间的关系的，它们一般都是时间的函数。而静态模型则是动态模型出于稳态时的表现，或者说静态模型是用来描述过程出于稳态时（各状态变量的各阶导数均为0）的各状态变量之间的关系的。它们一般不是时间的函数。,确定性模型与随机模型,由确定性模型所描述的过程，当过程的状态确定以后，过程的输出响应是唯一确定的。由随机性模型所描述的过程，即使过程的状态确定了，过程的输出响应仍然是不确定的。,集中参数模型与分布参数模型,集中参数模型中模型的各变量与空间位置无关，而把变量看作在整个系统中是均一的，对于稳态模型，其为代数方程，对于动态模型，则为常微分方程。分布参数模型中至少有一个变量与空间位置有关，所建立的模型对于稳态模型为空间自变量的常微分方程，对于动态模型为空间、时间自变量的偏微分模型,线性模型与非线性模型,线性模型用来描述线性过程，必定满足叠加原理和均匀性。非线性模型用来描述非线性过程，一般不满足叠加原理。另外需要注意的是：系统线性和关于参数空间线性的区别如果模型的输出关于输入变量是线性的，称之为系统线性。如果模型的输出关于参数空间是线性的，称之为参数空间线性。本质线性和本质非线性的区别如果模型经过适当的数学变换可将原来是非线性的模型转变为线性模型，那么原来的模型称为本质线性，否则原来的模型称为本质非线性。,(2)其它类型的模型,根据的实现形式，模型的表现形式为物理模型“直觉”模型图表模型数学模型,(3)模型的定义,定义1LJUNG：“模型就是对系统的变量之间的相互关系的一种假设性描述。”定义2LJUNG：“一个系统的模型就是针对某种特定的目的、对该系统的某些特性的一种描述。”定义3Eykhoff,1974：“模型是把关于系统（过程）的本质的部分信息简缩成有用的描述形式。”定义4徐南荣：“模型是对系统（实体）的特征和它的变化规律的一种表示或抽象，而且往往是对系统（实体）中那些所要研究的特定的特征定量的抽象。”定义5：模型是针对特定的应用，对系统中与该应用相关的那些信号（变量）之间的本质关系的一种假定性的近似描述。,1.1.3建模方法,机理建模，“白箱”建模，理论建模,e,机理分析(化学,物理,物料、能量平衡,传热传质),机理清楚不适合复杂系统“白箱”建模,1.1.3建模方法,辨识建模，实验建模，统计建模，“黑箱”建模,e,拟合,统计分析,外特性等价适合复杂系统建模机理不清“黑箱”建模,1.1.3建模方法,混合建模，“灰箱”建模机理已知的部分采用机理建模，机理未知的部分采用辨识建模利用机理建模确定模型的结构，利用辨识建模确定模型的参数本课程的重点：辨识建模,1.1.3建模方法,建模的基本原则目的性：建模的目的要明确；实在性：模型的物理概念要明确；可辨识性：模型结构要合理；输入信号要持续激励；数据要充足；悭吝：在满足精度要求的前提下，待辨识的模型参数个数要尽可能少(模型复杂度,过拟合),系统辨识基础第2讲,第1章辨识的一些基本概念1.1系统和模型(第1讲)1.2辨识的定义和三要素(第2讲)1.3辨识算法的基本原理(第2讲)1.4辨识的步骤(第2讲)1.5线性系统辨识问题的表达形式(第3讲)1.6线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲),1.2辨识的定义和三要素,辨识的定义1Zadeh,1962：辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。辨识的定义2Ljung,1978：辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。典型的黑箱建模,1.2辨识的定义和三要素,辨识定义所揭示的辨识基本思路在候选模型类中选择一个选择的依据？最好地拟合输入输出数据输入输出数据什么是最好？定量的等价准则辨识三要素输入输出数据模型类(如系数待定的差分方程)等价准则,1.3辨识算法的基本原理,准备好三要素u和z,辨识原理,?,三要素(每个要素变化，都会影响辨识结果),1.3辨识算法的基本原理,模型类,要素1,要素1,要素2,要素3,批处理递推,1.4辨识的步骤,(1)设计辨识实验，获取实验数据(2)选择模型类，即模型结构(3)选择等价准则(4)求解优化问题，计算模型(5)模型校验(6)辨识步骤的重复(7)补充说明：参数辨识与结构辨识(8)辨识步骤图,(1)设计辨识实验，获取实验数据,数据集是辨识的三要素之一数据集性质影响辨识结果，u数据集，因此要设计辨识实验(重点设计u),(1)设计辨识实验，获取实验数据,u应该保证可辨识性可辨识性：辨识结果唯一数据不合适时，优化问题的解不唯一输入信号为(2n阶)持续激励(n阶)系统可辨识持续激励：定义(略)，直观：信号要覆盖系统的全部频谱，要激励系统的所有模态,(1)设计辨识实验，获取实验数据,u应该保证辨识精度辨识参数的精度对于固定的数据集u、z对于固定的数据集u、z，Cramer-Rao不等式最优输入信号,Fisher信息矩阵由u和系统特性决定,Cramer-Rao不等式,考虑一个随机向量z，它在参数条件下的条件概率密度函数记作。在一定的正则条件下，参数的任何无偏估计值都将满足下列不等式：其中，M为Fisher信息矩阵，定义为,辨识输入信号的选择,1.持续激励输入信号的要求,2.最优输入信号设计的要求,(1)设计辨识实验，获取实验数据,设计u时还应考虑的其它因素输入信号幅度不能太大，以免使工况进入非线性区；“净扰动”要小，正、负扰动机会均等（不影响工作点）；工程易实现，成本低设计实验时还应该考虑的因素采样时间的设计数据长度的设计,(2)选择模型类，即模型结构,模型类是辨识的三要素之一模型结构严重不合理时，模型的预测误差和准则函数值很可能无法达到可接受的水平：模型结构影响优化问题求解的难度和复杂度*模型结构不合理时，可能影响系统的可辨识性，即上述优化问题的解不唯一（*不必掌握）,(2)选择模型类，即模型结构,模型类的确定依赖于对系统的先验知识、或工程人员的直觉和经验。线性模型结构（如差分方程、传递函数、状态方程等）是人们在实际应用中所广泛选取的模型类。,(3)选择等价准则,等价准则是辨识的三要素之一影响辨识结果（例如，通过不同加权，使辨识对不同时间或不同频段模型误差赋予不同的重视程度）影响优化问题的求解难度和辨识算法的形式和复杂度,(3)选择等价准则,最常见的等价准则，加权平方和,(4)求解优化问题，计算模型,在(1)-(3)的基础上，求解计算出辨识结果,(5)模型校验,在上述步骤(1)-(3)中，每一步都存在着很多不同的选择(1)-(3)的选择并不一定合理，(4)所得出的模型也不一定满意。因此，在得到模型后，必须通过各种手段来测试模型是否符合实际应用的要求。,(5)模型校验,常见的模型校验手段有：在实际应用中检验；用不同时段的数据分别建立多个模型，检查模型特性一致性（零极点、增益、延迟等）；利用不同时段的数据分别建立模型，然后交叉使用数据，比较模型的准则函数值；增加数据长度，检查模型准则函数值的变化,(6)辨识步骤的重复,当模型校验表明所得到的模型不可靠或不满意时，必须重复(1)-(5),(6)辨识步骤的重复,辨识步骤(1)设计辨识实验，获取实验数据(2)选择模型类，即模型结构(3)选择等价准则(4)求解优化问题，计算模型(5)模型校验重复上述步骤，直到通过模型校验,(7)补充说明：参数辨识与结构辨识,参数辨识参数辨识的内容：参数估计值参数辨识的方法：步骤(4)结构辨识的内容模型类的形式（结构），的形式选定模型类后，确定参数的个数（例如，差分方程的阶次）,(7)补充说明：参数辨识与结构辨识,结构辨识的方法（模型类的形式）：已包含在上述辨识步骤中：假定结构(2)选择等价准则(3)求解优化问题，计算模型(4)模型检验(5)修改结构的假定(2),(7)补充说明：参数辨识与结构辨识,阶次辨识的方法（结构辨识的特殊情况）假定阶次(2)选择等价准则(3)求解优化问题，计算模型(4)校验(5)（采用专门用于检验阶次的准则函数）修改阶次(2),(8)辨识步骤图,等价准则,系统辨识基础第3讲,第1章辨识的一些基本概念1.1系统和模型(第1讲)(书1.1)1.2辨识的定义和三要素(第2讲)(书1.2)1.3辨识算法的基本原理(第2讲)(书1.4)1.4辨识的步骤(第2讲)(书1.6)1.5线性系统辨识问题的表达形式(第3讲)(书1.3)1.6线性系统辨识的误差准则及其关于参数空间的线性问题(第3讲)(书1.5),1.5线性系统辨识问题的表达形式,(1)线性系统和线性模型类(2)最小二乘格式,(1)线性系统和线性模型类,在工程实践中，当信号在工作点附近小范围变化时，很多系统都可以近似看成线性系统,(1)线性系统和线性模型类,对于线性系统，可以选择线性模型类,线性系统和线性模型的区别,伪干扰补偿手段综合误差,方程误差,(2)最小二乘格式,基于ARX模型的模型类,(2)最小二乘格式,ARX模型最小二乘格式,最小二乘格式很多线性模型类都可以等价转换成最小二乘格式,(2)最小二乘格式,最小二乘格式模型类意义：统一的模型类,统一的辨识方法,待辨识，线性模型类,数据向量,方程误差,(2)最小二乘格式,最小二乘格式模型类的要素,系统的可观测数据向量,假定的变量间关系,补偿手段方程误差综合误差不是真实的干扰,估计输出,(2)最小二乘格式,线性模型化成最小二乘格式的规则(辨识算法的需要)数据向量h中的元素必须是线性不相关的(保证将来的最小二乘算法有解)；数据向量h中的所有元素必须是可测或可估计的参数向量必须包括模型中的所有独立参数；,(2)最小二乘格式,线性系统与最小二乘模型类的比较,客观的线性系统,人为假定的模型类,实际的干扰,方程误差,实际输入,数据向量,(2)最小二乘格式,线性系统也可以表达成最小二乘格式,人为假定的模型类,方程误差,客观存在,干扰(e),真实参数,假定参数,(2)最小二乘格式,基于最小二乘格式，重新理解辨识的基本原理(第2讲，与图1.9有区别),要素1,要素1,要素2,要素3,批处理递推,(2)最小二乘格式,基于最小二乘格式，重新理解辨识的基本原理(第2讲，图1.9),批处理递推(残差,新息),(2)最小二乘格式,k时刻的输出值预测：k时刻的输出误差，或称为“新息”,原理：将新息(Innovation)“反馈”到辨识算法中去，依据该值修正“下一时刻”模型参数的估计值。此迭代过程不断进行下去，直至对应的准则函数取得最小值。反馈的又一功能。与神经网络的学习算法（Bp）算法相似。“辨识”的过程就是“学习”的过程。,辨识的精度问题,“时域评价结果”与“频域评价结果”不一致。设对象具有如下传递函数：辨识得到的模型为：,以阶跃响应为评价指标：精度较高。,.阶跃响应的对比,脉冲响应的对比,频率特性的对比,结论：1.辨识得到的模型只是实际过程的近似，需要有明确的评价指标；2.不同的评价指标会得出不同的“精度评价”结果。提示：不必要一味追求“精确”的模型。评价标准：实际应用的效果。,(2)最小二乘格式,关于参数空间线性的模型也可以化成最小二乘格式,(2)最小二乘格式,本质线性模型也可以化成最小二乘格式,1.6线性系统辨识的误差准则及其关于参数空间的线性问题,(1)引言(2)输出误差准则(3)广义误差准则(4)输入误差准则,(1)引言,采用平方和准则函数,除输出误差外，还可采用其它误差,(2)输出误差准则,输出误差,(2)输出误差准则,误差准则的导数关于参数是非线性的,(2)输出误差准则,如果扰动是作用在过程输出端的白噪声，那么选用这种误差准则就是理所当然的了。但是，输出误差的导数通常是模型参数的非线性函数，因此在这种误差准则意义下，辨识问题将归结成复杂的非线性最优化问题，需要用梯度法、牛顿法或共轭梯度法等迭代的最优化算法，这就使得辨识算法变得比较复杂。在实际应用中是否采用这种误差准则要视具体情况而定。,(3)广义误差准则,广义误差,(3)广义误差准则,误差准则的导数关于参数是线性的,(3)广义误差准则,广义误差准则的另一种解释（方程式误差）,另一种输出重构方法,最优预测,(4)输入误差准则,输入误差,(4)输入误差准则,误差准则的导数关于参数是非线性的,(4)输入误差准则,如果扰动是作用在过程输入端的白噪声，那么选用这种误差准则也是自然的。但是，输入误差也是模型参数的非线性函数，辨识算法也是比较复杂的。这种误差准则现在几乎不用了，然后它的基本概念还是很重要的。,系统辨识基础第4讲,第2章随机信号的描述与分析2.1随机过程的基本概念及其数学描述（第4讲）2.2谱密度函数（第4讲）2.3线性过程在随机输入下的响应（第5讲）2.4白噪声及其产生方法（书2.5）（第5讲）2.5M序列的产生及其性质（书2.6）(第6讲),2.1随机过程的基本概念及其数学描述,2.1.1基本概念2.1.2随机过程的概率密度函数2.1.3随机过程的数字特征2.1.4平稳性、各态遍历性2.1.5相关函数和协方差函数,2.1.1基本概念,一个例子：质量一定、高度一定、初速度为0的自由落体运动的运动轨迹（高度-时间）x(t),可重复，确定性信号当下落物体很轻时，考虑到空气阻力、风的影响，上述自由落体的运动轨迹x(t)没有确定性的规律，不可重复，每次试验结果不同。一个试验结果样本函数,2.1.1基本概念,2.1.1基本概念,随机过程x(t)不可重复，每次试验取得一个具体的试验结果xi(t)（确定性信号），又称为一个实现，或一个样本函数,i=1,2,3。随机过程：所有可能的样本函数的集合，x(t)=x1(t),x2(t),xi(t),2.1.1基本概念,随机过程的另一种定义t=tk，x(tk)=x1(tk),x2(tk),xi(tk)，随机过程退化为随机变量随机过程：不同时刻的随机变量的集合，x(t)=x(tk)，或者随机变量随时间的变化过程,2.1.1基本概念,如图，时间方向（时间t）和集合方向（样本函数的序号i）先向下，再向右：x(t)是不同时刻的随机变量的集合先向右，再向下：x(t)是所有样本函数的集合，x(t)=x1(t),x2(t),xi(t),2.1.1基本概念,2.1.2随机过程的概率密度函数,一维概率密度函数：对于特定时刻t1，x(t1)退化为随机变量，其概率密度函数为p(x,t1)p(x,t1)dx描述了随机变量x(t1)（即随机过程x(t)在t1时刻）在x附近取值的概率,2.1.2随机过程的概率密度函数,二维概率密度函数：同时考虑两个特定的时刻t1和t2，x(t1)，x(t2)成为二维随机变量，其概率密度函数为p2(x1,x2;t1,t2)p2(x1,x2;t1,t2)dx1dx2描述了随机变量x(t1)（即随机过程x(t)在t1时刻）在x1附近取值、并且随机变量x(t2)（即随机过程x(t)在t2时刻）在x2附近取值的概率,2.1.2随机过程的概率密度函数,随机过程的多维概率密度函数同时考虑多个特定的时刻t1，t2，t3,(x(t1)，x(t2),x(t3),)成为多维随机变量多维概率密度函数p2(x1,x2,x3,;t1,t2,t3)不实用,2.1.3随机过程的数字特征,(a)集合方向的数字特征（统计特征）(b)时间方向的统计特征,(a)集合方向的数字特征,对于特定的t，从集合方向看，可以定义一维随机变量x(t)的数字特征均值或数学期望方差均方上述数字特征是时间t的函数,(a)集合方向的数字特征,从集合方向看，对于两个特定时刻t1和t2，可以定义二维随机变量(x(t1)，x(t2)的二维数字特征自相关函数协方差函数二维数字特征是t1和t2的函数,(a)集合方向的数字特征,各数字特征之间的关系基本的数字特征：自相关函数，均值,(b)时间方向的统计特征,对于特定的样本i，xi(t)成为一个确定性的样本函数。把样本函数xi(t)看成各个时刻的样本取值xi(tk)的集合，则可以在时间方向上定义其统计特征,(b)时间方向的统计特征,时间均值时间方差时间自相关函数,2.1.4平稳性、各态遍历性,(1)平稳性(2)各态遍历性,(1)平稳性,平稳性：随机过程的统计性质不随时间改变，则称它为平稳随机过程注意：指所有统计特性，最根本的是概率密度函数，如p1(x,t)=p1(x)，高维复杂,(1)平稳性,宽平稳性平稳性要求太高，可以降低为只考虑均值和自相关函数（两个基本统计特征）宽平稳随机过程：即均值不随时间改变、并且自相关函数只和t2和t1的时间差有关、而与起始时间t1无关的随机过程，即,(1)平稳性,宽平稳（平稳）随机过程的数字特征之间的关系（利用基本数字特征表达其它特征）,(2)各态遍历性,出发点：希望用一个样本的时间方向的统计特征来估计随机过程的集合方向的数字特征各态遍历随机过程：对于一个宽平稳随机过程，如果它集合方向的统计特征（集合平均）与时间方向的统计特征（时间平均）相等（即)则称其为宽平稳各态遍历的随机过程。,(2)各态遍历性,对于各态遍历随机过程：是平稳的所有样本的时间平均都相等（与i无关）所有样本的时间平均都等于随机过程的集合平均（严格的定义是当时间趋于无穷时，各种时间平均依概率1收敛于相应的集合平均）,(2)各态遍历性,平稳各态遍历随机过程的统计特征的计算,2.1.5相关函数和协方差函数,(1)自相关函数与协方差函数(2)互相关函数与互协方差函数(3)独立与互不相关(4)自相关函数的性质(5)互相关函数的性质(6)自协方差函数与互协方差函数的性质(7)相关函数与协方差函数的计算,(1)自相关函数与协方差函数,对于平稳随机过程x(t)，可以定义如下的自相关函数和协方差函数自相关函数协方差函数,(2)互相关函数与互协方差函数,对于两个平稳随机过程x(t)和y(t)，可以定义如下的互相关函数和互协方差函数互相关函数互协方差函数互相关函数与互协方差函数的关系,(3)独立与互不相关,两个随机过程互相独立：联合概率密度=边缘概率密度的乘积（边缘概率密度函数可以是高阶的）两个随机过程互不相关的充要条件：不是互不相关的充要条件，但是互不相关的充要条件独立互不相关,(4)自相关函数的性质,自相关函数是偶函数证明：,(4)自相关函数的性质,自相关函数在=0时具有最大值证明：,(4)自相关函数的性质,周期平稳过程的自相关函数也是具有相同周期的周期函数,(4)自相关函数的性质,x(t)中的直流成分使其相关函数向上平移证明：,(4)自相关函数的性质,对于不含周期性成分的平稳随机过程，当|时，x(t)和x(t+)是互不相关的，即(书上有误)证明：,(4)自相关函数的性质,x(t)=x1(t)+x2(t),x1(t)和x2(t)互不相关，并且至少有一个均值为0（书上缺此条件），则证明：,(4)自相关函数的性质,总结：自相关函数的形状：对称于纵轴，在=0时达到最大，可以根据判断x(t)的均值，根据其周期性判断x(t)是否为周期函数,(5)互相关函数的性质,Rxy(0)不一定是|Rxy()|的最大值，也不一定非负Rxy()不一定是偶函数，也不一定是奇函数：Rxy()Rxy(-)，Rxy()-Rxy(-)Rxy()=Ryx(-)证明：,(5)互相关函数的性质,证明：,(5)互相关函数的性质,若，则证明：,(6)自协方差函数与互协方差函数的性质,自协方差函数与自相关函数的形状相同，只是向下平移了（见平稳性）互协方差函数与互相关函数的形状相同，只是向下平移了若x(t)、y(t)中至少有一个均值为0，则,(7)相关函数与协方差函数的计算,相关函数的估计（时间方向求平均，见各态遍历性，在不混淆的情况下，不加下标i）互相关函数的估计协方差函数与互协方差函数的估计：利用其与相关函数的关系,2.2谱密度函数,2.2.1Parseval定理与谱密度概念2.2.2Wiener-Khintchine定理2.2.3互谱密度,谱密度函数的定义,令,2.2.1Parseval定理与谱密度概念,(1)Parseval定理(2)确定性信号的平均功率和平均功率谱密度(3)随机过程的平均功率和平均功率谱密度(4)随机过程功率谱密度的性质,(1)Parseval定理,对于确定性信号x(t),当信号总能量有限（平方可积时），信号x(t)的时域总能量等于频域总能量|X(j)|2的物理意义：能量在不同频率下的分布密度，能量谱密度,(2)确定性信号的平均功率和平均功率谱密度,当x(t)的付立叶变换不存在时，或总能量无限时，可以研究信号的平均功率，即,(2)确定性信号的平均功率和平均功率谱密度,根据Parseval定理Sx()的物理意义：平均功率在不同频率下的分布密度,(3)随机过程的平均功率和平均功率谱密度,对于随机过程x(t)Sx()平均功率谱密度，功率谱密度，谱密度，确定性，功率谱密度是随机过程在频域上的统计特征平均功率,(4)随机过程功率谱密度的性质,功率谱密度是非负函数（根据定义）功率谱密度是实偶函数（根据定义或Wiener-Khintchine定理）功率谱密度的积分=随机过程的均方值,2.2.2Wiener-Khintchine定理,x(t)的自相关函数Rx()和功率谱密度函数Sx()之构成一组付立叶变换对，即功率谱密度是随机过程在频域上的集合方向上的统计特征。,2.2.2Wiener-Khintchine定理,Wiener-Khintchine定理的余弦形式Sx()是实偶函数,2.2.2Wiener-Khintchine定理,证明,2.2.3互谱密度,可以将谱密度的概念推广到互谱密度，定义：互谱密度不一定具有功率谱的含义（杨福生，生物医学信号处理）互谱密度不一定是实函数，可能是复函数（因此用j）,系统辨识基础第5讲,第2章随机信号的描述与分析2.1随机过程的基本概念及其数学描述（第4讲）2.2谱密度函数（第4讲）2.3线性过程在随机输入下的响应（第5讲）2.4白噪声及其产生方法（书2.5）（第5讲）2.5M序列的产生及其性质（书2.6）(第6讲),2.3线性过程在随机输入下的响应,2.3.1线性过程在随机输入下的输出谱密度2.3.2线性过程在随机输入下的互谱密度,2.3.1线性过程在随机输入下的输出谱密度,对于如图所示线性系统,2.3.1线性过程在随机输入下的输出谱密度,如果u和y是确定性过程,2.3.1线性过程在随机输入下的输出谱密度,如果u和y是随机过程，证明：proof_for_第四讲_p66_线性过程在随机输入下的输出谱密度.doc注意：u和y是平稳随机过程（系统到达随机意义下的平稳，不是过渡过程）,2.3.2线性过程在随机输入下的互谱密度,对于上述线性系统，当u和y是平稳随机过程时，有,2.3.2线性过程在随机输入下的互谱密度,证明：,2.4白噪声及其产生方法,2.4.1白噪声的概念2.4.2表示定理与成形滤波器2.4.3(0,1)均匀分布随机数的产生2.4.4正态分布随机数的产生,2.4.1白噪声的概念,(1)白噪声过程的两种等价定义(2)白噪声过程的性质(3)多维白噪声过程(4)近似的白噪声过程(5)白噪声序列(6)多维白噪声序列(7)白噪声序列的用途,(1)白噪声过程的两种等价定义,定义1：如果一个平稳随机过程w(t)具有恒定的功率谱密度函数，即在全频段内，有则称w(t)为白噪声过程。覆盖全频带，白光光谱包含了所有可见光的频率,(1)白噪声过程的两种等价定义,(1)白噪声过程的两种等价定义,定义2：如果一个平稳随机过程w(t)具有如下的自相关函数，即则称w(t)为白噪声过程。,(1)白噪声过程的两种等价定义,(1)白噪声过程的两种等价定义,两种定义的等价性根据Wiener-Khintchine定理，可以证明如果w(t)的自相关函数满足定义2，则其功率谱密度满足定义1,(2)白噪声过程的性质,白噪声的均值默认为零E(w)=0，否则，自相关函数不可能为冲激函数（函数）白噪声无记忆性，任两个不同时刻的随机变量之间不相关，即白噪声平均功率是平均功率=,(2)白噪声过程的性质,白噪声的频带无限宽，功率在频域上均匀分布（功率谱密度是直线）白噪声在现实中不存在（时域、频域）是否为白噪声与随机过程的分布无关（如正态分布白噪声，均匀分布白噪声，正态分布非白噪声过程，均匀分布非白噪声过程）研究白噪声的目的，数学处理简单、方便，最优输入，易于辨识算法中噪声和干扰的分析与处理有色噪声：不是白噪声的随机过程,(3)多维白噪声过程,多维白噪声的定义其中，Q为正定的常数矩阵,(4)近似的白噪声过程,低通白噪声：如果零均值平稳随机过程的功率谱密度在一定的频带内均匀分布，即则称其为低通白噪声过程（限带白噪声）低通白噪声过程的自相关函数为（0越大，越近似于函数，图2.19）,(4)近似的白噪声过程,限带白噪声在处等于0，因此，如果以为采样时间采样限带白噪声过程，采样得到的样本两两互不相关(图2.19),(4)近似的白噪声过程,另一种近似白噪声：如果零均值平稳随机过程w(t)的自相关函数Rw()近似为函数，即则视其为近似的白噪声时间差超过一定的长度后不相关。（P28，例2.2）,(5)白噪声序列,对于零均值平稳随机序列w(k)（只在离散时间点上定义），如果其不同时刻的随机变量两两不相关，则称其为白噪声序列，即,(5)白噪声序列,白噪声序列的谱密度函数白噪声序列是实际存在的，因为只要求离散时刻的两两不相关*,(5)白噪声序列,白噪声序列的例子,(6)多维白噪声序列,多维白噪声序列,(7)白噪声序列的用途,作为最优输入信号，仿真产生白噪声序列的实现；假定干扰为白噪声序列，简化问题的研究假定干扰为有色噪声序列，则可以将其表示成白噪声通过成形滤波器的输出利用白噪声序列的性质，简便辨识算法的求解或推导,2.4.2表示定理与成形滤波器,设平稳噪声序列e(k)的谱密度Se()是的实函数，或是cos()的有理函数，那么必定存在一个渐近稳定的线性环节，使得如果环节的输入是白噪声序列时，则环节的输出是谱密度为Se()的平稳噪声序列。满足上述条件的平稳随机序列e(k)，成形滤波器H(z1)=D(z1)/C(z1)，使得,2.4.2表示定理与成形滤波器,表示定理的含义：任何平稳有色噪声序列e(k)都可以表示成白噪声序列w(k)驱动的某个渐近稳定的线性系统H(z1)的输出任何平稳随机序列都包含确定性和随机性两部分的作用。确定性：参数化的成形滤波器，w(k)的统计特性随机性：w(k)的取值,2.4.2表示定理与成形滤波器,表示定理的作用：可以用白噪声+线性系统（成形滤波器）来表示有色噪声在辨识中，经常假设随机干扰是白噪声通过线性系统的输出，如注意：表示定理是存在性定理，并没有告诉我们如何找到适当的成形滤波器和白噪声。可以通过辨识的方法确定成形滤波器的参数和白噪声的方差,2.4.3(0,1)均匀分布随机数的产生,(0,1)均匀分布随机数i（随机序列）：在每个特定时刻i，i是(0,1)均匀分布的随机变量，即不是白噪声序列是产生其它随机序列（包括白噪声序列）的基础,2.4.3(0,1)均匀分布随机数的产生,乘同余法：初始化：M=2k，k为充分大的正整数，A3(mod8)orA5(mod8),x0为正奇数。xiAxi-1(modM)ixi/M或将合并为i取小数部分Ai-1,0=x0/M,2.4.3(0,1)均匀分布随机数的产生,i是伪随机序列，最大循环周期为2k-2，是(0,1)均匀分布随机序列的一个实现的近似（不同初值导致不同的实现）,2.4.4正态分布随机数的产生,统计近似抽样法（i是(0,1)均匀分布随机序列，根据中心极限定理）用多组长度为N的i来产生序列k,2.4.4正态分布随机数的产生,k是伪随机序列，近似为白噪声序列的一个实现(),2.4.4正态分布随机数的产生,变换抽样法：设1,k和2,k是互相独立的(0,1)均匀分布随机序列，令则1,k和2,k是互相独立的服从N(0,1)分布的白噪声序列。,系统辨识基础第6讲,第2章随机信号的描述与分析2.1随机过程的基本概念及其数学描述（第4讲）2.2谱密度函数（第4讲）2.3线性过程在随机输入下的响应（第4讲）2.4白噪声及其产生方法（书2.5）（第5讲）2.5M序列的产生及其性质（书2.6）(第6讲),2.5M序列的产生及其性质,2.5.1研究M序列的必要性2.5.2生成M序列的结构2.5.3生成M序列的条件2.5.4生成M序列的步骤2.5.5M序列的性质(*)2.5.6M序列的自相关函数2.5.7M序列的谱密度2.5.8选择M序列的参数,2.5.1研究M序列的必要性,辨识实验对输入信号的要求可辨识性（持续激励）最优性（对于有效估计，达到M-1，其它考虑（幅度，工作点，均值等）,2.5.1研究M序列的必要性,白噪声过程（实际不存在）白噪声序列：持续激励D最优信号工程考虑（变化太频繁，幅度变化剧烈，不易控制）,2.5.1研究M序列的必要性,M序列具有近似于白噪声的性质（自相关函数和谱密度）工程上易于实现和被接受净扰动小幅度（变化大小）、时拍（变化频繁度）、周期易控制实现简单,2.5.1研究M序列的必要性,M序列举例,2.5.2生成M序列的结构,异或（模和）,2.5.2生成M序列的结构,M序列的定义（时间离散，二元取值0,1）无限长的二元序列x0 x1x2xpxp+1满足迭代关系aP1,ai=0或1，i=1P-1，使得序列以(2P_1)bit的最长周期循环（注意，不是2P-1）初始状态x1x2xp000,2.5.2生成M序列的结构,时间连续、幅度为实数的M序列：在t的整数倍上(kt)才可能发生变化，在（kt,(k+1)t）上保持不变，幅值由xk决定,2.5.2生成M序列的结构,例：P=4,a3=a4=1，,2.5.2生成M序列的结构,CP移位脉冲（移位周期t）Ci双稳态触发器，在两个定时移位脉冲之间保持不变，脉冲到来时，等于输入符合上页的规律,2.5.2生成M序列的结构,M序列的生成结构（M(t)为M序列的输出*，任何一级输出都可以作为M序列）,2.5.3生成M序列的条件,问题：并非所有的反馈通道组合aP1,ai=0或1，i=1P-1，都可以使序列xi构成M序列，即以2P_1bit的最长周期循环,2.5.3生成M序列的条件,a4=a3=1（循环周期=15=24-1,是M序列）,2.5.3生成M序列的条件,a4=a2=1（循环周期=6，不是M序列）,2.5.3生成M序列的条件,M序列的特征多项式（用M序列的生成结构中的反馈系数定义的多项式）注意：多了一个常数项，a的下标号与s的次数相同,2.5.3生成M序列的条件,特征多项式可以唯一地表征一个序列令代表上述结构生成的M序列，在一定初值条件下可以用F(s)来描述生成M序列的ai所必需满足的条件（不是所有的F(s)都可以生成M序列）,2.5.3生成M序列的条件,F(s)成为M序列的特征多项式的条件必要条件：F(s)是既约多项式，即F(s)不能再分解充要条件：F(s)是本原多项式，即,2.5.3生成M序列的条件,表D.1已知的可以生成M序列的特征多项式F(s)(P,n,k),(n1,n2,n3,)P阶次n反馈通道个数,等于1的系数ai的个数k编号：P阶（周期为2P-1）序列的第几个特征多项式(n1,n2,n3,)：具体给出特征多项式中不为0的项（特点：一定有p和0）(n1,n2,n3,)最终确定了等于1的系数ai,2.5.3生成M序列的条件,2.5.4生成M序列的步骤,选择M序列的参数：阶次P(周期NP),幅度a，时钟节拍t按表D.1选择合适的特征多项式给定序列的初值x0 x1xP-1(CPCP-1C1)按照M序列的生成结构（寄存器）生成M序列，得到xk将“0”a、“”a，得到M(t),2.5.5M序列的性质,周期：一个P阶M序列的循环周期为NP=2P-1(对xk而言)；“0”和“1”的个数（单bit）：一个周期内“0”的个数为(NP-1)/2，“1”的个数为(NP+1)/2，“0”的个数总比“1”少一个；,2.5.5M序列的性质,游程：某种状态连续出现的段称为“游程”一个P阶M序列的总游程数为2P1；“0”和“1”地游程各占一半；长度为1的游程数为2P2；长度为2的游程数为2P3；长度为i的游程数为2P；长度为(P1)的游程有一个，为“0”游程；长度为P的游程也只有一个，为“1”游程。,2.5.5M序列的性质,移位可加性：两个彼此移位等价的M序列按位模2和（异或）相加，结果仍然是M序列，并与原序列移位等价,2.5.5M序列的性质,同构性“0”a、“”-a,2.5.6M序列的自相关函数,xkM(t)：“0”a、“”-a,在两个脉冲之间保持不变，移位脉冲周期（时钟节拍t），M(t)周期:NPt定义（实际是时间自相关函数，也是以NPt为周期的周期函数）：,2.5.6M序列的自相关函数,利用M序列的性质，可以求得,在一个周期内,注意：(NP-1)t?:-t,t,2t(NP-1)t,2.5.6M序列的自相关函数,M序列的自相关函数,2.5.6M序列的自相关函数,近似于白噪声，Np越大，t越小，越逼近白噪声的一个实现周期直流脉冲宽度,2.5.7M序列的谱密度,定义,2.5.7M序列的谱密度,M序列的谱密度，令只在离散频率上取一定幅度的冲激函数，冲激函数的幅度由包络线决定，离散点间隔由0决定（NPt）,对应于,2.5.7M序列的谱密度,2.5.7M序列的谱密度,=0=,对应于自相关函数的直流分量,2.5.7M序列的谱密度,k=NP,2NP,.带宽,2.5.7M序列的谱密度,Np越大，t越小，越趋于白噪声谱线密度带宽直流,2.5.8选择M序列的参数,M序列的参数：阶次P(周期NP),幅度a，时钟节拍tNp越大，t越小，越逼近白噪声（的一个实现），自相关，功率谱a,不能太大，也不能太小t的大小在工程上要能接受(NP-1)t的长度在工程上要能接受,系统辨识基础第7讲,第3章过程的数学描述3.1线性时不变模型3.2数学模型之间的等价转换(书3.3)3.3随机系统和模型（书3.4）,3.1线性时不变模型,3.1线性时不变模型,3.1线性时不变模型,3.2数学模型之间的等价转换,连续模型之间的等价转换传递函数微分方程传递函数脉冲响应，脉冲响应传递函数(P95)状态方程传递函数（微分方程），传递函数(微分方程)状态方程(P76)传递函数频率响应，频率响应传递函数（P107，Levy，第8讲）离散模型之间的等价转换传递函数差分方程传递函数脉冲响应，脉冲响应传递函数(P95)状态方程传递函数(差分方程)(P80变换3.2)，传递函数(差分方程)状态方程连续模型的离散化(在离散时间点上，连续与离散模型等价)连续状态方程离散状态方程(P76)微分方程差分方程(P78变换3.1,P479双线性变换),传递函数(微分方程)状态方程,连续状态方程离散状态方程,微分方程差分方程,P75-78基本思路：微分方程(ai,bi)连续状态方程()离散状态方程(A,b,c)离散传递函数离散传递函数G(z-1)(以表示)差分方程（以(ai,bi)表示）,微分方程差分方程,结果：变换3.1(P78),离散状态方程传递函数(差分方程),P78-80基本思路,离散状态方程传递函数(差分方程),P80变换3.2,离散状态方程传递函数(差分方程),变换3.2（续）,3.3随机系统和模型,3.3.1随机系统（模型）的概念3.3.2噪声模型的分类,3.3.1随机系统（模型）的概念,第1讲、第3讲：线性系统本节：从确定性系统出发，考虑各种随机噪声，推出上图，其中d(k)为随机干扰,3.3.1随机系统（模型）的概念,确定性系统（输入输出均不含测量噪声，不是真实测量值，未知）,3.3.1随机系统（模型）的概念,引入过程噪声(k)：作用于系统本身的噪声,3.3.1随机系统（模型）的概念,引入输出测量噪声w(k)（z(k)实测）,3.3.1随机系统（模型）的概念,引入输入测量噪声s(k)（u(k)实测）,3.3.1随机系统（模型）的概念,随机系统（e0(k)和z(k)都是随机信号）e0(k)：综合噪声（包含输入测量噪声、输出测量噪声和过程噪声）（用下标0，区分方程误差和真实系统的真实噪声）,3.3.1随机系统（模型）的概念,表示定理（噪声的参数化表示）：,3.3.1随机系统（模型）的概念,考虑了噪声参数化表示的随机系统（v0(k)和z(k)都是随机信号）,3.3.1随机系统（模型）的概念,随机系统与随机模型随机系统随机模型区别：e0(k),v0(k)真实的有色噪声干扰和白噪声干扰，e(k),v(k)方程误差,3.3.2噪声系统(模型)的分类,噪声系统（模型）的分类,3.3.3随机系统(模型)的分类,随机系统（模型）的分类（Ljung）,系统辨识基础第8讲,第4章经典辨识方法4.1引言（第8讲）4.2频率响应的辨识（第8讲）4.3脉冲响应的辨识（第9讲、第10讲）,4.1引言,经典辨识方法(非参数模型的辨识)阶跃响应的辨识（书4.2.1实验测取阶跃响应）脉冲响应的辨识（书4.3.1实验测取脉冲响应，书4.3.1学习法辨识脉冲响应，书4.5.2相关分析法辨识脉冲响应*）频率响应的辨识（书4.4.1频率响应法，书4.5.1相关分析法辨识频率响应，书4.6.2谱分析法）模型转换（书4.2.2阶跃响应传递函数，书4.3.3脉冲响应传递函数，书4.4.2频率响应传递函数）,4.1引言,现代辨识方法（参数模型的辨识）最小二乘类辨识方法典型算法：最小二乘法、增广最小二