随机系统的建模与仿真.doc

第6章 随机系统的建模与仿真系统可分为两类：确定性系统和随机系统。确定性系统，其系统参数、外界输入都是已知的。对于随机系统，其参数、外界输入等则都是随机的。很多情况下，我们必须把系统视为随机系统。本章将介绍随机系统的建模与仿真方法。6.1 随机系统基本知识6.1.1 随机系统概述1 随机事件与随机变量在随机实验中，可能出现也可能不出现，而在大量重复实验中具有某种规律性的事件叫做随机事件。随机实验应具有以下特性：各次实验在相同的条件下进行。每次实验可能的结果不止一个，所有可能的结果事先是已知的。在实验之前不能确定会出现哪种结果。随机实验全部可能的结果的集合称为样本空间，与随机实验某个结果相对应的随机变量的取值称为随机变量的样本观察值。表示随机实验结果的变量称为随机变量。其严格定义为：设为随机实验，它的样本空间为，对于每一个，有一个实数与之对应，则就称之为随机变量。随机系统的建模与仿真即是随机事件的动态仿真。2 随机过程、样本函数随机过程(Stochastic Process)是一连串随机事件动态关系的定量描述。设（）是随机实验，每一次实验都有一条时间波形（称为样本函数），记为，所有可能出现的结果总体就构成一随机过程，记作。简言之，无穷多个样本函数的总体叫做随机过程，如图6-1所示。 图6-1 样本函数的总体-随机过程6.1.2 随机变量的统计特性随机变量用统计特性来表征。统计特性是指：概率密度函数、概率分布函数、均值、均方值、均方根、方差等。知道了以上统计特性，该随机变量就成为已知。1 概率密度函数概率密度函数表示每个值发生的可能性，即每个事件发生的概率分布，表示其中一个事件。概率密度函数的性质如下 (6.1) (6.2)2 概率分布函数随机变量的概率分布函数是指变量的值小于或者等于的随机变量的概率。定义为 (6.3)如果有两个随机变量，则可以用联合概率分布函数及联合概率密度函数来加以描述，定义如下：联合概率分布函数 (6.4)联合概率密度函数 (6.5)3 均值、均方值、均方根随机变量的均值定义为 (6.6)随机变量的均方值定义为 (6.7)随机变量的均方根定义为 (6.8)4 方差随机变量的方差定义为 (6.9)5 常用的几种概率分布(1)均匀分布若在区间中，连续型随机变量的概率密度函数为 ( 6.10)则称在区间上服从均匀分布，记作。从式(6.10)可知，其概率分布函数为 (6.11)均匀分布的概率密度函数和分布函数可用图6-2的曲线表示。图6-2 均匀分布的分布曲线在区间上均匀分布的随机变量的均值为方差为 (2)正态分布正态分布又称为高斯分布，是最常用的一种连续分布。若连续型随机变量的概率密度函数为 (6.12)其中为大于零的常数，则称服从参数的正态分布，记作。的均值为，方差为（为标准差）。当相同时，对于不同的，曲线具有相同的形状和不同的对称轴，如图6-3(a)所示。当相同时，对于不同的，具有相同的对称轴，越大时，曲线越平缓，如图6-3(b)所示。 （a）固定，改变 (b) 固定，改变图6-3 正态分布曲线可见，一般正态分布的密度函数曲线处为极大值，图形对称于轴线，当不同时，曲线的“胖”、“瘦”不同。正态随机变量取值在期望值两侧的一倍，两倍，三倍范围的概率分别为因此，正态随机变量取值几乎都在范围之内。正态分布随机变量的概率分布函数为的曲线如图6-4所示。图6-4 正态分布曲线当时的正态分布称为标准正态分布，记作，其概率密度函数为其概率分布函数为(3)泊松分布若离散型随机变量的概率分布为 (6.13)其中为常数，则称服从参数的泊松分布，记作。其中参数为泊松分布随机变量的均值和方差。(4)指数分布若连续型随机变量的概率密度函数为 (6.14)其中为常数，则称服从参数的指数分布。的概率分布函数为 (6.15)指数分布的和，得曲线如图6-5所示。可见，服从指数分布的的均值为，方差为。（a）指数分布的曲线 (b) 指数分布的曲线图6-5 指数分布曲线(5)分布和爱尔朗分布以为参数的广义积分，当时收敛，它所确定的函数称为的函数，记作若随机变量的概率密度函数为 (6.16)其中为常数，则称服从参数的分布。在式（6.16）中，当为整数式，令，则有 (6.17)其中，为大于零的整数，则称随机变量服从阶爱尔朗分布，其概率分布函数为它的均值为，而方差则为。个相互独立，具有相同分布的指数分布随机变量之和服从爱尔朗分布。即若有个相互独立的随机变量，其概率密度函数为那么，随机变量 其概率密度函数为6.1.3 随机过程的统计特性随机过程在任一时刻的状态是随机变量，因此可以用随机变量的统计描述方法描述随机过程的统计特性，它包括：1.，称为随机过程的一维概率分布函数。2.，称为随机过程的二维概率分布函数。一直可以扩展到维概率分布分布函数族就完全确定了随机过程的全部统计特性。根据统计规律性，随机过程可分为两类：平稳随机过程和非平稳随机过程。若一个随机过程的统计特性不依赖于时间的原点（即定常的），则它是平稳随机过程；若它的统计特性明显依赖于时间原点，则它是非平稳随机过程。对于平稳随机过程，其统计特性表征量有：均值，方差，自相关函数，自协方差函数等。1.幅值域(时域)特性对于各态历经平稳随机过程（即平稳随机过程的数据特征与一个样本函数的时间平均数据特征相同），随机过程统计特性可以简化为的时间统计特性。统计特性有:(1)均值 (6.18)(2)方差 (6.19)(3)均方值 (6.20)常见的随机过程都是平稳且各态历经的，所以可以用随机过程的样本函数的时间平均特性来表征随机过程的统计特性。2.自相关域特性自相关函数是对随机过程在相关域上的特性描述。它表征随机过程在一个时刻和另一时刻采样值之间的相互依赖程度，即表征信号随机变化的程度。对于平稳随机过程，有自相关函数 (6.21)反映了在时刻和的值和的相关性，或者说已知，的可预见性。自相关函数大，则变化缓慢，由预见的可能性大；自相关函数小，则相反。是一个偶函数，即，并且在时有最大值，即。3.频域特性功率谱密度是对随机过程在频域上的特性描述，它是自相关函数的傅里叶变换，有功率谱密度函数 (6.22)其逆变换为 (6.23)以上两式构成傅里叶变换对，称为维纳-辛钦公式。功率谱密度函数表示随机过程的均方值（总能量）在频率域内的分布情况。6.1.4 白噪声的统计特性白噪声是最简单的一种随机过程。所谓白噪声是指它的自相关函数为一理想脉冲函数，它的功率谱密度是一个常数。有 (6.24) (6.25)式中为白噪声的方差，为脉冲函数。由式(6.24)知，白噪声的特点是：某一时刻的对另一时刻的值没有任何影响，即互不相关。从频域角度看，白噪声的能量在整个频谱上均匀分布。如图6-6所示。图6-6 白噪声的自相关函数及功率谱密度另外，由于，它表示平均功率为无穷大，这显然是不可能的，因此白噪声只有理论上的价值，实际上只有近似的白噪声，即在系统感兴趣的频带之内是一个常数，而也只是近似于一个脉冲。如图6-7所示。图6-7 近似白噪声的自相关函数及功率谱密度凡是不符合上述白噪声特性的随机噪声称为有色噪声。任何一种有色噪声都可以由白噪声通过一个线性系统来获得。6.2 随机系统模型简介假设某一随机系统为一线性时变系统，其数学模型可用状态方程描述 (6.26)式中：为系统的状态变量；为随机初值；为系统输出；为外界扰动，为随机变量；为系数矩阵，为确定量；为输入矩阵，为确定量；为输出矩阵，为确定量；为系统参数随机误差；亦为系统参数随机误差。由状态方程可知，随机系统与确定性系统区别在于：随机变量，随机误差。随机变量通常用概率密度函数表示。常见的概率密度函数有：1 均匀分布2 正态分布3 二项式分布4 泊松分布5 指数分布常见的随机系统模型有：1 随机常数2 随机斜坡3 随机游动4 指数相关的随机过程5 组合模型6 自回归-滑动平均模型ARMA(p, q)6.3 随机变量的分布参数估计1.分布参数的类型对于某一种确定不变的分布类型，它的密度函数或者是概率分布函数是确定不变的，之所以每种分布还能衍化出各种各样的变化，是因为分布参数起了决定性的作用。一般对于一个理论分布，在分布类型已确定的前提下，只要求出其分布参数，这个分布就完全确定下来了，比如正态分布的参数和，以及泊松分布的参数。定义分布所采用的大多数参数，根据其物理或几何解释，可分为三个基本类型。它们分别是：(1)位置参数位置参数确定了一个分布函数取值范围的横坐标。当改变时，相应的分布参数仅仅向左或向右移动而不发生其它变化，因而又称为位移参数。通常是在分布范围的中点或者两端的极值。两个随机变量和（属于同一分布类型），若两者仅仅在位置上有所不同，则应存在一个实数，使与分布相同。例如，均匀分布参数，其密度函数为 (6.27)其中参数定义为位置参数，当改变时(保持不变)，向左或向右移动（参见图6-2）。(2)比例参数比例参数决定分布参数在其取值范围内取值的比例尺。的改变只压缩或扩展分布参数，而不会改变其基本形状。改变后，分布函数的形状完全不变是不可能的，因为分布密度函数在上各点的值并不是按同一比例压缩或扩张。因为分布密度函数在上的积分结果必定是1，所以这里所指基本形状是指分布曲线在直观上的形状。两个随机变量和，如果存在一个实数，使得和具有相同的分布，我们称和仅仅是比例尺不同的、属于同一分布类型的随机变量；如果能找到实数和，使得与同分布，则称和仅是位置和比例上不同的、属于同一分布类型的随机变量。例如，指数分布函数，其密度函数为 (6.28)图6-8给出了是的图形。图6-8 指数分布的密度函数(1)形状参数形状参数确定分布参数的形状，从而改变分布参数的性质。对于一种类型的分布，人们最感兴趣的就是分布的基本形状。有些分布是没有形状参数的，如指数分布和正态分布，当参数改变时，这些分布的曲线形状基本上变化不大。而同时，另一些分布可能有几个形状参数。例如，韦伯分布，其密度函数为 (6.29)当改变时，其形状发生很大的变化。图6-9给出了时的图形。图6-9 韦伯分布的密度函数如果不存在和，使与的分布相同，则与或者其形状参数不同，或者根本不服从同一类分布。2.分布参数的估计当已经假设了仿真模型中的随机模型的分布类型，为了完全确定一个分布，以便在仿真过程中取样，我们必须设法确定分布类型中所含参数的数值。具体来说，在实际建模过程中，对于一些统计问题，总体的分布类型一般认为是已确定的，总体分布的未知因素集中在一个或几个参数上，这时只要对这些未知参数作出估计，就可以认为总体分布是确定的了，并将在此基础上建立的仿真模型用于仿真系统。这种参数的特点是：随着参数的确定，总体分布就确定了。我们称这种参数为总体参数（记作，当参数不止一个时，为所有未知参数组成的向量），并称总体参数可能取值的范围为参数空间（记作）。假如我们已经收集到被仿真实际系统随机变量的实际数据,根据这些数据对分布类型中的未知总体参数进行估计的过程就叫做参数估计。参数估计问题的实质是：给出了一族分布函数，只知道其中有一个是总体分布函数，但不知道究竟是哪一个，需要根据样本来估计这个实际的总体分布。由于参数表征了分布函数，所以问题归结为根据样本来估计这个实际上的值。一旦根据样本提供的信息对做出了估计，也就相当于在分布函数族中选定了一个具体的分布函数作为总体分布函数的估计。所谓根据样本（即被仿真系统随机变量实际观测值）来估计，就是要构造一个统计量，并在取得样本观测值后，用统计量的观测值作为的估计值。由观测数据估计某一分布参数的方法很多，使用最普遍的是最大似然估计，其它还有最小二乘估计，无偏估计等。本节我们讨论最大似然估计，其它方法见本章最后一节系统辨识。设总体的密度函数为，若密度函数中包含多个参数，则实际为一个向量。先讨论只有一个未知数的情形，设该参数为，观测数据为。在离散分布情形，可令为该分布的概率质量函数（概率质量函数是离散随机变量在各自特定取值上的概率），定义似然函数为则是联合质量函数，的最大似然估计值是使取最大值的，即对于所有可能的值，。在连续分布情形下，令为该分布的概率密度函数，其似然函数定义为下面通过两个例子来说明如何由观测值估计分布的参数。例1 指数分布，被估计的参数，其分布密度函数为。由为求使取最大值，先对取自然对数由于是严格递增的，取最大值等价于取最大值，为此，对求极值可得 又由当时，由于为正，可见，因而为最大值，从而得到参数的最大似然估计值为例2 泊松分布，被估计参数，分布质量函数为由参照例1中相同的做法，令则又由所以泊松分布参数的最大似然估计值为对于多个参数估计问题，上述方法原则上仍然是适用的，只是计算上要繁琐些，我们就不再举例加以说明了。在有些情况下，分布参数的似然函数难以解析地得到，此时则要采用数值计算方法。表6.1及表6.2分别列出了常见的连续分布及离散分布的其最大似然估计的计算公式。表6.1 连续分布参数最大似然估计名称密度函数参数最大似然估计均匀分布位置参数比例参数指数分布比例参数分布形状参数比例参数是的导数韦伯分布Weibull形状参数比例参数正态分布为实数位置参数比例参数对数正态分布形状参数比例参数分布形状参数是的导数表6.2 离散分布参数最大似然估计名称质量函数参数最大似然估计伯努利分布离散均匀分布位置参数比例参数二项分布为正整数若已知，若未知，则较困难几何分布负二项分布为正整数若已知，若未知，则较困难泊松分布6.4 随机系统的仿真方法随机系统仿真有两种方法，即蒙特卡罗(Monte Carlo)法和伴随系统(Adjoint System)仿真法。6.4.1 蒙特卡罗仿真法1.蒙特卡罗方法概述蒙特卡罗法亦称为概率仿真方法，有时也称作随机抽样技术或统计实验方法。它是一种通过随机变量的统计实验、随机仿真来求解数学物理、工程技术问题近似解的数值方法。由于它以概率论、数理统计的理论为基础，一些物理学家给它起了一个新颖的名字蒙特卡罗(Monte-Carlo)方法，以表示其随机特征。为了得到系统的统计性能指标，直接的方法是拿一批数量足够大的实际系统去做实验，实验数据经统计计算后得到系统的统计性能指标。直接用实验方法获取系统统计性能的方法又叫随机实验法。蒙特卡罗仿真法是随机实验法在实验室用仿真手段的复现。实现蒙特卡罗仿真主要有以下步骤：第一，建立随机系统模型；第二，多次循环仿真，记录每次仿真的主要结果；第三，多次仿真结果的后处理，计算统计特性，如均值、方差、频谱或相关函数。其中随机系统模型包括系统随机参数误差模型(分布规律、方差)、随机初始条件模型(分布规律、方差)、系统随机干扰模型(分布规律、方差及频谱)。多次循环仿真过程中，每次仿真前需要给随机系统参数和初始条件赋值。仿真过程中每步需要给随机干扰赋值。蒙特卡罗仿真法的步骤如图6-10所示。图中是正整数，用来控制仿真循环次数。经验证明当时，仿真统计结果是可信的。蒙特卡罗仿真法的特点是：第一，适应线性系统和非线性系统，使用限制条件少；第二，仿真工作量大。尤其系统存在多种随机因素，而且想得到每种因素对系统的影响时更为繁琐。图6.10 蒙特卡罗仿真步骤2.蒙特卡罗方法的概率收敛性根据大数定律，是个独立的随机变量，它们有相同的分布，且有相同的有限期望和方差，。则对于任意，有 (6.30)由伯努利定理说明，设随机事件的概率为，在次独立实验中，事件发生的频数为，频率为，则对于任意的，有 (6.31)蒙特卡罗方法从总体抽取简单子样做抽样实验，根据简单子样的定义，为具有同分布的独立随机变量。由式(6.30)和(6.31)可知，当足够大时，以概率1收敛于，而频率以概率1收敛于，这就保证了使用蒙特卡罗方法的概率收敛性。由于蒙特卡罗方法的理论基础是概率论中的基本定律大数定律。因此，此方法的应用范围，从原则上说几乎没有什么限制。6.4.2 伴随系统仿真法伴随系统仿真法是将原系统转变成它的伴随系统，再用伴随系统仿真代替原系统仿真的一种仿真方法。与蒙特卡罗仿真法相比，伴随系统仿真的特点是：第一，只适用于线性时变或非时变系统；第二，一次仿真可以得到系统的统计特性，因而仿真工作量小；第三，当系统存在多个干扰时，一次仿真可以获得每个干扰引起的系统响应的分量，这是蒙特卡罗仿真法无法做到的。1.伴随系统伴随系统是原系统的共轭系统，共轭的含义是指时间上和输入/输出间的共轭。假定用以下状态方程 (6.32)代表一个线性时变系统。这里，为维系统状态变量，为维输入，为维输出，分别为，维实数阵，分别为系统的开始及结束运行时间。如果上式是原系统状态方程，它的伴随系统状态方程为 (6.33)上式中，叫伴随状态，是维向量；叫伴随输入，是维向量（与原系统输入的维数可能不同，而与原系统输出的维数同）；叫伴随输出，是维向量（与原系统输入的维数同）；，是伴随系统的时间自变量，伴随系统时间的原点（）为原系统的结束时间，伴随系统时间（）为原系统的开始时间；式中的，为，的时间由置换后的转置阵。因此，如果知道原系统模型，就可以按式(6.33)求出它的伴随系统模型。2.伴随系统的性质假定为原系统的脉冲响应过渡函数，这里和分别为系统响应的观察时间和脉冲加入时间。再假定为其伴随系统的脉冲响应过渡函数，和分别为伴随系统响应的观察时间和脉冲加入时间。可以证明两个系统的脉冲响应过渡函数和有以下关系 (6.34)这意味着：原系统时刻作用的脉冲引起的系统脉冲响应在的值，等于伴随系统时刻作用的脉冲引起的伴随系统的脉冲响应在的值。当我们研究系统在的响应时这一关系变得特别重要，由于这种情况下，上式变成 (6.35)分析上式，可以看出：原系统脉冲施加时间从变化到产生无数个脉冲响应，在观察到每个脉冲响应的值等于伴随系统在作用一个脉冲引起的响应在不同的观察时间观察到的值。这一关系可用图6-11形象的说明。图6.11 原系统和伴随系统脉冲响应的关系原系统，作用的脉冲响应在观察到的值，分别与, 相等，它们是伴随系统零时刻作用的脉冲引起的系统响应在时刻，观察到的值。伴随系统这一性质给我们利用系统脉冲响应函数计算系统响应的终值带来方便。例如，求图6-12所示系统的输出，图中的和分别为系统的脉冲过渡函数和输入。 图6.12 脉冲响应与输出用卷积公式计算系统输出为 (6.36)积分是对脉冲的加入时刻进行的，必须对无穷多个脉冲进行无数次积分才能得到的值。如果利用伴随系统与原系统脉冲响应之间的关系，则有 (6.37)是一确定的函数，一次积分即可得到的值，用脉冲函数积分求系统响应成为可能。3.伴随系统的仿真对于随机过程作用下的线性系统，输入输出间关系的时域和频率域表示如图6-13所示： (a) 线性系统的时域表示 (b) 线性系统的频域表示图6.13 随机过程与线性系统根据工程数学的知识，可用卷积表示系统输入输出间的关系，即 (6.38) 由上式得的均方值表达式为 (6.39)上式反映了系统输入输出间的时域关系。对于白噪声，将带入上式，得到输出的均方表达式为 (6.40)将系统的脉冲响应函数以代替，并考虑到脉冲的作用时间和脉冲函数的观察时间，可有 (6.41)为白噪声的方差。如果用上式仿真是无法进行的，因为积分是按照脉冲的加入时间进行的，有无数个脉冲响应函数，经无数次积分才能得到系统响应的均方值。对于伴随系统，是可以得到的。我们已知以下关系代入，有令，则，代入上式得当观察时间时，上式变为 (6.42)是一脉冲作用时间为的脉冲响应函数，积分是相对脉冲函数的观察时间进行的，用仿真的方法完成上式得积分成为可能。图6-14(a)是一个线性时变系统，有个方差为的白噪声输入。仿真的任务是求每个输入引起的系统输出在时刻的均方和总输出的均方。 (a) 原线性时变系统 (b) 伴随系统图6.14 原线性时变系统和伴随系统的等价关系为了完成仿真任务，用蒙特卡罗仿真法，每个输入至少作60次仿真，采集每次仿真终了时间的，而后求出每个的均方。总输出的均方为个的和，即总共为50次仿真。图6.14(b)是它的伴随系统。原系统的输出点变为伴随系统的输入点，输入为脉冲。伴随系统的输出点为原系统的输入点，输出为伴随系统的脉冲响应函数。乘方后，积分得输入对输出均方的灵敏度（输入的方差为1时引起输出的均方），再乘以得每个输入引起的输出均方。在伴随系统上仿真，一次运行就能得到所有个输入引起的系统输出的均方，而且由于积分是相对脉冲响应时间进行的，所以每个的信息都是有意义的。而后个均方求和，便得到个输入引起的输出总均方，即 6.5 几种常见的模型1.随机常数一个连续随机常数可表示为 (6.43)与其相应的离散过程为 (6.44)随机常数表示初始条件是一个随机变量，因而相当于一个没有输入但有随机初始值的积分器的输出，如图6-15所示。图6-15 随机常数2.随机斜坡随机过程随时间线性增长，但是增长的斜率则是具有一定概率分布的随机量。 (6.45)图6-16为其结构图图6-16 随机斜坡相应的离散方程为 (6.46)3.随机游动一个白噪声过程通过积分器后，则输出就不再是一个白噪声过程了。如果输入的白噪声过程具有零均值和平稳的正态分布，则输出就称为维纳过程，也称作随机游动。 (6.47)式中 。图6-17为其结构图。图6-17 随机游动相应的离散方程为 (6.48)式中为采样周期。4.指数相关的随机过程随机过程具有如下指数型相关函数 (6.49)式中，为随机过程的方差，为过程的相关时间。这种指数相关的随机过程可以用由白噪声输入的线性系统输出来表示，即 (6.50)图6-18为其结构图，显然这是一个一阶马尔可夫过程。如果具有高斯分布，则也为高斯分布，称作高斯马尔可夫过程。其相应的离散方程为 (6.51)式中 图6-18 马尔可夫过程5.组合模型图6-19所示随机过程为由随机常数、随机游动、随机斜坡以及一阶马尔可夫过程组合而成。图6-19 组合模型随机模型可表示为 (6.52)其初始值分别为、，均为随机常数。用状态空间表示为 (6.53) (6.54)与其相应的离散过程可表示为 (6.55) (6.56)初始状态为、。6.自回归-滑动平均模型（ARMA）时间序列就是离散的随机过程，而其每一个样本就是所观测到的一组有序的随机数据。正是数据的这种顺序与大小反映了数据内部的相互联系或规律性，蕴含了产生这些数据的现象、过程和系统的有关特性。设时间序列，其自回归-滑动平均模型表示为 (6.57)式中，为自回归阶次，为滑动平均阶次，为平均值，。当时，为滑动平均模型（MA模型）；当时，为自回归模型（AR模型）。从信号处理理论角度上看，这一参数模型是一成形滤波器，设，则 (6.58)式中，为的滤波值，为滤波误差。一般来说，这参数模型称作系统离散形式的动力学方程。输入为白噪声，输出为观测数据，系统的传递函数为，其中为后移算子，如，特别值得指出的是，在许多情况下，对于产生数据的系统而言，当输入不清楚时，或当系统本身不清楚时，或当噪声太大时，或当输入与输出的关系不完全清楚时，总之，当系统的输入与输出的因果关系不完全清楚时，直接采用系统辨识的方法一般是不可能的，而采用基于统计理论的时序分析方法，可以建立起一维或多维的在白噪声驱动下的系统参数模型。6.6 系统辨识6.6.1 系统辨识的概念与分类系统辨识是一种借助实验输入输出观测数据确定过程动态品质或系统结构和参数的理论与技术。系统辨识的分类很多，根据描述系统数学模型的不同可分为线性系统和非线性系统辨识、集中参数系统和分布参数系统辨识；根据系统的结构可分为开环系统与闭环系统辨识；根据参数估计方法可分为离线辨识和在线辨识等。其中，离线辨识与在线辨识是系统辨识中常用的两个基本概念。1.离线辨识经过实验测试获得全部记录数据之后，选好系统的模型结构，确定模型阶数，用最小二乘法等参数估计方法，对数据进行集中处理，得到模型参数的估值，这种辨识方法称为离线辨识。离线辨识的优点是参数估值的精度比较高，缺点是需要存储大量数据，要求计算机有较大的存储量，辨识时运算量也比较大；而且可以反复调整模型的结构和阶次以获得最准确的模型。2.在线辨识对于在线辨识，系统的模型结构和阶数是事先确定好的。当获得一部分输入和输出数据后，马上用最小二乘法等参数估计方法进行处理，得到模型参数的不太准确的估值。在获得新的输入和输出数据后，用递推算法对原来的参数估值进行修正，得到新的参数估值，所以在线辨识要用到递推、最小二乘法等估计算法。在线辨识的优点是所要求的计算机存储量较小，辨识计算时运算量较小，适合于进行实时控制，缺点是参数估计的精度差一些。为了实现自适应控制，必须采用在线辨识，要求在很短的时间内把参数辨识出来，参数辨识所需时间只能占一个采样周期的一小部分。6.6.2 系统辨识的内容和步骤系统辨识的研究内容主要包括：实验设计；模型结构确定；模型参数估计；模型验证。辨识内容及步骤如图6-20所示。图6-20 系统辨识的一般步骤图6-20表明，对于一种给定的辨识方法，从实验设计到获得最终模型，一般要经过如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。(1)明确辨识目的。明确模型应用的最终目的十分重要，因为它将决定模型的类型、精度要求及所采用的辨识方法。(2)掌握和运用先验知识。在进行系统辨识之前，要尽可能多掌握一些系统的先验知识，如系统的非线性程度、时变或非时变、比例或积分特性、时间常数、过渡过程时间、截止频率、时滞特性、静态放大倍数、噪声特性等，这些先验知识对预选系统数学模型种类和辨识实验设计将起到指导性的作用。并且，可利用先验知识来选定和预测被辨识系统数学模型的种类，确定验前假定模型。(3)实验设计。选择实验信号、采样间隔、数据长度等，记录输入和输出数据。如果系统是连续运行的，并且不允许加入实验信号，则只好用正常的运行数据进行辨识。如果难以产生和施加人工实验信号，可采用自然信号。但这种自然信号的频谱特性应当比较丰富，能持续充分地激励被辨识系统。(4)数据预处理。输入和输出数据中常含有直流成分或低频成分，用任何辨识方法都难以消除它们对辨识精度的影响。数据中的高频成分对辨识也有不利影响。因此，对输入和输出数据可进行零均值化和剔除高频成分的预处理。零均值化可采用差分法和平均法等方法，剔除高频成分可采用低通滤波器。(5)模型结构辨识。模型结构辨识包括模型验前结构的假定和模型结构参数的确定两个内容。模型结构假定就是根据辨识的目的，利用已有的知识（定律、定理、原理等）对具体问题进行具体分析，包括机理分析、实验研究和近似技巧，确定一个验前假定模型，再用模型鉴别方法选出可用的模型来。为此，首先要明确所要建立的模型是静态的还是动态的，是连续的还是离散的，是线性的还是非线性的，是参数模型还是非参数模型等。然而，模型的验前结构并不一定是最终的模型形式，它必须经过模型检验后才能确认。模型结构辨识的第二个内容就是在假定模型结构的前提下，利用辨识的方法确定模型结构参数。比如，某一动态模型的结构决定选用差分方程的形式其中那么模型结构辨识就是确定模型结构参数，（阶次）和（纯时滞）。(6)模型参数估计。在模型结构确定之后，选择估计方法，利用测量数据估计模型中的未知参数。参数估计的方法很多，其中最小二乘法是最基本、应用最广泛的一种方法，多数的工程问题都可以用它得到满意的辨识结果。但是，最小二乘法也有一些重大的缺陷，比如过程是时变的或受到有色噪声严重污染时，它几乎不能适应。(7)模型验证。验证所确定的模型是否恰当地表示了被辨识的系统。一般的方法是：将测量输出（非参数模型）和模型的计算输出（参数模型）相比较，模型参数须保证两个输出之间在选定意义上的接近或一致程度。如果所确定的系统模型达到满意的一致程度，则辨识到此结束。当不一致时，则修改模型结构假定，甚至修改实验设计，重复进行实验，直到得到一个满意的模型为止。6.6.3 系统辨识建模方法目前，线性系统的辨识理论比较成熟，其主要方法有：最小二乘法，递推最小二乘法，广义最小二乘法，增广最小二乘法，辅助变量法，Kalman滤波法，极大似然法等。而非线性系统的辨识还没有构成完整的科学体系，在理论上和应用上都没有线性系统那样完善，所有对非线性系统辨识进行的研究一般都是针对具体的系统。非线性系统的辨识一般有多项式逼近法和Volterrra级数展开法（包括Hammerstein模型、Wiener模型）等。采用辨识建模方法获得的系统模型形式也是多种多样的，如代数方程、微分方程、差分方程、状态方程等。1.线性系统参数估计的最小二乘法线性系统数学模型的参数估计理论发展比较早，也比较成熟。参数估计的方法非常多，最小二乘法是其中应用最多的一种基本方法，而其它的一些方法又是在它的基础上发展起来的。对于一个单输入单输出的线性定常系统，通常可以用一个离散时间的差分方程来描述，即(6.59)式中，和式系统实际测量到的输入输出序列；是零均值具有相同分布的不相关的随机序列；表示系统的阶次。要辨识上述系统包括两个问题：如何从输入、输出数据确定模型的阶数；在已知模型的阶数时，如何从输入、输出数据估计模型中的位置参数、 。上述第一个问题是系统模型的结构辨识问题，这里暂不讨论，并假定模型的阶数是已知的。这里只讨论第二个问题，即参数估计的最小二乘法。式(6.59)可以改写成 (6.60)可以对输入、输出进行多次观测，比如观测次，得到实测的输入、输出序列 为了估计上述个未知参数，要构造个观测方程，即(6.61)此即为观测方程组。若此方程组用向量-矩阵的形式表示，则可写成 (6.62)有时简写成 (6.63) 式中 (6.64)= (6.65) (6.66)从式(6.61)中容易看出，每一个观测方程可以表示为 (6.67)式(6.59)和式(6.67)可称为最小二乘模型类，它们最后都要变成式(6.62)。它可称为最小二乘的标准格式。参数估计的最小二乘原理（准则）就是从式(6.59)一类模型中找出这样一个模型，在这个模型中，系统的参数向量的估计量，使得在观测方程组的参差平方和（指标函数、代价函数、损失函数等） (6.68)为最小。根据数学分析中的求极值原理可知：因为是的二次函数，它的极小值是存在的。为了求出这些参数，必须解方程组 (6.69)此方程组即为正则方程组（个），如果写成向量-矩阵形式，则为 (6.70) 或 (6.71)当矩阵为非奇异时，可以得到参数向量的最小二乘估计为 (6.72)并且，这个估计量是唯一的。在上述基本最小二乘基础上，还发展了能够进行实时在线估计的无限记忆的、渐消记忆的和限定记忆的递推最小二乘法。在线性静态系统的模型中，与不相关，也是零均值不相关序列，因此，用最小二乘法进行它的参数估计是无偏的和一致的，使用上很成熟。而在线性动态系统的模型中，与相关，一般情况下也是相关序列，所以其参数估计是有偏的和非一致性的。因此，在基本最小二乘基础上加以改进的方法有：广义最小二乘法、辅助变量法和增广矩阵法；将一般的最小二乘法与其它方法相结合的方法有相关分析最小二乘两步法和随机逼近算法。广义最小二乘法就是对系统过程模型的输入、输出和过程噪声加以变换（滤波），变成一般最小二乘法的标准格式，再用一般的最小二乘法对系统的参数进行估计，但需要对滤波器加以近似。模型参数是交替地用离线的迭代算法和在线的递推算法来估计。辅助变量法就是引进一个辅助变量矩阵，使之提供一个原系统模型参数不变的新的辅助模型，此模型中的辅助变量矩阵与过程噪声无关。在进行参数估计时，使之所估计的参数为弱一致的。增广矩阵法就是使系统模型变换成符合一般最小二乘法的标准格式，并将模型参数和噪声模型参数同时估计出来的方法。但是在辨识过程中是用近似估计的噪声序列来代替白噪声序列。这一方法和广义最小二乘法的不同点在于，后者噪声模型参数估计和系统模型参数的估计是交替进行的。相关分析最小二乘两步法是首先用相关分析方法辨识系统的脉冲响应函数（相关函数）。在系统模型结构已知的情况下，由系统的脉冲响应函数（相关函数）组成新的符合一般最小二乘标准格式的模型，然后进行其参数估计。这一方法具有相关分析辨识方法的优点。随机逼近算法是一种一般随机逼近算法和最小二乘法相结合的方法。在这种方法中，参数的估计是有偏的。根据方法中的假定，再将这个可计算的偏差补偿掉，以达到无偏的和一致的参数估计。2.系统参数与状态估计的极大似然法在实际工程中广泛应用的辨识方法还有极大似然法。极大似然法既可用于线性系统的参数和状态估计，也可用于非线性系统的参数和状态估计。极大似然法(ML)的基本思想是构造一个以数据和未知参数为自变量的似然函数。当这个函数在某参数向量上达到极值时，就得到了有关参数的极大似然估计。应用极大似然法建立等效数学模型时，所采用的指标函数即是似然函数。设是一个随机变量，其概率密度依赖于某未知参数。为了由观测值估计，要选取使似然函数极大化的那个值。如果对所有的值，是中的最大值，那么是准确的参数值的可能性就最大。这时，我们就称是的极大似然估计，并记为。(1)独立观测时的似然函数似然函数其实就是量测值的概率密度函数。为了确定似然函数，必须具有能够写出被观测到的输出值的概率密度的先验知识。因为观测是独立的，它们的联合概率密度函数可以简单表示为每个观测的概率密度的乘积。设为观测值，则似然函数为 (6.73)如果概率密度是高斯分布的情况，即 (6.74)其中为均值，为标准差，均依赖于未知参数，于是似然函数可写为 (6.75)其中。对数似然函数就是 (6.76)这样，似然函数的极大化导致对数似然函数式(6.76)的极小化。如果参数已知，似然函数极大化显然等价于最小二乘准则 (6.77)的极小化。如果是未知的，式(6.76)的极小化可如下进行：首先极小化二次损失函数，然后通过简单计算可以证明式(6.76)在 (6.78)处达到极小值。以上说明，在高斯观测情况下，似然函数的极大化可以化为二次损失函数式(6.77)的极小化。(2)多变量高斯分布时的估计准则如果是具有同协方差的维独立高斯分布序列，那么，可得似然函数为 (6.79)同样，对于同一类模型，其似然函数应为 (6.80)根据对模型结构、实验数据和噪声的了解和掌握，极大似然函数可以转化为各种具有明确物理意义的极大似然准则函数。现在分两种情况讨论。为已知的情况这时估计参数的极大化似然函数准则等价于下式极小化 (6.81) 为未知的情况由于对数似然函数是单调增加的函数，故与同时达到极大。因此，似然函数的极大化等价于 (6.82)的极大化，即等价于 (6.83)的极小化。将上式关于微分，就给出 (6.84)令，便得 (6.85)通过上述分析可以看到，对于任何值，式(6.85)所确定的，极大化了似然函数；而且如果对简单地施加约束，还能缩小最优化问题的范围。把式(6.85)代入式(6.83)中，就有 (6.86)由此可见，关于极小化就等价于下式极小化 (6.87)式(6.81)和式(6.87)即是多变量高斯分布时系统参数的估计准则。如果对于实验数据的统计特性充分地了解和掌握，极大似然法无论是建立线性等效模型，还是建立非线性等效模型都十分有效，且性能优异。应用极大似然法对模型参数进行估计，首先必须知道系统的状态。对于线性定常系统来说，系统的状态可用状态观测器来估计。对于有随机干扰的系统，它的状态可用卡尔曼滤波器来估计。当系统的参数已知，观测噪声和过程噪声是独立的、零均值高斯白噪声时，卡尔曼滤波器给出的状态估计是最优的。由于实际系统的参数和噪声的统计特性是很难确切知道的，这时可将未知参数扩展为系统的状态，然后采用卡尔曼方法对未知状态和参数同时进行估计，这就是扩展的卡尔曼滤波器。对于建立线性等效模型，扩展的卡尔曼滤波器在准确了解系统噪声统计特性的情况下是十分有效的。将非线性系统线性化后，再用卡尔曼滤波器估计系统状态，就可以估计非线性系统的状态，这种滤波方法称为广义卡尔曼滤波。在实际应用中常常将卡尔曼滤波方法和其它方法结合起来应用。如K