最小二乘法和神经网络系统辨识的设计

中文摘要 - I - 摘摘 要要 随着科学技术的发展，各门学科的研究方法进一步趋向定量化，人们在生 产实践科学实验中对研究的复杂对象通常通过观测和计算定量判明其内在规律， 为此必须建立所研究对象的数学模型，由此提出了系统辨识问题。 文中介绍经典辨识方法中应用较为广泛的最小二乘法辨识。最小二乘通过 极小化误差的二次方和函数确定模型参数。详细分析了最小二乘法、最小二乘 估计及其性质，通过对一给定系统利用 Matlab 求出模型参数表明该算法的有效 性。 然而由于经典辨识方法对一些不能线性化的非线性系统进行辨识，我们提 出了人工神经网络辨识系统。它不需要预先知道被测系统的模型，通过直接学 习系统的输入输出数据实现。文中重点了分析 BP 网络辨识，并且在 Matlab 环 境下应用 BP 神经网络建立时间序列人口预测模型，检测预测效果。 关键词：系统辨识 最小二乘法 神经网络 英文摘要 - II - Abstract With the development of science and technology, research methods of each discipline tends to further quantitative, in the production practice of scientific experiments in the study of complex objects, usually through observation and calculation of quantitative ascertain its inherent law, this must be established to study mathematics model, which proposed a system identification problem. Describes the definition of system identification, the contents of step, classification, and introduces of the input signal of the system identification.Least squares by minimizing the quadratic error and functions to determine the model parameters. Detailed analysis of the least squares method, least squares estimation and its properties, and show that the effectiveness of the algorithm by using Matlab to calculate the model parameters for a given system. Since the classical identification method can not be linearized nonlinear system, helpless, artificial neural network recognition system. It does not need to know in advance the model of the system under test, and achieve through learning system input and output data.In this paper, the focus of the BP network identification and application of BP neural network time series of population projections model, testing the prediction effect. Keywords: System identification Least squares method Neural netwo 目录 III 目 录录 摘 要I ABSTRACT.II 目 录III 第一章 绪论 .1 1.1 问题的提出及研究意义 1 1.2 系统辨识的发展和现状 1 第二章 系统辨识3 2.1 辨识的定义 3 2.2 辨识的内容和步骤 3 2.3 辨识的分类 4 2.3.1 离线辨识 4 2.3.2 在线辨识 .5 2.4 辨识的输入信号 5 2.4.1 白噪声.6 2.4.2 伪随机二位式序列 7 第三章 最小二乘法辨识.9 3.1 最小二乘法 9 3.2 最小二乘估计算法 12 3.3 最小二乘估计的概率性质 15 第四章 基于神经网络的系统辨识.19 4.1 神经网络的简介 19 4.1.1 神经网络的结构和类型 .19 4.2 BP 网络辨识.21 结结 论论 34 参考文献35 致谢36 第一章 绪 论 - 1 - 第一章 绪 论 1.1 问题的提出及研究意义 在自然科学和社会科学的许多领域中，人们越来越重视对系统进行定量的 系统分析系统综合仿真控制和预测。而将被研究对象模型化，是开展这些工作 的前提和基础，即建立系统的数学模型，测试法是建模的方法之一。测试法是 通过分析未知系统的实验或输入输出数据，来建立一个与所测系统等价的数学 模型，测试建模的方法就是系统辨识。 系统辨识状态估计和控制理论是现代控制论中相互渗透的三个领域。辨识 和状态估计离不开控制理论的支持，控制理论的应用又几乎不能没有系统辨识 和状态估计技术。由于控制对象的复杂性的提高，控制理论的应用日益广泛。 系统辨识研究如何确定系统的数学模型及参数，它的理论正日趋成熟。目前不 仅工程控制对象需要对象建立数学模型，而且在其它领域，如生物学、医学、 天文学及社会经济学等领域也常常需要建立数学模型，并根据数学模型确定最 优控制决策。 传统的辨识技术有最小二乘法辨识、极大似然法辨识时变参数辨识方法， 但在解决问题上出现了一些局限性，而神经网络的一些特征对系统辨识特别有 用。本文主要研究最小二乘法和神经网络进行系统辨识的设计。 1.2 系统辨识的发展和现状 系统辨识在 60 年代发展成现代控制理论的一个活跃分支，人们借助数学 模型进行各种系统的研究，可以获得显著成效。于是，系统辨识被推广至其它 广泛领域，如水文学、生物学等各种领域。 20 世纪 90 年代以来的发展新动向： （1）辨识与控制的配合及鲁棒辨识 鲁棒辨识或适合控制的辨识等研究 是辨识与控制结合在系统辨识理论方面的革新。各种鲁棒控制器的设计均将建 模误差或系统不确定性作为控制器设计条件之一，而鲁棒辨识将系统不确定性 作为辨识条件，将建模误差作为辨识目的。 第一章 绪 论 - 2 - （2）时变动态系统的跟踪 时变动态系统的跟踪是目前辨识领域十分活 跃的研究课题。不同于时不变系统，时变系统中系统特性与参数变化要求辨识 算法具有适应性。由于时变系统的复杂性和广泛性，以及人民从时变系统获得 信息的局限性，时变系统的跟踪仍是一个有许多问题要解决的难题。 （3）连续时间系统辨识 连续时间系统可能是最早采用的辨识模型。随着 计算机的出现，系统辨识的连续时间方法受到冷落。后来又有明显改变，在 1991 年的 IFAC 会议讨论并达到高潮。 （4）集成辨识方法 集成辨识方法溶进了专家系统和人工智能的思想和 方法，随着人工智能、专家系统、神经网络发展成为系统辨识的一种发展方向。 （5）并行辨识方法 并行辨识方法随着并行计算机出现而成为研究方向。 由于辨识算法一般涉及矩阵代数运算，同时辨识问题是一种优化问题，因此， 关于矩阵运算的高效并行化算法和关于优化问题的并行算法都被较多的应用于 并行算法的研究。 第二章 系统辨识 - 3 - 第二章 系统辨识 2.1 辨识的定义 很多学者都曾给辨识下过定义，下面介绍几个比较典型适用的定义。 （1）L.A,Zadeh 定义（1962 年）：辨识就是在输入和输出数据的基础上， 从一组给定的模型类中，确定一个与所测系统等价的模型。这个定义明确了辨 识的三大要素，即输入输出数据、模型类和等价原则。其中，数据是辨识的基 础，准则是辨识的优化目标，模型类是寻找模型的范围。当然，按照 Zadeh 的 定义，寻找一个与实际过程完全等价的模型无疑是非常困难的。从实用观点出 发，对模型的要求并非如此苛刻。 （2）P.Eykhoff 定义（1974 年）:辨识问题可以归纳为用一个模型来表示客 观系统（或将要构造的系统）本质特征的一种演算，并用这个模型把对客观系 统的理解表示成有用的形式。 V.Strejc 对该定义所作的解释是：“这个辨识定义强调了一个非常重要的 概念，最终模型只应表示动态系统的本质特征，并且把它表示成适当的形式。 这就意味着，并不期望获得一个物理实际的确切的数学描述，所要的只是一个 适合于应用的模型。 （3）L.Ljung 定义（1978 年）：辨识有三个要素数据、模型类和准则。 辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。 2.2 辨识的内容和步骤 辨识就是利用所观测到的输入和输出数据（往往含有噪声），根据所选择 的原则，从一类模型中确定一个与所测系统拟合得最好的模型。下面介绍辨识 的步骤和方法。 （1）明确辨识目的。 明确模型应用的最终目的的十分重要，因为它决定 模型的类型、精度要求及所采用的辨识方法。比如说，如果模型是用于恒值控 制的，那么模型的精度要求低一些；如果模型是用于随动系统的或预测预报的， 第二章 系统辨识 - 4 - 那么精度要求就要高一些。 （2）掌握先验知识。在进行系统辨识之前，要尽可能多掌握一些系统的 先验知识，如系统的非线性程度、时变或非时变、比例或积分特性、时间常数、 过渡过程时间、截止频率、时滞特性、静态放大倍数、噪声特性、工作环境条 件等，这些先验知识对预选系统数学模型种类和辨识试验设将起到指导性的作 用。 （3）利用先验知识。 选定和预测被辨识的系统数学模型种类，确定验前 假定模型。 （4）试验设计。 选择试验信号、采样间隔、数据长度等，记录输入和输 出数据。如果系统是连续运行的，并且不允许加入试验信号，则只好用正常的 运行数据进行辨识。 （5）数据预处理。 输入和输出数据中常含有直流成分或低频成分，用任 何辨识方法都难以消除它们对辨识精度的影响。数据中的高频成分对辨识也有 不利影响。因此，对输入和输出数据可进行零均值化和剔除高频成分的预处理。 处理得好，能显著提高辨识精度。零均值化可采用差分法和平均法等方法，剔 除高频成分可采用低通滤波器。 （6）模型结构辨识。模型结构辨识包括模型结构的初步选择和模型参数 的确定。模型结构初步选定是根据具体被辨识的对象和目的，利用已有的先验 知识对辨识系统进行分析，从而初步选定一个验前模型结构，待完成模型参数 估计后，再对其验证；模型结构参数的确定在假定模型结构的前提下利用辨识 方法确定模型结构参数，如差分方程中的阶次 n 和迟钝延迟 d 等。 （7）模型参数辨识。 在模型结构确定之后，选择估计方法，利用测量数 据估计模型中的未知参数。 （8）模型检验。 验证所确定的模型是否恰当地表示了被辨识的系统。 如果所确定的系统模型合适，则辨识到此结束。否则，就必须改变系统的 验前模型结构，并且执行第（4）步至第（8）步，直到获得一个满意的模型为 止。 第二章 系统辨识 - 5 - 2.3 辨识的分类 系统辨识的分类方法很多，根据描述系统数学模型的不同可分为线性系统 和非线性系统辨识、集中参数系统和分布参数系统辨识；根据系统的结构可分 为开环系统与闭环系统辨识根据参数估计方法可分为离线辨识和在线辨识等。 另外还有经典辨识与近代辨识、系统结构辨识与系统参数辨识等分类。 2.3.1 离线辨识 如果系统的模型结构已经选好，阶数也确定，在获得全部记录数据之后， 用最小二乘法、极大似然法或其他估计方法，可对数据进行集中处理后，得到 模型参数的估值，这种方法称为离线辨识。 离线辨识的优点是参数估值的精度比较高，缺点是需要大量数据，要求计 算机有较大的存储量，便使运算量也比较大。 2.3.2 在线辨识 用在线辨识时，系统模型结构和阶数事先确定好的。当获得一部分输入和 输出数据后，马上用最小二乘法、极大似然法或其他估计方法进行处理，得到 模型参数的不大确定的估值。在获得新的输入输出数据后，用递推算法对原来 的参数估值进行修正，得到参数的新估值。所以在线辨识要用到递推最小二乘 法、递推极大似然法或其他递推估计计算法。 在线辨识的优点时所要求的计算机存储量较小，辨识计算时运算量较小， 适合于进行实时控制，缺点是参数估计的精度差一些，为了实现自适应控制， 必须采用在线辨识，要求在很短时间内把参数辨识出来，参数辨识所需的时间 只能占 1 个采样周期的一小部分。 2.4 辨识的输入信号 合理选择辨识的输入信号是获得好的辨识结果关键之一。为了使系统是可 辨识的，输入信号必须满足一定条件，其最低要求是在辨识时间内系统的动态 必须被输入信号持续激励。也就是在实验期间输入信号必须充分激励系统的所 有模态。更进一步，输入信号的选择应能是给定模型辨识精度最高，这就引出 第二章 系统辨识 - 6 - 了最优输入信号的设计问题。 对 D-最优准则有如下结论：如果模型结构是正确的，且参数估计是无偏 最小方差估计，则参数估计值的精度通过 Fisher 信息矩阵依赖于输入信 M 号。最优输入信号是具有脉冲式自相关函数的信号，即 ku (2.1) N 1k ji , 0 ji , 1 jkuiku N 1 当 N 很大时，白噪声或 M 序列可近似满足要求；当不大时，并非对所N 有的都能找到这种输入信号。N 在具体工程应用中，选择输入信号时还应该考虑一下因素： （1） 输入信号的功率或幅度不宜太大，防止使系统工作在非线性区，但 也不应过小，以致信噪比太小，直接影响辨识精度。 （2） 输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均 等。 （3） 工程上要便于实现，成本低。 2.4.1 白噪声 白噪声过程是一种最简单的随机过程，是均值为 0，功率谱密度为非 0 常 数的平稳随机过程。 白噪声过程定义：如果随机过程的均值为 0，自相关函数 t ttR 2 （2.2） 式中为狄拉克（Dirac）分布函数，即t (2.3) t 0, 0 0, t t 第二章 系统辨识 - 7 - 且则称该随机过程为白噪声过程。 1dtt 由于的傅里叶变换为 1，可知白噪声过程的平均功率普密度，即tt 2 (2.4) ,S 2 上式表明，白噪声过程的功率在的全频段均匀分布。基于这一特 点，人们借用工学中的白色光一词，称这种噪声为“白噪声” 。 在实际应用中，如果接近函数，如图 2.1（b）所示，可近似认为tRw 是白噪声。在频域上，这相当于在有关过程的有用频域带内，的平均twtw 功率接近均匀分布。 图 2.1 （a）白噪声过程 （b）近似的白噪声过程 2.4.2 伪随机二位式序列 伪随机序列是一种很好的辨识输入信号，它具有近似白噪声的性质，不仅 可以保证有较好的辨识效果，而且工程上又易于实现。 M 序列即二位式线性反馈移位寄存器序列，是伪随机二位式序列最简单的 一种，它由带有线性反馈逻辑电路的移位寄存器产生。它是一种离散二位式随 机序列，所谓“二位式”是指每个随机变量只有 2 种状态。 可用多级线性反馈移位寄存器产生 M 序列。每级移位寄存器由双稳态触发 器和门电路组成，称为 1 位，分别以 0 和 1 类表示 2 种状态。当移位脉冲来到 第二章 系统辨识 - 8 - 时，每位的内容（0 或 1）移到下一位，最后一位（即第 n 位）移出的内容即 为输出。为了保持连续工作，将最后 2 级寄存器的内容经过适当的逻辑运算后 反馈到第 1 级寄存器作为输入。例如，周期为 15 的 M 序列 111100010011010 一个周期的图像为 2.2 所示，图 2.3 为二电平 M 序列自相关函数图像。 图 2.2 长度为 15 的二电平 M 序列 图 2.3 二电平 M 序列自相关函数 2 a 第三章最小二乘法辨识 - 9 - 第三章 最小二乘法辨识 3.1最小二乘法 最小二乘法是一种经典的有效的数据处理方法。它是 1975 年高斯 （K.F.Guass）在预测行星和彗星运动的轨道时提出并实际应用的。 最小二乘法是一种根据实验数据进行参数估计的主要算法。这种方法易被 理解，而且由于存在唯一解，所以也比较容易实现。它在统计文献中还被称为 线性回归法，在被某些辨识文献中还被称为方程误差法。 在系统辨识和参数估计领域中，最小二乘法是一种最基本的估计方法。它 能用于动态系统，也能用于静态系统；能用于线性系统，也能用于非线性系统； 能用于离线估计，也能用于在线估计。在随机的环境下利用最小二乘法时，并 不要求知道观测数据的概率统计信息，而用这种方法获得的估计结果，却有相 当好的统计性质。 辨识表达式 辨识模型 辨识算法 khkhTkz ke 图 3.1 最小二乘法辨识系统 设单输入-单输出线性定常系统的差分方程为 (3.1) 3 , 2 , 1,101knkubkubnkxakxakxnn 式中：为输入信号，为理论上的输出值。只有通过观测才能 ku kx kx 得到，在观测过程中往往附加有随机干扰。观测值可表示为 kx ky 第三章最小二乘法辨识 - 10 - (3.2) knkxky 式中为随机干扰。由式 3.2 得 kn (3.3) knkykx 将式 3.3 带入式 3.1 得 n i inniknaknnkubkubkubnkyakyaky 1 10111 (3.4) 我们可能不知道 的统计特性，在这种情况下，往往把 看做均值为 0 kn kn 的白噪声。 设 (3.5) n i iiknaknk 1 则式 3.4 可写成 knkubkubkubnkyakyakyakynn1211021 (3.6) 在测量 时也有测量误差，系统内部也有可能有噪声，应当考虑它们的影 ku 响。因此假定 不仅包含了的测量误差，而且包含了的测量误差 k kx ku 和系统内部噪声。假定 是不相关随机序列（实际上 是相关随机序 k k 列）。 现分别测出+N 个输出输入值,则可写n NnuuuNnyyy,2,1,2,1 出 N 个方程，即 1111111021nubnubnubyanyanyanynn 22122121021nubnubnubyanyanyanynn nubnubnub yanyanyany n n 1 21 10 21 第三章最小二乘法辨识 - 11 - 上述 N 个方程可写成向量-矩阵形式 = )( )2( 1 ny ny ny NuuuyNny unuyny unuyny 1 2221 111)( + (3.7) n n b b a a 0 1 Nn n n 2 1 设 =，=，=y )( )2( 1 ny ny ny n 0 n 1 b b a a Nn n n 2 1 = NuuuyNny unuyny unuyny 1 2221 111)( 则式 3.7 可写为 (3.8)y 式中：为 N 维输出向量；为 N 维噪声向量,为（2n+1）维参数向量；y 为 N（2n+1）测量矩阵。因此式 3.8 是一个含有（2n+1）个未知参数，由 第三章最小二乘法辨识 - 12 - N 个方程组成的联立方程组。如果 N(2n+1),即方程数目大于未知数数目。这种情况下，不能用解 方程的办法来求 ，而要采用数理统计的办法，以便减少噪声对估值的影响。 在给定输出向量和测量矩阵 的条件下求系统参数的估值，这就是系统辨识y 问题。可用最小二乘法或极大似然法来求的估值，在这里先讨论最小二乘法 辨识估计。 3.2最小二乘估计算法 设表示的最优值，表示的最优估计值，则有 y y (3.11) y 式中 =， y Nny ny ny 2 1 n n b b a a 0 1 写出式（3.2.1）的某一行，则有 nkyakyakyaky n 21 21 nkub kub n0 ， (3.12) n 0i i n 1i i ikub iky a Nnnnk, 2, 1 第三章最小二乘法辨识 - 13 - 设表示与之差，即)(ke)(ky)( ky kykyke)(ky )( 01 ikubikya n i i n i i kuzbzbbkyzaza n n n n 1 1 10 1 1 (3.13) Nnnnkkuzbkyza , 2, 1, )( 11 式中 n nz azaza 1 1 1 1 n nz bzbbzb 1 10 1 称为残差。把分别代入式(3.13)可得残差)(keNnnnk, 2, 1 。设)(,),2(),1(Nnenene T Nnenenee)2(1 则 (3.14)yyye 最小二乘法估计要求残差的平方和为最小，即按照指数函数 (3.15) y yeeJ T T 为最小来确定估计。求对的偏导数并令其等于 0 可得J (3.16)0 y2 J T 由式（3.16）可得的最小二乘估计 (3.17)y TT 1 为极小值的充分条件是J 0 2 2 T J （3.18） 第三章最小二乘法辨识 - 14 - 即矩阵为正定矩阵，或者说矩阵是非奇异的。TT 例：已知某单输入单输出线性系统的差分方程形式为 )() 1()() 1()( 101 kkubkubkyaky 但其参数为未知数，且为不相关的随机序列。经辨识实验，测 101 ,bba k 得 5 组数据为 u(1)=2.1 u(2)=-2.7 u(3)=0.8 u(4)=1.5 u(5)=-2.1 y(1)=0.3 y(2)=0.5 y(3)=-0.2 y(4)=0.6 y(5)=0.83 试求出其参数估计。 该矩阵的转置为 5 . 18 . 07 . 21 . 2 1 . 25 . 18 . 07 . 2 6 . 02 . 05 . 03 . 0 T 两者之积 59.1478 . 9 02 . 0 78 . 9 59.1497 . 1 02 . 0 97 . 1 74 . 0 T 为正定矩阵满足残差二次型取最小的充分条件，根据残差二TeeJ T 次型取最小的必要条件 ,可得最优参数估计为eeJ T 0 J y TT 1 于是 . 0 2151 . 0 4058 . 0 1110 . 0 0253 . 0 1701 . 0 5259 . 0 1126 . 1 1771 . 0 2578 . 1 1189 . 1 9783 . 0 0668 . 0 )( 1TT 最后求得 4569 . 0 3456 . 0 4826 . 1 第三章最小二乘法辨识 - 15 - 即最优参数估计为 4569 . 0 ,3456 . 0 ,4826 . 1 101 bba 3.3最小二乘估计的概率性质 下面讨论最小二乘估计的概率性质估计的无偏性、一致性、有效性和渐 进正态性问题。 1）无偏性 由于输出值是随机的，所以是随机的，但要注意到不是随机值。如y 果 EE （3.19） 则称是的无偏估计。 如果式 3.20 中的是不想关随机序列且其均值为 0（实际上 往往)(k)(k 是相关随机序列），并假定序列与不相关。当为不相关随机序列)(k)(ku)(k 时，只与及其以前的有关，而与及其以后)(ky)(k),2(),1(kk) 1( k 的无关。从下列关系式也可看出与不相关且相互独立，),3(),2(kk 即 )()2() 1 ( )()2() 1( )()2() 1 ( ) 1() 1()( Nuuu Nnununu Nyyy Nnynyny T )4( ) 3( )2( ) 1( n n n n （3.20） 由于与相互独立，则式 3.22 给出的是的无偏估计。把式 3.8 代入式 3.18 得 T1TT1T )()()( 第三章最小二乘法辨识 - 16 - （3.21） 对上式等号两边取数学期望得 )()( 11 EEEEE TTTT （3.22） 上式表明，是的无偏估计。 2）一致性 如果估计值具有一致性，表明估计值将以概率 1 收敛于真值，它是人们最 关心的一种性质。 由式 3.21 得估计误差为 (3.23) TT 1 )( 前面已假定是不相关随机序列，设 k (3.24) 2T 式中为 单位矩阵，则估计误差的方差矩阵为 (3.25)Var 1 TTT 1 TT 由于为不相关随机序列时, 与 相互独立，因而有 k (3.26)Var 1 T N 2T 1 T I 上式可以写为 (3.27)Var 1 2 1 T NN 考虑到式可得 (3.28), 0lim lim 1 2 RVar N 式 3.28 表明，当 时，以概率 1 趋近。因此当为不相关随)(k 机序列时，最小二乘估计具有无偏性和一致性。如果系统的参数估计具有这种 第三章最小二乘法辨识 - 17 - 特性，就称系统具有可辨识性。 例：考虑如下系统 )()4(5 . 0) 3()2(7 . 0) 1(5 . 1)(kkukukykyky 式中，为方差为 1 的白噪声。)(k 选用幅值为 1 的逆 M 序列作为输入信号，利用 LS 算法进行参数估计，)(ku 仿真结果如表 2.1 所示 表 3.1 最小二法的参数估计结果 参数 1 a 2 a 0 b 1 b 真值-1.5 0.7 1.0 0.5 估计值 -1.54090.7126 1.02770.5629 仿真程序如下: a=1 -1.5 0.7;b=1 0.5;d=3; %对象参数 na=length(a)-1;nb=length(b)-1; % na nb 为 A B阶次 L=500; %数据长度 uk=zeros(d+nb,1); %输入初值：uk(i)表示 u(k-i) yk=zeros(na,1); %输出初值 x1=1;x2=1;x3=1;x4=0;S=1; %移位寄存器初值、方波初值 xi=randn(L,1); %白噪声序列 theta=a(2:na+1);b; %对象参数真值 for k=1:L phi(k,:)=-yk;uk(d:d+nb); %phi(k,:)为行向量，便于组成 phi 矩阵 y(k)=phi(k,:)*theta+xi(k); %采集输出数据 IM=xor(S,x4); %产生逆 M 序列 if IM=0 第三章最小二乘法辨识 - 18 - u(k)=-1; else u(k)=1; end S=not(S);M=xor(x3,x4); %产生 M 序列 %更新数据 x4=x3;x3=x2;x2=x1;x1=M; for i=d+nb:-1:2 uk(i)=uk(i-1); end uk(1)=u(k); for i=na:-1:2 yk(i)=yk(i-1); end yk(1)=y(k); end thetae=inv(phi*phi)*phi*y thetae = %计算参数估值 thetae -1.5439 0.7359 1.0529 0.4574 最小二乘算法原理简单、便于理解，因此在系统辨识领域中有着十分广泛 第三章最小二乘法辨识 - 19 - 的应用借助MATLAB这个运算功能强大的辨识工具，就可以方便快捷地实现 这一算法，从而使得整个系统建模和参数辨识的过程变得轻松易行。 第四章 基于神经网络的系统辨识 - 20 - 第四章 基于神经网络的系统辨识 4.1神经网络的简介 很多实际系统是非线性系统，并且系统的模型结构难以确定，目前，相对 于线性系统模型，适用于非线性系统辨识的模型还比较有限，除了非线性 ARX 模型和 Hammerstein-Wiener 模型外，人工神经元网络（Artificial Neural Network,ANN）简称神经网络，也是一类重要的非线性模型。神经网络是从微 观结构与功能上对人脑神经系统的模拟，由简单信息处理单元（人工神经元） 互联组成，能接受并处理信息，产生输出，通过把问题表达成处理单元之间的 连接权重，整个网络的信息处理由处理单元之间的相互作用来实现。这种信息 处理的机制称为联结机制。神经网络模拟人脑的信息处理机制，因此具有类似 于人脑信息处理的一些特征，如并行信息、学习、联想、记忆、非线性等。神 经网络的一些特征对系统辨识特别有用。 （1）能逼近任意逼近 范数上的非线性函数。这就决定了神经网络可以作 为系统辨识中线性和非线性模型类。 （2）能够进行学习，适应环境变化。这就是使神经网络模型能够用于在 线系统辨识，能够跟踪时变参数系统。 （3）能够十分方便的处理多输入、多输出的情况。这对于多变量系统辨 识十分有利。 （4）可以使用大规模集成电路（VLSI）或者软件 实现，十分方便用于计 算机控制系统，工程应用也十分方便。 4.1.1 神经网络的结构和类型 神经网络有许多并行运算、功能简单的单元组成，这些类似于生物神经系 统的单元。神经网络是一个非线性动力学系统，它的特点表现在信息的分布式 存储和并行协调处理。虽然单个神经元的结构非常简单，功能有限，但许多神 经元构成的网络系统所能实现的行为却丰富多彩的。除此以外，它还具有很强 的容错性和鲁棒性，善于联系、综合和推广。 第四章 基于神经网络的系统辨识 - 21 - 一般而言，神经网络是一个并行和分布式的信息处理网络结构，它一般由 许多个神经元组成，每个神经元有一个输出，它可以连接到很多其它神经元， 每一个神经元输入有多个连接通路，每一个连接通路对应一个连接权系数。 严格地说，神经网络是一个具有下列性质的有向图： （1）每个节点有一个状态变量；jx （2）节点 到节点有一个连接权系数；ijji （3）每一个节点有一个阈值；j （4）每一个节点定义一个变换函数，最常见的情形为jixfjjiij, i jijixf 也称传递函数，模拟神经元对输入的非线性响应。 j fjiwx jjii , 神经元的非线性函数一般取为二值函数、S 型函数或双曲正切函数。 二值函数： (4.1) 0, 0 0, 1 x x xf S 型函数 (4.2) 10 , 1 1 2 xf e xf x 双曲正切函数 (4.3) 11, 1 1 xf e e xf x x 神经网络模型众多，它们是从不同方面对生物神经系统不同层次的描述和 模拟，代表性的网络模型有感知器、反向传播神经网络，Back-Propagation Neural Networks、REF 网络、双向联想记忆（BAM）Hopfield 模型等。利用这 些网络模型可实现函数逼近、数据聚类、模式分类、优化计算等功能。因此， 神经网络广泛应用于人工智能、自动控制、机器人、统计学及系统辨识等领域 的信息处理中。 第四章 基于神经网络的系统辨识 - 22 - 4.2 BP网络辨识 下面我们先介绍一些神经网络辨识的基本方法。 基于神经网络的系统辨识，就是用神经网络作为被辨识系统的正或逆模型， 并且采用学习、训练的方法从数据中建立系统模型，也可称为神经网络建模， 可以实现对线性和非线性系统、静态与动态系统进行在线或非离线辨识。 神经网络用于系统辨识有两种工作模式：离线辨识和在线辨识。离线辨识 是在系统正式工作之前，利用系统已经采集的输入/输出数据训练神经网络， 得到一个神经网络的系统模型。线性辨识是在系统工作过程中，实时采集系统 的输入/输出,完成系统辨识，并且根据当前模型进行系统控制，对辨识的实时 性要求较高。在初始阶段，在线辨识模型输入数据较少，得到的辨识模型不准 确，对系统的行为还缺乏准确的预测能力，可能会导致控制失败，系统不稳。 离线辨识只能根据已有数据来辨识系统模型，对于时变参数的问题还是无能为 力，但是由于不受实时性的限制，可以处理大批量的数据，计算复杂的要求相 对较低。在用于控制和预测时，由于得到一个比较好的模型，所以不存在初始 阶段的过渡问题。一种更好的方法是将两者结合，利用离线不辨识得到一个初 始模型，然后利用在线辨识更新模型，不断适应受控对象的变化。 被辨识系统 延时 神经网络辨识器 ku ke ky 4.1神经网络辨识系统框图 单个神经元的功能是有限的，人脑通过将大量神经元连接起来，协同工作， 可以完成非常复杂的功能，人工神经网络也借鉴了这一点。当然，神经网络不 第四章 基于神经网络的系统辨识 - 23 - 是将所有的神经元都连接在一起，而是由一定的拓扑结构，在这样的结构下， 神经网络的“学习”才会更加有效，实现起来更加容易。 对于任意非线性系统，其中， 为输入矢量， exfy T n xxxx 21 为输出矢量，为非线性函数， 为系统噪声 T n yyyy 21 fe 前馈网络通常有多层结构，至少三层。第一层称为输入层，第二层称为隐 藏层，第三层为输出层。一个三层结构的前馈网络-BP 网络如图 4.2 所示。图 中输入层个单元的输出端，并不做运算。各单元的连接方式如图 4.2 所示。各 层各个单元的输出都直接与紧接的下一层各单元输入相连接。由于层与层之间 不存在反馈，所以这种连接方式的网络被称之为前馈网络。 1 x 2 x m x 1 j 2 1 y 2 y 3 y k x kj ji ji 4.2 BP 网络结构图 在采用多层次前馈网络进行系统辨识时，首先要考虑的问题就是网络结构 的设计问题。一般地，含有一个隐含层的前馈网络就可以逼近任意有界连续非 线性函数，因此，隐含层一般选为一层即可。各层的神经元可按下面的原则选 取。 （1）输入层 I:设 n、m 分别为、的阶次，为输入层神经元个 kx ky I n 数，则。1mnnI （2）隐含层 H:目前，隐含层神经元个数的确定目前尚无确定的理论指 H n 第四章 基于神经网络的系统辨识 - 24 - 导，但在网络应用于辨识时，可按下式选取：的最后确定可在选择 HIH nnn, 不同的神经元个数，比较其性能指标大小的基础上，确定一个计算量和辨识精 度都能满足要求的。 H n （3）输出层 O:该层神经元的个数为待辨识系统的输出层神经元个数。 O n 确定网络的结构之后，需再确定网络的权值和阈值。设采集到 L 对测量 值，其中，为维矢量，是维矢量。当第 个输入数 Lttxty,2 , 1;,ynxmt 据送入神经网络时，网络相应的输出记为txtxtxtx m , 21 ；隐含单元的状态记为。下面以tytytyty n , 21 pjt j , 2 , 1 表示输出层、隐含层和输入层有关参数、变量的标记。并且，从隐含层到kji, 输出层的权值记为，表示中间层第个单元向输出层第 个单元的连接权； ji ji 从输入层到隐含层的的权值记为，表示输入层第个单元向输出层第个单 kj kj 元的连接权。基于神经网络的辨识就是要输入输出数据确定这些权值。 BP 网络是种前馈网络，它在非线性分类和高维非线性输入到输出映射等 方面有着十分广泛的应用。为了掌握它的工作原理，需透彻了解建立在人工神 经网络基础理论上的 BP 算法，即称之为“误差反向传播算法” 。 如何决定各连接权值的过程，因此实际上是已知输入输出，如何确 ijkj , 定系统内各参数，此即系统的辨识问题。 对第 t 个输入数据，隐含单元 j 的输入为 (4.4)txth k k kjj 相应的输出状态为 (4.5) txfthft k kkjjj 输出单元 所接受的叠加信号为i (4.6) k kkj j jij j jii txftHth 网络的最终输出为 (4.7) jk kkjji j jjiii txfftfthfty 第四章 基于神经网络的系统辨识 - 25 - 对任何确定的输入，输出时所有权值的函数。最优权值应使得神经网 kjji , 络的输出与实际系统的输出之间误差平方和最小，即 ti ii tytyWJ , 2 2 1 (4.8) 2 t , ijk kkjjii txffty 2 1 BP 算法是一种梯度法，也称为最速下降法，这是一种迭代算法。即从一个 初始点出发，计算在点的负梯度方向，只要，就可 0 0 )( 0 0)( 0 延该方向移动一小段距离，达到一个新的点，是一个正参)( 001 E 数，只要足够小，定能保证。不断重复这一过程，直到达到一)()( 01 EE 个极小值点。 对于隐层单元到输出单元的权而言，最速下降法给出的每一步修正量为 ji (4.9) tt iiiiii ji ji tttHthftyty J 式中 (4.10) tytythft iiii 迭代后的值为ji (4.11) jiji ji 对于输入单元到隐层单元的权而言，有 jk kj i ikj kj t t JJ it kjjiiii txthfthftyty , it kjjii txthft , (4.12) t kj txt 式中 (4.13) i jiiij tthft 迭代后的值为kj 第四章 基于神经网络的系统辨识 - 26 - (4.14) kjkj kj 从上可以看出，所有权值的修正量都有如下形式： (4.15) t qppq tvt 因为由实际输出与理想输出的差