系统辨识研究的发展与问题ppt课件.ppt

第九讲系统辨识研究的发展与问题 1 3 第九讲系统辨识研究的发展与问题在控制理论与控制工程领域 系统辨识经过四十余年的发展取得长足的进步 可以说线性离散系统的参数辨识问题已经得到圆满解决 但从模型表述的角度 在系统辨识研究中还有如下open问题 随机连续系统参数辨识非线性系统辨识结构辨识逻辑系统辨识 第九讲系统辨识研究的发展与问题 2 3 离散事件动态系统辨识除上述对各类模型的结构辨识和参数辨识问题外 在70年代至90年代 辨识研究中主要发展有 辨识的结果的统计特性分析 参数递推辨识过程的收敛性和一致收敛性问题 鲁棒辨识问题 闭环辨识问题 智能辨识方法 非参数模型辨识 第九讲系统辨识研究的发展与问题 3 3 下面 对如下不同类型模型的结构和参数辨识问题作初步综述 主要内容有 随机连续系统参数辨识非线性系统辨识结构辨识 1 连续系统参数辨识 1 1 1 连续系统参数辨识下面主要介绍 引言确定性连续系统辨识随机连续系统辨识 1 1引言 1 5 1 1引言由于早期的控制理论研究和控制工程实践依赖于连续系统模型 如描写输入输出特性的高阶微分方程及通过对线性定系数常微分方程作拉氏变换获得的s域传递函数 在对某些系统 机理分析建模困难的时候 连续系统的实验建模的问题就提到日程上来了 可以说 连续系统辨识问题是最早提出的辨识问题之一 1 1引言 2 5 早期的连续系统辨识 主要是在频率域内通过实验测出系统的幅频响应曲线和相频响应曲线 然后通过这两类响应曲线或拟合出被控对象的传递函数 或直接进行系统分析 控制器设计和综合 主要的相关实验设备为频谱仪 相关分析仪等 早期的连续系统辨识工作是直接适应于当时的控制理论与控制工程发展的 其辨识思想和算法基本上未考虑一些当今系统辨识中参数模型辨识研究中所提出的问题 对象的特性与模型类型的关系 模型的结构 对象的复杂性 非线性 时变性等 1 1引言 3 5 系统所受的内外界的干扰 实验中的测量误差等 即未考虑结构辨识问题非线性 时变性等复杂特性的辨识问题干扰和噪声环境下的辨识问题 属于确定性线性系统的非参数模型辨识问题 1 1引言 4 5 值得指出的是 非参数模型辨识避免了确定模型结构 分析模型的复杂性 以及参数模型的性能及应用对参数的依赖性 有一定的辨识的便利性 但传统的非参数模型亦有其严重不足 如 难于适应控制理论与控制工程领域的发展难以适应于复杂的被控对象 如非线性系统 时变系统等非解析模型精度低 1 1引言 5 5 随着控制理论与控制工程领域的发展以及计算技术的发展 随着离散系统的参数模型的辨识日趋成熟 进入70年代以来 连续系统的参数模型的问题吸引了控制领域专家学者的注意 连续系统的参数模型辨识问题根据是否考虑随机因素 可分为 确定性连续系统辨识 随机连续系统辨识 下面分别综述这两类模型的辨识方法 1 2确定性连续系统参数辨识 1 2 1 2确定性连续系统辨识确定性连续系统的参数模型可表示为 其中yt和ut为系统的输出和输入 ai和bi为待辨识的参数模型的参数 上述微分方程模型还可转换为下述积分表述的模型 1 2确定性连续系统参数辨识 2 2 确定性连续系统辨识在70年代末至80年代中期得到重视 主要方法有 数值积分法函数逼近法 1 数值积分法 1 2 所描述的连续系统的积分模型 若通过所测得的输出yt和输入ut求取各高阶积分值 则对各时刻ti 可获得一系列代数输入输出方程组 利用最小二乘 LS 法可求取待辨识参数ai和bi 1 数值积分法对式 1 数值积分法 2 2 这里的关键是如何获得输出yt和输入ut的各高阶积分值 若所测得的输出yt和输入ut信号为离散的采样信号 则计算式 2 所示的高阶积分可采用计算数学领域中有效的数值积分法 用计算机及计算技术实现数值积分和LS求解 若所测得的输出yt和输入ut信号为连续信号 则可对测得的连续的电信号通过连续信号积分器和滤波器求取式 2 所示的高阶积分 则对各时刻ti 可获得一系列代数输入输出方程组 利用LS法可求取待辨识参数ai和bi 2 函数逼近法 1 5 2 函数逼近法由于数值积分法需要直接求取高阶积分值 实现的难度大 计算量大 因此需要讨论计算高阶积分值的简便方法 由数值逼近理论知 对连续函数 可基于完备基获得逼近模型 基于上述逼近原理 对连续系统的连续的输出yt和输入ut 可选取适当的一组完备基函数序列 求取连续的输出yt和输入ut的逼近表达 以及它们的高阶积分的逼近表达 基于这些逼近表达 可将微分方程转换为代数逼近方程 并利用LS法进行参数辨识 2 函数逼近法 2 5 在连续函数参数模型辨识的研究中 常用的逼近函数有 Taylor展开 其逼近基函数 1 t t2 t3 分段正交逼近函数基方块 广义方块脉冲函数基Walsh函数基正交多项式函数基Legendre多项式函数基Chebyshev多项式函数基Laguerre多项式函数基Hermite多项式函数基 2 函数逼近法 3 5 第二类Chebyshev多项式函数基随着90年代小波逼近理论及应用的发展 选取正交的小波逼近基函数应用于连续系统辨识是连续系统辨识的新的发展 小波函数具有良好的逼近特性 比其它逼近函数在局部逼近特性上具有更加良好的性能 实际上 现在的神经网络模型 模糊模型 支持向量回归模型等智能方法应用于建模分析 也是在构造一组集函数表述系统模型 如sigmoid函数 高斯函数 隶属度函数就是所构造的基函数 但两者不同的是 2 函数逼近法 4 5 传统函数逼近方法其基函数序列是事先设计好的 具有良好逼近性能的函数序列 而智能方法的基函数是通过数据拟合的方法构造的 2 函数逼近法 5 5 基于函数逼近的连续系统辨识的方法在应用中还存在下述问题 若欲取得较好的逼近性能和参数辨识效果 需要连续的输出yt和输入ut充分光滑 但对实际控制系统而言 yt和ut的光滑性欠佳 因此 实际逼近和辨识的效果有限 对于正交多项式序列逼近 其逼近方程是病态的 因此基于函数逼近的辨识方法的数值特性欠佳 利用yt和ut的逼近表达求取yt和ut的高阶积分值的精度难以提高 可以说 迄今对确定性连续系统的参数模型的辨识的问题还缺乏有效的辨识方法 该问题仍是一个open问题 1 3随机连续系统参数辨识 1 5 1 3随机连续系统辨识随机连续系统的参数模型可表示为 其中yt和ut为系统的输出和输入 wt为零初值的随机连续扰动 随机连续系统 3 的随机扰动wt一般假设为独立增量过程 Wiener过程 1 3随机连续系统参数辨识 2 5 来描述 因为可以证明 否则随机过程的wt的方差为零 随机连续系统参数模型不能直接采用微分方程 1 3随机连续系统参数辨识 3 5 80年代中期以来 随机连续系统的参数模型辨识问题吸引了控制领域研究人员的注意 迄今主要的研究方法有 陈翰馥和郭雷提出了包含噪声模型辨识在内的基于连续LS法的辨识算法 并进行了参数估计收敛性和一致性的分析证明 Zhao讨论了其连续LS法及其辨识算法的数值实现问题 该类方法目前存在的主要问题是连续LS法 实为一组随机微分方程 的解的存在性问题 辨识算法的实现和实用化问题 Gevers等人通过嵌入滤波器 给出随机连续系统基于输入输出滤波的随机逼近辨识和自适应控制方法 并证明参数估计是一致有界的 但未能证明辨识的收敛性和一致性 1 3随机连续系统参数辨识 4 5 Sagara等人基于数值积分将连续系统化为离散模型 用离散滑动平均模型刻划随机因素和计算误差 利用离散辨识法来辨识连续的输入输出模型 但该方法不能得到连续相关扰动模型 Zhao基于方块脉冲函数 正交多项式的逼近 将随机连续系统变换为正交逼近方程组 然后利用LS法辨识连续系统参数 在基于收敛性分析的基础上 得到该LS估计值是有偏 非一致收敛的结论 Zhao又给出了一致收敛的辅助变量法和Markov法两种辨识方法 1 3随机连续系统参数辨识 5 5 Zhao基于状态空间方法 给出了对随机连续系统参数直接辨识的LS算式 然后 基于随机过程理论 提出并证明非平稳的连续Wiener过程通过稳定的连续线性系统后为平稳随机过程 且均值和自相关函数阵为时间遍历的 在此基础上 并证明了所提出的直接辨识方法的一致收敛性 2非线性系统辨识 1 2 2非线性系统辨识实际被控对象多为非线性系统 所谓线性系统 大多数情况仅为非线性系统在忽略非主要因素 在理想情况下对实际被控对象所建的模型 因此 对非线性系统的建模辨识和控制问题是具有重要意义的 2非线性系统辨识 2 2 非线性系统的参数模型辨识问题与线性系统参数模型辨识问题一样 可以分为结构辨识参数辨识非线性静态环节 线性动力学模型的参数辨识非线性动力学系统的线性参数模型辨识非线性动力学系统的非线性参数辨识非线性系统的结构辨识 是一类较难的open问题 我们将在后面专题讨论 下面我们将分别讨论参数辨识问题中的三个子问题 2 1非线性静态环节 线性动力学模型的参数辨识 1 3 2 1非线性静态环节 线性动力学模型的参数辨识实际非线性系统中的非线性因素是千姿百态的 有的非线性因素仅发生在系统的输入端和输出端 而系统本身的动力学模型为线性动力学 如图1所示的 2 1非线性静态环节 线性动力学模型的参数辨识 2 3 这些在输入输出端的常见非线性环节有输入输出饱和特性 限幅环节 死区特性 回环特性 继电器特性 Hammerstain特性等 由于这些非线性环节在实际系统中非常普遍 因此 讨论实际系统的辨识建模问题 这类非线性静态环节与线性动力学模型组成的非线性系统的参数辨识问题便提上议程 2 1非线性静态环节 线性动力学模型的参数辨识 3 3 下面分别讨论下述非线性环节辨识 Hammerstain特性其它非线性静态环节辨识 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 1 7 1 Hammerstain特性辨识在输入输出端的Hammerstain特性如右图所示 这类非线性特性一般可采用如下代数多项式模型描述z t c0 c1v t c2v2 t crvr t 其中代数多项式的阶次r为奇数 ci为Hammerstein模型的未知参数 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 2 7 Hammerstein特性是一类非常常见的非线性特性 它可能出现在系统的输入端或输出端 这类非线性特性的辨识问题提出在70年代末 对Hammerstein特性辨识的基本策略有 直接辨识方法间接辨识方法下面分别介绍 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 3 7 A 直接辨识方法不失一般性 设Hammerstain特性发生在输入端 这类非线性特性一般可采用如下代数多项式模型描述A z 1 y k B z 1 v k w k v k c0 c1u k c2u2 k crur k 其中y k 和u k 分别系统的输出和输入 A z 1 和B z 1 为未知待辨识的线性动力学模型的参数 其阶次分别为n和m w k 为噪声 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 4 7 所谓Hammerstain模型的直接辨识方法 是将Hammerstain模型直接转化为y k a1y k 1 any k n b1z 1 bmz m c0 c1u k crur k w k a1y k 1 any k n d1 0u k 1 d1 rur k 1 dm 0u k m dm rur k m w k 然后基于一般离散系统的参数辨识方法 辨识出线性参数a1 an d1 0 d1 r dm 0 dm r即辨识出该非线性系统的动力学模型 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 5 7 若还需回归 辨识 出Hammerstain环节的静态模型和系统模型中的参数B z 1 则可由所辨识出的参数d1 0 d1 r dm 0 dm r进行二次回归辨识得到 对Hammerstain特性在输出端的情况 亦可类似上述讨论给出辨识方法 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 6 7 但值得指出的是 对上述非线性系统参数辨识问题的辨识收敛性分析而言 Hammerstain环节在输出端的辨识结果收敛性分析较复杂 至尽未见有关讨论 但Hammerstain环节在输入端的辨识结果收敛性分析较简单 可以直接借鉴线性系统辨识的收敛性分析结果而给出 2 1非线性静态环节 线性动力学模型的参数辨识 Hammerstain特性辨识 7 7 B 间接辨识方法间接辨识方法的基本思想如下图所示 间接辨识方法本质上是属于非线性优化方法 不可避免地存在辨识结果的局部性 非一致性 问题 因此影响辨识结果的有效性 2 1非线性静态环节 线性动力学模型的参数辨识 其它非线性静态环节辨识 1 2 2 其它非线性静态环节辨识对具有其它非线性静态环节的非线性系统的辨识问题在80年代末取得一些进展 该类非线性系统辨识问题除辨识线性动力学模型参数A z 1 和B z 1 外 还需辨识下图所示的非线性静态环节的结构参数 2 1非线性静态环节 线性动力学模型的参数辨识 其它非线性静态环节辨识 2 2 对具有该类非线性静态环节与线性动力学模型组合的非线性系统的主要的辨识思想为间接辨识 2 2非线性动力学系统的线性参数模型辨识 1 2 2 2非线性动力学系统的线性参数模型辨识所谓具有线性参数模型非线性动力学系统 其模型可以表述为 其中fi 为已知的关于y k 1 y k n u k 1 u k m 的非线性函数 ci为未知的待辨识的线性参数 2 2非线性动力学系统的线性参数模型辨识 2 2 对上述线性参数模型辨识问题 从辨识角度看 与线性系统的辨识问题没有本质的区别 可以直接采用线性系统辨识方法 但由于 系统本身的动力学特征是非线性的 因此 辨识结果的统计特性问题 辨识过程的收敛性问题和一致性问题 还是有待于探讨的问题 2 3非线性动力学系统的非线性参数模型辨识 1 2 2 3非线性动力学系统的非线性参数模型辨识所谓具有非线性参数模型非线性动力学系统 其模型可以表述为y k f y k 1 y k n u k 1 u k m w k 其中f 为模型结构已知的关于y k 1 y k n u k 1 u k m 的非线性函数 为未知的待辨识的非线性参数向量 2 3非线性动力学系统的非线性参数模型辨识 2 2 对非线性参数辨识问题 类似于线性参数辨识问题 有如下辨识优化准则函数 因此 非线性参数辨识问题本质上是一个非线性优化问题 可采用非线性数值优化方法求解 目前提出如下两大类非线性参数辨识策略 非线性LS方法 基于GA的智能辨识方法 1 非线性LS方法 1 2 1 非线性LS方法上述具有非线性参数模型的非线性动力学模型可以展开为 即可视为如下近似线性参数模型 1 非线性LS方法 2 2 对上述近似线性参数模型可以采用LS法反复进行辨识 直至参数辨识收敛为止 上述反复迭代的非线性LS法有牛顿 拉普森方法 麦夸特方法和变尺度方法 上述非线性LS辨识本质是一个非线性优化问题 因此上述非线性LS辨识方法存在局部解的问题 进而参数估计的一致收敛性不能保证 亦不能保证上述参数估计的有效性 2 基于GA的智能辨识方法 1 3 2 基于GA的智能辨识方法对上述具有非线性参数模型辨识问题可以提出如下非线性函数优化问题 其中 k为加权系数 由于GA对非线性函数优化问题 具有较好的求取全局解的能力 因此可以用于求解上述非线性参数模型辨识的非线性函数优化问题 2 基于GA的智能辨识方法 2 3 由于GA的良好全局优化能力 因此基于GA的智能辨识方法可以在一定程度上避免前述的非线性LS辨识方法的辨识结果的局部特性 Zhao针对传统GA算法收敛慢 求解效率低的特点 提出了将局部数值优化方法与GA方法相结合的混合智能辨识方法 其思想是 将局部数值优化方法 如梯度法牛顿 拉普森方法 麦夸特方法和变尺度方法 2 基于GA的智能辨识方法 3 3 构造为局部优化算子 将所构造的局部优化算子与GA算法中的交叉 变异算子构成3个平行的优化算子 为保证算法具有较好的随机优化能力和全局求解能力 对局部优化算子也与交叉 变异算子一样 构造了局部优化概率 局部优化 交叉 变异3个算子结合选择策略 适应度函数计算就构成求解非线性参数辨识的混合智能辨识方法 仿真与分析表明 混合智能辨识方法具有较好的全局求解能力与求解效率 3结构辨识 1 1 3结构辨识系统辨识领域经过近半世纪的发展 在参数辨识领域 无论是辨识方法与策略 辨识方法的理论分析 以及在建模和在线自适应系统中的应用等 取得较大进展 但对于结构辨识领域 所取得的成果非常有限 由于结构辨识的建模与系统辨识的第一步 也是参数辨识的基础 因此 研究结构辨识有着重要的意义 3结构辨识 2 1 在系统辨识领域里 确定系统模型结构主要的步骤为先确定系统模型结构 再确定模型结构中的结构参数 这2类模型结构确定问题称为结构辨识问题 系统模型结构问题 主要有 线性系统还是非线性系统若为非线性系统 其非线性部分类型 结构 如静态非线性环节 结构 如常见的输入输出饱和特性 限幅环节 死区特性 3结构辨识 3 1 回环特性 继电器特性 Hammerstain特性动态非线性环节 结构 如常见的双线性系统仿射非线性系统Logistic系统等结构参数问题 如对线性系统主要有 系统阶次 时滞等 3结构辨识 4 1 下面主要简单介绍阶次辨识 非线性模型结构辨识两类结构辨识问题 3 1阶次辨识 1 3 3 1阶次辨识所谓阶次辨识问题 最早的提法是针对线性系统辨识问题中的定阶问题 如对线性离散系统 的参数辨识问题中确定系统模型结构类时的系统输入输出阶次nb和na的辨识问题 因此 阶次辨识问题又称为定阶问题 上述线性系统的定阶问题是随着系统辨识问题和参数辨识问题的提出就纳入系统辨识的范畴 迄今也有30余年的历史 3 1阶次辨识 2 3 阶次辨识问题不仅对线性离散系统辨识问题存在 对连续系统 非线性系统的辨识问题一样存在 此外许多领域的建模问题和方法中也存在与上述定阶问题相似的问题 如数值逼近和数据拟合中逼近基函数的项数 如逼近多项式的阶次 的确定统计学中的回归变量的确定聚类分析中类数的确定模糊分析中模糊变量论域数的确定 3 1阶次辨识 3 3 多层感知器NN学习问题中的隐层数和各隐层神经元数目的确定自适应状态观测器中的状态变量个数 系统维数 的确定 下面对这些阶次辨识及相关问题的现有方法作一综述 1 线性离散系统的阶次辨识问题 1 4 1 线性离散系统的阶次辨识问题线性离散系统的阶次辨识问题目前主要有三类方法 通过对阶次辨识定义一个目标函数 寻求使该目标函数极小的适当的阶次 若系统中噪声较小 且系统的输入为阶跃信号 则可采用线性系统理论中的Hankel定阶方法 确定所需辨识的阶次的上界 然后进行参数辨识 通过对所辨识出的参数剔除后面接近0的参数 即可同时得到阶次辨识和参数辨识的结果 该方法类似于NN研究中确定隐单元数的剪枝法 1 线性离散系统的阶次辨识问题 2 4 构造目标函数确定阶次的方法目前有AIC准则和BIC准则两种方法 AIC准则和BIC准则的主导思想为 辨识优化的目标函数不仅对模型输出误差进行惩罚 而且也对系统阶次进行惩罚 以抑制过高的阶次 下面着重分析AIC准则 AIC准则构造的关于阶次辨识的目标 代价 惩罚 函数为 1 线性离散系统的阶次辨识问题 3 4 AIC准则方法的思想为 从低阶 即由较小的na作初始值 先进行参数辨识 然后对参数辨识的结果计算AIC准则函数 若AIC准则函数的值较大 则阶次na增加1 直至AIC准则函数不再减少为止 此时的na即为阶次辨识的结果 1 线性离散系统的阶次辨识问题 4 4 上述构造目标函数的阶次辨识方法有3个不足 逐次爬坡特性 即当目标函数值较大时 每次仅对阶次na增加1 逐次增加 未能实现直接定阶 该方法与NN研究中隐单元数确定的增枝法类似 由于阶次逐次增加 导致辨识过程计算量大 准则函数中的加权系数C难以确定 将阶次确定困难的问题转嫁到加权参数C的确定 1 线性离散系统的阶次辨识问题 5 4 对于连续系统和非线性系统的阶次辨识问题 可引入上述线性离散系统的阶次辨识方法 此外 由于数值逼近和数据拟合中逼近基函数的项数 如逼近多项式的阶次 的确定问题与线性系统辨识问题中的阶次确定问题类似 因此系统辨识的阶次辨识方法可以平行推广到数值逼近和数据拟合中逼近基函数的确定上 2 数值逼近中逼近基函数项数的确定问题 1 1 2 数值逼近中逼近基函数项数的确定问题数值逼近中逼近基函数项数的确定问题与控制领域中的定阶问题类似 也属于结构辨识问题 由于正交函数逼近中各逼近基函数项的逼近系数可分别独立计算 因此对正交函数逼近的定阶问题变得非常简单 只要按顺序依次计算各正交逼近基函数的逼近系数及函数的逼近误差 则可以直接确定是否满足所需的逼近精度要求及相应的逼近项数 对非正交函数逼近的逼近项数的确定问题则与控制领域中的定阶问题完全一致 目前只能通过经验选取 或者通过定义关于函数逼近误差和逼近项数的惩罚函数来优化逼近项数 3 统计学中的回归变量的确定 1 2 3 统计学中的回归变量的确定在数理统计学的回归分析中 也存在与系统辨识研究中的阶次辨识问题类似的回归变量 因素 确定的问题 该问题在数理统计学中有较深入和系统的讨论 回归分析中回归变量 因素 确定的基本思想和过程为 先对因变量 输出变量 和回归变量 输出 进行预处理 主要为去掉常数项因素 即均值 和归一化处理 即将所有输入输出变量的方差变换成一致的 然后逐个计算并分析输出变量与各输入变量的相关性 与输出变量相关性大的输入变量则可确定为回归变量 并进行回归分析 3 统计学中的回归变量的确定 2 2 回归分析中确定回归变量的方法是卓有成效的 但也有其局限性 即只能应用于满足统计 随机 规律的输入输出数据的分析处理 4 聚类分析中类数的确定 1 2 4 聚类分析中类数的确定类数确定问题是聚类分析问题的第一步 也是进行聚类的基础 目前 直接讨论类数确定的研究不多 在聚类分析中 大多通过计算需聚类样本的距离的远近或亲疏程度 直接进行聚类 而不先定类数 再进行聚类 4 聚类分析中类数的确定 2 2 在聚类问题中 若能先确定出类数 则可通过对聚类问题定义的优化函数进行优化 属于组合优化问题 进行聚类 可以证明 在确定类数后 对某些满足一定统计规律的聚类样本 由所有类内距离和定义的优化函数的全局极小解即为完全正确的聚类结果 因此 聚类数的确定可以说是正确进行聚类分析的基础 5 模糊分析中模糊变量论域数的确定 1 1 5 模糊分析中模糊变量论域数的确定目前在模糊分析中 模糊变量的模糊论域数的确定主要是根据先验知识和经验进行 对模糊系统辨识 即数据建模 问题 模糊论域数的确定问题是指通过反映系统输入输出关系的数据如何确定系统输入输出变量的论域数和论域划分 模糊论域数和模糊论域的划分问题与聚类问题有极大的相似之处 目前对该类问题的研究也与聚类数的确定问题一样 属于open问题 6 多层感知器的隐层数和隐层神经元数的确定 1 5 6 多层感知器的隐层数和隐层神经元数的确定对多