最小二乘法综述

大学大学 20132013 20142014 学年第 学期期末考试学年第 学期期末考试 系统辨识 系统辨识 小论文小论文 题 目 最小二乘法综述最小二乘法综述 学 院 电气与信息工程学院 系 自动化系 专 业 自动化 班 级 自动化 班 学生姓名 学 号 日 期 2016 12 27 最小二乘法综述最小二乘法综述 摘要 最小二乘法是一种最基本的辨识方法 本文首先对系统辨识 概念以及最小二乘法原理进行了介绍 针对最小二乘存在的缺陷 一是随着数据的增长 最小二乘法将出现所谓的 数据饱和 现象 二是存在有色噪声时不能获得无偏一致估计 进行了分析并阐述了 几种能有效解决上述问题的改进型最小二乘法 分别称为遗忘因子 法 限定记忆法和广义最小二乘法 并且在 Matlab 上进行了仿真分 析 最后对最小二乘法在系统辨识中的发展趋势做了预测 关键词 最小二乘法最小二乘法 改进型最小二乘法改进型最小二乘法 MatlabMatlab 发展趋势发展趋势 引 言 系统辨识归根到底是一种数学建模的过程 而建模过程中运用的方法并不 唯一 最小二乘法是较早被应用于系统辨识中的一类方法 1962 年 L A Zadeh 最先提出了系统辨识的定义 辨识就是在输入和输出数据的基础上 从一组给定的模型类中 确定一个与所测系统等价的模型 简单的来说 就是 在现有数据的基础上 按照一个准则在一组模型类中选择一个与提供的数据拟 合得最好的模型 而根据最小二乘法的定义 最小二乘法是一种数学优化技 术 它通过最小化误差的平方和寻找数据的最佳函数匹配 其基本思想就是让 实测数据和估计数据之间的平方和最小 这恰恰是系统辨识所需要解决的问题 所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型 本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍 并指出实际应用中存在的不足 列举了几种改进型的最小二乘算法限定记忆法 和遗忘因子法 并通过 Matlab 进行仿真分析 最后给出了系统辨识的发展趋势 1 基于最小二乘法的系统辨识的理论基础及应用 1 1 最小二乘法历史简介 1801 年 意大利天文学家朱赛普 皮亚齐发现了第一颗小行星谷神星 经 过 40 天的跟踪观测后 由于谷神星运行至太阳背后 使得皮亚齐失去了谷神星 的位置 随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星 但是根 据大多数人计算的结果来寻找谷神星都没有结果 时年 24 岁的高斯也计算了谷 神星的轨道 奥地利天文学家海因里希 奥尔伯斯根据高斯计算出来的轨道重 新发现了谷神星 高斯使用的最小二乘法的方法发表于 1809 年他的著作 天体运动论 中 经过两百余年后 最小二乘法已广泛应用与科学实验和工程技术中 随着现代 电子计算机的普及与发展 这个方法更加显示出其强大的生命力 1 2 系统辨识的理论基础 从字面上讲 系统辨识 System Identification 就是识别一个系统 辨识一个 系统 系统通常是由表征系统输入输出关系的数学模型描述的 这个模型有其 特定的结构和参数 因此 系统辨识包含系统结构辨识 System Structure Identification 和参数估计 Parameter Estimation 系统结构 或模型结构 就是系统数学表达式的形式 对单输入单输出线性 系统而言 模型结构就是系统的阶次 Order 对多变量线性系统而言 模型结 构就是系统的能控性结构指数 Controllability Structure Index 或能观测性结构指 数 Observability Structure Index 系统阶次等于系统的能控性结构指数或能观 测性结构指数之和 对传递函数而言 系统参数就是传递函数分子分母多项式 的系数 Coeffi cient 系统阶次就是传递函数分母多项式的次数 Degree 对状 态空间模型而言 系统参数就是状态空间模型的 A B C D 矩阵 就是状 态向量的维数或矩阵的维数 它等于系统的能控性结构指数系统阶次或能观测 性结构指数之和 求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及 得到系统参数 1 3 最小二乘法原理 最小二乘法作为一种传统的参数估计方法 早已经被大家所了解 然而大 多同学对最小二乘法的认识都比较模糊 仅仅把最小二乘法理解为简单的线性 参数估计 事实上 最小二乘法在参数估计 系统辨识以及预测 预报等众多 领域都有着广泛的应用 特别是针对动态系统辨识的方法有很多 但其中应用 最广泛 辨识效果良好的就是最小二乘辨识方法 研究最小二乘法在系统辨识 中的应用具有现实的 广泛的意义 因此要用最小二乘法解决实际的辨识问题 首先要对最小二乘法有深刻理解 根据最小二乘法原理 也就是误差的平方和最小原理 设 z k 为 k 时刻的 测量值 为 k 时刻的估计值 误差的平方和 kz J 考虑线性离散系统下的差分方程 k kzkz 2 01 kvikubikzakz ba n i i n i i 将其写成最小二乘格式 1 1 11 ba nn T ba T bbaa nkukunkzkzkh kvkhkz 则 baab T ab T ab T L T abab LL T LL k T nnn LnhnhH Lnznzz HzHzkhkzJ L max 1 1 2 当 处取极值在时 使得 J J 0 考虑到不同时刻的测量值的可信度 可以引入加权因子 k 则 1 L kHzHzJ LLLL T LL 而 由得0 J 1 LL T LLL T L zHHH 正定即 正定 正定时 当 2 2 2 2 0 2 J Nkk HH J LL T LL 因此使得 J 为极小值 1 4 最小二乘法处理辨识问题的应用举例 考虑如下线性系统 11 11 ab nanb z ka z ka z knbu kb u kne k 其中 u k 为系统激励信号 y k 为系统输出 e k 为模型噪声 其系统模型如图 1 所示 图 1 SISO 的系统模型结构图 其中G z 1 是系统函数模型 N z 1 为有色噪声系统模型 e k 为白噪声v k 经过系统函数为N z 1 的系统后的输出 通常 11 11 11 B zD z G zN z A zC z 式中 112 12 112 12 1 a a b b n n n n A za za za z B zb zb zb z 112 12 112 12 1 c c d d n n n n C zc zc zc z D zd zd zb z 则系统可表示为 11 11 B zD z z ku kv k A zC z 设样本和参数集为 1212 1 2 1 2 T T nn h kz kz kz k nu ku ku k n a aa b bb h k 为可观测的量 差分方程可写为最小二乘形式 T z khke k 如何在系统噪声e k 存在的情况下从该方程中正确的解出 即是系统辨识 的任务 为了求出 我们面临三大问题 一是输入信号的选择 二是判决准则的 选取 三是辨识算法的选择 下面一一探讨 1 4 1 选择输入 为了准确辨识系统参数 我们对输入信号有两大要求 一是信号要能持续 的激励系统所有状态 二是信号频带能覆盖系统的频带宽度 除此之外还要求 信号有可重复性 不能是不可重复的随机噪声 因此我们通常选择M序列或逆 M序列作为输入 1 4 2 准则函数 因为本文主要探讨最小二乘类辨识方法 在此选取准则函数 22 11 T kk Je kz khk 使准则函数的估计值记做 称作参数的最小二乘估计值 minJ LS 在式中 令k 1 2 3 L 可构成线性方程组 T z khke k T LLL zkHkek 式中 11 22 0101 1212 11 LL ab ab L ab ze ze ze z Le L zznuun zznuun H z Lz Lnu Lu Ln 准则函数相应变为 22 11 LL T T LLLL kk Je kz khkzHzH 极小化 求得参数的估计值 将使模型更好的预报系统的输出 J 1 4 3 最小辨识二乘算法 设使得 则有 LS minJ 0 LS T LLLL J zHzH 展开上式 并根据以下两个向量微分公式 2 TT TT a xa x x Axx AA x 为对称阵 得正则方程 TT LLLSLL H HH z 当为正则阵时 有 T LL H H 1 TT LSLLLL H HH z 且有 所以满足上式的唯一使得 2 2 20 LS T LL J H H LS minJ 这种通过极小化式计算的方法称作最小二乘法 而且可以证明 minJ LS 当噪声e k 是均值为 0 的高斯白噪声时 可实现无偏估计 2 最小二乘法在辨识时存在的问题及其改进型最小二乘法 2 1 传统最小二乘存在的问题 最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用 在处理 日益复杂的系统辨识问题中 最小二乘法在系统辨识中存在的缺陷逐渐显现出 来 主要是有一下两方面的缺陷 一是当模型是有色噪声时 最小二乘参数估 计不是无偏 一致估计 二是随着数据的增长 最小二乘法将出现所谓的 数 据饱和 现象 这是由于增益矩阵 K k 随着 k 的增加将逐渐趋近与零 以致递 推算法慢慢失去修正能力之故 本节先给出了最小二乘的递推算法 由递推算 法看出 数据饱和 现在 然后阐述了两种解决这种现象的算法称为遗忘因子 法和限定记忆法 最后还阐述了一种解决存在有色噪声不能进行无偏估计的算 法 称为广义最小二乘法 2 2 最小二乘法的递推算法 为了减少计算量 减少数据在计算机中占用的内存 并实时辨识出系统动 态特性 我们常利用最小二乘法的递推形式 下面我们来推导递推最小二乘算 法的原理 首先 将准则函数的最小二乘一次完成算法写为 1 1 11 TTT WLSLLLLLL LL T ii H HH zP L H z h i hih i z i 定义 1 1 1 1 11 1 1 k TT kk i k TT kk i PkH Hh i hi PkHHh i hi 式中 1 11 22 1 TT TT kk TT hh hh HH hkhk 式中 h i 是一个列向量 也就是HL的第i行的倒置 P k 是一个方阵 它 的维数取决于未知参数的个数 假设未知参数的个数是n 则P k 的维数是 n n 由定义中的式子可得 P k 的递推关系为 1 1 1 1 1 k TT i T Pkh i hih k hk Pkh k hk 设 1 1 2 1 1 2 T k T k zzzz k zzzz k 则 1 1111 1 1 1 1 TT kkkk k i kHHHz P kh i z i 由此可得 1 1 1 11 k i Pkkh i z i 由上述推导可得 1 1 1 1 11 1 11 k TT kkkk i T T kH HH zP kh i z i P kPkkh k z k P kPkh k hkkh k z k kP k h kz khkk 引进增益矩阵 K k 定义 K kP k h k 式可以进一步写为 k 11 T kkK kz khkk 接下来可以进一步把写为 P k 1 1 1 T P kPkh k hk 利用矩阵反演公式 11 1111TTT ACCAA C IC A CC A 将演变成 P k 1 11111 1 1 11 TT T T P kP kP kh k hk P khk P kh k P kh k hk IP k hk P kh k 将上式代入 K k 中 整理后可得 1 111 T K kP kh khk P kh k 综合上式可得最小二乘递推参数估计算法 RLS 1 11 111 1 T T T kkK kz khkk K kP kh khk P kh k P kIK k hkP k 2 3 遗忘因子递推算法 所谓 数据饱和 饱和现象就是随着时间的推移 采集到的数据越来越多 新数据所提供的信息被淹没在老数据的海洋之中 由上节推导的 RLS 可知 k 时刻的参数估计值是依靠新信息与增益矩阵 K k 的乘积来修正的 K k 的值越 大 算法的修正能力越强 可是随着时间 k 的增加 K k 的值会逐渐趋近于零 故算法就会失去修正能力 为此本节阐述的遗忘因子算法能改善这种现象 这种方法的基本思想是对老数据加上遗忘因子 以降低老数据所提供的信 息量 增加新数据的信息量 设 SISO 过程采用如下的数学模型 1 1 Azz kB zu kv k 其中 u k 和 z k 是过程的输入输出量 v k 是零均值的不相关随机噪声 改 成最小二乘的格式为 t z kh kv k 又可写为 v LLL zH 当数据加衰减因子后 一次算法可以写成 1 11 LL L itL i ii Luh i h iuh i z i 其中 u 称为遗忘因子 并且 u 大于 0 小于等于 1 定义 1 1 1 11 11 1 1 k kitt kk i k kitt kk i Pkuh i h iH H Pkuh i h iHH 则 11 1 t PkuPkh k h k 最后得 1 1 t kkP k h kz kh kk 令增益矩阵 K kP k h k 综上分析 遗忘因子的递推算法可以写为 1 1 1 1 1 1 1 01 t t t kkK kz kh kk K kP kh kh k P kh ku P kIK k h kP k u u 可见 遗忘因子的递推算法和普通最小二乘法的递推算法的计算流程基本 一致 但是遗忘因子必须选择接近于 1 的正数 通常不小于 0 9 如果过程是线 性的 应把 u 限定在 0 95 和 1 之间 2 4 限定记忆递推算法 最小二乘法或遗忘因子法在一次完成算法中所用的数据长度 L 是一定的 但在递推算法中 数据长度 L 就不是固定的了 它随着时间 k 的推移而逐渐增 加 这意味着老数据所含的信息在不断积累 长期下去新数据所含的信息将被 淹没 新数据的作用就会被削弱 这种数据长度岁 k 不断增长的辨识算法称作 增长记忆法 其特点是老数据所含的信息始终在起作用 相对将影响新数据的 作用 另一类辨识算法叫做限定记忆法 这种方法的参数估计值始终依赖于有 限个最新数据所提供的信息 每增加一个新数据的信息 就要去掉一个老数据 的信息 数据的长度始终保持不变 它的特点是离现时刻 L 以前的老数据所含 的信息从算法中彻底被刨除 影响参数估计值的数据始终是最新的 L 个数据 不像最小二乘法或遗忘因子法那样 不管多老的数据都在起作用 就这点而言 限定记忆法更适合于用来克服 数据饱和 现象 具体算法如下 首先这里不需要考虑不同时刻测量值得可信度所以1 k 所以这里最小二乘法递推公式是 1 1 1 1 1 1 1 kkhkzkKkk kPkhkKIkP khkPhkhkPkK T T T 限定记忆法的思想是每增加一个新数据的信息就减少一个老数据的信息 使 得数据长度保持不变 设第 k 1 步的时候 1 1 1 1 kLkkkPLkkP 第 k 步 增加新数据的信息 也就是加入 z k L h k L 的信息 这里直接用最小二乘法将 z k L h k L 增加到 P 中去 因此 由上式增加后得 1 1 1 1 1 1 1 1 1 LkkPLkhLkkKILkkP LkhLkkPhLkhLkkPLkkK LkkLkhLkzLkkKLkk kLkhLkzLkkKk Lkk T T T T 去掉 k 时刻的数据即 z k h k 的信息 去掉 k 时刻的数据信息后 Y T T T LkzkzLkkz LkkzLkkHLkkP LkkzLkkPHLkk LkkHLkkHLkkPP 1 1 1 1 1 1 1 1 1 1 1 1 这里 最后整理得 1 1 1 1 1 1 1 1 1 t t t t kkLk kLK kkLz kh kk kL K kkLP k kL h kh k P k kL h k P kkLIK kkL h kP k kL k kLk kLK k kLz kLh kLk kL K k kL 1 1 1 1 1 t t P k kLh kLh kL P k kLh kL P k kLIK k kL h kL P k kL 2 5 广义二乘递推算法 设 SISO 系统采用如下模型 11 1 1 A zz kB zu kv k C z 其中A z 1 B z 1 和C z 1 的定义见 1 4 节 假定模型阶次na nb和nc已知 用广义最小二乘法可以得到无偏一致估计 令 1 1 f f zkC zz k ukC zu k 及 1212 1 1 ab T nn T fffaffb a aab bb hkzkzknukukn 将模型化为最小二乘格式 T ff zkhkv k 由于v k 是白噪声 所以用最小二乘可以获得参数 的无偏估计 由于噪 声模型C z 1 未知 还需要用迭代的方法来求得C z 1 令 1 1 e kv k C z 置 12 1 c T en T ec kc cc hke ke kn 这样就把噪声模型也转变为最小二乘格式 T ee e khkv k 由于上式中的噪声已为白噪声 所以用最小二乘也可获得参数 e的无偏估 计 但是数据向量中依然含有不可测的噪声量 可用 1 c e ke kn 相应的估计值来代替 置 其中k 0时 按照 T e kz khk 计算 式中 1 1 T ab h kz kz knu ku kn 综上所述 广义最小二乘法可归纳为 1 1 11 111 1 11 111 1 T fff T fffff T ffff T eeeee T eeeeee T eeee kkKkzkhkk KkP khkhk Pkhk PkIKk hkPk kkKke khkk KkP khkhk P khk P kIKk hkP k 3 仿真结果与性能比较 3 1 仿真模型 模型选用差分方程 2 1 5 z k 1 0 7 z k u k 1 0 5u k v k z k 噪信比为 0 73 其中 v k 为正态分布的白噪声 u k 为取值 1 和 1 的逆 M 序列 系统参数可 以表示为 1 5 0 7 1 0 5 e k 图 2 SISO 系统辨识 黑箱 结构图 y k u k z k v k 1 zN 1 zG 3 2 遗忘因子递推算法的仿真结果 取数据长度 L 402 初始条件 0 0 遗忘因子 u 0 98 则参数估计值的变 化过程如图 050100150200250300350400450 2 1 5 1 0 5 0 0 5 1 1 5 2 待估参数过渡过程 估计方差变化过程 050100150200250300350400450 0 2 4 6 8 10 12 估计方差变化过程 最后的参数估计值 1 5150 0 7477 1 0886 0 6354 3 3 限定记忆递推算法的仿真结果 取数据长度 L0 402 记忆长度 L 20 初始条件 0 0 则参数估计值的变 化过程如图 050100150200250300350400 2 1 5 1 0 5 0 0 5 1 1 5 待估参数过渡过程 估计方差变化过程 050100150200250300350400 0 0 02 0 04 0 06 0 08 0 1 0 12 0 14 0 16 0 18 估计方差变化过程 最后的参数估计值 1 4786 0 6768 0 9608 0 5129 3 4 限定记忆法和遗忘因子法结果分析与比较 从遗忘因子法和限定记忆法的最终估计值来看 两者的效果基本差不多 但 遗忘因子法的参数跟踪过程变化浮动比较大 而限定记忆法则相对平稳许多 这 说明遗忘因子法是新老数据一起起作用才造成这个结果 即对老数据加上遗忘因 子 以降低老数据对辨识的影响 相对增加新数据对辨识的影响 不会出现 数 据饱和 现象 这也只是消弱影响 并没有完全剔除老数据的影响 但是限定记 忆法辨识所使用的数据长度保持不变 每增加一个新数据就抛掉一个老数据 使 参数估计值始终只依赖于有限个新数据所提供的新消息 克服了遗忘因子法不管 多老的数据都在起作用的缺点 因此该算法更能有效的克服数据饱和现象 3 5 广义最小二乘递推算法的仿真结果 实际给定的方程为 Z k 2 1 5 Z k 1 0 7 Z k u k 1 0 5 u k e k e k 2 2 1 e k 1 2 5 e k v k 2 即实际的a1 1 5 a2 0 7 b1 1 b2 0 5 程序运行结果如图 估计方差变化过程 待估参数过渡过程 最后的参数估计值 1 5332 0 7228 1 0185 0 4954 0 0278 0 0521 估计值中的最后两个值表示噪声传递系数的估计值 3 5广义最小二乘递推算法的结果分析 广义最小二乘法其实就是对数据先进行一次滤波预处理 然后利用普通最小 二乘法对滤波后的数据进行辨识 将广义最小二乘法的结果与上述限定记忆法和 遗忘因子法结果比较 发现结果基本是一致的 那是因为噪声模型C z 1 1 故都 能获得无偏一致估计 且广义最小二乘法还能获得噪声模型的估计值 但若C z 1 不为1时 必须利用广义最小二乘法才能获得无偏一致估计 4 系统辨识的发展及对策 最小二乘法 LS 是一种经典的和最基本的 也是应用最广泛的方法 但是 最 小二乘估计是非一致的 是有偏差的 所以为了克服它的缺陷 而形成了一些以最 小二乘法为基础的系统辨识方法 广义最小二乘法 增量最小二乘法 渐消记忆 的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法 有最小二乘两 步法 COR LS 和随机逼近算法等 广义最小二乘法的基本思想是引入一个白化滤波器 把相关噪声转换为白噪 声 基于对观测数据先进行一次滤波处理 然后利用普通最小二乘法对滤波后的数 据进行辨识 递推算法的基本思想是用新估计值对老的估计值进行修正 应用的数据是 实时采集的系统输入输出数据 应用递推算法对参数估计值进行不断修正 以取得 更为准确的参数估计值 而且此方法占据计算机存储量小 因此在辨识系统中 得到了广泛的应用 遗忘因子的最小二乘法在对系统模型参数进行辨识时强调新数据的作用 贬低老数据的作用 将遗忘因子 引入系统中 在实际应用中遗忘因子 的大 小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响 所以选取合适的遗忘因子会显著提高系统的辨识能力 而限定记忆的最小二乘法的参数估计值始终依赖于有限个最新数据所提供 的信息 每增加一个新数据的信息 就要去掉一个老数据的信息 数据的长度 始终保持不变 它的特点是离现时刻 L 以前的老