基于最小二乘参数估计递推算法的线性系统模型参数估计 本科毕业论文

常州工学院毕业设计论文 1 CHANGZHOU INSTITUTE OF TECHNOLOGY 毕毕 业业 设设 计计 说说 明明 书书 题目题目 基于最小二乘参数估计递推算法的线性系统模型参 数估计 二级学院 直属学部 延陵学院 专业 自动化 班级 07 自 Y 学生姓名 张公宝 学号 07121229 指导教师姓名 马金 祥 职称 讲师 评阅教师姓名 职称 2011 年 6 月 KC021 1 常州工学院毕业设计论文 2 摘 要 最小二乘参数估计的递推算法是系统参数辨识中最基本 最成熟的方法 对于给定的线性系统模型 设计一定幅值的 M 序列作为激励信号 设计服从正 态分布的不相关随机噪声 噪信比满足一定要求 作为干扰信号 提取输出信 号 并与输入信号进行分析处理 利用最小二乘参数估计递推算法对该模型进 行参数辨识 然后针对论文的算法分别阐述了服从 N 0 1 正态分布自相关随 机噪声 v k 的产生方法 本文重点介绍了系统参数辨识中最小二乘法的基本 原理 并通过设计一定幅值的 M 序列作为激励信号和服从正态分布的不相关随 机噪声的线性模型作为辨识实例 具体说明了基于最小二乘法参数辨识递推算 法在 Matlab 中的实现方法 结果表明基于最小二乘法递推具有算法简单 精 度较高等优点 并通过实验结果进行了详细的分析 从实验结果可以看出 实 验数据符合实验要求 系统的参数辨识实现最小二乘参数估计的递推算法的效 果令人满意 关键词 最小二乘参数估计的递推算法 M 序列 Matlab 常州工学院毕业设计论文 3 Abstract Recursive least squares parameter estimation algorithm is the most basic identification of system parameters the most sophisticated methods For a given discrete model the design of the M sequence as a certain amplitude excitation signal the design is notrelated to follow a normal random noise noise signal ratio to meet certain requirements as the interference signal extract the output signal and analyzed with the input signal Processing recursive least squares parameter estimation algorithm forparameter identification of the model then the algorithm for the study were explained to obey N 0 1 normally distributed random noise autocorrelation v k of the method This paper focuses on identification of system parameters the basic principle of least squares and M through the design of a certain amplitude of the signal sequence as an incentive and follow a normal random noise is not related to identification of a linearmodel as examples based on specified minimum Recursive least squares parameter identification algorithm in Matlab s implementation The results show that the methodbased on recursive least squares algorithm is simple the advantages of high precision and through experimental results in detail The results can be seen from the experimental data with the experimental requirements the system parameter identification to achieve recursive least squares parameter estimation algorithm issatisfactory Keywords recursive least squares parameter estimation algorithm M sequence Matlab 常州工学院毕业设计论文 4 目目 录录 摘摘 要要 2 2 AbstractAbstract 3 3 第一章第一章 绪论绪论 1 1 1 1 课题来源及现状 1 1 2 最小二乘法简介 原理 1 1 3 最小二乘法缺点 3 1 4 本课题的研究内容 4 第二章第二章 线性最小二乘参数估计及递推算法线性最小二乘参数估计及递推算法 5 5 2 1 线性最小二乘估计概述 5 2 2 简单线性模型的例子 6 2 3 一般最小二乘线性情况 7 2 4 最小二乘法的参数估计 8 2 4 1 参数估计的基本介绍和特点 8 2 4 2 参数估计的一般方法 9 2 4 3 参数估计的性质 9 2 5 递推算法 11 2 5 1 递推的概念与基本思想 11 2 5 2 递推算法分为顺推和逆推两种 11 2 5 3 递推与递归的比较 12 2 6 本章小节 12 第三章第三章 实验用参数识别信号的产生实验用参数识别信号的产生 1313 3 1 参数辨识的概念 13 3 2 本论文要辨识的系统 14 3 3 服从 N 0 1 正态分布自相关随机噪声 v k 的产生方法 15 3 3 1 O 1 均匀分布随机数的产生 15 3 3 2 正态分布随机数的产生 15 3 4 M 序列 u k 的产生 16 3 4 1 M 序列的产生 16 3 4 2 逆 M 序列的产生 17 3 5 本章小节 18 第四章第四章 最小二乘参数估计的递推算法及其最小二乘参数估计的递推算法及其 matlabmatlab 仿真仿真 1919 4 1 MATLAB 简介 19 4 2 最小二乘参数估计的递推算法原理 20 4 3 最小二乘参数估计的递推算法系统模型的运算流程图 21 4 4 最小二乘参数估计的递推算法系统模型的 matlab 仿真主程序 22 4 5 最小二乘参数估计的递推算法的 matlab 仿真过程 24 4 5 1 用 MATLAB 实现算法测试过程 24 4 5 2 仿真结果与分析 27 4 6 本章小节 33 结束语结束语 3434 参考文献 参考文献 3535 致致 谢谢 3737 附录一 附录一 3838 常州工学院毕业设计论文 0 第一章 绪论 1 1 课题来源及现状 参数估计是根据从总体中抽取的样本估计总体分布中包含的未知参数的方 法 它是统计推断的一种基本形式 是数理统计学的一个重要分支 分为点估 计和区间估计两部分 在已知系统模型结构时 用系统的输入和输出数据计算 系统模型参数的过程 18 世纪末德国数学家 C F 高斯首先提出参数估计的方法 他用最小二乘法计算天体运行的轨道 20 世纪 60 年代 随着电子计算机的普及 参 数估计有了飞速的发展 参数估计有多种方法 有最小二乘法 极大似然法 极大验后法 最小风险法和极小化极大熵法等 在一定条件下 后面三个方法 都与极大似然法相同 最基本的方法是最小二乘法和极大似然法 最小二乘法 是为了选出使得模型输出与系统输出 yt 尽可能接近的参数估计值 可用模型与 系统输出的误差的平方和来度量接近程度 使误差平方和最小的参数值即为所 求的估计值 最小二乘法是一种经典的也是有效的数据处理方法 最小二乘法 可用于动态系统 也可用于静态系统 可用于线性系统 也可用于非线性系统 可用于离线估计 也可用于在线估计 在随机的环境下利用最小二乘法时 并 不要求观测数据提供出它的概率统计方面的信息 而用这种方法所获得的估计 结果 却有相当好的统计特性 最小二乘法容易理解和掌握 利用最小二乘法 原理所拟定的辨识算法在实施上比较简单 最小二乘法在系统辨识领域中应用 相当普及 方法上也达到相当完善 1 2 最小二乘法简介 原理 最小二乘法 又称最小平方法 是一种数学优化技术 它通过最小化误差 的平方和寻找数据的最佳函数匹配 利用最小二乘法可以简便地求得未知的数 据 并使得这些求得的数据与实际数据之间误差的平方和为最小 最小二乘法 还可用于曲线拟合 其他一些优化问题也可通过最小化能量或最大化熵用最小 常州工学院毕业设计论文 1 二乘法来表达 1801 年 意大利天文学家朱赛普 皮亚齐发现了第一颗小行星谷神星 经 过 40 天的跟踪观测后 由于谷神星运行至太阳背后 使得皮亚齐失去了谷神星 的位置 随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星 但是根 据大多数人计算的结果来寻找谷神星都没有结果 时年 24 岁的高斯也计算了谷 神星的轨道 奥地利天文学家海因里希 奥尔伯斯根据高斯计算出来的轨道重 新发现了谷神星 高斯使用的最小二乘法的方法发表于 1809 年他的著作 天体运动论 中 而法国科学家勒让德于 1806 年独立发现 最小二乘法 但因不为时人所知而 默默无闻 两人曾为谁最早创立最小二乘法原理发生争执 1829 年 高斯提供了最小二乘法的优化效果强于其他方法的证明 见高斯 马尔可夫定理 从整体上考虑近似函数同所给数据点 i 0 1 m 误差 xp ii yx i 0 1 m 的大小 常用的方法有以下三种 一是误差 iii yxpr i 0 1 m 绝对值的最大值 即误差 向量 iii yxpr i mi x 0 max 的 范数 二是误差绝对值的和 即误差向量 r 的 1 范 T m rrrr 10 m i i r 0 数 三是误差平方和的算术平方根 即误差向量 r 的 2 范数 前两种方 m i i r 0 2 法简单 自然 但不便于微分运算 后一种方法相当于考虑 2 范数的平方 因此在曲线拟合中常采用误差平方和来 度量误差 i 0 1 m 的整 m i i r 0 2 i r 体大小 数据拟合的具体作法是 对给定数据 ii yx i 0 1 m 在取定的函 数类 中 求 xp 使误差 iii yxpr i 0 1 m 的平方和最小 即 m i i r 0 2 m i ii yxp 0 2 min 公式 1 1 从几何意义上讲 就是寻求与给定点 i 0 1 m 的距离平方和为 ii yx 常州工学院毕业设计论文 2 最小的曲线 函数称为拟合 函数或最小二乘解 求拟合函数 xpy xp 的方法称为曲线拟合的最小二乘法 在曲线拟合中 函数类可有不同的 xp 选取方法 图 1 1 定点 i 0 1 m 的距离平方和为最小的曲线图 ii yx xpy 最小二乘大约是 1795 年高斯在他那星体运动轨道预报工作中提出的 后来 最小二乘法就成了估计理论的奠基石 由于最小二乘法结构简单 编制程序也 不困难 所以它颇受人们重视 应用相当广泛 如用标准符号 最小二乘估计可被表示为 BAX 上式中的解是最小化 通过下式中的伪逆可求得 BAAXA BAAAAXAAA 11 由于 1 1 AAAA 所以有 公式 1 2 BAAAX 1 与互为共轭矩阵 与互为可逆矩阵 AA 1 AA AA 此即最小二乘的一次完成算法 现代的递推算法 更适用于计算机的在线 辨识 常州工学院毕业设计论文 3 1 3 最小二乘法缺点 最小二乘法是一种最基本的辨识方法 但它具有两方面的缺陷 一是当模 型噪声是有色噪声时 最小二乘估计不是无偏 一致估计 二是随着数据的增 长 将出现所谓的 数据饱和 现象 针对这两个问题 出现了相应的辨识算 法 如遗忘因子法 限定记忆法 偏差补偿法 增广最小二乘 广义最小二乘 辅助变量法 二步法及多级最小二乘法等 1 4 本课题的研究内容 最小二乘参数估计的递推算法是系统参数辨识中最基本 最成熟的方法 利用最小二乘参数估计递推算法实现对线性模型的参数辨识 线性系统模型辨 识分成两个步骤 结构辨识和参数辨识 这里只要求完成参数辨识部分的内容 对于给定的离散模型 设计一定幅值的 M 序列作为激励信号 设计服从正态分 布的不相关随机噪声 噪信比满足一定要求 作为干扰信号 提取输出信号 并与输入信号进行分析处理 利用最小二乘参数估计递推算法对该模型进行参 数辨识 分析不同模型参数估计算法 不同噪信比所对应的参数估计偏差指标 和静态增益相对偏差 并在此基础上比较各种参数估计算法的适用范围和优缺 点 要求设计出操作简洁 数据信息设置与查询方便的线性系统模型参数辨识 操作界面 具体实现 主要有以下几个方面 首先 设计一定幅值的 M 序列作为激励 信号 其次 设计服从正态分布的不相关随机噪声 噪信比满足一定要求 作 为干扰信号 之后利用最小二乘参数估计递推算法对该模型进行参数辨识 在 此基础上分析不同模型参数估计算法 不同噪信比所对应的参数估计偏差指标 和静态增益相对偏差 最后用 C 语言设计出操作简洁 数据信息设置与查询方 便的线性系统模型参数辨识界面 利用最小二乘参数估计递推算法实现对线性 模型的参数辨识 并进行整体调试 常州工学院毕业设计论文 4 第二章 线性最小二乘参数估计及递推算法 2 1 线性最小二乘估计概述 线性最小二乘估计 linear least squares estimate 以误差的平方和最 小为准则根据观测数据估计线性模型中未知参数的一种基本参数估计方法 1794 年德国数学家 C F 高斯在解决行星轨道猜测问题时首先提出最小二乘法 它的基本思路是选择估计量使模型 包括静态或动态的 线性或非线性的 输 出与实测输出之差的平方和达到最小 这种求误差平方和的方式可以避免正负 误差相抵 而且便于数学处理 例如用误差的绝对值就不便于处理 线性最小二乘法是应用最广泛的参数估计方法 它在理论研究和工程应用 中都具有重要的作用 同时它又是许多其他更复杂方法的基础 线性最小二乘 法是最小二乘法最简单的一种情况 即模型对所考察的参数是线性的 线性动态模型 等式中数据向量 参数向量 1 2 1 2 为误差 为模型阶数 为数据长度 2 估计准则为使最小的参数估计 称为模型的线性最小二乘估计 用符号 LS 表示 可以得出 LS 式中矩阵 向量 LS 是数据的线性函数 因此称为线性最小二乘估计 它的突出优点是 对 于任何一组数据 只要 LS 存在 不要求了解误差序列 的统计特性 便能按照 求出 LS 算法很简单 LS 存在的条件是矩阵 满秩 这要求 为阶持续激励输 入 当误差序列 是零均值的白噪声 并对输入 输出功率加以适当的限制时 LS 是渐近无偏的强一致性估计 即当 N 时 512 02 但是对于有限的数据 上 述结论不能成立 而且通常误差 也不是白噪声 故一般情况下 LS 是有偏估计 这是它的缺点 为了克服这个缺点 可以采用其他改进的估计算法 例如广义 最小二乘估计 辅助变量估计和极大似然估计等 上述单输入单输出系统的线性最小二乘估计算法还可推广到多输入多输出 系统 并且有相应的递推估计算法 常州工学院毕业设计论文 5 2 2 简单线性模型的例子 线性模型是一类统计模型的总称 它包括了线性回归模型 方差分析模型 协方差分析模型和线性混合效应模型 或称方差分量模型 等 许多生物 医 学 经济 管理 地质 气象 农业 工业 工程技术等领域的现象都可以用 线性模型来近似描述 因此线性模型成为了现代统计学中应用最为广泛的模型 之一 下面举一个简单的线性模型的例子 随机选定 10 艘战舰 并分析它们的长度与宽度 寻找它们长度与宽度之间 的关系 由下面的描点图可以直观地看出 一艘战舰的长度 t 与宽度 y 基本呈线性关系 以下图表列出了各战舰的数据 随后步骤是采用最小二乘法 确定两变量间的线性关系 表 2 1 10 艘战舰长度与宽度之间的关系 编号编号 长度长度 m m 宽度宽度 m m t ti i t ty yi i y y i it ti iy yi it ti i y yi i t y t y t t t t y y y y 120821 640 23 19128 2381616 0410 1761 215215 5 15 8 2 9145 978249 648 4681 311310 4 54 8 8 01438 9483003 0464 1601 422731 059 212 59745 3283504 64 158 5081 513713 0 30 8 5 41166 628948 6429 2681 623832 470 213 99982 0984928 04 195 7201 717819 010 20 596 018104 040 3481 810410 4 63 8 8 01511 0384070 4464 1601 919119 023 20 5913 688538 240 3481 1013011 8 37 8 6 61249 8581428 8443 6921 总和总和 16781678184 1184 10 00 00 000 003287 8203287 820 20391 6020391 60 574 8490574 8490 常州工学院毕业设计论文 6 仿照上面给出的例子 公式 2 1 并得到相应的 8 167 10 1678 1 n t t n i i 41 18 y 然后确定 x1 公式 2 2 1612 0 60 20391 820 3287 1 2 1 1 n i i n i ii tt yytt x 可以看出 战舰的长度每变化 1m 相对应的宽度便要变化 16cm 并由下式 得到常数项 x0 公式 2 3 6394 8 8 1671612 0 41 18 10 txyx 在这里随机理论不加阐述 可以看出点的拟合非常好 长度和宽度的相关 性大约为 92 2 3 一般最小二乘线性情况 若含有更多不相关模型变量 t1 tq 可如组成线性函数的形式 即线性方程组 qqqq txtxxxxxtty 110101 公式 2 4 nnqqnjjn iiqqijji qqjj qqjj ytxtxtxx ytxtxtxx ytxtxtxx ytxtxtxx 110 110 2222110 1111110 通常人们将 tij 记作数据矩阵 A 参数 xj 记做参数矢量 x 观测值 yi 记 作 b 则线性方程组又可写成 常州工学院毕业设计论文 7 公式 2 5 n i q j nqnjn iqiji qj qj y y y y x x x x x ttt ttt ttt ttt 2 1 2 1 0 1 1 2221 1111 1 1 1 1 即 Ax b 上述方程运用最小二乘法导出为线性平差计算的形式为 2 minbAx x 2 4 最小二乘法的参数估计 2 4 1 参数估计的基本介绍和特点 参数估计 parameter estimation 是根据从总体中抽取的样本估计总体 分布中包含的未知参数的方法 它是统计推断的一种基本形式 是数理统计学 的一个重要分支 分为点估计和区间估计两部分 在已知系统模型结构时 用系统的输入和输出数据计算系统模型参数的过 程 18 世纪末德国数学家 C F 高斯首先提出参数估计的方法 他用最小二乘法 计算天体运行的轨道 20 世纪 60 年代 随着电子计算机的普及 参数估计有了 飞速的发展 参数估计有多种方法 有最小二乘法 极大似然法 极大验后法 最小风险法和极小化极大熵法等 在一定条件下 后面三个方法都与极大似然 法相同 最基本的方法是最小二乘法和极大似然法 参数估计的标准特点 1 无偏性 2 一致性 3 有效性 4 充分性 常州工学院毕业设计论文 8 2 4 2 参数估计的一般方法 参数估计的一般方法有 1 矩估计法 用样本矩估计总体矩 如用样本均值估计总体均值 2 最小二乘法 为了选出使得模型输出与系统输出 yt 尽可能接近的参 数估计值 可用模型与系统输出的误差的平方和来度量接近程度 使误差平方 和最小的参数值即为所求的估计值 3 极大似然法 选择参数 使已知数据 Y 在某种意义下最可能出现 某种意义是指似然函数最大 这里是数据 Y 的概率分布函数 与 YP YP 最小二乘法不同的是 极大似然法需要已知这个概率分布函数 在实践 YP 中这是困难的 一般可假设是正态分布函数 这时极大似然估计与最小 YP 二乘估计相同 2 4 3 参数估计的性质 当估计值的数学期望等于参数真值时 参数估计就是无偏估计 当估计值 是数据的线性函数时 参数估计就是线性估计 当估计值的均方差最小时 参 数估计为一致最小均方误差估计 若线性估计又是一致最小均方误差估计 则 称为最优线性无偏估计 如果无偏估计值的方差达到克拉默 尧不等式的下界 则称为有效估计值 若 则称 为一致性估计值 在一定条件下 最小二乘估 计是最优线性无偏估计 它的估计值是有效估计 而且是一致性估计 极大似 然估计在一定条件下渐近有效 而且是一致的 公式 2 6 n pp z n pp zp 1 1 2 2 寻求最小二乘估计和极大似然估计的常用方法是将准则对参数 求导数 计算梯度 因而要使用最优化的方法 梯度法 变尺度法 单纯形搜索法 牛顿 拉夫森法等 公式 2 7 n s zX n s zX 2 2 常州工学院毕业设计论文 9 1 点估计 点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数 通 常它们是总体的某个特征值 如数学期望 方差和相关系数等 点估计问题就 是要构造一个只依赖于样本的量 作为未知参数或未知参数的函数的估计值 例如 设一批产品的废品率为 为估计 从这批产品中随机地抽出 n 个作 检查 以 X 记其中的废品个数 用 X n 估计 这就是一个点估计 构造点 估计常用的方法是 矩估计法 用样本矩估计总体矩 如用样本均值估计总 体均值 最大似然估计法 于 1912 年由英国统计学家 R A 费希尔提出 利 用样本分布密度构造似然函数来求出参数的最大似然估计 最小二乘法 主 要用于线性统计模型中的参数估计问题 贝叶斯估计法 基于贝叶斯学派 见贝叶斯统计 的观点而提出的估计法 可以用来估计未知参数的估计量很 多 于是产生了怎样选择一个优良估计量的问题 首先必须对优良性定出准则 这种准则是不唯一的 可以根据实际问题和理论研究的方便进行选择 优良性 准则有两大类 一类是小样本准则 即在样本大小固定时的优良性准则 另一 类是大样本准则 即在样本大小趋于无穷时的优良性准则 最重要的小样本优 良性准则是无偏性及与此相关的一致最小方差无偏估计 其次有容许性准则 最小化最大准则 最优同变准则等 大样本优良性准则有相合性 最优渐近正 态估计和渐近有效估计等 2 区间估计 区间估计是依据抽取的样本 根据一定的正确度与精确度的要求 构造出 适当的区间 作为总体分布的未知参数或参数的函数的真值所在范围的估计 例如人们常说的有百分之多少的把握保证某值在某个范围内 即是区间估计的 最简单的应用 1934 年统计学家 J 奈曼创立了一种严格的区间估计理论 求置 信区间常用的三种方法 利用已知的抽样分布 利用区间估计与假设检验 的联系 利用大样本理论 3 递推参数估计 为了减少计算量 便于在线估计参数 产生了许多递推算法 一般是用递 推算法估计动态系统的参数 方法是 利用时刻 t 上的参数估计 存储向量 xt 常州工学院毕业设计论文 10 与时刻 t 1 上的输入和输出数据 ut 1 和 yt 1 计算新的参数值 每一步的计 算时间比解一个线性代数方程组要少得多 最小二乘法和极大似然法都有递推形式 另外还有递推广义最小二乘法 递推辅助变量法和递推增广最小二乘法等 都是递推最小二乘法的改进形式 可以用来估计带有色噪声干扰的系统 此外 随机逼近算法 卡尔曼滤波 法和朗道递推估计 是从不同的出发点得到的递推参数估计法 见递推估计算 法 大多数递推参数估计算法的一致性 即 可以用鞅收敛性 常微分方程稳定 性和超稳定性 正实性分别证明 表示非度量误差向量系数 公式 2 8 2 ZZp 2 5 递推算法 2 5 1 递推的概念与基本思想 给定一个数的序列若存在整数 使当 时 可以用等 10n HHH 0 nn 0 n 号 或大于号 小于号 将与其前面的某些项 0 i 3 n N 则我们通过顺推可以知道 f 3 f 1 f 2 2 f 4 f 2 f 3 3 直至我们要求的解 逆推法 所谓逆推法从已知问题的结果出发 用迭代表达式逐步推算出问题的开始 的条件 即顺推法的逆过程 称为逆推 常州工学院毕业设计论文 11 2 5 3 递推与递归的比较 对于递归算法 递推算法免除了数据进出栈的过程 也就是说 不需要函数 不断的向边界值靠拢 而直接从边界出发 直到求出函数值 比如阶乘函数 f n n f n 1 在 f 3 的运算过程中 递归的数据流动过程如下 f 3 f i f i 1 i f 2 f 1 f 0 f 0 1 f 1 f 2 f 3 f 3 6 而递推如下 f 0 f 1 f 2 f 3 公式 2 9 由此可见 递推的效率要高一些 在可能的情况下应尽量使用递推 但是递归 作为比较基础的算法 它的作用不能忽视 所以 在把握这两种算法的时候应该 特别注意 2 6 本章小节 本章主要介绍了一般线性最小二乘法的估计 简单介绍了线性模型以及最 小二乘法的参数估计 介绍了参数估计的特点及参数估计的一般方法 其次是 参数估计的性质 介绍了最小二乘法的递推的算法 阐述了递推的概念与基本 思想 分析了递推算法它可以分为顺推和递推两种 还进行了递推与递归的比 较 常州工学院毕业设计论文 12 第三章 实验用参数识别信号的产生 3 1 参数辨识的概念 根据系统的输入输出时间函数来确定描述系统行为的数学模型 现代控制 理论中的一个分支 通过辨识建立数学模型的目的是估计表征系统行为的重要 参数 建立一个能模仿真实系统行为的模型 用当前可测量的系统的输入和输 出预测系统输出的未来演变 以及设计控制器 对系统进行分析的主要问题是 根据输入时间函数和系统的特性来确定输出信号 对系统进行控制的主要问题 是根据系统的特性设计控制输入 使输出满足预先规定的要求 而系统辨识所 研究的问题恰好是这些问题的逆问题 通常 预先给定一个模型类 M 即给定一类已知结构的模型 一类输入信号 u 和等价准则 J L y yM 一 般情况下 J 是误差函数 是过程输出 y 和模型输出 yM 的一个泛函 然后选 择使误差函数 J 达到最小的模型 作为辨识所要求的结果 系统辨识包括两个 方面 结构辨识和参数估计 在实际的辨识过程中 随着使用的方法不同 结 构辨识和参数估计这两个方面并不是截然分开的 而是可以交织在一起进行的 辨识的基本步骤为 先验知识和建模目的的依据 先验知识指关于系统 运动规律 数据以及其他方面的已有知识 这些知识对选择模型结构 设计实 验和决定辨识方法等都有重要作用 用于不同目的的模型可能会有很大差别 实验设计 辨识是从实验数据中提取有关系统信息的过程 设计实验的目标 之一是要使所得到的数据能包含系统更多的信息 主要包括输入信号设计 采 样区间设计 预采样滤波器设计等 结构辨识 即选择模型类中的数学模型 M 的具体表达形式 除线性系统的结构可通过输入输出数据进行辨识外 一 般的模型结构主要通过先验知识获得 参数估计 知道模型的结构后 用输 入输出数据确定模型中的未知参数 实际测量都是有误差的 所以参数估计以 统计方法为主 模型适用性检验 造成模型不适用主要有三方面原因 模型 结构选择不当 实验数据误差过大或数据代表性太差 辨识算法存在问题 检 验方法主要有利用先验知识检验和利用数据检验两类 常州工学院毕业设计论文 13 辨识有结构辨识和参数辨识 本课题主要研究的是参数辨识 对于一个简 单的系统 可以通过分析其过程的运动规律 应用一些已知的定理和原理 建立 数学模型 即所谓的 白箱建模 但对于比较复杂的生产过程 该建模方 法有很大的局限性 由于过程的输入输出信号一般总是可以测量的 而且过程 的动态特性必然表现在这些输入输出数据中 那么就可以利用输入输出数据所 提供的信息来建立过程的数学模型 这种建模方法就称为系统辨识 把辨识建 模称作 黑箱建模 系统辨识又分为参数辨识和阶次辨识 在本文中只讨 论参数辨识问题 凡是需要通过实验数据确定数学模型和估计参数的场合都要利用辨识技术 辨识技术已经推广到工程和非工程的许多领域 如化学化工过程 核反应堆 电力系统 航空航天飞行器 生物医学系统 社会经济系统 环境系统 生态 系统等 适应控制系统则是辨识与控制相结合的一个范例 也是辨识在控制系 统中的应用 3 2 本论文要辨识的系统 系统如图 3 1 图 3 1 系统辨识图 图中 v k 表示干扰信号的输入 u k 表示 M 序列信号的输入 用于改变 干扰信号输入的参数值 z k 表示系统输出信号 本论文需要辨识的参数分别 是 2121 bbaa 表 3 1 给出了辨识参数的真实值与估计值 v k u k 2 2 1 1 2 2 1 1 1 zaza zbzb y k z k 常州工学院毕业设计论文 14 表 3 1 最小二乘递推算法的辨识真实值与估计值 参数 a1a2b1b2 真实值 1 50 71 00 5 估计值 1 5031 0 7031 3 0 9875 1 0 4960 4 3 3 服从 N 0 1 正态分布自相关随机噪声 v k 的产生方法 3 3 1 O 1 均匀分布随机数的产生 本论文用了乘同余法产生 0 1 均匀分布随机数 L 表示取小数部分 是伪随机序列 1 11 I AL 公式 3 1 M X0 0 A 3 mod8 或 A 5 mod8 且 A 不能太小 初值取正奇数 M 为 2 的方幂 0 X 即 M k 2 本文取 A 179 M 1l K 2 20 2 0 X 3 3 2 正态分布随机数的产生 随机数在实际运用中非常之多 如游戏设计 信号处理 通常我们很容易 得到平均分布的随机数 但如何根据平均分布的随机数进而产生其它分布的随 机数呢 本论文采用了统计近似抽样法产生正态分布随机数 是 0 1 均 i 匀分布的随机数序列 公式 3 2 12 1 6 i i 利用上式取 产生符合系统的服从 N 0 1 正态分布自相关随0 1 机噪声 v k 常州工学院毕业设计论文 15 正态分布随机数的生成原理 首先 生成 n 一 sample 个在 1 1 间均匀分布 的随机数 n 一 sample 是产生正态分布随机数所需的均匀分布随机数的个数 正态随机数性能的好坏 关键在于能否产生性能良好的均匀分布的随机数序列 再用 rand 函数生成在某一范围内均匀分布的随机数序列 然后进行标准化 优 点在于每调用一次将产生一个不同的随机数 不同时间运行将生成不同的随机 数序列 缺点是在随机数种子确定后 任何时侯运行将产生一组一样的随机数序 列 如图 3 2 误差信号随机数的产生 图 3 2 误差信号随机数的产生图 3 4 M 序列 u k 的产生 3 4 1 M 序列的产生 设有一无限长的二元序列 各元素间有下列关系 pipiii XaXaXaX 221 1 其中 i P 1 P 2 系数 a1 a2 p 1 取值 O 或 l 系数 ap 总为 1 表示模 2 和 M 序列是伪随机序列的一种情况 他可以在很多领域中都有重要应用 对于一个 n 级反馈移位寄存器来说 最多可以有 n 个状态 对于一个线性 反馈移位寄存器来说 全 0 状态不会转入其他状态 所以线性移位寄存器的 常州工学院毕业设计论文 16 序列的最长周期为 当 n 级线性移位寄存器产生的序列 ai 的周期为 T 12 n 2 n 1 时 称 为 n 级 m 序列 i a 当反馈函数为非线性函数时 便构成非线性移位寄存器 n aaaaf 321 其输出序列为非线性序列 输出序列的周期最大可达 并称周期达到最大 n 2 值的非线性移位寄存器序列为 M 序列 伪随机序列可由线性移位寄存器网络产生 该网络由 r 级串联的双态器件 移位脉冲产生器和模2加法器组成 下面以4级移位寄存器为例 说明伪随机序 列的产生 规定移位寄存器的状态是各级从右至左的顺序排列而成的序列 这 样的状态叫正状态或简称状态 反之 称移位寄存器状态是各级从左至右的次 序排列而成的序列叫反状态 例如 初始状态是0001 那么 如果反馈逻辑为 对01 02 03 04 nnnn aaaa43 nnn aaa 于初始状态为0001 经过一个时钟节拍后 各级状态自左向右移到下一级 未 级输出一位数 与此同时模2加法器输出值加到移位寄存器第一级 从而形成移 位寄存器的新状态 下一个时钟节拍到来又继续上述过程 未级输出序列就是 伪随机 序列 其产生的伪随机序列为 010111100011000100111001101011 n a 这是一个周期为15的周期序列 改变反馈逻辑的位置及数量还可以得到更多不 同的序列输出 从上述例子可以得到下列结论 1 线性移位寄存器的输出序列是一个周期序列 2 当初始状态是0状态时 线性移位寄存器的输出全0序列 3 级数相同的线性移位寄存器的输出序列和反馈逻辑有关 4 同一个线性移位寄存器的输出序列还和起始状态有关 5 对于级数为 r 的线性移位寄存器 当周期 p 2r 1时 改变移位寄存 器初始状态只改变序列的初相 这样的序列称为最大长度序列或 m 序列 3 4 2 逆 M 序列的产生 设 M k 是周期为 N bit 元素取值为 0 或 l 的 M 序列 S k 是周期为 2bit 元素取值为 0 或 l 的方波序列 将这两个序列按位模 2 和 得到周期为 常州工学院毕业设计论文 17 2Np bit 的逆 M 序列 kSkMkM 3 5 本章小节 本章介绍了参数辨识的的概念及本论文要辨识的系统 阐述了服从 N 0 1 正太分布自相关随机噪声 v k 的产生方法 0 1 均匀分布随机 数的产生及正太分布随机数的产生 最后介绍了价逆 M 序列 u k 的产生方法 M 序列的产生及逆 M 序列的产生方法 常州工学院毕业设计论文 18 第四章 最小二乘参数估计的递推算法及其 matlab 仿真 4 1 MATLAB 简介 MATLAB 是一门计算机编程语言 取名来源于 Matrix Laboratory 本意是 专门以矩阵的方式来处理计算机数据 它把数值计算和可视化环境集成到一起 非常直观 而且提供了大量的函数 使其越来越受到人们的喜爱 工具箱越来 越多 应用范围也越来越广泛 美国 Math 从 MathWorks 公司推出的 MATLAB 是美国 CleveMoler 开发的一种 集数值计算 符号运算 可视化建模 仿真和图形处理等多种功能于一体的优 秀的图形化语言 它语法规则简单 贴近人的思维方式 用它编程可以直接调 用所需库函数 编程效率高 程序简练 犹如在一张演算纸上排列公式和求解 问题 因此被称为 演算纸式 的科学工程算法语言 经过多年的发展和完善 MATLAB 已经发展成为一个多领域 多学科 多功 能的科技应用软件 它具有以下特点 1 超强的数值运算功能 在 MATLAB 环境中 有超过 500 种的数学 统计 科学及工程方面的函数可供使用 而且使用简单快捷 一个很复杂的问题只用 几条简单的指令就可以解决 这样可以使用户把精力集中在解题方面 而不必 在电脑编程上浪费太多时间 2 强大的数据可视化功能 MATLAB 的图形功能使用户可以进行视觉数据处 理和分析 研究人员在完成科学性或工程性文章时 可以用 MATLAB 制作高质量 的图形 从而写出图文并茂的文章 3 开放的架构和可延拓的特性 除了内部函数外 所有 MATLAB 主包文件和 各工具包都是可读可改的源文件 用户可以检查算法 修改现有函数 甚至加 入自己的函数 构成新的工具包 使 MATLAB 拥有适合用户的环境 4 丰富的工具箱 由于 MATLAB 的开放性 许多领域的专家都为 MATLAB 编 写了各种程序工具箱 这些工具箱提供了用户在特别应用领域所需的许多函数 常州工学院毕业设计论文 19 这使得用户不必花大量的时间编写程序 就可以直接调用这些函数 为用户节 省了大量的时间和精力 达到事半功倍的效果 MATLAB 主要由 MATLAB 主程序 MATLAB 工具箱 Toolbox 和 SIMULINK 动态 系统仿真三大部分组成 其中主程序包括 MATLAB 语言 工作环境 句柄图形 数学函数库和应用程序接口五部份 工具箱实际就是用 MATLAB 的基本语句编写 的各种子程序集和函数库 用于解决某一方面的特定问题 实现某一类的新算 法 4 2 最小二乘参数估计的递推算法原理 最小二乘参数估计的递推算法是系统参数辨识中最基本 最成熟的方法 递推算法的基本思想可以概括成 新估计值 0 k 老的估计值 e k 一 1 修 正项 递推算法是直接从边界出发 直到求出函数值 依观测次序的递推算法就是每获得一次新的观测数据就修正一次参数估计 值 随着时间的推移 便能获得满意的辨识结果 递推辨识算法具有无矩阵求 逆 以及跟踪时变系统等特点 这样不仅可以减少计算量和储存量 而且能够 实现在线辨识 常州工学院毕业设计论文 20 4 3 最小二乘参数估计的递推算法系统模型的运算流程图 产生输出信号随机噪声 M 序列激励信号 赋初值 系统输出数据 最小二乘的参数辨识 递推算法 辨识后的参数估计值 输入输出信号比较 图 4 1 系统运算流程图 常州工学院毕业设计论文 21 4 4 最小二乘参数估计的递推算法系统模型的 matlab 仿真主程 序 本程序主要是实现对于给定的线性系统模型 设计一定幅值的 M 序列作为 激励信号 设计服从正态分布的不相关随机噪声 噪信比满足一定要求 作为 干扰信号并提取出输出信号 同时对于给定的线性系统模型提取到的输出信号 与输入信号进行分析处理 程序运行后可以实现给定线性系统模型经过最小二 乘参数估计的递推算法运算后的得到辨识参数 基于递推最小二乘法的参数估计实验系统模型仿真主程序 见附录一 产生 M 序列的程序 z 1 1 0 z 2 1 0 for i 3 dataLength Init 3 z i 1 1 5 z i 1 1 0 7 z i 2 1 u i 1 1 0 5 u i 2 1 e i 1 1 5 e i 1 1 0 7 e i 2 1 z i 1 1 5 z i 1 1 0 7 z i 2 1 u i 1 1 0 5 u i 2 1 e i 1 end idenStart 1 N 2 for j 1 N for i 1 dataLength Init z1 i j z N i j idenStart 1 u1 i j u N i j idenStart 1 z2 i 1 z N i idenStart 1 end end H z1 u1 Pa inv H H H z2 常州工学院毕业设计论文 22 P inv H H for i dataLength Init 4 dataLength z i 1 1 5 z i 1 1 0 7 z i 2 1 u i 1 1 0 5 u i 2 1 e i 1 1 5 e i 1 1 0 7 e i 2 1 z i 1 1 5 z i 1 1 0 7 z i 2 1 u i 1 1 0 5 u i 2 1 e i 1 for j 1 N z1 i 3 j z N i 3 j idenStart 1 u1 i 3 j u N i 3 j idenStart 1 end 干扰信号程序 checkLength 200 checkStart 10 for i 1 checkLength zTure i z i checkStart 1 end zGu 1 z checkStart 1 1 e checkStart 1 1 zGu 2 z checkStart 2 1 e checkStart 2 1 zGu 1 z checkStart 1 1 e checkStart 1 1 zGu 2 z checkStart 2 1 e checkStart 2 1 Pa 1 1 e checkStart 1 1 zError 1 zGu 1 zTure 1 zError 2 zGu 2 zTure 2 for i 3 checkLength zGu i Pa 1 1 zGu i 1 Pa 2 1 zGu i 2 Pa 3 1 u i checkStart 1 Pa 4 1 u i checkStart 2 e checkStart i 1 Pa 1 1 e checkStart i 1 1 Pa 2 1 e checkStart i 2 1 常州工学院毕业设计论文 23 zGu i Pa 1 1 zGu i 1 Pa 2 1 zGu i 2 Pa 3 1 u i checkStart 1 Pa 4 1 u i checkStart 2 e checkStart i 1 zError i zGu i zTure i end for i 1 checkLength t i i end 4 5 最小二乘参数估计的递推算法的 matlab 仿真过程 4 5 1 用 MATLAB 实现算法测试过程 运行 MATLAB 7 0 软件 创建 m 文件并写入程序 如下图 4 2 常州工学院毕业设计论文 24 图 4 2 matlab 仿真程序主界面图 检查无错后 然后进行仿真 程序运行后 得到各个参数数值 仿真结果 比较及估计误差曲线 如图 4 3 图 4 4 和图 4 5 常州工学院毕业设计论文 25 图 4 3 各个参数数值图 图 4 4 仿真结果比较图 常州工学院毕业设计论文 26 图 4 5 估计误差曲线图 4 5 2 仿真结果与分析 在 MATLAB 的 Figure1 中 利用放大镜工具将比较曲线放大 仔细观察发现 在结合递推算法的最小二乘参数辨识的过程中 实际系统输出的数值与辨识数 值输出的估计值在递推算法的初期辨识过程中数值出现较大误差 如下图 4 6 常州工学院毕业设计论文 27 图 4 6 图中蓝色代表辨识系统估计值曲线 红色代表实际输出系统数值曲线 由图 4 5 和 4 6 可知 在参数辨识初期 实际系统输出的数值与辨识数值 输出的估计值在递推算法的初期辨识过程中