（概率论与数理统计专业论文）一类特殊线性系统模型的参数估计及其收敛性.pdf

国防科学技术大学研究生院学位论文 摘要 系统辨识主要研究如何确定系统的数学模型及其参数的问题，是一门应用范围很广的 学科。它涉及如何根据控制系统输入和输出的信息推断出系统动态数学模型的问题，其中 确定模型的参数是它首要解决的问题。隐马氏模型( t h eh i d d e nm a r k o vm o d e l ，h m m ) 是 一种统计信号模型，它在语音识别、图像处理和信号处理等领域有广泛的应用。隐马氏模 型理论包含三个部分，即：学习问题、识别问题和解码问题，其中参数估计是它的核心问 题。由于隐马氏模型和系统辨识都涉及参数估计的问题，因此，把二者结合起来去解决系 统模型的参数估计问题是一个值得研究的想法。这种想法在本文解决模型的递推参数估计 问题中己证明是很有效的。 论文主要阐述类特殊线性系统模型的参数估计问题与收敛性问题。围绕这两个方面 r 给出了一些改进的参数估计算法，并用鞍的各种收敛理论对之进行了严格的数学证明。 论文所做的主要工作如下： l 在最d , - - 乘法准则下对离散时间线性系统模型推导了参数估计公式，使用鞅收敛定 理和k r o n e e k c r 引理证明了模型参数估计的收敛性。该证明过程是严格的，从而在理论上 保证了算法的合理性。 2 分析了离散时间线性系统模型参数估计误差的收敛性和收敛速度，对参数估计误差 服从渐近正态分布的一些条件进行了讨论。 3 假定系统模型的表达式已经得到，以扩展自回归滑动平均模型( a r m a x ) 描述的自 适应控制系统为研究对象，提出了在回归变量中使用预测误差，在输入和输出之间允许任 意反馈的一类自适应预测算法。该算法可以利用时刻七以前的所有输入、输出值，预测i 时 刻的输出或最后用鞅收敛定理的推广形式证明了这一自适应预测算法的全局收敛性。 关键词：隐马尔科夫模型系统辨识鞅理论参数估计收敛性 最小= 乘算法 自适应预测算法渐近正态分布 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t s y s t e m i d e n t i f i c a t i o n m a i n l y s t u d i e ss o m ep r o b l e m sh o wm a t h e m a t i c a lm o d e la n d p a r a m e t e r so fs y s t e m , a r ed e t e r m i n e d i ti s aw i d e l yu s e ds u b j e c t i ti n v o l v e sh o wp r e d i c t d y n a m i cm a t h e m a t i c a lm o d e lo f s y s t e mt h a tb e s td e s c r i b e st h ed a t aa c c o r d i n g t oi n p u ta n do u t p u t i n f o r m a t i o n i ti sac h i e fp r o b l e mt oe s t i m a t em o d e lp a r a m e t e r si nt h ec o u r s eo fd e t e r m i n i n g m a t h e m a t i c a lm o d e lo fs y s t e m t h eh i d d e nm a r k o vm o d e l ( h m m ) i sas o r to fs t a t i s t i c a ls i g n a l m o d e l i th a sb e e nw i d e l ya p p l i e dt om a n yf i e l d ss u c ha ss p e e c hr e c o g n i t i o n ，i m a g ep r o c e s s i n g a n ds i g n a lp r o c e s s i n ge t c t h e r ea r et h r e ef u n d a m e n t a lp r o b l e m sn e e d e dt ob ec o n s i d e r e df o r h m m ，n a m e l y ：t r a i n i n g ，r e c o g n i z i n ga n dd e c o d i n g p a r a m e t e re s t i m a t i o ni st h ec o r ep r o b l e m o fi t t h e r e f o r e ，i ti sas u i t a b l ei d e at os o l v ep a r a m e t e re s t i m a t i o nb yu s i n gac o m b i n e dm e t h o d c o n n e c t i n gt h es y s t e mi d e n t i f i c a t i o nw i t ht h eh m mt h e o r y t l l i si d e a i ss h o w nt ob ev e r y e f f e c t i v ei nt r e a t i n gt h er e c u r s i v ep a r a m e t e re s t i m a t i o np r o b l e m so f t h i sp a p e r t h ep a p e rm a i n l yi l l u s t r a t e sp a r a m e t e re s t i m a t i o na n dc o n v e r g e n c eo fas p e c i a ll i n e a rs y s t e m m o d e l ，s o m ei m p r o v e dp a r a m e t e re s t i m a t i o na l g o r i t h m sa r ep r e s e n t e d ，t h e i rc o n v e r g e n t p r o p e r t i e sa r ep r o v e db yu s i n gt h em a r t i n g a l ec o n v e r g e n c et h e o r e m t h ed e t a i l e dd i s c u s s i o ni s o r g a n i z e da sf o l l o w s 1 t h ep a r a m e t e r so fd i s c r e t e - t i m el i n e a rs y s t e mm o d e la r ee s t i m a t e db yt h el e a s t s q u a r e s a l g o r i t h m 1 1 1 er e s u l tt h a tp a r a m e t e re s t i m a t o rc o n v e r g e n tt ot h et r u ev a l u ei sp r o v e d t h ep r o o f i sq u i t es t r i c ta n di ti sb a s e do nt h em a r t i n g a l et h e o r ya n dk r o n e c k e rl e m m a 2 t h ec o n v e r g e n tp r o p e r t ya n dc o n v e r g e n tr a t eo fp a r a m e t e re s t i m a t i o ne r r o ra r ea n a l y z e d s o m es u m c i e n tc o n d i t i o n sa r eg i v e nt o g u a r a n t e et h ea s y m p t o t i en o r m a l i t yo fp a r a m e t e r e s t i m a t i o ne r r o r 3 w h e na d a p t i v ec o n t r o ls y s t e mi sd e s c r i b e db ye x t e n d e da r m at i m es e r i e sm o d e l ，a n a d a p t i v ep r e d i c t i o na l g o r i t h mi se s t a b l i s h e d n ek e yf e a t u r e so ft h ea l g o r i t h ma r e ( 1 ) t h e p r e d i c t i o ne r r o r sa r eu s e di nt h er e g r e s s i o nv e c t o r ，( 2 ) a na r b i t r a r yf e e d b a c ki sa l l o w e db e t w e e n o u t p u ta n di n p u t i nt h ee n d ，t h ea d a p t i v ep r e d i c t i o na l g o r i t h mi sp r o v e dt o b eg l o b a l l y c o n v e r g e n tb yu s i n gt h ee x t e n d e df o r mo f m a r t i n g a l e sc o n v e r g e n c e t h e o r e m k e yw o r d s ：h i d d e nm a r k o vm o d e ls y s t e mi d e n t i f i c a t i o nm a r t i n g a l et h e o r y p a r a m e t e re s t i m a t i o n c o n v e r g e n c ep r o p e r t y t h el e a s t - s q u a r e sa l g o r i t h m a d a p t i v ep r e d i c t i o na l g o r i t h ma s y m p t o t i cn o r m a l i t y 第1 i 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：二尝挂建线性歪统搓型煎叁数垡盐丞基蝗筮壁 学位论文作者签名 眵阻最 日期：口d 忤，7 月多d 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：二娄挂硅生性丞缝搓型煎叁熬焦盐丞基选敛性 学位论文作者签名：堕望堡是 作者指导教师签名：耄兰 日期：工口叫二年f f 月弓d 日 日期：矿声年月乡口日 国防科学技术人学研究生院学位论文 第一章绪论 l 。l 系统辨识与隐马氏模型的研究现状 系统辨识i l l 是现代控制理论的一个重要组成部分。随着控制对象复杂性的提高，控制 理论的应用日益广泛。但是控制理论的实际应用不能脱离被控对象的动态特性，而且所用 的数学模型需要选择一种使用起来方便的描述形式。然而在很多情况下建立被控对象的数 学模型是不容易的，尤其是具体的物理对象或工程系统，它们的机理往往很复杂而且含有 各种噪声，因此很难用理论分析的方法推导出数学模型。这样就提出了怎样确定系统的数 学模型及其参数的问题。这就是所谓的系统辨识问题。在控制工程中l - a z a d e h 2 】把系统辨 识定义为“根据系统的输入输出数据，按照所选的标准，从给定的模型类中寻找与所研究 的系统等价的模型。”1 9 7 8 年l l j u n g f 2 明确指出：“系统辨识有三个要素一数据、模型类 和准则。系统辨识是按照一个准则在模型类中选择一个与数据拟合得最好的模型。”系统 辨识的研究内容包括：试验设计、模型结构确定、参数估计、模型验证等，其中如何确定 系统的数学模型及其参数是它研究的重点。目前，在应用方面随着现代控制理论的迅速发 展，k a l m a n 滤波技术的广泛应用，系统辨谚 已有效的应用于空间技术、生物医学系统1 3 】、 经济系统、机器人工程等领域；在理论研究方面也取得了丰硕成果。一些重要著作如 g c g o o d w i n 的动念系统辨识一试验设计与数据分析1 4 j 和自适应滤波、预测及控制 1 5 ，t s o d e r s t r o m 的系统辨识 6 1 ，都已成为经典著作。自1 9 6 7 年起每隔三年召开次 的i f a c ( 国际自动控制联合会) 系统辨识与参数估计专业学术会议，已成为各国学者交流 的重要场所，起着决定以后系统辨识研究方向的作用。 现在系统辨识的研究动向主要集中在以下几个方面：l 闭环辨识问题的研究：2 多变 量系统的结构辨识以及时变系统的参数辨识问题的深入探讨；3 进一步简化辨识算法的收 敛性条件及寻找更好数学证明工具问题的研究：4 关于短样本长度下的建模问题；5 系统 辨识如何成功应用于实际的问题。 隐马氏模型【7 l ( h i d d e nm a r k o vm o d e l ，h m m ) 作为一种描述随机信号统计特性的概率 模型，其基本理论在上世纪6 0 年代末与7 0 年代初就已形成。隐马氏模型由两个随机过程 组成，其中一个由隐藏的并且具有马氏性的输入状态构成，称之为状态马氏链：另一个由 与状态马氏链相关的可被观测的输出状态所构成，通常称之为观测过程。h m m 需要解决 第1 页 国防科学技术大学研究生院学位论文 三个问题：学习问题、识别问题和解码问题，对这三个问题的回答构成了h m m 理论。学 习的目的是通过对所有已知数据的分析来调整模型参数使得对每一个模式找到一组最适 合数据集的参数。调整模型参数的过程也就是参数估计的过程。因为隐马氏模型有以下特 点：1 有丰富的数学结构和理论，为其广泛的应用奠定了理论基础；2 只要应用得当效果 显著；所以二十世纪八、九十年代以后随着隐马氏模型理论的日益完善，它的应用前景变 得十分广阔。目前它在语音识别1 8 9 1 、密码分析、基因识别、目标跟踪1 1 1 i 、图像信号处 理【l2 j 等方面都有成功的应用。现在隐马氏模型的结构与传统结构相比也发生了较大的变 化，出现了与一些新兴算法如人工神经网络、遗传基因算法等相混合的情形。在隐马氏模 型应用过程中，它所使用的数学工具也发生了变化，一些现代数学理论如鞅理论、滤波、 平滑、矩阵论等都被广泛的使用。例如文献 1 3 通过对非线性最小均方误差准则使用 k a l m a n 滤波、平滑理论，得到了计算离散h m m 后验概率的一种有效算法。文献【1 4 】将h m m 与人工神经网络( a n n ) 结合起来研究语音识别问题取得了卓有成效的结果。总之，从二十 世纪九十年代以来，隐马氏模型r 盏成为一个研究的热点，其应用遍及众多领域。 因为系统辨识和隐马氏模型都涉及对系统进行参数估计的问题，所以把二者结合起来 综合考虑系统模型的参数估计问题是一个值得研究的想法。这种想法在处理模型的递推参 数估计问题中已被证明是很有效的，例如文献 1 5 、 1 6 等就这一方面进行了研究。 调整模型参数的过程也就是参数估计的过程。h m m 参数估计主要包括极大似然估计 和递推估计两种类型。b a u m 和p e t r i e 等在文献【1 7 】中推广了e m 算法并把它应用到一般隐 马氏模型中，此推广算法实际上是一种近似极大似然估计方法。文献 1 8 、 1 9 分别在1 9 9 1 年和1 9 9 3 年讨论了h i v i m 的递推参数估计问题。1 9 9 7 年文献 2 0 在文献 1 8 、 1 9 的基 础上，基于 e 的m 维分布给出一个递推参数估计算法，该算法的参数估计量在适当条件 下可以收敛到k - l 距离下模型的稳定点集合。文献 2 0 还对递推估计收敛到参数真值的条 件进行了讨论。因为最小二乘法具有无偏性、易于计算和实际含义较明确等优点，所以在 实际当中它也是一种较常用的估计方法，尤其是在线性系统模型辨识中有广泛的应用。 1 9 9 8 年文献 1 6 给出了线性系统辨识中基于h m m 的参数估计算法。该算法是在最小二乘 法准则下得到的，并在仿真中说明了该方法在实际应用中的可行性，唯一的不足是估计算 法缺乏有效的理论证明。 第2 页 国防科学技术大学研究生院学何论文 1 2 本文的工作 论文主要阐述一类特殊线性系统模型的参数估计问题与收敛性问题。围绕这两个方面 给出了一些改进的参数估计算法，对它们的收敛性用鞅的各种收敛理论进行了严格的数学 证明。 论文所做的主要工作如下： l 首先在状态空间上用状态方程对离散时间系统模型进行了描述，建立了h m m 的状 态空间模型和预测状态模型。其次在最小二乘法准则下分离线和在线两种情况分别给出了 离敬时间线性系统模型的参数估计，特别对输入状态未知必须由观测估计的情形，提出了 一个新的用于h m m 参数估计的在线辨识算法，即增广最小二乘算法。最后使用鞅收敛定 理和k r o n e c k e r 引理证明了模型参数估计量的收敛性。该证明过程推理严谨，克服了以往 工科h m m 论文只注重应用，数学推理不严密的弊端，从而在理论上保证了算法的正确性。 2 利用代数学中的h o u s e h o l d e r 变换，给出一种在线计算系统模型参数估计的矩阵方 法。该方法不仅对f 则方程为病态的情况有效，而且由于它使用的都是初等坐标变换，与 传统方法相比可以大大减小计算参数估计时的计算量。 3 以线性系统模型k = 0 7 置。+ 为研究对象，通过修改和简化文献 2 7 】、 2 8 1 和 3 4 】 中的条件，给出了描述模型参数估计误差收敛速度的表达式以及它服从渐近正态分布的条 件；最后通过引入矩阵范数和几个引理证明了参数估计误差的一致性与渐近正态性。 4 以扩展自回归滑动平均模型( a 砌舱x ) 描述的自适应控制系统为研究对象，通过把 a r m a x 模型改写为论文研究的模型形式k = x 。7 口+ 仇，得到了启发的自适应预测形式。 然后提出了在回归变量中使用预测误差，在输入和输出之间允许任意反馈的一类自适应预 测算法。陔算法可以利用时刻k 以前的所有输入、输出值，预测时刻的输t t l 或最后用 鞅收敛定理的推广形式对这一自适应预测算法给出了全局收敛性证明。 论文所做工作需要改进的地方和不足： 1 对于系统辨识和隐马氏模型相结合的线性系统模型的参数估计问题，除了文中讨论 的算法外，还可以考虑其它的参数估计算法如带有遗忘因子的最, b - 乘法、窗函数法等。 2 文中考虑的系统模型结构较简单且变量维数低，对于系统模型结构复杂且变量维数 高的情形在发表的文章受控a r 模型参数估计的一致有晃性分析中就参数估计的收敛 性进行了简单讨论，在这方面可继续深入研究。 3 本文对模型的参数估计证明收敛性时，主要应用了鞅的各种收敛理论，也可以尝试 国防科学技术人学研究生院学位论文 采用l u u n g 提出的常微分方程方法 3 0 l 进行研究。 4 本文主要从理论上研究特定线性系统模型k = x + p + w k 参数估计的一致性，在实验 仿真方面做的工作较少。 本论文共分四章。第一章为绪论，主要介绍系统辨识与隐马氏模型的研究现状，自己 所做的一些工作；第二章离散线性系统模型的参数估计及收敛性，主要介绍用鞅方法证明 模型参数估计的收敛性；第三章离散线性系统模型参数估计误差的收敛速度，主要是讨论 模型参数估计误差的收敛速度及服从渐近正态分布的条件；第四章一类自适应预测算法的 全局收敛性，这部分对白适应控制系统为时间序列分析中的扩展自回归滑动平均模型 ( a r m a x ) 时，提出了一个自适应预测算法，并且应用鞅收敛定理的推广形式对这自 适应预测算法给出了全局收敛性证明。 第4 页 垦堕型兰垫查叁兰竺垄尘堕兰堡笙苎 第二章离散线性系统模型的参数估计及收敛性 对h m m 参数估计方法的主要限制是实际应用中计算量和记忆量不能够无限大。期望 最大化算法( e m ) l l ”是一个广泛应用的局部收敛离线辨识算法，它可以求出h m m 参数的极 大似然估计。但是它具有“维数灾难”的缺点，即计算量和存储量随着h m m 的状态数和 待处理信号的长度成j 下比增长。在实际应用中为了实现自适应控制引入了在线辨识算法。 它具有在较短时间内估计模型参数的能力，在仿真中可减小计算机对数据存储和计算的工 作量。递推k u l l b a e k l e i b l e r ( r k l ) 算法【1 川和递推预测误差( r p e ) 算法【1 5 1 是两类著名的h m m 参数估计在线自适应算法。这两类算法各有优缺点，递推r k l 算法线性收敛，参数更新 方程每次迭代有o ( n 。) 的计算量，其中 0 是被估计参数的数目；r p e 算法改善了收敛速 度且具有平方收敛性，但是参数更新方程每次迭代有o ( n 。2 ) 的计算量，对较大的。值r p e 算法不太适用。 综合以上算法的优点，本章创新如下： 首先在状态空间上用状态方程对离散时间线性系统模型进行了描述，定义了新的前向 变量推导出了前向变量间的递推公式，建立了h m m 的状态空间模型和预测状态模型。 其次对输入状态未知必须由观测估计的情形，提出了一个新的用于h m m 参数估计的 在线辨识算法，即增广最小二乘算法，其特点是在最t j , , z 乘预测误差指标中使用了后验估 计量，这符合传统马尔科夫模型的特点。然后应用鞅收敛定理对新在线辨识算法的收敛性 进行了严格的数学证明，从理论上保证了新算法的正确性。 最后利用代数学中的h o u s e h o l d e r 变换，给出一种在线计算线性系统模型参数估计的 矩阵方法。该方法不仅对正则方程为病态的情况有效，而且由于它使用的都是初等坐标变 换，与传统方法相比可以大大减小计算参数估计时的计算量。 2 1h m m 状态空间模型和预测状态模型 2 1 1 h m m 状态空间模型 设离散时间h m m 在时刻k 的状态为x ；，弘。) 是一个离散时问齐次一阶m a r k o v 链。 本文噩的状态空间取为s = 和l i 一，) ，其中q 为第f 个元素为1 其余元素为0 的n 维列向 量，即e ，= ( o ，o ，1 ，0 ，o ) 7 状态转移概率矩阵a = ( 盯。) 。，其中 第5 页 国防科学坟才亡大学研冗生院学位论文 = p 忸= e ，i 丘= e ，) 模型的观测变量k 是一个被白噪声污染了的状态以的映射，k 有以下形式 圪= 曰7 也+ 或砭= x k r t 9 + 1 如( 2 1 ) 其中pe r 。是未知参数，扣。 为独立同分布均值为0 方差为盯。2 的白噪声。显然陬 之间 是牛甘互独立的。设 = o ( w ，i s i t ) ，f ( w k + “一) = 0 ，输入变量+ 关于e 可测。 定义特征概率向量毋= 慨( 1 ) 坑( ) ) r ，其中以( f ) = j p 敝- y 。j 爿。= q ) 初始状态分 布向量为兀= ( 兀一，n 。) ，其中万，= p ( x 。= e t ) 这样h m m 模型可由参数九= 廿，爿，0 ，民2 表 示。本文考虑在n ，a ，口。2 已知条件下，估计未知参数p 的问题。 定理2 1 设风= o ( x ，1 ，七) ，若以的动态系统可由状态方程表示如f 证明 首先证明e ( x ) 肖女) = 似( 2 3 ) 事实上，对任意x 。= p ，有 e 。i x 。：e ，) ：窆”p ( x 。：q i x 。：巳) = t d ，= ( 日l ，- - ， - ，口v ) 7 口吲一 ( 。i x 。) _ a x 。 由式( 2 2 ) 和l 的马氏性，得 e ( m 。i 巩) = ( 以+ ，删。l 风) = e ( x 。i h 。) 一a e ( x 。f 巩) = e 似+ 。f 。) 一a x k = 0 设g 。= a f t , ，k ) ，x 。的条件滤波估计与一步前向状态预测分别是丘i 。和毫， 雪咖= 点慨陋) j 肌。= e 0 。i g , 一。) 定义2 1 设 值t 恤( 0 = p c r t = e ，e y l ，k y k ) o 【引。一i ( f ) = p c 以= p ，k 儿，kl y i 1 ) 则称列向量。p = b 。l 。( 1 ) ，o l 。l 。( ) ) r ，a 唯一= q 。i 。( 1 ) ，小一。( ) ，为前向变量。 o y k k l = a d h ( 2 4 ) 口“, i k + l2 b ( y k “，护) a 口“t ( 2 5 ) 口t + , i k = a b ( y k ，口) 。c r i l i 一1 ( 2 6 ) 其中吾( y i ，占) = d i a g b k ( 1 ) ，以( ) 】是对角矩阵。 证明令豆= ( k m ，耳y i ) o l h i l ( ，) = p j = e ，k y ，k l - y i 一。) ：| p k ：五一。) ：羔p k _ l - 五：丘一。) ：羔p 伍。：e 一。) p k ；e ，i x 。：瓦一。) 三兰户阢_ l _ 瓦一。) p x k ：巳陬- l _ 白) ：羔。i 。，。 。一。( f ) ：( 口，。口，。) f6 r i l j k ；一l 1 2 善口c # _ 1 i l o = ：口l 口v l 。一，l 。：，。，j j t l l ，yf 、l = ( a l 口州) 口i 其中( ) 式由( 2 1 ) 的假设得到。 口# l 女一1 2 a 口i l l 女一l 第7 页 国防科学技术大学研究生院学位论文 下证式( 2 ，5 ) 成立 d 女川t “( f ) = 尸伍+ l = p ；，ms y i ，k “j t “) = 尸伍。= 岛，最+ ) = p 伍。= q ，e ，k + 。y 。) = p ( x k + 。= 茸) 尸k 。 ) 个数据点，参数口的离线估计量反可取为 乱：f 壹置置r - 1 壹置# ( 2 1 0 ) i - 1 岫l 估计误差豌为 瓯皇乱一o ：f 杰盖。x ，r - i 圭x 。w j ( 2 1 1 ) i - l i = 1 下面证明反的确是目的最小二乘估计。 事实上，因为r ：o r x 。+ 眦，f - 1 ，k ，对圭2 ：窆t o r 置) 2 求最小值，得 国防科学技术大学研究生院学位论文 e 。：f 杰置置r 1 。1 i l l 因此，反= 是口的最小二乘估计。 引理2 3 估计量反，反可以写成以下分量形式 铲) _ 下l 壹置e ，：1 ，一， 置“h 4 瓦= 丁l 壹置 ，- l ， 置“h “ 其中反”，反7 和置7 分别表示向量反，反和置的第_ ，个分量。 因此 证明因为x 。在s = 矗， 中取值，不妨设置= q ，则 假设为 这样有 所以 j ，置7 是一个第_ ，行第，列元素为1 其余元素为0 的n x n 阶矩阵 k 置x ，7 是一个对角矩阵 i f f i l = 雕 00 九2 0 ； 0 九一1 其中九，= 置“ 其中九，= 置u 乱：士圭置“r ：t _ 圭置“r ， ，：1 ， 。5 1 z x 1 ( 2 1 2 ) ( 2 1 3 ) 第1 1 页 k以 。 、， o o ；h r z置 。 、l o o：一 丸02；o 九 ，慷 、 = r。， 置墨 。日 ，l e r 。 、，j 舻o ；o ，。l = i 廿 里堕型兰塾查查堂塑壅竺堡兰堡垒壅 同理可证式( 2 1 3 ) 下面引入在分析算法收敛性时，常用到的鞅收敛定理和k r o n e c k e r 引理。它们在分析 参数递推估计量的收敛性时是一个有力的工具。 引理2 4 1 2 1 ( d o o b 鞅收敛定理) 设( z 。，e ) 为一上鞅，如果s u p e ( z 。一) 。，则当n _ 0 0 时，有z 。z 。a s ；若( z 。，只) 为非负上鞅，则对一切，i o 有e ( z 。1 e ) z 。 a s 引理2 5 陋f ( j e n s e n 不等式) 设善是( o ，f ，p ) 上的随机变量，e ( f ) 有意义；g ( z ) 是r 上的连续凸函数且e k ( 手) 】有意义，则e k ( 善) 】g 仁( f ) ) 引理2 6 矧( k r o n e c k e r 引理) 设正数列p ， 满足d ，d ，v i _ j ；! i m d , = ；娩 为 一矩阵序列，如果喜鲁 。，那么熟百1 善ng = 。 2 2 2 参数估计的收敛性 定理2 4 若最= o ( w j ，1 i 七) ，e h + 。限) = 0 ，输入变量x 。关于b 可测，则 ! 鳃吼存在扎s - ( 2 1 4 ) 而且在式( 2 1 2 ) 中对任意的_ ，有 舰妒纠n 撼l i m ( 。冒争x , 卜。 ( 2 1 5 ) 证明首先来证明定理的后一部分结论 令 n ( 0 。= x 。“ ( 2 1 6 ) 对第，个分量等于1 的所有状态五，以不改变原先的先后次序进行重排，记之为 x 。( i ) ，x o ，x 。( 。( t ) 叫 ( 2 】7 ) 令 叫= 熊r x j ) w # 叫= i 置o i r = l 胆l 则是一个关于盯代数疋的鞅 事实e 第1 2 页 眠炉雕- j , x o ) w ，h = d 妻( 喜丑“) - i x j ) w t l b + d ( 霎以 _ 1 “。】+ - 卜 ：联+ f 艺丑11 以。t ”e k + l | 瓦) ：叫= 联+ l 丑“l - 以。“- e k + l | 瓦) = 叫 另外，由式( 2 1 6 ) 、( 2 1 7 ) 知 础：圭f 杰以u ，1 x i 。) w j = x ，( j ) w j 圭o ( ) _ 1 置“u ：= i x ，u i 0 ( f ) 。) _ 1 j ，“w ， = 罄并州，n ，= 豁 下面证明叫是口有界的 因为 e 酬= e 愕髅沁期 e ( ) = 0 v i ? e ( w i 2 ) = 盯。2 且 w ) 是独立间分布的 所以 e 【( u ：) 2 】_ e 善吉2 + ：五l 点叫两1 一， = 缈* 塞1 j 1 e l n ( 0 j2 ) 弧2 掣吉 o o 由j e n s e n 不等式得 陋u 肼e ) 2 】 忉个数据点，参数口的最小二乘( l s ) 估计鼠满足 ( 喜置置7 ) 6 t = 窑置r 瑶= 差 ，中t = 主： ，詹t = ： 巧= m i o + 氲 ( 2 2 8 ) b ；7 中；) 反= 呶7 写 ( 2 2 9 ) 则方程常常是病态的，特别当参数多的时候更是如此。在这种情况下需要特殊的数值解法a 下面给出一种利用代数学中h o u s e h o l d e r 变换口5 ，硐求解参数估计反的矩阵算法。 定义2 2 口5 1 称如下定义的变换矩阵q 为h o u s e h o l d e r 变换矩阵 第1 8 页 国防科学技术大学研究生院学位论文 q = 1 2 u u 7 ( 2 3 0 ) 其中u 为任意单位长度列向量，即u 7 u = 1 ，为单位矩阵。 引理2 8 1 2 5 1 式( 2 3 0 ) 定义的h o u s e h o l d e r 变换矩阵q 具有下列性质 ( 1 ) q 是对称的，即q 7 = 9 ( 2 ) q 是正交的，即q 7 q = i ( 3 ) h o u s e h o l d e r 变换矩阵的乘积是正交矩阵，即如果甲= 绯9 川q 1 ，其中 q l ，q 。是h o u s e h o l d e r 变换矩阵，则甲7 = j 引理2 9 对任一向量t 1 ，存在一个h o u s e h o l d e r 变换矩阵q ，使得下式成立 q 1 = 其中九：“r t l 乒 证明假定存在h o u s e h o l d e r 变换矩阵口，下面具体去寻找满足引理条件的9 对式( 2 3 1 ) 运用引理2 8 ，得 设 由式( 2 3 0 ) ，有 t 1 = 9 7 q l l = q 7= q t 1 = “1 ，- ，”，yu = 0 l ，一，“) 7 黔 ( 1 2 “1 。) 九 一2 u l , 2 九 一2 u l “九 因此可取 驴队蚶一一赤一z ， 最后，由引理2 8 和式( 2 3 1 ) ，得 t 1 7t l = t i q 7 q h = ( 2 3 1 ) 第1 9 页 国防科学技术大学研究生院学位论文 即 九= ( n t l l 弦 引理2 1 0 任给一个n 阶矩阵b ( t n ) ，则存在一个正交矩阵、王，使得 邺= 其中r 是n n 阶的上三角矩阵，而掣是个h o u s e h o l d e r 变换矩阵的乘积。 证明 由引理2 9 ，显然可以找到h o u s e h o l d e r 变换矩阵q l 使得 q 1 b = 九l 6 f 2 0； ： 0 雕2 6 * ： ： ： 类似的，如果q 2 用一2 厅扩7 来定义，其中盯的第一个分量为0 ，可以找出q 使得 q 2q l b = 九1 0 九2 ooj 00 b ；2 6 如 ! ： 重复这一过程得到 甲= 甄甄一9 邺= ( ：) 由引理2 8 知甲= q q - i q 1 是一个正交矩阵 定理2 7 基于k + 1 ( n ) 个数据点，系统模型k = 矿石。+ w n 的最小二乘估计可以如 下递推计算 巩+ l = r t + i 仉+ i( 2 3 3 ) 其中r m 是一个n 阶的上三角矩阵，r h + 1 是n 维列向量。 r 。和刁可以如下递推计算 ( 等1 ) = 也悖) ，( 可k + 圹l m ( 剐 偿，4 ， 这里也是正交矩阵，可表示为h = q q - 1 q l 第2 0 页 国防科学技术大学研究生院学位论文 9 f = ， i = 1 ， 发 铲学；譬，n ，懈a 2 ( 2 3 6