系统辨识（System Identification）课程计稿：第16讲

系统辨识第16讲要点第7章 梯度校正参数辨识方法7.6 随机逼近法l 随机逼近原理考察以下模型的辨识问题：其中，为均值为零的噪声。定义准则函数：求该准则函数的负梯度，得：令上式为零，有： （A）则可求得使得的参数估计值。一般来说，由于噪声的统计性质是未知的，因此方程（A）无法得到精确的解，随机逼近参数估计法要解决的问题就是如何用随机逼近原理来求解方程（A）。回归函数：设和是两个随机变量（向量），是可以观测的，不可观测，但与之间有一定的统计关系。我们希望用的某一函数来作为的预测，记作，使得达到最小。若满足：，则称为的最佳均方预测。定理：若存在，则。称：为关于的回归，或称为关于的回归函数。证明：等价于证明对于任意的Borel可测函数（连续函数），有：由于：而因此有：故：，即条件数学期望是对的最佳均方预测。例如：设，用预测，求。解：先求关于的条件分布密度，即因此得：。当我们观察到的值为时，即时，则是一切对的估计值中在均方意义下误差最小的一个。随机逼近原理：给定，设方程： （B）有唯一的解。解析解不好求，我们可以取的样本值，以及对应的样本值，记为，通过迭代，逐步逼近上述方程的解。（1） RobbinsMonro算法： （C）其中：称为收敛因子。如果满足： （D）则由（C）确定的在均方意义下收敛于方程（B）的解。一般取：另外：当满足以下条件时由（C）确定的满足：（2） KieferWolfowitz算法：目的：确定回归函数的极值点。 （E）若收敛因子满足条件（D），则由（E）确定的收敛到回归函数的极值点。考察准则函数的极值问题，若在点上取得极值，则的迭代算法为： （F）若收敛因子满足条件（D），则在均方意义下收敛于真值，即l 随机逼近参数估计方法考察参数辨识问题： （G）设准则函数为：其中：为标量函数；表示时刻以前的输入输出数据集合。准则函数的一阶负梯度为：则参数辨识问题（G）可以归结为求解以下方程由随机逼近原理，可得：其中为满足条件（D）的收敛因子。若具体的准则函数取：则有：下面考察以下参数辨识问题： （H）其中：是均值为零，方差为的白噪声，输入输出带有噪声，即其中和分别是均值为零，方差为和的白噪声，并且、和两两不相关，且令：则模型（H）化为最小二乘格式：其中的噪声具有以下性质：取准则函数：利用随机逼近原理，可得参数值的随机逼近算法： （I）收敛因子必须满足条件（D），一般取或。注意，（I）式算法所获得的参数估计是有偏的估计，因为有：因为由此可以得到修正的无偏算法（RSAA）：（J）可以证明由（J）获得的估计值在均方意义下是一致收敛的，即l 随机牛顿法研究随机逼近法的估计式子：假定取定收敛因子，则当搜索点接近准则函数的极小值时，这种算法的收敛速度变得很慢，为此我们可以采用如下牛顿算法： （K）其中：表示准则函数的关于的二阶导数，称为Hessian矩阵，它是一对称矩阵。若准则函数是一确定性函数，则牛顿算法（K）有较快的收敛速度和辨识精度。若准则函数取回归函数，即，则Hessian矩阵不易求，因此牛顿算法不能适用。一般来说，对于随机问题，我们采用以下随机牛顿算法其中：且是Hessian矩阵在点上的近似形式，在特定的准则函数下，它可以用随机逼近法确定。下面考察以下辨识问题：取准则函数：则有：且Hessian矩阵为：设是Hessian矩阵在时刻的估计值，则有由RobbinsMonro算法，得的随机逼近算法：于是得到模型的随机牛顿算法（SNA）