Sylvester矩阵方程的BP神经网络求解研究.doc

Sylvester矩阵方程的BP神经网络求解研究*高协平徐建波摘要利用神经网络的本质并行性和高度非线性映射能力，提出了 Sylvester 矩阵方程AXB-CXD=E的BP神经网络求解方法，并给出了相应的数例模拟.该方法网络构建简单，求解精度高，计算量小，实验结果表明其高效性.参6.关键词前馈神经网络Sylvester方程BP学习算法中图分类号TN052Research On the solution to the Sylvester matrix equation by using BP neural networksGao Xieping1Xu Jianbo2(1Inst.for Comput. and Applied Math., Xiangtan Univ.,Xiangtan,411105,China;)Abstract：Based on the nature that BP neural networks has the inherent parallelism and the capabilities of intrinsic nonlinear mapping, the paper proposed a new approach of using back error propagation of neural networks to solve Sylvester equations numerically.The method has some merits:less computation, higher result precision and simpler to construct-networks.Simulation experiments were given to demonstrate the superiority of the proposed approach. 6refs.Key words：neural networks,sylvester equations,BP learing algorithm考虑Sylvester矩阵方程AXB-CXD=E,(1)其中:A、CCmm，B、DCnn，ECmn均为已知矩阵，且A，C及D，B是正规矩阵偶，XCmn为未知矩阵.当B,C为单位矩阵时，方程(1)变成Lyapunov矩阵方程AX-XD=E.(2)众所周知1,2,3，Sylvester 矩阵方程在诸如广义特征值扰动理论、微分方程数值解、线性系统描述、观察器设计及自动控制等众多实际应用领域中有极其广泛的应用.对其数值求解的研究一直是十分重要的课题.对其特殊情形 Lyapunov 方程(2)的研究，已有不少成果，而对一般情形(1)的研究则很少.就研究方法而言，它们通常基于传统计算方法或基于近年迅速发展的 VLSI并行计算算法.前者不是并行算法，不能直接用 VLSI实现，处理速度受到很大限制，而且算法含有除法运算，对病态问题难以获得满意的正确解；后者虽然在克服上述缺陷方面取得了令人鼓舞的进展，但由于 VLSI 并行处理的核心是修改和分解传统的方法以适应 VLSI 体系实现，本质上完成与传统计算方法相同的计算，因此它只能在一定程度上解决速度问题，且仍然无法解决病态问题的求解.另一方面，人工神经网络由于对复杂过程的高度非线性处理能力和本质并行性而得到蓬勃发展，其中前馈神经网络由于其拓扑结构简单及应用上的巨大成功而受到越来越多的重视，目前已成为从输入输出数据建立非线性模型的强有力逼近工具，它是一种分布式并行处理系统，有极强的鲁棒性和自学习能力，实时性好，因此神经计算方法为解决上述问题提供了新的处理途径1,2,4.与已有算法相比，神经网络计算具有并行结构，并使用并行局域学习算法，直接适应于 VLSI实现；不含除法运算，不存在零除问题，适于病态问题求解等优点.基于此，本文首次提出一种用前馈神经网络求解 Sylvester 问题的方法，它具有网络构建简单，求解精度高，计算量小等优点.实验仿真表明了其正确性.1理论准备1.1BP神经网络BP网络是一种采用Back Propagation 学习算法的多层前馈神经网络，它由输入层，隐含层和输出层组成，输入层对信息无处理能力，隐含层和输出层神经元采用非线性激活函数 Sigmoidal 函数.例如 a=b=1，c=0，则 g(x)=f(x)；若 a=2，b=1，c=-1，则.这里a值控制神经元的输出辐度，而 b 值决定神经元激活函数的陡度形状.设有一个 M 层前馈神经网络，第1层为输入层，第M层为输出层，以 ns 表示第 s 层的神经元个数， Osi表示第s层的第 i 个单元的输出，si,j表示第 s-1层的第j个单元到第s层的第 i个单元的连接权值，si表示第s层的第i个单元的阈值，Isi 表示第 s 层的第 i 个单元的输入，dMi 表示输出层第 i 个单元的理想输出.采用均方误差函数作为网络的学习目标函数.,Osi=asif(bsi*Isi)+csi.(3)记，则容易计算(1)若s是输出层si=dMi-Osi,si=si.asi.f(bsi.Isi).bsi.(4)(2)若s是隐含层.(5)BP网络学习过程中的参数修正为si,j(t+1)=si,j(t)+.si(t).Os-1j,(6)si(t+1)=si(t)+.si(t),(7)asi(t+1)=asi(t)+a.si.f(bsi.Isi),(8)bsi(t+1)=bsi(t)+b.si.Isi/bsi,(9)csi(t+1)=csi(t)+c.si.(10)这里f(x)=x(1-x)，而 ，a，b，c为学习因子.1.2求解实现方法设(A，C),(D，B)分别表示广义特征值问题.AX=CX,DX=BX,(11)的特征值全体，即(A,C)=AX=CX，(D，B)=DX=BX则有：命题3 Sylvester 矩阵方程(1)存在唯一解的充分必要条件是(A,C)(D，B)=本文假定上述命题条件总满足.定义WCmn，定义向量值函数WAXB-CXD-E,(12)则求解(1)等价于求出映射 W 的零点 X*.在其附近选定一组点 X1,X2，XN，将它们分别代入映射(12)中，得到一组函数值 Wk，k=1(1)N.利用神经网络实现非线性映射的计算机制，将上述得到的(Wk;Xk)，k=1(1)N 作为训练样本集，以 Wk, k=1(1)N 作为神经网络的输入，以 Xk，k=1(1)N 作为理想输出，按上述 BP学习算法训练好神经网络，则确定了关于输入输出的一个非线性映射.然后以0Cmn 作为神经网络的输入，计算所得到的网络输出即为 Sylvester 矩阵方程(1)的解.2模拟结果考虑 Sylvester 矩阵方程AXB-CXD=E,其中利用前述理论，采用带一个隐含层的前馈神经网络进行模拟实验.本例中输入层有36个神经元，输出层有36个神经元，隐含层神经元个数采用经验公式来确定，这里IN、OUT分别表示神经网络输入、输出层的神经元个数.采用误差定义为，这里N为学习样本数，k为对应于理想输出 Xk的实际输出.限定最大学习次数为10 000次，并且在每学习100次后误差之差的绝对值若小于110-5，则终止学习。本例的精确解是全部元素为1的6阶方阵，采用如上神经网络求解方程(1)，隐层单元为37，学习样本数为48，经799次学习后误差E=0.020 272，所得数值解为X*.可以看到，用前馈神经网络求解Sylvester矩阵方程，模型设计简单，计算量小，精确度高，是一种值得推荐的好方法.3结束语矩阵代数方程求解是科学与工程计算中的基本问题，对它们基于传统计算方法及基于VLSI并行算法的求解研究已有大量成果，但这些方法均非本质意义上的并行算法，处理速度受到很大限制，并且算法含有除法运算，难以处理病态问题.Sylvester 方程是矩阵代数的重要问题，在特征值扰动理论、自动控制等很多实际领域中有极其广泛的应用.利用神经网络的本质并行性和高度非线性映射能力，把 Sylvester 矩阵方程看作一个非线性映射问题，给出了基于BP神经网络的求解实现.该方法网络构建简单，求解精度高，计算量小.从本质上讲，本文方法完全适应于其他矩阵代数问题，具有广泛的应用前景.*国家自然科学基金项目资助(69875014)第一作者简介：高协平男34岁硕士副教授计算智能作者单位：高协平：湘潭大学计算与应用数学研究所，湖南湘潭411105；徐建波：湘潭矿业学院信息与电气工程系，湖南湘潭411201参考文献：1Rumelhart D E, Hinton G E, Williams. Learning representation by backpropagating errorJ.Natrure,1986,(323):5335362Duan Guangren. On the solution to the sylvester matrix equation AV+BW=EVF.JIEEE Trans on automatic contro