基于神经网络求解线性方程组.pdf

山西电子技术 2 0 1 0 年第2 期 应用实践 文章编号：1 6 7 4 - 4 5 7 8 ( 2 0 1 0 ) 0 2 - 0 0 0 9 - 0 2 一种基于神经网络求解线性方程组的新方法 曲 婧 ( 中北大学电子测试技术国家重点实验室，山西太原0 3 0 0 5 1 ) 摘要：在科学计算和工程应用当中，很多问题最终转化为线性方程组问题，因此线性方程组的求解问题就显 得尤为重要。针对此提出了一种以线性神经网络为基础，对具有唯一解的线性方程组进行求解的新方法。将原线 性方程组求解问题转化为求神经网络的权值问题。通过运用此方法求解大量各种形式的线性方程组，验证了该方 法的可行性和有效性。 关键词：线性神经网络；线性方程组；算法 中图分类号：T P 3 9 1 9文献标识码：A O 引言 众所周知，在科技、医学、经济等各领域以及工程的实际 应用中，很多问题的求解常常可以归结为线性方程组A x = B 的求解问题。如曲线拟合中常用的最d x - - 乘法，解非线性 方程组，求解偏微分方程的差分法及有限元法，经济学中的 投入产出问题等。因此线性方程组的求解问题是一个非常 重要的实用性问题。 求解线性方程组的最常用的方法主要有直接法和迭代 法两大类，其中直接法中最常用的方法是高斯消元法。在没 有舍入条件的情况下，直接法可以求得方程组的精确解，但 该法计算繁琐，又受到计算机存储量等因素的限制，只能用 于结束不太高的方程组，实用性不强。目前，人们常采用迭 代法中的共轭斜量法以及奇异值分解( S V D ) 法来求解线性 方程组，并能得到比较满意的计算结果。但是，这两种方法 都存在一定的局限性，其中共轭斜量法存在最佳迭代次数问 题；而S V D 法对奇异值截断位置比较敏感，因而给应用带来 很大不便B J 。 神经网络是由大量简单的、反映非线性本质特征的处理 单元( 神经元) 广泛连接而成的复杂网络系统。具有高度的 并行计算和分布式数据处理能力，可实时处理大量数据，因 而在工程中得到广泛的应用。 近年来，在神经网络理论研究取得较大进展的同时，有 关神经网络的应用研究也极为活跃，并取得了一定的成 果【3 】。本文正是基于单层线性神经网络的结构，结合实系数 线性方程组的特点，对网络的权值和阈值进行训练，从而求 得方程组的解。其特点是只要输入未知数的系数矩阵，就可 以准确求出方程组的解，而且算法比较简单。大量实验结果 表明：该方法对于求解线性方程组是非常有效的。 1 线性神经网络的结构特点 线性神经网络模型如图1 所示。 输入多输入神经元 广- ，一L 、 l 、， ) ，产，( 荟w 口矿8 j ) ，一l 。 圈1 线性神经网络结构 其输入向量P = p 一，P 2 ，n ，蛳表示与输入信号毋 ( = l ，2 ，n ) 连接的权值，巩为阈值。净输入 I t i = 埘扔+ 佛 J = 1 ( 1 ) 设期望输出为T t ，t 2 ，t 。 ，神经网络的学习过程就 是迭代的修改网络的权值，从而使网络的实际输出Y 与期 望输出的误差为最小H J 。 线性神经网络的神经元结构与感知器的神经元结构相 似，差异仅在于传递函数的不同。线性神经网络的传递函 数为 只戈) = 茗( 2 ) 线性神经网络的学习过程如下： ( 1 ) 网络初始化； ( 2 ) 任选一组学习模式提供给网络； ( 3 ) 计算网络输出值： ( 3 ) ( 4 ) 计算网络各输出单元的实际输出与目标向量之间 的误差：d = 屯一儿( 4 ) ( 5 ) 进行连接权值的修正： ( + 1 ) - - W # ( ) + o t d f ( 5 ) 收稿日期：2 0 0 9 1 2 1 6 作者简介：曲婧( 1 9 8 5 - ) ，女，山西太原人，鹰读研究生，主要研究方向是通信与信息系统，智能信息系统及神经网络理论应用。 p+ 册 彬 。一 = y 万方数据 1 0山西电子技术 2 0 1 0 年 A 鼹吲A ，X 埘B 埘b A J L b I ；l = IA 2 l A 2 2 2 。l ，= I 菇II ，= lII 卜i ；ll i I L A 。A ，2 L 茗。J。J 成立。 由此可见，若以系数矩阵A 的转置A 7 作为输入，未知 数x 作为权矩阵w 以b 。) ( 线性网络中为B ) 作为相应的期 望输出，则可通过神经网络的学习求出线性方程组的解。 3 程序步骤说明 ( 1 ) 将系数矩阵的转置A 。以及常数项矩阵B 分别作为 网络的输入和期望输出。 ( 2 ) 利用函数n e w t i n d 设计一个线性层( 它可以通过输 入和输出来计算线性层的权值和阈值) ，并对其初始化。 ( 3 ) 对网络进行训练和仿真并计算均方误差。 ( 4 ) 输出网络权值，即方程组的解。 4 结果分析 利用本文方法，对具有唯一解的线性方程组进行求解并 计算误差，部分结果如表1 。 表l基于神经网络求懈线性方程组实验结果 系数矩阵A常数矩阵B标准解实验解X均方误差M S E 3 ，5 ，7 6 0l0 9 9 9 9 9 9 9 9 9 9 4 ，3 ，1 1 933 0 0 0 0 0 0 0 0 0 01 - 3 5 0 5 2 9 8 6 9 7 3 8 3 7 2 e 0 2 7 6 ，5 ，6 5 766 0 0 0 0 0 0 0 0 0 0 2 5 1 ，1 4 8 ，4 5 3 0 0 51 4 5 3 l1 4 5 3 l o o l 0 2 6 I 4 9 ，0 9 3 ，一1 3 1 0 3一1 5 8 9 21 5 8 9 1 9 4 8 6 4 47 7 9 2 8 9 3 9 2 9 0 4 3 3 0 2 e 0 2 7 2 6 8 ，3 0 4 ，一I 4 8 一O 5 3一O 2 7 4 9一O 2 7 4 8 9 4 6 7 0 r 7 1 ，1 4 ，l 7 3 5 3 4 2 02 3O 6 6 6 6 6 6 6 6 6 7 1 2 ，I 5 ，I 8 5 6 9 1 2 0 03 乃0 6 0 0 0 0 0 0 0 0 08 6 1 6 4 6 4 7 l4 1 ) 9 4 0 3 8 e 一0 2 7 1 3 。l 6 。1 99 2 2 7 0l 60 1 6 6 6 6 6 6 6 6 7 1 ，3 ，5 ，7 ，9 1 3 2l0 9 9 9 9 9 9 9 9 9 9 3 ，6 ，9 ，1 2 ，1 5 2 2 82 52 4 9 9 9 9 9 9 9 9 9 2 。4 ，7 ，9 ，1 1 1 6 8 533 0 0 0 0 0 0 0 0 0 01 2 9 2 4 6 9 r 7 0 7 1 1 4 1 0 6 e 0 2 7 6 ，3 ，2 ，5 ，8 1 0 86 56 4 9 9 9 9 9 9 9 9 9 9 ，1 。7 ，3 。6 9 477 o o O O O o ( ) 0 0 0 1 ，5 ，0 ，3 ，7 5 8l0 9 9 9 9 9 9 9 9 9 9 6 ，3 ，4 ，0 ，0 2 422 0 0 0 0 0 0 0 0 0 0 8 ，5 ，9 ，3 ，6 8 733 o 0 0 0 0 0 0 0 0 l2 2 2 1 4 3 2 3 0 9 1 0 2 3 6 9 e 0 2 8 2 ，7 ，0 ，9 ，3 6 744 0 0 0 ( ) o O 0 0 0 0 0 。0 。1 。5 。7 5 855 0 0 0 0 0 0 0 0 0 0 5 结论 ( 1 ) 根据神经网络的特点，输入矩阵包含元素的绝对值 应大于1 ，所以对于小数和分数应先对方程进行等价变换再 求解，所得结果较为理想。 ( 2 ) 利用本文方法对各种线性方程组进行求解，所得结 果表明，利用此种方法可以达到较高的计算精度。 参考文献 2 【3 4 i t e ds i 印a l s J I E E ET r a n sA S S P ，1 9 7 9 ，2 7 ( 1 ) ：4 一1 2 王宏禹，林治铖信号处理中的不适定问题 J 信号处 理1 9 8 5 ，1 ( 3 ) ：1 7 3 1 8 0 王伟人工神经网络原理入门与应用 M 北京： 北京航空航天大学出版社，1 9 9 5 阎平凡，张长水人工神经网络与模拟进化计算 M 1 北京：清华大学出版社，2 0 0 5 【1 C A D Z O WJA A nE x t r a p o l a t i o nP r e d u mf o rB a n d - t i m - AN o v e lM e t h o do fS o l u t i o nf o rL i n e a rE q u a t i o n ss y s t e mB a s e do nN e u r a lN e t w o r k Q uJ i n g ( I n s t i t u t eo f 驯C a p t u r i n g P r o c e s s i n gT e c h n o l o g y ，N o r t hU n i v e r s 如yo f C h i n a ，T a i y n a n5 h a a x i0 3 0 0 5 1 ，C h i n a ) A b s t r a c t ：I ns c i e n t i f i cc o m p u t i n ga n de n g i n e e r i n ga p p l i c a t i o n ，m a n yi s s u e sw i l le v e n t u a l l yt r a n s f o r m e di n t ot h ep r o b l e mo fl i n e a r e q u a t i o n s T h e r e f o r e ，t h eq u e s t i o no fl i n e a re q u a t i o n ss y s t e ms o l v i n gb e c o m e sp a r t i c u l a r l yi m p o r t a n t I nt h i sp a p e r ，i tp r e s e n t san o v e l m e t h o db a s e do nl i n e a rn e u r a ln e t w o r kt os o l v el i n e a re q u a t i o n ss y s t e mw h i c hh a sau n i q u es o l u t i o n T h eq u e s t i o no fl i n e a re q u a t i o n s s y s t e ms o l v i n gi st r a n s f o r m e di n t ot h eq u e s t i o no fs e e k i n gw e i g h t so fn e u r a ln e t w o r k T h em e t h o di sp r o v e dt ob er e l i a b l ea n de f f e c t i v e t h a th a sb e e nu s e dt os o l v eal 哪en u m b e r0 fv a r i o u sf o r m so fl i n e a re q u a t i o n s K e yw o r d s ：l i n e a rn e u r a ln e t w o r k ；l i n e a rs y s t e m0 fe q u a t i o n s ；s t u d y i n ga l g o r i t h m 万方数据 一种基于神经网络求解线性方程组的新方法一种基于神经网络求解线性方程组的新方法 作者：曲婧 作者单位：中北大学电子测试技术国家重点实验室,山西,太原,030051 刊名： 山西电子技术 英文刊名：SHANXI ELECTRONIC TECHNOLOGY 年，卷(期)：2010(2) 参考文献(4条)参考文献(4条) 1.阎平凡;张长水 人工神经网络与模拟进化计算 2005 2.王伟 人工神经网络原理-入门与应用 1995 3.王宏禹;林治铖 信号处理中的不适定问题 1985(03) 4.CADZOW J A An Extrapolation Procedure for Band-limited Signals 1979(01) 本文读者也读过(9条)本文读者也读过(9条) 1. 李海滨.尚凡华.LI Hai-bin.SHANG Fan-hua 基于神经网络的病态线性方程组求解期刊论文-辽宁工程技术大 学学报2007,26(6) 2. 曲婧.Qu Jing 基于神经网络的高速飞行体定位技术研究期刊论文-电子测试2010(2) 3. 陈泽安.Chen Zean 线性方程组求解的新方法期刊论文-长沙通信职业技术学院学报2002,1(2) 4. 段淑娟.夏宪伟 线性方程组的线性无关解的教学研究期刊论文-当代教育理论与实践2010,02(6) 5. 王立志.WANG Li-zhi 广义行列式在线性方程组求解中的应用期刊论文-太原科技大学学报2008,29(1) 6. 张云.周华民.崔树标.李德群.ZHANG Yun.ZHOU Hua-m