人工神经网络算法原理及其在工程中的应用

1、 人工神经网络算法原理及其在工程中的应用侯靖东河海大学土木工程学院土木系,南京(210098E-mail :jindong-h摘 要: 人工神经网络具有特有的非线性适应性信息处理能力,现已被应用于结构工程领域。本文介绍了应用最广泛的BP 网络模型、BP 算法以及BP 算法的改进,并基于MatLab 神经网络工具箱对一个工程实例进行预测分析,表明通过合理的网络模型可以预测得到较为精确的结果,因此用神经网络方法求解土木工程问题是可行的。 关键词:神经网络,BP 算法,预测分析,土木工程 中图分类号:TU17人工神经网络(Artificial Neural Network 是在特理机制上模拟人脑机制

2、的信息系统,它不但具有处理数值数据的一般计算能力,而且还具有处理知识的思维、学习、记忆能力。神经网络产生于20世纪40年代,于20世纪80年代由于Hopfield 将“能量函数”引入神经网络,使神经网络稳定性有了明确的判据,再度兴起并得到飞速发展,它采用类似于“黑箱”的方法,通过学习和记忆而不是假设,找出输入、输出变量之间的非线性关系(映射,在执行问题和求解时,将所获取的数据输入给训练好的网络,依据网络学习的知识进行网络推理,得出合理的答案与结果1。1.人工神经网络的基本原理人工神经网络是由许多简单的神经元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统的真实世界物体做出交互反应,它是在

3、物理机制上模拟人脑信息处理机制的信息系统,是一个具有高度非线性的超大规模连续时间动力系统,具有网络的全局作用、大规模并行分布处理和联想学习能力。人工神经元是一个多输入单输出的信息处理单元,通过与其相连的其他神经元接收信息,它对信息的处理是非线性的,可以把神经元抽象为一个简单的数学模型,如图1所示。 图1 神经元的数学模型在图1中,1x ,2x ,n x 是神经元的输入,即是来是前级n 个神经元的轴突的信息;i 是i 神经元的阈值;i w 1,i w 2,ni w 分别是i 神经元对1x ,2x ,n x 的权值连接,即突触的传递效率;i y 是i 神经元的输出;f 是传递函数,决定i 神经元受

4、到输入1x ,2x ,n x 的共同作用达到阈值时以何种方式输出2。传递函数f 有多种形式,其中最常见的有阶跃型、线性型和S 型三种。假设 i j nj ji i x w U =1,则对应三种典型传递函数(i U f 描述如下:(1阈值函数(也称为阶跃型传递函数(<=0001i i i U U U f(2线性传递函数,它的输出是与输入的综合作用成正比的。(i i KU U f =(3S 型传递函数,它的输出是非线性的。(i i U U f +=exp 11上述是最广泛应用且为人们最熟悉的神经元模型,由大量神经元相互连接组成人工神经网络将显示出人脑的某些基本特征:分布式存储信息、自适应性、

5、并行性、联想记忆功能、自动提取特征参数、鲁棒性等。2.BP 神经网络BP (Back-Propagation 神经网络是目前发展比较成熟的一种人工神经网络,约有80%的神经网络系采用BP 网络。它是一种反馈式全连接多层神经网络,具有结构简单,工作状态稳定等优点,并且具有较强的联想、记忆和推广能力,可以以任意精度逼近任何非线性连接函数。2.1 BP 网络的结构BP 神经网络由一个输入层、一个输出层及一个或多个隐层组成,每一层可以有若干个节点。三层BP 神经网络的结构如图2所示。 图2 BP 神经网络结构2.2 BP 神经网络的计算过程3BP 神经网络的计算过程由正向计算和反向计算过程组成。在正向

6、计算过程中,输入信号要先向前传播到隐层节点,经过传递函数后,再把隐层节点的输出信息传播到输出层节点, 最后给出输出结果。若网络的输出值与期望值存在误差,则要进行误差反向计算,将误差信号沿原来的连接通路返回,通过修改连接各节点的权值使误差减小。 2.2.1 前向计算过程采用如上的网络结构,当网络中输入层的输出分别是1x ,2x ,n x ,根据人工神经元的基本原理,隐层各神经元的输入分别是(m i x I inj j ij i ,.,2,11=+=式中:ij 为隐层神经元i 与输入层神经元j 的连接权;i 为隐层神经元的阈值,选择Sigmoid 函数作为隐层神经元的激发函数,则隐层神经元的输出为

7、:(m i I f O i i ,.,2,1=Sigmoid 函数为 (xe xf +=11一般,取输出层神经元的阈值为0,另外取比例系数为1的线性函数作为输出层神经元的激发函数,则输出层神经元的输出,也就是整个网络的输出为(l k O v y mi iki k ,.,2,11=式中:ki v 为输出层神经元k 与隐层神经元i 的连接权。由隐层神经元与输入层神经元的连接权以入输出层与隐层神经元的连接权组成向量W ,在给定或按照一定的方式确定W 值以后,就能够在给出一组网络的输入后,求出网络对应的输出值。2.2.2 反向计算过程设有学习样本为(p x 1,p x 2,np x ;kp t ,p

8、=1,2, p ;p 为学习样本数。对某样本(p x 1,p x 2,np x ;kp t 在给定网络连接权向量W 以后,可以计算网络的输出值kp y ,定义各输出的误差为kp kp kp y t d =,并定义样本p 的误差函数为:(2121=pk kp kp p y t e一般情况下,W 的值是随机给出的,因此,求得网络输出值kp y 精度不高。在确定网络的结构以后,即确定网络中隐层神经元数目m 的情况下,只能通过调整W 的值,逐步降低误差kp d ,以提高网络的计算精度。在反向传播过程中,是沿着误差函数p e 随W 变化的负梯度方向对W 进行修正的。设W 的修正值为W ,取We W p

9、=,式中:为学习率,取01的数。经计算得:Wy dW kplk ep=1,这里的W 为:(ij i ki v W =,可以求得样本为p 时,W 中的元素是:ip kp ki O d v = (=lk ki kp ip ip i v d O O 11(=lk ki kp jp ip ip v d x O O W 11由于完成正向计算以后,已经求出隐层各神经元的输出ip O 和网络的输出误差p d ,因此能够使用上式求得W 的值,最后采用迭代式W W W +对原W 进行修正计算,得到新的连接权向量W 。2.3 改进的BP 算法BP 网络采用的是沿梯度下降的搜索求解算法,在需求预测实际应用过程中,发

10、现BP 算法存在收敛速度慢、局部极值、难以确定隐层和隐层节点的个数。因此出现了许多改进算法。BP 算法的改进主要有两种途径:一种是采用启发式学习算法,另一种是采用更有效的优化算法。1、启发式学习算法,就是对于表现函数梯度加以分析,从而改进算法,其中包括:有动量的梯度下降法、有自适应lr 的梯度下降法、有动量和自适应lr 的梯度下降法和能复位的BP 训练法等。2、基于数量最优化理论的训练算法,其中包括:共轭梯度法、高斯-牛顿法和Levenberg-Marquardt 方法等。3.BP 网络在工程预测中的应用基于MatLab 神经网络工具箱,运于Levenberg-Marquardt 训练算法对一

11、个工程实例进行预测。3.1 碳纤维布加固混凝土方柱加固率的BP 网络预测3.1.1 影响因素及数据采集经研究分析,有8个参数可以合理的反映出碳纤维布的加固效果4,分别是:(1混凝土柱的长度;(2混凝土柱的宽度;(3混凝土柱的高度;(4素混凝土柱峰值应力;(5碳纤维布抗拉强度;(6碳纤维布弹性模量;(7加固混凝土柱极限应力;(8加固混凝土柱极限应变。共收集数据29组,其中前26组数据作为训练数据,后3组数据作为检验数据。BP 网络模型有8个输入结点,一个输出结点,即加固率。输入参数的变化范围见表1。用线性变换法对数据进行归一化处理,即(min max min X X X X ,把样本变换到01之

12、间。 表1 输入参数的变化范围参数最小最大混凝土柱的长度(150 400 混凝土柱的宽度(150 300 混凝土柱的高度(300 900 素混凝土柱峰值应力(MPa17.6 28.3 碳纤维布抗拉强度(MPa3000 4013 碳纤维布弹性模量(MPa 2.3×105 2.41×105加固混凝土柱极限应力(MPa9.83 41.35 加固混凝土柱极限应变7279 628153.1.2 BP神经网络设计采用单隐层BP网络进行预测,输入样本为8维的输入量,因此输入层一共有8个神经元,隐层选用5个神经元,网络输出层有1个神经元。隐层神经元传递函数为tansig(,输出层神经元传递

13、函数为logsig(。利用Matlab6.5神经网络工具箱的Levenberg-Marquardt训练算法进行训练预测,训练函数选取trainlm。最大训练次数为5000次,训练要求精度为0.0001,其他参数采用默认值。图3为网络训练收敛的过程。 图3 网络训练收敛的过程3.1.3 预测结果和分析从下表中可以看出,BP神经网络可以较好在预测碳纤维布的加固混凝土柱的加固率。表2 预测值与试验结果的比较试件编号试验值预测值试验值/预测值1.08727 0.11 0.10120.91728 0.22 0.239929 0.336 0.3209 1.047ttp:/ 4结论 通过人工神经网络的基本原

14、理和 BP 算法的介绍， 利用人工神经网络的鲁棒性和自适应 性， 对大量实测试验数据的学习， 通过各单元之间的连接权值来构造各参数之间复杂的非线 性关系， 能在实际预测中得到较好的预测结果， 说明人工神经网络在解决结构工程的非线性 预测问题是可行的，有着良好的应用前景。 参考文献 1 2 3 4 姜绍飞. 基于神经网络的结构优化与损伤检测M.北京：科学出版社，2002. 董长虹.MatLab 神经网络与应用M. 北京：国防工业出版社，2005. 佟春生等.系统工程的理论与方法概论M. 北京：国防工业出版社，2005. 杨剑.碳纤维布加固混凝土柱的试验研究与数值模拟D.南京:河海大学,2005.

15、 The Algorithm and Principle of Artificial Neural Network and Its Application on the Civil Engineering Hou Jingdong College of Civil engineer,Hohai University,Nanjing (210098 Abstract The artificial neural network has special capability in the course of nonlinear and adaptability information processing. Now it has been applied in the structural engineering. The article introduces one of the most widely used algorithm-BP network model and BP algorithm and its improved algorithm. Through a forecast analysis in engineering based on MATLAB neural network toolbox, indicates tha