[硕士论文精品]基于人工神经网络的储层参数预测

哈尔滨工程大学硕士学位论文摘要非线性时间序列预测是近年发展起来的一个备受关注的研究领域传统的预测方法已经越来越不适应现代要求，由于非线性系统本身的复杂性和神经网络技术良好的适应性，基于人工神经网络的预测前景广阔。因此本文采用神经网络的方法进行石油储层参数的预测。提高储层参数预测的精度对于提高油田采收率、延长油田开发年限具有重要意义。1首先，本文阐述了一些基本的神经网络算法，其中着重研究了广义回归神经网络算法和EL帕N型回归神经网络算法。2然后，本文介绍了利用这两种算法进行预测建型，并研究了模型的稳定性和推广能力。除此之外，还比较了GRNN与BP网络和RBF网络的优缺点。3在神经网络石油储层参数预测的实际应用中，对遇到问题进行了详细的分析与探讨，突出的问题是训练样本大、训练时间长、收敛速度慢。4为了克服上述不足，本文提出将蚁群算法用于ELMAN型回归网络的算法中，对实际储层参数的仿真预测结构表明，该模型能够有效提高网络精度，具有良好的稳定性和适应能力，其预测性能明显优于单纯的EI卿型回归网络。试验结果表明，基于人工神经网络的储层参数预测是可行的和有效的，利用神经网络进行储层参数预测对于有效指导油田开采具有较大的参考价值关键词预测神经网络时间序列蚁群算法哈尔滨工程大学硕士学位论文ABSTRACTNON1INEART1MESSERIESISANATTENLIONRESEAICHFIELDINRECENT挥ARSITIS此VEALEDTHATTHE甘AD1TIONALMETHODSAREBECOMINGUNFITFORTHEMODETNNEED，忱CA此EOFTHENONLINEARSY引EMISGOINGTOBEEVENMORECON冲LICATEDNOWADAYSFORTHECOMPLEXITYOF伽NONLIN月ARSYSTEM朋DTHEGOODPERFON”ANCEOFTHEANN，THEANN一B韶EDNO时INEARSYS招MFORECA名T吨HASBEENFOUNDENCOURAGLNGIN而STHESIS5。而SPAPERPRESE叮TSANARTIFICIAINEUTRALNETWORKBASEDRESERVOIRPAR田旧ETERPREDICTIONMODELOFOILITHASANIMPO山川TMEANINGTOIMPROVEEXTRACTIONRATIOOFOILFIELDANDPRO1ONGFIELDDEVE10PEDSERV1CELIFE1FI改，INTHISTHESISANANNALGORIT加旧ISWORKEDOUT，ANDTHEALGODT玩叮5BASEDONGRNNANDE】MAR创阎ISP此SENTEDINDETAILNE切RALNE妇刀ORKTIMESSERIESANTCO10NYALGORIL知M哈尔滨工程大学硕士学位论文第1章绪论研究的目的和意义人类在认识自然、认识社会和改造自然、改造社会的活动中，常常需要对事物的未来状态进行预先测算，从微观角度来说，企业或个人在确定其发展理念、编制计划、进行投资等方面的决策时，都应该以预测结果为依据，预测的成功与否往往决定一个企业或一个人的生存与发展，从宏观角度来看，预测已成为一个国家发展国民经济和科学技术所必须研究的领域，它的成败将直接影响国民经济和科学技术的发展12，3，L41以石油为例，目前国内大多数油田己进入中、后期开发阶段，随着含水的上升，储层参数发生了一定变化，开采初期取得的参数系统与目前储层实际状况不相符，为挖潜工作带来了困难，因此需要预测出石油储层参数，使油藏描述更符合目前的储层现状，更好的指导各项剩余油的挖潜工作。神经网络技术为预测研究提供了一种新的研究思路和方法，它是一种非线性识别方法，由于神经网络具有通过学习逼近任意非线性映射的能力，将神经网络应用于非线性系统的建模与辨识，可以不受非线性模型的限制，便于给出工程上易于实现的学习算法FS。本文的主要目是研究用神经网络预测储层岩性参数。储层岩性参数，如孔隙度、饱和度、渗透率的分布直接影响油气的分布和开采。在油气勘探中，储层岩性参数是地质工作者估计储层油气含量、确定井位的主要根据，开采井位确定的好坏直接影响着油气的开采成本J。因此，对储层参数的预测一直是模式识别方法在地质上应用研究的一个热点问题。2国内外研究现状自1943年心理学家MCCULLOCH和数学家PITTS提出神经元生物学模型简称卜P模型以来，至今已经有六十多年的历史了。1944年挽BB提出了HEBB学习规则，该规则至今仍是神经网络学习算法的一个基本规则1957年ROSENBLATT提出T感知机PERCEPTRON模型1962年WIDR佣提出T自适应ADALINE线性元件模型等上个世纪60年代到70年代，神经网络系统理哈尔滨工程大学硕士学位论文论的发展处于一个低潮时期，但仍有许多科学家在困难条件下坚持开展研究，STE曲ENGROSSBERG是这些人中最有影响力的，他深入研究了心理学和生物学的处理，以及人类信息处理的现象，把思维和脑紧密地结合在一起，成为了统一的理论芬兰的KOHONEN在1971年开始了随机连接变化等方面的研究工作，从次年开始，他将研究目标集中到联想记忆方面。KOHONEN将LVQ网络应用到语音识别、模式识别和图像识别方面，取得了很大的成功。20世纪80年代中期以来，人工神经网络以其独特的优点引起了人们的极大关注。对于预测问题，神经网络的吸引力在于能够充分逼近复杂的非线性映射关系能够学习与适应不确定系统的动态特性所有定量或定性的信息都分布存储于网络的各个神经元，所以有较强的鲁棒性和容错性采用并行分布处理方法，使得进行快速大量运算成为可能。神经网络的这些特点使其成为非线性系统建模与预测的重要方法。80年代以来，神经网络在预测领域取得了丰硕的研究成果，自LAPEDEST和几RBER首先应用了神经网络技术进行预测以来，神经网络的预测方法日益戊为人们关注的热点。神经网络可与统计方法相结合进行储层岩性，储层参数和储层含油气预测PUNNEESIRIPITAYANANON等，J将卜近邻法与前馈神经网络相结合用地震属性预测岩性并最终建立地下岩层的分布。F枷加跳DEH等阁利用测井曲线和地震资料预测砂层厚度。他们用K重交叉检验法从有限样本中获得人工神经网络预测某一参数的准确率及置信区间，并用统计方法把数据从较高维投影到低维空间，使用降维后的数据训练神经网络，减少了网络的训练时间并且提高了预测分类的准确率。龙建东图运用BP神经网络通过对已知井的数据学习自动模拟薄层与振幅、频率之间的关系，提高薄层预测的精度。PAU1FMDEGROOTL03直接采用地震波对储层参数孔隙度进行预测。M“SAGGAF等TLLLTL”通过改变网络的性能函数，对BP网络进行调整，然后用调整的BP网络处理地震波预测储层参数。PAN等IJSJ使用BP神经网络以地震波作为输入预测孔隙体积并从理论仁论述了神经网络对连续噪音具有适应性，当训练样本中含有随机噪音时可以提高网络的鲁棒性，最后通过人工合成地震波对此进行了验证。姜亮等IL1利用KOHONEN自组织网络进行了油气层的自动识别刘力辉等叫对自组织网络进行了一些改进，把隶属度概念引入学习过程，是收敛速度加快，并用改进后的网络化分地震微相。许多地质工作者做了一些有益的尝试。F枷INZADEH等SJ通过反复试验的方法比较了几个不同结构的网络的测试准确率，认为在隐含层节点数相同的情况下，双隐含层神经网络比单隐含层神经网络的预测效果好一些。彭真哈尔滨工程大学硕士学位论文明等LE结合全局寻优的遗传算法和基于梯度下降的局部寻优反传算法相结合训练网络，使网络在连接权的不断迭代过程中自适应演化。MM，SAGGAF等LLLJ叫提出了一个光滑神经网络用于克服影响网络推广性能的过学习现象。F腼INZADEH等阁分别为训练集和测试集建立误差函数，用误差函数来控制训练次数克服过学习现象。PAULF从DEGROOT们建议采用“伪井”及与其相应的合成地震资料加入训练集来解决这个问题。现在神经网络技术在油气勘探中起着越来越重要的作用。它是一个正在快速发展的新技术，近十年在石油勘探研究中得到了快速发展和应用，许多地质工作者从不同层面上探索着它的应用，以期可以提高储层参数预测的精度。3本文主要研究内容本文在查阅和分析了国内外大量文献的基础上，针对预测这一具有广阔应用前景的先进算法中某些不足，结合神经网络在非线性系统辨识和优化计算等方面的优点，研究了基于神经网络的预测理论和设计方法以及蚁群优化算法，并将这两种算法结合用来解决储层参数预测中的难点问题，建立合理的神经网络的石油储层参数预测模型，对储层参数进行预测及评价。归纳起来，本文所做的工作主要可以概括为以下几个部分第一，介绍了预测技术的一些基本概念和方法，并对预测技术的难点和未来的发展方向做了分析第二，介绍了神经网络的基本原理，并且着重研究了GRNN和EI阳N网络建模理论，根据其特点研究了其在非线性系统辨识和优化计算中的应用。第三，将神经网络应用到预测中，根据储层参数预测的特点，选择了基于GRNN建模的预测方法和基于ELMAN网络建模的预测方法，提出了建模的总体思想并将其通过计算机编程实现。第四，通过对GRNN和ELLLLAN网络两种神经网络算法在预测过程中的应用研究，分别总结了两种网络在其各自建模过程中的优缺点，并针对各自的不足提出了改进办法。第五，介绍了蚁群优化算法，并利用蚁群优化算法与ELMAN网络相结合进行储层参数的纵向建模，克服了单纯用EI阳N网络建模过程中的一些不足，取得了很好的仿真验证效果。哈尔滨工程大学硕士学位论文第2章神经网络用于预测的基本概念人工神经网络是以工程技术手段模拟人脑神经网络的结构和功能的一种技术系统，它以大量的非线性并行处理起来模拟人脑的神经元，用处理器间错综灵活的连接关系来模拟人脑神经元的突触行为。人工神经网络与传统的预测方法相比，具有良好的自学功能、联想储存功能及高速寻找优化解的能力，因此，将神经网络技术应用于预测方面逐渐成为近年来热点研究的领域。21预测的基本概念预测技术提供了一种可能，即可以将预测和计划指标用预测模型进行模拟试验，以预先比较政策和计划指标的优劣，最终确定其可行性。因此，用预测技术分析事物发展过程和现象，可以指出事物发展的基本规律和趋向，使得制定的发展方针、政策、方法更具合理性和科学性。211预测的概念世界上的事物处于发展变化的运动过程之中，从表面上看，事物的发展变化似乎是杂乱无章的，由各种偶然因素所决定基于辩证唯物主义思想，在本质上，偶然性和必然性都是事物发展过程中的客观存在。这就是预测概念的依据所在。所谓预测是指利用回归和相关分析等技术对自然界中尚未发生和目前还不明确的事物和现象进行估计和分析，根据事物的历史和现状进行分析和把握，对未知事件和不确定事件的未来发展进行推测和判断。它的实质就是研究事物发展中的偶然因素推断必然趋势的过程。因此预测是很难的，特别是对一些重要事件的预测118。虽然人们一直希望找到准确预测未来的方法，然而事实是由于人类认识能力有限，对预测对象的了解不全面，以及偶然性因素的影响等诸多因素的制约，预测的不准确性是客观存在的。因此预测的目的并不是消除未来的不确定性，而是对未来提供各种可能的前景，使决策的不确定性减小，为决策者提供科学的依据。预测科学的技术基础是数学和计算机技术，数学是定量分析的工具，使用数学方法是预测科学性的体现。数理统计方法，线性代数、线性规划，以及建立各种预测数学模型是预测的基本手段。同时，预测成为一门学科，还哈尔滨工程大学硕士学位论文得益于计算机技术，没有计算机技术的迅速发展，就不可能有预测学的迅速发展L9。本文所有的预测方法都是使用MATLAB语言进行编程并通过计算机技术实现。212预测的基本步骤由于预测科学具有很强的系统性，一个系统要达到对研究对象的预测目的，必须按照一定的预侧步骤进行。预测的基本步骤包括洲”准备阶段根据目的和要求，提出预测方法，明确预测对象，预测目的，通过定量或半定量化方法，确定预测方法和系统结构，落实相应的组织工作。2实施阶段根据经验及对预测对象的观察，建立初级预测模型，收集预测对象的内因资料及预测背景的外因资料，在此基础上，建立可靠且符合预测需要的模型，利用此数学模型，形成预测。3验证阶段对所得到的预测结果进行实际验证，若预测模型不完善，则要修改模型。4交付决策阶段预测的目的就是可以为决策者提供决策的依据。因此经上述阶段所得到的预测结果，就可以交付决策者作为进一步决策的科学依据。213预测的方法按照预测方法和结果的表达方式不同，预测可以分为定性预测与定量预测。定性预测是根据一定的事物发展理论，通过对事物发展的历史和现状做出解释、分析和判断，从而能综合地指出事物发展的未来趋势的一种或多种可能性。因此，定性预测主要是运用经验的或势力的分析判断方法，但并非不运用数据，而是不运用成套的数学模型定量预测也是在一定的事物发展理论基础上，利用历史和现有的数据，建立有关的数学模型，对未来的事物发展做出数量预测，且以其数学模型来表述事物发展的规律LLT。定性预测方法分为专家评估DELPHI法、判断预测法、市场调查法和类推法定量预测方法分为时间序列分析法包括移动平滑法、指数平滑法和随机时间序列法、因果关系分析法包括回归分析法，经济计量模型法和灰色系统模型法和一些其他方法神经网络模型法、模糊法等传统方法大都集中在对其因果关系回归模型和时间序列模型的分析上，哈尔滨工程大学硕士学位论文忆。人工神经网络模型即由大量这种神经元互相连接而成。图21所示的神经元是一个多输入、单输出的非线性元件，其输入输出关系可描述为式2一1所示、二，鑫闪21式中，F为响应函数，它的作用是激活神经元，使其对输入产生影响。一般利用以下函数表达式来表现网络的非线性特征1阐值型，为阶跃函数F、一从之0研02一22分段线性型FULAUTB0料全帐从0吮从UL2一335型函数了，崎1“P成/C，一，2一4其中，C为常数。5型函数反映了神经元的饱和特性，由于其函数连续可导，所以调节曲线的参数就可以得到类似闭值函数的功能，因此，5型函数是常用函数。4高斯函数_匕F铸E矛2一5式中，参数占被称为高斯函数的宽度或扩展函数。高斯函数也是极为重要的一类激活函数，可以看出，占越大，函数曲线就越乎坦反之，占越小，函数曲线就越陡峭。222神经网络的互连模式神经网络的神经元之间的连接方式可以有任意形式，但常见的主要有如下几种形式哈尔滨工程大学硕士学位论文曰矩阵形式还是序列形式，静态网络的仿真结果都是相同的对于动态神经网络，由于网络中含有反馈环节，因而网络的仿真输出不仅与当前的网络输入数据有关，而且还与过去的输入数据有关，即与输入数据的先后顺序有关。因此，当动态神经网络接受以序列形式描述的输入数据时，即使只是序列中数据元素的顺序不同，仿真结果也会截然不同。2神经网络的学习学习特性是神经网络的基本特性，神经网络的学习与训练是通过网络权值与阐值的调节来实现的。根据学习过程的组织和管理方式不同，学习算法可分为有监督学习和无监督学习两大类。对于有监督学习如图2一6所示，网络训练往往要基于一定数量的训练样本，训练样本通常由输入矢量和目标矢量组成。在学习和训练过程中，神经网络不断地将其实际输出与目标输出进行对比，并根据对比结果或误差，按照一定地规则或算法对网络权值和阐值进行调节，从而使网络的输出值逐渐接近目标值。图26有监督学习原理框图无监督学习是一种自组织学习，即网络的学习过程完全是一种自我学习的过程，不需要提供学习样本或外界反馈。在学习过程中网络只需要响应输入信号的激励，按照某种规则反复调节网络权值和阐值，直到最后形成某种有序的状态。例如，在很多情况下，无监督学习算法可以用来做聚类分析，即通过学习将输入模式划分为有限的模式识别。无监督学习算法的典型代表是HEBB学习律。3神经网络的训练。根据每次网络训练任务量的不同，神经网络的训练方式可分为渐进式训练和批量式训练。渐进式训练INCREMENTALTRAINING是一种在线学习方式，即神经网络每接收一对输入矢量和目标矢量，便对网络权值和闽值进行适量调整。而批量BATCHTRAINING则是在所有的输入矢量和目标矢量集哈尔滨工程大学硕士学位论文准备完成之后才开始根据相应的学习算法对网络权值和阐值进行批量调整。渐进式训练和批量式训练既适用于动态网络，也适用于静态网络。同一神经网络采用两种不同的训练方式得出的训练结果是不同的在神经网络的学习和训练过程中，选用何种训练方式，采用何种训练函数，应该根据具体的网络形式和具体问题的类型与要求而定224神经网络的特性洲N模拟人的大脑，也是由大量的神经元广泛互连而成的系统，这一结构特点决定着人工神经网络具有高速信息处理的能力。另外，人工神经网络的知识存储容量很大，在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系，它分散地表示和存储于整个网络内的各神经元及其连线上。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。由于人工神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图像。只要输入的模式接近于训练样本，系统就能给出正确的推理结论。虽然ANN与真正的生物神经网络有差别，但由于它汲取了生物神经网络的部分优点，因此具有一些固有的特性LANN在结构上与目前的计算机本质不同，它是由很多小的处理单元互相连接而成的，每个处理单元的功能简单，但大量简单的处理单元集体的、并行的活动得到预期的识别、计算的结果，具有较快的速度。2ANN具有非常强的容错性，即局部的或部分的神经元损坏后，不会对全局的活动造成很大的影响3ANN记忆的信息是存储在神经元之间的连接权值上，从单个权值中看不出存储信息的内容，因而是分布式的存储方式。4ANN的学习功能十分强大，它的连接权值和连接的结构都可以通过学习得到。23神经网络在预测建模中的优势23，现有参数数据的问题哈尔滨工程大学硕士学位论文本文需要建模的储层参数是石油勘探中比较重要的三个参数，分别是储层的渗透率、孔隙度和饱和度。现有的储层参数数据主要有三方面的问题1数据的不全性。由于对历史数据保存不善或是受当时技术和环境的影响，致使部分数据丢失或残缺。2数据的无效性。由于时间的变迁，历史中存在的油井，有些早已开采完毕，如今己成枯井而有些油井的位置可能发生了变化，所以只是现有的数据中有些数据是无效的。3数据的精度低。这主要受测井技术的限制。由于储层分布的多相性和非均质性，因此无论是直接或间接测量三个参数中的任何一个都是十分困难和代价昂贵的工作。迄今为止，仍没有一套完美的技术，使得储层参数的测量达到一个很好的精度。232神经网络在预测建模中的优势在传统的统计方法中，判别分析和回归分析技术是一种常用的、受欢迎的技术。由于储层参数与测井曲线或地震数据之间的关系是非线性的，没有明确的一一对应关系，而判别分析和回归分析是一种线性的分析方法，虽然简单，但需要把非线性关系线性化，因而误差较大，很难取得满意的预测效果。相对于传统的预测方法，神经网络在处理这方面问题中有着独特的优势，主要体现在1容错能力强由于网络的知识信息采用分布式存储，个别单元的损坏不会引起输出错误。这就使得预测或识别过程中容错能力强，可靠性高。2预测或识别速度快。训练好的网络在对未知样本进行预测或识别时仅需要少量的加法和乘法，使得其运算速度明显快于其他方法。3避开了特征因素与判别目标的复杂关系描述，特别是公式的表述。网络可以自己学习和记忆各输入量和输出量之间的关系。4适应性强。神经网络嵌入了一个可以通过调整自身突触权值以达到适应外界变化的能力。5具有很强的不确定性信息处理能力。即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图像。24神经网络预测储层参数的总体思想基于以上原因，储层参数建模的总体设计要分成两步进行首先，利用哈尔滨工程大学硕士学位论文三维位置坐标建立同年代井网储层参数的横向预测模型，此模型有两大作用一是可以补全储层参数数据中不全的部分，即所谓的插值二是可以修正储层参数中不精确的部分。用同年代数据建立横向预测模型容易消除储层参数中外界的变化因素如开采量、季节变动等。然后，建立单井随年代变化的储层参数的纵向预测模型。用神经网络预测储层参数的总体思路如图27所示。图2了神经网络预测储层参数的总体思路1确定预测目标、计划。首先要对预测对象进行分析研究，确定预测目标，从决策的需求出发，紧密联系实际需要与可能，确定预测解决的问题预测计划是根据预测目的制定的预测方案，包括预测的内容、项目，预测所需要的资料，准备选用的预测方法，预测的进程、组织实施等。只有目的明确、计划科学的预测，才能保证预测的顺利进行。2收集并整理资料数据。准确地调查统计资料和数据是预测的基础，所以要尽可能地收集全与预测目标相关的资料、数据以及己有的预测方法，并将其整理。3网络模型的选择对于不同的问题，采用不同的网络模型，其效果哈尔滨工程大学硕士学位论文是不同的，选择适当的方法是预测准确的关键。神经网络有多种算法，而且各有优缺点，团此要根据收集整理的资料数据，确定有效的预测技术。为了收到预期的预测效果，最好提出几种不同的预测方案，经过分析确定合适的预测技术后方可制定最终的试验方案4建立初步预测模型。在确定网络模型后，就可以将学习样本送入选定的网络模型进行训练，得到用于预侧的神经网络模型。5评价模型的可用性。由于储层参数的发展变化受多种因素的影响，其中很多是难以预见的突发因素，因而存在着不确定性，必然存在误差。根据模型的结果，分析该结果是否可以预测目标的未来发展趋势，如果可以，继续步骤份如果不可以，则返回步骤3。6用预测模型进行预测。根据选择的可用预测模型预测目标的未来发展趋势。7输出预测结果。将结果通过计算机界面输出给用户，以便决策者根据输出的结果进行科学的决策25本章小结本章阐述了预测技术的基本概念、步骤、方法和分类以及人工神经网络的基本理论、特点，分析了用神经网络进行预测较传统预测方法的优势所在。根据石油储层参数的特点，选用神经网络预测可以提高储层参数预测的分辨率和可靠性，并介绍了用神经网络进行储层参数预测的思路，为石油储层参数的预测提供了一种新的方法。哈尔滨工程大学硕士学位论文第3章几种常用神经网络模型3IBP神经网络3，1IBP网络结构BP网络是一种多层前馈神经网络，是目前应用最广的一种神经网络，该算法是由RU，LHART等在1986年提出的网络的神经元模型结构如图31所示。BP神经元与其他神经元类似，不同的是BP神经元的传输函数为非线性函数，最常用的函数是109519和TANSIG函数。BP网络是一种具有三层或三层以上的神经网络，包括输入层、中间层隐层和输出层。上下层之间实现全连接，而每层神经元之间无连接。当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输出层传播，在输出层的各神经元获得网络的输入响应。在确定了BP网络的结构后，要通过输入和输出样本集对网络进行训练，亦即对网络的阐值和权值进行学习和修正，以使网络实现给定的输入输出映射关系。图3IBP网络神经元模型结构BP网络的学习过程分为两个阶段第一个阶段是输入已知学习样本，通过设置的网络结构和前一次迭代的权值和阐值，从网络的第一层向后计算个神经元的输出。第二个阶段是对权值和闺值进行修改，从最后一层向前计算个权值和闽值对总误差的影响梯度，据此对各权值和闭值进行修改。以上两个过程反复交替，直到达到收敛为止。由于误差逐层往回传递，以修正层与层间的权值和闽值，所以称该算法为“误差逆传播算法”，即BP算法这种误差反传学习算法可以推广到有若干个中间层的多层网络，因此该多层哈尔滨工程大学硕士学位论文网络常称之为BP网络。随着这种误差逆的传播修正不断进行，网络对输入模式响应的正确率也不断上升。31ZBP算法BP算法也称误差反向传播算法ERRORBACK一PROPAGATIONALGORITHM，是一类有导学习算法，用于BP网的权值和闽值学习。下面讲述图31所示BP网的权值调节算法，即著名的BP算法该网络是由一个输入层、两个隐含层和一个输出层组成的四层网络。对BP网的各计算节点，有UJ艺代石一弓3一1为FUJ司/LE喊一机3一2其中F，芍几EXP一砚11EXP一机1EXP机几L一FU，F吟3一3假设BP网的输入矢量为。R，其中XX0，气，凡刁R第1隐层有玛个神经元，它们的输出为。R“，二X书，二，议二T第2隐层有、个神经元，输出为。R”，二X、，二、，飞、R输出层有M个神经元，输出Y。砂，YYO，YL，凡二R。设输入层到第1隐层的权为玛，阐值为弓第1隐层到第2隐层的权为W认，阐值为0飞第2隐层到输出层的权为W、，阐值为外于是各层神经元输出为另，艺，。、，。，1，。一1二，艺，、二、，K0，1，NZ一13一4J贯二X，F艺戈鸡，J二0，1，伪一1哈尔滨工程大学硕士学位论文显然，它将完成N维空间矢量到M维空间的映射。3，3BP算法的缺点虽然BP算法的提出开辟了神经网络研究的新局面，但是，在实际应用中它还存在一些问题，主要有以下几个方面1学习率与稳定性的矛盾梯度算法进行稳定学习要求的学习率较小，所以通常学习过程的收敛速度很慢。虽然附加动量法通常比简单的梯度算法快，因为在保证稳定学习的同时，它可以采用很高的学习率，但对于许多实际应用，仍然太慢2学习率的选择缺乏有效的方法对于非线性网络，选择学习率也是一个比较困难的事情。对于线性网络，我们知道，学习率选择得太大，容易导致学习不稳定反之，学习率选择得太小，则可能导致无法忍受的过长的学习时间。不同于线性网络，我们还没有找到一种简单易行的方法，以解决非线性网络选择学习率的问题。3训练过程可能陷入局部最小从理论上说，多层BP网络可以实现任意可实现的线性和非线性函数的映射，克服了感知器和线性神经网络的局限性。但在实际应用中，即网络往往在训练过程中，也可能找不到某个具体问题的解，比如在训练过程中陷入局部最小的情况。32径向基神经网络径向基神经网络RADIA1BASISFUNCTIONNEURA1NET，ORK，简称RBP是一种比较新颖的网络类型。1989年MOODY和DARKEN提出了一种网络，即径向基函数神经网络，同年，JSCKON论证了径向基函数网络对非线性连续函数的一致逼近性能。它可以根据问题确定相应的网络拓扑结构，学习速度快，不存在局部最小问题，径向基网络的优良特性使得它具有更强的生命力和更广阔的应用。32IR日F网络的基本结构构成径向基函数网络的基本思想是用径向基函数作为隐层单元的基本函数，构成隐层空间，这样就可以将输入矢量直接映射到隐空间。当径向基函数的中心点确定后，这种映射关系就确定了，而隐含层空间到输出空间的哈尔滨工程大学硕士学位论文映射是线性的，即网络输出是隐单元输出的线性加权和。此处的权即为网络可调参数。由此可见，从总体上网络由输入到输出的映射是非线性的，而网络的输出对可调参数而言又是线性的。这样网络的权值可由线性方程直接解出或递推计算，从而大大加快学习速度并避免局部极小问题。C巧图3ZRBF网络神经元模型结构径向基函数神经网由输入层、隐层和输出层组成的三层前馈网络。各层有多个神经元，相邻两层单元之间单方向连接，结构如图3一2所示。图中戈是输入层的输入，Q，是隐层输出，艺是输出层的输出。Q是第J个隐层单元基函数的中心，它是一个N维向量，即QCJ，CK，喻R几表示第J个隐含层单元基函数的宽度。毗为第J个隐层单元与第1个输出单元之间的连接权。M，L，N分别表示输出单元、隐层单元和输入单元的数量人J，K分别代表输出单元，隐层单元和输入单元。第一层为输入层，单元数量N同实际问题的输入维数一致。第二层为隐含层，其单元层数L的选择是一个复杂的问题，视所描述问题的需要而定。第三层是输出层，单元数量M同实际问题的输出维数一致。32ZRBF的映射关系RBF网络的映射关系有两部分组成从输入空间到隐含层空间的变换是非线性的直接映射关系，而从隐含层空间到输出层空间的变换是线性的加权哈尔滨工程大学硕士学位论文求和关系。同上，M，L，N分别表示输出单元、隐层单元和输入单元的数量，若给定输入向量为X，T1，尸P为输入模式数，1代表模式，以下均是在模式为T时，讨论隐层单元的输出和输出层输出1第一部分从输入空间到隐含层空间的非线性变换，第J个隐层单元的输出是叼川丫一C，LL，J“3一5式中，1111是范数，通常取2范数。CJ是第J个隐含层单元基函数的中心向量，即C，马，C，CJVR。R是某一类径向基函数。径向基函数是局部分步的对中心点径向对称衰减的非负非线性函数，它具有两个向量参数X和C。常用的R径向基函数是高斯函数，则第J个隐层单元的输出可表示为。一【一黔EXPI一瘩争3一6式中，马是第J个隐含层单元基函数的宽度。2第二部分从隐含层空间到输出层空间的线性合并层则第1个输出层单元的输出丫艺巩Q，二鑫、RILX一C卜“3一7式中风为第J个隐层单元与第1个输出单元之间的连接权M为输出的维数L为隐层单元数。3，3广义回归神经网络模型广义回归神经网络CENERALIZEDREGRESSIONNEORALNET，ORK，简称GRNN最早是由SPECHT提出的，是径向基神经网络RADIA1BASISPUNCTION哈尔滨工程大学硕士学位论文NEURA1NET，ORK，简称RBF的一个分支，是概率神经网络的拓展形式，它建立在数理统计基础之上，能够根据样本数据逼近其中隐含的映射关系，即使样本数据稀少，网络的输出结果也能够收敛于最优回归表面，而且网络的学习算法简单，在结构方面具有高度的并行性。目前，该神经网络在系统辨识和预测控制等方面得到了应用，但是，国内对该神经网络的应用研究还很少。33IGRNN基本理论广义回归神经网络的理论基础是非线性核回归分析设一个非线性回归问题的模型描述如式3一8所示共F戈51，11，2，一，N3一8取某一点X附近的观测值即模型输出Y的值的均值作为未知回归函数FX的合理估计。但是，为了达到这一目标，局部平均必须限制在X的一个较小的邻域内即接受域，因为一般情况下，离X较远的区域将会有不同的观测值。进一步，得到FX等于给定X条件下少的条件均值即在X上Y的回归，表示为式3一9FXEYLX3一9利用随机变量的期望公式，有FX丁，夕X咖3一0，其中儿Y/X是Y以X为条件的条件概率密度函数。由概率论，可得寿Y/XFXX，YFXX3一11上式中FXX是X的条件概率密度函数，FX，X，Y是X和Y的联合条件概率密度函数。因此，将式3一11代入式3一10中，可以得到回归函数的下列公式丁，X，X，咖FX巴下获歹一3一12因为所知的只有训练样本戈必之，而联合概率密度函数FX，X，却哈尔滨工程大学硕士学位论文未知为了估计FX，X，Y以及FXX，可以应用一个非参数估计器，通称为PARZEN一ROSENBLATT密度估计器形成该估计器的基础是核，用符号KX表示，它具有与概率密度函数相同的性质1核KX是一个关于X的连续有界的实函数，它关于原点对称，且在原点取得最大值2在核KX的曲面下的总体积等于1即对于一个M维的向量X有公KXDX“3一3，假设戈，凡，一，石是独立同分布的随机向量，那么可以定义FXX的PAJ龙ENROSENBLATT密度估计为大X一赤刻旱二砂3一14其中光滑度参数H是正数，称为带宽或简称为宽H控制着核的宽度。PARZEN一ROSENBLATT密度估计器的一个重要性质是它是相容估计器即渐近无偏的，意味着如果选择HHN为N的函数使得忽HN03一15那么为了上式成立，恕筑FXXFXXX必须是元X中的连续点。3一16用与式3一14描述的类似方法，可以得到联合概率密度函数FX，X，Y的PARZENROSENBLATT密度估计如下，V_。_1夺。RX一戈、，RY一另、，_、_，。，、FX，X，Y二二下乞引二一几四二一，X。叭，Y。组3一17肠，”汀戈H少戈HF对大，X，Y作关于Y的积分，可得式3一7CYFX，X，肿而鉴夸K口、，日旱皿班旱、3一8，对上式作变量代换，令沙一另/H，再利用核K的对称性可得哈尔滨工程大学硕士学位论文令元，X，Y、一赤万人乞又K兰二兰、HJ3一19因此，将式3一14和3一19分别作为式3一12分子和分母的估计，消去相同项后，可得回归函数FX的下列估计杳，X一X、夕J另A1FX卜FX卜是于冷二针KI1胃气H3一20为了清晰起见，上式中将分母中的求和下标1换成J。广义回归网络采用NADARAYAWATSON回归估计器来逼近函数尸X。定义归一化加权函数如式3一21所示_X一尤、人11_，、H伴。，1人，气，山，份，一，于R。带，_尤一尤、少入1】胃戈H少艺叭，X1，2，N3一21其中所有的X3一22所以式3一20所示的核回归估计简写成如式3一23所示FX艺叭，XY，3一23它将FX描述为观测值Y的加权均值。上式给出的加权函数叭JX形式是由NADARAYA和WATSON提出的，所以式3一23所示的逼近函数称为NADARAYAWEWATSON回归估计器一般的，使用GAUSS函数作为核函数1X】12、KX，而严EXP一狱3一24其中，残是输入向量X的维数。假设使用相同的宽度扩展口，。与光滑参数H对每一个CAUSS分步的作用相同，且以戈作为核函数的中心，则式3一20可写成如式3一25所示哈尔滨工程大学硕士学位论文口日曰。全二1剑到一掣3一25其中上式的分母项表示PARZENROSENBLAT七密度估计器，由N个以数据点戈，戈，XN为中心的GAUSS分步之和构成。33ZGRNN模型结构GRNN的结构如图3，2所示，包括输入层、模式层、求和层和输出层四层神经元。网络输入为XX，凡，凡了，其输出为Y【YL，乃，YL了模式层求和层图3，3GRNN神经元模型结构输入层中的神经元数目等于学习样本中输入向量的维数M，各神经元是简单的分布单元，直接将输入变量传递给模式层。模式层的神经元数目等于学习样本的数目N，各神经元各自对应不同的样本，神经元1的传递函数为式3一26所示，X一尤行X一尤，PIE却【一一一代一犷一一，1，石“，N名4，3一26即神经元1的输出为输入变量X与其对应的样本戈之间的EUC“D距离平方哈尔滨工程大学硕士学位论文如式3一27所示砰X一戈八X一戈3一27式中，X为网络输入变量戈为第1个神经元对应的学习样本。求和层中包括两种类型神经元，其中一种神经元计算式3一25的分母，对所有模式层神经元的输出进行算术求和，模式层各神经元与该神经元的连接权值为1，其传递函数形式如式3一28所示3一28只。艺间凡其他神经元计算式3一25的分子，对所有模式层神经元的输出进行加权求和，模式层中第1个神经元与求和层中第J个分子求和神经元之间的连接权值为第1个输出样本万中的第J个元素马，分子求和神经元J的传递函数为式3一29所示勒二艺乃几，J1，2，13一29输出层中的神经元数目等于学习样本中输出向量的维数1，各神经元将求和层的输出相除得式3一25的估计结果，神经元J的输出对应估计结果八X的第J个元素，即气YL下尸，J1，二，1O。3一30333GRNN学习算法GRNN的学习算法采用正则化理论，而所谓的正则化方法，是指在标准误差项基础上增加了一个限制逼近函数复杂的项正则化项，该正则化项体现逼近函数的“几何特性”，即。F二全IDFLLZ3一31哈尔滨工程大学硕士学位论文式中，D为线性微分算子。于是正则化方法的总的误差项定义为EF，E月十兄凡月其中，兄为正则化系数，EF为标准误差项，即3一32F告知一、Z于是，式3一32的EULER一LAGRANGE方程为3一33加凡一贪菩仅一尸XJ8X一X，3一34式中，力为D的伴随算子式3一34的解为凡X武X一戈为X戈点的狄拉克DELTA分布函数。一F戈GX，戈3一35仅“艺问1一兄式中，GX，戈为自伴随算子加的GREEN函数。问题的解是N个基函数称GREEN函数AX，XL，即万凡X艺琳GX，戈可见，式3一32的正则化11，2，N的线性组合，式中，、告、一FX，于是正则化问题归结为求解系数哄，11，2，一，N的值。如果令牙一WL，一，R，一1，乃，LR凡【凡戈，凡XZ，凡凡GX，戈“一G傀，二LG石，龙GX，凡二GXS，G戈，凡G凡，G芍，凡，二G凡，几，1“，吞3一363一373一383一393一403一41哈尔滨工程大学硕士学位论文则可得W二李，一凡凡3一42凡GW3一43消去式3一42和式3一43中的凡，即得YG几1W3一44其中GREEN矩阵G为NXN对称阵，且只要戈，凡，凡各不相同，G就是正定的。而只要选择充分大的兄，便可以使G十盯正定且可逆，于是可解得WG兄了一，少3一45GREEN函数GX，戈的形式依赖于算子D的形式，如果D具有平移不变性和旋转不变性，则GRE即函数的值取决于X与戈之间的距离，即GX，戈G口】X一戈13一46如果选择不同的算子D应具有平移和旋转不变性，便可得到不同的GREEN函数。GRNN网络常采用GAUSS函数。两目诬的曰娜出扣右日出比曰图34实际值与理想值的比较图图35各个向量的误差图本文用基本的GRNN进行了储层参数的训练效果仿真，如图34、图35所示，从图中可以看出GRNN的训练效果还是不错的。GRNN的特点是人为调节的参数少，只有一个阐值。网络的学习全部依赖数据样本。这个特点决定了网络得以最大限度地避免人为主观假定对预测结果的影响。34ELMAN神经网络预测概述EL阳N型回归神经网络是ELNLAN于1990年提出的，它是一种典型的动态哈尔滨工程大学硕士学位论文神经元网络，网络结构如图36所示。ELMAN型回归神经网络是在即网络基本结构的基础上，通过存储内部状态，具备映射动态特征和适应时变特性的能力，适合动态系统的辩识因此E玩AN神经网络是一种新颖、可靠的预测方法，网络具有动态特性好、逼近速度快、预测精度高、可靠等特点，因此，EI娜网络目前是动态回归神经网络中应用最广的网络。ELMAN网络的动态特性仅由内部的连接提供，无需用状态作为输入或训练信号。ELMAN网络只需要1个输入单元和输出单元，隐层单元设其数为N的输入为NL，比相应的静态网络结构大大简化。EL回型回归神经网络一般分为4层输入层、中间层隐含层、承接层和输出层，EI阳N网络的输入层、隐含层和输出层的连接类似于前馈网络，输入层的单元仅起信号传输作用，输出层单元起线性加权作用。隐含层单元的传递函数可采用线性或非线性函数，承接层又称为上下文层或状态层，它用来记忆隐含层单元前一时刻的输出值，可以认为是一个一步延时算子。承接层层层尾出雌入抽险粉图36ELLNAN神经网络的拓扑结构EL帕N型回归神经网络的特点是隐含层的输出通过承接层的延迟与存储，自联到隐含层的输入，这种自联方式使其对历史状态的数据具有敏感性，内部反馈网络的加入增加了网络本身处理动态信息的能力，从而达到了动态建模的目的。以图36为例，EL卿网络的非线性状态空间表达式为少无9矿X无3一4了XKF斌XC无W，U卜1XCKXK一13一483一49哈尔滨工程大学硕士学位论文其中，Y，X，U，U分别表示M维输出节点向量，N维中间层节点单元向量，R维输入向量和N维反馈状态向量。矿，矿，记分别表示中间层到输出层、输入层到中间层、承接层到中间层的连接权值。G为输出神经元的传递函数，是中间层输出的线性组合。F是中间层神经元的传递函数，常采用5型函数。隐层节点的输出依赖于过去不同时刻的连接权，也即隐层节点的确定是一个动态递推过程。相应地，用于ELMAN网络训练的反向传播算法称为动态反向传播学习算法ELMAN网络也采用BP算法进行权值修正，学习指标函数采用误差平方和函数如式3一50E的艺以W一州W，3一50其中元W为目标输出向量。下图是用基本的EL呱N神经网络训练储层参数的效果仿真图，如图37、图38所示。训叻乡是公公铃任面盏品冶常葱舒冶亩翻。画签煞冷漓石漓一准尸、图37神经网络训练误差图图38神经网络验证误差图ELMAN网络的特点是隐含层的输出通过结构单元的延迟、存储，自联到隐含层的输入，这种自联方式使其对历史状态的数据具有敏感性，内部反馈网络的加入增加了网络本身处理动态信息的能力，有利于动态过程的建模。此外ELMAN网络的动态特性仅由内部的连接提供，无需使用状态作为输入或训练信号，这也是ELMAN网络相对于静态前馈网络的优越之处。哭举料黔洲撰举咫黔茸浮秽拼照举排黔兰，1，1，。1，1，1，。1胆，奎，一擎，于望于1，1，攀誉，芝攀1攀，1燥一11一1一11个一113，5神经网络建模的评判标准351神经网络的泛化能力哈尔滨工程大学硕士学位论文神经网络的泛化能力是指学习后的神经网络对测试样本或工作样本做出正确反映的能力。我们一般从一个训练样本开始，而且通过向网络中装载尽可能多的学习样本，希望这样设计的网络可以泛化。泛化也称推广是网络对以前从未曾遇见过的输入做出反应的能力。泛化是从心理学中借来的，泛化本身具备进一步学习和自调节的能力。神经网络之所以能够进行预测，就是因为经过训练后的神经网络具有了记忆联想功能，可以对未来发展做出正确判断和响应。所以泛化能力是神经网络最主要的性能，没有泛化能力的神经网络没有任何使用价值。正确训练的网络，即使训练样本有一点误差，也可以对未出现在训练样本中的输入给出正确反应，相反，如果学习了过多的特殊样本，且过分追求在训练集内误差小，就会丧失泛化能力，出现所谓过拟合现象。判断网络模型泛化能力的好坏，主要不是看测试样本误差大小本身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。人们已经发现许多因素对神经网络泛化能力有影响，其中影响泛化能力的主要因素有1训练样本的选取。包括训练样本的质量、数量和样本的代表性，训练集的大小，以及它如何表示感兴趣的环境。只有当训练样本足以表征所研究问题的一些主要的或基本特性时，网络通过合理的学习机制才可以使其具有泛化能力，因此训练样本的选取是网络具有泛化能力的必要条件。训练集太小，网络不能记住全部特征，使得网络的泛化能力较低，即所谓的“欠拟合”现象训练集太多，网络可能会完成对训练数据的全部记忆，致使网络可能存在于数据中但对于将要建立的固有函数却为假的特征如噪声，即所谓的“过拟合”现象2神经网络的体系结构。包括神经网络的算法选取，神经网络的网络结构、网络初始权值的设定和网络的各性能参数的设定等网络的结构主要包括网络的隐含层数、各隐含层节点的个数和隐含层节点激活函数的特性，原因为在实际应用中，还没有一套成熟的理论方法来确定网络的隐节点，隐节点的确定基本上依赖经验，主要是采用递增或递减的试探方法来确定的网络隐含层节点网络的初始权值的选择缺乏依据，具有很大的随机性，这也在很大程度上影响网络的泛化能力神经网络算法收敛慢，即使一个相当简单的问题求解，其训练次数也要几百甚至几千次迭代。而且网络对各种参数包括初始权值、学习速率、动量参数极为敏感，稍小的变动