基于遗传BP算法的神经网络在桩基检测中的应用.doc

分类号 TP391 密级 U D C 学号 01041030 长沙理工大学硕士学位论文基于遗传BP算法的神经网络在桩基检测中的应用研 究 生 姓 名 戎 丽 霞 培 养 单 位 计算机与通信工程学院 指导教师姓名、职称 王英健 副教授 学 科 专 业 计算机应用技术 研 究 方 向 智 能 控 制 论 文 提 交 日 期 2004年5月10日 Neural Network Based Genetic-BP Algorithm Applying to Stake Base DiagnosebyRONG LixiaA thesis submitted in partial satisfaction of theRequirements for the degree ofMaster of Engineering in Computer Application TechnologyinChangsha University of Science & TechnologySupervisorProfessor Wang YingjianMay, 2004摘要故障检测与诊断技术在近几十年得到飞速的发展，神经网络和遗传算法在故障检测与诊断中有着成功的应用，并且两者的结合在故障检测与诊断技术中有着广阔的应用前景。桩基检测属于工程问题，用于桩基完整性检测的方法主要是时域和频域分析法，对结果的分析需要依靠技术人员的工程经验，而且由于桩-土体的复杂性，传统的方法遇到了很大的困难。因此需要尝试新的方法，本文将神经网络与遗传算法相结合来检测桩基完整性，为桩基完整性检测开辟了一个新途径。本文阐述了桩基检测中遗传BP神经网络的基本设计思想和算法实现过程，在遗传BP神经网络中将遗传算法与BP算法结合来训练神经网络的结构和权值。由于神经网络的结构不同，在遗传算法中采用小生境技术，将群体分为主群体和小群体，主群体中含有不同网络结构的个体，小群体中的个体网络结构是相同的，采用小群体可以防止优秀个体早期退化。文中提出了小生境技术中初始群体的设计思想和算法实现过程。特征提取是信号识别与分类中的重要一环，对提高系统的准确性、改善系统性能起着关键的作用。特征提取的方法有很多，利用小波包变换对信号进行特征提取是近年来发展起来的一种新的特征表示手段，在许多领域中已获得了成功的应用。对于桩基检测信号，本文用基于最优小波包基的特征提取方法。文中提出了基于熵规则的最优小波包基选择策略，并且给出了对于所有的训练样本的小波包最优基选择的具体实现方法。用此方法提取故障的特征，可以减少输入向量的维数，并且有利于故障类型的识别和分类。将本文提出的方法应用于实际桩基信号的完整性检测中，对于几种模型桩的桩基故障，本文的方法都能给出正确的识别结果，实验结果表明了该方法的有效性，检测准确率达到了预期的效果。因此本文的故障诊断方法在工程实际中有着广阔的应用前景，对于解决实际问题有着重要的意义。关键词：BP神经网络；遗传算法；小生境技术；故障诊断；小波包分析；特征提取；桩基检测ABSTRACTIn the previous decade, FDD(Fault Detection and Diagnosis) has greatly developed. ANN(Artificial neural network) and GA(Genetic Algorithm) has successful applications in FDD, and the combine of ANN and GA has wide foreground in applications. Defect of pile is a problem of engineering, the method of integrity defect of pile are time-field and frequency-field analysis, which have to depend on the experience of engineers and has many difficulties in defect of pile. So in this paper , a new method that the combine of ANN and GA is applied to defect of pile.In this paper, the processing of neural network based Genetic-BP algorithm in defect of pile is introduced, and it be used to search the structure and weight of the network. In genetic algorithm, niche technology is applied because the structure of network is difference, which can avoid the early degenerate of good network. The algorithm design of originality colony is given in niche technology in this paper. The colony has two parts, one is main colony, in which the structures of network are different, another is small colony that the structures of network are same.Feature extraction plays an important role for improving accuracies in signal classification and recognition. Extracting features by wavelet packets is new way for signal representation developed these years, and great success has been achieved in many fields. For the signal of defect of pile, the method of feature extraction based on best wavelet packer bases is used. In this paper, the algorithm of best bases search based on Shannon is given, and the method of best bases search for all training sets is given. Extracting features by the method of this paper is effective for classification and recognition of faults.The methods of feature extraction and fault diagnosis in this paper are applied to practical integrity defect of piles, and give correct diagnose results for some typical pile faults. The results of Experiment testified the effective of this method. So the method for faults diagnose in this paper has wide application foreground, and has important signification to settling fact problem.Key words:BP neural network; genetic algorithm; niche technique; faults diagnose; wavelet packet analysis; feature extraction; defect of pileII目 录摘要IABSTRACTII第一章 绪论11.1桩基检测11.2故障诊断的方法11.3神经网络在故障诊断中的应用21.3.1神经网络的发展与应用21.3.2神经网络在故障诊断中的应用概况41.4小波分析在故障诊断中的应用概况71.5遗传算法在故障诊断中的应用概况81.6本文完成的主要工作8第二章 BP神经网络和遗传算法的基本理论102.1 BP神经网络102.1.1反向传播网络模型与结构102.1.2 BP算法122.1.3 BP网络的设计132.1.4 BP网络的限制与不足152.2遗传算法162.2.1概述162.2.2经典遗传算法172.2.3应用GA的几个要点18第三章 基于最优小波包基的特征提取203.1小波包分析203.1.1小波包的定义203.1.2小波包的性质213.1.3小波包的空间分解223.1.4小波包算法233.2最优小波包基的选择243.2.1最优小波包基的概念243.2.2最优小波包基的快速搜索法253.2.3基于熵准则的小波包基选择263.3用小波包最优基分解提取信号特征27第四章 遗传BP神经网络的设计294.1概述294.2神经网络的选取304.2.1神经网络权值的选取304.2.2神经网络结构设计304.3本文的神经网络设计方法314.3.1编码表示324.3.2选择策略334.3.3遗传操作334.3.4群体设计344.3.5适值函数344.4遗传BP算法的步骤36第五章 遗传BP神经网络在桩基检测中的应用375.1概述375.2基于神经网络的桩基完整性检测的设计思路385.3 样本的采集385.3.1基本原理385.3.2影响因素385.3.3采样信号特征395.4神经网络设计415.4.1样本的选择415.4.2桩基信号的特征提取415.4.3输入输出节点的确定415.5本文方法的识别结果及分析425.6遗传神经网络识别结果以及与本文方法的对比435.7总结45全文总结46致谢48参考文献49附录（攻读硕士学位期间发表论文）53第一章 绪论1.1桩基检测桩基检测属于工程问题，通常是用动测法对桩身进行检验，然后对动测数据进行分析，以判断桩身存在哪种缺陷。对动测数据进行分析的方法很多，就其原理而言主要有时域分析和频域分析法，但这些方法对于结果的解释主要还是依靠测试人员的工程经验，有时对于同一种测试数据，不同背景的人做出的判断可能有相当大的出入，亦即由于桩-土体本身的复杂性，传统的处理方法遇到了极大的困难。因此，我们需要尝试新的比较实用的方法，为桩基检测开辟新的途径。目前比较实用的方法是神经网络分析法，但是人们对这方面的讨论还不多，很多理论和知识还不完善。桩基完整性检测也属于一类故障诊断问题，本文将其作为故障识别和分类问题来讨论。1.2故障诊断的方法故障检测与诊断是控制科学的重要组成部分，作为一种交叉性科学领域，它与容错控制、鲁棒控制、自适应控制、智能控制等多种技术密切的联系。故障检测与诊断技术在过去的十几年里得到了飞速发展，一些新的理论与方法，如：主元分析、遗传算法、小波变换、神经网络、模糊系统、模式识别、自适应理论、非线性理论等都已经在这里得到了成功的应用。故障诊断的方法按照通常的分类方法可以分为基于解析模型的方法、基于信号处理的方法和基于知识的方法三大类。基于解析模型的方法是最早发展起来的，此方法需要建立被诊断对象的较为精确的数学模型。由于系统的运动方程采用参数矢量表示，这种参数实际上代表了系统的指标，所以根据系统参数的估计值与其正常值之间的偏离数值，可以判断系统的故障状态。进一步，它又可以分为参数估计方法、状态估计方法和等价空间方法。这种方法在最近20年中得到了广泛的应用。然而以往的研究大都局限于线性系统，因为非线性系统的故障诊断的难点在于数学模型很难建立，参数估计方法比状态估计方法更适合非线性系统。当难以建立诊断对象的解析数学模型时，基于信号处理的方法是非常有效的，因为这种方法回避了抽取对象的数学模型的难点。而直接利用信号模型，如相关函数、高阶统计量、频谱和自回归滑动平均过程，以及热门的小波分析技术。但是，避开对象数学模型，是这种方法的优点，也是它的缺点。基于知识的方法与基于信号处理的方法类似，也不需要系统的定量数学模型，但它克服了后者的缺点，引入了诊断对象的许多信息，特别是可以充分的利用专家诊断知识等，所以是一种很有前途的方法，尤其是在非线性系统领域。神经网络是近年来出现的一种新的方法，它具有自学习和能拟和任意连续非线性函数的能力，以及其并行处理、全局作用的能力，使得它在处理非线性问题时具有很大的优势。另外，遗传算法是基于自然选择和基因遗传学原理的搜索算法，可获得全局最优解。将两种方法结合起来有着巨大的应用前景。1.3神经网络在故障诊断中的应用1.3.1神经网络的发展与应用1.3.1.1什么是神经网络人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统。神经网络理论突破了传统的、串行处理的数字电子计算机的局限，是一个非线性动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络系统所实现的行为却是极其丰富多彩的。1.3.1.2人工神经网络研究的历史及其应用神经网络的研究已有五十多年的历史，但其发展是不平衡的，它的兴衰还与“人工智能走什么路”这一争议问题有关。由于其结构的复杂性，起始阶段进展不快，并一度陷入低谷，但仍有不少有识之士在极其艰难的条件下坚持研究，使研究工作始终没有中断，并在模型建立等理论方面取得了突破性的成果。时至今天，人工神经网络成了信息领域的热门研究课题。1.第一阶段初始发展期（20世纪40年代20世纪60年代）早在1943年，美国心理学家McCulloch和数学家Pitts联合提出了形式神经的数学模型，即M-P模型，从此开创了神经科学理论研究的新纪元。M-P模型能够完成有限的逻辑运算。1944年，心理学家Hebb提出了改变神经元间连接强度的Hebb规则，他们至今仍在各种神经网络模型中起着重要的作用。1957年，计算机科学家Rosenblatt用硬件完成了最早的神经网络模型，即感知器（Perception），并用来模拟生物的感知和学习能力。1962年，电机工程师Windrow和Hoff提出了自适应线性元件Adaline，它是一个连续取值的线性网络，在信号处理系统中用于抵消通讯中的回波和噪声，应用十分广泛。2.第二阶段低谷期（20世纪60年代末20世纪70年代末）1969年，人工智能之父Minsky和Papert发表的感知器（Perception）一书指出，感知器无科学价值可言，连XOR逻辑分类都作不到，只能作线性划分。由于Minsky在学术界的地位和影响，故其后若干年内，这一研究方向处于低潮。另一方面，传统的冯诺依曼电子数字计算机正处在发展的全盛时期，整个学术界都陶醉在成功的喜悦之中，从而掩盖了新型计算机发展的必然。尽管如此，在此期间仍然有不少有识之士不断努力，在极端艰难的条件下致力于这一研究，为神经网络的发展奠定了理论基础。Boston大学的Grossberg和Carpenter提出了自适应共振理论ART网络。芬兰的Heisinki大学的Kohonen提出了自组织映射网络。日本大坂大学的Fukushima提出了神经认知机网络模型。日本东京大学的Amari对神经网络进行了数学理论的研究。3.第三阶段兴盛期（20世纪80年代以后）20世纪70年代末期，研究和试图模拟听觉的人工智能专家首先遇到挫折，人们习以为常的知识难以教给计算机。计算机的设计者和制造商也发现前面有不可逾越的线路微型化的物理极限，人们才开始思考冯诺依曼机到底还能走多远。同时，VLSI、脑科学、生物学、光学的迅速发展也为人工神经网络的发展打下了基础。1982年，加州大学的物理学家Hopfield提出了Hopfield网络模型，并用电路实现。1985年，Rumelhart提出了BP算法，把学习的结果反馈到神经网络的隐层，来改变权系矩阵，它是迄今为止最普遍的网络。Hinton等人提出了Boltman机模型。1988年，蔡少堂提出了细胞神经网络模型。近年来，神经网络理论引起了美国、欧洲与日本等国科学家和企业家的巨大热情。新的研究小组、实验室、风险公司等与日俱增，世界各国也正在组织和实施与此有关的重大研究项目。如美国DARPA计划、日本HFSP计划、法国尤里卡计划、德国欧洲防御计划和前苏联高技术发展计划等。1986年4月，美国物理学会在Snowbirds召开了国际神经网络学术会议。1987年6月，IEEE在San Diego召开了国际神经网络学术会议，并成立了国际神经网络学会。1988年起，IEEE和国际神经网络学会每年召开一次国际会议。1990年3月，IEEE神经网络会刊问世。神经网络理论的应用也已经渗透到各个领域，并在智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线性优化、语音识别、知识处理、传感技术与机器人等方面取得了令人鼓舞的进展。神经网络代表一种新的主义，即连接主义，用于解决诸如知识表达、推理学习、联想记忆、乃至复杂的社会现象，如混沌，社会演变等复杂系统的统一模型，它将预示着一个新的工业的到来。1.3.2神经网络在故障诊断中的应用概况故障诊断是近40年来发展起来的一门新学科。它是适应工程实际需要而形成的各学科交叉的综合学科。基于神经网络的故障诊断问题可以看成模式识别。通过对一系列过程参量进行测量，然后用神经网络从测量空间影射到故障空间，实现故障诊断。人工神经网络之所以适合于故障诊断，有以下三个原因：1)训练过的神经网络能存储有关过程的知识，能直接从定量的、历史故障信息中学习。可以根据对象的正常历史数据训练网络，然后将此信息与当前测量数据进行比较，以确定故障。2)人工神经网络具有滤除噪声及在有噪声情况下得出正确结论的能力，可以训练人工神经网络来识别故障信息，使其能在噪声环境中有效的工作，这种滤除噪声的能力使得人工神经网络适合在线故障检测和诊断。3)人工神经网络具有分辨原因及故障类别的能力。1.3.2.1国外的研究发展状况神经网络用于故障诊断起源于80年代末期。1989年美国珀杜大学的Venkat Venkatasubramanian和King Chan等人将人工神经网络用于故障诊断中7，并与基于知识的专家系统进行了比较。他们诊断的设备是一个流化态催化裂化单元的故障，确定了18种征兆（输入节点）和13种故障类型（输出节点），隐层有527个节点。所用的算法是反向传播算法，获得了理想的结果；它能正确的确定94%98%的故障原因。美中不足的是训练时间太长，并且训练时输入的数据不是实时的；人工神经网络映射连续变量比映射布尔量要困难得多，尽管存在这些局限性，但他们仍是第一次将人工神经网络成功的应用于模式匹配和故障诊断中。同年，日本庆应义塾大学的Kajior、Watanabe等人将神经网络用于诊断化工过程的初期故障8。他们认为人工神经网络通过联想记忆有学习和存储故障信息的能力，并且具有联想诊断过程故障的能力。网络可以从稳态过程变量数值中学习到故障知识，这些参量既有正常状态下采集的也有故障状态下采集的，用来表示故障的程度。提出了一个两级多层神经网络用于故障诊断，一级网络用于识别含有噪声的故障，一旦识别出故障，二级就来估算故障的程度，这样可以诊断出早期故障。美国德克萨斯大学的Hoskins和Himmelblau等人应用人工神经网络进行故障诊断9时采用连续变量作为输入，但其工作的一个限制是只适合于稳态系统。诊断的对象是3个等温连续搅拌釜反应器，Hoskins和Himmelblau等人用人工神经网络识别6种可能的故障。他们根据一个标量决策函数采用人工神经网络对输入模式进行分类；采用BP算法，讨论了隐层节点数对学习效率的影响。当训练集中只有6个输入模式时，人工神经网络的误诊断率仅为20%；有12个模式时，系统的诊断正确率为100%。1990年，Naidu等人用人工神经网络进行传感器故障检测10，传感器故障检测的最主要问题是对过程的正确模拟。对一个复杂的非线性过程，这一任务非常困难。Naidu等人试图用人工神经网络来区分由传感器故障引起的模式和由过程-模型不匹配、噪声及扰动引起的模式。结果表明：人工神经网络对传感器故障的预测准确性比其它方法高，原因是人工神经网络能抓住非线性问题，另外人工神经网络能够在线进行训练，训练好后，它所需要的计算时间要少于其它算法。Yao和Zafiriou等人进一步扩展了这种采用人工神经网络的故障检测方法11，他们采用的是所谓的局部区域网络（local receptive-field network，LRFN），并展示了一种去除网络多余节点，提高效率的方法。该网络只有一层，同时采用有监督和无监督学习方法训练。基于这一工作，局部接收区域网络展示了在线进行传感器故障检测的希望。首先，网络能够准确的检测出故障，效果优于Naidu等人的反向传播网络；其次，局部接收区域网络与任何人工神经网络一样可以离线训练，然后用于在线服务。1990年美国宾夕法尼亚大学的Ungar等人探索了采用自适应人工神经网络进行故障诊断和过程控制12。自适应人工神经网络可用于故障识别系统，采用基于Widrow-Hoff规则的BP算法，以连接强度表示输入（报警和传感器测量结果）和输出（故障、传感器故障或控制系统故障）之间的关系。这个系统是一个能够象线性相关性一样学习非线性和逻辑关系的模式识别器。对一个小模拟化工厂进行诊断，用加入了噪声的定性（报警）和定量（传感器）数据进行网路学习，非线性网络学习的重要性在于要求有足够灵敏度的特征数据和优化报警阈值问题。麻省理工学院的James A.Leonard和Mark A.Kramer等人采用径向偏置函数即高斯密度函数： 代替Sigmoid函数： 结果表明，采用径向基函数可以使：1)人工神经网络的泛化能力加强，能更好的处理训练数据以外的测试实例。2)人工神经网络能估计测试实例与原来的分类器的接近程度。3)训练速度加快。1991年北卡罗来纳州立大学的M.Chow和S.O.Yee等人用人工神经网络对交流感应电动机进行了故障诊断13。他们认为交流感应电动机的初期故障如果检测不出来，则可导致整个机器损坏，超过73.55kW的大电机的早期故障检测法用于中小型感应电机上造价太高或不实用。为此他们建立了一种基于高序神经网络的中小型感应电动机初期故障诊断法，这种方法避免了传统初期故障诊断法中存在的一些问题。该方法利用了一些可靠的信息，如转子速度和定子电流等。神经网络的设计是在实验室的一个552W永磁感应电动机上实时进行的，计算结果表明，基于神经网络的初期故障检测仪的识别准确率超过95%，适合现场应用。Time Sorsa等人论述了过程自动化领域的神经网络诊断法，他们认为几种结构的神经网络比基于模型的方法和专家系统更适合于故障诊断，并指出双曲正切多层感知器网络单元最适合故障诊断。将其用于热交换器-连续搅拌反应器系统，系统有14个含有噪声的测量结果和10种故障，该网络经3000次学习后能将故障正确的检测并分类，并用主分量分析法描述故障诊断问题。1994年Kajior、Watanabe等人用混合神经网络诊断多故障14，采用HANN的一种新型网络进行故障诊断，HANN将大量的模式分为很多小的子集以便网络能够更有效的对故障进行分类。它的优点是即使网络是用单故障训练的，但对没学过的多故障也可以检测，并在反应器中得到了应用。1.3.2.2国内的研究状况我国也有一些学者对神经网络在旋转机械故障诊断中的应用进行了探讨，取得了一定的成果。东北大学虞和济教授对机械设备故障诊断的人工神经网络法进行了深入的研究515，建立了旋转机械神经网络分类系统并得到了应用，取得了满意的效果。西安交通大学的屈梁生教授等较早地利用人工神经网络对大型旋转机械的各种故障进行了全面的研究16，研究了如何从现场故障信号中提取故障特征并将全息诊断法用于神经网络诊断系统中。东南大学的钟秉林等也就神经网络对给定知识的表达、联想、记忆能力及网络结构进行了研究17并指出神经网络在机械故障诊断中显示了极大的应用潜力。张炜等一批科技工作者对旋转机械故障诊断中的神经网络算法进行了研究18，采用动态学习算法，引入控制因子，结果表明这种改进提高了BP网络的收敛速度，改善了网络的性能，具有实际应用意义。建立了基于概率神经网络的大机组快速响应诊断系统，其收敛速度为BP网络的2万倍；实现了对大机组常见故障快速、简捷、自动的智能化诊断并减少了对专家的依赖；研制出实用的“傻瓜”式智能诊断软件，已投入使用。此外还有人就神经网络用于设备故障诊断的各种问题进行了研究并均取得了一定的结果。1.4小波分析在故障诊断中的应用概况在故障诊断中，故障信号往往含有大量的时变、突发性质的成分，传统的信号分析方法如Fourier变换无能为力，不能有效的提取故障的特征。而且在故障诊断领域，我们经常会遇到非平稳信号，应用Fourier变换也不能得到有效的结果。小波变换作为一种时频分析方法，它在时频两域都具有表征信号局部特征的能力，特别适宜于非平稳信号的处理，从而为故障诊断技术提供了良好的技术支持。近年来，许多学者对小波变换在故障诊断方面的应用进行了研究，取得了大量有价值的成果。小波分析在故障诊断中主要用于故障信号的特征提取。张静远等讨论了四种基于小波变换的特征提取方法19：基于小波变换的模极大值特征、基于小波分解的能量特征、基于小波包分解的熵特征以及基于适应性小波网络的特征提取方法，阐述了各方法的基本原理和实现过程。陈长征、虞和济等人提出了基于小波分析的机械故障特征提取方法20，通过对奇异故障信号的检测、信噪分离和信号频带分析来提取故障特征，这种方法提取的故障信息应用在神经网络等其他故障诊断方法中可以更准确、更全面的诊断故障。周维忠等提出了一种基于小波系数聚类的特征提取方法21，克服了样本抽样数目较大时神经网络结构复杂的问题。而且沈国重、黄艳芳等将小波变化和神经网络结合起来进行故障诊断2223。小波分析可以对信号进行有效的时频分解，但由于其对尺度是按二进制变化的，所以在高频频段其频率分辨率较差，而在低频频段其时间分辨率较差，即对信号的频带进行等间隔划分。小波包分析能够为信号提供一种更加精细的分析方法，它将频带进行多层次划分，对小波分解没有细分的高频部分进一步分解，并能够根据被分析信号的特征，自适应的选择相应的频带，使之与信号频谱相匹配，从而提高了时频分辨率。基于此，王首勇、张晓文等提出了基于小波包变换的特征提取方法242526。用小波包进行特征提取，为了更有效的提取信号的特征，需要提取小波包的最优基，R.Coifman等讨论了小波包最优基的提取方法2728。并且黄艳芳、何福顺、杨洁明等将小波包分析与神经网络的故障诊断系统结合起来29。1.5遗传算法在故障诊断中的应用概况遗传算法在故障诊断中的应用刚刚起步，公开发表的文献不多，但是在基于神经网络的故障诊断中，遗传算法用于神经网络的辅助设计发挥着很大的作用。由于遗传算法具有全局寻优的能力，在神经网络的设计中得到越来越广泛的应用。用遗传算法设计神经网络主要是神经网络结构和权值的设计，在固定网络结构时只需要在学习的过程中优化网络的权值，这种方法比较简单。因为对于一个故障诊断问题，神经网络的结构不容易确定，因此需要对网络的结构和权值共同设计，Koza.J.R、Mamezzo、黎明等给出了用遗传算法优化神经网络结构和权值的方法303132，并且张敏等给出了结构和权值的一种新的实数编码方案33，使遗传操作变的简单易行。但由于遗传算法往往找到的是全局次优解，而BP算法找到的是局部最优解，因此我们考虑将遗传算法与BP算法结合起来训练神经网络，以得到全局最优解，熊凌等将BP算法作为遗传算法的一个算子引入到遗传算法中34，收到了很好的效果。又因为在遗传算法中交叉和变异概率的选取一般是靠经验来选取，相对比较困难，郭晓婷等提出了自适应选择交叉和变异概率的遗传算法35。同时人们将遗传算法和神经网络结合起来用于故障诊断和模式识别，将雄伟、Hozumi、沈敏等分别讨论了其在故障诊断和模式识别中的应用363738。1.6本文完成的主要工作在广泛阅读故障诊断、桩基检测、遗传算法、小波分析和神经网络的相关文献的基础上，针对现有桩基完整性检测领域中的欠缺之处，本文提出基于遗传BP神经网络的桩基检测方法，并且将其应用于实际的桩基检测中，实验证明了此方法在桩基检测领域有着广阔的应用前景。本文主要完成以下工作：1)提出基于熵规则的最优小波包基的提取，然后用此最优基分解来提取桩基信号的特征，能够有效的提取桩基信号特征，对其进行有效的判别。2)分析以往神经网络的设计方法，提出基于遗传BP算法的神经网络设计方法，在遗传算法中针对网络结构的不同采用小生境技术，防止优秀个体早期退化，此方法提高了网络的训练速度和精度，有效的搜索网络的全局最优解，提高了网络的范化能力。3)将本文所设计的遗传BP神经网络应用于桩基完整性检测中，来判别桩基所存在的故障，解决工程中的实际问题。4)结合研究过程中的体会，为进一步的研究提供具体和重要的研究方向。- 53 -第二章 BP神经网络和遗传算法的基本理论2.1 BP神经网络2.1.1反向传播网络模型与结构反向传播网络（Back-Propagation Network，简称BP网络）是对非线性可微分函数进行权值训练的多层前向网络。在人工神经网络的实际应用中，80%90%的人工神经网络模型是采用BP网络或它的变化形式，它主要用于以下几个方面：（1）函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数；（2）模式识别：用一个特定的输出矢量将它与输入矢量联系起来；（3）分类：把输入矢量以所定义的合适方式进行分类；（4）数据压缩：减少输出矢量维数以便于输出或存储。可以说，BP网络是人工神经网络中前向网络的核心内容，体现了人工神经网络最精华的部分。在人们掌握反向传播网络的设计之前，感知器和自适应线性元件只能适用于对单层网络模型的训练，只是在BP网络出现以后才得到了进一步拓展。一个具有r个输入和一个隐含层的神经网络模型结构如图2.1所示： i=1,2,s1； j=1,2,r； k=1,2,s2图2.1 具有一个隐含层的神经网络模型结构图感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的。反向传播网络具有一层或多层隐含层，除了在多层网络结构上与感知器和自适应线性元件的模型有不同外，其主要差别还表现在激活函数上。反向传播网络的激活函数必须是处处可微的，所以它就不能采用二值型的阈值函数0,1或符号函数-1,1，反向传播网络经常使用的是S型激活函数。此种激活函数常用对数或双曲正切等一类S形状的曲线来表示，如对数S型激活函数关系为： （2.1）而双曲正切S型曲线的输入/输出函数关系为： （2.2）图2.2所示的是对数S型激活函数的图形。可以看到是一个连续可微的函数，它的一阶导数存在。对于多层网络，这种激活函数所划分的区域不再是线性划分，而是由一个非线性的超平面组成的区域。它是比较柔和、光滑的任意界面，因而它的分类比线性划分精确、合理，这种网络的容错性较好。另外一个重要的特点是由于激活函数是连续可微的，它可以严格利用梯度法进行推算，它的权值修正的解析式十分明确，其算法被称为误差反向传播法，也简称BP算法，这种网络也称为BP网络。 （a）对数S型激活函数 （b）带有偏差的双曲正切S型激活函数图2.2 BP网络S型激活函数因为S型函数具有非线性放大系数功能，它可以把输入从负无穷大到正无穷大的信号变换成-1到1之间输出，对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大，所以采用S型激活函数可以处理和逼近非线性的输入/输出关系。不过，如果在输出层采用S型激活函数，输出则被限制到一个很小的范围了，若采用线性激活函数，则可使网络输出任何值。所以只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数，在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数。2.1.2 BP算法BP网络的产生归功于BP算法的获得。BP算法属于算法，是一种监督式的学习算法。其主要思想为：对于q个输入学习样本：，已知与其对应的输出样本为：。学习的目的是用网络的实际输出与目标矢量之间的误差来修改其权值，使（n=1,2,q）与期望的尽可能的接近，即：使网络输出层的误差平方和达到最小。它是通过连续不断的在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层的。BP算法由两部分组成：信息的正向传递与误差的反向传播。在正向传播的过程中，输入信息从输入经隐含层逐层计算传向输出层，每一层神经元的输出作用于下一层神经元的输入。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标。为了明确起见，现以图2.3所示两层网络为例进行BP算法推导。 k=1,2,s2； i=1,2,s1； j=1,2,r图2.3 具有一个隐含层的简化网络图设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T。1)信息的正向传递(1)隐含层中第i个神经元的输出为 ， （2.3）(2)输出层第k个神经元的输出为 ， （2.4）(3)定义误差函数为 （2.5）2)利用梯度下降法求权值变化及误差的反向传播(1)输出层的权值变化对从第i个输入到第k个输出的权值有： （2.6）其中： （2.7）同理可得： （2.8）(2)隐含层权值变化对从第j个输入到第i个输出的权值，有： （2.9）其中： ， （2.10）同理可得： （2.11）2.1.3 BP网络的设计在进行BP网络的设计时，一般应从网络的层数、每层中的神经元个数和激活函数、初始值以及学习速率等几个方面来进行考虑。下面讨论一下各自选取的原则。1)网络的层数理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。这实际上已经给了我们一个基本的设计BP网络的原则。增加层数主要可以更进一步地降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。而误差精度的提高实际上也可以通过隐含层中的神经元数目来获得，其训练效果也比增加层数更容易观察和调整。所以一般情况下，应优先考虑增加隐含层中的神经元数。另外还有一个问题：能不能仅用具有非线性激活函数的单层网络来解决问题呢？结论是：没有必要或效果不好。因为能用单层非线性网络完美解决的问题，用自适应线性网络一般也能解决，而且自适应线性网络的运算速度还更快。而对于只能用非线性函数解决的问题，单层精度又不够高，也只能增加层数才能达到期望的结果。这主要还是因为一层网络的神经元数被所要解决的问题本身限制造成的。对于一般可用一层解决的问题，应当首先考虑用感知器或自适应线性网络来解决，而不采用非线性网络，因为单层不能发挥出非线性激活函数的特长。输入神经元数可以根据需要求解的问题和数据所表示的方式来确定。如果输入的是电压波形，那么可根据电压波形的采样点数来决定输入神经元的个数，也可以用一个神经元，使输入样本为采样的时间序列。如果输入为图像，则输入可以用图像的像素，也可以为经过处理后的图像特征来确定其神经元个数。总之问题确定后，输入与输出层的神经元数就随之确定了。在设计中应当注意尽可能的减少网络模型的规模，以便减少网络的训练时间。2)隐含层的神经元数网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层要简单的多。那么究竟选取多少个隐含层节点才合适？这在理论上并没有一个明确的规定。在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当的加上一点余量。3)初始权值的选取由于系统是非线性的，初始值对于学习是否达到局部最小、是否能够收敛以及训练时间的长短的关系很大。如果初始权值太大，使得加权后的输入和n落入了S型激活函数的饱和区，从而导致其导数非常小，而在计算权值修正公式中，因为，当时，则有。这使得，从而使得调节过程几乎停顿下来。所以，一般总是希望经过初始加权后的每个神经元的输出值都接近于零，这样可以保证每个神经元的权值都能够在它们的S型激活函数变化最大之处进行调节。所以，一般初始权值在（-1，1）之间的随机数。另外，为了防止上述现象的发生，威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略：选择权值的量级为，其中s1为第一层神经元数目。利用他们的方法可以在较少的训练次数下得到满意的训练结果，其方法仅需要使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数。学习速率决定每一次循环训练中所产生的权值变化量。大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.010.8之间。和初始权值的选取过程一样，在一个神经网络的设计过程中，网络要经过几个不同的学习速率的训练，通过观察每一次训练后的误差平方和的下降速率来判断所选定的学习速率是否合适。如果下降很快，则说明学习速率合适，若出现振荡现象，则说明学习速率过大。对于每一个具体网络都存在一个合适的学习速率。但对于较复杂网络，在误差曲面的不同部位可能需要不同的学习速率。为了减少寻找学习速率的训练次数以及训练时间，比较合适的方法是采用变化的自适应学习速率，使网络的训练在不同的阶段自动设置不同学习速率的大小。4)期望误差的选取在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值，这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得的。一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中的一个网络。2.1.4 BP网络的限制与不足虽然反向传播法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在它的训练过程的不确定上。具体说明如下：1)需要较长的训练时间对于一些复杂的问题，BP算法要进行几小时甚至更长时间的训练。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。2)完全不能训练这主要表现在网络出现的麻痹现象上。在网络的训练过程中，当其权值调得过大，可能使得所有的或大部分神经元的加权总和偏大，这使得激活函数的输入工作在S型转移函数的饱和区，导致其导数非常小，从而使得对网络权值的调节过程几乎停顿下来。通常为了避免这种现象的发生，一是选取较小的初始权值，另外，采用较小的学习速率，但这又增加了训练时间。3)局部极小值BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。这是因为BP算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的网络，其误差函数为多维空间的曲面，就像一个碗，其碗底是最小值点。但是这个碗的表面是凹凸不平的，因而在对其训练过程中，可能陷入某一小谷区，而这一小谷区产生的是一个局部极小值。由此点向各方向变化均使误差增加，以至于使训练无法逃出这一局部极小值。2.2遗传算法2.2.1概述遗传算法是一类模拟生物界自然选择和自然遗传机制的随机化搜索算法，由美国J.Holland教授于1975年提出。它是利用某种编码技术作用于称为染色体的二进制数串，其基本思想是模拟由这些