（农业水土工程专业论文）bp神经网络在gps高程拟合中的应用.pdf

摘要 g p s 获得垂直分量是基于参考椭球的大地高，它与工程中需要的正常高有一差 值，即高程异常。而由于大地水准面的不规则性，使g p s 获得的垂直信息使用受到 了限制。进行g p s 高程拟合，通过己知点的高程异常值推求未知点的高程异常值， 进而求得未知点的正常高是目前转换g p s 高程的主要方法。b p 网络由于其自组织、 自适应的特点被广泛应用于g p s 高程拟合中。 本文在对高程及高程系统进行系统的分析介绍并详细论述大地高、正常高、高 程异常三者之间的关系的基础上，探讨了应用b p 神经网络进行g p s 高程拟合的基 本方法及其局限性。针对b p 网络的一些局限性提出了改进措施，并采用遗传算法 优化b p 网络拓扑结构及权值阈值，力图提高高程拟合精度。通过对实测资料的试 验分析，总结出b p 网络拓扑结构、运行参数的选取规则；对遗传算法的遗传操作 参数及进化效果进了试验分析评价。对b p 网络的不同激励函数及数据预处理效果 进行分析比较，得出了利用神经网络进行g p s 高程转换的一些有益的结论。 关键字：神经网络；高程拟合；遗传算法 b pn e u r a ln e t w o r ku s ei nt h eg p sh e i g h tf i t t i n g b s t r a c t t h ev e r t i c a lc o m p o n e n tt a k e nb yg p si sb a s e do nt h er e f e r e n c e e l l i p s o i d ，a n di th a sa m a r g i nt ot h en o r m a lh e i g h tt h a tn e e df o r t h ee n g i n e e r , t h a ti sh e i g h ta n o m a l y b e c a u s eo f t h eg e o i di s i 1 1 r e g u l a r , t h eu s eo ft h e v e r t i c a li n f o r m a t i o nt a k e nb yt h eg p sa r e r e s t r i c t e d g p sh e i g h tt r a n s f o r m a t i o n ，t h r o u g ht h eh e i g h ta n o m a l yk n o w np o i n tv a l u e c a l c u l a t i o no fh e i g h ta n o m a l yu n k n o w np o i n tv a l u et h e nc a l c u l a t en o r m a lh i g ht ot h e u n k n o w np o i n ti st h eb a s i cg p sh e i g h tc o n v e r s i o nm e t h o d b pn e t w o r kb e c a u s eo fi t s s e l f - o r g a n i z i n g ，a d a p t i v ec h a r a c t e r i s t i c sa r ew i d e l yu s e di ng p sh e i g h tf i t t i n g o nt h eb a s i so fi n t r o d u c i n ge l e v a t i o na n de l e v a t i o ns y s t e m sa n dr e l a t i o n s h i pa b o u t g e o i dh e i g h t ，n o r m a lh e i g h ta n do r t h o m e t r i ch e i g h t ，w ed i s c u s s i n gt h eb a s i cm e t h o da n d i t sl i m i t a t i o n sa b o u ta p p l i c a t i o no fb pn e u r a ln e t w o r k si ng p s h e i g h tf i t t i n g a g a i n s t s o m el i m i t a t i o n sa b o u tb pn e t w o r k ，p u tf o r w a r du s eg e n e t i ca l g o r i t h mt oo p t i m i z et h e n e t w o r kt o p o l o g ya n db pw e i g h tt h r e s h o l d ，i nab i dt o i m p r o v et h ea c c u r a c yo f c o n v e r s i o n b a s e do nt h et e s ta n a l y s i s ，s u m m a r i z e db pn e t w o r kt o p o l o g y , o p e r a t i n g p a r a m e t e r ss e l e c t i o nr u l e s ，a n dd i s c u s s e dt h ep a r a m e t e r sa n dt h ee f f e c to ft h ee v o l u t i o n a n a l y s i st h ee f f e c ta b o u td i f f e r e n ta c t i v a t i o nf u n c t i o n sa n dd a t ap r o c e s s i n ga n dt h e a c c e s s e ds o m eu s e f u lc o n c l u s i o n s k e y w o r d s ：n e u r a ln e t w o r k ；h e i g h ta n o m a l y ；g e n e t i ca l g o r i t h m d ir e c t e db y ：p r o f w a n gy a oq i a n g 。p r o f h u ax i a n gh o n g a p pi ic a n tf o rm a s t e rd e g r e e ：m at e n g ( a g r i c u l t u r a ls o i la n dw a t e re n g i n e e r i n g ) ( c o l l e g eo fw a t e rc o n s e r v a n c ya n dc i v i le n g i n e e r i n g ，i n n e rm o n g o l i aa g r i c u l t u r a lu n i v e r s i t y , 3 0 6z h a ow ud ar o a d ， h u h h o t0 10 0 18 c h i n a ) 走蒙吉农业大学 研究垒学位论文独创声暖 ，本人申明所呈交蘸学位论文是我本人在导师指导下进彳亍蛇研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢蚵 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含薏获得我校或其他教育机构的学位或证书而使慝适的材辩，与我一 霹工作的唪志砖本研究所做的任何贡献均巴在论文中作了暖镌的说 鹾雾表示诞意。 申请学位论文与1 w - 资料若有不实之处，本人承捏一切相关责任。 彳，套 论文乍者签名：，鱼略匿期：2 翌爱：么彬 痰蒙古农监大学研究生学位论文版权使用授权书 蠢人完全了矮蠹蒙古农业大学有关保护每识产权的规定，露：研。 究堡壶攻读学位裳葳论文工作的知识产权单位属内蒙古农韭大学。本 。保证毕堑高校后发表论文或使用论文工作成果时署名单位君内蒙 吉农监大学，且导癍荛通讯作者，通讯作者单位亦署名为内蒙古农业 大学。学校有权保留并惫雷家有关部门或机构送交论文的复印停乖宅 子文栏，允许论文被查阅和借阕学校可以公布学位论文的全部或部 分内容( 保密走容除外) ，采鹿影印。缩印或其他手段保存论文 论文作者签名： 指导教瘴签名： 日 囊： 内蒙古农业人学硕十学位论文 1 1 引言 1 1 概述 1 1 1 选题的背景 g p s 由于其全天候，高精度等优点已在测量的各个领域得到广泛使用。用g p s 技术测定正高或正常高，目前已越来越受到各生产单位的关注。g p s 系统由3 个大的 部分组成：1 空间部分。该部分为g p s 卫星及由卫星组成的g p s 星座。其主要作用 是连续向用户播发用于进行导航定位的测距信号和导航电文，并接受来自地面监控 系统的各种信息和命令以维持正常运转。2 地面监控系统。其主要功能是：跟踪g p s 卫星，确定卫星的运行轨道及卫星钟改正数，进行预报后再按规定格式编制成导航 电文，并通过注入站送往卫星。3 用户。用户使用g p s 接受机来测定从接收机至g p s 卫星的距离，并根据卫星星历所给出的观测瞬间卫星在空间的位置等信息求出自己 的三维位置，三维运动速度和钟差等参数。 随着g p s 技术的不断发展，g p s 已广泛的应用与各个领域。1 在交通运输业中 的应用。g p s 的空间定位能力使其在交通运输业中得到了广泛的应用，如在航空、 车辆导航和管理、水上运输等领域的应用。2 在测量领域中的应用。g p s 自问世以 来就给测量领域带来了革新性的变化，如在测量领域中各级国家平面控制网的建立 和城市控制网、工程测量控制网的建立以及航空摄影测量、地籍测量、海洋测量等 各领域，均由于g p s 的诞生而引发了一场重大得技术革命。3 在资源调查、环境监 测中的应用。在石油勘探、地质调查、水土流失、确定沙漠化的区域、沙尘暴检测 等工作中，采用g p s 进行监测及调查解决了使用常规方法难以寻找高级控制点或监 测站间不通视等问题。除此之外，g p s 还在军事、精密农业和林业、气象、移动通 信、考古、地震监测等各个领域得到了广泛应用。可见，g p s 正在逐步成为人类的 生产、科研、生活密不可分的一种系统。 g p s 平面定位的精度目前已经可以达到毫米级，但相对于平面定位精度，g p s 在高程方面的定位精度较低。由于g p s 所确定出的高程是相对于一个特定的参考椭 球，即大地高，而不是在实际中广泛采用的与地球重力位密切相关的正高或j 下常高。 如果能够设法获得相应点位上的大地水准面差距或高程异常，就可以进行相应高程 系统的转换，将大地高转换为正高或正常高。 1 1 2 高程及高程系统 ( 1 ) 高程基准面 高程基准面就是地面点高程的统一起算面，通常采用大地水准面作为高程基准 面。大地水准面是假想海洋处于完全静止的平衡状态时的海水面，并延伸到大陆地 面以下所形成的闭合曲面。事实上，海洋受着潮汐，风力的影响，不会处于完全静 止的平衡状念，总是存在着不断的升降运动，但是可以在海洋近岸的一点处竖立水 2 b p 神经f b 4 络在g p s 离程拟合中的应用 位标尺，长年累月地观测海水面的升降，根据长期观测的结果可以求得该点处海洋 水面的平均位置，假定大地水准面就是这点实测的平均海水面。 我国曾在不同时期以不同方式建立坎门，吴淞口、青岛和大连等地验潮站，得 到不同的高程基准面。新中国成立后根据基本验潮站应具备的条件，1 9 5 7 年确定青 岛验潮站为我国基本验潮站，验潮井建在地质结构稳定的花岗石基岩上，以该站 1 9 5 0 年至1 9 5 6 年间的潮汐资料推求的平均海水面作为我国的高程基准面。以此高 程基准面作为我国统一起算面的高程系统，为“1 9 5 6 年黄海高程系统”。 “1 9 5 6 年黄海高程系统”的确立，对统一全国高程有其重要的历史意义，对国防 和经济建设、科学研究等方面都起了重要的作用。但从潮汐变化周期来看，确立 “1 9 5 6 年黄海高程系统”的平均海水面所采用的验潮资料时间短，还不到潮汐变化的 一个周期( 一个周期一般为1 8 6 1 年) ，同时又发现验潮资料中含有粗差。因此，又 根据青岛验潮站1 9 5 2 年至1 9 7 9 年中取1 9 年的验潮资料，计算确定新的国家高程基 准面，将这个高程基准面作为全国高程的统一起算面，称为“1 9 8 5 国家高程基准”。 ( 2 ) 水准原点 为了长期、牢固地表示出高程基准面的位置，并将其作为传递高程的起算点， 必须建立稳固的水准原点，用精密水准测量方法将它与验潮站的水准标尺进行联测， 以高程基准面为零推求水准原点的高程，以此作为全国各地推算高程的依据。在 “1 9 8 5 国家高程基准”系统中，我国水准原点的高程为7 2 2 6 0 m 。 我国的水准原点网建于青岛附近，其网点设置在地壳比较稳定，质地坚硬的花 岗石基岩上。水准原点网由主点原点，参考点和附点共6 个点组成。 “1 9 8 5 国家高程基准”经国家批准，并从1 9 8 8 年1 月1 日开始启用，凡涉及高 程基准时，一律由原来的“1 9 5 6 年黄海高程系统”改用“1 9 8 5 国家高程基准”。由于新 布测的国家一等水准网点是以“1 9 8 5 国家高程基准”起算的，因此，凡进行各等级水 准测量，三角高程测量以及各种工程测量，应尽可能与新布测的国家一等水准网点 联测，即用国家等水准测量成果作为传算高程的起算值，如不便于联测，可在“1 9 5 6 年黄海高程系统”的高程值上改正一个固定数值，得到以“1 9 8 5 国家高程基准”为准 的高程值。由于以1 9 5 6 年黄海平均海水面起算的我国水准原点的高程为7 2 2 8 9 m 。 因此“1 9 8 5 国家高程基准”与“1 9 5 6 年黄海高程系统”之间的转换关系为： h s 5 = 1 - 1 5 6 0 0 2 9( 1 ) 式中，凰j 表示新高程基准水准原点的正常高。胁6 表示旧高程基准水准原点的正常 高。 ( 3 ) 高程系统 高程系统指与确定高程有关的参考面及以之为基础的高程定义。目前，常用的 高程系统有大地高系统、正常高系统及正高系统。其中在工程中应用较为普遍的是 内蒙古农业大学硕士学位论文 3 大地高系统 大地高系统是以参考椭球面为基准面的高程系统，地面某点的大地高日定义为 由地面点沿通过该点的椭球法线到椭球面的距离，如图1 所示，p 点的大地高为。 g p s 测量所获得的是基于w g s 8 4 椭球大地坐标系的坐标，所以此处所说的日实际 上是相对于w g s 8 4 椭球的大地高。由大地高的定义可知，它是一个几何量，不具 有物理意义。大地高是大地坐标的一个分量，与基于参考椭球的大地坐标系有着密 切的关系。而不同定义的椭球大地坐标系，也构成不同的大地高程系统，而同一点 在不同的大地基准下有着不同的大地高。 p 图1正常高、高程异常及大地高示意图 f i g1 t h es k e t c ho fg e o i dh e i 曲t ，n o r m a lh e i g h ta n do r t h o m e t r i ch e i g h t 正高系统 地面某点p 的正高曝定义为由地面点p 沿垂线方向至大地水准面的距离。它具 有明确的物理意义。 大地水准面与地球内部质量分布有密切的关系。但由于该质量分布相当复杂， 因而大地水准面具有明确的物理定义却非常复杂，其形状从整体上看大致为一个椭 球，但局部会有起伏。大地水准面差距为沿参考椭球的法线，从参考椭球面至水准 面的距离如图1 所示，为。 正高系统是以地球不规则的大地水准面为基准面的高程系统。正高的计算公式 为： 也= 厂2 g d h( 2 ) 式中，f 以g d h 是地面点至大地水准面之间的位能差；g 。为由地面点沿垂线方向 至大地水准面的平均重力值。由于g ，无法直接测定，所以严格的讲，正高是不能 精确确定的。 正常高系统 4b p 神经网络在g p s 高程拟合中的应用 正常高系统 在一般情况下，由于难以测定沿垂线从地面点至大地水准面之间的平均重力值 踟，所以很难通过( 2 ) 式计算地面点的正高。为了解决这一问题，莫洛金斯基提出了 正常高的概念，即用平均正常重力值代替踟。其定义为： 办：上r 砌 ( 3 ) ，卅。 式中， f 6 9 d h 是地面点至似大地水准面之间的位能差； 为由地面点沿垂线至似 大地水准面之间的平均正常重力值，可表示为 一o 3 嘶( 兰) 式中，为椭球面上的正常重力，其计算公式为 ，= r e ( 1 + 届s i n 2f a - 2s i n 22 缈) 式中，名为椭球赤道上的正常重力值；屈，殷为重力扁率；缈为地面点的天文纬度； 我国目前采用的名、届、殷值为：r e = 9 7 8 0 3 0 ：屈= o 0 0 5 3 0 2 ；反= o 0 0 0 0 0 7 。 正常高系统是以似大地水准面为基准面的高程系统。地面点的正常高是地面点 沿正常重力线到似大地水准面的距离，是可以精密确定的，但不具有物理意义，因 而在各项工程技术方面有着非常广泛的应用。 任意一点的大地水准面与似大地水准面之间的差值，由公式( 2 ) 与( 3 ) 可得 d 一 h h 。= 垒也办( 6 ) gm 式中，( g 胛一厂卅) 为重力异常，高山和海底的重力异常较大，其差值可达数米，在平 原地区仅为数厘米，而在海平面上为0 。似大地水准面与椭球面之间的差距称为高 程异常，其值为 乒h h( 7 ) 1 2 g p s 高程转换国内外研究现状 g p s 高程转换是g p s 应用领域的一个难点问题，国内外许多学者提出了很多的 拟合方法及拟合模型，目前几种常用的g p s 高程转换方法是： ( 1 ) 用地球重力场模型直接求高程异常【l 】 高程异常是地球重力场的参数，利用地球重力场模型，根据点的位置信息可以 直接求得该点的高程异常值。地面点的高程异常是根据重力场长波分量、已知点大 地水准面差距、斯托克斯方程数字积分的长波分量的球谐函数表达式和地面重力测 内蒙古农业人学硕，：学位论文! 确地确定该区域的高程异常值。高程异常的精度取决于已知的局部重力场的精度、 区域地面重力测量的结果和精度以及在已知重力点之间求重力时所采用的高程数据 的精度。对于实施水准测量比较困难的丘陵和山区，利用重力测量方法是较为可靠 的方法。但是，该方法需要有足够的且精度较高的重力测量资料，而且计算出的高 程异常值精度不高。由于一般生产单位无法获得重力资料并且受该方法精度较低的 影响，利用重力场模型求高程异常并没有得到广泛的应用。 ( 2 ) 几何内插法 几何内插法是通过一些既进行了g p s 观测又具有水准资料的点上的大地水准 面差距采用平面或曲面拟合、配置、三次样条等内插方法，得到其他点上的大地水 准面差距。几何内插法适用较多的是多项式内插法，包括： 零次多项式( 常数拟合) ： n = a o ( 8 ) 一次多项式( 平面拟合) ： n = a o + 口l d b + 口2 比 ( 9 ) 二次多项式( 二次曲面拟合) ： n = a o + a i d b + a 2 d l + a 3 d b 2 + a 4 矗驴+ a s d b d l ( 1 0 ) 式中d b = b b o ；d l = l l 。；b 。= 吉b ；l o = i 1 工；刀为进行g p s 观测的点 的数量。采用零次多项式进行拟合，需要确定1 个拟合系数，至少需要1 个公共点； 采用一次多项式进行拟合，要确定3 个拟合系数，至少需要3 个公共点；采用二次 多项式进行拟合，要确定6 个拟合系数，至少需要6 个公共点。目前较多的g p s 处 理软件使用二次多项式进行g p s 高程转换。 ( 3 ) 数学模型的抗差估计法【2 】 若观测数据服从正态分布，且无显著异常干扰，采用最小二乘拟合法即可获得 较为可靠的拟合函数。但当数据点受到污染时，基于最d - - - 乘原则进行的各种拟合 都将在残差二次型等于极小的原则下，过分迁就这些异常数据，导致函数失真。在 数学模型拟合法的基础上，根据平差后的验后信息，逐步调整观测值的权，使含有 粗差的观测值的权越来越小甚至等于o ，从而减小粗差对平差结果的影响。在某种 意义上说，当观测值的权很小或者等于o 时，也就相当于从观测序列中剔除了该观 测值。 ( 4 ) 残差模型法 残差模型法可以较好地克服几何内插法的一些缺陷，其基本思想也是内插，不 过与几何内插所针对的内插对象不同，残差法内插的对象并不是大地水准面差距或 高程异常，而是它们的模型残差值，其处理步骤如下： 6 b p 神经网络在g p s 高程拟合中的应用 高程异常，而是它们的模型残差值，其处理步骤如下： 根据大地水准面模型计算地面点p 的大地水准面差距m ； 对p 点进行常规水准联测，利用这些点上的g p s 观测成果和水准资料求出 这些点的大地水准面差距u p ； 求出采用以上两种不同方法所得到的大地水准面差距的差值，即大地水准面 模型残差； 计算出g p s 网中所有进行了常规水准联测点上的大地水准面模型残差值； 根据所得到的大地水准面模型残差值，采用内插方法确定出g p s 网中未进 行过常规水准联测点上的大地水准面模型残差值，并利用这些值对这些点上由大地 水准面模型所计算出的大地水准面差距进行改正，获得改正后的大地水准面差距。 另外，目前有的文献中有先采用多项式拟合法进行拟合，求出测区所有g p s 点 的高程异常值，用已联测水准的g p s 点的高程异常值减去拟合高程异常值计算残 差，再利用神经网络推求未联测水准的g p s 点的残差，最终将多项式拟合值与神经 网络拟合残差值相加得到最终高程异常值。这一方法实际上同样是残差模型法，是 利用神经网络计算多项式模型的拟合残差。 ( 5 ) 绘等值线图法 这是最早的g p s 高程转换方法。其原理是：设在某- n 区，有m 个g p s 点，用 几何水准联测其中行个点的正常高( 联测水准的点称为公共点) ，根据g p s 观测获得 的大地高，求出n 个公共点的高程异常。然后，选定适合的比例尺，按胛个公共点 的平面坐标( 平面坐标经g p s 网平差后获得) ，展绘在图纸上，并标注上相应的高程 异常，再用1 - 5 c m 的等高距，绘出测区的高程异常图。在图上内插出未联测几何水 准的( m 一，z ) 个点的高程异常，从而求出这些待求点的正常高。 ( 6 ) 人工智能法【j j 人工智能是近年来各个学科研究的热点，人工智能可细分为：人工神经网络， 遗传算法，专家系统等方法，近年来b p 神经网络及各种学习机正逐步被广泛的应 用于各个领域。利用人工智能的方法进行g p s 高程转换由于没作假设而使转换具有 较高的精度。 1 3 本文主要研究内容 b p 神经网络应用于g p s 高程拟合，在国内外的文献中已有较多的报道，但仍 有几方面的问题没有很好的解决： ( 1 ) 用b p 网络进行g p s 高程拟合输入向量的确定。多数文献中的输入向量一 般采用2 个( z l ，) 或3 个输入量( x l h ) 的网络，有部分采用6 输入量的网络 ( x , y , x y , x 2 ，护，日) ，但输入量的越多并不意味着精度越高，一般是采用试算的方法 来确定输入层节点数，这不仅增加了工作强度，并有可能影响拟合精度。垆j 内蒙古农业火学硕，t 学位论文 7 量尚无确定的规则可循，一般采用试算的方法，这不仅降低了工作效率，并且由于 隐含层节点过多会导致过拟合的现象，其表现为训练集模拟效果很好但工作集误差 很大而降低了总体拟合精度。 ( 3 ) 网络易陷入局部极小点。在误差曲面中存在多处局部极小点，网络在训练 中极易陷入局部极小点而导致无法收敛到全局最小，从而影响最终模拟结果。 ( 4 ) 数据归一化对拟合效果影响。b p 网络数据的预处理般采用归一化处理， 但在一些函数逼近中经预处理的数据拟合效果并不如没经任何预处理的数据拟合效 果，一般数据的预处理应该根据激励函数的类型进行确定，同时激励函数的类型也对 模拟效果产生一定的影响。 8 q 2 1 由于用b p 网络进行高程拟合存在以上一些问题，在本文中提出了利用遗传算 法进行b p 网络的优化，试图解决以上一些问题。主要研究内容包括以下几个方面： ( 1 ) 将全局搜索能力较强的遗传算法与b p 网络结合，同时优化网络的拓扑结 构( 包括：输入向量的确定、隐含层节点数的确定) 及网络权值、阈值。 ( 2 ) b p 网络高程拟合不同输入量的分析比较。 ( 3 ) 数据预处理及神经元激励函数对拟合效果的影响。 ( 4 ) 通过试验数据的拟合，对遗传算法优化的神经网络拟合精度进行验证，并 将其与b p 算法相比较。 8 b p 神经网络枉g p s 高程拟合中的应用 2b p 神经网络及遗传算法 2 1 神经元的基本结构与特征 2 1 1 人工神经元的基本概念 人的大脑是自然界所造就的最高级产物。人的思维是由人脑来完成的，思维是 人类智能的集中体现。人的思维主要概括为逻辑思维和形象思维两种。以规则为基 础的知识系统可被认为是致力于模拟人的逻辑思维，而人工神经元网络则被认为是 探索人的形象思维，前者由左脑主管，后者则由右脑主管。人脑是由大约1 0 1 1 数量 的神经元和1 0 m 1 0 1 5 个突触组成的系统。 人工神经元网络是生理学上的真实人脑神经网络的结构和功能，以及若干基本 特性的某种理论抽象、简化和模拟而构成的一种信息处理系统。从系统观点看，人 工神经元网络是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动 态系统。据现在的了解，大脑的学习过程就是神经元之间连接强度随外部激励信息 做自适应变化的过程，大脑处理信息的结果由神经元的状态表现出来。显然，神经 元是信息处理系统的最小单元。神经元的基本结构如图2 所示。 图2 神经网络结构示意图 f i 豇t h e s t r u c t u r eo f a r t i f i c i a ln e u r a ln e t w o r k s 神经元( 即神经细胞) 是由细胞体、树突、轴突和突触四部分组成。每个细胞体 都有一个细胞核在进行着呼吸和新陈代谢等许多生化过程。神经元的树突较短，分 支很多，是信息的输入端。轴突较长，是信息的输出端。突触是一个神经元与另一 个神经元相联系的特殊结构部位。树突和轴突一一对接，从而靠突触把众多的神经 元连成一个神经元网络。各神经元之间的连接强度和极性可以有所不同，并且都可 进行调整，因此，人脑才可以有存储信息的功能。 2 1 2 简化的神经元数学模型 人工神经元的结构模型如图3 所示。图中，x l , x 2 , ，为输入信号，t 为神经元 内蒙古农业大学顾l j 学位论文9 内部状态，研为阈值，w ，为, u i 到竹连接的权值，删为激励函数，y ，为输出，则上 述模型可以描述为： 芘 彪 l 4 = w ，x ， j 以= g ( 4 ) y ，= 乃( ，) = 厂( 谚) = 厂( 一p ) f = h g 图3 神经元结构的数学模型 f i 9 3 m a t h e m a t i c a lm o d e lo f n e u r o n a ls t r u c t u r e ( 1 1 ) ( 1 2 ) ( 1 3 ) ( 1 4 ) 每一个神经元的输入接受前一级神经元的输出，因此，对神经元f 的总作用西 为所有输入的加权之和减去闽值，此作用引起神经元f 的状态变化，而神经元f 的 输出弘为其当前状态卤的函数。 上面都是针对稳定状态来说的，如果考虑到反应时间，那么必须用微分方程来 表示神经元的状态变化。 2 1 3 人工神经元网络的基本特征 由大量神经元相互连接组成的人工神经元网络会显示出人脑的某些基本特征： ( 1 ) 分布存储和容错性。一个信息不是存储在一个地方，而是按内容分布在整 个网络上，网络某一处也不是只存储一个外部信息，每个神经元存储多种信息的部 分内容。这种存储方式的优点在于若部分信息不完全( 如丢失或损坏) ，网络仍能恢 复出原来j 下确的完整信息，系统仍能运行。这就是网络具有容错性和联想记忆功能。 人的大脑的容错性是它的一种重要的智慧形式。 ( 2 ) 大规模并行处理。人工神经元网络在结构上是并行的，而且网络的各个单 1 0 b p 神经网络在g p s 高程拟合中的戍用 元可以同时进行类似的处理过程。因此，网络中的信息处理是在大量单元中平行而 又有层次地进行，运算速度高，大大超过传统的序列式运算的数字机。 ( 3 ) 自学习、自组织和自适应性。学习和适应要求在时间过程中系统内部结构 和联系方式有改变，神经元网络是一种变结构系统，恰好能完成对环境的适应和对 外界事物的学习能力。神经元之间的连接多种多样，各神经元之间连接强度具有一 定的可塑性，相当于突触传递信息能力的变化，这样，网络可以通过学习和训练进 行自组织以适应不同信息处理的要求。 ( 4 ) 神经元网络是大量神经元的集体行为，并不是各单元行为的简单的相加， 而表现出一般复杂非线性动态系统的特性。如不可预测性、不可逆性、有各种类型 的吸引因子和出现混沌现象等。 ( 5 ) 神经元可以处理一些环境信息十分复杂、知识背景不清楚和推理规则不明 确的问题。例如语音识别和手写体识别，医学诊断以及市场估计等，都是具有复杂 非线性和不确定性对象的控制。 2 。2b p 神经网络原理 2 2 1 b p 网络拓扑结构 b p 网络属于前馈型神经网络，它解决了感知器网络只可进行二值输出的问题在 输出层神经元采用线性激励函数，可保证输出在实数范围。采用了多层网络结构， 同层节点中没有任何耦合，因此可解决线性不可分的问题。 一般情况下b p 网络为3 层结构，在输入层和输出层之间加入了隐含层。隐含层 神经单元采用可微的激励函数，通常为对数s 形函数、正切s 形函数和线性函数。 图4 所示为一3 层b p 网络，其中彳，代表神经元间连接权值，屡表示神经元阈值。 b p 网络可看作是一个从输入到输出的高度非线性映射，即f ：r ”_ 尺州脚= 】，。对 于样本集合：输入x f ( r 九) 和输出y f ( r 研) ，可以认为存在某一映射g 使：g 伍= y f 。 现要求求出一映射 使得在某种意义下( 通常是最小二乘意义下) ，厂是g 的最佳 逼近。神经网络通过对简单的非线性函数进行数次复合，可近似复杂的函数。一个 3 层的b p 网络可实现任意函数任意精度的逼近，但是在一些情况下仍有必要使用更 多的层的b p 网络，其原因是只用3 层网络实现函数的逼近，有时需大量的隐含层 节点数，而使用多层网络可使用较少的隐含层节点数并获得同样的效果。 2 2 2b p 学习公式推导 多层b p 网络不仅具有输入层、输出层，并且还具有一层或多层的隐含层节点。 对于输入信息，要先向前传播到隐含层节点上，经过各单元的激励函数运算后，把 隐含节点的输出信息传播到输出节点，最后给出输出结果。网络的学习过程由正向 和反向传播两部分组成。在正向传播过程中，每一层神经元的状态只影响到下一层 内蒙古农业大学硕t 学位论文 1 1 神经元网络。如果输出层不能得到期望输出，就是实际输出值与期望输出值之间有 误差，之后转入反向传播过程，将误差信号沿原来的连接通路返回。通过修改各层 神经元的权值，逐次地向输入层传播进行计算，再经过正向传播过程，这两个过程 的反复运用，使得误差信号最小。实际上，误差达到人们所希望的要求时，网络的 学习过程就结束了。如图4 所示b p 算法是在导师指导下，适合于多层神经元网络 的一种学习，它是建立在梯度下降法的基础上的。 图4b p 网络反向学习示意图 f i g4 b a c kp r o p a g a t i o nl e a r n i n ga l g o r i t h mo fb pn e t w o r k 设网络共含有三层和玎个节点，每层单元只接受前一层的输出信息并输出给下 层节点单元。若网络只有一个输出】，。设给定个样本( x k , y k ) ( k = l ，2 ，朋，任一 个节点f 的输出为q ，对某一个输入为x k ，网络的输出为肌，节点f 的输出0 如现在研 究第，层的第，个单元，当输入第k 个样本时，节点的输出为： n e t j , = 嘭 ( 1 5 ) i i 1 表示，一j 层，输入第七个样本时，第歹个单元节点的输出： 使用误差函数为平方型： 甄是单元的实际输出。总误差为： 定义： 哌= f ( n e t 么) = 三军( 一习2 e ：上争e 2 n 怠 ( 1 6 ) ( 1 7 ) ( 1 8 ) 1 2b p 神经m 络红g p s 高程拟合中的应用 = 鲁 ( 1 9 ) 则： 两o e , = 嚣可o n e t ：c 3 n e t= 嚣a n e t 畋1 ( 2 0 ) 挑t u：i 孤1 1 | t j 弘 、i 若节点为输出单元，则d 止l = 瓦 ，跌= 嚣= 等等_ - ( z ) s 协吒1 t ) ( 2 1 ) d 业。两2 瓦可一抄一 创以 uu 若节点不为输出单元，则 啄i = 可o e k 毒堕o n e t 盖每似1 ) ( 2 2 ) 式中啡是送到下一层( ，+ j ) 的输入，计算等要从( ，+ ) 层算回来。在( ，+ j ) 层第m 个单元 象= ；o e k oe_l，_=莓彘w州ii-1=妒+tionet么 w 孑 ( 2 3 ) 一= 一= 7 一w = ，w z ) 8 0 l 鼍8 n e f = u ”h 4 、1 由以上两式可以得到： 双= z 。o 胛l + 七! w 形1 + f ( 删盖) ( 2 4 ) 2 2 一b p 网络神经元激励函数 b p 网络神经元要求激励函数厂必须可微，在b p 神经网络中经常使用对数s 形 函数、正切s 型函数和线性函数作为神经元的激励函数。它们的形状如图5 所示。 对数s 形函数产生o 到1 之间的输出，而正切s 形函数产生1 到1 之间的输出。 所以在多层的b p 神经网络中，采用不同的激励函数将得到不同范围的输出，如果 采用线性函数就可以得到任意大小的输出值。由图1 可以看出正切s 形函数在自变 量大于l 或小于1 时，随着自变量的增大或减小，函数值变化很小，因此在使用激 励函数为正切s 形函数的神经元输入应尽量在( 1 ，1 ) 范围内，否则会使网络出现 饱和现象，影响拟合质量。 内蒙古农业火学硕士学位论文 ( a ) 正切s 形激励函数 ( a ) h y p e r b o l i ct a n g e n tf u n c t i o n ( b ) 对数s 形激励函数 ( b ) t a n g e n ts i g m o i df u n c t i o n ( c ) 线性激励函数 ( c ) l i n e a rf u n c t i o n 图5 即网络神经元转移函数 f i g5b pn e t w o r kn e u r o na c t i v a t i o nf u n c t i o n 2 2 4b p 网络的局限性及解决措施 b p 网络虽然目前应用较为广泛，但其自身的一些局限性没有很好的解决，其 局限性包括以下几个方面： ( 1 ) 网络隐含层节点数不易确定 在b p 网络中，隐含层节点数对网络的性能影响很大。在一些文献中又把隐含层 称为特征抽取层，可见隐含层是网络进行函数逼近、分类的关键。隐含层节点过少， 可能造成网络无法训练，特征描述不全面，从而造成数据拟合的精度较低。隐含层 节点过多，会造成过拟合现象，即样本集拟合精度较高但工作集拟合效果很差。目 前还没有一种科学的、普遍的选择隐含层节点数的标准。通常隐含层节点数以不超 1 4b p 神经网络在g p s 高程拟合中的应用 过2 0 个为宜，但在运算条件较好、样本数较多的情况下可以增加隐含层节点数。在 使用b p 网络时应尽量使用小的网络结构( 在学习收敛的条件下) ，小的网络结构除了 泛化性能好以外训练速度也快。 ( 2 ) 目标函数容易陷入局部极小点 b p 网络在收敛过程中有时会陷入局部极小值，产生这种现象的原因是由于误差 曲面存在多个局部极小点，基于梯度下降的b p 算法在陷入局部极小后无法跳出。 图6 误差曲面局部极小点示意图 f i g6l o c a lm i n i m u mp o i n t so fe r r o rs u r f a c e 若误差曲面如图6 所示，则存在3 个局部极小点，我们要尽量避免网络训练误 差陷入a 、c 、d3 个点，使训练最终收敛于b 点。要避免网络陷入局部极小点， 一般采用模拟退火算法及遗传算法。 ( 3 ) 收敛速度缓慢 b p 网络的收敛速度与网络参数及拓扑结构有关，如较小的学习速率、较多隐含 ，层节点数等原因均可造成训练速度缓慢，如果误差曲面存在大面积平坦区域也能造 成训练速度的缓慢。 将b p 网络应用于g p s 高程拟合，除存在以上所诉b p 网络的局限性外，还存在 输入向量维数不易确定，数据预处理等方面的问题。目前，训练速度的缓慢已经有 较好的解决办法，一些新的改进算法如：有弹回的b p 算法、自适应修改学习率算 法、共轭梯度算法、l e v e n b e r g m a r q u a r d t 算法加快了训练的收敛速度，但前两个问 题尚无很好的解决办法。b p 网络的局部搜索能力较强，而权值及阈值、网络拓扑结 构的优化组合是一个全局性的优化问题。若用局部搜索能力较强的b p 网络进行局 部搜索，而使用其它全局搜索能力较强的算法与其相结合，可以综合二者优点使达 到较好的拟合效果。遗传算法j 下是这样一种全局搜索能力较强的算法，并且其原理 较为简单并容易实现，将其与b p 网络结合不仅可以避免陷入局部极小点，并且可 以找到较好的网络结构，提高拟合精度。 ( 4 ) 初始权值的选取 正确选择网络的初始权值是非常重要的，它关系到网络是否可学习的问题。一 内蒙古农业大学硕，：学位论文 1 5 般情况下，初始权值的选择范围应在一较小区间选择。初始网络的全部权值必须随 机选择，而不能使用同一数值初始，因为这会造成网络的权值变化为零从而导致网 络瘫痪。另外，要避免初始权值范围不可太小，太小的初始权值会导致在学习的开 始阶段学习非常缓慢。 不正确的初始权值还可能导致网络饱和，其主要表现为，经过长时间的训练网 络权值改变很小。这种情况有可能使使用者误认为误差已经达到了全局最小值。这 种情况是由于选取了较大的网络初始范围而输出值又非常接近于0 。网络的权值变 化与输出的均方误差成正比，当进行了数据的归一化后，网络输出的均方误差也较 小，从而使权值改正值也很小，若同时使用了较大的权值就会使网络的输出改变也 很小，这就造成了长时间的训练而权值改变很小的情况发生。因此，在网络初始化 时，一定要确保权值的正确赋值。 2 3 遗传算法原理 2 3 1 遗传算法的基本概念 遗传算法是一类借鉴生物界自然选择和自然遗传机制的随机搜索算法，由美国 j h o l l a n d 教授提出。其主要特点是群体搜索策略和群体中个体之间的信息交换。遗 传算法与神经网络相同都是计算机仿生学的理论成果。该方法通过对所求量或其相 关量进行编码构成染色体( 染色体中个体称为基因) ，并用不同数量染色体组成一定 群体。模仿自然界物竞天择、适者生存的原则进行一系列选择、交叉、变异的操作， 不断产生比父代更优秀的个体、淘汰劣质个体，从而使种群得到不断的进化，最终 接近全局最优解。遗传算法简单通用，鲁棒性较强，在全局搜索中有其特有的优势。 遗传算法是从代表问题的可能潜在的解集的一个种群开始的。种群中的个体( 染 色体) 由基因组成，每一条染色体代表问题的一个解。自然选择学说认为，一个物 种要生存下去，必须要保证种群中的优质个体能够不断延续，不断进化。在自然界 适者生存的法则中，总是能力强的个体才能生存下去，而能力较弱的个体遭到淘汰， 生存下来的个体通过交配、变异来获得新的、更优秀的个体。在遗传算法中，为模 仿自然界这种个体之间的竞争生存法则，提出了利用适应值来评价个体的性能，适 应值高的个体生存的几率就大而适应值较小的个体就有可能被淘汰，在遗传算法中 这一过程称为选择。之后在同一种群中将染色体两两配对进行交叉运算，产生出新 的个体。在选择和交叉过程中，随着遗传代数的增加，群体中的个体间的差异将越 来越小，甚至有可能造成种群中个体模式的单一化。在这种情况下，种群中再也无 法获得新的个体，种群的进化就停止了。为防止种群过早的成熟，可采用变异的方 法，使个体中的某一位基因产生变异，从而能创造出新的个体。遗传算法通过以上 的选择、交叉、变异3 个循环过程，不断地进化种群，创造更优良的个体，达到全 局搜索的目的。 1 6b p 神经网络征g p s 高程拟合中的戍用 2 3 2 遗传算法的编码 编码是应用遗传算法需解决的首要问题，也是设计遗传算法时的一个关键步骤。 编码方法除了决定了个体的染色体排列形式之外，它还决定了个体从搜索空间的基 因型变换到解空间的表现型的解码方法，编码方法也影响到交叉算子、变异算子等 遗传算子的运算方法。一个好的编码方法，可使交叉运算、变异运算等遗传操作可 以简单地实现和执行。而一个差的编码方法，却有可能使交叉运算、变异运算等遗 传操作难以实现，也有可能会产生很多在可行解集合内无对应可行解的个体，这些 个体在解码处理后所表示的解成为无效解。遗传算法的编码方法主要有两种： ( 1 ) 二进制编码方法 二进制编码方法编码的染色体由二进制符号o 和1 构成，染色体中的每一基因 均由o 和1 构成，在解码时采用二进制方式进行。二进制编码有以下的一些优点： 编码、解码方法简单。 交叉、变异等操作易于实现。 符合最小字符集编码原则。 其缺点有以下几个： 编码冗长，特别是当决策变量较多而且精度要求较高时更为明显。 不能有效扩展搜索空间，只能在初始区间内取值。 ( 2 ) 实数编码方法( 浮点编码) 对于一些高维的、多变量的、精度要求较高的函数优