地球物理勘探领域高性能计算发展分析

1、 地球物理勘探领域高性能计算发展分析目 录 TOC o 1-3 h z u HYPERLINK l _Toc530405629 1.1 地球物理勘探领域高性能计算发展现状 PAGEREF _Toc530405629 h 3 HYPERLINK l _Toc530405630 1.1.1 地球物理勘探方法 PAGEREF _Toc530405630 h 3 HYPERLINK l _Toc530405631 1.1.2 地球物理勘探流程 PAGEREF _Toc530405631 h 3 HYPERLINK l _Toc530405632 1.1.3 物探技术发展现状 PAGEREF _Toc5

2、30405632 h 5 HYPERLINK l _Toc530405633 1.1.4 石油勘探领域的高性能计算应用 PAGEREF _Toc530405633 h 6 HYPERLINK l _Toc530405634 1.1.5 地球物理勘探常用软件介绍 PAGEREF _Toc530405634 h 7 HYPERLINK l _Toc530405635 1.1.6 地球物理勘探对高性能计算的需求分析 PAGEREF _Toc530405635 h 10 HYPERLINK l _Toc530405636 1.1.7 地球物探勘探应用的测试分析 PAGEREF _Toc53040563

3、6 h 12地球物理勘探领域高性能计算发展现状地球物理勘探方法地球物理勘查简称物探是地球物理学的一个分支。它是以物理学理论为基础，以地球为主要调查研究对象；具有快速、遥测、信息量大等特点，较易吸收现代科学技术，是深部地质调查的基本方法，也是矿产资源勘查、评价不可缺少的手段。基于物理学的原理、方法和观测技术，物探方法一般划分为：磁法、重力法、电法（含电磁法）弹性波法（含地震法和声波法）核法（放射性法）、热法（地温法）与测井等7大类，和地面，航空、海洋，地下4个工作空域。地震勘探是地球物理勘探中重要的方法之一，它具有高精确度、高分辨率，探测深度一般为数十米到数千米。目前的石油、天燃气和煤探井孔位的

4、确定均以地震勘探资料为重要依据，在水文工程地质调查、沉积成层矿产的勘查、城市活断层探测以及地壳测深等工作中，地震勘探也发挥着越来越重要的作用。地震勘探的物理基础是岩石的弹性差异。地震勘探就是通过人工方法激发地震波，研究地震波在地层中的传播情况，查明地下地层和构造的分布，为寻找矿产资源、探测城市活断层及其它勘探目的服务的一种地球物理勘探方法。地震勘探方法比较复杂，其基本原理可用回声测距来说明。当我们前面不远处有一座直立的高山时，为了解我们到高山的距离，简单的办法是大喊一声，测定我们从发声开始到耳朵听到回声的时间，根据声音在空气中传播的已知速度，就可以计算出高山离我们的距离。用地震勘探方法探测埋藏

5、在地下的目标，其原理大体也是这样，只不过是地下岩层和土壤要比空气不均匀的多，因而地震勘探也远比回声测距困难复杂的多。根据地震方法的特点，地震勘探需要在背景比较平静的环境下开展，为使该方法技术能够在城市强干扰条件下开展工作，物化探所研究开发出了抗干扰高分辨率地震勘探技术，解决了常规地震勘探方法无法解决的地质问题。地球物理勘探流程地震勘探过程主要由地震数据采集、数据处理和地震资料解释3个阶段组成。地震数据采集野外观测作业中，一般是沿地震测线等间距布置多个检波器来接收地震波信号。安排测线采用与地质构造走向相垂直的方向。依观测仪器的不同，检波器或检波器组的数量少的有24个、48个，多的有96个、120

6、个、240个甚至1000多个。每个检波器组等效于该组中心处的单个检波器。每个检波器组接收的信号通过放大器和记录器，得到一道地震波形记录，称为记录道。为适应地震勘探各种不同要求，各检波器组之间可有不同排列方式，如中间放炮排列、端点放炮排列等。记录器将放大后的电信号按一定时间间隔离散采样，以数字形式记录在磁带上。磁带上的原始数据可回放而显示为图形。常规的观测是沿直线测线进行，所得数据反映测线下方二维平面内的地震信息。这种二维的数据形式难以确定侧向反射的存在以及断层走向方向等问题，为精细详查地层情况以及利用地震资料进行储集层描述，有时在地面的一定面积内布置若干条测线，以取得足够密度的三维形式的数据体

7、，这种工作方法称为三维地震勘探。三维地震勘探的测线分布有不同的形式，但一般都是利用反射点位于震源与接收点之中点的正下方这个事实来设计震源与接收点位置，使中点分布于一定的面积之内。地震数据处理数据处理的任务是加工处理野外观测所得地震原始资料，将地震数据变成地质语言地震剖面图或构造图。经过分析解释，确定地下岩层的产状和构造关系， 找出有利的含油气地区。还可与测井资料、钻井资料综合进行解释，进行储集层描述，预测油气及划定油水分界。削弱干扰、提高信噪比和分辨率是地震数据处理的重要目的。根据所需要的反射与不需要的干扰在波形上的不同与差异进行鉴别，可以削弱干扰。震源波形已知时，信号校正处理可以校正波形的变

8、化，以利于反射的追踪与识别。对高次覆盖记录提供的重覆信息进行叠加处理以及速度滤波处理，可以削弱许多类型的相干波列 和随机干扰。预测反褶积和共深度点叠加，可消除或减弱多次反射波。统计性反褶积处理有助于消除浅层混响，并使反射波频带展宽，使地震子波压缩，有利于分辨 率的提高。地震数据处理的另一重要目的是实现正确的空间归位。各种类型的波动方程地震偏移处理是构造解释的重要工具，有助于提供复杂构造地区的正确地震图像。地震数据处理需进行大数据量运算，现代的地震数据处理中心由高性能计算机及其相应的外围设备组成。常规地震数据处理程序是复杂的软件系统。地震资料解释包括地震构造解释、地震地层解释及地震烃类解释或地震

9、地质解释。地震构造解释以水平叠加时间剖面和偏移时间剖面为主要资料，分析剖面上各种波的特征，确定反射标准层层位和对比追踪，解释时间剖面所反映的各种地质构造现象，构制反射地震标准层构造图。地震地层解释以时间剖面为主要资料，或是进行区域性地层研究，或是进行局部构造的岩性岩相变化分析。划分地震层序是地震地层解释的基础，据此进行地震 层序之沉积特征及地质时代的研究，然后进行地震相分析，将地震相转换为沉积相，绘制地震相平面图，划分出含油气的有利相带。地震烃类解释利用反射振幅、速度及频率等信息，对含油气有利地区进行烃类指标分析。通常需综合运用钻井资料与测井资料进行标定分析与模拟解释，对地震异常作定性与定量分

10、析,进一步识别烃类指示的性质,进行储集层描述，估算油气层厚度及分布范围等。物探技术发展现状随着勘探目标和勘探条件的日趋复杂化，油气勘探开发对地球物理勘探技术提出了越来越高的要求。需求推动了地球物理技术的发展，而高性能计算技术的发展对地球物理技术的发展则起到了一定的拉动作用。对于石油勘探开发技术发展而言，从整体上表现出如下几个特点：地震成像技术广泛应用，油藏描述技术水平不断提高，地球物理技术应用从勘探走向开发，水平井-丛式井技术广泛应用，智能井-智能油藏技术的发展，集成油藏管理技术进步及工作模式，交互勘探或实时勘探技术的提出等。对于地震勘探而言，技术发展表现出以下几个主要特征：从叠后到叠前，从时

11、间域到深度域，从单分量到多分量，从声波到弹性波，从构造成像到岩性反演、储层特征描述，从单一技术应用到多技术综合，从勘探到开发及勘探开发的一体化，数据量和计算量成指数增加等等。目前，由于地震采集技术与装备水平的提高，万道以上地震仪得到广泛应用，高密度单点地震技术以及以此为基础的高精度或高分辨率地震勘探技术将成为未来一段时 间内地震勘探技术发展的主流。从地震数据处理方面来看，叠前时间偏移已经成为标准化处理流程中的一个常规处理内容，波动方程叠前深度偏移将更加广泛应用，逆时偏移技术将逐渐成为主流技术。综合利用多分量地震勘探信息的弹性反演技术将成为由地震数据转换为地层、油藏信息的主要工具，但有效反演技术

12、的研究开发和巨大计算量的需求仍然是未来一段时间面临的重大挑战。石油勘探领域的高性能计算应用目前与地震波法石油勘探相关的高性能计算应用软件，按计算性质可分为地震资料处理(seismic processing)和油藏模拟(reservoir simulation)两大类，另外业内人士还将计算可视化(computation visualization)作为单独的一类工作站应用加以归类。种类应用软件供应商地震资料处理ProMax, SeisSpaceLandmarkGeodepth, FocusParadigmOmegaWestern GecoGeoclusterCGG油藏模拟VIP/ NexusLa

13、ndmarkEclips/ IntersectSchlumbergerRMSRoxar计算可视化GeoprobeLandmarkPetelSchlumbergerVoxelGeoParadigm在全球范围内，石油企业在勘探业务中使用的高性能计算应用软件如上表。目前国内自主开发的地震资料书里软件，主要是采用PSTM叠前时间偏移和PSDM叠前深度偏移的算法，如中国石油东方地球物理公司（BGP）自主开发的GeoEast、中国石化南京石油物探研究所开发的iCluster等。在油藏模拟类的应用软件方面，国内自主开发的相关产品主要有大庆研究院的PRBS并行黑油模拟。从应用的特点上来看，地震资料处理是典型的

14、浮点计算密集型应用，以求解数据密集的波动方程为主要计算模式，因此对浮点计算能力要求较高，对内存带宽的占用中等，对大量炮集的处理需要良好的多核扩展性。不同于在算法上以频谱计算为核心的地震资料处理软件，油藏模拟对计算平台的要求是需要支持稀疏矩阵方程的迭代求解，对内存带宽的要求非常高，并需要大缓存支持，因此这类软件可归为对内存带宽高度敏感的计算密集应用。地球物理勘探常用软件介绍法国CGG公司GeoclusterCGG Geocluster系统是一套高技术含量的地震资料处理系统，具有强大的交互处理功能及数据库管理功能。它内含处理模块400多个，设计广泛、全面。尤其反褶积、剩余静校正技术与其他处理系统相

15、比存在较大的优势。GeoCluster历史：1984：GeoVecteur 1，是CGG CRAY COS批量处理版本1988：GeoVecteur 2，是CGG软件的第一个UNIX版本，在CONVEX平台上运行1991：GeoVecteurPlus, 将批量和交互处理集成一起在UNIX平台上运行1994：并行处理1996：开始支持IBM,SGI,SUN和HP平台1998：新的XPS子系统用于管理辅助数据2000：GeoCluster：新的版本的GeoVecteurPlus 在LINUX系统平台上运行2001：在PC Cluster上运行GeoCluster2002：GeoCluster1.1

16、取代了GeoVecteurPlus2003：GeoCluster2.1全部软件可以在Pccluster上运行产品结构：处理核心Geocluster;交互环境；操作环境Job Manager处理核心390个批量程序模块，覆盖2D、3D陆地和海上处理，及VSP处理等。三种状态可以运行平行处理：作业分流：作业可以分流成几个部分在不同的同时CPU上运行数据分流：相同的作业流可以在几组数据上同时运行（例如炮集上）并行算法：这种应用仅对几种算法，大多数为迭前或迭后偏移。它们被设计用来在SMP服务器和/或在PC Cluster上。这个领域是当前CGG开发的主要方面。交互环境：作业流建立、地震数据分析和显示、

17、辅助数据管理和质量控制。目标工具包括速度分析，折射静校正等。GeoCluster的处理组成（基本原则）：处理是由地震作业里的一组组命令来完成的，包括库参数（mute,static,velocity,等）、地震处理命令（调用模块）作业是用Xjob里的图形编辑器组织形成，并在作业执行前自动转成GeoCluster的地震作业语言GSL（文本）作业提交后其经历两个阶段：分析阶段和执行阶段分析阶段：检查库参数和地震处理命令的语法，为随后的执行阶段建立表格和保留所需资源，该阶段没有数据读入。执行阶段：地震道经历那些组成作业的程序模块的处理。以色列Paradigm世界最大的独立地学软件开发和应用技术服务公司

18、-以色列帕拉代姆地球物理公司（Paradigm），是以地震道至勘探目标的工作流程，贯穿于勘探与生产过程的每一步，拥有世界范围内的销售、服务及技术支持网络，在30个国家设有多个分公司，主要服务于石油及天然气产量丰富的地区,为世界范围内的油气开采勘探提供世界领先的地学分析,勘探策略咨询,数据管理,勘探解决方案提供等多重服务。帕拉代姆地球物理公司拥有系列软件解决方案及用于地球物理和油藏研究服务的先进处理和成像技术、可视化技术、解释及正演模拟技术、油藏特征及油藏物理技术、井位设计及钻井工程技术及油藏工程技术，它们共享业界最先进的分布式数据管理系统EPOS,并实现了真正意义上的一体化。发展历史：软件结构

19、特点：美国LandmarkLandmark的大型地震综合解释软件，包括地震资料解释，三维自动层位追踪，合成地震记录制作，三维可视化解释、地质解释与地层对比、迭后处理，数据体相干分析，地震属性提取属性分析、地址建模、断层封堵分析做图。层面与断层模型，出量计算、测井解释，精细目标分析，井位设计等。地球物理勘探对高性能计算的需求分析在近十余年来地震勘探数据处理技术发展过程中，叠前偏移技术成为最大的亮点。在构造复杂、地震速度横向剧烈变化的区域，如盐丘、逆掩断层带、古潜山等，叠后偏移方法一般会造成成像位置不准确，甚至出现虚假构造。于是，人们纷纷把目光转向叠前偏移成像，特别是基于深度域速度模型的叠前深度偏

20、移成像。叠前深度偏移成像克服了水平叠加速度不准确引起的误差，使得地震成像精度大大提高。地震偏移成像问题始终是地球物理工作者关注的焦点。自上个世纪70年代初至今，波动方程偏移经历了发展停滞再发展的阶段。到了20世纪90年代，随着计算技术的飞跃发展，以及克希霍夫叠前深度偏移技术在墨西哥湾的成功应用，再次把偏移技术推向了发展高峰。进入21世纪，波动方程叠前深度偏移技术得到了较快的发展，并借助于高性能集群计算技术的发展在实际生产中得到了广泛的应用。随着大规模集群计算机系统的应用，叠前时间偏移技术的应用已经成为常规化；叠前深度偏移由基于射线的克希霍夫积分算法向波动方程算法发展；深度域叠前属性分析技术和各

21、向异性介质叠前偏移技术将成为下一个发展方向。另外，随着GPU/CPU协同并行计算技术的发展，在基于单程波波动方程算法的地震成像技术得到广泛应用的同时，基于双程波波动方程算法（逆时偏移）的地震成像技术成为了当前的研究热点，有望在成像效果上得到进一步提高，但由此带来的计算量提高了一个数量级至数十倍。图：地震成像算法相对计算性能需求图：单程波动方程偏移(左)与逆时偏移(右)效果比较（1）石油勘探地震数据采集的具体技术参数依赖于工区的地表条件、地下地质情况的复杂性、勘探目标、采集技术水平和经费预算等条件。典型地震勘探项目的数据量在2003年左右一般为1001000GB，2010、2015年分别达到20

22、-50TB、100-200TB，详见下表：年份2003200520102015未来面积（km2）500500100010001000面元大小（m2）25x5020 x4010 x2010 x105x5覆盖次数（次）6060100100100记录分量数11133记录长度（s）66666采样率（ms）210.50.50.5叠前数据总道数（道）3000万4700万6亿36亿144亿叠前数据量360GB1200GB30TB180TB700TB叠后数据总道数（道）100万160万1250万1250万5000万叠后数据量12GB40GB600GB1.8TB7.2TB（2）以波动方程叠前深度偏移处理计算量为

23、主要测算依据，典型地震勘探项目的数据处理计算量在2010、2015年分别达到5x1021、3x1022次浮点运算，详见下表：年份2003200520102015未来叠前数据量360GB1200GB30TB180TB700TB叠后数据量12GB40GB600GB1.8TB7.2TB常规处理计算量1x10163x10161x10185x10182x1019Kirchhoff PSDM1x10173x10171x10195x10192x1020波动方程PSDM1x10183x10181x10205x10202x1021炮域波动方程PSDM1x10193x10191x10215x10212x1022总

24、计算量35x101911.5x10205x10213x10221x1023（3）在相当长一段时间的未来，为适应油气勘探开发精度的要求，地震勘探将采用5m的空间采样密度和三分量技术，而地震勘探项目的数据量将达到PB级规模，计算量将达到1023（即100ZFlops）级规模。（4）综合考虑需求、技术和成本等因素，预计地震勘探高性能计算系统的发展速度不会低于每5年提高10倍，其计算能力分别于2010、2015年达到100、1000TFlops规模，以满足10+TB、100+TB数量级规模地震数据处理的性能要求。地球物探勘探应用的测试分析CGG Geocluster叠前时间偏移CGG软件是石油物探领域

25、常用的地震资料处理软件。地震数据处理的任务是加工处理野外观测所得地震原始资料，将地震数据变成地质语言地震剖面图或构造图。经过分析解释，确定地下岩层的产状和构造关系，找出有利的含油气地区。还可与测井资料、钻井资料综合进行解释(见钻孔地球物理勘探)，进行储集层描述，预测油气及划定油水分界。削弱干扰、提高信噪比和分辨率是地震数据处理的重要目的。根据所需要的反射与不需要的干扰在波形上的不同与差异进行鉴别，可以削弱干扰。震源波形已知时，信号校正处理可以校正波形的变化，以利于反射的追踪与识别。对高次覆盖记录提供的重覆信息进行叠加处理以及速度滤波处理，可以削弱许多类型的相干波列和随机干扰。预测反褶积和共深度

26、点叠加，可消除或减弱多次反射波。统计性反褶积处理有助于消除浅层混响，并使反射波频带展宽，使地震子波压缩，有利于分辨率的提高。地震数据处理的另一重要目的是实现正确的空间归位。各种类型的波动方程地震偏移处理是构造解释的重要工具，有助于提供复杂构造地区的正确地震图像。测试环境硬件信息（单节点）软件信息处理器2个Intel(R) Xeon(R) X5650 2.67GHz，共12核操作系统RedHat Enterprise Linux Server Release 4.6 内存12*2GCGG4100硬盘Seagate Direct-Access MPIMpich146.8 GB网络千兆以太网测试结果

27、节点信息测试结果节点数CPU核计算时间(s)Speedup1127537122441431.8144824533.0789615974.71节点数（进程数）结果分析从测试结果来看，CGG地震资料处理模块的多进程加速性能还是不错的，计算核心在48个以下时，加速性能几乎与计算核心成正比，当计算核心超过48个时，加速效果有所下降。Paradigm RTM逆时偏移（GPU测试）硬件环境：TC3600刀片服务器，2*Intel(R) Xeon(R) CPU X5660 2.80GHz，24GB Registered ECC DDR3 1333MHz Memory，300GB SAS Hard Disk，

28、Nvidia Tesla C2050 GPU；共六个刀片，每刀片一个GPU；W580I GPU服务器，2Intel X5650主频2.66GHz，24GB Registered ECC DDR3 1333MHz Memory；1300GB 3.5英寸SAS 15K；4Nvidia Fermi C2050；系统环境：Redhat_AS_5_u4_64bitcudatoolkit_3.1_linux_64_rhel5.4devdriver_3.1_linux_64_256.40软件环境：Paradigm公司Epos4.0 RTM逆时偏移软件数据：中石油西北分院提供国内某区块三维陆上资料，偏移模块参

29、数： * RTM will be run on 1 GPU board(s).SUBVOL 70007000 700010 FDPARS 2000 6000 RICKER 19VEL int_vel偏移模块界面：测试过程此次测试主要分为以下几个步骤，分别验证Paradigm RTM的性能、扩展性、不同的GPU平台对性能的影响等。包括：CPU、GPU对比测试不同数量节点（GPU）的对比测试Nvidia C2050与C2070的对比测试单机不同数量GPU卡的对比测试测试结果CPU、GPU对比测试：CPU与GPU运算效率对比Kirchhoff偏移 RTM 偏移（部分炮集）结论：从测试结果看，CPU平

30、台用时19分钟，GPU平台用时8分钟，性能上有2-3倍的提高，由于作业规模较小，同时，IO系统采用的是NFS文件系统，因此作业IO时间占了较大的比重。偏移参数对偏移测试结果和效率也会有比较大的影响。据Paradigm工程师讲，以往最好的测试结果是性能提升5-6倍。不同数量节点（GPU）的对比测试：结论：Paradigm RTM应用性能随着节点及GPU数量的增加呈线性增长，加速比基本在1.8左右。地震资料处理中常用文件系统测试报告文件系统作为集群中数据的管理者，对系统输入输出（I/O）能力有重要的影响，而数据带宽的增长远远落后于计算能力的增长，使得系统的计算与I/O之间的差距越来越大。随着PC集

31、群系统的大量使用，CPU和I/O设备的增长速度越来越不匹配，I/O瓶颈已经严重制约了整个集群的运算效率。目前有多种技术可提高I/O性能，如并行文件系统、集群存储系统等，为了更好的了解不同文件系统之间的性能差异，我们选择了几种在地震资料处理中常用的文件系统进行了测试比较,分别是NFS，Lustre，PNFS，GPFS，Panasas，ceresdata（NAS集群存储）。其中NFS、Lustre、PNFS、Panasas和ceresdata的测试结果是取自河南南阳油田物探院，GPFS则是在东方地球物理公司（BGP）处理中心完成的测试。地震勘探流程主要分为地震数据采集、地震数据常规处理及偏移处理、

32、地震资料解释三部分。在地震数据常规处理中，由于要对野外采集的数据进行加工，削弱干扰，提高信噪比和分辨率等，所以需要进行大数据量I/O访问。地震数据常规处理是整个地震勘探流程中I/O最为频繁的一个环节，因此，此次测试作业选择的是常规处理中对叠前道集数据进行抽取分析的一个流程，作业过程分为输入（读数据）、输出（记录）。硬件环境名 称说 明配 置单位数量计算节点作为NFS、Lustre、PNFS、Panasas、ceresdata客户端Intel54102，8G FBD667, 500GB SATA1，千兆网卡1台6IO节点NFS为1台IO，数据带宽1000MbLustre和PNFS为4台IO，数据

33、带宽4000MbPanasas和ceresdata无IO，数据带宽4000MbIntel54102，8G FBD667, 500GB SATA2，千兆网卡1台系统软件环境名 称说 明版本号备注操作系统RedHat AS4.0 U8计算节点及IO节点操作系统文件系统NFSV3Panasas和ceresdata存储内嵌文件系统 Lustre1.6PNFS2.6.16石油软件CGG4100常规处理作业信息叠前道集数据，大小6GB，1732642道，4ms采样，6秒记录测试过程针对每种文件系统都选择6个计算节点作为作业节点，采用同样的作业流程，分别发送作业，间隔时间=10s，测试结果如下：每个节点完成

34、作业时间基本相同，选择其中一个结果如下：NFS：* NAME ! CALLS ! CPU TIME ! READS ! WRITES ! MIC/CALL! ELAPSED ! KB RD ! KB WR ! MEMUSE * INPTR ! 1732642 ! 000:00:38.330 ! 0 ! 0 ! 22 ! 000:17:21.002 ! 0 ! 0 ! 34576 * OUTBD ! 1732642 ! 000:00:35.860 ! 5 ! 0 ! 20 ! 000:26:12.217 ! 10 ! 0 ! 23237 * _SUM_ ! 3465284 ! 000:01:14

35、.190 ! 5 ! 0 ! 21 ! 000:43:33.220 ! 10 ! 0 ! 57813 *Lustre： * NAME ! CALLS ! CPU TIME ! READS ! WRITES ! MIC/CALL! ELAPSED ! KB RD ! KB WR ! MEMUSE * INPTR ! 1732642 ! 000:00:45.770 ! 0 ! 0 ! 26 ! 000:05:31.806 ! 0 ! 0 ! 34576 * OUTBD ! 1732642 ! 000:00:44.140 ! 5 ! 0 ! 25 ! 000:00:45.031 ! 10 ! 0 ! 23237 * _SUM_ ! 3465284 ! 000:01:29.910 ! 5 ! 0 ! 25 ! 000:06:16.837 ! 10 ! 0 ! 57813 *PNFS： * NAME ! CALLS ! CPU TIME ! READS ! WRITES ! MIC/CALL! ELAPSED ! KB RD ! KB WR ! MEMUSE * INPTR ! 1732642 ! 000:00:34.240 ! 0 ! 0 ! 19 ! 000:08:24.264 !