曙光石油化工解决方案

1、目录曙光高性能计算机 助力中国石油勘探工业2中石油4.2万亿次应用案例5曙光高性能计算机服务中国海洋石油物探122910石油地震资料处理系统解决方案14AMD 64位架构服务器在石油地震勘探中的成功应用30曙光高性能计算机 助力中国石油勘探工业曙光高性能计算机 助力中国石油勘探工业     国产高性能计算机在石油勘探领域的作用与日俱增，成为提升石油企业核心技术水平，增强国际竞争力的基础保障，也被公认为是中国石油提高国际竞争力的一把金钥匙。    石油关系到我国的能源安全战略。随着中国经济和社会的飞速发展，

2、各领域对石油资源的需求急剧攀升。目前，我国已经是世界第五大产油国和第二大石油消费国，石油产量每年1.6%的增长率远远低于GDP每年9%的增长速度。落实科学发展观，实施“走出去”战略，成为我国石油行业开拓国际市场，在全球范围内获取石油资源的重要途径。而采用高精尖装备，进行技术创新则是提升石油企业核心技术水平，增强国际竞争力的基础保障。 高性能计算机是提升石油勘探水平、增强国际竞争力的关键     石油勘探一般由野外数据采集、地震资料处理、资料解释三个流程组成，承担着找储油构造、定井位的重要任务。由于石油开采过程中钻井费用非常高昂，打一口油井往往要

3、花费几百万甚至上亿元，如果井位定的不准，将会给石油企业和国家造成极大的损失。同时，如果没有计算机辅助，石油勘探的时间成本也相当可观。为了提高石油勘探的准确度，缩短勘探时间，在短时间内找准井位，就需要获得更精确和更丰富的数据，并进行三维计算分析，而这离开了高性能计算机是无法进行的。专家估计，借助一套每秒运算十万亿次的高性能计算系统，可以在一年内处理2万平方公里的石油勘探面积。     在我国，石油勘探是国内能源行业对高性能计算机需求最大、应用最深的领域。由于具有数据量大、连接外设多、并行任务多、网络体系复杂等特点，石油勘探领域成为高性能计算机的用

4、武之地。在2005年11月发布的中国高性能计算机TOP100排行榜上，已有29套高性能计算系统用于石油勘探领域，其中10个系统峰值浮点计算速度超过了万亿次。该领域运算速度最快的超级计算机是由国产服务器第一品牌曙光公司制造的曙光4000L机群服务器，峰值运算速度达到了6.45万亿次每秒，服务于全球最大的陆地石油勘探企业中石油东方地球物理公司（简称BGP）。    可见，有了更强大的高性能计算机，我国石油勘探企业不仅能提高生产效率，为国家节省大量资金，更重要的是能大大提升石油企业的国际竞争力，为国家能源战略的实施打下坚实的基础。  采用国产高性能计

5、算机是我国石油战略的必由之路     2000年以前，中国境内石油勘探领域全部采用国外大公司的进口设备。由于外国公司处于垄断地位，卖给中国的软硬件产品价格奇高，同时还要向国内用户按销售额的10%收取系统集成费。在软硬件设备引进、系统集成和后期维护服务过程中，国家为此花费了数以百亿计的大量资金。同时，对于性能更高的设备，西方国家和国外公司一般采取限制进口、监控使用等手段，从而大大限制了我国石油勘探技术水平的快速发展。     为了打破国外封锁与垄断，十多年来，在国家863计划和中科院知识创新工程的

6、支持与推动下，中科院计算所国家智能计算机研究开发中心先后研制成功了曙光一号、曙光1000、曙光2000、曙光3000、曙光4000等一代代高性能计算机，并通过曙光公司成功实现了产业化，使曙光机成为国内市场上一支与国外大公司相抗衡的重要力量。 曙光高性能计算机 助力中国石油勘探走出国门    在石油勘探领域，经过中科院计算所、曙光公司及众多合作伙伴的多年共同努力，曙光高性能计算机得到了大量成功应用。1997年，曙光天潮1000A落户辽河油田，实现了国产高性能计算机在该领域零的突破。随后，曙光机在国内石油领域攻城略地，逐渐占领市场：2001年，曙光

7、3000进入BGP；2003年中石化南京物探采用曙光超级计算机，并在“中石化系统地质勘探比武”荣获第一；同年6月，BGPWHAT采购4.2万亿次计算能力的曙光4000L超级计算机。2004年，曙光在海洋石油勘探领域再显身手，在湛江和天津两地为中海油成功构建了两大地震数据处理中心。截止到目前，中石油、中石化和中海油三大石化巨头共采购曙光超级服务器的计算力总和已经超过10万亿次每秒。     从2001年到2005年间，先后有20多套曙光高性能计算机用于BGP的石油物探生产作业，分布在尼日尔、巴基斯坦、伊朗、尼日利亚等6个国家、多个地区，曙光机已经具备解决国

8、家关键战略性任务的实力。在BGP的机房，已经有近70%的高性能计算机都是曙光机。BGP已成为国内石油领域高性能计算机应用规模最大、运算速度最快、处理能力最强的专业机构。尤其是在国际市场竞争中，高性能计算机的计算能力规模已成为BGP赢得用户青睐的重要武器。借助先进、成熟的国产高性能计算机，BGP已发展成全球陆地石油勘探第一、综合第三的著名物探企业，其业务已经发展到12个省区15个油田，全球4大洲27个国家，累计为60多个国际油公司和国家油公司提供地球物理技术服务。    值得关注的是，在11月8日揭晓的2005年中国高性能计算机性能TOP100排行榜中，国

9、产服务器阵营首次以51%的微弱优势超过国外兵团，其中，15套曙光4000系列超级计算机服务于中国石油勘探领域。  双核服务器 为石油勘探提供未来新动力    在频率成为CPU性能和系统性能进一步提升的瓶颈之后，双核和多核平台已成为未来高性能计算的新趋势。曙光公司在年初就全球同步推出了10款从双路、四路到八路的双核服务器，并作为高性能计算服务器节点得到了大量成功应用。凭借高性价比、高密度、稳定可靠等优势，双核四路服务器R4380A、双核八路服务器A950已成为小型机的成功替代品REALLY?。目前，曙光基于AMD双核皓龙处理器

10、平台的服务器已经在石油勘探、济南公安、上海多媒体服务平台等用户得到了成功应用。 中石油4.2万亿次应用案例“找油先锋”找到曙光    东方物探公司是中国最大的计算机软件国际工程中心和国家甲级工程咨询单位，为整个中石油提供石油勘探、海量数据处理等方面的服务，目前中石油全球陆地石油开采量已经占到世界第一，而东方物探也被冠以了“找油先锋”的美称。石油行业对高性能计算能力的需求可以说是无止境的，由于一直以来高端商用领域的超级计算机设备一直为国外品牌所垄断，东方物探数据处理中心一直采用的都是进口设备，国外超级计算机不仅价格高而且维护费用昂贵。随着曙光机群高性能计算机在国内应

11、用的急速扩张，中石油开始积极关注这个成熟度高、TCO更低的国内机群超级计算机品牌。基于国内已经被广泛、成熟应用了的机群超级计算机，曙光公司凭借其世界领先的集群技术和丰富、成熟的行业应用经验，推出了3万亿次以上、存储字节达百万亿的曙光4000L超级计算机，这为我国大型商业高端计算机用户提供了计算能力符合需求、价格合理、服务到位的民族品牌产品和全面解决方案。经过一系列商业谈判，2003年6月，东方物探最终决定采购具备4.2万亿次计算能力的曙光4000L超级计算机,现在，有了曙光4000L的东方物探公司已经成为国内商业领域计算机应用规模最大、运算速度最快、处理能力最强的超级计算机用户。4.2万亿次强

12、大的应用价值       曙光4000L由曙光公司和国家智能计算机研究中心联合开发、面向网格WHAT的超级计算机，作为石油领域高性能计算机的杰出代表，其占据两大关键要素：一是曙光成熟的技术和深厚的应用积累；二是国家智能计算机研究中心（NCIC）强大的技术研发实力支持。曙光4000L作为IDC数据处理主机，整个系统由40个机柜组成。该系统最大可“在线”扩展到80个机柜，1300个CPU，每秒6.75万亿次峰值速度，4000G内存，600T存储的海量处理系统。其软、硬件包括：智能控制台，硬件监控和终端切换网络，智能网卡及其软件，机群操作系

13、统，并行编程环境，机群文件系统，高可用软件，智能文件浏览器，网格监控中心软件，远程磁带备份软件，数据密集应用性能评价软件等。 曙光4000L独具的技术特色： ·当前国内最大的IDC数据处理主机，存储与处理能力均十分强大 ·当前国内最大的百万亿数据处理超级服务器，被誉为超级服务器中的“航空母舰” ·同时适用于高性能"科学计算"和"信息服务"两大领域，对于正由"科学计算"向"信息服务"转型的 国产高性能计算机产业而言，是一次划时代的革命 ·不但具备百万亿字节的数据处理能

14、力，而且在支持数据密集应用的技术上实现了多项重大突破    开发两项网格使能技术：使用Grid TerminalWHAT技术开发的智能控制台能够实现庞大系统的安全管理；GridView网格监控中心软件则提供了逻辑视角、视角的可伸缩性、历史记录分析三项特色，被称为系统的“千里眼”。 中石油面向网格计算的解决方案描述    曙光公司提供的此套石油行业整体解决方案，不仅有计算机，还包括系统软件、管理软件、输入输出设备和存储设备。曙光不仅在硬件设备、集群管理软件、监控软件都应用成熟、性能过硬，而且在工程实施能力和行业应用等方面都极具

15、优势。    鉴于高性能计算应用的特殊性，用户对高性能计算的扩展性、稳定性以及先进的技术需求性要求高、变化快，尤其在物探等长期、大量使用高性能计算机的行业对此更为关键。 谈到中国石油集团东方地球物理公司选择4.2万亿次的曙光4000L作为应用平台的决定时，东方物探研究院副总工程师赖能和介绍说，选择曙光4000L主要基于四个方面的原因： 1.基于Linux平台的PC Cluster更适于叠前偏移等密集型算法    为了解决超大计算量的处理问题，过去曾采用的主机带阵列机、向量计算机，以至90年代采用的大规模并

16、行计算机，对于提高计算速度和处理能力都起到了重要的作用。  目前随着地质结构越来越复杂，叠前偏移工作量越来越多，大量的叠前偏移处理任务需要花费越来越多昂贵的CPU时间。如果完全选择基于Unix的超级计算机系统则需要巨大投资。正是由于PC集群高性能并行机的性能价格比较基于Unix并行机更为优越以及它有极强的可用性、可扩展性和可管理性，用它来完成Unix并行机的密集算法，将大大节省昂贵的CPU资源费用。 2.目前数据处理面临Unix并行机严重老化，常规处理能力严重不足的实际问题 目前国内数据处理生产使用的系统一般包括有IBM、HP、SUN、SGI origi

17、n、PC Cluster集群等并行机、Unix工作站集群(IBM、DEC、SGI、SUN、曙光)和Linux PC图形工作站群等多种平台。其特点是Unix并行机严重老化，主频低、处理能力严重不足。完全依赖它们来完成处理任务，已经很难解决数据处理过程中所面临的难度越来越大、处理周期越来越短、数据量越来越大和资料所在区地质构造越来越复杂等实际问题。 3.新的许多处理算法需要消耗更多宝贵的CPU资源     随着国内外地震物探高、新技术的快速发展，对数据处理技术也提出了新要求，需采用许多新的花费更多CPU的模块，如模拟退火静校正、DMO、S

18、CD、SCAC、SMA、PSDM以及把PSTM纳入常规处理流程等。目前的Unix并行机主频太低和内存太小,很难实现新的处理流程，而PC Cluster正好适合于这种密集型的科学计算。 4.基于Linux平台PC高性能专业图形工作站是解决地震数据交互处理的有效方案，与PC Cluster一起构成地震数据处理与解释一体化系统的实用方案。    随着CPU 芯片性能提高、图形处理能力的增加，选择基于Linux平台高性能价格比的PC 专业图形工作站，配备高性能图形卡，交互软件的本地化安装与配置。既实现了交互软件与

19、服务器节点单独分开而在本地PC专业图形工作站上直接运行交互程序，解决了在远程主机上运行交互速度响应慢的问题；又实现了通过性能良好的图形终端，用户直接在本地完成交互拾取速度谱等交互处理任务。    赖能和说，国产曙光PC Cluster技术上已经成熟并具有很强的并行化处理能力，与国外的PC Cluster相比，具有很强的竟争力。同时由于和曙光这种技术导向型企业合作，东方物探能够很好地结合自身实际情况，与厂商共同就未来网格计算等领域的研究展开合作。研究院实景：方案拓扑图： 一份极具吸引力的应用结论   

20、60;4.2万亿次的曙光4000L在东方物探的研究大楼里跑起来了，他带给客户的是如下的应用结论：     1.PC Cluster在地震数据常规处理和深度域处理中已经证明了应用的成功。     2.高性能PC Cluster并行机很适合密集型运算，可以为解决复杂区地震成像问题提供有效的计算环境。     3.相同运算能力下，Cluster投资大约需Unix并行机的1/10,而速度提高3倍以上。     4.PC

21、60;Cluster与应用软件的有效集成是实现地震数据并行处理成功应用的关键。     5.主频的提高、CPU数的增加与驻机时间的减少之间的关系不是线性的。曙光4000L助力中石油迈向网格计算   曙光4000L是曙光公司推出的首款面向网格计算的IA机群超级服务器，其网格技术体现在数据密集技术（Data-intensive）、支持网格（Grid-enabling）、多目标系统（Multiple-system）、应用专用技术（Application-specific）四个方面，同时也满足在管理、广域通信、广域文件、资源发现、体系结构上的要求。目前

22、石油行业对高性能服务器的需求巨大， 尤其是在地震数据常规处理和深度域处理、密集型运算等诸多复杂问题，曙光4000L采用IA机群架构，其超强的数据处理能力、高效的处理速度、高可用性、完全胜任石油行业对于稳定性、可靠性、处理性能的苛刻要求，广泛融合了曙光在高性能超级服务器多种成熟高端技术，成为中国服务器行业标准“SUMAWHAT”的完美体现。现今曙光超级计算机在国内的应用超过了1000套，应用遍布各个领域，并占据着国内品牌超级计算机市场90%的份额，同时成功实现了海外销售。曙光4000L的推出不仅代表着国产高性能计算机产业的全面发展，也进一步彰显了中国在高性能计算机技术方面的强大实力，这

23、无论对于本产业的健康发展，还是对于国民经济、国防等领域的全面进步都具有十分重大的意义。曙光超级计算机在石油、石化行业典型应用·1997年10月曙光天潮1000A落户辽河油田。这也是我国高性能计算机首次独立进入市场，实现了国产高性能服务器商品化的零的突破 ·1999年1月曙光承担中国石油工程建设集团的楼宇自控工程建设工程 ·1999年9月曙光和石油天然气总公司合作进行天罗天联推广合作项目 ·2002年以色列帕拉代姆公司采用了曙光1700服务器 ·2002年10月中国石油集团东方地球物理公司诼州物探局采购曙光4000L Linux/PC&

24、#160;Cluster作为应用平台，曙光超级服务器占据国内石油领域 ·2003年中石化南京物探采用曙光超级计算机，并在2003年度“中石化系统地质勘探比武”荣获第一名 ·2003年中石油集团采用曙光4.2万亿次集群超级计算机 ·2003年中石油集团东方地球物理勘探有限责任公司签单合作，为其西部最大的数据处理中心库尔勒分中心提供了一套适用于石油行业的成熟应用解决方案    此外，石油勘探开发研究院、江汉油田、蓝领油田、河南油田、石油发展总公司均采用了曙光的高性能计算机和超级服务器。 曙光高性能计算机服务中国海洋石油

25、物探1229一路莺歌，探寻海洋里的宝藏 曙光高性能计算机服务中国海洋石油物探   据史料记载，2000多年前中国就开始用钻井法开采地下石油；公元220年左右开始开采天然气；公元1521年就能从1000多米深的地下开采出石油然而，当美国人于1896年开始开发海洋油气的试验，1947年在墨西哥湾首次用钢制钻井平台钻出了世界上第一口商业性油井，以及随后在世界范围内涌起勘探开发海洋石油热潮时，我国的海洋石油工业却依然是一片空白。直到上世纪五十年代那个激情燃烧的夜晚！   1956年的一个夜晚，正在观看露天地影海上巴库的莺歌海渔民神经被触动了：

26、既然巴库附近海面上那嘟嘟冒出的气泡是宝贵的石油、天然气，我们莺歌海不也有同样的“宝贝”？ 于是，油气苗，莺歌海面上那个汩汩跳动的气泡便伴随着一路莺歌，走向广州，走向北京。中国海洋石油这部雄伟壮观的戏剧就这样拉开了序幕    发展到今天，人们已经开始普遍利用超级计算机来寻找和开发海洋里的石油宝藏。地震数据处理就是石油物探中非常关键的一个环节。日前，中国海洋石油东方数据处理中心和南海西部计算中心就分别采用了两套曙光4000L超级计算机来构建位于塘沽和堪江的两大地震数据处理系统，一个面向渤海，一个面向南海。超级计算机，走向海洋  中海油的历史就是一部中国海洋石

27、油工业的历史。而高性能计算机是这部历史背后的“幕后英雄”。基于LINUX的高性能计算机主要用在盆地模拟、地震资料处理和油藏数值模拟等三大领域。地震数据处理因为数据量大、计算量大等行业特点，成为高性能计算机这一超级武器威力四射的舞台。   人们通过汽枪、放炮等人工手段获得原始的震源，由检波器在分布于震源附近的检波点定时收集一系列脉冲信号，从而采集到大量原始的地震波信号。随后把海量数据输入到超级计算机里，运行帕拉戴姆、CGG、OMEGA、Landmark、GeoEast等地震资料处理软件，经过常规处理以及叠前偏移等过程，最终得到一个地震剖面图。然后由经验丰富的地质专家通过解释地

28、震剖面图，得到地层的构造情况，从而为石油和天然气矿藏的识别提供依据。其中地震资料处理的过程，因为数据量、计算量和通讯量都很大，所以对计算机的存储能力、计算能力和I/O通讯能力都提出了很高的要求。而这正是高性能计算机的擅长之处。   在我国，曙光公司生产的高性能计算机是国内石油领域应用最广、装机量最多、应用最普及的产品。经过多年发展，曙光的PC Cluster技术已经非常成熟并具有很强的并行化处理能力，而且比国外的产品具有更高的性价比。曙光4000L是曙光和国家智能计算机研究中心联合开发的面向网格的超级计算机。依托曙光成熟的技术、深厚的应用经验积累以及国家智能计算机研究中心强

29、大的技术研发实力，采用IA机群架构的曙光4000L凭借其超强的数据处理能力、高效的处理速度、高可用性以及对多种成熟高端技术的融合，当之无愧地成为石油领域高性能计算机的杰出代表。   曙光高性能计算机的应用不仅使用户可以把叠前偏移等以前的非常规处理程序当作常规处理来对待，而且可以满足现在物探行业测线加密、精度要求增加等更高的需求，这是高性能计算机给地震勘探带来的飞跃，使构造地质分析、井位确定更准确，不仅节省了资金，而且加快了石油勘探的步伐，提升了效益。超级计算机，有容乃大  为了提高处理精度，测线间距越来越小，而采样点则越来越多，导致采集到的数据量也越来越大，有时一

30、个文件就有200300GB甚至更多；叠前深度偏移等算法的出现使得CPU资源的耗用越来越多；随着计算能力的提高以及物探行业竞争的加剧，客户对处理中心要求的数据处理周期也越来越短；而石油勘探领域的拓展和深入，也导致处理中心会遇到越来越多的复杂地质构造。而且由于并行用户和任务非常多，对I/O的要求也很苛刻。各种因素的变化对石油物探企业的综合竞争能力提出了更新更苛刻的要求，同样也催生了背后高性能计算技术和产品的发展和成熟。   曙光4000L对于石油勘探的海量数据处理任务，能够很好的提升地震处理的速度，并且具备高度稳定性，从而更好的满足石油行业对于先进技术要求高、变化快的特性。40

31、00L在海量数据的计算、存储、通讯、管理和监控方面已经形成自己的特色。其强大的"在线"扩展能力，可以在保障整个系统应用稳定运行的前提下，及时发现并解决问题，维护系统和数据安全，动态扩展系统的配置。同时曙光提出的数据密集型算法，可支持文件的快速检索和浏览，在密集型科学计算领域如石油行业的数据处理、全3D可视化体解释、油藏模拟、存储管理等方面广泛应用。    地震数据传输和处理的并行，对网络性能也提出了很高的要求，I/O通讯能力也往往成为制约系统效率发挥的一大瓶颈。但一味地增加I/O节点数并不是一个很好的办法。为了解决这一问题，曙光的技术工程师除了

32、对系统进行很多优化外，还在石油行业首创了“双网卡绑定”的做法，通过将两个1000M的网卡绑定使用，使单个I/O节点的带宽增加了到了2G。LINUX集群系统，凯歌高奏   为了解决海量处理问题，人们曾经使用过主机带阵列机、向量计算机和大规模并行计算机。目前国内数据处理生产使用的系统一般包括有IBM、HP、SUN、SGI origin、PC Cluster集群等并行机、Unix工作站集群(IBM、DEC、SGI、SUN、曙光)和Linux PC图形工作站群等多种平台。    石油行业现在的Unix大型机面临严重老化、主频低、处理能力严重不足等实际问

33、题，但如果进行升级，其高昂的投资成本却离用户的实际承受能力越来越远。而如果采用基于Linux平台的PC Cluster，不仅能获得极强的可用性、可扩展性和可管理性，同时能大大降低成本，性价比远远优于昂贵的大型机系统。据测算，相同运算能力下，Cluster投资大约需Unix并行机的1/10,而速度提高3倍以上。曙光4000L正是基于Linux平台的PC集群高性能并行机，系统的部分指标达到了电信级标准，能抵御8级地震的冲击，而且提供了7项系统监控功能，使系统的可靠性达到了新的高度，是密集型科学计算领域瞩目的焦点。    随着国内外石油勘探技术的快速发展，人们往往把模拟

34、退火静校正、DMO、SCD、SCAC、SMA、PSDM、PSTM纳入常规处理流程。许多新算法如叠前偏移的出现和普遍应用，也使得地震数据处理需要消耗更多宝贵的CPU资源。这都是低主频、小内存的Unix并行机所难以实现的，而PC Cluster正好适合于这种密集型的科学计算。基于LINUX平台的曙光4000L作为IDC数据处理主机，系统最大可“在线”扩展到80个机柜，1300个CPU，每秒6.75万亿次峰值速度，4000G内存，600T存储的海量处理系统。    另外，基于Linux平台的PC高性能专业图形工作站也是解决地震数据交互处理的有效方案，与PC Cluste

35、r一起构成地震数据处理与解释一体化系统的实用方案。曙光，找油之途一路莺歌   早在1997年，曙光天潮1000A落户辽河油田，一举打破了国外高性能计算机一统河山的局面，实现了国产高性能服务器商品化零的突破。随后的两年里，曙光高性能计算机在国内石油领域攻城破掠池，不断取得市场突破。2002年，曙光1700服务器和以色列帕拉代姆公司地震处理软件携手进入东方地球物理公司效力。2003年中石化南京物探采用曙光超级计算机，并在2003年度“中石化系统地质勘探比武”荣获第一。同年6月，中国石油集团东方物探采购具备4.2万亿次计算能力的曙光4000L超级计算机,使东方物探公司成为国内商业

36、领域计算机应用规模最大、运算速度最快、处理能力最强的超级计算机用户。    2004年，曙光在海洋石油勘探领域再次取得新的突破，在湛江和天津两地为中海油成功构建了两大地震数据处理中心。截止到目前，中石油、中石化和中海油三大石化巨头共采购曙光超级服务器的计算力总和已经超过10万亿次每秒。    据国际能源署预测，2004年中国原油进口将达1.2亿吨，成为世界上继美国之后第二大石油消费国。能源短缺已经成为制约中国经济发展的瓶颈。随着一些陆上油田进入枯竭期，海洋石油正快速发展，第11个五年计划期间，我国原油产量中的增量部分将主要来自海上石油。中国是一个海洋大国

37、，拥有大陆海岸线18000多公里，岛屿岸线达14000多公里，“蓝色国土”面积约为300多万平方公里。这既为中国海洋石油工业的生存发展与创造无限可能提供了一个辽阔空间，同时也为高性能计算机的应用营造了一个神奇而壮阔的舞台。石油地震资料处理系统解决方案摘要：曙光公司根据其多年从事高性能计算机研究、生产和服务于石油行业特别是地震资料处理的经验，推出了基于曙光4000超级计算机的石油地震资料处理系统解决方案。该解决方案结合高性能计算机和地震资料处理的特点，充分的考虑了整个系统的可靠性，有效地缓解了系统瓶颈，合理地分配系统资源，确保了整个系统高效、稳定、连续的运行。同时又充分考虑了整个系统今后的扩容、

38、升级，切实地保护用户的投资。    关键字：Paradiam、石油地震资料、集群、石油勘探1方案构成    1.1.地震资料处理软件      地震资料处理类软件较多，目前采用较多的有以色列Paradigm公司的Paradigm软件的GEO叠前深度偏移系统Geodepth、西方地球物理公司的OMEGA处理软件、ADS的炮域波动方程系统VIEWS、CGG公司的Geovector系统、Landmark公司的PROMAX处理系统、PGS的CM地震处理系统、ScreenSeis并行地震处理系统等等。&#

39、160;     这一类软件有一个共同的特征是：文件IO量巨大，其输入输出文件一般都是以T作为计算单位，IO系统的性能严重影响着整个系统的性能。所以，地震资料处理系统要求有巨大、高效的存储系统。其次，它对计算性能也有一定的要求，特别是浮点处理能力。    1.2.曙光4000 32位集群方案       整个系统采用目前流行的Linux集群系统，主要包括节点机、网络、存储系统、管理和监控系统、机柜和电源系统、集群软件和并行软件。     

40、0;     图1： 整体结构图1.2.1.节点机      节点机主要包括三类节点：计算节点、管理/登入节点、IO节点。其中：      计算节点      主要用于完成计算，担负着完成地震资料处理的巨大的计算任务。例如采用炮域波动方程的方法完成叠前深度偏移时，计算节点主要任务是完成求解炮域波动方程。这就要求计算节点：      有很强的计算能力，特别是浮点运算能力

41、。      有适量的内存以能容纳求解方程时所有的数据和程序，一旦内存空间不够使用系统缓存，这将极大的影响系统性能；但同时没有必要内存空间过大，经测试表明，一般情况下每个CPU配置1GB内存为最佳。      有很好的通讯网络，以便保证在作并行计算时计算节点间通讯的带宽和延迟。      由于计算节点的任务主要是计算，对IO要求并不高，所有没有必要有很强的IO扩展能力。同时，在一套集群系统中，计算节点众多，所以采用高密节点机为佳，一般都采用1U、

42、2U节点机。      综合以上分析，在地震资料处理系统，我们一般采用天阔R210XP或者R210XV作为计算节点，配置两颗Intel Xeon CPU，每个节点2GB内存，计算网络一般采用千兆以太网。      IO节点      IO节点与存储设备、NFS文件系统、HA软件等组成存储系统。IO节点作为NFS文件系统主节点，外挂磁盘阵列或者连接其它存储设备，负责文件的I/O操作。其它节点包括计算节点和管理登入节点的访问存储设备的请求都要通过I/

43、O节点完成。IO节点有如下特点：      有丰富的外设，如光驱、软驱、USB口等等      一般需要外接一些IO设备和插一些IO扩展卡，所以要求节点机较强的IO可扩展性，要求节点机有较大的空间，一般都采用2U、4U甚至空间更大的节点机      对性能有较高的要求，系统中所有节点的IO操作都需要通过IO节点，所以一定要保证IO节点的性能      有较大的内存，大内存有利于IO操作性能的提供&

44、#160;     一般需要安装高可用软件，IO节点一般是系统的单一故障点，所以可以通过高可用系统消除这一单一故障点      由于IO节点和存储系统密切相关，所以IO节点将在后面存储系统中详细讨论。      管理/登陆节点      管理/登入节点是外部设备和集群系统之间连接的桥梁，任何用户和系统的管理员都只能通过管理/登入节点才可能登陆到节点机子系统上，事实上，管理/登入节点是一个多种身份于一身的节点

45、，它主要由以下几项功能：阅至此处      登入：它是用户登陆整个系统的第一道设备，用户在通过系统的防火墙以后就可以登陆到管理节点，由此用户可以远程连接到计算节点上进行运算，用户也可以直接通过管理节点提交计算任务，总之用户必须通过管理节点对整个集群系统进行操作，它为整个系统提供了一个更加安全的设备保障。      管理：在这个节点上安装绝大多数的曙光集群管理系统软件，系统管理员可以通过在管理节点上的图形界面对整个集群进行有效的管理。      作

46、业递交：在这里安装了曙光作业调度系统，用户可以在这个节点上提交并行任务。      上述身份对管理/登入节点有如下要求：      对性能要求不高。管理/登入节点虽然身兼数职，但每一项任务对节点机的性能没有过高的要求。      管理/登入节点安装了很多软件，包括集群管理监控、作业调度系统、防火墙等等，所以与计算节点相比，它需要连接一些外部设备、一定的存储空间。      需要多块网卡。管理/登入

47、节点不仅要和集群内部网络相连，同时还必须和外部网络连接，所以相比与其它节点，管理/登入节点需要增加一块与外部网络相连的网卡。      总的来说，系统对管理/登入节点要求不高，只要采用相对经济的配置就可以了，但必需保持和计算节点、IO节点同构。    1.2.2.网络      网络的设计是系统中很重要的一部分，网络系统特别是计算网络的性能很大程度上影响着整个系统的性能。本方案的网络系统的设计从性能和可靠两个原则出发，采用两套网络实现方式。实现双网分离、专网专用、相

48、互备份，达到系统的高性能和高可靠性。      由于并行计算时的数据通讯和NFS文件系统的数据传递对网络的要求较高，为了管理、监控等操作不对计算通讯和文件IO操作产生任何干扰，本方案设计了两套网络系统，实现双网分离、专网专用，保证了系统的高效性。同时，两套网络又起着相互备份的功能，当其中一套网络由于某种故障瘫痪时，另一套网络就会担负起其功能，虽然会在一定程度上影响到系统性能，但却能保证系统在某一套网络瘫痪时正常运行，提高了系统的可靠性。      两套网络包括计算网络和管理网络。其中计算网络采用

49、千兆以太网，管理网络为百兆以太网，如图：            图2：网络结构图      在作地震资料处理时，计算网络主要担负着并行计算时的数据通讯和NFS文件系统的数据传递。并行计算时的数据通讯主要是求解方程组时各个计算节点间的数据交换；这种数据交换主要是发生在计算节点之间，每次交换的数据相对不是很大，但交换的次数较为频繁。NFS文件系统的数据传递主要是读写数据文件和其它文件；这种网络通讯主要发生在计算节点和IO节点之间，计算节点通

50、过IO节点读写存储设备；其特点是网络通讯并不频繁，一般发生在程序运行的开始、结束以及中间特定的时间，但是每次通讯的数据量很大，所以对网络的带宽要求较高。      根据计算网络这样一些特点，本方案采用千兆以太网作为计算网络，其优越的性能足以在地震资料处理系统中担负起计算网络的角色。同时，其相对于其它专用高速网络更为便宜的价格以及方便的安装维护，通用的接口，具有极高的性价比。      管理网络主要用于系统管理、监控、登入等，这些操作对网络性能没有较高的要求，所以在本系统采用经济的百兆以太网作为管

51、理网络。    1.2.3.存储系统      存储系统由IO节点、存储设备、NFS文件系统、HA软件等组成。存储设备可以是DAS，也可以是SAN。      下图是采用DAS方式的存储系统结构图：        图3：DAS存储系统结构图  下图是采用SAN方式的存储系统结构图：         

52、  图4：SAN存储系统结构图  在作地震资料处理时，所有计算节点都通过IO节点从存储设备上读写数据文件，此时，IO节点和存储设备就成为系统的瓶颈，特别是与IO相连的网络。千兆以太网的理论传输速度为1000Mbps，NFS系统在千兆以太网上最大传输速度在110MB/s左右，也就是说所有的计算节点此时分享110MB/s的带宽。为了缓解NFS文件系统的数据传递时，IO节点网络的瓶颈，本方案在IO节点上，对于计算网，采用了双千兆网卡或者三千兆网卡绑定的方法，提高IO节点网络连接带宽。下表是千兆以太网在采用双网卡/网卡绑定时的性能：    &

53、#160; 表1：千兆以太网卡性能表  从上表可以看出，在IO节点上配置双网卡绑定或者多网卡绑定，有利于提高IO节点的网络传输带宽，从而更好地提高整个系统的性能。而由于双网卡绑定会使得计算机的网络传输延迟变长，这不利于计算节点之间的频繁的网络通信，因此不建议计算节点采用双网卡绑定的方式。      IO节点是系统中的单一故障点，一旦其瘫痪，整个系统将无法运行。为了消除这一单一故障点，本方案采用了高可用（HA）方式。通过曙光高可用软件（DHA）实现两个IO节点的高可用。平时只有一个IO节点工作，当工作的IO节点由于意外情况发生故障时，另

54、一个IO节点自动接替工作，并向系统管理员报告。这一接替过程自动完成，对于管理员和应用软件完全透明。    1.2.4.集群操作系统      集群操作系统位于节点操作系统之上应用软件之下。通过集群操作系统，实现了集群系统单一系统映象，使得整个集群系统便于管理、使用和维护。        集群操作系统在真个系统中的位置  不同的应用系统对于集群操作系统有不同的要求。对于地震资料处理系统来说，主要需要集群操作系统中集群管理、集群监控、作业调

55、度和并行环境等功能。本方案中，包括曙光集群管理系统（DCMS）、曙光集群监控系统（DCMM）、曙光集群部署系统（DCIS）、并行命令系统（MTERM）、作业调度系统PBS和并行环境MPICH。    1.2.5.管理和监控系统      管理和监控系统包括SKVM网络、I2C硬件监控网络、监控台、监控机、管理监控软件等。其中SKVM可以实现远程的多节点同时本地控制；硬件监控系统可以实现对集群中所有节点的实时监控；    1.3.曙光4000 64位集群方案  

56、60; 1.3.1.方案背景      到目前为止，在计算机行业中已经大量出现了基于64位架构的计算机系统，而在服务器领域，目前也基本上实现了从32位服务器到64位服务器的过渡。而在石油地震资料处理系统这种应用中，过去采用64位服务器系统的还非常的少，原因主要在于：      1石油地震资料处理系统是一套完整庞大的应用系统。它涉及到计算、前处理、后处理、网络、存储、备份以及资料加工等等的一整套解决方案，64位服务器系统在其上的应用还没有完全被切换过来。   

57、0;  2石油地震资料处理软件通常规模庞大，开发周期长，实现64位过渡较慢。      364位服务器应用在石油地震资料处理系统中的应用性能还没有得到大量的测试依据。      4石油领域最核心的地震叠前偏移处理软件模块还没有被切换到64位上。  目前，Paradiam公司、东方地球物理公司、曙光公司等多家国际国内权威机构正在极力地推动石油地震资料处理系统32位系统向64位系统的切换。Paradiam公司专门开发出针对曙光最新的Opteron 64位处理器的叠前时间偏移模块E

58、pos3.0，用来代替过去运行在32位平台上的PG2.0叠前时间偏移模块。针对这个最新的模块，曙光公司联合Paradiam公司和东方地球物理公司共同进行实际的测试，测试的环境参见（附件1）。1.3.2.64位叠前时间偏移模块Epos 3.0在曙光64位集群上的测试      2005年5月，地球物理勘探局研究院处理中心组织帕拉代姆地球物理公司北京办事处和曙光计算机公司对处理中心新采购的AMD64位架构PC机群和老的INTEL32位架构PC机群进行了偏移效率对比测试。本次测试的目的一是要验证AMD64位架构PC机群的偏移效率，获得具体的偏移效率数

59、据，二是获得优化AMD64位架构PC机群的经验。通过这次测试，我们主要得出了如下几点结论：  基于64位操作系统开发的Epos3.0软件（叠前时间偏移）在AMD 64位PC机群上的偏移效率是32位PG2.0在INTEL32位机群的57倍。如果单纯考虑AMD64位和INTEL32位的影响（应当在2倍左右），那么，采用64位编译的Epos3.0应当比32位编译的PG2.0快34倍。下表是两种对比环境（附件1）下的运行结果，时间越短性能越好：   通过目前已经完成的测试，可以看出：Epos3.0运行在32个节点一下，其偏移效率是线性提高，即：32个节点是16个节点的2倍

60、速度。可以预见，当节点数提高到64，128甚至256以后，整个系统仍然能够获得较高的性能加速比。      通过前面的测试结果可以清楚地看到，采用最新的Epos 3.0叠前时间偏移模块，配合曙光公司提供的64位的集群系统，可以使得整个系统的性能提高到过去32位系统应用方案78倍的性能，如此优异的测试结果无疑将更好地将64位集群系统推向石油地震资料处理领域。    1.3.3.曙光针对Epos 3.0提供的高性能集群系统      节点机  

61、60;   针对Epos系统对集群系统节点机的需求，曙光公司适时地推出最新的1U Opteron 64位节点机系统曙光天阔R210A，它在很多特性上符合Epos 3.0的应用需求：      1U节点机设计。曙光天阔R210A采用密度最高的1U2P设计，这样可以极大地降低系统的空间占用，通常石油领域对服务器的高度有特殊的要求，采用较薄设计的结构解决石油领域大量集群服务器空间占用大的问题。      采用双路性能超强的AMD Opteron处理器，Epos 3.0的系统可以很好

62、地运行在该处理器上并获得了较为深入的优化，AMD Opteron处理器和Epos 3.0的完美的和谐使得64位应用性能尽显无余。      支持双核扩展。该服务器系统支持处理器的双核扩展，这也就意味着用户可以通过更换双核处理器来实现系统的成倍性能扩展。      支持曙光公司32位集群方案种的所有应用软件。AMD Opteron处理器采用64位系统兼容32位应用的模式，可以更好地保护用户和研发机构的研发投资，帮助实现系统的平滑过渡，在过去的集群方案种的所有应用软件和硬件系统都可以直接移植到该节点

63、构成的集群系统中。曙光天阔R210A系统外观集群管理系统      由于采用了基于Opteron的架构，曙光天阔R210A完全支持曙光的集群软件和硬件系统，包括SKVM、硬件监控系统、网络系统、DCOS（DCMM、DCMS、Mterm、DCIS）、机柜系统、电源系统等。    1.4.一个小型地震数据处理系统      下面是一个基于曙光4000L的小型地震数据处理系统解决方案。该系统共采用了35个节点（包括32个计算节点、2个IO节点和1个管理登入节点），存储系统

64、采用DAS方式，配置2T存储。      本方案适用于中小型地震数据处理系统。      硬件配置：      节点机：      计算节点    天阔R210A   32台  详细配置：2个AMD Opteron 248 CPU / 2GB DDR内存 / 73GB SCSI硬盘 / 2个千兆以太网网卡 &

65、#160;    IO节点    天阔R220A   2台      详细配置：2个AMD Opteron 248 CPU / 4GB DDR内存 / 146GB SCSI硬盘 / 2个千兆以太网网卡 / 1个百兆以太网网卡 / 1块光线HBA卡      管理/登入节点  天阔R220A   1台    &

66、#160; 详细配置：2个AMD Opteron 244 CPU / 2GB DDR内存 / 73GB SCSI硬盘 / 2个千兆以太网网卡 / 1个百兆以太网网卡 / 1块光线存储卡      网络：      千兆以太网   HP ProCurve Switch 2848  1台      详细配置：44个10/100/1000端口、4个双功能定制端口、背板 71.4mpps 96 Gbps&

67、#160;      百兆以太网   D-Link DES 1024    1台      详细参数：48口百兆以太网交换机      存储：      磁盘阵列    DS-3140F 1台      详细配置：14块146GB

68、硬盘 / 双冗余2Gb光纤控制器 / 4个2Gbps光纤通道FC主机接口 / 2个2Gbps FC-AL磁盘通道 / 支持RAID 0 1 3 5 10 / 冗余电源       管理及监控：      视频切换系统   曙光视频切换系统    1套      详细配置：1U内置控制台 / 1个USTS / 35个CIM    

69、   监控系统    曙光硬件监控系统    1套      详细配置： 12液晶监控触摸屏 / 硬件监控网 / 35个硬件监控卡       机柜及电源：      机柜曙光集群主机柜、从机柜各1套(包含布线系统)      电源曙光集群专用电源系统1套   

70、;   软件配置：      曙光集群系统监控软件(DCMM)1套      曙光集群系统管理软件(DCMS)1套      曙光集群系统部署软件(DCIS)1套      并行命令软件(Mterm)  1套      PBS作业调度系统   1套      MPICH并行系统   1套      曙光高可用软件(DHA)  1套    2 曙光的优势    2.1.技术和品牌      曙光公司是国内最早从事研发、生产服务器和服务器集群的专业厂家。曙光公司依托中国科学院计算所、国家高性能计算机