戴尔新一代HPCC系统助力四川石油管理局地球物理勘探公司更上台阶.pdf

- 1 - 戴尔成功案例戴尔成功案例 双版本双版本 第一部分（A） ：技术方案版，供彩页印刷使用 物探铁军再造辉煌 物探铁军再造辉煌 戴尔新一代 HPCC 系统助力四川石油管理局地球物理勘探公司更上台阶 “山地物探铁军”雄心勃勃“山地物探铁军”雄心勃勃 正如其它竞争性行业的资源和市场逐渐向强势企业集中一样，地球物理勘探 企业散、小、差的局面也正在发生嬗变。在众多的勘探企业中，地处成都的 四川石油管理局地球物理勘探公司（以下简称“四川物探” ）的目标就是成为 市场的领导者。 经过 50 多年发展，四川物探已成为集地震资料采集、处理、解释、科研于一 体的大型石油及天然气地震勘探工程技术服务企业，形成了山地地震采集、 高陡复杂构造地震资料处理解释、山地全三维地震勘探、碳酸盐岩储层横向 预测四大技术系列，并拥有射线深度偏移、串级偏移、混合深度偏移、同距 波列静校正等 7 项专利技术。 四川物探在业界享有“山地物探铁军”的响亮名声，仅 2004 年，其完成的勘 探工程就高达 167 个，其中包括二维处理 9 万多公里、三维处理 6000 多平 方公里。多年来，四川物探在四川盆地、塔里木盆地、吐哈盆地、柴达木盆 地、准噶尔盆地、鄂尔多斯盆地及六盘山等高难工区攻坚查明和发现了一大 批油气构造，为西气东输、西部大开发做出了卓越贡献。为了在地球物理勘探领域迅速抢占制高点，四川物探进一 步制定了“1515”战略目标：到 2010 年，完成勘探工作量 15 亿元，利润 10，外部市场工程量占 50，上缴 利润 1.5 亿元。 三大瓶颈亟待疏通三大瓶颈亟待疏通 四川物探在过去几年中已相继引进过四套 HPCC 系统，然而要实现“1515”目标，现有的计算资源仍无法满足日 益增长的数据处理要求，进一步扩大计算平台规模势在必行。四川物探要求新的大规模计算平台必须能够充分满足 以下需求： 1、超强的计算性能。、超强的计算性能。地震资料处理是一种计算量巨大、计算非常复杂的数据处理过程，各种数据计算模式，如滤 波、叠加、反皱积、速度分析、去噪、叠前叠后偏移等等，都对计算性能要求较高。随着地震处理方法的改进，特 别是，像 3D 叠前深度偏移计算，在采用波动方程处理时，其计算量不亚于天气预报和生物工程的某些科学计算， 因而对计算性能的要求也更为苛刻。 2、优异的、优异的 I/O 吞吐能力。吞吐能力。在地震数据的处理过程中，一个炮域所采集到的各类原始数据量即达 200MB，它们需要 分配到多个 CPU 上进行计算，这些 CPU 之间要经过多次通讯才能完成一个炮域的数据分析，而一个地区的地震 成像分析经常会涉及上万个炮域的原始数据，除了单个炮域的数据计算，各个炮域的数据之间还需要多次“交互” ， 才能完成最终的成像处理。在这一过程中，计算节点之间、计算节点与存储系统之间的通讯极其频繁，因此对整个 - 2 - 系统的 I/O 性能也提出了极高的要求。 3、海量的存储能力。、海量的存储能力。随着地震勘探技术和地震资料处理技术的发展，原始数据量、处理的中间结果和最后结果的 数据量均以几何级数不断增长，一个地区的原始数据采集量可能要高达几百个 GB，而处理过程中产生的中间结果 数据量则更为庞大；不仅如此，四川物探还准备用此次引进的存储设备为其他几套 HPCC 系统中的重要数据提供 备份支持，因此必须引进一套拥有海量存储能力的先进的存储设备。 根据多年来的 HPCC 系统运行经验，四川物探认为，除了硬件设备自身性能优异与否之外，整套系统的投资规模 是否可以接受、供应商是否拥有部署大型 HPCC 的丰富经验，是否拥有 HPCC 技术专家团队等等，也是 HPCC 系 统能否顺利实施的重要因素。 新一代戴尔新一代戴尔 HPCC 解决方案解决方案 经过激烈竞标，基于英特尔新一代处理器*技术的戴尔全新 HPCC 解决方案以优异的整体性能和突出的性价比优势 力拔头筹，成为四川物探的首选方案。 该方案具体如下： 计算节点计算节点 共 128 个计算节点，全部采用戴尔PE1850 服务器。其基本配置为：配备双英特尔至强3.0GHz处理 器，2GB ECC DDR2 SDRAM 内存，1MB二级缓存，2 块 73GB SCSI硬盘，集成 2 块 10/100/1000M以太网卡， 分别用于连接计算网络与管理网络。 I/O节点节点 采用 4 台戴尔PE2850 服务器。其基本配置为：双英特尔至强3.0GHz处理器和英特尔7520芯片组， 拥有 1MB二级高速缓存，2GB ECC DDR内存，4 块 73GB SCSI硬盘，并安装了双千兆网卡、1 块百兆网卡和 1 块HBA卡。 其中，两块千兆网卡做Teaming，连接到核心交换机中，使I/O节点和核心交换机之间形成了 2GB网络带宽；百兆 网卡专门用于连接管理网络；HBA卡则用以连接I/O节点与HPCC系统的存储后台DELL|EMC CX700，它为计算 网络和存储阵列提供了 2GB的全光纤通道， 足以支持地震资料在计算节点与CX700 之间高频率的数据交换的需求。 应用节点和管理节点应用节点和管理节点 各自 1 台戴尔 PE2850 服务器，其中，应用节点只安装专业地震资料处理软件，计算节点 工作时将通过网络应用程序（NFS）从该应用节点上调取相应的处理软件；管理节点则安装系统管理软件，用来执 行系统远程监控、硬件管理和开关机服务等任务。其基本配置与 I/O 节点相同。 存储系统存储系统 采用 1 套DELL|EMC CX700 光纤存储阵列，其配载 210 块 146GB硬盘，做RAID5，总存储容量近 30TB，用于存储本HPCC系统中海量的地震原始资料与中间结果，同时为四川物探其他HPCC系统中的重要数据提 供备份支持。 网络系统网络系统 在地震资料处理过程中，各计算节点之间、计算节点与I/O节点之间通讯极其频繁，方案采用 48 端口 的CISCO 4507 核心交换机构架起千兆计算网络，负责整个网络子系统的核心交换；管理网络则由 3 套 48 端口的 戴尔PowerConnect3348 百兆网络交换机领衔，它们以级连方式连接全部计算节点、I/O节点、应用节点和管理节 点；在I/O节点与CX700 之间，则采用了 1 套 16 口BROCADE光纤交换机实现连接，形成了一个强大的全光纤存 储网络。 软件系统软件系统 ? 操作系统：全部节点均安装 Linux RedHat 9.0 操作系统。 ? 应用软件：采用国际先进的OMEGA叠前深度偏移软件，这也是国内首次在戴尔 HPCC 系统上安装这一软件。 ? 系统管理软件： ? 各节点均安装了戴尔 OpenManage 管理套件，可对系统各部件，包括 CPU、硬盘、电源、风扇和各种系统资 源如 PCI 和内存设备等进行自动监控， 有助于系统管理员可通过网络进行远程硬件检测、 软件升级和事件管理。 ? CX700 中安装了 Navisphere 管理套件，可以通过基于浏览器的用户图形界面对存储阵列进行监控、配置、协 调和规划，加强了对关键数据的保护。 技术支持与服务技术支持与服务 戴尔为该项目提供三年金牌高级企业支持服务，主要包括： ? 专门备件支持：在成都提供有关服务器、存储及网络设备的 4 小时专有备件库，为快速解决问题赢得时间； ? 快速技术响应：通过金牌客户专享 724 热线、金牌客户经理、当地合作伙伴现场支持三种方式，确保技术人 员 724 随时响应； ? 单一联系人制：指派拥有资深技术背景的客户经理和工程师专人负责，与该项目有关的所有软硬件问题均可通 过其得到及时解决。 ? 企业项目经理服务（EDT PM） ：能够成功部署各类大规模复杂系统，确保系统在最短的时间顺利运转起来。 ? 技术客户经理服务（TAM） ：除提供戴尔硬件设备技术支持之外，还可为包括 Microsoft、Oracle、Novell 等在 内的第三方产品提供无缝支持服务。 ? 四川物探戴尔四川物探戴尔 HPCC 系统拓扑图系统拓扑图 稳定运行彰显优异性能稳定运行彰显优异性能 - 3 - - 4 - 方案确定后，为确保本项目在实施过程中万无一失，戴尔为此成立了专门的项目组织机构，制订了覆盖产品出厂验 收、发货、到货安装、验收、项目交接、售后服务等全部环节的详尽实施方案，并派出 6 个小组分别负责领导、调 度、实施、技术支持与维护、项目协调与意见反馈和整理文档任务。作为在本项目的负责人，四川物探计算机所所 长曾伟先生对此印象深刻： “要成功部署这样大规模的 HPCC 系统，供应商必须拥有资深技术背景的专家团队、丰 富的实践经验，以及衔接紧密的工作链条，戴尔在这几方面都有较强的优势，最终确保了全部安装工作如期完成并 顺利通过验收。 ” 2005 年 5 月中旬，这套戴尔 HPCC 系统正式投入运行，截止目前，四川物探已有三个地震处理项目移师到新的计 算平台上开展。曾伟先生介绍说， “在正式运行之前，我们曾在这套 HPCC 系统上做过 Linpack 测试，它的浮点运 算速度高达每秒七千亿次（700GFLOPS） 。就目前实际运行效果而言，整个系统运行非常稳定，数据处理速度非 常快，能够支持我们开展更多、更大的三维叠前深度偏移计算。 ” 具体而言，这套戴尔 HPCC 系统的优异之处主要体现在以下三个方面： 首先，戴尔新一代服务器实现了系统整体性能的显著提升。首先，戴尔新一代服务器实现了系统整体性能的显著提升。PE1850 是基于带有 800MHz总线的英特尔至强处理 器和英特尔E7520 芯片组的新一代双路服务器，它集成了一系列全新的和增强的平台技术，例如：与传统的PCI 相比，新的PCI Express I/O技术设计有更低的内存和I/O延迟以及更高的带宽，在地震资料处理这样的计算和I/O密 集型应用环境中，能够提供充分利用处理器功能所需的数据传输速度；此外，新一代DDR2-400 内存带宽更大，延 迟更短，并能够降低 40%的功耗；而超线程（HT）技术带来的线程级并行计算能力，则有助于提高处理器利用率， 从而改进整个系统的响应时间和响应效率。这些技术赋予了它支持高性能计算所需的卓越的计算性能和响应能力， 也为四川物探进一步开拓地震资料处理业务奠定了坚实的硬件基础。 其次，合理的网络架构为大规模数据传输提供恰如所需的其次，合理的网络架构为大规模数据传输提供恰如所需的 I/O 性能。性能。针对计算网络、管理网络和存储系统对于带宽 资源的不同需求，本系统量身定制了三种方案： 应用功能强大的 CISCO 4507 核心交换机支持计算节点之间、计算节点与 I/O 节点之间的通讯，不仅如此，在数据 传输任务最密集的 I/O 节点中，还特别将其双千兆网卡采用 Teaming 技术连接到该核心交换机中，这样，一方面可 利用多网卡同时工作来提高网络速度，另一方面则实现了不同网卡之间的负载均衡（Load balancing）和网卡冗余 （Fault tolerance） ，从而大大提高了系统整体的 I/O 性能。 对于 I/O 压力稍轻的管理网络，方案选择了戴尔百兆交换机来支持通讯，既满足了应用的需要，又有效控制了 IT 投资支出，同时管理网络独立运行，不占用计算网络的带宽，从而真正实现了带外（Out of band）管理；而对于 数据存取最为频繁的存储网络，方案采用了 DELL|EMC DS-16B2 光纤交换机来连接 I/O 节点与后台存储，2GB 的 全光纤通道为海量地震资料的输入输出提供了充裕的带宽资源。 第三，海量存储资源系统得到最充分的利用。第三，海量存储资源系统得到最充分的利用。本项目中，拥有 30TB存储空间的DELL|EMC CX700 身兼二职：一 方面支持本套HPCC中的数据存储，另一方面，还将为四川物探已有的 4 套较小规模的HPCC系统提供重要数据的 备份服务，从而进一步加强数据的安全保障。目前，这套新的HPCC系统已通过骨干交换网与原有的 4 套HPCC系 统相连，以此构建起了一个超大规模的高性能计算集群，备份计划正在有序进行。 谈到未来的发展，曾所长表示，未来几年内四川物探 HPCC 系统将陆续扩展到 3000 个节点以上， “我们不仅要发 展成为国内最大的山地地震勘探工程与技术服务商，而且还要努力在技术上赶超世界先进水平。凭借先进强大的 HPCC 系统，我们会争取尽早实现这一目标，并努力为西部油气开发做出更大贡献。 ” 第一部分（B） ：技术方案浓缩版供彩页印刷使用 面临挑战：面临挑战：为了满足三维叠前深度偏移等地震资料处理需求，四川物探需要引进一套拥有优异的计算性能、I/O 吞 吐能力及存储能力的高性能计算集群（HPCC） 。 解决方案：解决方案：基于全新英特尔至强处理器的戴尔双路服务器及DELL|EMC CX700 的戴尔新一代HPCC系统。 实施效果：实施效果：Linpack 测试中其浮点运算速度高达每秒七千亿次（700GFLOPS） ；为四川物探实现发展战略奠定了坚 实的硬件基础。 第二部分：媒体发布版 物探铁军再造辉煌 物探铁军再造辉煌 戴尔新一代 HPCC 系统助力四川石油管理局地球物理勘探公司更上台阶 2005 年 5 月，一套 134 节点的新一代戴尔高性能计算集群 （HPCC）在四川石油管理局地球物理勘探公司（以下简称“四 川物探” ） 正式投入运行， 该套 HPCC 将有助于进一步提升四川 物探的地震资料处理能力，并为实现其发展战略奠定坚实的硬 件基础。 在地震勘探领域，四川物探享有“山地物探铁军”的响亮名声。 经过 50 多年发展，四川物探已发展业界的领军企业，它在四川 盆地、塔里木盆地、吐哈盆地、柴达木盆地、准噶尔盆地、鄂 尔多斯盆地及六盘山等高难工区攻坚查明和发现了一大批油气 构造，为我国西气东输、西部大开发做出了卓越贡献。 四川物探是我国最早应用 HPCC 系统进行地震资料处理的大型石油及天然气地震勘探公司之一，近年来，随着业 务量的不断增长，原有的计算平台已无法满足应用的需要，四川物探迫切需要引进新的计算系统，以实现其继续扩 大国内市场、赶超世界先进水平的发展战略。 地震资料处理是一种计算量巨大、计算非常复杂的数据处理过程，通常一个炮域所采集到的各类原始数据量要达数 百兆，而要完成一个地区的地震成像分析，经常会涉及上万个炮域的原始数据，如果做 3D 叠前深度偏移计算，其 计算量不亚于天气预报和生物工程的某些科学计算，而且计算过程计算节点之间、计算节点与存储系统之间的通讯 也极其频繁。因此，计算系统必须拥有优异的计算性能、I/O 性能和海量存储能力，此外，要成功部署这样大规模 的 HPCC 系统，也要求供应商必须拥有资深的技术专家团队和丰富的部署经验。 经过激烈竞标，基于英特尔新一代处理器技术的戴尔全新 HPCC 解决方案以优异的整体性能和突出的性价比优势 力拔头筹，成为四川物探的首选方案。该方案包括 128 个计算节点、4 个 I/O 节点、管理节点和应用节点各 1 个， 其中计算节点采用了配备双英特尔至强 3.0GHz 处理器、2GB 内存的戴尔 PE1850 服务器，专门从事地震资料的 数据处理； 其他节点则全部采用戴尔 PE2850 服务器， 分别专注于地震数据在计算节点与后台存储之间的输入输出、 各节点监控管理和OMEGA地震处理专业软件的调配。 鉴于四川物探承担的地震资料处理任务繁巨，方案特别选择了戴尔光纤存储阵列中的极品DELL|EMC CX700 - 5 - - 6 - 担任数据存储重任，其配载了 210 块 146GB 硬盘，做 RAID5，总存储容量近 30TB，海量的存储空间还将同时为 四川物探其他 HPCC 系统中的重要数据提供备份支持。 在网络连