GPU计算技术发展及在地球物理界的应用

中国石油勘探开发研究院西北分院 2010年 12月 21日 一 二 三 技术展望 汇 报 提 纲 计算机技术的发展 一、 程 20世纪 70年代 向量机 20世纪 90年代初 对称多处理共享存储并行机 （ 20世纪 90年代中期 分布式共享存储多处理机 （ 20世纪 90年代后期 大规模并行处理机 （ 21世纪初期 计算机集群系统 （ 并行机需要在 存、操作系统等进行定制，成本非常昂贵，技术实现难度大，实现周期长。 一、 程 1、 单核 核 核 核 多核 大大减少了散热和功耗 一、 程 多核 受限的加速比 内核数目的线性增加不 能带来整体处理性能的线性增长 延时问题 系统规模扩展超过数万个处理器、数十万个处理器核时，该问题变得十分突出。 添加 对 C 和 C+ 等高级语言的支持。此举最终推动诞生了面向 形处理器）的 构 一发现掀起了 可编程性日益增加， 英伟达 ）推出了第一款 形处理器）。 最初用作固定功能图形管线 构 第 形处理器 ） 图形芯片 一、 程 20世纪 80年代 ，以 形处理功能逐渐从 1999年， 56，第一次在图形芯片上实现了 3形处理器，常用于显示（显卡）。 2、 2003年 ，可编程的 2006年 ，可进行高级语言编程的 一计算）架构 中央处理器 图形处理器 （显卡 ) 接屏幕的端口 内置显卡 1070 1U 系统 一、 程 1、法国网站 国原子能委员会等机构正准备构建一台新的超级计算机，其中有 时会加入将近两百颗 060/1070），有望成为世界上第一台 2、据 2008年 11月 21日，美国德克萨斯州奥斯汀市 京工业大学（ 式宣布与 用 一、 程 一、 程 2009年 10月 30日国防科技大学宣布研制成功我国首台千万亿次超级计算机系统“天河一号”。 2010年 5月 31日中国研制成功世界排名第二的 “ 星云一号 ” 。 年内中国即将宣布研制成功世界排名第一的计算机，其硬件架构都是 一、 程 适应复杂运算环境； 算单元多。 3、 一、 程 目前单个 80核 , 算速度非常快。 3、 0204060801001202003 2004 2005 2006 2007B/s)G P 0 U l t 0G 7 1N V 4 0N V 3 0H ap o w nW o o d c o t t E EN o rt h w o o B/s)一、 程 1060，可以用到普通的 能是 957亿次），功耗只有 160瓦。 毫秒 ) 一、 程 毫秒 ) 内存分配比较010203040506032*32 128*128 512*512 2048*2048 4096*4096 8192*8192图像尺寸耗时（2 128*128 512*512 2048*2048 4096*4096 8192*8192图像尺寸耗时（2 128*128 512*512 2048*2048 4096*4096 8192*8192图像尺寸时间比间比间比一、 程 一、 程 一 二 三 技术展望 汇 报 提 纲 二、 1、应用现状 地球物理技术发展历史与计算技术发展历史是不可分割的。计算技术在石油物探中的应用起始于二十世纪六十年代，但大规模的应用开始于二十世纪八十年代。总结了过去 40年间地球物理计算的发展历程，经历了四次重大变革。 （王宏琳教授） 20世纪 70年代 20世纪 80年代 20世纪 90年代 21世纪初期 2007 01020304050602001年 2002年 2003年 2004年 2005年 2006年 2007年 2008年 2009年系统数（个）二、 1、应用现状 世界超级计算 500强地球物理应用图表 国外两大主要地球物理服务公司 ）数达到 10万，形成强大的地震资料处理能力，尤其是地震叠前偏移成像能力。 国内中国石油和中国石化各油田和研究机构、技术服务公司也建立大型地震资料处理解释中心，计算性能规模从数十万亿次到数百万亿次不等。 2009年 6月 29日发布的全球超级计算 500强中，地球物理应用占有 43套。 2009年 11月 1日发布的中国超级计算 100强中，地球物理应用达到 20套。 （据赵改善） 二、 石油物探技术发展现状 1、石油勘探开发技术的特点：地震成像技术广泛应用，油藏描述技术水平不断提高，地球物理技术应用从勘探走向开发，水平井 能井 互勘探或实时勘探技术的提出等。 2、地震勘探特征：从叠后到叠前，从时间域到深度域，从单分量到多分量，从声波到弹性波，从构造成像到岩性反演、储层特征描述，从单一技术应用到多技术综合，从勘探到开发及勘探开发的一体化，数据量和计算量成指数增加等。 3、未来一段时间内地震勘探技术发展：万道以上地震仪得到广泛应用，高密度单点地震技术，高精度或高分辨率地震勘探技术将成为未来一段时间的主流。 从地震数据处理方面来看，叠前时间偏移已经成为标准化处理流程中的一个常规处理内容，波动方程叠前深度偏移将更加广泛应用，逆时偏移技术将逐渐成为主流技术。 综合利用多分量地震勘探信息的弹性反演技术将成为由地震数据转换为地层、油藏信息主要手段。 这些都将带来 巨大计算量的需求 ，是我们未来一段时间面临的重大挑战。 年 份 2003 2005 2010 2015 未来 面积（ 500 500 1000 1000 1000 面元大小（ 25000盖次数（次） 60 60 100 100 100 记录分量数 1 1 1 3 3 记录长度（ s） 6 6 6 6 6 采样率（ 2 1 前数据总道数（道） 3000万 4700万 6亿 36亿 144亿 叠前数据量 36020008000后数据总道数（道） 100万 160万 1250万 1250万 5000万 叠后数据量 12000型地震勘探数据规模预测一览表 二、 二、 2、叠前成像对计算性能的要求 不同方法的计算量预测0500001000001500002000002500002003年 2005年 2010年 2015年 未来浮点运算数（*7）炮域波动方程地震叠前成像始终是地球物理的焦点。自 20世纪 70年代初至今，波动方程偏移经历了发展停滞再发展的阶段。到 20世纪 90年代，随着计算技术的发展，再次把偏移技术推向了发展高峰。 21世纪，波动方程叠前偏移技术得到较快发展。 大规模集群计算机系统的应用，叠前时间偏移技术的应用已经成为常规化；叠前深度偏移由基于射线的克希霍夫积分算法向波动方程算法发展；深度域叠前属性分析技术和各向异性介质叠前偏移技术将成为下一个发展方向。 近年来，随着计算技术的发展，在基于单程波波动方程算法的地震成像技术得到应用的同时，基于双程波波动方程算法（ 逆时偏移 ）的地震成像技术成为了当前的研究热点。 计算量提高了一个数量级至数十倍 。 二、 2、叠前成像对计算性能的要求 2008年， 70%左右机时用于叠前深度偏移 2005年， 90%左右机时用于叠前时间偏移 二、 单个 前时间偏移运算速度可以达到百倍以上；硬件成本可降低 90%以上；机器体积不足原来的 3节电95%以上。 总时间比和核时间比0246810121416182032*32 128*128 512*512 2048*2048 4096*4096 8192*8192图像尺寸时间比间比间比050000010000001500000200000025000002001年 2002年 2003年 2004年 2005年 2006年 2007年 2008年 2009年峰值性能（G F l o p s ）处理器数（个）010203040506070单一处理器架构异构处理器架构架构其他2、叠前成像对计算性能的要求 二、 3、 国内 中科院地质与地球物理研究所、同济大学、 国石化南京石油物探研究院等分别利用 时偏移技术， 中国石油勘探开发研究院 西北分院、 大庆油田、胜利油田等单位已进行 东方地球物理公司研究院，在做应用 前已经取得了一定的进展； 2009年 等首先用 P 给出了利用 现高阶有限差分的算法； 推动 内地球物理技术在 二、 基于 对称走时 该方法突破了“常速层状介质或轻微变速层状介质”假设的限制， 在走时公式中，引入 速 度横向导数 ，提高走时计算精度，改善在复杂条件下的地震波的聚焦效果； 基于 ，提高时效。 横向变速介质波前面传播 横向变速速度模型 横向变速造成时距曲线不对称 V+ + 、 二、 左 ) 与 ）对比 通过对比分析，单节点计算能力（叠前时间域成像）： 、 处理系统 硬 件 环 境 12节点 各节点单 核 主频： 数： 48 60节点 双 四核； 主频： 数： 6080 12节点 型号 :数： 4*240=960 无 应用软件 弯曲射线 前时间偏移 测 试 情 况 面积（ 380 数据量 (747 采样（ 2 20 道长（ 6000 面元（ m） 25移距分组 48 200 输出线数 401760 451800 输出类型 移孔径（半径） （ s， m） T=300， 1500， 3000 X=300， 3500， 3500 Y=300， 3500， 3500 T=0,1500,6000 X=0,3500,3500 X=0,3500,3500 作业运行时间 二、 基于 成像 三维单程波方程偏移主要计算量在于下行波场和上行波场分别在深度方向上向下延拓过程。该偏移算法其循环结构为： 炮循环与每炮内部的深度循环 。 根据三维单程波方程偏移成像算法的特点， 外层循环单炮循环利用 通过进程级粗粒度实现。在每炮内部，数据的输入输出、除波场延拓和提取成像值外的其它运算（如输入单炮数据从时间域转换到频率域、单炮成像结果叠加、偏移背景速度场的计算等）均在 4、 二、 模型数据不同偏移算法偏移效果对比 单程波偏移 克希霍夫偏移 速度模型 、 单程波波动方程叠前深度偏移 不同偏移算法偏移效果对比 二、 通过对比分析，单节点计算能力（单程波成像）： 处理系统 硬 件 环 境 12节点 各节点单 核 主频： 数： 48 60节点 双 四核； 主频： 数： 6080 12节点 型号 :数： 4*240=960 无 应用软件 单程波深度偏移 测 试 情 况 面积（ 300 数据量 (487 采样（ 2 20 道长（ 6000 面元（ m） 25移炮数 29328 30678 延拓深度 6000 5000 空间孔径 X=500*25， Y=150*25 X=280*25， Y=280*25 频率孔径 T=0， 4000， 6000 F=50， 40， 30 F=868 作业运行时间 402小时 =平均每炮时间 二、 基于 成像 三维双程波方程单炮逆时深度偏移主要计算量在于震源波场和检波器波场分别在时间方向上传播过程。该算法震源波场为正时间传播过程，检波器波场为反时间传播过程，采用零延迟互相关成像条件成像。 该偏移算法其循环结构为： 炮循环与每炮内部 的时间循环 ，每个时间步骤由三维差分构成。根据逆时偏移算法特点，外层单炮循环利用 4、 二、 理论模型试算 型 速度模型 二、 理论模型试算 型 单程波偏移 克希霍夫偏移 逆时偏移 速度模型 20 二、 单程波偏移结果 逆时偏移结果 二、 逆时偏移 单程波动方程偏移 、 通过对比分析，单节点计算能力（双程波成像）： 处理系统 硬 件 环 境 12节点 各节点单 核 主频： 数： 48 64节点 双 四核； 主频： 数： 6412 12节点 型号 :数： 4*240=960 无 应用软件 逆时深度偏移 双程波深度偏移 测 试 情 况 面积（ 300 数据量 (487 采样（ 2 20 道长（ 6000 面元（ m） 25移炮数 29328 30678 延拓深度 5000 5000 时间延拓 波主频 F=20 F=18 作业运行时间 205小时 =1008小时 =42天 平均每炮时间 前时间偏移 程波 384 190 时偏移（ 1008 202 值 1: : P U 与C P U 运行时间比020040060080010001200h）0510152025303540处理系统 硬 件 环 境 12节点 各节点单 核 主频： 数： 48 64节点 双 四核； 主频： 数： 6412 12节点 型号 :数： 4*240=960 无 应用软件 逆时深度偏移 双程波深度偏移 测 试 情 况 面积（ 试验 300平方（实际数据 1440平方） 数据量 (487（ 2300） 采样（ 2 20 道长（ 6000 面元（ m） 25移炮数 29328 30678 延拓深度 5000 5000 时间延拓 波主频 F=20 F=18 作业运行时间 205小时 = 41） 1008小时 =42天 （ 2