大数据时代的地震勘探软件平台课件.ppt

中国石化石油物探技术研究院 2016年5月24日 2 提纲 nnnn Frame平台概况 Frame1 0主要功能 Frame平台技术特色 Frame平台未来发展 3 Frame平台概况 Frame地震软件平台 由中国石化组织研发 面向大数据时代油气地震勘探技术 发展与应用需求的新一代地震数据处理解释软件平台 是国际石油工业与地球物理业界第一个基于Hadoop大数据 技术体系构建的大型地震勘探软件平台 Frame 4 Frame平台概况项目背景 海量地震数据管理和超大规模并行计算对油气勘探软件架构提出了新挑战 对地球物理勘探软件平台提出了更新换代的要求 基于强大的需求与信息技术发展带来的机遇 中国石化组织研发了面向未来业务需求的新一代地震数据处理解释软件平台 MEMS检波器 单点高密度地震 宽方位采集 多源地震 多分量 微地震实时监控 高性能计算技术发展 多核CPU GPU 分布式存储 大数据技术 Hadoop 5 Frame平台概况研发历程 开始地震数据处理 批处理与交互 功能开发完成关键技术验证选型与基础平台关键功能开发开展Hadoop技术验证 完成软件平台架构设计12月正式启动 Frame项目 推出 Frame1 0地震处理系统完成平台测试 完善平台与处理功能 2013年2012年2011年2010年 2015年2014年 Frame平台概况 Frame1 0发布 SEG年会 美国新奥尔良 2015年10月19日 6 7 Frame平台概况 Frame三大组成部分 8 Frame1 0主要功能 Frame1 0地震处理系统的主要功能组成 1 简单 便捷的系统主控界面2 高效 易用的海量数据管理3 可视化批处理作业流程管理4 全程实时化的作业监控管理 5 面向应用与用户的资源管理与服务6 地震数据浏览与分析 7 工区底图与平面属性分析8 三维可视化应用9 速度分析与建模 10 地震资料批处理业务功能 9 Frame1 0主要功能 简单便捷的系统主控界面 p项目管理p用户管理p数据管理p资源管理p模块管理p作业管理p日志管理p交互模块 10 Frame1 0主要功能高效易用的海量数据管理 数据导航树与属性 数据历史管理 11 Frame1 0主要功能高效易用的海量数据管理 实时交互分析与校验预览于一体的地震数据导入 观测系统数据加载 12 帮助区 流程编辑区 Frame1 0主要功能可视化批处理作业流程管理 批处理作业流程编辑器模块选择区 模块参数编辑区 13 Frame1 0主要功能可视化批处理作业流程管理 支持多种复杂类型作业流 多分支 单进多出 作业流 多分支合并作业流 多分支混合类型作业流 14 Frame1 0主要功能全程实时化作业监控管理 作业监控与管理 作业运行全程实时监控及信息记录 15 Frame1 0主要功能 全程实时化作业监控管理 作业运行信息监控与日志 16 Frame1 0主要功能 面向应用与用户的资源管理服务 集群与单节点系统资源监控 17 Frame1 0主要功能 面向应用与用户的资源管理服务 队列管理 存储配额管理 18 Frame1 0主要功能 面向应用与用户的资源管理服务 作业队列与资源调度 队列优先级控制与资源抢占和退出 19 Frame1 0主要功能 地震数据浏览与分析 20 Frame1 0主要功能地震数据浏览与分析 视速度分析 频谱分析 交互地震道编辑 初至自动拾取 交互初至拾取 21 Frame1 0主要功能工区底图与平面属性分析 工区底图 炮检点分布 平面属性显示 覆盖次数 地震切片显示 平面属性显示 检波点高程与静校正量 22 Frame1 0主要功能速度分析与建模速度分析 沿层速度建模 网格速度建模 23 Frame1 0主要功能速度分析与建模 近地表速度模型反演与编辑 近地表速度反演与模型编辑 24 Frame1 0主要功能三维可视化交互应用三维叠后数据体浏览 三维叠前道集数据浏览 初至拾取三维显示 25 Frame1 0主要功能 地震资料批处理业务功能 FrameV1 0已支持完整的常规地震数据处理流程 目前已有批处理模块100多个 交互应用模块近30个 新的模块在不断 集成和增加中 26 Frame平台技术特色 Frame定位 大数据时代的新一代地震勘探软件平台 四大设计理念 面向海量地震数据高效管理 PB级 面向超大规模并行计算 超万核级面向地震处理解释一体化面向开放共享与服务 关键技术选型 基于先进的大数据技术架构Hadoop 27 Frame平台技术特色 Hadoop大数据技术体系支撑下的 Frame基础技术架构 28 Frame平台技术特色 基于Hadoop HDFS的海量地震数据高效管理技术 海量数据管理能力 100PB级以上 数据高吞吐能力 高可扩展性 高容错性 高性价比 29 Frame平台技术特色基于Hadoop MapReduce的地震数据处理并行计算框架数据剖分 Map任务 Map任务 Map任务 Map任务 数据规约 数据规约 数据规约 数据合并或清理 注册历史 数据并行是地震数据处理 中最普遍的并行计算模式数据注册 多级并行 节点级 Map级 线程级 GPU核级 全 并行 处理 系 统 30 Frame平台技术特色 基于Hadoop MapReduce的地震数据处理并行计算框架 31 Frame平台技术特色 Frame平台的四大特色 规模大 计算机部署规模 数据管理规模 应用支撑规模速度快 分布式输入输出 并行计算 全并行化开放性 开源技术 开放平台 免费在线开发服务智能化 架构层 系统管理层 应用层 界面层 32 Frame平台技术特色特色1 规模大 海量地震数据管理支撑 100 PB 大规模并行计算资源支撑 1000 节点 数万 数十万核 大规模用户 项目 作业支撑 4000 单作业处理数据规模大 18TB数据的分选作业 大规模功能扩充支撑 33 Frame平台技术特色特色2 速度快 基于分布式文件系统的并行I O带来的高吞吐能力68个节点 每个节点4块硬盘的测试系统配置 测试获得了35GB s即约2TB m的I O性能 约3 5GB s即200 GB m的地震 数据加载性能 常规地震批处理作业吞吐性能 全并行化批处理机制带来的大规模并行计算线性扩展能力融合并行数据I O和并行计算 数据划分与数据备份 计算任务 容错等特性 支持作业并行 节点并行 Map级数据并行 多线程并行 GPU 异构并行等多级并行模式 34 Frame平台技术特色特色2 速度快 高性能的海量地震数据存取访问 1500GB min 35 Frame平台技术特色特色2 速度快 高性能的海量地震数据存取访问 快速数据加载 商业软件 300GB数据加载耗时115分钟 2 6GB m不能一次加载 人工并行 36 Frame平台技术特色特色2 速度快IO密集型作业 分选作业 p商业软件分选作业p数据量 200GBp计算节点 单节点p运行时间 138分钟p效率 1 4GB min p Frame分选作业p数据量 3 1TBp计算节点 472个p运行时间 29分04秒p效率 106GB min p Frame分选单作业测试最大数据量 18TB66节点 SORT作业 Frame 18TB 9小时商业软件 1TB 55小时 2019 12 20 37 可编辑 37 Frame平台技术特色特色2 速度快66个节点 3 2TB数据记录长度 8s采用间隔 1ms总道数 100940800 运行时间 13m12s245GB min 运行时间 20m54s155GB min 38 Frame平台技术特色特色2 速度快 多种类型的作业运行性能 39 Frame平台技术特色特色2 速度快 地震叠前偏移模块的性能优化 KPSTM 70 5小时 Frame平台技术特色特色2 速度快 地震叠前偏移模块的资源消耗优化 KPSDM旅行时表缓存机制 1 42TB min 2TB min40 41 Frame平台技术特色特色3 智能化 架构智能 架构层容错性与鲁棒性 支持节点故障 磁盘故障 作业故障自动恢复 操作智能 上下文敏感的操作帮助 批处理作业参数自动校验 作业流程完整性 合法性自动检查 资源预警与作业错误报警 管理智能 资源调度 执行预测 节点动态增删 运行监控等智能化的系统监控及资源调度管理模式 大大提高了平台的易用性 便捷性和资源利用率 业务智能 道编辑 初至拾取与分析 速度分析等自动化数据处理与分析技术 42 Frame平台技术特色特色3 智能化 架构智能 架构层容错性与鲁棒性 支持节点故障 磁盘故障 作业任务故障的自动发现 迁移与恢复 43 Frame平台技术特色特色3 智能化 数据管理的安全性和容错性 支持节点动态增删 44 Frame平台技术特色特色3 智能化 数据管理的安全性和容错性 节点故障监测与自动处理 发现和恢复时间2分钟以内 与磁盘容量和网络带宽相关 45 Frame平台技术特色特色3 智能化 作业管理的安全性和容错性 节点故障条件下作业的正常运行 测试作业 2 1TB INPUT BPFILTER OUTPUT 46 Frame平台技术特色特色3 智能化作业管理的安全性和容错性 节点故障条件下作业的正常运行 测试作业 2 1TB INPUT KPSTM OUTPUT 47 Frame平台技术特色特色3 智能化 全生命周期的临时空间管理 p两种管理机制 u本地临时空间 uHDFS临时空间 p全生命周期管理u申请 使用 销毁 u临时空间的预判机制u自动清除机制 u作业崩溃或终止时 自动删除临时数据和输出数据 48 Frame平台技术特色特色4 开放性 开源技术的广泛应用 Linux操作系统 Qt图形界面开发工具 OpenSceneGraph三维可视化开发工具 Hadoop大数据处理技术平台 JSON数据交换格式 Eclipse集成开发环境 Ganglia集群资源监控工具等 保障 Frame平台的长期稳定发展 对外提供功能丰富 开放集成的软件开发包 SDK 和集成开发环境 IDE 支持大型地震软件的开发和方法技术的软件集成 构建一个基于云服务的地球物理技术研究 软件开发与应用服务平台 提供一站式的开发服务和一体化的应用服务 形成开放的地震专业软件社区 实现集技术交流 成果分享 需求发布和技术交易于一体的用户互动 最终建立基于 共建 共享 共赢 发展理念的石油物探软件生态系统 生态圈 49 Frame平台技术特色 IDE集成应用开发环境 批处理模块代码模板 交互应用开发向导 模块示例工程 模块开发向导 参数 JSON 可视化编辑器 参数文件的自动校验 批处理模块可视化参数编辑 应用集成帮助手册 应用帮助手册生成工具 集成帮助系统 批处理模块编译 自动部署 交互应用本地调试 开发辅助功能 代码格式化 50 Frame平台技术特色 支撑一站式开发服务的地震集成应用开发环境 SDK IDE Tools 验证环境 51 Frame平台技术特色 SDK地震软件开发包 3000 项API 52 支持C C Fortran CUDA等编程语言 Frame平台技术特色基于Eclipse的 Frame集成开发环境 IDE 基于Eclipse插件机制的PIIDEPlug in 53 Frame平台技术特色 IDE集成应用开发环境 批处理模块开发模板 54 Frame平台技术特色 IDE集成应用开发环境 所见即所得 交互模块开发 55 Frame平台技术特色 IDE集成应用开发环境 Tools应用程序管理工具 56 Frame平台技术特色 IDE集成应用开发环境 系统升级与模块部署 57 Frame平台技术特色 IDE集成应用开发环境 在线帮助系统 58 Frame平台技术特色基于云计算的软件开发服务 永久免费的一站式开发服务 www piframe org Frame平台技术特色基于云计算的软件开发服务 永久免费的一站式开发服务 www piframe org59 Tools VerificationSystem 整合开发环境SDKIDE 优化开发模式 降低开发成本 互利共赢 共建 共享 共赢 便捷任何人 任何地方 任何时间 一站式IDEAPIsTools应用社区开放 60 Frame平台未来发展 Frame1 0总结 1 基于大数据技术支撑地震处理解释一体化应用的地震软件平台 1 业界第一个采用Hadoop大数据技术架构的地震软件平台 2 海量数据高效管理能力和I O吞吐能力远超主流商业软件 3 超大规模并行计算支撑能力适合企业级部署和云计算应用服务 4 层次化平台架构具备完整的系统管理 数据管理 图形交互 作业流 引擎 资源管理 作业调度等平台功能组成 并易于扩充 61 Frame平台未来发展 Frame1 0总结 2 面向海量数据和大规模并行计算的地震处理系统 1 业界第一个支持全并行的地震处理软件系统 所有模块计算与IO并行 2 突破IO瓶颈 地震数据处理效率和规模明显优于主流商业软件 3 在架构 管理 操作和业务层面具有丰富的智能化功能 62 Frame平台未来发展 Frame1 0总结 3 支撑一站式开发服务的地震集成应用开发环境 1 提供了功能丰富 开放集成的软件开发包 SDK 和集成开发环境 IDE 支持大型地震软件的开发和方法技术的软件集成 2 提供了批处理模块 交互应用模块或插件软件开发模板与向导 3 提供了模块开发验证工具与环境 4 提供了软件安装部署 升级