大数据技术在油气勘探的应用方案.ppt

2020/6/12,Inspurgroup,大数据技术在油气勘探的应用方案,浪潮集团行业应用技术总监郑贵德,2020/6/12,Inspurgroup,国际数据公司（IDC）的研究结果表明，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍,石油行业销售ERP系统管理8600万吨/年的成品油销售业务，年处理3450万张单据，勘探与生产方面有24万口油气水井;炼油与化工方面有1119套炼化装置业内人士指出，“石油工业是信息工业”，很少有其他工业领域像石油工业这样更依赖于数据,社会趋势,行业趋势,大数据时代,2020/6/12,Inspurgroup,数据量大：以地震波反射方式来收集海量数据为例，每次采集的二维数据可达12TB，三维数据可高达几百TB甚至PB级，四维数据将更加庞大,石油物理勘探的地震波法所得到的数据量非常庞大,是现今三大大型计算领域之一,计算量大：以叠前时间偏移为例，一个地震道的输出需要至少1000万道甚至更多（偏移孔径决定）的输入道，每一个点要做两次均方根运算以及两次加法运算，振幅补偿两次乘法运算。以1毫秒采样，6秒数据为例，实现一道偏移需要1000000 x60002(平方+加法+乘法)次数学运算，计算量和需要处理的数据量都极其巨大！,油气勘探大数据,2020/6/12,Inspurgroup,解决性能主要途径,并行计算,传统计算模式,关注问题,发展趋势?,大数据技术,2020/6/12,Inspurgroup,油气勘探分布并行计算解决方案,2020/6/12,Inspurgroup,油气勘探分布并行计算网络拓扑结构,NameNode,DataNode,MasterNode,RegionNode,2020/6/12,Inspurgroup,并行分布技术架构优势,高性能：自动实现大规模数据分布并行计算，高效实现大规模数据读取,高可扩：在可用的计算机集簇间分配数据完成计算任务，这些集簇可以方便地扩展到数以千计的节点中,高效性：能够在节点之间动态地移动数据，以保证各个节点的动态平衡，处理速度非常快,高容错性：自动保存数据的多份副本，并且能够自动将失败的任务重新分配,经济性：系统软件开源，应用软件开发简化。通过X86系列组成的集群系统，和小型机相比成本优势明显,2020/6/12,Inspurgroup,基于大数据一体机的油气勘探技术架构示意,2020/6/12,Inspurgroup,大数据一体机物理示意,可根据负载需求扩展节点，理论上数据节点数量可扩至4000个，存储容量可相应增长，至少满足PB级大数据分布存储在Hadoop技术框架的基础上提供并行处理及IO优化可实现户外计算应用单节点可支持配置：8路CPU,128G内存，32TB硬盘,浪潮大数据应用-卡口与智能交通,监控卡口1,监控卡口2,监控卡口3,监控卡口4,1亿/天车行轨迹,2300万车辆信息,9000千万人口,3000万驾驶员,卡口信息：牌号：鲁F123*车型：解放j6p颜色：蓝色位置：济南经十山大路口方向：自西向东时间：2013.2.58:45:30,全省17地市交通卡口每天采集行车记录数将近1亿条,云计算数据中心,根据牌号比对车辆行驶信息查找嫌疑车辆,监控卡口.,大数据的分析计算,车牌号,车型,颜色,距离,.,卡口信息,卡口信息,卡口信息,卡口信息,卡口信息,数据调取,数据调取,计算结果,浪潮大数据应用-推荐服务,浪潮大数据应用-淘宝天猫双11数据分析,税务云平台，350.4亿元天猫商城241.9亿元淘宝集市108.5亿元,阿里官方公布，淘宝和天猫销售额350.19亿,2013年全国双十一数据,C2C模式暂不收税，税务云平台仅采集天猫商城交易明细数据。,电商大数据采集云平台双十一运行情