NoSQLt在数字化油田中的应用.docx

NoSQLt实时历史数据云在数字化油田暨油气场站智能化中的运用海口诺塞克西海数据科技有限公司二一五年九月1. 石油系统的大数据需求简述目前，随着计算机科学的进步，互联网技术的进步，计算机设备的数据处理能力越来越强，数据传输也越来越方便，不知不觉，世界逐渐进入大数据时代和云计算时代。而另一方面，在摩尔定律的指导下，计算机性能不断增强的同时，价格却不断走低，部署也越来越容易，大规模计算集群不再是少数行业的专利，各行各业的企业用户，均可以以低廉的成本，搭建属于自己的“私有数据云”。再者，数字电路，探测技术越来越发达，探测器件效能越来越高，价格也不断降低，大规模构建探测网络不再是难事，物联网技术逐步成熟，人们使用计算机的习惯，逐渐从“人机交互”改变为“机机交互”，无数与我们生产、生活紧密相关的数据被实时采集，实时传送，实时存储，实时处理，构建出庞大的“地下数据暗河”，在人们几乎没有感觉的情况下，默默地为我们的生产经营行为服务，起到了数据保障的作用。因此，在大数据和云计算时代，传统的行业面临着一场几乎全新的“大数据革命”，产品生产过程中，人们越来越关注 “随时生产，随时采集观察数据，随时进行数据挖掘分析，随时进行生产效能调优、保障安全”，实现“大数据化智能生产过程管理”。在石油行业也面临这样一种变革，近几年石油系统如火如荼的数字化油田建设，油气场站生产管理自动化、数据化、智能化，都体现出对这种大数据变革的适应，以大数据、云计算思想指导油田生产的上中下游，将成为未来油田的主流方式。油田的建设是一个长期漫长的过程，期间很多场景都面临大数据问题，特别需要能支持海量大并发数据的高效处理手段。如地球物理勘探，采用爆轰波进行地震勘察，一次爆炸作业，短短几分钟内就会产生大量的数据，这些数据变化很快，需要高频探测，尽可能详细地记录下来，供后期精确处理解释，这需要现场数据处理核心具有高速“吞吐数据”的能力，能以毫秒级的速度记录下所有数据，并确保数据不丢失。在钻井、勘探过程中，井场重型设备很多，安全生产是大问题，这很大程序取决于设备是否正常。在一个钻井周期，重要设备7*24小时连续运转，需要实时监控设备的运行数据，对井深，泥浆注入量等做精确控制和监视；后勤上，必须跟踪钻头和钻杆的维护程度，为每根钻杆建档，记录每一次超声波探伤的记录，跟踪其生命周期，对于即将报废的钻杆提出预警，及时淘汰，避免出现生产事故。这些都需要长时间海量的大数据存储计算能力。在采油环节，大部分井场、油气场站和输送管道都在野外，人工驻站成本很高，且有很大安全风险。但“磕头机”、各级泵站全天候连续运转，需要监控维护。这就需要建立能7*24小时连续稳定运行的数据处理中心，不断采集跟踪设备的参数，挖掘其实时历史数据，分析其健康情况，提前预警，避免设备损坏影响生产。而这，必须依赖处理实时采集的和历史存储的海量大数据，挖掘计算，及时提出预警。当油气进入管道，必须长期监视管道的腐蚀情况，对于陈旧的管道即时预警，提出更换，避免漏油造成类似山东黄岛之类的恶性爆炸事故。另外，管道偷油是石油的老大难问题，需要实时监控管道压力，计算剪刀差，并且高速响应，在几秒内提出预警，才能通知警方及时出警，抓获偷油贼，避免损失。这需要高速的大数据响应能力。进入炼油环节，炼厂设备众多，运转复杂，安全风险很高，必须7*24小时不间断监控生产各个环节的数据，避免事故。这尤其需要具有高效实时历史大数据的处理能力。即使到了成品油销售环节，也离不开大数据，油气罐车、加油站属于高危作业，必须随时予以高度监控，避免出现天津港爆炸之类的重特大恶性事故。这些都需要连续不断的高效处理海量实时和历史数据，进行跟踪分析。目前我们石油系统正在“走出去”，在国外进行探采输作业，但由于国外政局不稳，安全风险很高。某些极端情况，作业人员会撤离，现场生产设备会毁坏。而灾后重建时，设备购买安装容易，但是长期积累的生产数据丢失，才是重大损失，严重的数据丢失甚至会导致生产无法恢复。因此，把外面的数据远程传回国内，进行安全保存，是刚需。这需要油田数据系统必须具有远程、劣质链路的传输能力，能适应有线、无线甚至卫星链路的传输特点，将数据安全、高效地传输到国内数据中心。综上所述，石油行业是最需要大数据的行业，大数据贯穿于油田生产的始终。油田生产是一个综合性多科目合作的复杂项目，单一设备、场站的生产实时数据，不足以描述生产的全部，需要将全域数据整合计算，甚至还包含长期的历史数据分析，才能得出生产决策结论，实现优化投资和资源配置，生产效能不断调优，保障安全生产。但目前在数字化油田建设中，生产大数据的管理和使用还不尽人意，各种SCADA和DCS系统由不同厂商生产，数据格式不统一，各自闭环运行，很少考虑油田全域范围的数据汇聚，“数据孤岛”现象非常严重。以设备、场站为核心的建设思想，对数据传输链路的安全性和稳定性考虑不够，数据传输中效率不高，损失较大。各实时系统缺乏长期的数据保存，无法对油田全生命周期的历史数据做深度挖掘分析，无法实现“计划和管理水平”再上新台阶。所以，数字化油田建设必须在传统的设备采购和基建之外，专门搭建自己的综合、大型、基于全域全生命周期的“生产实时历史数据云”系统，实现生产数据的采集、传输、存储、计算、供给、辅助决策。2. 油气场站智能化数据管理分析对标海口诺塞克西海数据科技有限公司，是由一群具有多年工业现场数据服务经验的专业人才构成的高科技创新型企业，核心团队成员曾多年服务于工业自控领域和流程型企业的生产过程数据管理领域，具有丰富的生产现场实时历史数据处理经验。在2010年，西海数据核心团队看到了工业大数据革命趋势，展开研发，于2013年推出了自己的NoSQLt实时历史数据云系统，针对各行各业用户，特别是石油、航天、气象、煤炭、交通等大行业用户，提供高效可靠的工业级实时历史数据云搭建方案，满足这些企业用户对生产过程数据在线、实时管理分析的需求。NoSQLt实时历史数据云，是完全国人自主研发，自主全部知识产权的平台型软件产品，专门用于处理工业生产现场时域测量型数据，可高效压缩、存储、供给海量实时和历史数据，支持高速统计、高速历史趋势线、高速历史数据批量回放等数据挖掘应用，提供平行扩容，异地容灾能力，可帮助企业用户轻易搭建生产过程数据云。NoSQLt实时历史数据云一经推出，即受到军方客户的关注，参与了某部气象大数据中心的建设，获得了用户的好评，并即将进入核心业务层继续为用户服务。西海数据和石油系统有着很深的渊源，团队的几位核心创始人为石油行业出身，曾长期奋战在石油一线。因此在研发过程中，西海数据团队非常关注石油大数据的需求，先后用了近两年的时间，走访了一些设计院，大的系统集成商，摸需求，找问题，并一一对标，在NoSQLt实时历史数据云中予以支持实现。NoSQLt实时历史数据云可向石油用户提供生产现场原始数据采集之后的，数据实时传输、实时压缩、实时存储、实时计算、实时同步、实时供给等一系列数据服务，帮助用户搭建广域范围内的“油田生产大数据云”，用户可以在任何网络可达之处，就近获取数据，计算数据，并反馈显示，实现高效，高自由度的数据统计和挖掘计算，帮助用户实现石油生产辅助决策，实现油气场站和管线的生产调优和安全生产。NoSQLt实时历史数据云可有效支持数字化油田，油气场站智能化全域的，长达几十年的全生命周期数据管理。其核心特点如下：2.1. 采集方便 油气场站现场各子系统多种多样，分属不同厂家，数据接口不同，格式不同，这首先要求NoSQLt实时历史数据云具有灵活多变的接口策略，多样化的API，统一的数据格式，以方便用户定制接口程序，实现用户数据操作。为了满足这一需求，NoSQLt系统采用了工业界广为使用的时域数据格式作为基本格式，即“时间戳+采样值+质量码”，这一设计原则贯穿于NoSQLt实时历史数据云的设计始终。可以说，数据一进入NoSQLt系统，即被统一为一种格式，不再改变，方便用户的后续使用和开发。时间戳允许精确到毫秒，NoSQLt是“真”毫秒系统，即每个tag每秒允许存储1000笔数据。这在物探爆炸探测作业时非常有用，每个测点均可以存储每个毫秒的数据变化，构建完整的“数据图像”，使处理解释更精确。质量码用于描述数据采集质量，只有标定为good的数据才会参会后续的计算，其他由用户自定，可描述设备的额外信息，帮助用户更好管理设备。采样值允许int8、int16、int32、float32、float64等格式，可以精确描述油田自动化生产的开关量和模拟量，另外，还允许存储字符串，可以作为日志记录，或记录某些不易数字化描述采样值，如现场拍摄的大量视频、照片，NoSQLt可以为其编目，和其他数据记录进行联动回放，实现更有效的展示。NoSQLt系统直接提供OPC Client接口程序，以适应数字化油田广泛使用的OPC协议。用户可以很方便地将数据导入数据库。而对于非标协议，NoSQLt提供C、C+、C#、JAVA等各种API，提供接口Interface编程模板，尽量减少用户的开发工作量。另外，NoSQLt的采集还包含了数据传输，API内置cache，提供“劣质链路发送后不管”的服务品质，同时，NoSQLt内置N2N数据库间同步网络，具有完善的传输设计，所有的传输均自动适应断网、掉电甚至灾难的情况，自适应劣质链路。在前期军方测试中，N2N已经经过了超过5000千米的传输试验，且支持DTN时延容忍网络，数据传输不丢不乱，满足用户的需求。所以，一旦采用NoSQLt系统，石油用户无需关注底层数据导入和传输细节，所有传输汇聚工作交由NoSQLt完成，用户仅需关注业务，做针对性开发即可，这减少了大量的开发工作量和开发难度。2.2. 高效实时 数字化油田，现场有成千上万的探测器件，这些器件都是周期性产生数据，很多都是秒级，这要求NoSQLt系统必须具有极高的效率，“吞下”生产现场的海量数据，且还能同时支持大量业务端的读取，计算等请求。实际中还不止于此，劣质链路远程传输中，断网掉电是常态，当某个节点断网，其数据在内部缓存，一旦网通，会立即进行历史数据补全，这个补全动作会和新的实时数据同步进行，这说明，NoSQLt系统除了能处理当前生产的实时数据，还必须保留足够的余量，能“吞下”由历史补全造成的峰值流量。因此，NoSQLt实时历史数据库做了特别的优化，提供出业界领先的高效性能： 并行存储速度最大：无压缩129,999数据值/秒，平均存储时间140ms。 并发读取速度最大：1,000,000实时值/秒，平均读取时间320ms。 并发读取速度最大：1,000,000历史原貌值/秒，平均读取时间110ms。 最大500并发客户端/服务器（http API无此限制）。 N2N同步速度：150,000记录/秒（无压缩）。 经过和油田用户对标，NoSQLt实时历史数据云的性能完全满足油田生产的数据效率需求。2.3. 海量存储 油田生产从勘探、到钻井、采油，是个漫长的过程，一个油田的地质资料、钻井数据、设备采购运行情况，其他基础资料，往往需要保留几十年，以便随时查询。在进入采油环节以后，采油设备、油气管线可能也会几十年的长时间运行，这些设备会老化、腐蚀，究竟什么时候会损坏、泄漏、爆炸，这是关系油田安全生产的生命线问题，必须高度关注。所以，油田生产是一个特别需要长期历史数据积累和挖掘分析的行业，必须随时监视每台设备，每根管线的每个探测量，设定阀值，寻找其微小的数据变化，以便判定腐蚀情况，预测其爆管或损坏时间，提出预警，这也是石油生产的一个常态。另外，海量数据中有很多冗余、无用数据，必须对数据进行一定的清洗、过滤、压缩，以降低存储量，降低油田用户的使用成本。NoSQLt实时历史数据云适应这个需求，实时数据到来，会根据用户预设，进行过滤，清洗无用数据，另外，NoSQLt数据库内置高效的“波形无损压缩算法”，可以对数据进行高效压缩存储，压缩比甚至高达1：几万。另外，NoSQLt执行“收支两条线”原则，即存入数据的数量和实际可供给数据无关，即使经过高效压缩，NoSQLt内置的插值算法，仍然可以以每个毫秒为精度，向外还原数据。这个插值算法效率很高，用户甚至感受不到和真实存储数据的时间差。经过层层优化，一套NoSQLt实时历史数据库即可存储20万测点长达几十年的数据，经过网络部署的NoSQLt实时历史数据云，则无上限，用户可以任意部署，实现海量数据存储。2.4. 安全可靠 石油行业是国民经济的基础行业，是重要的民生行业和工业基础，很多时候，石油生产甚至是国家安全的保障。因此，石油内部的数据，对数据的存储安全和访问安全均具有较高要求。NoSQLt实时历史数据库，是完全国人自主知识产权的软件产品，西海数据也通过了军方的认证，是军品的合法供货商。NoSQLt在开发过程中，强调产品质量，通过了长达18个月的严酷高压测试，并在军方客户连续运行24个月以上。具有极高的稳定性，每套NoSQLt数据库均自带看门狗，支持7*24小时无人值守运行模式，关键事件日志记录，可以满足石油工业现场严格的运行标准。NoSQLt内置“以组鉴权”的权限管理策略，数据的写入、读取、管理、N2N同步均可以精确到每个tag定义，满足用户灵活多变的使用需求，特别是NoSQLt遵循“防区外安全采集”原则，野外无人值守的采集站点，其数据权限最小，仅能写入数据，黑客无法通过破解采集站的程序，侵入系统读取其他关键信息。NoSQLt实时历史数据云，支持核爆模式下的异地容灾策略，支持空地DTN网络，具有极高的生存能力，最大限度保证数据安全。即使发生山东黄岛爆炸这类严重的安全事故，现场数据存放在远端，不会丢失，用户可以轻易利用NoSQLt回放当时的数据场景，尽快检查出问题点，并制定相应策略，快速重点检索其他类似的油气场站的数据，预防类似事故的发生。2.5. 方便易用 NoSQLt实时历史数据库，内置高效的历史趋势线算法，单库每秒钟能输出1000个tag长达几年的历史趋势线，供用户联动分析，这种高效性在石油工业数据挖掘分析中非常有用。另外，NoSQLt还支持多个客户端多批次tag在过去某个时间点的面板数据回放，回放效率高效并行，支持电影级的帧进帧退操作，这在黄岛爆炸这类事故分析场合非常有用，用户可以逐个毫秒的进行数据分析，找出问题点。这些功能都是石油SCADA常用功能，NoSQLt数据库直接提供API，降低了用户的开发工作量和成本。NoSQLt数据云的API和N2N网络，均支持国内常见的网闸穿越模型，可以无缝将指定数据从生产区安全转移到办公区，供管理使用。在SCADA部署现场，以及数字油田和油气场站自动化、智能化安装部署现场，“对点”都是一个很繁重的工作，施工人员必须耗费大量时间成本将现场的每个采样测点和数据库、SCADA中的tag标签一一对应，使之能正确运行。很多时候，甚至要专门开发对点程序来完成。NoSQLt考虑到这一实际需求，API全面支持基于csv文件对点，以及数据导入导出，且支持csv文件自动生成，大大加快了对点工作，用户仅需在excel表格中编辑csv文件，对点数据即可快速上传数据库，将过去几个月的对点时间，缩短到短短几周，甚至几天完成。NoSQLt数据云所有组件均支持7*24小时无人值守运行，提供易用的全功能图形化管理工具，用户无需安排专门的运维人力，节约了用户成本。2.6. 易于扩展 数字化油田的建设是个长期的过程，随着技术的进步，会不断添加新的业务内容，这要求数字化油田的数据核心必须具有足够的弹性和扩展性，能适应未来发展的需求。NoSQLt充分考虑未来移动互联网，复杂链路，海量数据终端等应用场景，对油气场站无人值守，自动巡检，移动巡检，北斗地理信息跟踪等需求做了很多适应工作，以便适应油田用户未来的需求。如NoSQLt每个tag允许定义经纬度坐标，支持GIS应用。如在物理勘探中，可以在一个区域内以网格方式部署测点，进行地震探测，每个测点具有北斗坐标属性，数据可以被描述为2D或3D数据图像，实现精确的解释分析。NoSQLt提供多种API，并且数据云中任何一个节点API完全相同，用户程序一处开发，处处使用，可提高开发能效，降低成本。NoSQLt实时历史数据云，是由NoSQLt数据库作为节点，以N2N为纽带构建的庞大数据集群，系统本身逻辑不设限，基于工业tag标签的存储模式，数据之间无耦合，用户可以任意平行扩容，用户搭建的云大小，仅仅受限于用户的需求和预算。N2N技术提供N2N主干同步链路和N2N2树形汇聚链路