基于大数据的油田生产挖掘平台架构的研究及应用开题报告.pptx

基于大数据的油田生产挖掘平台架构的研究及应用开题报告 石油工程硕士一班宋尊锋2015年1月7日 1 一 课题研究的目的与意义 油田开发指标分析和预测是油田开发规划 开发方案设计与决策管理的重要依据 利用油田各应用系统所提供的数据对油田开发进行分析决策已经成为实现油气田生产经营管理目标的重要行为之一 信息化的管理方式已经深入到生产与管理的各个层次 随着油田信息化建设模式由数字化向智能化转变 为解决单项需求和部门应用 越来越多各自独立的子系统建成并投入使用 存在的问题也逐渐暴露出来 一 课题研究的目的与意义 1 大量重复功能及兼容性问题造成资源浪费 管理复杂低效 信息传递冲突不畅 2 各系统内的数据彼此独立 互不关联 形成信息孤岛 数据共享困难 3 生产数据量和数据类型复杂度不断增大 实时数据和非结构化数据不断增多 传统数据库或数据存储方式已不能满足今后发展需求 4 面对日趋复杂的海量生产数据 传统分析方式已经显得力不从心 制约了油田生产的分析决策水平 一 课题研究的目的与意义 针对上述问题 我们需要建立一个基于大数据的油田生产挖掘平台 将油田现有生产 经营等各类信息系统进行统一整合 通过整合 改变现有单一专业纵向生产管理和研究模式 使管理人员 研究人员和技术人员能够轻松获取和共享来自油田不同专业的数据 在丰富的数据基础上 通过数据挖掘技术 不仅可以开展油田研究 进行生产分析 还可以实时获取现场生产数据 监控生产运行状态 更好的管理和经营油田 二 国内外现状研究 目前无论国内还是国外在传统的油田数据挖掘领域都取得一定应用成果 主要通过模糊逻辑理论 神经网络系统等数据挖掘算法 基于mesh网络 移动网络平台 利用小型机或大规模服务器完成相关油田各应用系统软件的开发及应用 实现油水井动态分析 油水井检测与诊断 油田自动监控等功能 为技术人员和管理人员提供可靠的管理决策意见 二 国内外现状研究 由于国外云计算应用起步较早 对基于大数据的分布式存储和计算应用较为广泛 传统的it公司也都转型到云计算领域 比如ibm hp 他们都有自己的大数据挖掘平台 比如2011年ibm公司就推出了ibminfospherebiginsights大数据分析平台 国内油田目前基于大数据的数据挖掘方式正处在起步阶段 但随着中石油两地三中心的云计算模式的不断推广应用 各油田都在建立自己的数据中心 搭建私有云平台 大数据必势不可挡 三 课题研究目标 研究内容 研究目标结合目前油田生产各业务系统 各类数据库建设情况 以及油田生产应用需求 构建基于大数据的油田生产数据挖掘平台及体系架构 三 课题研究目标 研究内容 研究内容基于大数据的油田生产挖掘平台主要包括应用系统整合 大数据挖掘平台及数据展示应用3层架构 主要研究内容也围绕这三个层次展开 基于大数据的油田生产挖掘平台系统架构图 1 应用系统整合研究应用系统整合主要对油田现有应用系统用户权限 数据库 软件协议和数据接口等进行调研 通过数据抽取 数据转换 屏幕图像识别等技术将分布在各独立数据库或系统中的数据整合 并转换成适合数据挖掘或建模的形式 构建样本数据集 二 课题研究目标 研究内容 大数据数据挖掘 hdfs hbase分布式数据存储 数据仓库 大数据数据挖掘 数据汇总 模型数据 分析数据 元数据 挖掘算法 建模工具 知识库 2 大数据挖掘研究通过分布式存储技术 hdfs hbase 实现汇总数据 模型数据 分析数据以及元数据等各类数据的存储 相当于数据仓库 基于大数据建模算法和工具 挖掘数据中隐藏的模式或关系 采用数据建模软件 如spssmodeler hadoop等 建立分类或预测模型 规则 公式或方程式 从而生成预测结果 确定评估方法并利用测试样本 结合专家经验不断提升模型精度 辅助油田生产决策 二 课题研究目标 研究内容 数据展示应用 动态分析 产量预测 实时监控 效益评价 可视化展示 人机交互 二 课题研究目标 研究内容 3 数据展示应用研究将建立的数据模型针对油田生产需求封装成可运行软件 包括建模算法的实现 数据的可视化和界面设计等 最终展示给用户使用 实现人机交互 三 课题拟采取的研究方法 技术路线 研究方法 1 调研与学习 通过与油田公司信息中心 信息技术公司的数据专家进行大数据 数据挖掘技术 已有数据挖掘系统进行技术上的学习与交流同时对采油厂地质 工程等相关业务口专家进行业务方面的调研 完成需求分析 2 通过现场应用 结合生产实际 利用信息中心便利的实验条件和软件开发资源 建立一个适应持续数据增长需求的数据挖掘体系架构 三 课题拟采取的研究方法 技术路线 技术路线 数据挖掘数据转换数据抓取技术研究 各独立信息系统数据库 模块等调研 应用系统整合 分布式存储与技术研究 大数据挖掘 大数据数据挖掘平台研究 基于大数据的油田生产数据挖掘平台 软件封装 数据展示应用 建模算法 数据可视化 四 课题预期创新点 1 基于最新的分布式存储 分布式计算技术 实现最高性价比 可以应对数据量的持续增加 2 将各类油田生产相关数据统一到大数据挖掘平台来进行数据挖掘 在算法库不断完善的前提下可以实现对油田海量数据整体进行数据挖掘 从而发现其中隐藏的有效信息 解决原有信息孤岛问题 五 进度安排 1 2015 11 2015 12 进行国内外文献调研 撰写文献综述 开题报告 2 2016 1 2016 5 对油田现有应用系统用