通用数据采集管理平台.doc

大港通用数据采集管理平台大港通用数据采集管理平台介绍介绍 大港油田公司信息中心 目目 录录 一、概述.3 二、基础运行环境5 2.1 功能介绍 .5 2.2 特性总结 .9 三、数据模型管理平台.10 3.1 功能介绍 10 3.2 模型管理平台特性.12 四、公共数据采集与管理平台 13 4.1 公共数据采集与管理平台功能介绍 .13 4.2 公共数据采集与管理平台功能特性 .16 4.3 统一数据审核平台.17 4.4 统一数据审核平台特性18 五、统一数据决策分析平台.19 5.1 通用数据查询平台.19 5.2 通用报表平台 20 5.3 通用图表平台 22 5.4 决策仪表盘.23 5.5 联机分析24 六、统一集成应用平台.25 七、公共数据交换平台.27 八、公共空间数据展示平台.29 8.1 功能介绍29 8.2 特性总结30 九、一体化井筒平台 .32 十、结论.33 一、概述一、概述 简单的来讲，通用数据采集管理平台就是基于数据库 Web 应用的开发部 署环境，通过内置的元数据管理器、导航控制器、表单处理器、报表生成器、 报表定制器、图表控制和生成器等一系列定制和执行引擎，使开发人员快速开 发和部署企业管理系统。并简化开发人员对技术依赖，大大简化系统维护的技 术要求和降低维护成本。利用通用数据采集管理平台，构建的信息系统具有如 下几方面能力和优势： 快速：快速：能够以业务为导向和驱动、快速构建应用软件。通常利用通用数 据采集管理平台开发的应用系统的开发周期为传统编码的 1/3 左右； 满足用户持续发展的需求满足用户持续发展的需求：通用数据采集管理平台构建应用可以有效地 降低开发难度，使应用系统具有足够的柔性，其可伸缩性、可更改性、 可扩展性都非常好，随着用户的需求变化而变化；因而轻松应对用户在 业务发展过程中发生的需求的各种各样变化； 满足集成性要求：满足集成性要求：通用数据采集管理平台为复杂应用软件系统提供了一 个集成框架，不仅为集成同一平台上的各种不同软件提供了规则，还为 集成其他应用软件系统提供了集成接口； 满足个性化需求：满足个性化需求：由于通用数据采集管理平台的灵活性，以及它面向业 务的特点，全定制的开发模式，用户可通过它很容易、快速地满足自己 的个性化要求； 降低总体投资：降低总体投资：由于开发难度的降低、开发效率的提高，通用数据采集 管理平台的应用可大大降低复杂应用系统在开发、维护、发布、迁移、 集成、升级、服务等各方面成本。另外，通用数据采集管理平台的应用 也能很好地保护用户的投资，它的柔性能使应用系统的生命周期大大加 长。 通用数据采集管理平台对于油田勘探开发信息化建设的主要贡献在于提供 一个随需应变的基础软件平台，在该平台上可以快速构建石油勘探开发的业务 系统。 通用数据采集平台是基于业务基础平台理论进行设计和开发的，业务基础 平台是通用管理软件的开发和运行环境，可快速构建以数据库为存储基础的应通用管理软件的开发和运行环境，可快速构建以数据库为存储基础的应 用软件用软件。采用这种平台可以大大提高软件开发效率，并能快速地满足用户变化用户变化 的需求的需求，并提供集成性的要求提供集成性的要求。 通用数据采集管理平台是以业务模型、而非代码为核心来构建信息系统。 业务建模真正实现了 “快速开发、灵活调整、业务驱动、技术无关”的业务基础 平台要求，充分满足了信息系统建设的“整体规划，分步实施，自我掌控，随需 而变”的战略要求。 通用数据采集管理平台由下面几个核心部分构成：基础运行环境、数据模 型管理平台、公共数据采集与管理平台、公共决策分析平台、统一集成应用平 台、公共数据交换平台、公共地理信息平台； 二、基础运行环境二、基础运行环境 2.1 功能介绍功能介绍 基础运行环境构建了系统的基础软件运行环境，包括系统日志、权限管理、 用户管理、部门管理、权限管理等。同时系统还支持卸载安装，实现平台应用 的动态加载，并支持用户界面的个性化风格设置。 平台为企业信息系统提供了统一的公用基础设施和平台，企业的各类业务 系统，都直接构建和安装这个统一平台上，通过协同平台为基础和枢纽，将分 散的企业业务系统整合起来，形成一个有机的、紧密联系的整体，从而获得协 同和整体的效益。 平台界面 个性化风格设置 个性化风格设置 平台应用软件安装 平台应用卸载 体系设计 系统授权 策略权限设定 2.2 特性总结特性总结 基础运行环境具有下述主要特性： 页面风格页面风格：完全模拟Windows操作习惯，学习曲线低，程序无限挂接 全全AJAXAJAX实现实现：系统完全实现OSOP（One System One Page），浏览器与服务器只交 换数据，浏览器缓存技术，操作平滑流畅，用户体验度高。 安全体系安全体系：完整的认证权限、功能权限、数据权限，并基于BRAC（Base Role Access Control）体系，后期组织结构调整，不会对系统造成影响 。 插件式软件体系插件式软件体系：系统在定制开发后，可生成安装程序，在平台上安装和卸载， 彻底插件体系结构。 LiveUpdateLiveUpdate：平台采用SVN技术实现在线更新，保证后期即时升级，降低维护成本。 个性化风格设置个性化风格设置：平台桌面背景、颜色主题风格、桌面快捷、语言都可个性化设 置。 单点登录集成单点登录集成 ：可集成组织已有的单点登录体系 。 三、数据模型管理平台三、数据模型管理平台 3.1 功能介绍功能介绍 除 EPDM 之外，大港油田目前已经建设几十个各种专业系统，都各自有独 立的数据库系统，这些系统的模型管理和维护是相当艰巨的工作。通过统一模 型管理实现了数据模型统一维护，同时由于数据采集管理平台采用 MDA（模型 驱动架构）进行建设的，因此模型管理也是通用数据采集管理平台的基础。 模型管理平台主要包括三个模型模块的内容： 字典管理字典管理：统一管理系统中所有的分类数据； 量纲管理量纲管理：满足用户对多种单位制的要求，实现单位的自由转换； 智能建表及元数据管理智能建表及元数据管理：能够在浏览器中建立基础数据表并进行元元 数据描述（模型管理），提供直接表单建表和通过数据描述（模型管理），提供直接表单建表和通过 word 数据字典建表数据字典建表，可 管理包括数据表的索引、外键、主键等约束条件； 类别管理 3.2 模型管理平台特性模型管理平台特性 模型管理平台主要具有如下特性： 字典项管理：单级字典管理、多级字典项管理、Combo字典项管理； 量纲管理：全面实现量纲管理，包括系统量纲体系建设、量纲转换脚本； 文档(PDM)建表：利用Word、Excel和PowerDesigner文件，自动建表，并完整模型 描述； 数据模型维护：对后期模型修改完全在系统中进行，不需要手工修改数据表对象， 并同时完成数据模型更新； 模型日志管理与维护：数据模型修改，同时生成模型修改日志，日志文件可作为 多个系统模型同步依据； 模型约束管理：包括主键、唯一性、外键、引用关系全系列约束管理； 跨数据库支持：平台目前支持 Oracle、DB2、SQLServer、Sysbase、Mysql、Postgres众多各层次数据库； 四、公共数据采集与管理平台四、公共数据采集与管理平台 4.1 公共数据采集与管理平台功能介绍公共数据采集与管理平台功能介绍 公共数据采集与管理平台提供了对数据录入、审核、质量控制和管理等操 作，通用数据采集管理平台是基于模型进行建设的，用户只要点击几下鼠标就 可以顶支持各种数据采集和管理界面。通用数据采集管理平台主要包括控件管 理、模块管理、业务逻辑管理和流程管理等。 控件管理控件管理：控件管理主要用来构建在各种数据管理页面中出现的用以索引 外部关联数据的控件，包括列表选择、树选择和选择框控件列表选择、树选择和选择框控件等； 模块管理模块管理：用来提供数据管理程序定制和执行体系，包括树导航、列表页树导航、列表页 面、单记录录入、级联组合录入、列表录入、选择录入和交叉录入面、单记录录入、级联组合录入、列表录入、选择录入和交叉录入等基本数据 管理程序的定制，并可支持数据导入、查询导入的初始数据导入方式； 单记录采集只要支持的功能包括： 数据权限设定 页面打印输出 个性化表单设置 页面计算 后台计算 脚本页面控制扩展 外部数据导入 树选择控件、列表选择控件、选择框控件 单记录采集页面 列表录入采集页面是实现用户在录入数据时候不需要切换页面，一行一行 的把数据录入。主要页面功能： 页面打印输出 数据复制 页面计算 后台计算 脚本页面控制扩展 外部数据导入 树选择控件、列表选择控件、选择框控件 交叉录入类似 Excel 的录入模式，比如计划数据的录入，单位和月份是限 定的，用户只要在一个页面上就可以完成整个油田的计划数据录入。主要页面 功能： 页面打印输出 页面汇总计算、总量控制 后台计算 脚本页面控制扩展 外部数据导入 树选择控件、列表选择 控件、选择框控件 级联数据录入是用来录入主从表数据，比如相对渗透率数据，有一个主表 和一个从表构成。主要功能包括： 主从表数据录入 页面打印输出 数据复制、页面逻辑 后台计算 脚本页面控制扩展 外部数据导入 树选择控件、列表选择控件、选择框控件 业务逻辑：业务逻辑：实现了包括存储过程、Java 类、查询映射、BeanShell 脚本多种 模式，对业务逻辑计算进行在平台内编码实现； 4.2 公共数据采集与管理平台功能特性公共数据采集与管理平台功能特性 公共数据采集与管理平台的主要特性包括： 基于模型建设基于模型建设：基于数据模型建设，完整继承了模型的值域、数据类 型、特殊设定，模型修改更新直接更新采集程序 多种采集页面支持多种采集页面支持：系统提供单记录录入、列表录入、级联录入、交 叉录入、选择录入、主题录入等常用数据录入和管理页面。 数据自动载入数据自动载入( (导入导入) )：系统支持缺省值导入、导航栏输入导入、查询 数据导入多种数据导入模式；同时根据数据模型定义，还支持诸如当 前日期、录入人、修改人等信息的自动载入，外键关联数据可由控件 载入或导航载入 。 多种数据导航方式多种数据导航方式：系统支持列表页面导航、树导航等实现需要管理 数据的快速索引，列表页面导航还可根据数据类型逐级缩小查询范围。 页面逻辑支持页面逻辑支持：支持通过扩展javascript实现页面逻辑扩展。 多种业务逻辑实现多种业务逻辑实现：多种程序语言对业务逻辑的实现，包括Java类、 Beanshell、存储过程、查询映射等。 多种采集和管理操作支持多种采集和管理操作支持：新建、删除、修改、复制、打印、计算、 数据权限定制等。 4.3 统一数据审核平台统一数据审核平台 统一数据审核平台是基于工作流管理开发，统一数据审核平台是基于工作流管理开发，主要功能提供包括步骤、动作、 分支、聚合等完整的工作流体系，可支持 beanshell 等进行条件判断，并可直接 绑定数据表单来实现工作流；统一数据审核平台目前在大港主要实施的坐标数 据校核。实现数据流转审核。 4.4 统一数据审核平台特性统一数据审核平台特性 统一数据审核平台的主要特性包括： 与平台整合：完全基于平台体系的工作流管理系统； 全图形化流程定制：系统提供完整基于AJAX的工作流设计器，可以 支持任意流转、分支和聚合的工作流路径； 全定制工作流表单定制：基于数据模型数据审核流转表单定制； 统一工作流调用引擎：包括待处理工作、已申请工作、已处理工作和 结案工作等为体系的工作流执行调用引擎，并支持图形化流转状态监 控； 多种提醒方式支持：统一沟通中心提醒：MSN、手机短信、 RTX、Email； 多种编程接口支持：支持Beanshell等编程接口，实现工作流条件流 转。 五、统一数据决策分析平台五、统一数据决策分析平台 统一数据决策分析平台包括：通用数据查询引擎、智能报表系统、决策仪 表盘（领导驾驶舱）、智能报告、全库索引、联机分析等六个子模块，下面分 析描述其功能和主要特性。 5.1 通用数据查询平台通用数据查询平台 通用数据查询平台构成了提供一个可定制的数据查询引擎，对数据表的数 据进行快速抽取和查询，并结合元数据描述快速生成数据查询条件框； 通用数据查询平台主要体现在两个方面： 查询设计与数据模型一体化，能够充分利用数据模型的元数据定义， 可以根据元数据定义自动生成各种查询条件框，同时支持任意夺标联查， 支持嵌套查询。通过在大港油田应用，通过简单定制就可以完成所有生产 报表、曲线等数据的查询。 查询结果集展示主要特性包括： 自适应查询条件框：根据元数据定义，自定生产查询条件框； 分组表头：可支持多级分组表头； 任意列锁定：可以对任意列进行锁定； 用户自定义显示列宽、顺序，并记忆：用户在调整列的显示顺 序和宽度后，后台自动记录用户行为并保存。 任意列排序：可以选择任意列进行排序； 导出 Excel/PDF 打印 选择任意列组合绘制分析曲线 5.2 通用报表平台通用报表平台 报表是在通用查询引擎基础上实现的，利用通用查询引擎实现对数据的查 询，在报表设计器中进行格式化设置，并由统一报表引擎进行输出，支持 HTML 和 PDF 报表输出。 报表系统的主要特性包括： 报表设计 拖放设计：根据通用查询的数据项，拖放至报表设计器， 即可完成报表的设计； 所见即所得：完全模拟 Excel 的风格，所见即所得； XML 报表定义 报表引擎: 自适应查询条件框：根据元数据的定义，自动生产查询条 件框； 客户端分组合计：客户端进行数据分组； 格式设定 分页支持 导出 Excel/PDF 打印 5.3 通用图表平台通用图表平台 图表是对通用查询的结果进行图表分析曲线输出，可支持的图表类型包括： 饼图、柱图、折线图、曲线图、阶梯图等 20 种分析图形；并支持多个图表合并 显示。目前已经利用图表平台完成了大港油田 A2 主要开发和生产曲线的移植。 主要特性包括图表设计支持多图表单元、任意起始值设定、对数坐标支持 等；图表显示支持 20 多种图表形式、仪表盘支持、页面拾点提示支持、打印 拷贝图片支持等。 5.4 决策仪表盘决策仪表盘 决策仪表盘（领导驾驶舱）是指把一组查询、分析曲线、地图等决策支持 工具统一在一个页面显示。 5.5 联机分析联机分析 OLAP 最基本的概念只有三个：多维观察、数据钻取、CUBE 运算。 实现 的功能就是用户无需掌握 SQL 语句,可以任意按照自己的意愿对数据库中的所 有数据进行汇总、统计、分析。目前大港油田利用联机分析定制的生产动态分 析系统已经在生产中起到了很好的作用。 六、统一集成应用平台六、统一集成应用平台 统一集成应用平台的主要作用是在单点登录等基础环境基础上，对现有的 应用资源（历史系统）、数据资源进行统一集成，这些系统包括 B/S 结构、C/S 结构的程序，进而构建一体化的数字化油田系统。统一集成平台主要包括两种 模式：对于已有系统为 B/S 结构软件采用单点登录+页面集成模式，对于 C/S 结 构软件采用虚拟化集成技术集成。 七、公共数据交换平台七、公共数据交换平台 统一数据交换平台构成数据库间、上下级单位间和各应用软件间的数据公 共交换引擎，大港油田通过统一数据交换平台实现专业库向 EPDM 的数据迁移。 统一数据交换平台主要由 ETL 数据交换引擎和统一数据服务引擎两部分构成。 ETL 数据交换引擎主要用来实现在系统内部，各个数据库间或者各个数据 表间的数据交换。实现的模式是首先通过系统的查询引擎定制查询，然后进行 查询结果集与数据表之间的映射。在完成映射关系后，通过任务定时执行或者 手工执行来完成数据的抽取、转换和加载。 数据服务主要是用于系统间或者上下级间的数据上报等，比如：可以利用 数据服务各种专业软件定制数据服务，生成建模软件和油藏数值模拟软件所需 要的初始数据。 八、公共空间数据展示平台八、公共空间数据展示平台 8.1 功能介绍功能介绍 油田勘探开发过程的 90%以上的数据都直接或间接与地理信息系统相关， 所有这些数据都需要在地图上直接展示或者导航查询，同时油田勘探开发过程 还需要各种专业图件： 勘探基础图件勘探基础图件:盆地图、勘探规划图、勘探部署图； 开发基础图件开发基础图件：开发地质图、地面建设图； 属性数据空间展布属性数据空间展布：开发现状图、储量分布图、油气资源分布图； 地面建设相关图件地面建设相关图件； 同时我们也需要以地图进行各种导航查询，这些查询包括：井查询、地震 剖面查询、管线数据查询、油田、盆地；目前大港油田已经完成基于井和地震 剖面的对象 GIS 导航查询； 8.2 特性总结特性总结 空间数据展示平台主要包括下述主要特性： AJAXAJAX体系：体系：全AJAX开发，在浏览器中运行，无控件，快捷流畅 支持国际标准支持国际标准: : 支持国际GMLKMLWFS标准GIS协议。 完全可定制完全可定制: : 与平台无缝整合;包括地理数据存储、可自主标注、对象查询；快 速定制开发。 丰富基础图层丰富基础图层: : 系统内置56个基础图层，包括全球卫星图片数据和全球行政区 基础数据。 动态投影系统动态投影系统: : 动态自适应投影系统,卫星地图和行政图误差小