利用数据仓储实现数据智能查询

利用数据仓储实现数据智能查询地质大队王瑞2010年9月利用数据仓储实现数据智能查询王瑞（大庆油田第八采油厂地质大队）摘要：油田开发的数据来源多且不规范，在一些互不联系的系统分析、设计人员在分散独立的开发应用系统时，由于数据库的不统一性，使得不同的应用部分之间的信息共享很难进行。这样就影响了数据的共享应用。因此要对数据源进行整合，规范尽量向PCEDM模型靠近，使各系统之间能够快速共享数据，方便查询。主题词：数据仓储 信息域 数据泵出1 问题在提出随着油田信息化的不断深入，数据资源的累积越来越多，由于数据库的分散和不统一，使得一些互不联系的数据库访问查询时，系统查询速度非常缓慢，这样就影响了数据的共享应用，影响了信息化进程的开展。而数据仓储概念在提出和应用，将油田各个专业的数据库集中到一个平台上共享应用。再结合油田正在应用在PCEDM数据模型和以前在用的数据库逻辑结构的特点，进行数据查询智能开发，使得油田各专业岗位业务人员可以根据不同的业务需要，在不了解数据库结构的情况下通过简单的鼠标拖动快速进行数据库查询、统计。2 什么是数据仓储数据仓储是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，数据仓储技术定义了可以使该数据更容易访问的策略。2.1 数据仓储在特点1)数据仓储是面向主题的；2)数据仓储是集成的，数据仓储的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出；3)数据仓储是可更新的，数据仓储主要是为决策分析提供数据，所涉及的操作主要是数据的查询； 4)数据仓储是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据；2.2 数据仓储实现方式数据仓储是一个过程而不是一个项目。 数据仓储系统是一个信息提供平台，他从业务处理系统获得数据，主要以星型模型和雪花模型进行数据组织，并为用户提供各种手段从数据中获取信息和知识。 从功能结构化分，数据仓储系统至少应该包含数据获取（Data Acquisition）、数据存储（Data Storage）、数据访问（Data Access）三个关键部分。 企业数据仓储的建设，是以现有业务系统和大量业务数据的积累为基础。数据仓储不是静态的概念，只有把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓储的根本任务。因此，数据仓储建设是一个工程，是一个过程。 2.3 数据仓储与数据库的区别数据仓储的出现，并不是要取代数据库。目前，大部分数据仓储还是用关系数据库管理系统来管理的。可以说，数据库、数据仓储相辅相成、各有千秋。 数据库是面向事务的设计，数据仓储是面向主题设计的。 数据库一般存储在线交易数据，数据仓储存储的一般是历史数据。 数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓储在设计是有意引入冗余，采用反范式的方式来设计。 数据库是为捕获数据而设计，数据仓储是为分析数据而设计，它的两个基本的元素是维表和事实表。3 实现数据仓储之间关联3.1 石油信息共享数据源油田开发的数据来源多且不规范，并且各路的数据填写标准也不近相同，要对数据源进行整合，规范尽量向PCEDM模型靠近。3.2 建立信息域1) 结合用户专业需求创建用户信息域，将表中的各数据项按用户习惯进行数据组合和数据关联。业务人员基于信息域构建查询和报表就不需要懂得数据库的结构和表关联；2) 能按用户习惯，对数据库信息进行分类管理;3) 预建表关联（以后做查询、报表不必再建）根据PCEDM数据结构和油田开发业务特点，建立了以well_id为主键的所有单井各类数据表之间的关联关系，并通过实体与well_id之间的隶属关，建立了各单井表与所有含矿、队、站、油田、区块等实体的表之间的关联关系。为油田开发技术人员创建一个简单直观的数据应用界面，用户只需要拖动数据项不需要关心数据数据库内部结构；4) 将复杂统计表达式作为单个对象，象使用字段一样方便查询和做报表;5) 实现单点更新，修改一处，更新全部.6）代码转换PCEDM数据库在创建过程中大量用到随机码做主键同时也用到了很多代码项这些用户很难看懂，对所有代码进行转换，在系统中为最终用户展示的完全是转换后的信息。4 利用数据仓储实现智能查询及实例4.1 定时数据泵出根据源数据更新时间，定时将更新的数据泵到数据仓储中。4.2 数据注释按照油田的技术术语对对于200多个数据表中的几千个英文数据项都转译为汉字名称。创建油田开发语义层结合用户专业需求创建用户信息域，将表中的各数据项按用户习惯进行数据组合和数据关联。业务人员基于信息域构建查询和报表就不需要懂得数据库的结构和表关联。4.3智能查询智能查询是指根据实际业务需要，定义查询对象并从数据库中检索出需要的数据的过程同时在查询过程中完成对数据的清洗过滤转换等，得到用户最终需要的数据1）可基于数据源、信息域、SQL语句、已生成的查询、文件、Excel和数据库存储多种方式进行查询，无需编程；2）一个查询能同时跨多个数据源如Oracle、SQL、DB2、Informix、Progress、Sybase等RDBMS；（此功能一般来说适合与IT或信息部有数据库使用权限的人员使用，业务人员通常是基本信息域（或业务视图）做查询）3）在查询内支持脚本编写；4）可视化编辑查询条件，条件编辑过程使用自然语言；5）查询数据结果包括查找、过滤器、输入参数、升降排序等；6）查询结果的数据格式设置；7）查询结果界面可灵活设计其界面美工，用户可完全DIY8）设置查询参数功能，不同参数刷新不同数据，同时参数界面可以自定义设计，能满足所有查询参数界面的设计；9）具有强大的示警功能，能基于预定条件发出预警e-mail、windows message、启动其它系统等示警功能，10）设有独立打印机，查询结果导出打印时不会变形；11）查询结果可输出为Microsoft Excel、Pdf、Html和Txt 等常用格式；12）能在Web界面中调用其它ActiveX 控件，例如WinFax、Windows Media Player等等，大大加强了展示和系统功能，已远超于一般查询的功能范围。13）减少查询交互，对于5000行数据的查询，将一次从服务器返回全部数据，减少前后端交互，近一步提升性能。4.4构建智能查询的方式基于智能查询构造器建立查询基于智能查询构造器建立查询是最常用的查询方式，操作方法简单，只要通过简单的鼠标拖拉方式即可完成各种简单或复杂的查询。4 结论建立数据仓储是为了填补现有数据存储形式已经不能满足信息分析的需要。数据仓储给组织带来了巨大的变化。数据仓储的建立也给我们带来了一些新的工作流程，通过构造一种体系化的数据存贮环境，将分析决策所需的大量数据从传统的操作环境中分离出来，使分散的、不一致的操作数据转换成集成的、统一的信息。通过数据仓储建立数据库的整合平台，实现数据的智能查询。提供5万集管理视频课程下载，详情查看：./