（信号与信息处理专业论文）综合录井仪数据迁移及转换接口技术研究.pdf

摘要 目前综合录井数据大部分保存在综合录井仪自身配带的a c c e s s 、s q ls e r v e r 等数据 库中，数据格式不统一，数据项不全面，数据相互之间不能共享，使的这些宝贵的数据 得不到充分的利用。因此，结合目前已有的数据迁移转换技术，设计一个综合录井仪数 据迁移转换接口是十分必要的，将目前来源离散且格式多样的录井数据进行标准化处 理，再将这些经过标准化处理的规范数据迁移到一个综合数据库中，为给研究部门和管 理部门提供标准确的数据信息，实现数据共享打基础。 本接1 2 1 的设计是基于中间件技术和x m l ( e x t e n s i b l em a r k u pl a n g u a g e ，可扩展标记 语言) 技术的，采用中间件技术实现数据迁移，不仅能屏蔽掉底层综合录井仪的异构性， 实现用户对数据库的透明操作，还可以使接口具有良好的可扩展性。采用x m l 技术进行 数据转换，不仅因为x m l 的开放性、可扩展性及x s l t ( e x t e n s i b l es t y l e s h e e tl a n g u a g ef o r t r a n s f o r m a t i o n s ，扩展样式转换语言) 对数据格式转换功能，是转换油田复杂数据源所 需要的特点，更重要的是因为w i t s m l ( w e l l s i t ei n f o r m a t i o nt r a n s f e rs t a n d a r dm a r k u p l a n g u a g e ) 是基于x m l 的井场信息传输标准标记语言，并且日益成为钻井数据传输和保 存的标准语言。 本接口由三个相对独立且相互关联的部分组成，即数据查询模块、数据转换模块和 数据加载模块。其中数据查询模块负责实现用户对各录井仪异构数据库的透明访问，选 择需要迁移的数据库内容；数据转换负责将选中的需迁移数据从数据库中抽取出来，并 将其转换成统一的x m l 文档呈现给用户；数据加载模块负责将x m l 文档中的信息加 载到目标数据库中去。最后，通过实现a c c e s s 数据库和s q ls e r v e r 数据库中的数据到 o r a c l e 数据库的迁移，验证了数据迁移转换接口方案的可行性。 关键词：综合录井仪，数据迁移，中间件，数据转换，x m l r e s e a r c ho ni n t e r f a c et e c h n o l o g yo fd a t am i g r a t i o na n dt r a n s f o r m f o rc o m p r e h e n s i v el o g g i n gi n s t r u m e n t z h a n gx i n x i n ( s i g n a la n di n f o r m a t i o np r o c e s s i n g ) d i r e c t e db yd a iy o n g s h o u a b s t r a c t r e c e n t l y , m o s tc o m p r e h e n s i v el o g g i n gd a t aa r es t o r e di nt h e i ro w nd a t a b a s e ss u c h 弱 a c c e s s ，s q ls e r v e ra n ds oo n t h ed a t af o r m a t so ft h e s el o g g i n gd a t aa r en o tu n i f i e da n dt h e d a t ac a l ln o tb es h a r e dw i t he a c ho t h e r , s ot h e ya r en o tu t i l i z e df u l l y i ti sv e r yn e c e s s a r yt o d e s i g nac o m p r e h e n s i v el o g g i n gd a t am i g r a t i o ni n t e r f a c e ，w h i c hc a nc o m b i n et h ec u r r e n t l y a v a i l a b l ed a t am i g r a t i o na n dc o n v e r s i o n t e c h n o l o g y b yt h i si n t e r f a c e ，w ec a ns t a n d a r d i z et h e c o m p r e h e n s i v el o g g i n gd a t af i r s t l yw h i c ha l ed i s c r e t ei ns o u r c e sa n dv a r i e t yi nf o r m a t s ，a n d t h e nt r a n s f e rt h e s es t a n d a r d i z a t i o nd a t u mi n t oa l l i n t e g r a t e dd a t a b a s e t h ep u r p o s eo f i n t e r f a c ed e s i g n i n gi st o p r o v i d et h e s t a n d a r d d a t af o r t h er e s e a r c h d e p a r t m e n ta n d m a n a g e m e n t ，a n dl a yt h ef o u n d a t i o nf o rd a t as h a r i n g t h ei n t e r f a c ed e s i g ni sb a s e do i lm i d d l e w a r et e c h n o l o g ya n dx m l ( e x t e n s i b l em a r k u p l a n g u a g e ) t e c h n o l o g y w eu s em i d d l e w a r et e c h n o l o g y t or e a l i z ed a t at r a n s f e r t h i s t e c h n o l o g yc a l ln o to n l ys u p p r e s sc o m p l e x i t ya n dh e t e r o g e n e i t yo fc o m p r e h e n s i v el o g g i n g ， b u ta l s om a k ei n t e r f a c eag o o ds c a l a b i l i t y t h eu s eo fx m l t e c h n o l o g yt or e a l i z ed a t a t r a n s f o r mh a v et w or e a s o n s t h ef i r s ti sb e c a u s ex m lh a sm a n yf e a t u r e ss u c ha so p e n i n g ， e x p a n s i b i l i t y , d a t ac o n v e r s a t i o nf u n c t i o nb yx s l ta n ds oo n ，w h i c hi sp r e c i s e l yr e q u i r e db y o i lc o m p l e xd a t a t h es e c o n dr e a s o ni sm o r ei m p o r t a n t ，b e c a u s ew i t s m l i sa nx m l b a s e d m a r k e ti n f o r m a t i o nt r a n s m i s s i o nw e l ls t a n d a r d m a r k u pl a n g u a g e ，a n di ti si n c r e a s i n g l y b e c o m i n gt h es t a n d a r dl a n g u a g eo nd r i l l i n gd a t at r a n s m i s s i o na n dp r e s e r v a t i o n t h ei n t e r f a c ei sm a d eu po ft h r e eb o t hi n d e p e n d e n ta n di n t e r r e l a t e dc o m p o n e n t s t h e r e a r ed a t aq u e r ym o d u l e ，d a t ac o n v e r s i o nm o d u l ea n dd a t al o a dm o d u l e d a t aq u e r ym o d u l e w i l lb er e s p o n s i b l ef o rt h er e a l i z a t i o nt h a tl o g g i n gi n s t r u m e n td a t a b a s e sa r ev i s i t e db yu s e r s t r a n s p a r e n t l ya n ds e l e c td a t a b a s ew h i c hc o n t e n tn e e dt ob et r a n s f e r e d d a t ac o n v e r s i o n m o d u l ew i l lb er e s p o n s i b l ef o re x t r a c t i n gd a t ac o n t e n tf r o md a t a b a s ew h i c ha les e l e c t e d ，a n d t h e nt r a n s f o r m i n gt h e mi n t oau n i f i e dx m ld o c u m e n t sw h i c hw i l lb ep r e s e n t e dt ot h eu s e r d a t al o a dm o d u l e sw i l lb er e s p o n s i b l ef o rl o a d i n gt h ed a t aw h i c ha r ei nx m ld o c u m e n t st o t h et a r g e td a t a b a s e i nt h el a s ts e c t i o no fp a p e r , t h ef e a s i b i l i t yo ft h ei n t e r f a c ei sp r o v e d t h r o u g ha ne x a m i n a t i o nt h a tr e a l i z i n gd a t am i g r a t i o nf r o ma c c e s sa n ds q ls e r v e rd a t a b a s e t oo r a c l ed a t a b a s e k e y w o r d s ：c o m p r e h e n s i v el o g g i n gi n s t r u m e n t ，d a t am i g r a t e ，m i d d l e w a l e ，d a t a t r a n s f o 咖x m i ， 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中做出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：巡噍日期：夕叻年莎月f1 7 t 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印 刷版和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门 ( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被 查阅、借阅和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用 影印、缩印或其他复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：塑垒鲤鱼 指导教师签名： 日期：加矿年6 月岁日 日期：形年占月易日 中国石油大学( 华东) 硕士学位论文 1 1 课题研究背景及意义 第1 章绪论 录井作为油气勘探的眼睛，在油气勘探中起着及时发现油气层、保护油气层和及时 评价油气层的作用。综合录井仪是油气勘探过程中必不可少的重要工具，也是目前最常 用的、最昂贵的录井设备。 综合录井仪是集应用电子技术、传感器技术、气相及液相色谱分析、计算机数据采 集处理、地质、钻井工程、专家系统评价软件技术于一体，并进行连续随钻录井和钻井 过程监控的一种新型石油勘探辅助仪器。它是多参数的泥浆录井设备，可以在实时状态 下采集钻井工程参数及泥浆中气体特性参数，实现钻井过程监控，井下异常预报，地层 压力监测预报和及时发现评价油气层，从而帮助实现在钻井过程中发现油气层，保护油 气层，减少井下事故，提高综合勘探效益。随着勘探难度的增加，钻探的模式也由粗放 向精细钻井转变，综合录井仪的作用也越来越重要，但是随着石油行业信息化建设的深 入，综合录井仪在信息共享方面逐渐暴露了一些问题： ( 1 ) 综合录井仪种类繁多。例如有美i 雪b a k e rh u g h e si m e q 公司研制的a d v a n t a g e 综 合录井仪、加拿大d a t a l o g 公司生产的d a t a l o g 综合录井仪等：国内有引进的d l s 系列录井 仪，胜利地质录井公司研制生产s r p 2 0 0 0 综合录井仪等等。 ( 2 ) 综合录井仪数据格式异构。目前钻井现场采集数据的方式有自动方式和手工 方式。自动方式通过仪器采集，由于数据采集软件和仪器来自不同厂商，导致采集的数 据有不同的计算单位，代码值遵循不同的规范或采用自定义的规范。例如a d v a n t a g e 综 合录井仪是以w o r d 、e x c e l 、a s c i i 等格式进行数据输出的；s d l9 0 0 0c h i n a 综合录井 仪是以w i t s0 、w i t s l 、w i t s 2 、w i t s 2 b 格式输出数据的。而且人工录入数据还经常 随现场作业方案的变动，变更数据格式和采集内容，除文本、数值等可读数据外，数据 源还有一些图形图像、非结构化文档，甚至还有一些非数字化文档。 ( 3 ) 综合录井仪数据库异构。例；t i d l s 综合录井仪使用的是o f f i c ea c c e s s 数据库； a d v a n t a g e 使用的是s q l7 0 数据库系统等。综合录井信息在数据库中的存储格式也不一 致，例如s k 2 0 0 0 为d b f 格式；d q s d l 9 0 0 0 为a c e s s 格式：s d l 9 0 0 0 为w i t s 格式等。 现场采集的各项录井信息是进行单井油气产能评价、油气藏评价和油气勘探部署的 重要依据。录井信息能否及时、准确的记录、传递到研究及管理部门，直接关系到油气 第l 章绪论 勘探的进程和勘探效益。但是由于以上所述的综合录井仪所暴露出来的缺点，严重影响 了录井信息的资源共享和综合应用，而且在一定程度上影响了录井行业的快速发展。 在这样的背景下，本文提出了一种基于x m l 技术和中间件技术的综合录井仪数据迁 移转换接口技术的解决方案，给用户提供一个录井数据的统一视图，从而使用户通过一 个统一界面便可以实现数据的查询，转换和迁移，而不必知道各录井仪数据库的分布和 结构组成，实现用户对录井仪异构数据库的透明操作。 研究和设计录井数据迁移转换接口，不仅能对综合录井仪所采集的数据进行规范化 和标准化，而且还满足了录井生产的实际需要和录井信息管理的需求，并且还提供了一 个基本规范、稳定的数据平台，使用户、应用软件和系统环境之间相互独立，具有可移 植和互操作性，使录井数据的采集、管理、服务实现一体化管理，推进了数据资产化管 理的进程，加快了数据管理手段的更新，提高了录井数据管理水平，为实现数据信息共 享提供了手段。 1 2 国内外研究现状 本文研究的综合录井仪数据迁移转换接口技术就是为实现钻井井场信息共享做准 备的，下面分别介绍一下国外、国内在钻井井场信息共享方面的研究现状和综合录井仪 的发展现状。 ( 1 ) 国外钻井井场信息共享的发展现状 钻井工程信息技术的利用早在上世纪8 0 年代就已经得到世界各大石油公司的重视， 通过远程数据传输，把井场的工程、地质、泥浆等动态数据实时传送回基地，实现了钻 井现场与基地间的双向联络和数据共享。随着随钻测量、测井等先进仪器的成功应用， 得到的信息更加广泛和深入，数据远程传输在快速、安全、优质钻井方面的作用也更大 了。 2 0 世纪8 0 年代初，s u p e r i o r 公司首先实现了综合录井数据的远程传输，通过专用 的微波电话线路，在基地端由中心计算机接收数据，并传送给各终端机。m o b i l 公司于 1 9 8 5 年利用s u p e r i o r 的技术组建了自己的d d c ( d r i l l i n gd a t ac e n t e r ) ，用个人计算机代 替了中心计算机和终端，并建立了卫星通讯网络以提高通信能力，井场卫星地面端站可 以搬迁，适用性更强。此后，a m o c o 、t e n n e c o 、a g i p 、m dt o t c o 等石油公司也相 继建立了基于计算机网络系统和卫星通讯技术的钻井分析和指挥中心，充分利用现场的 实时数据资源对现场施工进行管理和控制，以保证边远、海上及环境恶劣地区的钻井作 2 中国石油人学( 华东) 硕士学位论文 业的顺利进行，同时也建立了各自的大型数据库。近年来，各石油公司组建的传输系统 逐渐采用价格更为便宜的微型计算机，利用商业性通用软件以降低费用和操作难度；基 地数据接收端与i n t e m e t 相连，适用范围更广。 虽然国外对石油行业数据处理已有一些成品软件，如斯伦贝谢、兰德马克、法国石 油研究院研制的专用石油软件，但是这些国外的软件产品适用性窄，必须要有本土化的 二次开发才能使用。 ( 2 ) 国内钻井井场信息共享的发展现状 2 0 世纪8 0 年代中期，国外钻井实时分析系统刚开始建立时，我国的钻井专家也认 识到了信息技术的重要性并提出相似的构想，但受当时条件的限制，直至2 0 世纪8 0 年 代末才开始进行可远程数据传输的研究，其中中原油田钻井工程技术研究院和机电部2 0 所合作采用微波方式利用有线通道研制钻井参数采集设备进行远程开环传输，获得成 功，1 9 9 2 年塔里木油田与西安电子科技大学开发的“钻井数据无线通讯系统”投入使用， 以后又与石油大学合并开发了基于w i n d o w s 9 5 环境的“钻井汇报传输系统 ，实现了沙 漠、边远地区和基地间的双向交流。十五期间，中国海洋石油集团公司利用已经建立的 网络系统组建d t s ( d a t at a n t a l i z a t i o ns e r v i c e ，数据集成服务) 系统【lj ，通过互连网和 卫星通讯技术将海上钻井作业施工现场与陆地作业管理部门、技术服务及相关技术支持 单位连接在一起，成功实现陆地办公室对海上作业现场的远程技术支持。 另外，大庆油田地质录井公司也在筹建基于i n t e m e t i n t r a n e t 的计算机网络平台，胜 利油田、华北油田、辽河油田等也都进行了相关的研究和实验【2 】【3 1 。 近十年油田信息化建设迅速发展，带动了勘探、开发、钻井、地面建设等系统信息 化的发展。1 9 9 7 年胜利油田率先成立钻井信息中心，1 9 9 8 年9 0 多个钻井队都实现了无 线联网，各钻井公司与油田信息中心实现了千兆高速接入。各油田钻井系统也相继将办 公场所与油田综合信息网实现了高速接入，部分钻井公司实现了钻井队无线联网，钻井 平台实现了卫星联网，基本形成了一个完善的信息网络框架结构，目的是促使改变过去 的钻井管理和施工模式，形成高科技、高效率、信息化和一体化的管理体系，实现钻井 的安全高效生产。 在数据库应用方面，开发了钻井综合信息管理系统。该系统以井的工程生命周 期为路线，涵盖了钻井生产过程的全部数据。能保证钻井数据快速、准确、可靠地查询、 统计、分析及开发利用，极大地提高了工作效率，使钻井信息管理工作更加科学化、规 范化、现代化。加快了油田钻井系统信息化建设的进程，提高了整个钻井队伍的管理水 二l 第1 章绪论 平、技术水平。目前，该系统已在中国石化集团全面推广使用。 钻井远程专家实时诊断与指挥系统是围绕石油钻井工程这个应用领域，利用计 算机科学、信息科学、网络工程的最新技术来解决传统复杂的远程生产指挥问题。该系 统是在钻井现场数据采集、卫星远程传输技术的基础上，结合开发的钻井实时数据库来 开展此项目的研究。该系统首先将录井仪参数仪采集的数据实时接收过来，进行实时采 集、分析、处理，达到对钻井工程质量进行有效监控的目的。同时将采集到和处理过的 数据通过卫星网络c d m g p r s 等无线通讯方式实时传送到基地的数据库服务器中。相 关领导和工程技术人员通过使用本系统的综合信息发布平台提供的图文并茂的统计、分 析、对比数据实时了解到现场的施工情况，辅助领导决策。 ( 3 ) 综合录井仪的发展现状 目前国外先进的综合录井仪有法国g o e s e r v i c e s 公司的a l s 2 ( a d v a n c e dl o g g i n g s y s t e m 2 ，属于g e 0 6 0 0 0 综合录井仪系列) 综合录井仪、美国b a k e rh u g h e si n t e q 公司的 a d v a n t a g e 综合录井仪、美国h a l l i b u r t o n 公司生产的s d l 9 0 0 0 综合录井仪、英国g e a r h e a r t 公司生产的d r i l l b y t e 综合录井仪、加拿大d a t a l o g 公司生产的d a t a l o g 综合录井仪等卧【8 】； 这些综合录井仪的联机系统大多是随机引进的，不同仪器厂家有不同的联机系统，使用 的开发平台、开发语言、硬件配置、采集方式、信息处理方式以及图格的输出格式都各 不相同。国产的常用综合录井仪有胜利地质录井公司研制生产s r p z 0 0 0 综合录井仪、 兴国科技总公司研制的x g s z y l 综合录井仪、电子部2 2 所研制的s l z 系列综合录井 仪等等1 9 j ，国内厂家的联机系统，不管是理论基础、计算模型，还是开发平台也都大不 一样，造成录井数据来源离散杂乱，严重影响了录井信息共享的发展。 综上所述，虽然国内外在钻井井场信息共享方面也取得了很大的进步，但这些共享 系统一是适用面窄，每个共享系统都是基于某井场的具体情况而建设的：二是没有专门 针对录井信息标准化的研究技术。因此，结合数据迁移转换技术，设计一个综合录井仪 数据迁移转换接口是十分必要的，将目前来源离散且格式多样的录井数据进行标准化处 理，再将这些经过标准化处理的规范数据迁移到一个综合数据库中，为给研究部门和管 理部门提供标准确的数据信息，实现信息共享做准备。 i 3 主要研究工作 研究来源于“低成本钻井井场数据接口技术研究 项目( n o ：0 6 e 1 0 2 5 ) ，研究的目 标是以综合录井仪数据库为应用背景，研究并提出综合录井数据迁移转换的解决方案， 4 中国石油大学( 华东) 硕士学位论文 实现录井数据输出规范化标准化，为各方提供实时标准的信息源，实现系统间开放性数 据共享。主要研究工作如下： ( 1 ) 调研和分析常用综合录井仪异构数据库之间的数据类型差异，分析比较现有 数据迁移转换方法的优缺点，提出符合综合录井仪数据库异构特征的数据迁移转换的解 决方法，采用中间件技术实现数据迁移，连接应用程序和数据库，为用户提供便捷可靠 的数据迁移。分析x m l 在数据转换方面的优越性，了解了w i t s m l 与x m l 之间关系， 采用x m l 作为数据转换的标准，实现关系型录井数据到x m l 文档数据格式的转换。 ( 2 ) 对综合录井仪数据迁移转换接口进行详细设计，将数据迁移转换分为相对独 立且相互关联的三个部分：即数据查询、数据转换和数据加载。分别对这三个模块的功 能进行了详细说明，对其关键技术进行研究和实现，着重研究并设计数据转换模块。 ( 3 ) 通过s q ls e r v e r ，a c c e s s 数据库中的数掘到o r a c l e 数据库中的迁移的试验， 验证了该数据迁移转换接口的主要功能及此接口的可行性。 1 4 论文结构 本文主要研究录井数据迁移转换技术及应用，论文结构如下： 第1 章绪论。简要介绍了课题研究背景、意义、主要研究工作以及论文结构。 第2 章数据迁移转换技术研究及接口总体设计。本章详细分析了目前常用的异构 数据库间数据迁移及转换技术，比较了它们的优缺点，并结合综合录井仪 异构数据库的特征，选取了最符合录井数据特点的数据迁移转换方法，对 综合录井仪数据迁移转换接口进行了设计，并对接口的流程和结构进行了 设计和说明。 第3 章接口中各组成模块的设计与实现。本章对组成综合录井仪数据迁移转换接 口的数据查询、数据转换和数据加载这三个模块进行了详细的设计，介绍 了实现过程中所使用的关键技术，说明了实现过程并给出部分关键代码。 第4 章接口试验。通过一个模拟试验，实现了该数据迁移转换接口设计的主要功 能。 5 第2 章数据迁移与转换技术研究及数据接口总体设计 第2 章数据迁移与转换技术研究及数据接口总体设计 在油田的信息化发展过程中，数据迁移问题成为当前的研究热点。只有在数据迁移 问题得到比较好的解决后，才会对其他诸如数据共享、数据分析等提供数据基础。本章 首先介绍了综合录井仪数据库的现状与特征，根据综合录井仪数据库的现状特征对设计 一个综合录井仪数据迁移转换接口时应解决的问题进行了分析，并对该数据迁移转换接 口的设计目标进行了说明，然后在详细研究数据迁移及转换方法的基础上，选择了实际 可行的综合录井仪数据迁移转换方法，对数据迁移转换接口进行设计。 2 1 综合录井仪异构数据库及异构数据的特征 目前录井数据大都保存在s y b a s e 、a c c e s s 、s q ls e r v e r 、o r a c l e 等多个数据库中， 不同的数据库中数据存在重复录入的现象，不同的数据库中数据项不同，异构数据库的 特征则可以从以下三个方面说明1 1 0 1 【1 1 1 。 ( 1 ) 分布性 异构数据库系统的各个组成部分是分布在不同位置的各种自治数据库系统，系统通 过通讯网络建立各个部分之间的连接。系统的数据保存在分布的数据库系统中，这些数 据可以以各不相同的方式保存，没有严格的逻辑要求。每一个独立自主的数据库系统只 是整个异构数据库系统中的一个网络结点。 ( 2 ) 异构性 排除数据库宿主系统的异构性，异构数据库系统的异构性主要有两方面构成： 数据库管理系统( d b m s ) 的异构 由于组成系统的各个数据库系统可以不同，因此形成了d b m s 的异构，这种异构 实质上可以分为以下三个方面： 0 结构的区别：根据不同的方法沦，d b m s 采用不同的数据模型和数据结构，反映 在物理上的存储方法也可能不同。例如层次数据库与关系数据库。 0 查询规则的不同：不同的数据模型造成了不同的规则，不同的规则又直接影响数 据库功能的实现。一个d b m s 因此可以是适应型的或是被动型的。 o 查询语言的不同：不同的数据模型，必然要造成不同的数据类型，所采用的数据 操作机制也不同，即使现在大多数的关系数据库都支持相同的标准，但不同d b m s 采 用的查询语言也有所区别。 6 中国石油大学( 华东) 硕士学位论文 语义的异构 与d b m s 的异构不同，语义的异构是由于应用系统开发人员对数据的定义、作用 以及描述的二义理解造成的。主要异构情况如下： o 命名的异构：由于不同应用需求及方法论，对相同的现实世界实体及其属性采用 不同的命名方法，造成命名的冲突。 o 数据存储种类的异构：相同或相似的现实世界数据，存在着表达的多样性，因此 表现在不同数据库系统中存储方式也不同，这些不同可以是数据类型、范围、精度以及 组成部分的异构。例如：在一个数据库中可以采用整型表达的数据，很可能在另外一个 数据库中采用字符串表示，而在第三种数据库中则变为某种对象的一个属性。 o 关系表达的异构：由于不同环境及需求，先是世界中两个事务之间的关系可以从 多方面理解，由此而造成在数据库中关系户表达的异构，这种异构与该数据库系统采用 的数据模型也密不可分，最可能出现这种情况就是同一数据的不同分割和组合以及关系 连接。 0 数据遗漏及冲突：不同的应用对数据对象的不同侧面要求不同，很可能在某个领 域内非常必需的数据在另外一个环境中却可以忽略，或者实际上是另外种数据，所以 数据的遗漏和冲突在所难免。 自主性 构成异构数据库系统的各个子系统具有各自的自主性，这些自主性体现在它们拥有 对自身系统内各种资源的使用权利，包恬设计、执行、修改等，同时，它们拥有与其它 系统的交互的权利，包括加入、退出、通讯、提供服务等。它们有权利接受外来的服务 请求，也有权利拒绝或者请求服务的权利。但是，在这些权利与承诺的系统义务之间， 必须有一个有机结合。 2 2 数据接口设计要解决的问题 通过以上对综合录井仪数据库特征的分析可以看到，目前综合录井仪用的数据存储 在a c c e s s 、s q ls e r v e r 、s y b a s e 等数据库中，而且数据格式也杂乱多样，有的以w i t s 格式存储，有的以二进制格式存储，有的以字符串格式存储，综合录井仪数据库的异构 以及数据格式的异构严重影响了录井数据的共享，阻碍了井场信息化的进程，因此，需 要一个数据迁移转换接口，将录井数据从各异构数据库中迁移到个目的数据库中，并 7 第2 章数据迁移1 j 转换技术研究及数据接口总体设计 在迁移过程中将异构数据转换成格式统一的规范数据，为数据共享做准备。将来可以在 这个目标数据库上面搭建数据共享平台，实现录井仪数据库间开放性数据共享，该数据 接口的作用如图2 1 所示： 夏井仪数据库丑 数 据 ；一应用1 i 录井仪数据库2 l _移 竺箍r 、。，r ： =) 迁 叫目标数据库r f l 应用 l 转l 入； 赢数三库 换弋 ； 接| 1 应用nl 口 数 据 共 享 平 厶 口 图2 - 1 综合录井仪数据迁移转换接口的作用 f i 9 2 - 1 t h ei n t e r f a c ef u n c t i o no f d a t at r a n s f e ra n dt r a n s f o r mf o r c o m p r e h e n s i v el o g g i n gi n s t r u m e n t 根据以上对综合录井仪数据库及数据格式的分析，该数据迁移转换接口在设计中需 要解决以下几个问题： ( 1 ) 采用什么数据迁移方法 由于录井数据来源离散杂乱且格式不统一，所以在录井数据迁移过程中，应当使录 井数据保持完整性，而且能够实现大量数据的迁移，并且迁移过程实施的时间也应当比 较短，在数据迁移时涉及的问题也越少越好，因此采取哪种数据迁移方法能使数据迁移 转换接口更具高效性，是本文首先要解决的问题。 ( 2 ) 采用什么数据转换方法 在录井数据迁移过程中面临的最大挑战是如何解决综合录井仪数据库系统的异构 性。数据库的异构性通常有三类：操作系统的跨平台、d b m s 的异构、语义的异构。由 此看出数据迁移的主要难点是如何解决不同平台、不同数据库之间的数据转换，这也是 设计数据迁移接口的关键问题。要解决这个问题，就需要解决数据的提取、数据的传输 方式、数据的传输格式等问题。因此采取何种技术对异构数据进行转换是本文要解决的 核心问题。 ( 3 ) 如何实现数据的抽取 综合录井仪数据库操作系统的异构性要求录井数据的抽取是与平台无关的，该数据 抽取方法可以应用到任何操作系统上，如u n i x 、l i n i x 、w i n d o w s n t 等，可以抽取多种 关系数据库中的数据，如a c c e s s 、s q ls e r v e r 、s y b a s e 等，因此，要求数据迁移转换接 8 中国石油大学( 华东) 硕士学位论文 口中的数据抽取技术应具备平台无关的特性。 ( 4 ) 如何实现跨平台的问题 如何简化录井仪数据库的复杂性，屏蔽录井仪数据库的多样性，减少程序设计的复 杂性，是设计综合录井仪数据迁移转换接口的又一难题。 针对以上所提到的问题，下面对目前常用的几种数据迁移转换方法进行分析比较， 选择符合录井数据特点的数据迁移转换方法，为设计综合录井仪数据迁移转换接口做准 备。 2 3 常用数据迁移方法分析及选择 数据迁移是指在不同数据库之间将源数据库中指定表的数据进行清洗、转换并装载 到目的数据库指定表中的过程【1 3 1 。数据迁移大致可以分为抽取、转换、装载三个步骤。 数据抽取是根据实际需求对旧系统中的数据进行筛选，选择必要的待迁移数据。转换步 骤是根据新旧系统数据库的映射关系进行的，首先比较两个系统中数据类型的差异和联 系，找出合理的对应关系，然后进行适当的转换。数据装载是通过数据迁移工具或自行 编写的s q l 程序将抽取、转换后的结果数据加载到目标数据库中。数据迁移实现的流程 图如图2 2 所示： 图2 - 2 数据迁移的实现 f i 9 2 - 2 r e a l i z a t i o no fd a t at r a n s f e r r i n g 下面对目前常用的几种数据迁移的实现方法作一下简单介绍，选取最具有优势的方 法进行录井数据迁移的实现。 2 3 1 利用数据库厂商的专业工具 目前很多数据库厂家都提供专门的数据迁移工具，常见的工具有m i c r o s o f ts q l s e r v e r 的d t s 和o r a c l e 的o r a c l ew a r e h o u s eb u i l d e r 等。以m i c r o s o f t 公司为例，它的一个产 品d c t ( d a t ac o n v e r s i o nt o o l ，数据变换工具) 就是一个专门的数据迁移工具，它包含围 9 第2 章数据迁移与转换技术研究及数据接口总体设计 绕一种方法学的一系列转换工具，它的基本思想是为数据迁移建立过渡区。首先，使用 d c t 建立的提取文件把主机上的数据移到过渡区，然后再把数据移到支持该过渡区的数 据库中，进而i 扫p l s q l 把过渡区中的数据转换成新的模式，这些模式都在d c t 库中保留。 这些工具在一定范围内解决了数据的提取和转换。还有国内的主流数据库厂商如d m 、 k i n gb a s e 、g b a s e 等也都有着自己的数据库迁移工具。 2 3 2 利用前台开发工具 p o w e r b u i l d e r 是广泛用于数据库前台开发的软件，它通过对不同数据库采用不同接 口( o d b c 或专用接口) 的形式同时支持多种关系数据库，实现前台开发工具和后台数 据库间的连接。利用p o w e r b u i l d e r 中的数据管道工具( d a t ap i p e l i n e ) ，可实现两个相同 或不同d b m s 的数据库间表结构、属性和表中数据的复制，从而完成数据的迁移。 2 3 3 利用动态s q l 语句 o d b c ( 开放数据库互连) 是m i c r o s o f t 公司提供的标准应用程序接口。利用它可实 现一个应用程序访问不同数据源。o d b c 数据源驱动是实现o d b c 函数调用的动态连接 库( d l l ) ，应用程序触发o d b c 驱动来访问一个特定的数据源，o d b c 屏蔽了底层数 据库系统的不同，数据库开发者则可直接利用s q l 语句访问函数调用。前台应用程序就 是通过o d b c 来实现不同数据库的连接，然后运用动态s q l 语句实现对不同数据库中数 据的操纵。 2 3 4 基于中间件的解决方法 这种方法，顾名思义，就是在各源数据库和目的数据库之间建立一个抽象层。使用 户对每个不同数据源的操作变为对单一的中间件的操作，而后再由中间件进行异构数据 迁移处理。基于中间件的解决方法具有如下优点： ( 1 ) 易于移植和集成。中间件封装了各种与平台相关的细节，当更换操作系统或 通信协议等底层的配置时，无须改变应用程序代码。 ( 2 ) 易于扩充。中间件的局部改进和整体升级，只要保持对外接口不变，就不会 影响到系统的其它部分，在功能上对应用程序实现了透明性。 ( 3 ) 访问透明、使用简单。中间件封装了底层的实现细节，对各种数据源使用统 一的访问方法，对用户来说是透明的。 1 0 中国石油大学( 华东) 硕士学位论文 2 3 5 录井数据迁移方法的选择 这里对以上提到的几种数据迁移方法进行一下比较： 数据库厂商提供的专门工具具有专业性强，功能完备的特点，适合于特定数据库间 大量数据的迁移，但使用面窄，价格高。 数据管道方法虽然简单易行、直观方便，但受系统因素影响，对大量、复杂数据容 易出错。 动态s q l 语句方法虽然灵活多变，适用面广，但实现较复杂，无可视界面。 基于中间件的解决方法虽然在选择合适的中间构件上比较困难，但它所具有的优势 也是显而易见的，当参与迁移的源数据库发生改变时只需更新一下驱动模块，灵活性比 较大。 综上所述，本文中将采用中间件法来开发数据迁移转换接口，该中间件负责接收客 户端的数据迁移请求，先对请求做一些简单处理( 如s q l 格式转换，确定数据源等) 后， 再把请求传递给相应的后端数据库服务器，进行最后的数据处理，然后，再将结果由中 间件迁移到目的数据库。利用中间件来实现数据迁移过程的初步设想如图2 3 所示。 图2 - 3 基于中问件法的数据迁移过程 f i 9 2 3 d a t am i g r a t i o np r o c e s sb a s e do nm i d d l e w a r e 2 4 常用数据转换技术分析及选择 由于源数据库和目标数据库在数据格式定义，数据库管理系统和操作平台上都具有 异构性，所以对于数据迁移来说，最主要的问题是要在迁移过程中进行数据格式转换， 只有采用统一的数据格式，才能实现数据的自动流转、处理等功能。另外，由于存储在 综合录井仪数据库中的数据格式多样，更需要进行数据转换，将其转换为统一格式的标 准数据迁移到目的数据库中，为用户提供标准规范的数据。 2 4 1 基于o d b c 的数据转换 o d b c ( o p e nd a t a b a s ec o n n e c t i v i t y ，开放数据库连接) 是m i c r o s o f t 公司提出的标准 1 l 第2 章数据迁移与转换技术研究及数据接口总体设计 应用程序接口，o d b c 为异构数据库的访问提供了统一的接口，它允许应用程序以s q l 语言为数据存取标准，来存取不同的d b m s ( d a m b a s em a n a g e m e ms y s t e m ，数据库管理 系统) 管理的数据【1 4 】【1 5 】。o d b c 的分层结构如图2 4 所示，包括应用程序( a p p l i c a t i o n ) ， 驱动程序管理器( d r i v e rm a n a g e r ) ，驱动程序( d r i v e r ) 、数据源( d a t as o u r c e ) 4 个组 件。 o d b c 应用程序必须包括3 个对象：环境( e n v i r o n m e n t ) 、联接( c o n n e c t i o n ) 和语 句( s t a t e m e n t ) 。这3 部分都是通过各自的旬柄( h a n d l e ) 来标志和控制的。o d b ca p i 是o d b c 运用数据通信方法、数据传输协议、d b m s 等多种技术定义的一个标准的接口， 应用程序通过o d b ca p i 与数据源进行数据交换。o d b ca p i 包括o d b c 函数库、o d b c s q l 语法、o d b c 数据类型和一套错误代码。 应用程序1 缓冲区 应用程序n 缓冲区 o d b ca p i 驱动程序管理器 驱动程序1 i 驱动程序2 l i 驱动程序n 数据源1l i 数据源2 数据文件li 数据文件 o - _ _ _ _ - _ - _ _ _ - _ _ 一 l 数据源n l 数据文件 图2 4o d b c 体系结构 f i 9 2 - 4 o d b cs y s t e ms t r u c t u r e 网络连接 通过o d b c 进行数据转换按照以下步骤：o d b c 分配环境句柄、执行s q l 语句、检 索结果与服务器断开。具体过程如下： 初始化( 包括分