（计算机软件与理论专业论文）基于wcf的企业异构数据集成查询系统的研究与应用.pdf

南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t r n 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 殷友握 2 0 1 0 年5 月2 5 日 南开大学研究生学位论文作者信息 论文题目基于w c f 的企业异构数据集成查询系统的研究与应用 姓名 段方振学号 2 12 0 0 7 0 3 0 9答辩日期2 0 1 0 年5 月2 1 日 论文类别博士口学历硕士硕士专业学位口高校教师口同等学力硕士口 院系，所信息技术科学学院专业计算机软件与理论 联系电话1 5 3 0 2 11 9 8 6 7e m a i l d u a n f a n g z h e n l i v e c n 通信地址( 邮编) ：江苏省江阴市1 0 3 信箱1 0 0 2 号 备注：是否批准为非公开论文 否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 并编入南开人学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的f p 沦文作为资料在图1 5 馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、卜i 载等免费信息服务：( 3 ) 根据教育部有关规定，南开人学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术j ji ：u ( 光衙) 电子出版丰十提交规定范同的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 卅公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的。f 讧论丈电子版与纸质本论文的内容一致，如冈不同造成不良后果由本人白负。 奉人同意遵守上述规定。本授权二传签署一式两份，由研究生院和图1 5 馆留存。 作者暨授权人签字： 2 0 o 年f 只孑r 南开大学研究生学位论文作者信息 论文题目基t - w c f 的企业异构数据集成查询系统的研究与应用 姓名段方振学号2 1 2 0 0 7 0 3 0 9答辩日期2 0 1 0 年5 月2 1 日 论文类别博十口 学历硕士一 硕+ 专业学位口高校教师口同等学力硕十口 院系所信息技术科学学院 专业 计算机软件与理论 j d c 系电话 l5 3 0 2 1 1 9 8 6 7e m a i l d u a n f n g z h e n l i v e c n 通价地1 3 1 ：( ii g 编) ：汕：苏省江阴市1 0 3 信箱1 0 0 2 号 蒉渖：是否批准为1 卜公开论文 否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆。非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 本人郑重声明 取得的研究成果。 含任何他人创作的 涉及的研究工作做 学位论文原创性声 学位论文作者签名：韪左握2 0 1 0 年5 月2 5日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级口限制( 2 年) 口秘密( 1 0 年)口机密( 2 0 年) 保密期限年月日至年一月 日 审批表编号批准日期2 0年月日 限制2 年( 最长2 年，可少于2 年) 秘密1 0 年( 最长5 年，可少于5 年) 机密* 2 0 年( 最长l o 年，可少于1 0 年) 摘要 摘要 企业信息化建设过程中实施了许多应用系统，但由此引发了系统孤岛、数 据异构等不支持综合查询的实际问题。因此，对建立“一站式 综合信息查询 系统有强烈的应用需求，屏蔽各异构数据源间的差异，使用户不必考虑数据的 分布、异构、获取和集成等问题，而获得如同查询一个本地数据库一样的服务。 因此，研究异构数据源数据的综合集成查询，可提高数据的利用率，有较高的 应用价值。 本文从两个方面开展研究工作的，一是实现了可灵活配置的查询系统；二 异构数据源集成的研究。关于“可灵活配置的查询”，本文实现了对查询条件的 灵活配置，形成所需的集成查询界面，实现对异构数据源的多角度的综合查询。 对集成异构数据源方面的工作，本文根据企业要进行灵活查询的实际需求，给 出了基于在异构数据源间建立中间表的方式进行数据集成，并在这个集成的数 据集上完成综合查询的解决方案；本文在此方法基础上深化了集成方案的研究， 完成了基于w c f 服务的企业异构数据集成查询系统，应用w c f 服务调用数据访问 服务来获取数据，实现了企业中跨平台访问和跨网络集成的综合查询系统。 最后，本文给出基于可配置查询条件的数据集成查询应用服务。在该服务 中利用系统的全局数据字典和其与局部数据源数据表字段的映射关系来消除不 同数据源数据的语义异构，并将局部数据集成为全局数据。通过对查询条件的 配置，使用户能够按照自己的需要在集成的数据中有选择性的进行查询，较好 地解决了企业现有的各业务管理系统数据源之间数据进行综合集成查询的问 题。 关键词：异构数据源，数据集成，w c f 服务，可配置查询 a b s t r a c t m a n ya p p l i c a t i o n sh a v eb e e ni m p l e m e n t e di nt h ep r o c e s so fi n f o r m a t i o n c o n s t r u c t i o no ft h ee n t e r p r i s ew h i l ei nc a u s es o m ep r o b l e m ss u c ha st h ei n t e g r a t e d q u e r ys y s t e mi s o l a t e di s l a n d ，d a t ai s o m e r i s ma n ds oo n s ot h e r eh a sas t r o n g a p p l i c a t i o nr e q u i r e m e n tt ob u i l da “o n e s t o p c o m p r e h e n s i v ei n f o r m a t i o ni n q u i r y s y s t e m t h es y s t e mc a l ls h i e l dt h ed i f f e r e n c eb e t w e e nt h e h e t e r o g e n e o u sd a t a s o u r c e s a n dt h eu s e r sc a ng e tas e r v i c es u c ha sa c c e s s i n gal o c a ld a t a b a s ew i t h o u t c o n s i d e r i n gt h ep r o b l e m sa b o u tt h e d i s t r i b u t i o n , i s o m e r i s m ，o b t a i n i n ga n d i n t e g r a t i o n o ft h e d a t a t h e r e f o r e ，t h er e s e a r c ho nt h e i n t e g r a l 岫u i r yo f h e t e r o g e n e o u sd a t as o u r c ec a l li m p r o v et h eu t i l i z a t i o nr a t eo fd a t aa n di ta l s oh 嬲 1 1 i 曲a p p l i c a t i o nv a l u e t w or e s e a r c hj o b sd o n ei n t h i s p a p e r , f i r s t l y , i ti n t r o d u c e st h ed e s i g na n d d e v e l o p m e n to ft h ef l e x i b l ec o n f i g u r a t i o nq u e r ys y s t e m s c c o n d l y ，t h es t u d yo ft h e s o u r c ei n t e g r a t i o n w i t hr e s p e c tt ot h ef l e x i b l ec o n f i g u r a t i o nq u e r y , t h i sp a p e r s t a t e d t h em e t h o dh o wt of o r mt h e i n t e g r a t e dq u e r yi n t e r f a c e ，r e a l i z e dt h ef l e x i b l e c o n f i g u r a t i o no fq u e r yc o n d i t i o na n d m u l t i a n g l ec o m p r e h e n s i v eq u e r yo f h e t e r o g e n e o u sd a t as o u r c e s b a s e do nt h ef l e x i b l eq u e r yd e m a n d e db yt h ea c t u a l e n t e r p r i s eas o l u t i o nh a sb e e np r o v i d e di nt h e p a p e rt o s o l v e i n t e g r a t i o n h e t e r o g e n e o u sd a t as o u r c e s b yb u i l d i n ga l li n t e r m e d i a t es h e e la n db a s e do nt h a t ， u s i n gw c fs e r v i c et og e td a t af r o mt h ee n t e r p r i s eh e t e r o g e n e o u sd a t ai n t e g r a t i o n q u e r ys y s t e mo nt h ew c fs e r v i c ew a sr e a l i z e di no r d e rt ob u i l dt h ec o m p r e h e n s i v e q u e r ys y s t e mo fc r o s s p l a t f o r ma c c e s sa n dc r o s s n e ti n t e g r a t i o n a tl a s t ，t h i sp a p e rg i v e sa a p p l i c a t i o ns y s t e mo fd a t ai n t e g r a t i o nq u e r yw h i c hi s b a s e do nc o n f i g u r a b l eq u e r ye x p r e s s i o n i nt h i ss y s t e m ，t h eg l o b a ld a t ad i c t i o n a r yo f t h es y s t e ma n dt h em a p p i n gr e l a t i o n s h i po nt h ed a t ao ft h ep a r t i a ld a t as o u r c ea n d t h es y s t e mi su s e dt or e m o v et h eh e t e r o g e n e o u so fd i f f e r e n td a t a a n di t c a r la l s o i n t e g r a t et h el o c a ld a t ai n t ot h eg l o b a ld a t a t h r o u g ht h ea s s i g n m e n tt ot h e q u e r y e x p r e s s m n ，t h eu s e r sc a nm a k eq u e r i e ss e l e c t i v e l yo nt h ei n t e g r a t e dd a t aa c c o r d i n g t ot h e i ro w n r e q u i r e m e n t s i th a sa l s os o l v e dt h ep r o b l e mo ft h ei n t e g r a t i o nq u e r yo n i i i i i 目录 目录 第一章引言l 第一节研究背景1 第二节异构数据源集成研究现状3 1 2 1 国内外典型的数据集成系统。3 1 2 2 异构数据源集成的典型体系结构4 第三节本文研究内容8 第四节论文的主要工作9 第五节论文的组织结构。1 0 第二章异构数据集成应用技术综述1 1 第一节异构数据集成中数据访问a d o n e t 技术1 l 第二节面向服务s o a 及w c f 技术综述1 3 2 2 1 面向服务s o a 综述。1 3 2 2 2s o a p 协议1 4 2 2 3w c f 技术。15 第三章企业综合集成查询系统的解决方案1 9 第一节综合集成查询系统的问题分析1 9 3 1 i 参与集成的各业务系统数据源的情况1 9 3 1 2 综合查询的需求分析2 0 3 1 - 3 企业构建综合查询系统问题分析2 2 3 1 4 企业异构数据综合集成查询系统的目标2 5 3 1 5 异构数据集成过程中面临的问题2 6 第二节基于映射表的集成查询系统的设计2 8 3 2 1 综合集成查询平台数据库表的设计2 8 i v 目录 3 2 2 企业综合集成查询的体系结构3 0 3 2 3 集成查询的效果3 l 3 2 4 基于中间表集成查询的设计方案的分析3 3 第三节基于w c f 的企业综合集成查询的设计3 4 3 3 1 基于w c f 的企业综合集成查询的体系结构。3 4 3 3 2 数据源访问的w c f 服务。3 7 3 3 3 各业务系统参与集成数据的应用w c f 服务3 8 3 3 。4 该设计方案解决的问题及存在的不足4 1 第四章可配置查询的异构数据集成系统设计4 3 第一节可配置查询的异构数据集成系统的设计4 3 4 1 1 可配置查询的异构数据集成系统的设计4 3 第二节全局数据字典的设计4 5 4 2 1 公共数据模型4 5 4 2 2 公共数据模型的应用4 6 4 2 3 全局数据字典4 7 第三节属性映射表的设计5 0 4 3 1 属性映射表5 0 4 3 2 属性映射5l 第四节查询分解5 2 4 4 1 查询接口的生成5 2 4 4 2 查询处理5 2 4 4 3 多线程在多数据源查询中的应用5 5 第五节系统运行示例5 5 第五章总结与展望5 9 第一节论文总结5 9 第二节展望6 0 v 参考文献 致谢 个人简历、在学期间发表 v l 第一节研究背景 随着信息技术的不断发展，天津某大型制药企业在信息化方面做了巨大的 投资，建立了各种信息系统以帮助企业进行业务的处理和管理。 本文所研究的异构数据综合集成查询系统来源于该制药企业信息化建设过 程中所面临的实际问题，需要通过集成企业各部门中现有的业务管理系统中异 构的数据源，建立“一站式”综合信息查询平台的应用需求，设计和实现了该 企业异构数据集成综合查询系统。通过对各业务管理系统及其系统数据源的实 际情况的分析并依据用户的查询需求，建立了该企业滴丸滴制生产、素丸包装 和检验环节中批号信息间映射表，解决了企业中目前停留在手工操作的滴丸生 产、包装、检验等信息关联的问题。 在滴丸的生产和质量检验的全过程中建立了如下信息采集和业务管理系 统：1 ) 滴丸的生产信息采集和工艺监控管理系统；2 ) 滴丸包衣信息采集管理 系统；3 ) 滴丸内包信息采集管理系统；4 ) 滴丸外包信息采集管理系统；5 ) 质 量检验信息管理系统等。其中，生产信息采集和工艺点监控管理系统以 s q l s e r v e r 2 0 0 0 数据库系统存储其管理和工艺点信息的采集数据，内包管理系 统则以a c c e s s 2 0 0 0 存储其信息，外包系统以e x c e l 2 0 0 0 存储其外包设备实 时信息，质量检验信息系统也是用s q l s e r v e r 2 0 0 0 作为其检验和质量体系标准 的存储数据库。这些系统的建成和使用极大地的提高了企业的生产管理和滴丸 的生产工艺水平，但是随着企业现代化和信息化的不断发展，对信息化程度提 出了更高的要求。这些系统孤立地存在滴丸的生产过程各个环节中，相互之间 并无关联。 而作为生产流程的一环，它们之间存在的关联关系却停留在手工操作阶段。 比如：滴丸的生产批号和内外包的批号的对应关系；在滴丸的生产过程中所有 的检验项目却孤立的存在于质量检验管理系统中。为了查询某批次的产品的原 辅料，半成品，成品的质量检验情况，生产工艺情况，内、外包等信息时，就 需要分别查阅以上各个信息系统，然后人工进行统计完成，同时现有的质检信 第一章引言 息系统只能对物料、中间体、半成品、产品等四类检品分别查询，不能实现综 合查询。如用户想查询某一批号的产品，所使用的半成品、中间体、物料的批 号及其检验结果，现有的系统则无法实现。目前的这种方式查询效率低下，无 法及时和准确地获得企业的生产经营状况，这些问题的存在一定程度上限制了 企业的发展。公司的决策者希望借助于数字化综合集成工程的深入开展，突破 时间和空间的限制，及时准确地掌握企业的生产经营状况，提高决策的科学性 和客观性，提升整个企业的运作效率，有效降低运营成本。因此，如何保护已 经建立的信息管理系统，充分利用各业务部门已经使用的数据库，实现各个业 务信息系统之间的数据集成，便于滴丸的生产和质量检验的综合查询和信息共 享，提高企业的运作效率，这就不可避免的涉及到数据异构的问题【l j 。 建立生产过程和质量检测管理集成查询系统，能充分利用企业生产和质检 等环节的现有系统信息资源，在保持原有系统正常运行的情况下能够对积累的 大量生产经营数据进行集成和联机分析，从而达到从经营层到生产管理层和过 程控制层的信息之间的纵横向沟通，实现全面的跟踪管理和控制，实现企业内 部经营管理业务和制造过程业务的信息集成，全面监控产品的生产和质量检验 过程，实现可控生产，不断提高产品的生产和质量管理。 针对上述问题，如果综合各部门业务流程，重新开发一套完整的业务系统， 无论从时间、成本还是实施方面考虑都是不可行、不现实的。所以，现阶段所 能进行的工作就是在现有系统的基础上进行异构数据源的综合集成查询，实现 数据的共享，使得围绕生产的所有的工作信息都可以综合查询和分析，以期改 进生产工艺控制、优化，监控，降低成本，提高效率，改变生产和质量信息查 询的现状，使产品实现可追溯。 本文所设计的异构数据源集成查询系统直接针对企业所面临的实际问题， 在一定程度上解决了企业所面临的异构数据源集成查询的需求，并确保了获取 数据的实时性、完整性和一致性，从而协助企业完成对现有的各业务信息管理 系统的数据的综合查询，提高了工作效率。而w c f 是建立可互操作的分布式 应用程序的平台，它定义了应用程序如何在w e b 上实现互操作性。利用w c f 服 务进行异构数据集成能够满足各种分布式信息资源之间的数据集成，企业已有 的信息系统和数据能够在保持自治的基础上被充分利用起来，这样为企业不仅 节省了资源，而且也为企业信息化的不断发展提供了空间。 2 第一章引言 第二节异构数据源集成研究现状 异构数据集成作为解决该矛盾的可行方案已经成为一个十分重要的研究课 题，成为一个研究热点，并分别由此展开了广泛的研究，采用了不同的技术和 方法，从不同的层面进行了研究，得出了很多有益的结论，开发出许多异构数 据集成系统。这里主要介绍一些具有代表性的研究工作。 1 2 1 国内外典型的数据集成系统 国外的异构数据库系统主要有： 加拿大阿尔伯特大学( u n i v o f a l b e r t a ) 的d i o m 项目：在该项目中l i n gl i u ， c a l t o np u 等提出了一个基于协调器的互操作体系结构的实现【9 ，1 0 川，其查询处理 主要有以下几个模块构成：查询接口管理器、动态查询路由、动态查询执行计 划器、动态查询结果集成器等。用户基于浏览器提交一个表单查询，由查询接 口管理器把用户的查询转换为以i d l 表示的查询。查询路由的主要功能是定位 和选取查询结果需要的相关信息，动态执行查询计划器则是将用户提交的查询 分解为针对各局部信息源的子查询然后产生一个查询执行计划，子查询再经过 翻译后在相应的局部数据源上进行查询，最后又查询结果集成器将各子查询返 回的结果集成后给d i o m 对象，并按照用户的查询需求展示结果。 土耳其中东科技大学( m e t u ) 的m i n d 系统：在该系统中使用c o r b a 来处理系统间的异构性和分布性【1 2 】。该系统有集成的全局模式，使用传统的面 向对象模型作为该系统的全局模型，以对象查询语言来表述全局的查询，同时， 对查询处理进行了研究，提出了几种查询优化技术【l 引，给出了查询处理的一些 实现技术，但没有给出这些算法的形式化定义和理论描述。， 美国斯坦福大学的l o r e 系统：是其在t s i m m i s l o r e 项目中研究开发的。 是一个异构数据源集成系统【1 4 】。在l o r e 中，应用了对象交换模型( o e m ) ，这是 一种带标签树的自我描述数据模型，它将各异构的数据转为o e m 数据，并用 l o r e 语言对数据进行访问。l o r e 系统只指明了对象如何发送和接受，不关心对 象如何存储，这对异构数据没有任何限制，不同的数据可以用不同的程序进行 解决。由于主要靠手工编程方式实现异构数据到o e m 数据的转换，编程工作 太重。在该系统中没有模式和对象类的概念，也就不需要定义对象的结构。每 第一章引言 个对象实例本身就包含自己的模式【1 5 1 。当x m l 标准出现后，l o r e 系统使用x m l 数据模型来替代o e m 转换模型。l o r e 系统可以表示和查询复杂的对象，是一 个基于协调器的集成系统的典型代表。 国内主要的集成系统原型有： 复旦大学的施伯乐、陈彤兵等提出了基于元数据和数据源能力的分布式自 治数据源的联合查询方法【l6 1 。基于原数据描述，在语义正确的情况下，可按照 不同的查询需求和不同的数据源能力，自动的构造查询计划，用于解决异构数 据源的集成和查询等问题；同时给出了快速构造查询计划的直观算法以及构造 尽可能全面的查询计划的闭包算法。 东北大学的于戈、王国仁等通过对x m l 数据查询语言中路径表达式的优 化研究【1 7 】的基础上，提出针对路径表达式了的优化策略：路径缩短策略和补路 径策略，提高了x m l 路径查询的效率。 东南大学的v e r s a t i l e 则是一个基于c o r b a 的异构数据源集成系统，使用 了对象集成模型( o i m ) 作为该系统的公共数据模型，以对象集成查询语言 ( o i q l ) 作为查询语言，以“即插即用 的方式集成不同数据源的数据【l 引。联 邦数据库系统等 1 2 2 异构数据源集成的典型体系结构 异构数据源集成系统是多个相关业务系统数据源数据的集合，它屏蔽了参 与集成的各数据源问的异构性，实现了各业务系统数据源中参与集成数据信息 的透明访问。最初的异构数据源集成大多采用了紧耦合的方式，集中控制。每 一次局部数据源的改变都会引起整个系统的重构和修改，而且对全局模式的维 护比较困难。随着新技术的不断发展，逐渐转向了松散耦合的方式，提出了新 的集成框架。当前常见集成方式的有以下几种： 1 联邦数据库系统： 联邦数据库系统是d e n n i sh e i m b i g n e r 等在1 9 8 5 年提出的。建立需要交互 的所有数据库之间一对一连接，并将各个不同数据库的数据模式进行相互转换， 是局部数据库之间互相转换【2 】o 其结构如图1 1 。这种结构比较简单，集成系统 有统一的数据模式，但是如果存在1 1 个局部数据源的话，就需要n ( n - 1 ) 个转换 方案。这种系统只能在一定的限制条件下实现，规模庞大、复杂、可维护性和 4 可扩展 种系统 图1 1 联邦数据结构 2 数据仓库： 数据仓库1 4 是解决数据集成的另一个方法。其概念是d e v l i n 和m u r p h y 在 1 9 8 8 年首次提出的。w i l l i a mh i n m o n 在1 9 9 3 年对数据仓库的思想和理论进行 了系统的阐述。数据仓库是面向主题的，随时间变化的，集成的，非易失性的 数据集合【们。在数据仓库集成结构中，各个参与集成的局部数据源的数据按照 一定条件被抽取出来，合成一个全局模式保存在数据仓库中，这在用户看来与 一般的数据库系统无异。基于数据仓库方式建立信息集成系统高度集中，能够 为企业决策者所需求的大量信息有效地进行处理。一旦数据存储在数据仓库中， 用户就可以提出查询，但用户的操作限制在检索查询的权限下，如果用户对数 据仓库进行更新，因为这些更新不能反映在基本的数据源中，就会导致全局与 局部数据的不一致性，违反了全局完整性约束。此外数据仓库中的内容需要周 期性的更新才能和各个局部数据源数据保持一致，如果希望得到最新数据需要 重新进行数据导入，无疑又增加了用户得使用负担，不便于操作。目前数据仓 库主要用于对数据的时效性和采集成本不明感的决策应用。数据仓库的结构如 图1 2 所示。 为对相关数据源的子查询，并由各局部数据源包装器将子查询转为对数据源的 查询语言，由各局部数据源执行子查询，最后由包装器将合并局部数据源返回 的查询结果给用户。这种方式对用户来说完全透明，用户不再需要了解参与集 成的数据源模式，而是由中介器进行查询的解析、分解，模式转换由包装器完 成，并且用户所查询到的数据能够实时的体现保存在各局部数据源中数据的变 化。这种集成方式所要解决的问题主要是模式映射和查询的优化。由于参与集 成的数据源异构、分布等特点，中介器就必须知道每个数据源的特性，中介器 提供的模式是一个全局模式，而各局部数据源的模式各不相同，这就需要建立 6 局部数据源和中 相关数据源后， 行具体的查询。 程度上弥补了前 存储在各个数据 对响应时间要求 的查询需求，不 图2 3m e d i a t o r w r a p p e r 的数据集成模型 通过对以上几种数据集成方式分析发现，它们都是采用了传统的软件构件 方式，都有一定的优点，但也不同程度的存在一定缺陷。因此在实际的异构数 据源集成中，采用哪种方式应该根据具体的用户需求来决定。目前很多的数据 集成系统都是企业或者组织根据自身业务发展的实际需要建立的，大多都在原 有的业务管理系统的基础上构建，一方面希望维护现有系统的正常工作，保护 已有的投资，另一方面希望对这些已有系统多年来的数据进行综合的利用，方 便用户的工作。在本文中主要针对用户查询信息的需求，不涉及到进行事务处 理，所以采用了基于中介器包装器的集成方式对该企业生产各环节的业务系统 数据源进行集成。 7 第一章引言 第三节本文研究内容 本文针对天津某大型制药企业在信息化发展过程中形成的异构数据源所带 来的数据集成问题，研究分析了国内外数据集成技术和集成方式，并对现有的 集成体系结构进行了比较。通过对企业异构数据集成需求的分析，首先将企业 需要参与集成的各业务系统及其数据源进行分析，并通过建立业务系统之间相 关信息的映射表，将数据源集中起来建立集成查询系统的初始原型系统，然后 采用中介器包装器的方式并借鉴面向服务s o a 的思想对企业中现存的业务管 理系统数据源进行数据集成，并利用w c f 技术的跨平台特性和s o a p 消息的 简单通用、穿透力强的特性，使用s o a p 消息封装数据来实现较大范围的数据 集成；利用微软n e t 中的a d o n e t 技术解决数据源数据异构的问题，设计并实 现了企业异构数据源集成查询的应用系统。系统在保证现有的各业务部门的信 息管理系统保持自治的基础上，实现了各业务部门信息系统间所要共享数据的 集成查询，同时给出了该企业集成查询系统关键组件的设计和实现细节。 本文研究目的是设计和实现该制药企业的异构数据源综合集成查询平台， 使之在多个保持自治的业务信息管理系统的基础上，为用户对各业务信息系统 参与集成共享的数据提供统一的查询接口，不涉及对各业务系统数据的更新、 删除等事务处理。本文研究了在网络环境下，企业构建基于自治异构数据源数 据集成查询所面临的问题，研究了异构数据源数据集成的体系结构、基于w c f 服务的设计和实现，并根据项目实际设计和实现了集成查询系统，并不断的完 善，使之能为企业各相关的业务系统数据集成综合查询提供简单、方便、综合 的查询服务平台。基于w c f 的异构数据集成中采用协调器包装器的方式设计 实现了异构数据源集成查询系统，在各局部数据源之上建立集成系统的全局数 据库，处理各业务系统中尚且停留在人工纸面操作的对应关系和用户管理等， 从而对整个系统实施统一的控制和访问。 本文对该制药企业生产过程信息和质量检验信息整合过程中面临的异构数 据源集成问题进行了深入探讨，给出了基于w c f 的异构数据源集成查询解决 方案，论文对集成中面临的不同问题运用不同的方法加以解决，最终完成了异 构数据集成综合查询系统的设计和实现。 8 第一章引言 第四节论文的主要工作 本文主要以制药企业异构数据集成查询系统平台的构建为背景，研究异构 数据集成查询系统的构建。结合企业异构数据集成的实际需求，分析了企业中 参与集成的各业务管理系统业务流程及其数据源的具体结构，首先建立各业务 系统间相关信息的映射表，建立一个数据集成的实验原型系统，实现了企业的 查询需求并分析其存在的问题，在此基础上给出一个基于w c f 服务的异构数 据集成查询解决方案，同时利用n e t 相关技术实现了该系统的核心部分。 1 ) 分析了该制药企业的集成查询需求，并对企业实现各业务系统数据集成 面临的问题进行了分析，对企业现有的业务系统进行分析，并通过建立相关业 务系统数据间的映射表，将企业产品生产过程的相关环节联系起来，对数据源 采用了集中的方式，实现了集成查询的系统，能够达到企业综合集成查询的业 务要求，同时分析了该种方案存在的问题。 2 ) 在前一方案的基础上，对其存在的问题进行分析，利用w c f 参与集成 的各业务系统数据源进行封装，设计了基于w c f 服务的企业异构数据集成系 统，并对其中的每个模块进行了重新设计和实现。在该方案中，利用a d o n e t 将各业务管理系统数据源中的参与集成的数据封装为数据访问接口，屏蔽了各 数据源数据的异构，并通过w c f 服务发布其接口，使之具有松耦合，可重用 等特点。在业务系统应用w c f 服务中限定了业务系统提供给集成系统的数据， 并提供对各业务系统数据源查询的接口。该方案的数据源不用集中复制到集成 系统服务器上，能较好的保证各业务系统的自治性，并实现了跨平台，跨网络 的数据访问。同时对这一方案的不足进行分析，并在在第四章给予一定的改进， 使用户能够根据自己的查询需要来选择综合查询的内容。 3 ) 利用s q l s e r v e r 2 0 0 5 建立全局数据库，在其中建立各业务系统间相关数 据信息的映射关系。并在此基础上完成该大型制药企业的综合信息查询系统平 台。实现了企业的生产过程、内包、外包等信息以及质量检验信息的集成查询， 解决了滴丸的生产过程中生产、内包、外包过程信息的脱节，以产品的批号为 主线将质量检验信息集成，使产品的生产过程和质量检验过程有机结合，为产 品生产信息，产品配料以及各个环节的质量检验数据的查询提供了方便。并针 对第四章可配置查询的综合集成查询建立全局模式和参与集成的局部数据源表 字段的属性映射表，用于解决语义异构中命名冲突和数据类型冲突等问题。 9 第一章引言 第五节论文的组织结构 第一章主要介绍了论文的研究背景，分析了异构数据集成的国内外研究现 状以及典型的集成方式，然后介绍了论文的主要研究内容和工作，最后介绍了 论文的组织结构。 第二章介绍了在设计和实现企业异构数据集成过程中所用到相关技术和思 想，主要有面向服务s o a 、w c f 技术和a d o n e t 技术。 第三章分析了某大型制药企业异构数据源数据集成查询系统构建中面临的 问题，分析了其参与集成的各业务管理系统及其数据源存储情况，并按照其构 建需求设计了基于映射表的集中式的企业异构数据集成查询系统的解决方案， 分析了其存在的问题，给出了基于w c f 服务的企业异构数据集成解决方案， 实现了企业综合集成查询系统，满足了实现了企业信息集成的需要，同时分析 了方案中存在的问题。 第四章介绍了基于可配置查询的企业异构数据集成综合查询系统的设计和 实现。给出了基于可配置的w c f 企业的异构数据集成综合查询系统体系结构， 并对数据集成查询服务中的全局数据字典，公共数据模型选取，查询分解以及 解决语义异构的属性映射表等进行了设计，同时在集成查询系统中采用了多线 程技术，提高了查询的效率。 第五章是对全文的总结和展望，概括了本文中所实现的某制药企业的异构 综合集成查询系统的特点，同时也指出其中存在的不足和需要进一步改进和完 善的地方。 1 0 第二章异构数据集成应用技术综述 第二章异构数据集成应用技术综述 异构数据的集成是企业信息化建设过程经常遇到的一个现实问题，也是制 约企业各种应用信息系统建设和数据共享程度，以及信息化建设投资重复或负 担重的一个重要因素。异构数据源集成就是在某一确定的行业领域，集成其已 经存在的且自治的数据源，使系统的使用者感觉不到所查询数据的分布性，异 构性，获得如同查询本地数据源一样的效果。数据源集成系统能够使用户更多 的关注自己所需要查询的内容而不用考虑如何获取这些数据。数据模式的异构 问题可采用a d o n e t 技术解决，分布性和自治性可采用w c f 服务给予解决。 下面介绍在该企业中进行数据集成过程中应用的相关技术。 第一节异构数据集成中数据访问a d o n e t 技术 m i c r o s o f ta d o n e t 3 5 是微软最新的数据访问技术。a d o n e t 是一些类的集 合，是一组用于和数据源进行交互的面向对象类库。它们是n e t 框架的组成部 分，它将应用程序连接到数据源，并允许应用程序提取和更新数据源所包含的 数据。a d o n e t 基于一种断开连接的体系结构并紧密集成了x m l ，特别适合开 发松散耦合的解决方案，对诸如w e b 服务这样的松散耦合的n 层应用程序体系 结构可提供一致数据访问。a d o n e t 可以访问各种数据源，包括微软的s q l s e r v e r ，o r a c l e 和m i c r o s o f ta c c e s s 这样的数据库，以及像x m l ，o l e d b 和 o d b c 这样的数据源。 a d o n e t 通过数据处理将数据访问分解为多个可以单独使用或一前一后使 用的不连续组件。a d o n e t 包含用于连接到数据库、执行命令和检索结果的n e t f r a m e w o r k 数据提供程序。您可以直接处理检索到的结果，或将其放入 a d o n e t 的d a t a s e t 对象，以便与来自多个源的数据或在层之间进行远程处理 的数据组合在一起，以特殊方式向用户公开。 a d o n e t 同时提供了连接类和断开连接类，连接类允许我们提取和更新底 层数据库的数据，断开连接类允许我们以脱机的方式访问和操纵由连接类所提 取的数据。 第二章异构数据集成应用技术综述 1 a d o n e t 数据提供程序 n e t 框架数据提供程序用于连接数据源，执行命令和提取结果，表1 1 显 示了n e t 框架所支持的数据提供程序。 表2 1 n e t 数据提供程序 ” 、鼍 。n e t 框架数据提供程序所访问的数据源! s q l s e r v e r m i c r o s o f ts q ls e r v e r7 0 版或更新 o l ed b使用o l ed b 的数据源 o d b c使用o d b c 的数据源 o r a c l eo r a c l e 客户软件8 1 7 版或更新 a d o n e t 还支持其他数据提供程序，如o r a c l e 开发了自己的n e t 数据提供 程序，s y s b a s e 和m y s q l 也具有自己的数据提供程序。数据库特定的提供程序 通常直接访问底层的数据存储，提供了最佳的性能和范围最广的功能，并支持 数据库特定的特性。除了数据库特定的提供程序外，o l ed b n e t 数据提供程 序通过o l ed b 提供程序，允许访问o l ed b 数据源，同样o d b c n e t 数据 提供程序使用o d b c 驱动程序，允许访问绝大多数o d b c 数据源。 2 a d o n e t 中的连接类 a d o n e t 对数据的访问与操作进行分离。n e t 数据提供程序中的连接类 ( c o n n e c t e dc l a s s ) 可以连接到数据源，执行命令和提取结果。下面对每个连接 类简单的描述： c o n n e c t i o n ：与数据源的一次单独会话，制定了连接到一个数据源所必须 的验证信息，c o n n e c t i o