（计算机软件与理论专业论文）楼宇建筑中异构数据集成与管理平台的构建.pdf

沈阳工业大学硕士学位论文 摘要 论文研究和设计了基于组件技术的楼字建筑中异构数据集成与管理系统，对楼宇建 筑中异构数据源的数据进行集成和管理，为实现楼宇建筑的仿真管理提供给管理者一个 统一的数据管理平台。 论文首先介绍了异构数据集成与管理平台的相关背景知识、研究现状及楼宇建筑中 异构数据集成与管理的意义，确定了楼字建筑中异构数据集成与管理平台的设计目标和 功能要求。 接着介绍了异构数据集成与管理平台开发相关技术。主要包括n 】t 开发平台、组 件技术和中间件技术。 然后结合c 群、组件和中间件技术，提出了楼宇建筑中异构数据集成与管理平台的 总体设计，并简要地阐述了楼宇建筑中异构数据集成与管理平台的各个功能模块 接着给出了各模块中关键部件的详细设计与实现，具体阐述了组件模型设计思想和 实现步骤，研究了原子组件的制作方法以及组件组装的方法。用组件技术实现异构数据 集成中间件，大大提高了系统的扩展性、通用性和灵活性 详细阐述了重点研究的数据集成与管理组件的设计与实现，主要包括：图像数据提 取组件、图像数据集成组件、集成后的图像数据显示组件和管理组件、图形数据提取组 件、图形数据集成组件、集成后的图形数据显示和管理组件 论文最后对楼字建筑中异构数据集成与管理系统的设计与实现工作做了总结，并提 出今后需要进一步研究的内容 关键词；异构数据，集成，管理，组件 楼宇建筑中异构数据集成与管理平台的构建 1 1 地c o n g 缸1 j c n 伽o f 圮h m g e n e 0 璐d a ：t ai n t e 肿t i o n 觚d m 锄a g e n h 瞰tp l a t 胁mi nb u i l d i n ga r c l l i t e c t t 拖p a p 盯盯c h e s 锄dd e s i 毋塔也eh e t e r o 掣咀u sd a t aj n t e 掣嘶蛐a n dm 缸暗誉釉咖 町r 剐船i nb l l i 舢d l i t e c tb l i s e do 虹仪m l p 川雠tt e c b i m l o 舒t h ed a t ao f t h eh 咖掣m 璐 d 啦洲l r 嘲i n b l | i l d i l l g 嬲黼a 托i 舭酬a n d 艘呦g e d l h 砒c 锄。脑a 瑚m e d d 砒a 瑚n a 脚1 咖p 蜥0 皿t o 蛆a d l 凼咖f o r v i 删b l l i l 血g 脚n a l 删 t h i sp a p 盯矗r s i l yi n 订1 ) d 渊l h ek 岫即哪mh l o w l e d g e ，p 陀ms t a t i i so f 卵m c _ h i n gt b e h c t 啪掣m u sd a l ai n t c 掣鲥o na n dm 钺m 掣煅嘲毗p l 砒f o 珊，锄d1 h e 代日s o fc c m s t m 她t h e k ：t e 掣m u sd 砒ai n t e 乎蚵傩a n dm 锄擒掣m l e 虹tp l 砒f o 衄i nb i 】i 舡d l i t e 鸭出蛹n e 3t h e d c s i 印印a l 蚰d 缸l c t i m q l l 嘲o fn 埒g a 嘲懈加i 疵g 呲i 雌觚d 删呦g a m 咖 p l a t f b i c mi nb l l i l d i l l ga 托h 沁c l n 嘲t h i sp a p c f 劬埘l l 懈血et e d 岫l o g yo fd e v e l o p 啦l h e 姗锄g 如璐出恤 i n t e g 丽o n 锄dm 舡州苫c m c mp l 砒f o l 胁m 【a i n l yi n c l i l d e ：n e rd e v e i 叩p l a 匝m n 伽哪p m e t t e 吐m o l o g y ，m i d d l e 、眦t c c h n o l o g y m t h i l d t h i sp 印髓p 帕s 锄t h cd e s i 弘o f 位k t e r o 鲫咖sd m a 妇删a n d m 羽m 掣瓢i 髓tp l a b 皿i nh l i l d i n g 砒d l 翮b y 咖雠“m l p 加e 毗蛆dm i d d l 郫v a t e c h m 蛔g y t h i s 群i p 口i n 蚋) d u c 嚣e a c hf i l 玳嫩o nm o d i l l ej nt h ep l 缅咖b r ! i e f l y t h 删d e s i 鲷a n di 珈i p l 即搬l 僦蚰o f 鲫p a r t sj n c h 删ei sa l 婀i t 唧o u n d sl h ed c s i g ni d 隐衄di m p l 既耻删碰龇e po f 哪p i e tm o d e l 缸d c 勃i i l t h i s 群i p 盯 a l s 0 鞭锄妇t h em e t h o do fm a i d n g 咖m i c 戗i p i m 咖a n dt h ed l u 卸哪僦o f 毗咄i c 伽衄p c 虹t 如1 p 舱m 础n gh 蜘掣删踟s 曲i n e 掣蜘m i d n 州旧地h 嘲e do n 伽恤p 魄i 触t t e c h i m l o 醪啪乎硎yr a i 册t b es ，吲觚s 【p 锄s i b i m y 掣舶船a l j 锣a n df i 商b i 墒y t h i sp i p 盯d c t a i ld 豁i g n 舳di m p l 豇耻删瓶o fl h ei n l p m 恤td a t ai m e 孕a 籼a n d m 砒瞄誉舡i e m 伽衄p 啊1 t ，w h i c hi n c h j d ei m a g c 触幽锄丽n g 伽咀l p 咖，i m a g ed 砒童 i n 把掣娟o nc c 衄p m e n 土i n ：i e 掣锄e di m a g e s h o 咖衄dm 彻_ a ；酽脚枷哪p m 锄t 丘g 嗽 讹d i 锄j i i i n g 锄p o 啪t 6 9 i l l ed 砒ai n t e 掣娟衄p m 衄t j n t e 掣砒e df i g l j 聆d a t a 曲吁嘶g a n dm 锄m 掣脚e m 伽衄p 叭i e 咄 - 沈阳工业大学硕士学位论文 f i n a l l y ，曲峙p 叩盯m a l 【器舢删矗r yo f l b ew o f k t h ed e s i 弘a n di n l p l 钮啪伽i o f t h e b e t 黜d 辨n 即懈d a 匝ai n t e 掣舶n 锄dm 锄蚀阻n e 毗p h 蜘i n 砌舡c h i t 。c t ，蛆dd i 璐s 嚣 h o w t o i n l p m v e 血e s y s t e m i n t h e f h m m 1 研w o 岫：h e t e m 掣m md 曩协，h h g 糟伽n ，m a n a g e m 蛐t c o m p o n e n t i i i 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名：弛日期：趔：! ：! 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密的论文在解密后应遵循此规定) 签名： 查幽 导师签名： 主塾笙垒日期：竺1211 ：1 沈阳工业大学硕士学位论文 1 绪论 1 1 课题背景 大型企业和政府部门的信息化系统建设通常具有阶段性和分布性的特点，在技术上 并不能一步到位，再加之其它经济和人为因素的影响，构建的信息系统就像一个个“信 息孤岛”它们各自有着不同的处理对象、操作方法和专用客户端。从应用角度来看， 这些采用不同的硬件平台，不同操作系统和不同数据库等构建起来的系统，就是一个个 异构的数据源，如此就构成了一个巨大而复杂的异构数据环境i n 随着企业信息系统的不断发展，在异构数据环境下，越来越多的用户需要同时访问 和处理多个不同数据源中的数据，希望屏蔽各个层次的异构特性，他们不必知道各数据 - l p 源的分布，也不必知道数据源的结构组成，不必自己去进行数据的转换和结果汇总，只 需要通过简便的全局查询便可以得到一个综合结果而传统的数据库集成方法已经远远 不能适应人们获取数据的需求，因此迫切需要一种新的数据集成系统。这种系统不仅能 集成传统的数据库中的结构化数据，而且还可以集成日益广泛的半结构化数据和非结构 化数据。在这种背景下，异构数据集成系统成为当前数据集成研究的一个热点口翔 本课题是根据目前我国楼宇建筑中数据管理的现状以及实现数据集成管理的要求 而提出来的一座楼字从设计、施工、建成到室内外装修，这一系列过程由不同的部门 管理，每个部门都涉及大量的数据，数据的管理方式必然不同，这就造成数据的异构性， 这些数据数量众多。结构不同，相互之间通信困难，因此建设一个统一的数据平台实现 对这些异构数据的集成与管理是实现楼字仿真管理的前提 1 1 1 数据的异构性 数据的异构性导致了数据集成的需求那么何为异构数据? 异构数据是一个含义丰 富的概念，它是指涉及同一类型但在处理方法上存在各种差异的数据，在内容上，不仅 指不同的数据库系统之间的数据是异构的：而且指不同结构的数据是异构的( 如结构化 的s q ls e r v e r 数据库数据和半结构化的沮，数据) 嗍。 总的说来，数据的异构性可以包括以下三个方面：系统异构、数据模型异构和逻辑 异构。 楼宇建筑中异构数据集成与管理平台的构建 系统异构是指硬件平台、操作系统、并发控制、访问方式和通信能力的不同，具体 细分如下： ( 1 ) 计算机体系结构的不同，即数据可以分别存在于大型机、小型机、工作站、p c 或嵌入式系统中 ( 2 ) 操作系统的不同，即数据的操作系统可以是m i c r o f tw i i l d o w s 、w i n d o 删、 各种版本的i 肘，m m o s 陀等。 ( 3 ) 开发语言的不同，比如c 。c + + ，j a v a ，d c l l 城等 ( 4 ) 网络平台的不同，比如鼬伽吼，f d d i ，删，t c p ，口，球瑚p x 等。 数据模型异构则是指d b m s 本身的不同。比如数据交换系统可以采用同为关系数 据库系统的0 l 酃i e ，s q ls e f v 盯等作为数据模型，也可以采用不同类型的数据库系统 例如关系，层次、网状、面向对象或函数型数据库等。 逻辑异构则包括命名异构、值异构、语义异构和模式异构等。比如语义的异构具体 表现在相同的数据形式表示不同的语义，或者同一语义由不同形式的数据表示【5 搠。 以上这些构成了数据的异构性，数据的异构给各行业、各单位和各部门的信息化管 理以及决策分析带来了极大的不便。因此异构数据交换是否迅速、快捷、可靠就成了行 业、单位和部门制约信息化建设的一个瓶颈。于是异构数据集成技术应运而生了。 楼字建筑中涉及的异构数据产生的原因有很多，数据的异构主要有以下两种情况： ( 1 ) 数据环境的异构 数据环境的异构包括数据库管理系统和开发工具两方面的内容。一般单位中都存在 几种数据库管理系统并存的情况，如财务、人事等部门可能分别采用像o r a c l e 、s o l s e r v 盯这样的数据库管理系统，这就是数据库管理系统本身的异构：同时由于历史的原 因，开发数据库应用的工具也各不相同，如0 m c l ed e v c l o 口e f 2 0 0 0 、p o w e rb l l i l d 盯、s u a i b a s i c 等。上面这些因素的作用结果就造成了一个异构的数据环境，在这个数据环境中 不同数据源的数据之间是异构的。 ( 2 ) 数据本身的异构 另外从数据本身来看，也存在着异构的问题： 1 ) 传统的数据库应用所处理的数据一般是结构化的； 沈阳工业大学硕士学位论文 2 ) 文本形式数据，如t x t 文本、w d r d 文档数据； 3 ) 非结构化的数据，如图形图像数据等 1 1 2 异构数据集成的定义 数据集成是对各种异构数据提供统一的表示、存储和管理，这些功能在异构数据集 成系统中实现。数据集成屏蔽了各种异构数据阃的差异，通过异构数据集成系统进行统 一的操作。因此集成后的异构数据对用户来说是统一和无差异的l ，1 异构数据源集成，简而言之，就是在一个确定领域中，集成其存在的异构且自治的 数据源，使用户感觉到所查询的数据都具有单一的模式且存储在单个数据源中。数据源 集成系统最重要的特点就是为用户提供一个统一的访问界面，使用户能够将注意力集中 在要查询的内容上，而不是如何去得到数据的方法上嗍。 1 t 3 异构数据集成的目标 异构数据集成系统的目标在于实现不同数据源之间的数据信息资源、硬件设备资源 和人力资源的合并和共享。其中关键的一点就是以局部数据源模式为基础，建立全局的 数据模式或全局外视图埘 对于异构数据集成系统，实现数据共享应当达到两点：一是实现分布的透明性，二 是实现数据的透明访问。 ( 1 ) 分布的透明性 包括两方面： 1 ) 位置透明性：即用户不必知道数据的物理存储地，就好像所用到的数据全部存 储在本地一样。如果缺乏位置透明性，则每个应用程序都必须关心自己的位置，本地数 据就不得不与远程数据分离开来 2 ) 数据源透明性：在数据集成技术中，如果仅从数据的角度来考虑，则主要是实 现单一数据影像。即对于系统中的任何一个用户，不管它所需要的数据在什么地方，来 自什么样的数据源，在用户看来，这些数据是透明的。 ( 2 ) 数据的透明访问 楼宇建筑中异构数据集成与管理平台的构建 在异构数据系统中实现了数据的透明访问，用户就可以将异构分布式数据库系统看 成普通的分布式数据库系统，用自己熟悉的数据处理语言去访问数据库，如同访闯一个 数据库系统一样。但目前还没有一种广泛使用的数据定义模型和数据查询语言，实现数 据的透明访问，可以采用多对一转换、双向的中间件等技术。 1 1 4 异构数据集成方法 目前实现异构数据源集成一般有两种方法： ( 1 ) 数据仓库法 周期性的通过数据的迁移和转换将原有的局部数据源上的共享数据移植到新的数 据仓库系统中，最后提供对该数据仓库的查询机制。该方法的系统结构如图1 1 所示。 优点：处理简单，可以为用户提供简单快速的频繁数据访问。同时还可以为其他应 用提供o l a p( o n - l i a n a l 州c a lp 啪e s s i l l g ，联机分析处理) 及决策支持等功能。 缺点：实施的周期较长，不能充分利用企业已有的信息投资。各个局部数据源和数 据仓库上都保存数据，数据重复存储。同时数据更新不及时【“j 2 1 图1 1 数据仓库法的系统结构 f i 晷1 1t h es y s t e ms 仃u c 咖o f d a l aw a 地h o u 辨m e t h o d 沈阳工业大学硕士学位论文 ( 2 ) 虚拟法( 又叫m e d i a t o f 中问件法) 不需要改变原始数据的存储和管理方式。使用一个中问模式来虚拟表示全局数据模 式，用户不必知道数据源的位置与特点，中间件将基于中问模式的查询分解为对各个局 部数据源的子查询，分别执行，最后把它们返回的数据综合起来得到查询结果中间件 位于异构数据源系统( 数据层) 和应用程序( 应用层) 之间，向下协调各数据源系统， 向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。这种方法适合于 数据源数目多，局部数据源的数据变化频繁的异构数据源集成【1 3 1 。 目前，主要的研究都是集中在虚拟法上，本论文的异构数据集成中间件也是在虚拟 法的思想上构建的。该方法的系统结构如图1 2 所示 图1 _ 2 虚拟法的系统结构 f i 导1 2t h cs y s t e m 鳓m c t l eo f 、，i r lm e t i l o d 1 1 5 异构数据集成主要问题 在虚拟法的思想基础上，考虑到实现企业异构数据源关联共享的数据集成会遇到各 种困难，主要有如下几点【14 嘲： ( 1 ) 异构性 这是数据集成面临的最主要的问题。其主要包括两个方面： 系统异构：计算机体系结构不同，操作系统不同。 楼字建筑中异构数据集成与管理平台的构建 数据异构：主要是模式的异构。数据存储模式包括关系模式、对象模式、帆文 档树型模式等等。其中在主流的关系模式中，数据也存在着差异。 ( 2 ) 完整性 异构数据源数据集成的目的就是要通过对数据源进行无缝连接，为用户提供一个统 一和透明的访问。要实现数据集成，需要在数据源内及数据源阃两个方面来保证数据和 约束完整性。 数据完整性：完整的数据提取，一般比较容易实现。 约束完整性：约束是指数据与数据之间的关联关系，是唯一表征数据间逻辑的特征。 保证约束完整性是良好的数据发布和交换的前提，可以方便数据处理过程，提高效率。 ( 3 ) 权限控制 构建多个异构数据源之问的数据集成的时候，根据集成需求的不同，选择的集成数 据源不同，同时还有可能需要限定某个数据源内的共享内容，因此需要某种机制根据不 同的集成任务，制定数据集成范围定义，进行权限控制。 ( 4 ) 灵活性 作为数据与中间件的结合体，面对复杂多变的集成环境需要具备以下特点： 可移植性：支持各种软硬件环境，不受环境限制，具备良好的通用性和可移植性。 可伸缩性：异构数据源集成中间件必须建立在灵活可伸缩基础上，能够适应数据源 的灵活多变。 互操作性：通过一套简单的a p i ( a p p l i c a t i 蚰p 黟锄l m 日锄e ，应用程序编程接 口) 或用户界面将应用与底层环节相分离。实现各种硬件环境、各种操作系统平台上的 互操作性。 部署灵活性：支持轻量快速部署。 1 1 6 楼宇建筑中异构数据集成与管理的意义 中国城市近期的快速发展，现代楼宇的规模和数量发生了前所未有的变化。各大城 市的建筑已发展成了综合性的楼宇，传统意义上的智能大厦只能在弱电系统内部进行部 分数据交换，不能对大厦的全部数据及信息进行管理。这就给建筑的设计、建设、管理、 运营和维护提出一个新的课题【瑚。随着计算机虚拟现实技术的发展，要求能在计算机上 沈阳工业大学硕士学位论文 实现对楼宇的仿真管理，这就需要对楼字建筑所涉及的各种数据进行集成管理，以提供给 管理者一个统一的信息管理平台 1 2 研究现状 异构数据集成的研究工作归纳起来主要包括以下几个主要方面： ( 1 ) 多库系统的研究 目前研究较多的是多库系统。就用户而言，使用的绝大多数数据仍是来自于数据库 系统，而这些数据库系统是基于不同硬件平台和操作系统平台的，并且它们的数据模式 也不一样。因此多库系统的集成研究得到了更多的关注。多数据库系统是多个预先存在 的、异构的、分布的数据库系统的联合，它主要解决的问题是如何在多个局部数据库系 统之间实现数据的共享和集成【m 。多库系统的集成问题最早是在2 0 世纪7 0 年代中期提 出来的，开始采用全局模式的集成问题，后来引入了联邦式数据库系统的概念。由于缺 乏必要的标准，联邦式数据库系统只能在一定的限制条件下实现，难以实现各种数据源 的灵活的数据集成【堋 多库系统集成技术是将参与数据库的有关信息在逻辑上集成为一个属于异构分布 式数据库的全局概念模式，以达到信息共享的目的。在多库系统中，全局模式构成一个 虚拟库，多库用户只能访问全局模式，它的实际数据必须从各局部数据库系统中获得i 唧。 实现策略首先是通过模式翻译器将局部数据库模式以某种公共数据模式为基础映射成 局部集成模式；然后，通过模式集成器将各个局部集成模式根据用户的需要采用全局数 据模型来定义，最终成为全局概念模式。在集成过程中应当遵循的基本原则是：共享数 据访问者的透明性、各个局部数据库的自制性这种全局概念模式也即结构化的异构数 据的公共数据表示和存取模式例。 经过二十几年的研究，也产生了一些实际的集成系统，如a m o 公司的a d d s ( a 删啪d i s t f i b i l t e dd 础i b a 辩s y s t 锄) 。具有访问异构性分布式数据库的功能，保持了 局部数据库的独立性，但目前仅仅是一个原型系统。m u l t a s e 是美国计算机高级信 息技术公司开发的联邦数据库，它提供了对局部模式和全局模式的视图定义，对用户来 说提供了完全的位置透明性，目前也只是一个原型系统。国内具有代表性的是清华大学 研制的c i m s 系统，它具有异构数据库的互操作性，不具有全局数据模式的概念。北京 楼宇建筑中异构数据集成与管理平台的构建 理工大学的i 兀胍d b 是基于c s 结构的异构数据库联合使用系统，采用了全局查询语言。 但是由于没有进行查询优化，效率低下1 2 n ( 2 ) w 曲d b 系统的研究 传统的数据库系统已经能够很好地支持结构化数据，如果对传统的数据库系统进行 扩展使它们也能够支持半结构化数据和非结构化数据，那么就能实现异构数据的集成 圈。研究w 毫b d b 系统，正是基于这样一种思路。增强传统数据库的功能以支持异构数 据集成是目前最成熟、也是最常用的方法，这是基于以下这几点考虑： 1 ) 数据库系统本身提供了存储异构数据的能力。如s y b a s e 数据库系统中 x m m a g e 或b 矾a r y 字段存储数据。对异构数据的处理主要是通过o l e 技术实 现嘲。 2 ) 数据库系统提供了对j a v a 语言的支持。妇忸是i m m l e t 的语言，是面向对象语言。 如s y b a s e a s e 包含与j a v a s o r 兼容的j 啪虚拟机( v m ) ：与j 撇在服务器中的紧密 集成；允许开发人员在数据库中编写、存储和执行j a v a 代码；扩展传统的s q l 为s q u 标准，在s q u 标准中定义的膦q l 接口。从而在关系数据库中实现存储和运行j 啪 对象的能力，将j m 的优势带进了企业数据库应用之中，提高了对异构数据的集成能力 洲。 3 ) 数据库系统提供了对) 圆l l 半结构化数据的支持。扩展标记语言( x m l ) 是 w b r l d 晰d ew 曲c 彻s o n i 啪( w 3 c ) 的标准，也是商业信息交换领域正在形成的标准【2 5 l 。 a s e 支持讧l ，包括允许开发人员创建、存储、提取和查询标准的m 。格式的文档。 a s e 器中的帆内容提供了灵活的存储和提取方式跚： 将订l 文档存储在t e 嫩或h l l 鸩e 列中： 将) 叫l 映射到新的或已有的关系表中； 从关系查询中创建h l 格式的结果集。 在当前流行的主流数据库中，以下几种均为扩展型的数据库： 1 ) o m c l c 是世界上最早商品化的关系型数据库管理系统作为一个通用的数据库系 统，0 m c l e 具有完整的数据管理功能，它还是一个分布式数据库系统，支持各种分布式 功能，特别是支持各种i n t c r n 烈处理。0 f a c l e 使用p i s q l 语言执行各种操作，具有可 沈阳工业大学硕士学位论文 开放性、可移植性、灵活性等特点特别是，在0 r a c l e 9 i 中，支持面向对象的功能，支 持类、方法和属性等概念，使得0 船c l e 产品成为了一种对象一关系型数据库系统鲫对 于大型数据对象，0 m c l e 数据库提供了四种存储类型，分别是：b l o b 、c l o b 、n c l o b 和b f i l e 。b l o b 类型存储二进制数据，c l o b 类型存储单字节字符数据，n c l o b 类 型存储定宽的多字节国家字符集数据，b f i l e 类型以外在方式存储大型二进制文件( 即 数据实际存储于数据库之外) 圆。咖c l e 9 i 中所包含的o r a c l es p 砒i a l 提供了很多对空间 对象进行操作的函数和存储过程，利用这些函数和存储过程可以十分方便地实现对空间 对象的存储、分析等功能咧 2 ) m i c m na 嘲2 2 是一个面向对象的、采用事件驱动机制的关系型数据库管 理系统，它可以通过o d b c 、0 l ed b 与其他数据库相连，实现数据互操作性，也可 以与撇，l d 、e 】【o d 等办公软件进行数据交换和共享，还可以通过对象链接与嵌入技术在 数据库中嵌入和链接声音、图像等多媒体数据p 川 3 ) m md b 2u d b ( 通用数据库) 真正实现了用户期待已久的通用性，其通用性主 要体现在以下几个方面： 跨平台开放性。d b 2 u d b 可以在多个操作平台上运行，包括w m l b 啪n t 、a ： i - 1 1 ) 【、s o l a r i s 和o s 2 等当今主要的操作平台，能够存储和检索语音、图像、动画、 用户自定义的数据类型及数字数据 全面支持蹦l e t 恤n 锄i e t 由于u 】d b 具备完全的非局限性的h l 咖e t ，w 曲能力、 j a 及b 嬲i c 编程能力，因此它可以在w 曲应用中发布动态数据，使得真正的 h i 晒粥仉曲锄i e t 电子商业保持持久性联接。 支持多媒体对象。u i ) b 完全支持大型二进制对象，允许用户将这些对象放置到 自己的表格空间中，能够高效管理用户随意自定义的数据类型和功能。由于u d b 包含 了一种称为肪妇e x t e l e 塔的软件包，使它能够支持图像、视频、声频、文本和指纹等 复杂的多媒体数据，这一特性使u d b 成为多媒体对象的一个很强的环境。 全面的决策支持能力u d b 的可扩展并行能力使其具有决策支持、数据仓库、 数据挖掘、o l ”和多维分析所要求的灵活性和强度，对6 4 位内存的支持大大提高了 系统的性能1 3 n 。 楼字建筑中异构数据集成与管理平台的构建 4 ) s y b a s e 的核心部件主要是s y b a s es q ls e r r ，s q l1 d o l s e t 及0 魄! n c l i e n t 和o p e ns e r v e r 其中o p e ns e r v e r 扩展了s e r 汛已有的分布功能，使 其可以访问异质数据源，与其配套的o p e nc l l e n t 是一个a p i 。由它将s q l 语句或远 程过程调用发送给s q l 距r 弧，由s q ls e r v e r 去执行嘲。s a s e 实时数据服务 r 1 d s ，支持所有符合j m s 标准的消息总线，复制服务器专门有r 印l i c 撕a g e n t 矗) r 册2 ，还有m a i n 如眦d i 删c 删1 c c tf o r0 s ，3 9 0 等等。s y b a s e 的e n 钯删c 伽恻d a t a 觚e s s 系列正是用于异构数据访问的产品，通过它可以实现s y b a s e 与其它5 0 多种数 据源的互访嗍 ( 3 ) 面向对象的数据库技术 另一种解决异构数据集成问题的方法是采用面向对象的数据库系统存储、访问异构 数据。对于诸如计算机辅助设计、软件工程及办公信息系统这样的数据库应用来说，为 早期的数据处理类型的应用所做的那些假设并不适合它们，人们提出面向对象数据模型 来处理这些新类型的应用。 面向对象数据模型是面向对象程序设计范形在数据库系统中的改造，它的基础是将 一个对象的数据及对这些数据操作的代码封装在对象中这样一个概念，类似的对象被分 组形成类，类的集合被结构化为子超类。由于对象中的一个数据项的值也是一个对象， 因此表示对象包含是可能的，结果就形成了复合对象p 町。典型的代表是c a 公司的 j a 蹦l i i l e 对象数据库系统。 1 3 课题主要内容 本论文研究的异构数据集成，其目的就是建立一个公共的集成环境，屏蔽各个异构 数据源的平台、系统环境、内部数据结构等方面的异构性，对它们进行无缝连接，为用 户提供一个统一和透明的接口。那么在不改变局部数据的存储位置和管理，不影响局部 数据源的自治性的基础上，作为异构数据集成的全局模式必须满足： ( 1 ) 能够描述各种数据格式，无论其是结构化的还是非结构化的，无论其支持所有 的查询语言还是简单的文本查询。 ( 2 ) 易于发布和进行数据交换，集成后的数据可以方便地发布和便于应用交换数据。 本论文研究的主要内容如下： 沈阳工业大学硕士学位论文 ( 1 ) 研究和设计异构数据集成与管理平台的体系结构。 ( 2 ) 基于组件技术的异构数据集成中间件的设计与实现。 具体阐述组件模型设计思想和实现步骤，研究原子组件的制作方法以及组件组装的 方法。用组件技术来实现异构数据集成中间件，可以提高系统的扩展性，通用性和灵活 性 1 4 本文的组织结构 本文后续章节的组织结构如下： 第二章：相关技术知识，介绍异构数据集成涉及到的相关技术。包括：开发平台、 中间件技术和组件技术 第三章：首先给出了异构数据集成与管理平台的总体设计，然后大体的介缯学名：干 模块的功能，l ；l 及各个模块的内部组成，最后概括了该平台的特点 第四章：针对第三章的总体设计，详细介绍了各大模块的设计与实现。首先介绍组 件的设计和组装，包括组件模型设计、原子组件的制作、可视化组件的制作和组件的组 装；其次介绍异构数据集成中间件的设计与实现，包括不同的数据提取组件和集成转换 组件的设计与实现；接着介绍数据管理模块的设计与实现；最后给出系统运行绪集及绪 果分析。 第五章：对本文进行总结并展望了下一步的工作。 楼字建筑中异构数据集成与管理平台的构建 2 相关技术知识 本章就论文所需的相关概念和技术做了简要的介绍，内容包括：( 1 ) 开发平台；( 2 ) 中间件技术；( 3 ) 组件技术。 2 1 开发平台 2 1 1c # 例语言是由m | 啪s o f i 开发的一种功能强大的、简单的、现代的、面向对象的全新 语言，是m i c m f t 新一代开发工具的经典编程语言，由于它是从c 和c + + 语言中派生 出来的，因此具有c 和c + + 语言的强大功能。同时，由于是m i 啪s o f t 公司的产品，它 又同v b 一样简单。对于w 曲开发而言，c 挣像j a 豫，同时具有d e l p h i 的一些优点，而 且c 撑专门为v s n l t 通用运行库高度兼容而设计钟是v s n e t 的关键性语言，它是 整个v s n e t 平台的基础【3 5 1 。 c 撑的主要特征有以下几个方面： ( 1 ) 剑是功能强大的语言 在c 群中，除了可以使用许多a p i ，更能使用v s n 】玎类库。特别是，用户可以处理 c o m 的自动化和c 类型的函数。c 撑还允许用户调用无管理的代码，也就是在c l r 引 擎控制之外的代码。这种不安全的模式允许用户操作原始指针来读和写内置碎片帐集控 制以外的内存。 ( 2 ) c 群简单 c 撑继承了c c + + 的语法，丢弃了其中不常用又容易引起混淆的功能，特别是非面 向对象的内容，增加了垃圾收集等简化程序复杂度的功能。因此完成同样工作的c ，c + + 程序与c 撑程序相比要庞大得多。 ( 3 ) c 群是面向对象的语言 c 撑是一种纯面向对象的语言，具有封装( e m a p 叭i a t i ) 、继承( i n h e r i t a n c e ) 和 多态( p o l y m o r p h i s m ) 的特性，可以被用于面向对象这种现代软件工程中。 沈阳工业大学硕士学位论文 2 1 2 设计模式 软件设计模式代表了从成功的系统设计中分离出来的可复用的优秀设计经验，描述 如何在特定情景中解决一般设计问题一个设计模式抽象、命名和确定一个通用设计结 构的主要方面。 从面向对象设计的角度，将设计模式定义为：为解决特定场景下的一般设计问题， 对相关的类和相互通信对象的描述。设计模式确定了所包含的类和对象，它们的角色、 协作方式和职责分配：集中于特定的面向对象设计问题或设计要点，描述了如何使用它， 在另一些设计约束条件下是否还能使用，以及使用的效果和如何取舍阴 一个模式包含四个要素： ( 1 ) 模式名称：用来标识模式 c 2 ) 问题描述：用来描述模式的适用范围 ( 3 ) 解决方案：描述了设计的组成成分，它们之间的相互关系及各自的职责和协作 方式。 ( 4 ) 效果：描述了模式应用的效果及使用模式应权衡的问题。 使用设计模式为软件系统的设计开发带来很多好处： ( 1 ) 设计模式为开发人员提供了一个很好的设计经验，模式中描述的解决方案是人 们从不同角度对一个问题进行研究，然后得出来最通用、灵活的解决方案，其有效性经 过大量实践检验。 ( 2 ) 设计模式为软件重用提供了一条途径。每个设计模式可以是软件设计中的可重 用元素或单元多个模式可以组合起来构成完整的系统。这种基于模式的设计具有更大 的灵活性、可扩展性和更好的可重用性。 ( 3 ) 设计模式思想是将程序中的可变部分与不可变部分分离，减少了对象阃的耦合 度，从而对某一个对象的修改，不会导致其他对象的变动，使得由于修改带来的影响范 围达到最小化【3 研。 楼宇建筑中异构数据集成与管理平台的构建 2 2 中间件技术 2 2 1 中间件的概念 中间件( i l l i d d l e 嘲) 是基础软件的一大类，属于可复用软件的范畴。中问件处于 操作系统、网络和数据库之上，应用软件的下层，总的作用是为处于自己上层的应用软 件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。 在众多关于中间件的定义中，比较普遍被接受的是玎d c ( i n t 蛐1 e td a t ac 钮衙，即互 联网数据中心) 表述的；中间件是一种独立的系统软件或服务程序，分布式应用软件借 助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作系统之上，管 理计算资源和网络通信。玎d c 对中间件的定义表明，中间件是一类软件，不仅实现互连， 还要实现应用之间的互操作。 中问件是处于应用软件和系统软件之间的一类软件，是独立于硬件或数据库厂商 ( 处于其产品的中间，实现其互连) 的一类软件，是客户方与服务方之间的连接件，是 需要进行二次开发的中问产品。 2 2 2 中间件的分类 按照i d c 的分类方法，中间件分为六类： ( 1 ) 终端仿真屏幕转换； ( 2 ) 数据访问中间件( u d a ) ； ( 3 ) 远程调用( p i 屺) 中间件； ( 4 ) 消息中间件( m o m ) ； ( 5 ) 交易中间件( t p m ) ； ( 6 ) 对象中间件。 根据2 0 0 3 年前后的发展状况，又可以把中间件分为两大类：一类是底层中问件， 用于支撑单个应用系统或解决一类问题，包括交易中间件、应用服务器( w a s ) 、消息 中间件、数据访问中间件等；另一类是高层中间件，更多的用于系统整合，包括企业应 用集成中间件( e a js u i t e s ) 、工作流中间件( w o 蝴o w ) 、门户中间件( p o r t a l ) 等， 它们通常会与多个应用系统打交道，在系统中的层次较高，并大多基于前一类的底层中 间件运行。 沈阳工业大学硕士学位论文 2 2 3 中间件的作用 具体地说，中间件屏蔽了底层操作系统的复杂性，将注意力集中在自己的业务上， 不必再为程序在不同系统软件上移植而重复工作，从而大大减少了技术上的负担。 首先，中间件带给应用系统的，不只是开发的简便、开发周期的缩短；同时也减少 了系统的维护、运行和管理的工作量，减少了计算机总体费用的投入。s 纽l d i s h 的调查 报告显示，由于采用了中间件技术，应用系统的总建设费用可以减少5 0 左右。在网络 经济大发展、电子商务大发展的今天，从中间件获得利益的不只是i t 厂商，还有r r 用 户。 其次，中间件作为新层次的基础软件，其重要作用是将不同时期、在不同操作系统 上开发的应用软件集成起来，彼此像一个天衣无缝的整体协调工作，这是操作系统、数 据库管理系统本身做不了的。中间件的这一作用，使得我们以往的劳动成果仍然物有所 用，节约了大量的人力、财力投入。 2 2 4 中间件在异构数据交换中的优势 解决异构数据交换的传统方法是：每两种异构数据源间建立起相互转化的模式，采 用点对点的交换方式，为了实现n 个异构数据源的互访，需要建立的转化模式总和为： n 州1 ) ，相应的交互复杂度为：n n 。如图2 1 所示。 图2 1 异构数据交换模式图 f i 辱2 1 t h ef i g u 他o f 霉啦d 獭e 耻h 锄g em o d c i 楼字建筑中异构数据集成与管理平台的构建 利用中间件实现异构数据交换采用的是呈星形结构，如图2 2 所示。 图2 2 异构数据交换星型结构图 f i g 2 21 1 l es t a fs n 眦n 珊0 f h e t e r o g c n e o u bd a 臆e x c h 锄铲 由以上分析，中间件的数据交换方式与传统数据交换方式相比有以下优势： ( 1 ) 交互复杂度大大降低。假设有n 种异构数据源，传统解决方案的交互复杂度是 在n n 数量级上，而中间件解决方案的交互复杂度是n 数量级。很明显，中间件解决 方案的交互复杂度得到了降低，从而大大缩减了系统的规模。 ( 2 ) 可以支持存储方式和数据存储格式异构的数据源互访。通过加入中间件，可以 支持结构化、半结构化、非结构化的异构数据源互访，同时也可以利用中间件的数据处 理功能方便地支持在数据存储格式上不同的数据源互访。 ( 3 ) 更强的可扩展性。在已有n 个异构数据源的互访系统中，如果加入一个新的异 构数据源采用传统解决方案需要增加的转化模式数为：m = ( n + 1 ) n n ( n 1 ) = 2 n ，采用中 问件解决方案需要增加的转化模式数为：m - 2 ( n + 1 ) - 2 n = 2 。比较两个m 值，容易看到， 采用传统的解决方案在扩展新的异构数据源时，需要增加的转化模式随着已有异构数据 源数量的增加而增加：采用中间件解决方案，转化模式的增加量是一个常数。再有，可 以充分利用中间件的数据处理功能对数据进行编辑，这样就无需程序员为每次加入的新 数据源编写大量代码就可以实现数据格式的转化，从而使系统扩展变得简单。 ( 4 ) 良好的通用性。中间件实际上为交换系统提供了两个通用接口；连接源数据源 的接口和连接目标数据源的接口。这样程序开发者无需搞清数据源间数据存储格式的对 f 6 圄囝 沈阳工业大学硕士学位论文 应关系，而是在互访系统的实际应用中，由用户根据自己的需要来考虑并解决这一问题， 从而提高了互访系统的通用性 ( 5 ) 降低了系统开发成本。技术成熟的中间件本身已经具有与其它数据库良好的交 互性和较强的数据处理能力。运用它，我们不必将大量开发时问投入到对中间件完善的 工作上，这样在获得交互效率比较高的系统的同时也降低了开发成本f 3 9 1 2 2 5 中间件的发展趋势 中间件技术的发展致力于建立面向对象的标准。分布式对象技术主要有三种架构标 准m i c r o f t 的c 僦o m + ，s 岫的e m ，i i 缸和o m g 的c o r b a ，这些标准极大地促 进着对象中间件技术的发展。 目前对象中间件技术发展迅速，各大软硬件厂商都在积极参与有关标准的制定和产 品开发工作。面向对象的中间件提供一个标准的构件框架，能使不同厂家的软件交互访 问，为软件用户及开发者提供一种即插即用的互操作性。像m m ，班，d e c 。i c l ， m i 啪f i ，b o r i 锄d 等都制定了相应的战略。许多对象中间件的专门厂商也相继诞生 目前与微软联盟的l 伽a 在全球面向对象中间件市场份额为2 2 - 3 ，居第一位，此外还有 b e a 的产品m 3 和b o r l a n d 的v i s i b m k 盯。国内厂商有东方通科技的t o n g b r o k 口、中科 院软件所的i s b f o k 凹分布对象中间件等【柏j 2 3 组件技术 2 3 1 组件技术概述 在计算机软件发展的早期，一个应用系统往往是一个单独的应用程序。应用越复杂， 程序就越庞大，系统开发的难度也就越大。这类单体应用程序已经不能满足计算机发展 的需要。一个很自然的想法就是把一个庞大的应用程序分成多个模块，每一个模块保持 一定的功能独立性，通过相互之间的接口完成实际的任务。2 0 世纪9 0 年代中期开始， 这种模块化的程序设计逐步发展成了组件程序设计思想。一个设计良好的应用系统往往 被切分成一些组件，这些组件可以单独开发、编译甚至单独调试和测试当所有组件开 发完成后把它们组合在一起就得到了完整的应用程序。组件是具有一定功能、能够独立 工作或能同其它组件装配起来协调工作的程序体。它是一个独立的可传递操作的集合， 楼字建筑中异构数据集成与管理平台的构建 是软件开发中一个可替换的软件单元，它封装了设计决策，并作为一个大单元的一部分 和其它组件组合起来。 组件是一个分布对象必须按照统一的接口规范向外界声明服务；组件是一块独立可 重用的二进制代码，它与传统意义上的可重用之间有本质区别，它是在二进制代码一级 的重用，它既可用不同平台进行开发，也可以分布在网络上功能不同的平台上被不同的 平台所重用；组件不是一个完整的应用，随着组件粒度越来越粗，组件集成度越来越高， 组件与较小的应用在规模上已经越来越接近，但它只是组成应用的部件，需要在应用环 境中获