（计算机应用技术专业论文）基于web+services的多数据库协同系统的研究.pdf

上海大学硕士研究生论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 摘要 当前协同应用系统的丌发正处于从简单到复杂，从支持工作组级的小 规模协作到跨机构的、全球范围内的大规模协作的过程。企业级的协同系 统需要建立在物理上分散，逻辑上异构的多种数据库之上。传统的d b m s 系统已经不能满足这种要求。因此，作者在现有数据库基础上对支持多数 据库的协同系统进行了研究。这样充分利用现有系统的资源进行新系统的 研究和开发以便缩短开发周期和节省开发资金，达到提高开发效率和软 件质量的目的。 本文首先给出了协同系统环境的功能模型、系统结构和工作流程。其 中功能模型中的协同多数据源操作和协同设计是整个协同系统中的两个主 要模块，也是本文讨论的核心内容。作者以n e t 为平台开发了基于w e b s e r v i c e s 的多数据库协同系统。 在服务端，作者详细分析并设计了实现多数据库协同系统的代理服务、 用户服务及其内部控制机制，包括w e bs e r v i c e s 接口定义、l 临时数据库表 结构、多用户访问并发控制算法和协同设计中共享空间的结构，服务端还 处理了服务的注册和安全管理等功能；在客户端，本文提供了用户操作多 数据库的接口和具有协同感知的e r 图设计白板及工具集。 最后，作为系统的实例，我们实现了基于多数据源的协同商业自动报 价系统的原型。上述提出的多数掘库协同系统的主要技术在该实例上均已 得到了实现。 本系统具有系统的构件化，异构数据库的通用性，良好的支持分工协 作和i n t e r n e t 范围内的协作等特点。 关键词：多数据库，w e bs e r v i c e s ，n e t ，白板，中间件 上海大学硕士研究生论文 t h e p o s t g r a d b a t e t h e s i s o f s h a n g h a i u n i v e r s i t y _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - - - _ _ _ _ _ _ _ _ _ _ - - - - - _ _ _ _ _ _ _ - - - _ 一 a b s t r a c t t h e d e v e l o p m e n t o fc s c ws y s t e mi s u n d e r g o i n g t h e p r o c e s s f r o m s i m p l i c i t yt oc o m p l e x i t y , f r o mt h es m a l l s c a l ec o o p e r a t i o na tt h ew o r k g r o u p l e v e lt ot h el a r g e - s c a l ec o o p e r a t i o nb e t w e e nv a r i o u so r g a n i z a t i o n sa tt h eg l o b a l l e v e l t h e e n t e r p r i s e l e v e lc s c ws y s t e m n e e d st os o l v e p r o b l e m s o ft h e s y s t e mw i t hd i s t r i b u t i o no f c l i e n t sa n dt h ed i f f e r e n td a t a b a s e s t h et r a d i t i o n a i d b m sb a s e do ni n f o r m a t i o n s h a r i n g i sn o ts u i t a b l et ot h i sn e e d t h e s e p r o b l e m sr e q u i r eu st od om o r er e s e a r c hb a s e do no r i g i n a ld b m s t oc r e a t ea m u l t i d a t a b a s e sc o o p e r a t e ds y s t e m ，w h i c hc a n s u p p o r tc s c wa p p l i c a t i o n s a tf i r s t ，w ep u tf o r w a r dt h ef u n c t i o nm o d e l ，t h ea r c h i t e c t u r e ，a n dt h e w o r k f l o wo ft h em u l t i d a t a b a s e s s u p p o r t i n g e n v i r o n m e n t t h e m u l t i - d a t a b a s e s o p e r a t i o n m o d u l ea n dm u l t i - d a t a b a s e s c o - d e s i g n m o d u l e b o t ha r ek e yp a r t si nt h ee n v i r o n m e n t ，a n dt h ef o c u so ft h i st h e s i s t h e nw e u s e n e ts y s t e mt od e v e l o pc o o p e r a t i v es y s t e mb a s e do nw e bs e r v i c e s t h et h e s i sa n a l y s e sa n dd e s i g n st h ew e bs e r v i c e si n t e r f a c e st h a tp r o v i d e o p e r a t i o ns e r v i c e ，s e c u r i t y s e r v i c ea n dc o n t r o l p r o c e s s a s a g e n t s o f m u l t i d a t a b a s e s t h e yi n c l u d et h ei n t e r f a c ed e f i n i t i o n ，d a t a b a s et a b l es t r u c t u r e p a r a l l e l c o n t r o l a l g o r i t h m s a n da r c h i t e c t u r eo fs h a r i n g s p a c e t h e m i d d l e s e r v e rp r o v i d e st h er e g i s t r ya n ds e c u r i t ym a n a g e m e n ts e r v i c e a tc l i e n t ，t h e s y s t e mp r o v i d e si n t e r f a c eo fm u l t i - d a t a b a s e so p e r a t i o n ，w h i t eb o a r da n dt o o l s t h a ta r eu s e df o rc o d e s i g n a tl a s t ，w ep r e s e n ta r c h e t y p eo fm u l t i d a t a b a s e si n s t a n c et h a ti sa b o u t q u o t a t i o no fp r i c e si ns o m ee n t e r p r i s e s t h e s ed a t a b a s e sa r ed e s i g n e db yu s i n g w h i t eb o a r d ，t h ec u s t o m e ru s et h e s ed a t a b a s e st ob u i l daq u o t a t i o no fp r i c e s s y s t e m o nt h eb a s i so fo u rr e s e a r c hw o r k ，w eh a v ed e s i g n e da n di m p l e m e n t e da p r o t o t y p eo f m u l t i d a t a b a s e ss y s t e m t h es y s t e mc a nb er e b u i l te a s i l ya n di tc a nb eu s e do nd i f f e r e n td b m s i t c a na l s os u p p o r tc o o p e r a t i o no nt h ei n t e r n e tp e r f e c t l y k e y w o r d s ： m u l t i - d a t a b a s e s ，w e bs e r v i c e s ，n e t ，w h i t e b o a r d ，m i d d l e w a r e 1 ：海大学硬士研究生论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 第一章计算机支持协作系统( c s c w ) 1 1c s c w 的定义和特征 “协同科学”作为一门新兴的学科，其形成和发展的历史并不是很长， 它具有多学科交叉的特征。今天，各个不同学科，都在不同角度研究协同现 象，研究本学科范围内或相关交叉科学的协同问题，协同科学则是要把不同 学科共同存在的协同现象抽取出来作为其研究对象，研究协同的本质、结构、 描述模型、支撑工具及应用等等。 “计算机支持的协同工作”的定义是：地域分散的一个群体借助计算机 及其网络技术，共同协调与协作来完成一项任务。它包括协同工作系统 的建设、群体工作方式研究和支持群体工作的相关技术研究、应用系统的 开发等部分。通过建立协同工作的环境，改善人们进行信息交流的方式， 消除或减少人1 1 在时间和空间上的相互分隔的障碍，节省工作人员的时间 和精力，提高群体工作质量和效率，从而提高企业、机关、团体、乃至整 个社会的整体效益和人类韵生活质量。如：共享文件系统提供的资源共享能 力，电子邮件和多媒体会议系统提供的人与人之间的通信支持功能，工作流 和决策支持系统的组织管理功能。计算机协同工作将计算机技术、网络通信 技术、多媒体技术以及各种社会科学紧密地结合起来，向人们提供了一种全 新的工作环境和交流方式。 c s c w 的关键是协调，为了提高参加者之间的通信和合作的效率，协调 机制是必备的，目的是协调用户对资源的使用，防止群体活动中一些重复性 和破坏性的行为监督和促进成员完成相应的工作，可以认为协调机制相当 于人们日常工作的监督者或管理者应该完成的任务。 c s c w 系统的目的是支持多个用户参与同一工作，所以必须提供相应的 机制支持群体活动，如在进行协同设计时，各协作者责任的划分，各子任务 作者的确定，工程( p r o j e c t ) 中各种活动的协调。在现实工作中，完整的工程 将不仅是涉及单一的c s c w 工作模式，各种形式活动之间的协调、信息共享、 人员安排是完成一件工程的关键，而目前的群件系统仅是为完成某种特定的 工作设计，无法满足人们在统一的环境下完成工程的分析、设计、实现和测 试的需求，而这恰是新一代c s c w 所希望能够提供的功能”1 ；用户之间工作 的协调，群体工作必然涉及个体之问的冲突，如何在满足系统实施的基本条 上海大学硕士研究生论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 件下完成一项工作，涉及到许多协调控制策略，如：令牌控制方式、并发控制 和协商控制等。 信息共享是协同工作的基本任务，只有提供方便可靠的信息采集、访问、 修改和删除机制才能促进成员之间的协作活动。具体地说就是：提供运行在 不同操作平台上的不同应用程序对数据的存取和交换，例如对于电子邮件实 现不同文档格式的转换；支持分布成员、信息资源以及当前活动信息的维护， 便于人们去寻找相应的工作伙伴，利用相应的资源，参加某项特定的活动，而建 立多数据库协同系统使分布信息提供给不同的应用是其中一种可选的方案。 计算机协同工作技术将带来人们协作方式的变革，提高人们协同工作的 整体效率。计算机协同工作应用系统的发展和推广会改善人们交流信息进行 协作的方式，而计算机技术的发展也必然走向计算机协同工作的方向。 1 2c s c w 系统的发展 自1 9 8 4 年c s c w 这一研究领域在i r e ng r i e f 和p a u lc a c h m a n 等人的努 力下出现以来，大量用来支持某些特定的协同领域协同应用系统( 也称为群 件g r o u p w a r e ) 已被相继的开发出来，其中某些系统已经被商品化，目前已 经得到广泛使用的群件系统包括e m a i l ，桌面会议系统，工作流管理系统、 电子布告牌b b s 等。总体而言，群件的主要目标是通过连成网络的计算机系 统给具有共同目标和任务的协作参与者们提供某种类型的协作共享工作空 间，以帮助他们完成协作过程中的各种交流和交互。现阶段的研究，实践上 人们在更深层次上研究群件的开发平台一一元群件( m e t a g r o u p w a r e ) ”1 系统， 以提高群件系统的效率和协同系统的可扩展性，从而能够在一致的平台下开 发出彼此能互相调用、协作信息能够平滑共享、同步活动控制和异步活动控 制集为一体的群件系统。总之，协同工作的研究正在逐步成为计算机领域的 重要的研究方向，并j 下在向军事、商业、政府办公等应用领域扩展。同时， 传输的方式也出以前的有线到无线，协同场所由固定到移动方向发展。 1 3 问题的提出与本文的组织 c s c w 系统的基本特点是分布的群体、处于网络环境、凭借多媒体的信 息、交互的工作方式、围绕具有共同目标的任务而协同工作，一般地讲。以 信息共享为核心功能的传统数据库管理系统已不能完全适应目前的需要。 我们认为可以有两个可能的途径进行多数据库协同系统技术的研究和开发： 2 上簿大学硕士研究生论文 t h e p o s t g r a d u a t e t h e s i s o f s h a n g h a iu n i v e r s i t y i 研究一种念新的协同数据库及其管理系统c o d a t a b a s e “，从数据库的 存储结构、逻辑结构、面向用户表示结构和协同控制与管理进行研究、设计 翻实现。搜它凝综合了分粕式 ， = ， ， = ，= ， ： 逻辑运算符a n d ，o r ，n o t ； 谓词b e t w e e n a n d ，i n ，l i k e 带有包括通配符( ) 和下划线( 一) 的匹配模式，同时这些谓词也可以用n o t 来加以修饰； 存在量词e x i s t s 和n o te x i s t s ；对于全称量词，必须通过变换成存在 量词，而f o x p r o 下的s q l 除了使用以上的运算符、谓词和量词外，在字符串比 较时可以使用精确比较运算符( - ) ；增加了量词a n y ，s o m e 和全称量词a l l ， 从而可以方便地构造“部分”或”全部”关系。 2 ) 建立w e bs e r v i c e s 数据库访问代理时，要首先考虑本身数据库的开发商和 合作伙伴的开发工具 由于商业上的竞争关系，各种厂商在推出的访问数据库组件总是以自身 的数据库为优先考虑对象。以微软为例，a d o n e t 推出了针对s o l s e r v e r 2 0 0 0 的s q l c o n n e c t i o n 和对其他数据库的o l e d b c o n n e c t i o n 两种连接方式。访问 s q ls e r v e r 数据库的时候。根据测试可以看出，使用s q l c o n n e c t i o n 速度几 乎快过o l e d b c o n n e c t i o n 十倍，无论是使用d a t a r e a d e r 还是d a t a t a b l e ， s q l c o n n e c t i o n 的速度都大大高于o l e d b c o n n e c t i o n 。再如j a v a 在访问微软 的数据库时，都需要通过j d b c o d b c 桥，导致访问速度受到限制。因此建议 对数据库访问的代理时最好采用其公司或者其合作伙伴发布的w e bs e r v i c e s 丌发工具，以提高访问效率。 3 ) 出于网络阻塞的原因，对于大批量数据需要改进方法 对此，笔者曾经作过试验。实验条件如下：服务端c p u 为p 41 6 g ：内 存为2 5 6 m ：数据库服务器为s q ls e r v e r 2 0 0 0 ；客户端与服务端通过局域网 匕海大学硕十形f 究生论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 进行连接，网络传输速度约5 0 k 秒；采用s o a p 协议返回数据。在这种条件 下，客户端最多访问l 万条以下的数据量。超过了该数据量以后，网络将超 时。实验结果显示：访问1 万条数据需要约2 分1 6 秒的时间。因此，对于一 般的互联网条件上进行数据共享协作需要其他传输方法，在n e t 中可以采用 另一种方法：将d a t a s e t 进行二进制序列化，客户端在进行反序列化，这样 就可以减少网络大量的数据传输。如果在服务端对已经序列化后的d a t a s e t 进行压缩，则更能减少网络传输量。 3 2 2 发布数据库代理 1 数据源代理服务接口描述 目前，w e b 服务的声明大多采用w s d l ( w e b s e r v i c e sd e f i n i t i o nl a n g u a g e ) 语苦，这是由w 3 c 组织于2 0 0 1 年3 月提出供讨论的一项n o t e 。这是一种 x m l 格式的文本，用于将w e b 服务描述为一组调用接口，这些接口处理含 面向文档的或者面向过程的消息。类似c o r b ai d l 文件，w s d l 的文本实 例描述w e b 服务的位置、可调用的接口、参数格式、返回参数格式。由于对 w e b 服务的调用是在i n t e r n e t 上的，w s d l 还包括对调用中通讯协议的声明， 通常采用h t t p + s o a p 协议形式。 下面是对于操作本地数据库所提供接口的描述( w s d l ) ： i ：海入学硕士研究生论文 t h ep o s t g r a d u a t et h e s i so f s h a n g h a iu n i v e r s i t y 、 之类 的操作符。c o l u m n n a m e 是含有要查询数据的列的名称。t a b l e n a m e 是需要 查询的表或者是视图的名称，v a l u e s 引入要插入的数据值的列表。 由于操作的是多数据库，所以在牵涉到数据表或者数据视图的时候都要 指出该表的数据源和数据源中的数据库名称。在m s q l 中，我们假设一般用 户只能对表结构进行读操作，只有数据库管理员才能对数据表的结构进行修 改，因此在m s q l 中没有定义修改数据表结构以及创建，删除数据表等操作。 4 2 客户端语言编译器的设计与实现 在对协同多数据库的操作中，读的操作是最多的一种操作。并且根据前 面的叙述，对多数掘库写的操作也是需要先进行读因此，我们先介绍对于 m s q l 中读操作的分解算法。 我们的全局模式是基于多个l d b m s 的输出模式得到的，因此我们需要 上j i 垂大学硕士研究生论文 t h ep o s t g r a d u a t e t h e s i so f s h a n g h a i u n i v e r s i t y 将全局查询分解为在l d b m s 上的执行的子查询，查询分解的步骤如下： ( 1 ) 根据全局语句中空格字符分解用户