（计算机软件与理论专业论文）分布式异构数据融合技术及其在旅游中的应用.pdf

浙江大学硕士学位论文 摘要 i n 于数据库应用需求的拓展，人们越来越认识到集中式数据库的局限性，随 着网络技术的发展，分布式数据库系统应运而生，并成为计算机技术最活跃的研 究领域之一。在分布式的网络环境下，人们不但需要对局部的数据进行控制和分 散管理，同时也期望有高层次的全局控制和协同管理，在这样的背景下，分布式 异构数据的融合显得特别重要，融合的目的是对所有存储在局部系统中的数据提 供一个单一的总视图，构造一个全局模式，使数据的分啼性以及异构性对用户透 明。 本文研究了分布式异构数据技术的现状，从分布式异构数据的存储、数据处 理以及安全三个方面进行研究，建立了一个通用的分布式异构数据融合模型。 1 ) 在存储模型中，提出了树网状相结合的存储方式，采用数据关联技术保 证分布式数据之间的一致性、完整性要求，并且研究了分布式异构数据的分片规 则。 2 ) 在数据模型中，讨论分布式异构数据的规范化表示以及融合。在融合过 程中，由于分布式数据库存储分散，网络传输时间对性能影响很大，必然需要进 行数据查询优化以及分布式事务的处理。 3 ) 在分布式异构信息的安全模型中，本文将着重描述基于l d a p 的分布式 用户访问控制以及基于中间件技术的安全机制。 分布式异构数据融合技术对旅游信息化也有着非常重要的意义，通过使用该 融合技术，可以提高旅游企业对最新旅游动态的反应速度，增强决策能力，获取 各地用户的需求，提高服务质量。 因此本文结合旅游信息的特点，提出了基于元数据的旅游信息规范化模型， 设计了旅游信息的分布式异构数据存储模型、基于e j b 组件技术的旅游信息的 分布式异构数据集戏模型，以及旅游信息的动态可配置访问控制模型。 最后，开发了基于e j b 组件技术的规范化旅游信息共享平台，实现了旅游 信息的分布式异构数据的融合以及分布式异构环境下对旅游信息的共享发布。 关键词：分布式数据库；异构数据；旅游信息系统：信息规范化架。 浙江大学硕士学位论文 a b s t r a c t w i t ht h eq u i c kg r o w t ho f a p p l i c a t i o nr e q u i r e m e n ti nd a t a b a s e ，g e n e r a lt e c h n i q u e s c a l l th a n d l es o m ep r o b l e m ss u c ha sh o wt om a n a g ei n f o r m a t i o nt h a ti ss t o r e di n d i f f e r e n td a t a b a s e sa n dd i f f e r e n tp l a c e s f o re x a m p l e ，t h eh e a do f f i c en o to n l yw a n t s t od e a lw i t hl o c a li n f o r m a t i o nb u ta l s ow a n t st oc o n t r o li n f o r m a t i o no fs u b s i d i a r y c o m p a n i e s ，b e c a u s et h eh e a do f f i c em a yw a n tt oh a v eg e n e r a lv i e wo fi n f o r m a t i o no r s o m e t i m e st h e mw o u l db ec o o p e r a t i o nb e t w e e ns u b s i d i a r yc o m p a n i e sa n dh e a do l i v e i nm a n a g e m e n t s od i s t r i b u t e dd a t a b a s es y s t e mc o m e si n t ob e i n ga n di tb e c o m e so n e o ft h em o s tf l o u r i s h i n gr e s e a r c hf i e l d s i nc o m p u t e rs c i e n c e 1 1 ”i n t e 鲥t yo f i n f o r m a t i o nw h i c hm e a n sp r o v i d e sa nu n i q u e l yv i e wo fd i s t r i b u t e dd a t a b a s et ou s e r s a n dl e tt h e mu s et h ed i s t r i b u t e da n dh e t e r o g e n e o u si n f o r m m i o nj u s tl i k et h ed a t ai s s t o r e di nl o c a la n di nt h es 日t r f l es c h e m ai sv e r yi m p o r t a n t i nt h i sp a p e rw eh a v er e a c h e ds o m et e c h n i q u eo fd i s t r i b u t e dd a t a b a s el i k es t o r e t e c h n i q u e ，c o n j u n c t i o nc o n t r o l ，a n ds e c u r i t ya sw e l la st e c h n i q u eo fh e t e r o g e n e o u s d a t ai n t e g r i t y t h e nw ep r o p o s e d i n f o r m a t i o na c c e s s i n gm o d e lo fd i s l r i b u t e da n d h e t e r o g e n e o u sd a t aw h i c hp a ym o s ta t t e n t i o no ni n f o r m a t i o ns t o r i n g ，e x c h a n g i n ga n d s e c u f i t y 1 ) i n s t o r i n gm o d e l ，w ed i s c u s sh o wp a r t i t i o n ，p l a c ea n dc o n j u n c t i o n d i s t r i b u t e da n d h e t e r o g e n e o u si n f o r m a t i o n 2 ) i ne x c h a n g i n gm o d e l ，w ed i s c u s si n t e g r i t yt e c h n o l o g yo fd i s t r i b u t e da n d h e t e r o g e n e o u si n f o r m a t i o na s s o c i a t ew i t hd a t as t a n d a r d i z a t i o n ，s e a r c h i n g o p t i m i z a t i o na n dt r a n s a c t i o np r o c e s s i n g 3 ) i ns e c u r i t ym o d e l ，w ad i s c u s sl d a p - h a s e du s , e ra c c e s sc o n t r o la n d s c o u r i t y c o m p o n e n t - b a s e dd a t as e c u , i t y t h i st e c h n i q u ei sv a l u a b l et ot o u r i s mi n f o r m a t i o ns h a r i n g , a n dt o u r i s m c o m p a n i e sc o u l db e c o m es t r o n g e ra si tc o u l dg e tt o u r i s mi n f o r m a t i o ni nt i m e t h e n w ep r o p o s e dat o u r i s mi n f o r m a t i o ns t o r i n gm o d e l ，a ne j bc o m p o n e n tb a s e dt o u r i s m i n f o r m a t i o ne x c h a n g em o d e l 雒w e l la sad y n a m i ct o u r i s mi n f o r m a t i o nc o n t r o lm o d e l f i n a l l y , w e f i n i s h e daw e b - b a s e ds t a n d a r d i z e dt o u r i s mi n f o r m a t o ns h a r e p l a t f o r mw h i c hh e l p si n t e g r a t ea n di n t e r c o n n e c tt o u r i s mi n f o r m a t i o n a n de v e r y t o u r i s mi n f o r m a t i o ns y s t e mg e l sd a t af r o mt h i sp l a t f o r ma n dm a n a g e si n f o r m a t i o n u s i n gp u b l i ci n t e r f a c e k e y w o r d s ：d i s t r i b u t e dd a t a b a s e ；h e t e r o g e n e o u sd a t a ；t o u r i s m i n f o r m a t i o n m a n a g e m e n t ；i n f o r m a t i o ns t a n d a r d i z a t i n n 2 浙江大学硬士学位论文 第一章绪论 1 1 引言 分布式数据库系统符合当今信息系统的应用需求，符合当今企业组织的管理 思想和管理方式。尤其是那些地域上分散而管理上又相对集中的大集团、大机关、 大企业，如全球性的或者全国性的公司、银行、保险业、各类交通运输等等。在 这些组织中，往往要求各个部门的局部控制和分散管理，同时也要有整个组织的 全局控制和高层次的协同管理。这种协同管理要求各部门之间既能灵活的交流和 共享，又能统一管理和使用。而且，随着应用需求的扩大和要求的提商，人们越 来越认识到集中式数据库的局限性，迫切需要把这些子部门的信息通过网络连接 起来，组成一个分布式数据库，或重新建立一个既有各部门独立处理又适合全局 范围内应用的分布式信息数据库。另外随着信息表达方式的多样化，信息的模式 也菲常的丰富，丽不同模式之间有不同的访阚形式如何使用户在访阀异擒数 据的时候就像访问同类模式数据一样简单是分布式数据库发展的迫切需求，是一 个重要的研究方向。 因此分布式异构数据的融合显得特别重要，融合的目的是对所有存储在局部 系统中的数据提供一个单一的总视图，构造一个全局模式，使数据的分布性以及 异构性对用户透明。 分布式异构数据的融合技术主要集中在存储、数据处理以及安全三个方面。 分布式异构数据的存储根据不同的数据模式以及不同的应用需求，可能会以文件 的形式存放或者以关系数据库的形式存放，或者以对象数据库的形式存放等等， 由于分布式应用的需要，数据存储如何进行含理的分布和分片对分布式异构数据 的查询处理等有着非常重要的意义，在保证数据酶一致性醴及数据的完整性方面 也起丁很大的作用。在分布式异构数据处理中，异构数据的融合以及分布式应用 要求的事务处理和查询优化是研究的关键问题。丽在分布式异构信息的安全问题 上，用户访问以及数据安全是非常重要的内容。 分布式异构数据技术对旅游信息化也有着非常重要的意义，旅游信息具有分 布广、数据最大、数据表现形式多样化的特点，通过使用该融合技术，可以提高 旅游企业对最新旅游动态的反应速度，增强决策能力，获取各地用户的需求，提 高服务质量。 浙江大学硕士学位论文 1 2 论文研究内容 本文通过研究分布式异构数据技术的发展现状，结合目前存在的一系列问题 提出了分布式异构信息融合模型，着重研究模型中分布式异构信息的存储、分布 式异构信息的关联、异构信息的安全这三项关键技术。 分布式异构数据技术对旅游信息化也有着非常重要的意义，通过使用该融合 技术，可以提高旅游企业对最新旅游动态的反应速度。增强决策能力，获取各地 用户的需求，提高服务质量。 结合旅游信息的特点提出基于元数据的旅游信息规范化模型，应用分布式 异构信息融合模型设计了一个旅游信息的分布式存储模型，设计了基于e j b 组 件技术的旅游信息的分布式异构数据集成模型，以及对规范化旅游信息的动态可 配置访问控制模型。 最后将根据对旅游信息的研究。结合旅游领域专家的经验。综台利用元数据 技术、网络技术、分布式数据库等计算机技术，研究了一种切实可行的、符合当 前国内旅游信息交换和共享的方案，使各地的旅游信息系统形成一个开放的网络 体系。各种应用系统能够通过共享平台获取最新的旅游信息资源，各个旅游信息 提供商能通过接口直接对数据进行维护，从而使旅游信息的发布和获取达到更大 程度上的自动化和鼹络化。 本文的研究工作主要包含以下几个方面： ( 一) 研究处理分布式异构数据的融合模型，从存储、关联规则、安全和集 成技术四个方面进行考虑，提出整体的解决方案。 ( 二) 根据旅游信息资源的特点，根据模型提出详细的旅游信息资源的访问 共享框架。同时根据原有旅游信息系统建设的经验，结合旅游信息内容专家知识， 提出了旅游信息资源规范化方案。 ( 三) 利用上述规范化方案和访问共享框架，搭建了一个旅游信息资源数据 库和旅游信息资源共享平台。利用w e bs e r v i c e s 技术和j 2 e e 平台实现框架中的 各个功能模块。 1 3 本文的组织 本篇论文采用如下的组织结构： 第一章绪论。阐述了论文的研究背景、意义、目标和内容。 第二章分布式异构数据技术现状综述。对相关技术背景进行了介绍，从分 布式数据库技术和异构数据技术两个方面讨论目前的最新技术进展，同时分析了 目前存在的问题。 浙江大学硕士学位论文 第三章分布式异构信息融合模型及其关键技术。提出并介绍了基于中间件 的分布式异构信息融合模型，讨论相关的关键技术问题。 第四章分布式异构信息融合模型在旅游信息中的应用。提出基于e j b 的旅 游信息资源分布式异构信息融合模型。 第五章分布式异构环境下旅游信息燕享平台的实现。阐述了规范化旅游信 息共享平台的研究背景和目标，设计平台模型，提出了平台中必须要解决的问题 以及其解决方案。 第六章总结和展望。对本文的工作进行了总结介绍了本文主要的贡献， 最后对元数据方案和共享平台的下一步工作方向作了展望。 新江太学碰士学位论文 第二章分布式异构数据融合技术现状综述 2 1 分布式数据库概述 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的 扩大，以分布式为主要特征的数据库系统的研究与开发受到人们的注意。 分布式数据库( d d b ) 是数据库技术与网络技术柏结合的产物，在数据库 领域已形成一个分支。分布式数据席的研究始于2 0 世纪7 0 年代中期。 分布式数据库系统( d d b s ) 符合当夸信息系统的应用需求，符合企业组织 的管理思想和管理方式。尤其是对地域分散管理又相对集中的大集团、大机关、 大企业，在这些组织中，往往耍求既要有各部门的局部控奄4 和分散管理，同时也 要有格个组织的全局控制和高层次的协同管理。使得各部门之间的信息能够灵活 交流和共事，统一管理和使用。 世界上第一个分布式数据库系统s d d - i 是由美国计算机公司( c c a ) 于1 9 7 9 年在d e c 计算机上实现。2 0 世纪9 0 年代以来。分布式数据库系统进入商品化 应用阶段，传统的关系数据库产品均发展成咀计算机网络及多任务操作系统为核 心的分稚式数据库产品，同时分布式数据库逐步向客户机服务器模式发展。 2 1 1 分类 按分布式数据库管理系统中的局部数据库管埋系统的数据模型对d d b s 进 行分类是一种常见的分类方法： ( 1 ) 同构同质型d d b s ：各个场地都采用同一类型的数据模型( 譬如都是关 系型) ，并且是同一型号的d b m s 。 ( 2 ) 同构异质型d d b s ：各个场地采用同一类型的数据模掣但是d b m s 的型号不同譬如d b 2 、o r a c l e 、s y b a s e 、s q l s e r v e r 等。 【3 ) 异构型d d b s ：各个场地的数据模型的型号不同，甚至类型也不同。随 着计算机网络技术的发展，异种机联网问题已经得到较好的解决，此时依靠异构 型d d b s 就能存取全嘲中各种异构局部库中的数据。 按分巾式数据库控制系统来进行分类，可以分为以下三类： ( 1 ) 集中型d d b s ：全局控制信息位于一个中心站点。容易产生瓶颈问题， 一旦中心站点实效整个系统崩溃。 ( 2 ) 分散型d d b s ；每个站点上包含全局控制信息的一个副本。特点是可用 性好但保持信息的一致性比较困难需耍有复杂的设施 性好，但保持信息的一致性比较困难，需要有复杂的设施。 浙江大学硕士学位论文 第二章分布式异构数据融合技术现状综述 2 1 分布式数据库概述 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的 扩大，以分布式为主要特征的数据库系统的研究与开发受到人们的注意。 分布式数据库( d d b ) 是数据库技术与网络技术相结合的产物，在数据库 领域已形成一个分支。分布式数据库的研究始于2 0 世纪7 0 年代中期。 分布式数据库系统( d d b s ) 符合当今信息系统的应用需求，符合企业组织 的管理思想和管理方式。尤其是对地域分数管理又相对集中的大集团、大机关、 大企业，在这些组织中，往往要求既要有各部门的局部控制和分散管理，同时也 要有整个组织的全局控制和高层次的协同管理。使得各部门之间的信息能够灵活 交流和共事，统一管理和使用。 世界上第一个分布式数据库系统s d d - 1 是由美国计算机公司( c c a ) 于1 9 7 9 年在d e c 计算机上实现。2 0 世纪9 0 年代以来，分布式数据库系统进入商品化 应用阶段，传统的关系数据库产品均发展成以计算机网络及多任务操作系统为核 心的分布式数据库产品，同时分布式数据库逐步向客户机服务器模式发展。 2 1 1 分类 按分布式数据库管理系统中的局部数据库管理系统的数据模型对d d b s 进 行分类是种常见的分类方法： ( 1 ) 同构同质型d d b s ：各个场地都采用同一类型的数据模型( 譬如都是关 系型) ，并且是同型号的d b m s 。 ( 2 ) 同构异质型d d b s ：各个场地采用同一类型的数据模型，但是d b m s 的型号不同，譬如d b 2 、o r a c l e 、s y b a s e 、s q ls e r v e r 等。 ( 3 ) 异构型d d b s ：各个场地的数据模型的型号不同，甚至类型也不同。随 着计算机网络技术的发展，异种机联网问题已经得到较好的解决，此时依靠异构 型d d b s 就能存取全网中各种异构局部库中的数据。 按分布式数据库控制系统来进行分类，可以分为以下三类： ( 1 ) 集中型d d b s ：全局控制信息位于一个中心站点。容易产生瓶颈问题， 一旦中心站点实效，整个系统崩溃。 ( 2 ) 分散型d d b s ；每个站点上包含全局控制信息的一个副本。特点是可用 性好，但保持信息的一致性比较困难，需要有复杂的设施。 新江大学硕士学位论文 ( 3 ) 可变型d d b s ：d d b s 系统中的站点分成两组，一组站点包含全局控制 信息副本，成为主站点；另一组站点不包含全局控制信息副本，称为辅站点。若 主站点数目为l 时为集中型，若全部站点都是主站点时为分散型。 2 1 2 特点和优缺点 d d b s 的基本特点； ( t ) 物理分布性：数据不是存储在一个场地上，而是存储在计算机网络的 多个场地上。逻辑整体性：数据物理分布在各个场地，但逻辑上是一个整体，它 们被所有用户( 全局用户) 共享，并由一个d d b m s 统一管理。 ( 2 ) 场地自治性：各场地上的数据由本地的d b m s 管理，具有自治处理能 力，完成本场地的应用( 局部应用) 。 ( 3 ) 场地之间协作性：各场地虽然具有高度的自治性，但是又相互协作构 成一个整体。 d d b s 的其他特点 ( 1 ) 数据独立性 ( 2 ) 集中与自治相结合的控制机制 ( 3 ) 适当增加数据冗余度 ( 4 ) 事务管理的分布性 d d b s 的优点 ( 1 ) 具有灵活的体系结构 ( 2 ) 适应分布式的管理和控制机构 ( 3 ) 经济性能优越 ( 4 ) 系统的可靠性高、可用性好 ( 5 ) 局部应用的响应速度快 ( 5 ) 可扩展性好，易于集成现有的系统 d d b s 的缺点 ( 1 ) 系统开销较大主要花在通信部分。 ( 2 ) 复杂的存取结构( 如辅助索引、文件的链接技术) ，在集中式d b s 中 是有效存取数据的重要技术，但在分布式系统中不一定有效。 ( 3 ) 数据的安全性和保密性较难处理。 2 1 3 数据分片 片断是分配和存储的逻辑单位，而关系的元组或属性并不能当作“分配的单 浙江大学碗士学位论文 位”( 容易造成难以控制的局面) 。在数据分片设计时，是从分配的观点来看，根 据具有“相同性质”的元组或属性进行分组，使具有“相同性质”( 如访问频率 相同) 。 分片设计的基本目的是产生一个对全局数据合适的划分方案，以减少应用操 作量，使应用具有最大可能的本地性。 d d b s 数据分片可以有以下几种类型： ( 1 ) 水平分片：按一定的条件把全局关系的所有元组划分成若干不相交的 子集，每个子集为关系的一个片段。 ( 2 ) 垂直分片：把一个全局关系的属性集分成若干子集，并在这些子集上 作投影运算，每个投影称为垂直分片。 ( 3 ) 导出分片：又称为导出水平分片，即水平分片的条件不是本关系属性 的条件，而是其他关系属性的条件。 ( 4 ) 混合分片：以上三种方法的混合。可以先水平分片再垂直分片，或先 垂直分片再水平分片，或其他形式。但他们的结果是不相同的。 数据分片需要满足的条件： ( 1 ) 完备性条件：必须把全局关系的所有数据映射到片段中，决不允许有 属于全局关系的数据却不属于它的任何一个片段。 ( 2 ) 可重构条件：必须保证能够由同一个全局关系的各个片段来重建该全 局关系。对于水平分片可用并操作重构全局关系；对于垂直分片可用联接操作重 构全局关系。 ( 3 ) 不相交条件：要求一个全局关系被分割后所得的各个数据片段互不重 叠( 对垂直分片的主键除外) 。 d d b s 数据分配方式 ( 1 ) 集中式：所有数据片段都安排在同一个场地上。 ( 2 ) 分割式：所有数据只有一份，它被分割成若干逻辑片段，每个逻辑片 段被指派在一个特定的场地上。 ( 4 ) 全复制式：数据在每个场地重复存储。也就是每个场地上都有一个完 接的数据副本。 ( 5 ) 混合式：这是一种介乎于分割式和全复制式之间的分配方式。 0 浙江大学硕士学位论文 2 1 4 体系结构 豳1 分布式数据库体系结梅 数据分片和数据分配概念的分离，形成了“数据分布独立型”概念。 数据冗余的显式控制。数据在各个场地的分配情况在分配模式中一目了然， 便于系统管理。 局部d b m s 的独立性。这个特征也称为“局部映射透明性”。此特征允许我 们在不考虑局部d b m s 专用数据模型的情况下，研究d d b 管理的有关问题。 2 2 分布式数据的存储技术 2 2 1 分布式数据存储的基本要求 分布式网络存储技术将用户在网络上分布的、异构的存储服务器有机地组织 起来，为用户提供一片可扩展、完整、大容量的虚拟存储空间和可靠的存储服务。 网络用户通过任意一台局域网上的计算机，都可以访问到虚拟存储空间，存取数 据并实现应用程序的自动迁移。 数字化信息存储的基本要求： 1 高可靠性。由于越来越多的有价值的关键信息资源数字化，保存在存储 系统中的数据是最为宝贵的财富。 2 高性能。计算机系统结构中有一条重要的原理：加快经常性事件( 即占用 时间最多的事件) ，计算机应用模式对经常性事件有决定性作用，早期计算机仅 用于计算c p u 活动是最经常的事件，加快其速度最重要；之后在网络应用中， 计算机通信才成为占时间最多的事件，加快网络速度就成为当务之急。目前在大 部分网络应用中存储已成为经常性事件，正如专家认为，目前计算机瓶颈己从过 去的c p u 、内存、网络变为存储。同时，存储是最值得加快的经常性事件。从 技术的角度讲，目前存储系统的i 0 率( 单位时间完成任务数) 还远不能满足高端 圈蚓圉 t _ |l，一“吁，一 。 旺盛母母一 篙一 新江太学硕士学位论文 应用的需求，存储系统需要大幅度提高其速度性能。 3 动态可扩展性。 4 全天候服务。这不仅意味着没有服务时间观念，还意味着服务不能中断 全天候要求有存储系统具有较高可用性和快速灾难恢复能力集群系统、实时备 份、灾难恢复都是为全天候服务所开发的技术。 5 易维护性。传统的存储管理和维护工作大部分由人工完成，由于存储系 统越来越复杂，对管理维护人员的素质要求也越来越高，出差错的可能性也越来 越大，稍不注意就会丢失数据因此，要求存储技术具有易管理性，最好具有智 能化的自动管理和维护功能。 6 开放性。由于各种各样的原因一般会出现多种信息平台，既有各种操作 系统的服务器，又有不同厂家不同型号的存储设备，多平台的互操作性和数据共 享对应用的方便性，减少重复投资和保护已有投资是非常重要的。 2 2 2 数据分布 数据分布是指将数据分散到计算机网络中的不同计算机节点上，数据分布策 略的好坏对整个应用系统的可用性、可靠性以及数据的存取效率有很大的影响， 所以显得特别重要。数据分布问题包括两个方面的内容：一个方面是数据片段的 分割问题，即在逻辑上将全局概念模式划分成若干逻辑片段；另一个方面是数据 片段的分布，即按一定的策略将这些数据片段分配到网络中的各个结点上，这时 逻辑片段就成为具体的物理片段。数据分寿的基本原则是：数据应分布在尽可能 靠近要使用它的节点，并用负载平衡法使系统性能全局优化。 常用的数据分布方法有摄佳适应法 b e s t - - f i t m e t h o d ) 、节点全受益法( a l l b e n e f i c i a ls i t e s ) 和附加副本法( a d d i t i o n a lr e p l i c a t i o n ) 等，其中最佳适应法用于非冗 余分布。节点全受益法和附加副本法用于冗余分布。 最佳适应法设待分配的数据片段s ，对其每种可能分配方案所花费的通信费 用都进行计算，然后选择一个费用最小的方案，把片段s 分配到相应的节点上去。 通常对s 进行访问的总费用由总的查询费用和更新费用来表示。 节点全受益法设待分配的数据片段s ，在全部节点内选择一组节点，当片段 s 的一个副本分配到这一组节点中任何一个节点上时，其收益高于所花费的代 价，则决定把片段s 分配到这一组节点中的所有节点上。这种分配方法是对片段 的初始分配费用和片段复制给某些节点后的费用计算得到的，如果复制后的费用 低于复制前的费用，则进行复制。 附加副本法设待分配的数据片段s ，首先用最佳适应法确定一个非冗余的最 佳分配方案。然后从效益最佳的副本出发，分别计算在剩余节点中的一个节点上 浙江大学硕士学位论文 增加片段s 副本后整个系统的总费用，找出其中的最小费用，如果该费用大于增 加s 副本前的最小费用，则停止计算，否则在相应的节点上增加片段s 副本。这 样一直计算下去，直到找出最小费用为止。附加副本法是一种典型的启发式方法， 它不但考虑到副本之间的相互影响，还考虑了随着副本的增加而带来的费用上升 问题。 2 2 3 存储一致性 在分布式系统中，存储一致性是非常重要的一个话题。为了使分散在不同区 域的使用不同操作系统和管理工具的数据保持一致性和完整性，必须采用一个虚 拟的公共的存储系统，这个存储系统需要保证对用户的访问透明性，就像是访问 本机内存和数据一样。分布式共享存储器( d s m ) 使得不同机器上的进程不用通过 共享物理内存就可以使用共享数据。 d s m 主要应用于并行程序、分布式应用和群组应用。d s m 应用的中心问蹶 之一就是访问d s m 的进程相当多时，怎样保持系统的一致性。 d s m 数据结构主要由三个方式组成：字节、共享对象、不可变的数据项。 在d s m 中常常在某些变量之间建立一种约束，如a = b 就是一种约束，但这种约 束并不稳定。如果两个或多个进程执行如下代码：a ：= a + l ；b ：= b + 1 ：就会产生 _ i 一致性。假设a ，b 初值都为0 。当进程1 将a 景为1 ，在置b 为1 之前，进程 2 开始执行它将a 置为2 ，b 置为1 ，此时约束条件被打破。解决这一问题的方法 是将这段代码放置于临赛区，保证在一个时刻只有一个进程在执行。 为了使用d s m 必须有一个分布式同步服务器保证其同步性可以使用加锁 和信号量。同步结构采用消息传递方式完成，特殊机器指令如t e s t - a n d - s e t 在共 享内存多处理器系统中用来保证其同步性。目前大多数d s m 应用都利用同步模 型来减少修改值传送的数量，包含同步模型的d s m 才能称为一个完整的d s m 。 2 3 分布式异构数据的安全性 计算机的安全性通常包括两个部分：认证和访问控制。认证包括对有效用户 的确认和识别。而访问控制则致力于避免对数据文件和系统资源的有害篡改。 2 3 1 用户访问控制 我们从以下几个方面来说明分布式异构信息的访问控制要求。 1 可靠消息传输 浙江大学 丽士学位论文 确保信息可靠传输，即使在网络通信不可靠或出现异常时也能保证信息的传 输。使用异步消息处理技术能够保证当网络或者通信应用程序本身处于“忙”状 态或发生故障时，系统之间的信息不会丢失，也不会阻塞。 2 完备豹用户访问控制 包括可创建用户、用户组和资源组，可以对任意队列或者主题进行授权访问： 可以定义允许访问主机列表。 3 能够承受成千上万的并发连接，而不影响系统性能。 目前主流的访问控制有自主访问控制d a c ( d i s c r e t i o n a r y a c c e s s c o n t r 0 1 ) 、强 制访问控制m a c ( m a n d a t o r ya c c e s sc o n t r 0 1 ) 、基于角色的访问控制 r b a c ( r o l e - b a s e d a c c e s sc o n t r 0 1 ) 等等【1 。 d a c 是基于访问者身份或所属工作组来进行访问控制的一种手段。访问自 主是指具有某种访问特权的访问者可以向其他访问者传递该种访问许可。d a c 访问控制完全基于访问者和对象的身份，通过访问控制矩阵( a c l 或者c l ) 可以 根清楚地了解d a c ，该矩阵的行表示用户名，列表示对象名，矩阵的每个元素 表示某个访问者对某个对象的访问授权。尽管d a c 已在许多系统中得以实现( 如 u n i x ) ，然而d a c 的一个致命弱点是；访问权的授予是可以传递的。一旦访问 权被传递出去将难以控制，访问权的管理是相当困难的，会带来严重的安全问题， 比如容易受到特洛伊木马的攻击。 m a c 也被称作格式访问控制( l a t t i c e b a s e d a c c e s sc o n t r 0 1 ) ，对于不同类型的 信息采取不同层次的安全策略，针对不同类型的数据来进行访问授权。也即是基 于被访问对象的信息敏感程度( 如用标签来表示) 以及这些敏感信息可以赋予该 访问主体的访问权限来进行权限控制的。m a c 起初主要用于军方的应用中，并 且常与d a c 结合使用，主体只有通过了d a c 与m a c 的检查后，才能访问某 个客体。由于m a c 对客体施加了更严格的访问控制，因而可以防止特洛伊木马 之类的程序偷窃受保护的信息。所以m a c 比d a c 提供了更细致的控制粒度。 r b a c ( r o l e - b a s e da c c e s sc o n t r 0 1 ) 是目前最流行的先进的安全管理控制方法 所谓角色是指拥有一个权限和责任集的某一特定职位。基于角色的访问控制在用 户和资源之间加入了角色，把对资源的使用权赋给角色，然后让用户属于某一角 色，从而使用户具有角色的权限。这样，整个访问控制过程就分成两个部分，即 访问权限与角色相关联。角色再与用户关联，从而实现了用户与访问权限的逻辑 分离。 除此之外还有一些访问控制方法，如：基于组的、基于任务的、基于所有者 的( d a c 的一种简化情形) 、基于格的( m a c 的一种) 访问控制等等。 浙江大学硕士学位论文 2 3 2 认证技术 认证包括了有效用户的确认和识别，通常通过某种形式的口令和用户识荆的 结合来进行管理。对于文件、数据和资源的访问控制可以避免有害的篡改，一般 通过权限或访问列表来实现，并作为操作系统的一部分进行管理。 分布式环境中的认证需要几个必须的步骤，首要的是是鉴别或验证一个用户 的身份。实现这一步有三种基本的方法。第一种方法，可以通过个用户所知道 f 均某些信息对其进行验证，例如口令，这是最常用的方法，虽然不一定是最安全 的方法。第二种方法，通过用户所拥有的某些东西对其进行验证，例如钥匙。第 三种方法，通过用户本身所具备的某些特性对其进行验证，如用户的指纹或者视 髓膜，这是最安全也是最昂贵钓方式。就上面讨论中涉及的观点来看这些方法 也都可以用在集中式系统中。丽在分布式操作系统中还必须考虑以下几点。 1 多口令管理：如果我们正在访问多个系统，每个系统是否都保留了用户 j d 和口令的副本呢? 每个存储认证信息的数据库都是系统安全漏洞的目标。而 且，在每次我们需要作些什么的时候，是否都需要提供口令昵? 2 重放：有人可以在认证信息在网络中传输的时候对它进行复制，即使这 些信息经过了加密，然后在以后进行重放，从而获得不正当的访问。 3 信任：认证是否应该是单方面的呢? 或者用户是否也应该检验和相信使 用的服务是合法的? 集中系统信任它自己；分布式系统必须寻找一个方法来信任 其他系统。 为了解决备受关注的通用方案可以使用一种证书管理系统。证书是一种由计 算机生成并在一段时间内有效的经认证的信息包，可以用它在分布式系统中方便 的访问各种资源。时间有效特性有助于避免以后的重放攻击。该特性通过时间戳 或现时来实现。现时是一个随机值，对于每个会话来说都是唯一的。因此，没有 两个会话会共享同个现时，从而能够更加容易的监测到重放。有两种基本方法 来进行证书管理。第一种方法包括使用证书列表，在这些列表中包含了一系列来 自可靠证书颁发机构发布的证书x 5 0 9 就采用了这种方法。所有希望检验身份 的服务都盛须检查这个列表，检验客户端的真实性。第二种方法包括集中的证书 分发中心，在那里客户端将获得适合每个想要使用的服务的证书。然后。当客户 端使用服务时就提供相应的服务证书。 2 4 分布式事务处理 事务是数据库中一个重要概念，它是一系列或都做或都不做的操作集合，是 数据库并发控制的单位。事务处理是为了避免对分布式环境数据操作导致的丢失 浙江_ = _ = 学硕士学位论文 修改、读脏数据与不可重复读等，进而保证数据的正确性与一致性。其作用主要 是协调同一时间访问同一数据库文件的多个事务之间的关系，防止这些事务之间 发生冲突，产生一个可串行化的调度。 当今流行的关系数据库系统( 如o r a c l e 、s q ls e r v e r 等) 是通过事务隔离级别 ( t r a n s a c t i o ni s o l a t i o nl e v e l ) 与封锁机制定义并发控制所要达到的目 标。根据其提供的协议，可以得到几乎任何类型的合理的并发控制方式。例如， m i e m g o t ：ts q ls e r v e r 系统中有4 种锁：共享锁、排它锁、意向锁( 又分为共享意 向锁、排它意向锁、共享意向排它锁) 、修改锁。各种锁之间有确定的相容关系： 有4 种事务隔离级别：未提交读、提交读、可重复读、串行化读，不同的隔离级 别所规定的封锁协议不同。 2 5 异构环境的融合技术 产生异构问题的原因在于：1 多种机器型号的不同，这些机器包括p c 机、 小型机、工作站甚至大型机和巨型计算机，各种型号不同的计算机在协调工作时 必然存在着硬件设备兼容性的问题 2 多种操作系统的存在，目前，流行的操 作系统有w i n d o w s 、u n i x 、l i n u x 等，不同的操作系统在协调工作时同样存在着 如何进行通信的问题：3 多种网络协议标准的存在，如t c p i p 、d e c n e t 、 n e t w a r e 等，这些协议在实际应用中各有特色，各种协议支持的应用系统越来 越丰富。而且这些协议之间存在兼容性的问题。除此之外，还存在着数据库的异 构问题以及多媒体和空间数据因格式和执行标准不同而产生的异构问题。所有这 些使得用户面l 临着这样一个问题：在异构环境下各应用之间如何进行信息交流和 共享? 为了实现在异构环境中的信息交流和共享，人们采用了诸多方法来实现异 构环境的融合处理。融合处理时充分利用操作系统的特点来实现对设备的管理， 从而使得o s 支持不同型号的机器设备：对网络进行融合处理的本质在于协议的 集成，但到目前为止还没有一种统一的方法来实现这种融合。常见的方法有：直 接法、枚举法、中间件法。 2 5 1 直接法 该方法运用隅桥( b r i d g e ) 、路由器( r o u t e r ) 和网关( g a t e w a y ) 等嘲络设 备直接实现集成。这种方法适用于对所需要的协议间的通讯是明确的情况，不足 之处在于方法的通用性较差。 浙江大学硕士学位论文 2 5 2 枚举法 该方法在同一台机器上保存多种协议，根据不同的应用调用相应的协议驱动 模块。这种方法实现起来非常方便，但执行时要增加对协议的全局控制使得数据 处理效率受到影响。 2 5 3 中间件法 这种方法可以看成是枚举法的扩展，它通过在应用层和协议之间加入中间构 件来完成融合功能，当协议发生改变时只需更新驱动模块。从而增加了灵活性， 但该方法选择合适的中间构件比较困难，而且融合的执行效率比直接法低。 分布式系统的信息处理分布在许多计算机上而不是局限在单一机器上。目前 一般类型的分布式系统体系结构可以分为两种。一种是客户机朋务器( c s ) 体 系结构，它由客户端提供用户界面、运行逻辑处理应用，而服务器接受客户端 s q l 语句并对数据库进行查询，然后返回查询结果。c s 结构曾给人们带来许 多便利，但随着业务处理对系统提出更高要求以后，它也逐渐暴露出其客户端逐 渐庞大和服务器负担过重的缺点，如灵活可扩展的工作流定制、保证数据在网络 传输的稳定性和准确性、应付峰值数据的高负荷处理和平衡负载等诸如此类的要 求，c s 结构就难以满足。 l w e b8 8 1 v e r l j l 吕旧1 81 业甜辑屡， _ i 曰曰曰蝴， 囱2 多层分布是系统结构模型 为了解决两层c s 分布式体系结构存在的不足，提出了三层或多层分布式 对象体系结构，在这种情况下，业务逻辑从客户端分离出来，移动到中闻层。于 是，在服务器和客户机之间增加了业务逻辑层或其它应用服务层。系统就成为了 具有客户端的表示层、中间的业务逻辑层和数据库服务器的三层或多层体系结 构，如图2 所示：多层分布式系统体系结构的一般模型。多层体系结构将客户 浙江大学顿士学位论文 和资源分开，降低了服务器的负载，避免了服务器的性能缺陷对整个系统性能的 影响，在多个服务器上分布应用程序处理的多层可变结构比二层的体系结构的伸 缩性和扩展性更强。 在多层分布式系统中，不同的组件可能用不同的语言来实现，且这些组件可 能运行在不同类型处理器上。数据模型、信息表示法以及通信协议可能都不一样。 因此，多层分布式系统就需要某种软件来管理这些不同部分，确保它们能通信和 交换数据。中间件就是这样一种软件，它位于系统的不同分布式组件之间。 随着分布式技术和面向对象技术的结合，产生了大量基于分布式对象中间件 的模型。目前主要的分布式系统中间件技术标准有；m i c r o s o f t 的c o m d c o m 技术、s u n 的e j b 技术和o m g ( 对象管理集团) 的c o r b a ( 公共对象 请求代理体系结构) 技术为代表的三种基于中间件技术的分布式模型框架。 2 6 目前存在的问题 分布式异构数据融合技术发展迅速，取得了巨大成功。但在实际的应用中， 也存在一些问题。 在实际的应用中，往往我们需要面对一些不是那么理想的状况。比如，就数 据的存储来说，信息化的初期大家都是各自为政，从自身的需求出发，确定描述 对象需要的要素以及他们的数据格式，而当企业间信息的共享交互成为迫切需求 的时候，会遇到无法融合的问题。 对分布式异构数据的使用过程中，虽然数据的存储对用户透明，但是网络发 展到现在，信息量大的惊人，而且会不断地产生出新的应用需求，我们通常面对 的是海量的动态的信息，如何来保证在这个分布式异构数据系统上开发的信息