（计算机科学与技术专业论文）基于云计算平台的个人信息融合系统的研究与实现.pdf

人 土 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 同期：上坐掣一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位 本人签名： 导师签名： 篡一 日期：竺l 竺。；：2 摘要 基于云计算平台的个人信息融合系统的研究与实现 摘要 随着计算机技术的发展和计算机知识的普及，企业的信息化越来 越普遍，但是信息化以部门为单位设计，缺乏统一规划，导致各部门 之间的数据缺少沟通。为了统一数据，实现信息共享，需要对部门间 的大数据量的数据进行集成。目前主要的数据集成技术包括联邦数据 库、数据仓库以及中间件三种方式。本文基于此提出了一个添加了知 识库的数据仓库集成系统，即个人信息融合系统。个人信息融合系统 主要包括属性映射等数据准备、数据处理以及可视化分析三大部分。 通过这三大步骤实现从多源异构数据中抽取个人基本信息和关系信 息，并完成可视化分析。而将知识库引入到系统中，便可以利用名称 相似度和结构相似度算法进行相似度计算，从而实现属性映射的推荐 等功能，同时知识库也消除了集成过程中的难以解决的语义冲突问题 等。 而无论是数据集成中大数据量数据的处理，还是知识库中知识的 管理，都需要以高效的计算能力作为基础。云计算作为一个新型的面 向服务的计算模式，它具有资源高扩展、强大的计算和存储能力等特 点。云计算平台将资源虚拟化，并进行有效且动态的资源划分以及分 配，正是由于它的快速灵活等特性使得企业在信息化过程中的成本大 大降低。为此，本文基于目前的云计算l a a s ，p a a s 以及s a a s 的三 北京邮电人学硕i ：学位论文 摘要 层基础框架的思想来构建和部署个人信息融合系统的。首先，按照服 务工程设计系统的步骤，利用s e r v i c ep i p e l i n e ，c a l l r e t u r n 以及s e r v i c e a g e n c y 服务建模思想来完成个人信息融合系统中各基础服务组件的 构建以及服务组合。接着研究了云计算环境下，基础环境的构建以及 服务的部署。最后，在对系统开发环境及系统开发关键技术分析的基 础上，给出了云计算平台的个人信息融合系统的实现过程，并通过实 验数据来验证云计算环境下数据处理的高效性。 关键词：数据集成知识库云计算服务科学 北京邮i 乜人学硕一j ：学位论文摘要 t h er e s e a r c ho fp e r s o n a li n f o r m a t i o n i n t e g r a t i o ns y s t e mb a s e do nc l o u d c o m p u t i n g a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n dc o m p u t e rl i t e r a c y , e n t e r p r i s ei n f o r m a t i o ni sb e c o m i n gi n c r e a s i n g l yp o p u l a r , b u te n t e r p r i s e i n f o r m a t i o np r o c e s s e sa r ei m p l e m e n t e db a s e do nd e p a r t m e n t sw i t h o u t o v e r a l lp l a n n i n g ，l e a v i n gl a c ko fc o m m u n i c a t i o nb e t w e e ni n f o r m a t i o n s y s t e m s i no r d e rt ou n i f yd a t aa n di n f o r m a t i o ns h a r i n g ，w em u s ti n t e g r a t e t h el a r g e - s c a l ed a t ab e t w e e nd e p a r t m e n t s n o w a d a y st h e r ea r em a i n l y t h r e em e t h o d sf o rd a t ai n t e g r a t i o n ，w h i c ha r ef e d e r a t e dd a t a b a s e s ，d a t a w a r e h o u s ea n dm i d d l e w a r e b a s e do nt h e s e ，t h i sp a p e rp r e s e n t sad a t a w a r e h o u s ei n h e r i t a n c es y s t e ma d d i n gt h ek n o w l e d g ed a t a b a s e ，n a m i n g p e r s o n a li n f o r m a t i o ni n t e g r a t i o ns y s t e m p e r s o n a li n f o r m a t i o ni n t e g r a t i o n s y s t e mc o n t a i n sd a t ap r e p a r a t i o n ，i n c l u d i n gp r o p e r t i e sm a p p i n ge t c ，d a t a p r o c e s sa n dv i s u a l i z a t i o nt h r e ep a r t s t h r o u g ht h e s et h r e ep a r t s ，t h e s y s t e me x t r a c t st h ep e r s o n a lb a s i ci n f o r m a t i o na n dr e l a t i o ni n f o r m a t i o n ， t ov i s u a l i z e a d d i n gk n o w l e d g ei n t ot h es y s t e mc a nh e l pt or e a l i z e r e c o m m e n d a t i o nf u n c t i o ni n p r o p e r t i e sm a p p i n gm o d u l e ，t h r o u g h s i m i l a r i t yc o m p u t i n gs u p p o r t i n gb yn a m es i m i l a r i t ya n dr u l es i m i l a r i t y a l g o r i t h m s w h a t sm o r e ，s e m a n t i cb a s e c a ne l i m i n a t et h ed i f f i c u l t s e m a n t i cc o n f l i c t sp r o b l e mi ni n t e g r a t i o np r o c e s s b u tw h e t h e ri tb 6t h ei n t e g r a t i o no fl a r g ea m o u n t so fd a t ao r k n o w l e d g em a n a g e m e n t ，a l lw en e e di se f f i c i e n tc o m p u t i n gp o w e r c l o u d c o m p u t i n gi sas e r v i c e o r i e n t e dc o m p u t i n gm o d e l ，w i t ht h ec h a r a c t e r so f h i g h l ys c a l a b l e ，p o w e r f u lc o m p u t i n ga n ds t o r a g ec a p a c i t ya n ds o o n c o u l dc o m p u t i n gp l a t f o r mv i r t u a l i z e s ，d i v i d ea n da l l o c a t er e s o u r c e s d y n a m i c a l l y t h a n k st oi t sf a s ta n df l e x i b l ef e a t u r e s ，t h ec o s to fe n t e r p r i s e i n f o r m a t i o nh a sb e e nr e d u c e d b a s e do ni a a s ，p a a s ，s a a st h et h r e e t i e r f r a m e w o r ko fc l o u dc o m p u t i n g ，t h i sp a p e rp r e s e n t st h ec o n s t r u c t i o na n d d e p l o y m e n to fp e r s o n a li n f o r m a t i o ni n t e g r a t i o ns y s t e m f i r s t l y , a c c o r d i n g 北京邮电人学硕l ：学位论文 摘要 t h es t e p so fs y s t e md e s i g ni ns e r v i c ee n g i n e e r i n g ，w ef i n i s hc o n s t r u c t i o n o fb a s i cs e r v i c ec o m p o n e n t sa n ds e r v i c ep o r t f 0 1 i o ，b yt h ew a yo fs e r v i c e p i p e l i n e ，c a l l - r e t u ma n ds e r v i c ea g e n c yt h e s es e r v i c em o d e l i n gi d e a s s e c o n d l y , w er e s e a r c h t h ee n v i r o n m e n tc o n s t r u c t i o na n ds e r v i c e d e p l o y m e n ti nc l o u de n v i r o n m e n t f i n a l l y , w ep r e s e n tt h ei m p l e m e n to f p e r s o n a li n f o r m a t i o na n dv a l i d a t et h ee f f i c i e n c yo fc o r ea l g o r i t h m si n c l o u dc o m p u t i n gt h r o u g he x p e r i m e n t s k e yw o r d s ：d a t ai n t e g r a t i o n k n o w l e d g eb a s e c l o u dc o m p u t i n g s e r v l c es c l e n c e k 北京邮电人学硕i ：学位论文 目录 目录 第一章绪论1 1 1 研究背景1 1 1 1 数据集成1 1 1 2 云计算1 1 2 研究意义一2 1 3 研究内容和组织结构3 1 3 1 论文的研究内容3 1 3 2 论文的组织结构3 第二章云计算技术及企业应用4 2 1 云计算平台4 2 1 1 云计算的定义4 2 1 2 云计算的架构4 2 1 3 云计算的用户6 2 2 现有云计算平台介绍8 2 2 1g o o g l ea p p 8 2 2 2a m a z o ne c 2 9 2 2 3l b m 蓝云9 第三章企业数据集成方法及相关技术1 1 3 1 数据集成的方法1 1 3 1 1 联邦式结构11 3 1 2 数据仓库型结构12 3 1 3 中间件模型结构13 3 1 4 三种数据集成方式的比较14 3 2 数据集成的主要技术15 第四章个人信息融合系统17 4 1 个人信息融合系统与数据集成17 4 1 1 个人信息融合系统17 4 1 2 个人信息融合系统的总体需求17 4 2 个人信息融合系统中的数据集成方式18 4 2 1 数据集成方式18 4 2 2 知识库的设计2 0 北京邮电人学硕i ：学位论文目录 4 2 2 1 知识库内容21 4 2 2 2 知识库的指导方式2 2 4 2 2 3 知识库应用2 2 4 2 3 个人信息融合系统的融合算法2 4 4 2 3 1 个人识别算法介绍2 4 4 2 3 2 单机环境下的算法实现2 6 4 2 3 3 分布式环境下的算法实现2 7 4 3 个人信息融合系统的服务设计2 9 4 3 1 服务工程与云计算2 9 4 3 2 软件即服务3 0 4 3 ，3 运用服务工程设计系统的步骤3 1 4 3 4 个人信息融合系统的服务构建3 3 第五章个人信息融合系统展示3 9 5 i 目标系统模型3 9 5 1 1 系统总体框架图3 9 5 1 2 系统服务介绍4 0 5 2 环境介绍4 3 5 2 1 系统环境4 3 5 2 2 云平台环境构建4 4 5 2 3 云平台环境下的软件部署4 6 5 3 系统展示4 7 5 3 1 系统效果说明展示4 7 5 3 2 算法实验结果展示4 8 第六章结论与展望5 1 6 1 总结51 6 2 展望一5 1 参考文献5 3 致谢5 6 攻读硕士期间的研究成果5 7 ， 北京邮电人学硕二i 二学位论文 目录 目录 第一章绪论1 1 1 研究背景1 1 1 1 数据集成1 1 1 2 云计算1 1 2 研究意义2 1 3 研究内容和组织结构3 1 3 1 论文的研究内容3 1 3 2 论文的组织结构3 第二章云计算技术及企业应用4 2 1 云计算平台4 2 1 1 云计算的定义4 2 1 2 云计算的架构4 2 1 3 云计算的用户6 2 2 现有云计算平台介绍8 2 2 1g o o g l ea p p 8 2 2 2a m a z o ne c 2 9 2 2 3l b m 蓝云9 第三章企业数据集成方法及相关技术1 1 3 1 数据集成的方法11 3 1 1 联邦式结构1 1 3 1 2 数据仓库型结构12 3 1 3 中间件模型结构13 3 1 4 三种数据集成方式的比较1 4 3 2 数据集成的主要技术15 第四章个人信息融合系统17 4 1 个人信息融合系统与数据集成17 4 1 1 个人信息融合系统17 4 1 2 个人信息融合系统的总体需求17 4 2 个人信息融合系统中的数据集成方式18 4 2 1 数据集成方式18 4 2 2 知识库的设计2 0 北京邮电人学硕一t ：学位论文 日录 4 2 2 1 知识库内容21 4 2 2 2 知识库的指导方式2 2 4 2 2 3 知识库应用一2 2 4 2 3 个人信息融合系统的融合算法2 4 4 2 3 1 个人识别算法介绍2 4 4 2 3 2 单机环境下的算法实现2 6 4 2 3 3 分布式环境下的算法实现2 7 4 3 个人信息融合系统的服务设计2 9 4 3 1 服务工程与云计算- 2 9 4 3 2 软件即服务3 0 4 3 3 运用服务工程设计系统的步骤3 1 4 3 4 个人信息融合系统的服务构建3 3 第五章个人信息融合系统展示3 9 5 1 目标系统模型3 9 5 1 1 系统总体框架图3 9 5 1 2 系统服务介绍一4 0 5 2 环境介绍4 3 5 2 1 系统环境4 3 5 2 2 云平台环境构建4 4 5 2 3 云平台环境下的软件部署4 6 5 3 系统展示4 7 5 3 1 系统效果说明展示4 7 5 3 2 算法实验结果展示一4 8 第六章结论与展望51 6 1 总结一51 6 2 展望一5 1 参考文献5 3 ! l 【谢5 6 攻读硕士期间的研究成果5 7 北京邮电人学学位论文绪论 1 1 研究背景 第一章绪论 随着网络数据的急剧增加，越来越多的商业和科学应用增加了对分布式资源 的访问，先后出现了集群计算，网格计算，以及现在的云计算。人们都希望现在 的海量数据处理问题能在分布式计算中得到解决。基于云计算平台的个人信息融 合系统便是在云计算和数据集成快速发展的前提下提出的，下面论文将从云计算 和数据集成两个方面来阐述研究背景。 1 1 1 数据集成 计算机技术的诞生给人类生活和工作带来了巨大的变化，它带动了企业的信 息化，使得以前繁琐的企业信息得到很好的管理和控制。而随着企业信息化进程 的发展，伴随而来的是数据的泛滥和信息的匮乏，由此，需要人们对其数据进行 有效地规整并进而对有效数据进行数据挖掘，使之为企业发展提供信息导向。但 是大数据量甚至海量数据的处理需要有大量的计算能力，这不是中小企业所能够 承担的，同时单个公司内海量数据处理的成本也渐渐成为了企业成本中不可忽略 的一部分。现有的海量数据集成存在着以下的问题【1 1 ： 碡封闭性。大部分的企业信息化都是部门内部使用，都是以封闭的状态存在， 缺乏对外的开发接口。 雄信息孤岛。由于企业信息化以部门是单位，这样各个部门之间的数据不能得 到共享，因此形成了一个个彼此分离的信息孤岛。 馥缺乏规范和标准。企业信息化的完成都没有固定的标准，从而造成了数据融 合和分析的难度。 4 海量大规模。数据的急剧增加，现有的数据管理平台无法支持大数量的有效 管理，数据处理也必然需要分布计算的帮助。 1 1 2 云计算 云计算【2 】平台作为一个新型计算平台应运而生。它集中了分布式计算，网络 计算，效用计算的特点，通过互联网将大规模计算和存储资源整合起来，按需提 供给用户。云计算同时也可能导致计算机软件业商业模型的革新，它的新型计算 北京邮电人学学位论文绪论 机资源的公共化方式，使得用户从繁重，复杂，易错的计算机资源管理中解放出 来，只关注业务逻辑，降低了企业信息化的难度【3 】。同时它还使得软件开发的分 工更加细致，也导致软件业新型角色的诞生。它具有如下特点f 4 】： 4 超大规模。云具有相当的规模，不管是g o o g l e ，a m a z o n 等大型公司拥有 的大数据量的计算机，还是云计算的提出理念，云都是以大数据量的物理计 算节点为基础。 蠢虚拟化。云计算支持用户在任意位置、使用各种终端获取应用服务。所请求 的资源来自云，不是固定的有形的实体。应用将在云中运行，对于用户是完 全透明的。 4 高扩展性。云的规模可以动态伸缩，满足应用和用户规模增加的需要。 o 按需服务。云是一个庞大的资源池，用户根据按需购买，并按照所购买的服 务进行付费。 曩廉价。由于云的特殊容错措施可以采用廉价的节点来构成云，同时云的集中 式管理使得大量企业无需负担日益高昂的数据中心管理成本，而且云的通用 性使资源的利用率较之传统大幅提升，因此云是廉价的。 1 2 研究意义 目前，已经出现了一些异构的数据集成方法，但总的来说，并不能完全实现 数据透明访问、跨平台多模式的集成，数据源也不能动态部署。已提出的集成异 构数据的方法有：联邦数据集成系统、数据仓库模式集成系统、中间件模式数据 集成等。第三章将会具体讲到。这几个方式都是常用的数据集成方式，也存在各 自的优缺点，同时为了能使数据集成更加透明，更加开放，还集成了x m l ， w e b s e r v i c e 等技术。但是到了2 1 世纪，知识管理成为- r 科学引起了科学界 学者的注意。知识管理【5 1 的出现为2 1 世纪知识经济时代的企业组织提供了管理 基础。它将数据，信息，知识，智慧进行分析和对比，从而识别组织中的知识资 产、并充分发挥知识资产的杠杆作用，帮助企业获得竞争优势。为此，本文在已 有的数据集成方式的基础上，加上知识库的概念，从而将业务逻辑从复杂的数据 中抽象出来，更利于用户的使用和信息的管理。 无论是知识的管理与集成业务的实现，都需要从大量、复杂，异构以及有噪 声的数据中抽取出有效信息，这需要有巨大的计算能力作为支撑，传统的单机服 务器所能提供的计算资源往往不能满足要求，需要借助分布式计算技术来实现。 云计算作为新型的计算平台，它提出了一种比较松散的三层计算构架，同时利用 化，由此出现不同的云计算服务 北京邮电人学学位论文 绪论 用户，形成了新型的软件开发生态圈。云计算平台不仅是商业界比较认可的高性 能计算平台，而且是一个面向服务的计算平台，它的出现使得中小型企业能够快 速的进行系统的开发和部署，高效的完成软件实现。因此，本文将以个人融合信 息系统为研究对象，讨论新型的企业中数据集成方式以及在云计算平台下进行数 据集成时数据的存储，服务的构建和组合以及系统的部署等问题。 1 3 研究内容和组织结构 1 3 1 论文的研究内容 论文主要是研究基于云计算平台的数据集成方式，提出以知识库为指导，并 结合数据仓库方式的个人信息融合系统，并将该系统按照服务科学的方式进行服 务构建组合，最后完成服务在云计算平台的部署。论文的工作主要有以下几点： 4 通过对数据集成方式的研究，提出新型的以知识库为指导的类数据仓库的个 人信息融合系统。 4 根据云计算的特点，利用服务科学的概念完成个人信息融合系统中各基础服 务的构建以及相关的服务组合。 4 研究云计算环境下服务平台构建和服务部署，并讨论在分布式环境下数据的 执行效率和瓶颈。 1 3 2 论文的组织结构 第一章绪论概述了论文的研究背景、研究意义以及论文的研究内容和论文的 结构。 第二章主要介绍云计算平台的相关技术和企业应用，这里将详细介绍云，云 计算，云计算用户和它的体系结构，接着介绍了目前被认可的几个云计算平台。 第三章介绍数据集成的基本方法和相关技术。具体包括数据集成的方式：联 邦数据库方式，数据仓库方式以及中间件集成方式，并对数据集成过程中所采用 的相关技术，如x m l ，w e b s e r v i c e 等做个介绍。 第四章详细介绍了个人信息融合系统，主要包括个人信息融合系统的介绍以 及如何利用服务的理念来进行系统的设计与开发等。具体包括个人信息融合系统 中知识库的介绍，核心算法的分析和云环境下系统的设计方法。 第五章将进行云环境下的个人信息融合系统的原型展示和实验结果对比。 第六章是结论和展望。 3 北京邮电大学学位论文 云计算相关技术及企业应用 2 1 云计算平台 第二章云计算技术及企业应用 云计算平台是由g o o g l e 的c e o 埃里克施密特在2 0 0 6 年提出的，起初 云计算的概念都不为人所理解，但是经过这几年的发展，人们对云计算的理解也 日趋深刻。云计算平台主要为一个面向服务的计算平台，它通过互联网将大规模 计算和存储资源整合起来，按需提供给用户。同时它的新型计算机资源的公共化 方式，使得用户从繁重，复杂，易错的计算机资源管理中解放出来，只关注业务 逻辑，降低了企业信息化的难度。 2 1 1 云计算的定义 为了对云计算有精确的了解，下面将从云以及云计算两个方面对其进行定 义，使之更明确。 4 云定义 云【6 1 是一种大量的，可配置，易扩展，可动态规划且便于访问的虚拟化资源 池，包括硬件、开发平台以及所提供的服务等。同时该资源池实行按需分配，并 提供安全保护。云是云计算基础平台，它从资源角度来认识云计算，其主要特点 包括资源的虚拟化，资源的多样性，资源的可扩展性，资源易优化性，以互联网 为中心，用户按需分配等。 4 云计算定义 云计算平台是基于云资源之上，能够高效的提供计算服务的计算平台。它是 分布式计算【7 】，并行计算【8 l 和网格计算【9 ，1 2 的发展，其基本架构可分为l a a s ( i n f r a s t r u c t u r e6 sas e r v i c e ) 、p a a s ( p l a t f o r ma sas e r v i c e ) 、s a a s ( s o f t w a r ea sas e r v i c e ) 。云计算平台通过相关策略，针对用户的不同需求， 动态、透明的提供虚拟计算与存储资源，同时根据用户的需求收取费用，让普通 用户能够高效，迅速的进行大规模并行计算和海量数据处理等。 2 1 2 云计算的架构 云计算的基础架构主要利用s o a 框架思想，将硬件，软件资源作为服务对 象向终端用户提供服务。服务开发用户则可以利用云计算平台提供的公共接1 3 来 4 北京邮电人学学位论文 云计算相关技术及企业应用 获取相应的硬件和软件资源来进行服务的开发，而终端用户则会根据自身的需求 定制和使用服务。其基本生态图【6 】如图2 1 图2 - 1 云计算简约生态图 云计算平台利用各种虚拟软件( 如k v m ，x e n ) 将实际物理资源进行虚拟化， 然后提供给服务开发用户。由于云计算平台的可伸缩性，用户可以根据自身的需 要进行资源的调整。这样便避免了硬件资源成为数据处理的瓶颈。当应用程序的 资源请求发生增长时，最先成为系统瓶颈的往往是当前运行环境的计算能力，这 时用户可以根据需求再重新申请资源，以得到足够的物理资源。在物理资源获 得保证的时候，服务开发者则可以进行相应的应用服务开发。而由服务开发者开 发的应用程序服务将会同样被发布到互联网上，终端用户通过互联网便可以查询 到所需的服务，并根据业务的需要进行定制，组装等方式便可以得到最终的服务。 云计算，不同于网格计算，它只提供了比较基础的技术架构。首先，根据图 2 - 1 的简约生态图，这里先给出涉及到的云计算角色：服务提供者( s e r v i c e p r o v i d e r s ) ，终端服务者( s e r v i c eu s e r s ) ，基础平台提供者( i n f r a s f r u c t u r e p r o v i d e r s ) 。后面将会具体介绍云计算的用户角色。 云计算基础架构主要包含了三个部分，如图2 2 ： 5 北京邮电大学学位论文云计算相关技术及企业应用 oi n f r a s t r u c t u r ea sas e r v i c e 基础平台提供商进行计算和存储资源的管理。由于基础平台将实际物理资源 虚拟化，基础平台提供者可以很好的进行资源的划分，分配，以及根据用户需求 的动态调整。 0p l a t f o r ma sas e r v i c e p a a s 主要是在虚拟化资源之上提供必要的软件支持，包括必要的高级编程 语言以及数据库等。它是基础资源与上层应用之间一个过渡层，同样其相关软件 所需要的硬件资源等也会由l a a s 进行提供。 4s o f t w a r ea sas e r v i c e 软件i i i h 臣务也不是一个新的技术，它主要采用w e b s e r v i c e 等形式进行服务 提供，利用w e b 浏览器进行服务访问。在这一层，服务开发者可以进行基础服 务的开发以及高级服务的组装，而用户可以进行专业服务的定制和使用等。 2 1 3 云计算的用户 图2 - 2 云计算基本框架图 云计算提出了三层基本框架，其中涉及到了许多用户角色，每一种用户角色 都关注不同的系统服务，同时不同角色用户要求关注服务的程度也有所不同，图 2 - 3 1 0 给出的是云计算的各种用户层。 6 北京邮i 乜人学学位论文 图2 - 3 云计算用户角色展示 系统的功能强弱以及可用性在很大程度上可以由用户登录配置文件中反映 出来1 1 1 】，良好灵活的配置文件便可以显示出系统功能的强大，也必然使得用户 使用起来更加方便。同时通过对用户角色以及相关信息的分析，可以有效地获得 系统的好坏程度。云计算中用户角色主要是根据其功能特点进行划分，主要包含 下面几个部分： 平台的提供者 平台提供者负责云框架的搭建和维护，不仅需要完成系统物理硬件的集成， 还会涉及到网络的拓扑，网络数据存储，系统软件的扩展开发以及系统管理等。 因此平台提供者需要具有网络，硬件，数据存储，中间件，操作系统镜像等相关 领域知识。 基础服务的提供者 基础服务提供者利用提供的平台，开发出基础服务，用于进行服务的组装和 集成或直接提供给终端用户。基础服务将以镜像的方式来提供出来，主要包括裸 机之上的操作系统，相关的中间件等。因此，基础服务者需要对服务管理工具， 服务代理，服务注册等有深入了解。 服务的组装者 服务组装者主要完成对基础服务的集成和组装，他们主要为终端用户服务， 根据终端用户的要求或者使用特点来进行服务定制，服务组装等，他们更关注于 上层的业务逻辑。 终端用户 终端用户是软件的最终用户，他们主要仅需要w e b 浏览器便可以进行服务 的访问，而底层复杂的逻辑对于用户都是透明的。 7 馈 l 版nh一 一nu 北京邮 1 1 人学学位论文云计算相关技术及企业应用 云平台的用户群的分工较细致，而同时各层之间的耦合性比较松，因此各层 用户只需要关注本层所涉及到的知识内容，这样在使用他人服务的时候便很快捷 方便，只需要进行相关文件的配置便可以获得灵活可靠的服务。这也是服务的一 大特点。 2 2 现有云计算平台介绍 2 2 1g o o g l ea p p g o o g l e 公司有一套专属的云计算平台【1 3 】，这个平台先是为g o o g l e 最重 要的搜索应用提供服务，现在已经扩展到其他应用程序。g o o g l e 的云计算架构 模式包括4 个相互独立又紧密结合在一起的系统：g o o g l ef i l es y s t e m 分布式 文件系统【1 4 l ，针对g o o g l e 应用程序的特点提出的m a p r e d u c e 编程模型【1 5 j ， 分布式的锁机制c h u b b y 以及简化的大规模分布式数据库b i g t a b l e l l 6 。下面对 其中较重要的系统进行介绍。 g o o g l ef i l es y s t e m 文件系统( g f s ) g f s 文件系统除了性能，可伸缩性、可靠性以及可用性以外，还需要考虑到 应用负载和技术环境等因素的影响。主要有4 个方面：1 ) 充分考虑到大量节点 的失效问题，需要通过软件将容错以及自动恢复功能集成到系统中；2 ) 构造特 殊的文件系统参数，文件通常大小以g 字节集，并包含大量小文件；3 ) 充分考 虑应用的特性，增加文件追加操作，优化顺序读写速度；4 ) 文件系统的一些操 作不再透明，需要应用程序来协助完成。 m a p r e d u c e 分布式编程环境 m a p r e d u c e 编程规范是g o o g l e 用来简化分布式系统的编程。应用程序 编写人员只需要将精力放在应用程序本身，而关于分布式环境的处理问题，包括 可靠性和可扩展性，则交由平台来处理。m a p r e d u c e 通过m a p ( 映射) 和 r e d u c e ( 化简) 这样两个简单的概念来构成运算基本单元，用户只需提供自己 的m a p 函数以及r e d u c e 函数即可并行处理海量数据。 分布式的大规模数据库管理系统b i g t a b l e b i g t a b l e 是g o o g l e 用来处理大量的格式化以及半格式化数据的弱一致性 的大规模数据库系统，它的应用包括s e a r c hh i s t o r y ，m a p s ，r s s 阅读器等。 b i g t a b l e 的数据模型包括行列以及相应的时间戳，所有的数据都存放在表格单 元中。其内容按照行来划分，将多行组成一个小表，保存在一个服务节点中。 北京邮电人学学位论文云计算孝只关技术及企业应用 2 2 2a m a z o ne c 2 a m a z o n 是互联网上最大的在线零售商，同时它还提供云计算服务平台 ( e l a s t i cc o m p u t ec l o u d ，简称e c 2 ) ，这也是最早提供远程云计算平台服务 的公司。a m a z o n 将自己的弹性计算云建立在公司内部的大规模集群计算的平 台上，而用户可以通过弹性计算云的网络界面去操作在云计算平台上运行的各个 实例。用户使用实例的付费方式由用户的使用状况决定，运行结束后计费也随着 结束。这里所说的实例即是由用户控制的完整的虚拟机运行实例。通过这种方式， 用户不必自己去建立云计算平台，节省了设备与维护费用。 a m a z o ne c 2 【17 】主要采用虚拟化的技术搭建底层应用。虚拟机是一类特殊 的软件，能够完全模拟硬件的执行，运行不经修改的完整的操作系统，保留了一 整套运行环境语义。通过虚拟机的方式，可以获得如下一些优点【1 8 】1j 云计算的 管理平台能够动态地将计算平台定位到所需要的物理节点上，而无须停止运行在 虚拟机平台上的应用程序，进程迁移方法更加灵活；2 ) 降低集群电能消耗，将多 个负载不是很重的虚拟机计算节点合并到同一个物理节点上，从而能够关闭空闲 的物理节点，达到节约电能的目的；3 ) 通过虚拟机在不同物理节点上的动态迁 移，迁移了整体的虚拟运行环境，能够获得与应用无关的负载平衡性能；4 ) 在部 署上也更加灵活，即可以将虚拟机直接部署到物理计算平台上，而虚拟机本身就 包括了相应的操作系统以及相应的应用软件，直接将大量的虚拟机映像复制到对 应的物理节点即可。 - 2 2 3i b m 蓝云 i b m 的蓝云计算平台是一套软、硬件平台，将i n t e r n e t 上使用的技术扩展到 企业平台上，使得数据中心使用类似于互联网的计算环境。蓝云大量使用了i b m 先进的大规模计算技术，结合了l b m 自身的软、硬件系统以及服务技术，支持 开放标准与开放源代码软件。蓝云基于i b ma l m a d e n 研究中心的云基础架构， 采用了x e n 和p o w e r v m 虚拟化软件，l i n u x 操作系统映像以及h a d o o p 1 9 软 件( g o o g l ef i l es y s t e m 以及m a p r e d u c e 的开源实现) 。 蓝云的虚拟化技术 蓝云软件的一个重要特点是虚拟化技术的使用。虚拟化的方式在“蓝云”中有 两个级别，一个是在硬件级别上实现虚拟化，另一个是通过开源软件实现虚拟化。 硬件级别的虚拟化可以使用l b mp 系列的服务器，获得硬件的逻辑分区l p a r ，逻 辑分区的c p u 资源能够通过i b me n t e r p r i s ew o r k l o a dm a n a g e r 来管理。通 过这样的方式加上在实际使用过程中的资源分配策略，能够使相应的资源合理地 9 北京邮电人学学位论文云计算相关技术及企业心用 分配到各个逻辑分区。系统的逻辑分区最小