云计算综述之一——GFS-Bigtable-Mapreduce技术PPT课件.pptx

云计算综述 2013 10 21 2020 2 29 1 云计算研究现状综述李乔 郑啸 ComputerScience 2011云计算及其关键技术陈全等 计算机应用 2009CloudComputingSecurityThreatsandResponsesICCSN IEEE3rdInternationalConference2011 文献 2020 2 29 2 1 云计算研究现状综述 1 什么是云计算 1 云计算将IT相关的能力以服务的方式提供给用户 允许用户在不了解提供服务的技术 没有相关知识以及设备操作能力的情况下 通过Internet获取需要的服务 维基百科2 云计算是分布式计算分布式处理 DistributedComputing 并行处理 ParallelComputing 和网格计算 GridComputing 的发展 或者说是这些科学概念的商业实现 中国云计算网3 文章定义 云计算是由网格计算发展而来的 前台采用按时付费的方式通过Internet向用户提供服务 云系统后台由大量的集群使用虚拟机的方式 通过网络互连 组成大型的虚拟资源池 这些虚拟资源可自主管理和配置 用数据冗余的方式保证虚拟资源的高可靠性 并具有分布式存储和计算 高扩展性 高可用性等特征 2020 2 29 3 图1云计算架构图 部署角度 私有云 社区云 公共云和混合云 私有云被一个组织管理操作社区云由多个组织共同管理操作具有一致的任务调度和安全策略公共云由一个组织管理维护提供对外的云服务可以被公众所拥有 服务角度 基础设施Iaas 平台即服务Paas 软件即服务Saas 2020 2 29 4 代表性的云服务 Iaas 管理硬件资源的软件服务 通过他可以租用硬件Paas 管理软件资源的服务 通过他可以开发 管理软件服务Saas 应用软件服务 用户可以直接租用服务 图2几种云服务比较 2020 2 29 5 2 云计算的关键技术 2020 2 29 6 2 1数据存储技术 以GFS为例 GFS系统由1个Master和大量块服务器 Chunk 构成 Master存放文件系统的所有元数据 名字空间 存取控制 文件分块信息 文件块的位置信息等 GFS中文件默认切分为64MB的块存储 可靠性 冗余存储 每份数据在系统中保存3个以上的备份 对于数据的所有修改需要在所有的备份上进行 并用版本号的方式来确保所有备份处于一致的状态 客户端不通过Master读取数据 避免了大量读操作使Master成为系统瓶颈 客户端从Master获取目标数据块的位置信息后 直接和块服务器交互进行读操作 GFS的写操作将写操作控制信号和数据流分开 即客户端在获取Master的写授权后 将数据传输给所有的数据副本 在所有副本都收到修改的数据后 客户端才发出写请求控制信号 在所有副本更新完数据后 由主副本向客户端发出写操作完成控制信号 图3写控制信号和写数据流 文件名 chunk索引 Chunk句柄 位置 2020 2 29 7 2 2数据管理技术 以BigTable为例 Bigtable是一个键值 key value 映射 Bigtable的键有三维 分别是行键 rowkey 列键 columnkey 和时间戳 timestamp 行键和列键都是字节串 时间戳是64位整型 而值是一个字节串 row string column string time int64 string 图5BigTable采用类似B 树三级层次化的方式来存储位置信息 图4bigTable结构图 此文件属于Chubby服务的一部分 它保存着roottablet的位置 以保证主服务器唯一 为了保证树的深度不变 roottablet从不分裂 元数据片 它和roottablet一起组成完整的元数据表 每个元数据片都包含了许多用户片的位置信息 2020 2 29 8 2 3编程模型 以Map Reduce为例 编写Map Reduce程序 一般需要实现两个函数 mapper中的map函数和reducer中的reduce map in key in value keyj valuej j 1 k reduce key value1 valuem key final value 已归并 Map Reduce模型具有很强的容错性 当worker节点出现错误时 只需要将该worker节点屏蔽在系统外等待修复 并将该worker上执行的程序迁移到其他worker上重新执行 同时将该迁移信息通过Master发送给对应该节点处理 2020 2 29 9 3 CloudComputingSecurityThreatsandResponses Cloudcomputingisanetwork basedenvironmentthatfocusesonsharingcomputationsorresources Incloudenvironments severalkindsofvirtualmachinesarehostedonthesamephysicalserverasinfrastructure UsingCloudresultsapplicationsanddatawillmoveunderthird partycontrol 2020 2 29 10 3 1CloudRasissues DataLeakageuseDataLeakagePrevention DLP applicationstoprotectsensitivedata MachineinIaaStoachievesomecontroloverdataassociated ButinSaaSandPaaS DLPagentsisimpossibleexceptwhentheproviderputabilityofittoitsservice CloudsecurityissuesDDoSattacksagainstCloudInfrastructureissharedbylargenumberofclients DDoSattacksmakehavethepotentialofhavingmuchgreaterimpactthanagainstsingletenantedarchitectures CloudagainstDDoSattacksWebsitesexperiencingDDoSattackswhichhavelimitationinserverresourcescantakeadvantageofusingcloudthatprovidesmoreresourcetotoleratesuchattacks 2020 2 29 11 3 2Solutions AccesscontrolincloudservicesIntheSaaScloudproviderisresponsibleformanagingallaspectsofthenetwork server andapplicationinfrastructure InthePaaStheCloudproviderisresponsibleformanagingaccesscontroltothenetwork serversandapplicationplatforminfrastructu