虚拟化与云计算云计算的关键技术与挑战

1、云计算的关键技术与挑战主要内容 云计算的关键技术 云计算的技术挑战 Google file System介绍 云计算的关键技术 云计算的技术挑战 Google file System介绍云计算的关键技术 快速部署 资源调度 多租户 海量数据处理 大规模消息通信 大规模分布式存储 许可证管理和计费云计算的关键技术快速部署 并行部署技术 将传统的顺序部署方式改为并行执行，同时执行多个部署任务，将虚拟机同时部署到多个物理及上 制约部署速度因素 部署服务器的读写能力或部署系统的有限网络带宽 协同部署技术 将虚拟机镜像在多个目标物理机之间的网络中传输，提高部署速度 制约部署速度因素 目标物理机之间的网络

2、带宽总和云计算的关键技术资源调度 资源调度 在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程 两种途径 调整计算任务的资源使用量 转移计算任务 云计算的新挑战 海量规模 满足服务级别协定云计算的关键技术多租户技术 多租户技术 大量用户共享同一堆栈的软、硬件资源，每个用户按需使用资源，能够对软件服务进行客户化配置而不影响其他用户的使用 采用多租户技术的SaaS应用特征 SaaS应用基于Web的 租户能够对SaaS平台本身进行扩展 技术难点 数据隔离、客户化配置、架构扩展、性能定制云计算的关键技术海量数据处理 海量数据处理 对大规模数据的计算和分析，通常数据的规

3、模可达TB甚至PB级别 典型例子 搜索引擎 并行计算模型 River编程模型 MapReduce编程模型云计算的关键技术大规模消息通信 同步消息通信 异步消息通信 云计算中新的挑战 足够稳定 能够伸缩 保证安全 高效率云计算的关键技术大规模分布式存储 大规模分布式存储技术 分布式文件系统 Franqupani Google File System 云存储服务 Amazon Simple Storage Service Google BigTable云计算的关键技术许可证管理与计费 IT基础设施的许可证管理与计费模式 按需付费 按使用计费 大量提供商还未制定产品在云计算环境下的计费模式 较成熟的

4、是Amazon提供的EC2和S3的按量计费模式 云计算的关键技术 云计算的技术挑战 Google file System介绍云计算的技术挑战 安全性 可用性 可伸缩性 信息保密 高性能 标准化云计算的技术挑战安全性 云计算特有的安全问题 传统观念转变 政策法规保障 云中每个节点都可能受到攻击 现有软件系统安全防护模式如何改变云计算的技术挑战可用性 软件系统在一定时间内正常工作的时间占总时间的比重，通常用百分比衡量 云计算环境能够在最大程度上减少资源的不可用对业务系统的影响 通过技术创新，保证即使软、硬件出现问题服务仍然可用云计算的技术挑战可伸缩性 通过资源的增加或减少来应对负载的变化，并保持一

5、致的性能 垂直伸缩 在现有的服务节点上增加或减少资源 水平伸缩 在现有的服务节点上增加或减少服务节点云计算的技术挑战信息保密 信息的内容不应该被未授权的人得到 非法用户访问难度较大 数据在云的大规模分布式存储机制中，完整的数据实体被打散存储在不同的服务器上，而每个数据块可包含不同的数据实体 根本方法 从逻辑上甚至物理上将多个用户的数据隔离云计算的技术挑战高性能 云环境所承担的计算、存储和通信方面的负载大于传统的计算环境 服务器虚拟化技术 CPU开销较小 内存性能开销较大（访问冲突） 大规模数据处理技术 MapReduce 适用性问题 原语设计导致的性能问题 大量的网络消息通信问题 分布式存储技

6、术 面对网络不可控的环境云计算的技术挑战标准化 维护多个云之间的数据同步、应用版本同步、应用在多个云之间的互操作 云计算的标准化工作还在酝酿之中 开放式云宣言(Open Cloud Manifesto) 总结云计算的特点和现有挑战 建立开放的云基础设施将是未来云计算领域的发展趋势 对开放标准的呼吁 云计算的关键技术 云计算的技术挑战 Google file System介绍Google 文件系统(GFS) 适用于大规模数据密集型应用程序的可扩展分布式文件系统 多个部署GFS的集群已经建成 目前最大的集群为： 1000多个存储节点 300+TB的存储容量 可供不同机器上的上百用户同时读取介绍 与

7、之前的分布式文件系统一样，需要达到 性能、可扩展性、可靠性等 GFS的设计源于对Google应用程序的负载和技术环境的观察介绍：观察1 控件的故障时常发生 系统集成了实时监控、错误检测、容错性和自动恢复等功能 超大文件（与普通文件相比） GB大小的文件很正常介绍：观察2 大部分文件修改都是添加新的内容 需要考虑优化性能和保证原子性 协同设计应用程序和API有利于增加整个系统的灵活性设计 集群包含一个master和多个chunkservers，并且可供多个用户读取Master 维护文件系统的所有元数据 命名空间、控制信息、桶（包括副本）位置等 周期性地与chunkserver进行交流，发送Hea

8、rtBeat 消息来给出命令并检查状态 帮助决定chunk的位置和副本确定 当读取或写入文件，用户从Master获得chunk的位置，并直接与chunkserver通信 Master并不是读写的瓶颈chunkservers 文件分裂成chunks，每个chunk拥有一个不变的全局的独一无二的64位chunk句柄 句柄在chunk创建的时候由master分配 Chunk的大小为64MB 默认每个chunk复制到三个服务器上用户 应用程序使用文件系统API 读写时与master和chunkserver进行通信 与master交互获得元数据 与chunkserver交互获得数据 只缓存元数据信息 数

9、据太大不能放在缓存中Chunk 位置 Master并不保留关于chunk及其副本位置的永久记录 启动时通过询问chunkserver获得 通过HeartBeat消息并控制新chunk位置来更新信息操作日志 记录所有关键元数据的修改 存储在master上并复制到其它机器上 规定并行操作的顺序 所有副本完成修改后再反馈给用户 用来恢复文件系统状态系统交互：修改顺序 所有的chunk副本之间存在修改顺序 Master选取一个副本称为原始副本 原始副本选取之后连续的修改顺序副本 对于master来说最小化了管理的开销系统交互：修改顺序记录添加的原子操作 用户指定写入的数据，GFS选择并返回写入的偏移量

10、，并将数据一次追加到每个副本的后面 Google分布式应用程序经常使用 不需要分布式锁管理器 GFS选择偏移量，不是用户如何添加记录 与修改的过程类似 原始副本告诉第二个副本偏移位置（与原始副本一样）追加数据 如果某一副本在追加数据过程中发生故障，用户会重新尝试 相同chunk的副本可能包含不同的数据包括相同记录全部或部分的副本 GFS并不保证所有的副本的每位都相等 只能保证写入的数据是一次完成的 所有chunk副本必须写入相同偏移量的位置副本位置 放置位置策略需考虑数据可靠性和网络带宽 副本不仅放置在不同的机器上，也放置在不同的rack上 写入操作影响到多个rackChunk创建 由mast

11、er创建和放置 放置在低于平均磁盘使用率的chunkserver上 在一个chunkserver上限制最近创建的数目检测过期的数据 Master通过使用chunk版本号来区分现在和过期的数据 获取数据时增加版本号 当副本不再有效时，其版本不再增加 当chunkserver报告chunk及其版本的时候Master检测过期的副本 在垃圾收集的时候删除过期的副本垃圾收集 当用户删除文件，master像其他操作一样写日志，并修改文件名设为隐藏文件 Master在3天内扫描文件系统命名空间的时候删除隐藏文件 元数据也会被擦除 在HeartBeat消息里，chunkservers发送给master所拥有的chunk，master发送给它没有元数据的文件，chunkserver之后在自己节点将文件删掉容错性：高有效性 快速恢复 Master和chunkserver可以在数秒内重新启动 Chunk复制 Server复制 当原来的master发生故障后，“影子”master提供只读服务 Ma