国内外三大云操作系统综述

0 引言引言 云操作系统 又称云计算操作系统 云计算中心操作系统 云 OS 是以云 计算 云存储技术作为支撑的操作系统 是云计算后台数据中心的整体管理运 营系统 它是指构架于服务器 存储 网络等基础硬件资源和单机操作系统 中间件 数据库等基础软件之上的 管理海量的基础硬件 软件资源的云平台 综合管理系统 云 OS 通常包含以下几个模块 大规模基础软硬件管理 虚拟计算管理 分布式文件系统 业务 资源调度管理 安全管理控制等几大模块组成 简单来 讲 云 OS 有以下几个作用 一是治众如治寡 能管理和驱动海量服务器 存 储等基础硬件 将一个数据中心的硬件资源逻辑上整合成一台服务器 二是为 云应用软件提供统一 标准的接口 三是管理海量的计算任务以及资源调配 IBM 公司于 2007 年底宣布了云计算计划 1 云计算的概念出现在大众面前 云计算正成为新的计算机研究和产业发展重要热点 云计算模式主要特点在于 通过网络 把原来在单台计算机中软件的运算和存储分开到用户终端机和网络 服务器上完成 云系统是采用国际首创的 HFP 及 HDRDP 技术在局域网架构下 实现云计算使用效果的新一代通用计算机系统产品 至今为止 IBM Google 亚马逊 百度 阿里等公司都推出了自己的云计算模型 本文 主要对 Google IBM 和亚马逊的技术特点 架构和应用案例进行分析 1 Google File System 操作系统操作系统 为了满足 Google 迅速增长的数据处理需求 出现了 Google 文件系统 Google File System GFS 1 1 Google File System 技术特点技术特点 GFS 与传统的分布式文件系统有着很多相同的设计目标 比如 性能 可 伸缩性 可靠性以及可用性 以下是从几个方面介绍 Google File System 技术特 点 1 系统由许多廉价的普通组件组成 组件失效是一种常态 系统必须持 续监控自身的状态 它必须将组件失效作为一种常态 能够迅速地侦测 冗余 并恢复失效的组件 2 系统存储一定数量的大文件 预期会有几百万文件 文件的大小通常 在 100MB 或者以上 数个 GB 大小的文件也是普遍存在 并且要能够被有效的 管理 系统也必须支持小文件 但是不需要针对小文件做专门的优化 3 系统的工作负载主要由两种读操作组成 大规模的流式读取和小规模 的随机读取 大规模的流式读取通常一次读取数百 KB 的数据 更常见的是一 次读取 1MB 甚至更多的数据 来自同一个客户机的连续操作通常是读取同一个 文件中连续的一个区域 小规模的随机读取通常是在文件某个随机的位置读取 几个 KB 数据 如果应用程序对性能非常关注 通常的做法是把小规模的随机 1 读取操作合并并排序 之后按顺序批量读取 这样就避免了在文件中前后来回 的移动读取位置 4 系统的工作负载还包括许多大规模的 顺序的 数据追加方式的写操 作 一般情况下 每次写入的数据的大小和大规模读类似 数据一旦被写入后 文件就很少会被修改了 系统支持小规模的随机位置写入操作 但是可能效率 不彰 5 系统必须高效的 行为定义明确的实现多客户端并行追加数据到同一 个文件里的语意 我们的文件通常被用于 生产者 消费者 队列 或者其它多 路文件合并操作 通常会有数百个生产者 每个生产者进程运行在一台机器上 同时对一个文件进行追加操作 使用最小的同步开销来实现的原子的多路追加 数据操作是必不可少的 文件可以在稍后读取 或者是消费者在追加的操作的 同时读取文件 6 高性能的稳定网络带宽远比低延迟重要 我们的目标程序绝大部分要 求能够高速率的 大批量的处理数据 极少有程序对单一的读写操作有严格的 响应时间要求 1 2 Google File System 的系统架构的系统架构 图 1 给出了 Google File System 的系统架构 如图 1 所示 一个 GFS 集群包含一个主服务器和多个块服务器 被多个客户端访问 大文件被分割成 固定尺寸的块 块服务器把块作为 Linux 文件保存在本地硬盘上 并根据指定 的块句柄和字节范围来读写块数据 为了保证可靠性 每个块被缺省保存 3 个 备份 主服务器管理文件系统所有的元数据 包括名字空间 访问控制 文件 到块的映射 块物理位置等相关信息 通过服务器端和客户端的联合设计 GFS 对应用支持达到性能与可用性最优 GFS 是为 Google 应用程序本身而设计的 在内部部署了许多 GFS 集群 有的集群拥有超过 1000 个存储节点 超过 300T 的硬盘空间 被不同机器上的数百个客户端连续不断地频繁访问着 图 1 Google File System 的系统架构 2 1 3 Google File System 应用案例应用案例 GFS 已经成功地满足我们的存储需求 并且广泛中使用谷歌作为研究和存 储平台开发以及生产数据处理 设计保证了在有大量的并发读写操作时能够提 供很高的合计吞吐量 通过分离控制流和数据流来实现这个目标 控制流在 Master 服务器处理 而数据流在 Chunk 服务器和客户端处理 当一般的操作涉 及到 Master 服务器时 由于 GFS 选择的 Chunk 尺寸较大 以及通过 Chunk Lease 将控制权限移交给主副本 这些措施将 Master 服务器的负担降到最低 这使得一个简单 中心的 Master 不会成为成为瓶颈 GFS 成功的实现了我们对存储的需求 在 Google 内部 无论是作为研究和 开发的存储平台 还是作为生产系统的数据处理平台 都得到了广泛的应用 它是我们持续创新和处理整个 WEB 范围内的难题的一个重要工具 2 IBM 云操作系统云操作系统 IBM 在发展云计算上具有得天独厚的优势 存储 管理软件 应用服务器 中间件等 2 1 IBM 云操作系统云操作系统技术特点技术特点 IBM 可以提供一套集成的云支持技术和服务 帮助企业轻松构建并迅速扩 展云环境 实现无与伦比的上市时间 整合和管理 客户可以充分利用 IBM 新 的映像管理和迅速的分配技术 以快于 35 倍的速度部署云计算 他们可以使用 IaaS 提高云计算的速度 灵活性和经济效益 通过扩展到虚拟化 企业从 IT 的角色转型为战略业务价值中心 可以提供整合服务管理 自动化 分配和自 助式服务 全部具有安全性 弹性和可扩展性 IBM 可以提供安全和可扩展的 PaaS 和支撑技术 有助于企业和 ISV 通过 企业级平台 在云环境中开发 部署 管理和集成关键的企业应用 由此 客 户可以降低成本 在数分钟便可部署应用 而无需数周的时间 客户可以通过 他们的应用使自身脱颖而出 并且管理自身的数据 同时充分利用了云服务提 供的成本经济性和速度 他们可以利用云服务获得前所未有的选择 应用可移 植性 可扩展性和安全性 2 2 IBM 云操作系统架构云操作系统架构 新企业数据中心虚拟化和高效管理 以 Web 为中心 将工具和技术一般 化 方便更多的客户使用 同时增强支持安全的事务性工作负载以及处理混合 模式的工作负载 这种高效共享的基础架构 使企业对新业务快速做出反应 实时解析信息从而做出正确的业务决策 作为一种演进的新模型 有利于 IT 和 业务目标保持一致性 高效性和动态性 从高级别分析 如图 3 这种架构在 逻辑上分为几个层次 物理硬件层已经虚拟化 提高资源利用率并且提供适应 性和灵活性强的平台 虚拟化环境层和管理层 是架构的关键 确保资源的有 效管理以及及时部署和配置 3 图 2 IBM 云计算和新企业数据中心 图 3 新企业数据中心的基础架构服务框架 2 3 IBM 应用案例应用案例 IBM 蓝云蓝云 计算平台计算平台 IBM 的 蓝云 计算平台是一套软 硬件平台 将 Internet 上使用的技术 扩展到企业平台上 使得数据中心使用类似于互联网的计算环境 蓝云 大量 使用了 IBM 先进的大规模计算技术 结合了 IBM 自身的软 硬件系统以及 服务技术 支持开放标准与开放源代码软件 蓝云 基于 IBM Almaden 研究 中心的云基础架构 采用了 Xen 和 PowerVM 虚拟化软件 Linux 操作系统映 4 像以及 Hadoop 软件 Google File System 以及 MapReduce 的开源实现 IBM 已经正式推出了基于 x86 芯片服务器系统的 蓝云 产品 3 3 AmazonAmazon WebWeb ServiceService AWSAWS 云操作系统 云操作系统 3 1 Amazon Web Service 技术特点技术特点 Amazon Web Service 提供功能非常丰富 也很强大 在计算和网络部分 包含了 Amazon Elastic Compute Cloud EC2 也就是我们最常用的虚拟机资源 还有 Amazon Elastic MapReduce Direct Connect Route 53 以及 Amazon Virtual Private Cloud VPC Amazon Elastic MapRedouce 主要用于大数据的处理 Direct Connect 其实是一个 VPN 可以让局域网的机器和 Amazon 云里的机器直 接连在一起 AWS 提供了一整套云计算服务 用户能够构建复杂 可扩展的应用程序 在 最小成本情况下 为用户提供了一套构建容错的软件系统平台 5 3 2 Amazon Web Service 云操作系统构架云操作系统构架 图 4 Amazon 云计算的架构图 从该架构图可以看出 亚马逊云服务由 7 部分组成 接下来对这 7 部分的 主要服务做一个简要的介绍 1 1 AWS Global Infrastructure AWS 全局基础设施 在全局基础设施中有 3 个很重要的概念 第一个是 Region 区域 每个 Region 是相互独立的 自成一套云服务体系 分布在全球各地 目前全球有 10 个 Region 北京的 Region 已经在内测当中 不久就会开放使用 第二个是 Availability Zone 可用区 每个 Region 又由数个可用区组成 每 个可用区可以看做一个数据中心 相互之间通过光纤连接 第三个是 Edge Locations 边缘节点 全球目前有 50 多个边缘节点 是一 个内容分发网络 CDN Content Distrubtion Network 可以降低内容分发的延 5 迟 保证终端用户获取资源的速度 它是实现全局 DNS 基础设施 Route53 和 CloudFront CDN 的基石 2 2 Networking 网络 AWS 提供的网络服务主要有 Direct Connect 支持企业自身的数据中心直接与 AWS 的数据中心直连 充 分利用企业现有的资源 VPN Connection 通过 VPN 连接 AWS 保证数据的安全性 Virtual Private Cloud 私有云 从 AWS 云资源中分一块给你使用 进一步 提高安全性 Route 53 亚马逊提供的高可用的可伸缩的域名解析系统 3 3 Compute 计算 这可是亚马逊的计算核心 包括了众多的服务 EC2 Elastic Computer service 亚马逊的虚拟机 支持 Windows 和 Linux 的多个版本 支持 API 创建和销毁 有多种型号可供选择 按需使用 并且有 auto scaling 功能 有效解决应用程序性能问题 ELB Elastic Load Balancing 亚马逊提供的负载均衡器 可以和 EC2 无 缝配合使用 横跨多个可用区 可以自动检查实例的健康状况 自动剔除有问 题的实例 保证应用程序的高可用性 4 4 Storage 存储 S3 Simple Storage Service 简单存储服务 是亚马逊对外提供的对象存 储服务 不限容量 单个对象大小可达 5TB 支持静态网站 其高达 99 999999999 的可用性让其它竞争对手胆寒 EBS Elastic Block Storage 块级存储服务 支持普通硬盘和 SSD 硬盘 加载方便快速 备份非常简单 Glacier 主要用于较少使用的存储存档文件和备份文件 价格便宜量又足 安全性高 5 5 Database 数据库 亚马逊提供关系性数据库和 no sql 数据库 以及一些 cache 等数据库服务 DynamoDB DynamoDB 是亚马逊自主研发的 no sql 型数据库 性能高 容错性强 支持分布式 并且与 Cloud Watch EMR 等其它云服务高度集成 RDS Relational Database Service 关系型数据库服务 支持 MySql SQL Server 和 Oracle 等数据库 具有自动备份功能 IO 吞吐量可按需调整 Amazon ElastiCache 数据库缓存服务 6 6 Application Service 应用程序服务 Cloud Search 一个弹性的搜索引擎 可用于企业级搜索 Amazon SQS 队列服务 存储和分发消息 Simple Workflow 一个工作流框架 6 CloudFront 世界范围的内容分发网络 EMR Elastic MapReduce 一个 hadoop 框架的实例 可用于大数据处理 7 7 Deployment current software cannot run on the infrastructure Not compatible Virtualization provided can run traditional software as well as new cloud computing interface for programming the new applications Virtualization provided can run traditional software 系统公开性系统公开性 System openness Developed with private technologies Developed with open source technologies Combine the open source and private technologies together 系统虚拟化技系统虚拟化技 术的采用术的采用 Adoption of system virtualizatio n technology No system virtualization technology adopted only support new applications Use open source virtualization software Xen with virtualization Overheads Use open source virtualization software Xen with Virtualization overheads 程序支持程序支持 Programming support Specific network application programming interfaces are provided Local distributed application programming interface Network remote operation interface 7 目标用户目标用