云计算概述

云计算简介 谷歌 GAE 三大云计算 亚马逊 AWS 开源 Hadoop 理论研究热点 总结与展望 一种在规模经济驱动下产生的大规模分布式计算。它是一个资源池，其中包含了抽象的、虚拟化的、可动态伸缩和管理的计算资源、存储资源、平台和服务，并通过因特网按需提供给用户。 Google File System(GFS) BigTable MapReduce Client Client Replicas Masters GFS Master GFS Master C0 C1 C2. C5 Chunkserver 1 C0 C5 Chunkserver N C1 C3. C5 Chunkserver 2 Client Client Client 文件被分割成 chunks (典型大小为 64 MB) Master 管理元数据 数据传输直接在 clients/chunkservers之间进行 容错技术 冗余备份 日志 校验和 管理技术 大规模集群安装升级 故障检测 节点动态加入 节能技术 Google File System(GFS) BigTable MapReduce 为什么设计 BigTable？ 数据种类繁多 海量服务请求 设计目标： 适用性 可扩展性 高可用性 简单性 数据模型 (row, column, timestamp) cell contents 基本架构 Google File System(GFS) BigTable MapReduce 数据处理的两个阶段 Map: (in_key, in_value) (keyj, valuej) | j = 1 k Reduce: (key, value1, valuem) (key, f_value) D a t a s t o r e 1 D a t a s t o r e nm a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )m a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )I n p u t k e y * v a l u e p a i r sI n p u t k e y * v a l u e p a i r s= = B a r r i e r = = : A g g r e g a t e s i n t e r m e d i a t e v a l u e s b y o u t p u t k e yr e d u c e r e d u c e r e d u c ek e y 1 , i n t e r m e d i a t e v a l u e sk e y 2 , i n t e r m e d i a t e v a l u e sk e y 3 , i n t e r m e d i a t e v a l u e sf i n a l k e y 1 v a l u e sf i n a l k e y 2 v a l u e sf i n a l k e y 3 v a l u e s. . . 为什么使用 Dynamo？ 半结构化数据：购物车、信息会话管理和推荐商品列表 数据处理方式：简单的读取、写入，简单的 键值 方式存储 实现： 位 的形式存储，处理所有的数据类型 应用： S3构建在 Dynamo之上， SimpleDB也极有可能 问题 相关技术 数据均衡分布 改进的一致性哈希算法 数据冲突处理 向量时钟 临时故障处理 数据回传、弱 quorum机制 永久故障手的恢复 Merkle哈希树 成员资格以及错误检测 基于 gossip的成员资格协议和错误检测 一致性哈希算法 临时性故障处理机制 弱 quorum机制（ W,R,N）和数据回传 永久性故障后的恢复 Merkle哈希树 Gossip协议 错误检测 失效停传 定期检测 新节点 A 种子节点 B C 新节点 亚马逊机器映像（ AMI） 实例（ Instance） 弹性块存储块（ EBS） 区域（ Zone） 通信机制 安全及容错机制 三个概念： 对象、键、桶 基本操作： Get、 Put、 List、 Delete和 Head 操作对象 Get Put List Delete Head 桶 获取桶中对象 创建或更新桶 列出桶中所有键 删除桶 无 对象 获取对象数据和元数据 创建或更新对象 无 删除对象 获取对象元数据 身份认证 基于 HMAC-SHA1的数字签名方式 Access Key ID， Secret Access Key，服务请求字符串 访问控制 三类用户（ owner、 user、 group） 五类访问权限（ Read， Write， Read_ACP, Write_ACP, FULL_CONTROL） 属性 1 属性 2 条目 1 值 值 条目 2 值 值 属性 1 属性 2 条目 1 值 值 条目 2 值 值 域 1 域 2 用户账户 域 3 基本部分：系统组件、消息、队列 内容推送服务 CloudFront 电子商务服务 DevPay和 FPS 简单支付服务 Simple Pay 土耳其机器人 Alexa Web服务 开源云计算系统 商用云计算系统 Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce Hadoop Hbase Google Bigtable Hadoop ZooKeeper Google Chubby Hadoop Pig Google Sawzall Eucalyptus、 Nimbus Amazon EC2 Eucalyptus Amazon S3 Sector and Sphere 无 Abiquo 无 MongoDB 无 设计前提与目标 硬件错误是常态而不是异常 流式数据访问 大规模数据集 简单一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性 冗余备份 副本存放 心跳检测 安全模式 数据完整性检测 空间回收 元数据磁盘失效 快照 副本选择 负载均衡 客户端缓存 流水线复制 逻辑模型：分治的策略 实现机制 分布式并行计算 本地计算 任务粒度 连接（ combine） 分区（ partition） 读取中间结果 任务管道 逻辑模型 基本类型：行关键字、时间戳和列 行关键字 时间戳 列content 列 anchor 列mime “n.www” t9 anchor: CNN t8 anchor:my.look.ca t6 . text/html t5 . t3 . 物理模型：行分割，列存储 行关键字 时间戳 列 contents n.www t6 . t5 . t3 . 行关键字 时间戳 列 anchor n.www t9 anchor: CNN t8 anchor:my.look.ca 行关键字 时间戳 列 mime n.www t6 text/html 子表服务器 Hmemcache,Hstore,Hlog 主服务器 子服务器连接超时 元数据表 映射关系 根子表（ ROOT Table） 开发目的 为研究人员提供一个云计算研究平台 设计原则 可移植性 模块化 体系结构 可扩展性 非侵入 工程目标：可扩展性和非入侵 GAE AWS Hadoop 提供服务类型 PaaS IaaS、 PaaS、SaaS PaaS 服务间的关联度 耦合度高 耦合度低 耦合度低 虚拟化技术 未使用 Xen 未使用 运行环境 云端 云端 云端 支持编程