《云计算概述》PPT课件.ppt

云计算简介谷歌GAE三大云计算亚马逊AWS开源Hadoop理论研究热点总结与展望 一种在规模经济驱动下产生的大规模分布式计算 它是一个资源池 其中包含了抽象的 虚拟化的 可动态伸缩和管理的计算资源 存储资源 平台和服务 并通过因特网按需提供给用户 GoogleFileSystem GFS BigTableMapReduce Client Replicas Masters GFSMaster GFSMaster C0 C1 C2 C5 Chunkserver1 C0 C5 ChunkserverN C1 C3 C5 Chunkserver2 文件被分割成chunks 典型大小为64MB Master管理元数据数据传输直接在clients chunkservers之间进行 容错技术冗余备份日志校验和管理技术大规模集群安装升级故障检测节点动态加入节能技术 GoogleFileSystem GFS BigTableMapReduce 为什么设计BigTable 数据种类繁多海量服务请求设计目标 适用性可扩展性高可用性简单性 数据模型 row column timestamp cellcontents 基本架构 GoogleFileSystem GFS BigTableMapReduce 数据处理的两个阶段Map in key in value keyj valuej j 1 k Reduce key value1 valuem key f value 为什么使用Dynamo 半结构化数据 购物车 信息会话管理和推荐商品列表数据处理方式 简单的读取 写入 简单的键值方式存储实现 位的形式存储 处理所有的数据类型应用 S3构建在Dynamo之上 SimpleDB也极有可能 一致性哈希算法 临时性故障处理机制弱quorum机制 W R N 和数据回传永久性故障后的恢复Merkle哈希树 Gossip协议错误检测失效停传定期检测 新节点 A 种子节点 B C 新节点 亚马逊机器映像 AMI 实例 Instance 弹性块存储块 EBS 区域 Zone 通信机制安全及容错机制 三个概念 对象 键 桶基本操作 Get Put List Delete和Head 身份认证基于HMAC SHA1的数字签名方式AccessKeyID SecretAccessKey 服务请求字符串访问控制三类用户 owner user group 五类访问权限 Read Write Read ACP Write ACP FULL CONTROL 域1 域2 用户账户 域3 基本部分 系统组件 消息 队列 内容推送服务CloudFront电子商务服务DevPay和FPS简单支付服务SimplePay土耳其机器人AlexaWeb服务 设计前提与目标硬件错误是常态而不是异常流式数据访问大规模数据集简单一致性模型移动计算比移动数据更划算异构软硬件平台间的可移植性 冗余备份副本存放心跳检测安全模式数据完整性检测空间回收元数据磁盘失效快照 副本选择负载均衡客户端缓存流水线复制 逻辑模型 分治的策略 实现机制分布式并行计算本地计算任务粒度连接 combine 分区 partition 读取中间结果任务管道 逻辑模型基本类型 行关键字 时间戳和列 物理模型 行分割 列存储 子表服务器Hmemcache Hstore Hlog主服务器子服务器连接超时元数据表映射关系根子表 ROOTTable 开发目的为研究人员提供一个云计算研究平台设计原则可移植性模块化体系结构可扩展性非侵入 工程目标 可扩展性和非入侵 Youseff划分方法 Lenk划分方法 基础设施共享 信息动态传递设计原则发送和存储尽量少的个人信息保护云中的个人信息最大限度的实现用户控制明确和限制数据使用目的提供反馈机制 Chukwa HadoopVM内部监测 计算机能耗变化曲线 云计算环境的特点可并行不信任远程复制基于分析的数据库管理效用容错能够在异构环境中运行能够操作加密数据能够与商业化的智能产品交互 提高并行优化性能 一个基于结构化覆盖的云系统索引框架 All Pairs挑战 调度延迟节点失效和数量数据分发隐藏限制步骤 建立模型分发数据调度作业收集结果和清理 GridBatchDFS GFS的扩展 支持固定块大小和固定块数目作业调度Map控制器分发控制器合并控制器递归控制器笛卡尔控制器Neighbor控制器 Cumulus 数据中心科学云 CARMEN e Science云计算 Reservoir 云服务融合平台可扩展 灵活性 可靠性的框架 语义分析应用Web技术如RDF OWL是完成数据集成任务的首选MapReduce处理大规模数据经济 实用因此二者结合提供了一个针对大规模异构数据集成 查询和推理的完美解决办法生物学应用BLASTGSEA 数据库应用部署安装和性能优化商业应用企业文本分析平台地理信息应用高性能工作流 安全威胁 垃圾邮件新型病毒用户权限隐私信息 反垃圾邮件网格分布式统计协同贝叶斯学习算法 CloudAV 终端恶意软件检测滞后杀毒自身漏洞关键改进 云端检测N Version保护技术 AMSDS 恶意软件签名自动检测轻量级桌面引擎去噪 保留可能插入恶意代码的部分云端检测反病毒 静态分析 动态分析 破坏恶意软件的PE格式 云平台上的数字签名身份认证控制个人信息的公开度和使用IdM必须具有协