云计算关键技术初探与基本环境搭建PPT课件.ppt

云计算关键技术初探与基本环境搭建 上海妇幼平台项目组 1 云计算概况关键技术环境搭建 2 云计算概况 什么是云计算 从用户的角度定义 为用户提供按需分配的计算能力 存储能力及应用服务能力 分布式的 并行的 容错的 虚拟化 云计算核心构成公式 云计算 计算云 存储云源于并行计算 MPI 但MPI只提供了节点间信息沟通的工具 未说明用什么架构来实现其功能 那么云计算往往都是伴随着相关架构和技术实现来描述的 架构的优点 屏蔽底层复杂性 提高开发速度 缺点 不灵活 系统效率低 3 云计算概况 主要厂商架构分析 Google谷歌三宝 GFS google文件系统 MapReduce算法 BigTableIBM基于现有硬件平台 对其小型机内部进行CPU和存储的划分 实现按需分配华为在底层硬件与操作系统之间 实现虚拟化技术 其虚拟化层次较低 效率较高 但适配硬件和上层操作系统的变化能力较弱 Yahoo基于ApacheHadoop技术实现 类似与google的技术 Yahoo有17个集群超过24000台机器在运行Hadoop2008 4 Hadoop打破世界纪录 在209秒内 利用910个节点的集群完成1TB数据的排序 同年11月 谷歌声称他的MapReduce只用了68秒 2009 5 有报道称Yahoo团队只需62秒时间 09年4月赢得500GB数据59秒内排序 1400个节点 4 云计算概况 上海云计算建设情况 云海计划按需付费的商业模式 以应用需求为向导 按需使用 动态扩展2010年投入5 5亿 2010 2012总投入31 2亿10个行业领域 启动12个项目 卫生行业作为 健康云 参与云海计划 卫生局瞿刚主任主持建设 已向市局做过初步汇报 情况较好 卫生局建设要素选型原则 本身的计算能力 投入资金 风险建设内容 服务 SaaS PaaS 运维公司 开放性目前选型模式倾向 中小型云用Vmware 大型云用华为临检中心 医疗项目 目前项目状况 项目一期进入实施阶段 进展不是很顺利 用户要求较高 人员缺乏云计算项目运作情况 由于临检中心业务较少 远远达不到云计算应用的要求和目的 准备将Lis系统的标准化和统一管理纳入该领域 实现全市Lis数据标准化和集中管理 5 关键技术 Hadoop概述 与Google的关系谷歌的三宝技术是保密的 Apache的Hadoop项目将此思想克隆 采用Java语言开发 Yahoo给予了大力支持 目前还不是十分完善 真正稳定的Map Reduce应用只有Google核心组成MapReduce 分布式数据处理模式和执行环境HDFS 分布式文件系统设计特点 云计算的特点 服务器失效是正常的存储和处理的数据都是海量的文件不会被频繁写入和修改 适用于一次写入 多次读出机柜内的数据传输速度大于机柜间的数据传输速度海量数据的情况下移动计算比移动数据更高效 6 关键技术 HDFS文件系统 Hadoop计算向存储迁移HDFS的结构 主从式结构 7 关键技术 Map Reduce算法 Map和ReduceMap函数 map阶段很简单 用于在海量的输入数据中找到键值对 如将一年每一天的气温记录文本 建立日期和气温的键值对 他是一个数据准备阶段 通过这种方式建立数据 使Reduce函数能在此基础上进行工作 Reduce函数 按照既定算法 对Map函数的输出 找出其中的某一个键值对 如找出一年中气温最高的一天 数据流图 8 关键技术 Hadoop架构分析 Hadoop的主从式结构Hadoop的M R以主从式架构 类似与HDFS中主节点Namenode Hadoop在M R上的主程序被称为Jobtracker 它负责整个M R的控制工作 由于Jobtracker需要读取文件块的信息 所以Jobtracker通常和Namenode在同一个节点 Jobtracker负责创建子节点的从属任务TaskTracker 从属任务直接在子节点上对数据进行处理 完成计算到存储的迁移 Hadoop最根本的改变是还有一个主从式的文件系统HDFS在底层支撑其M R的数据处理功能 HDFS可以看做基础架构 由于有了他 Hadoop可以方便的实现计算想数据存储位置迁移的策略 从而大大提高了系统计算效率 9 关键技术 Hadoop其他内容 云计算技术流派存储型 数据密集云计算平台 如现有的GFS Google HDFS Yahoo 计算型 计算密集云计算平台 以数据计算 处理服务为主的 为用户提供高性能计算环境 厂商没有具体实现策略 可以通过并行计算等方案达到效果Hadoop项目的其他内容Pig 一种数据流语言和运行环境 用以检索非常大的数据集Hbase 一个分布式的 列存储数据库 使用HDFS作为底层存储 同时支持Map Reduce批量计算和随机读取ZooKeeper 一个分布式的 高可用性的协调服务基于该技术的应用开发提供Java开发包 可以集成在IDE环境中进行开发 测试允许使用除Java之外的语言来编写自己map和reduce函数 因为采用unix标准流作为Hadoop和程序之间的接口 所以只要编写的MapReduce程序能够读取标准输入 并写入到标准输出即可 10 环境搭建 上海云计算测试环境 硬件及网络环境采用三台PC机 安装Linux操作系统 按照Hadoop架构搭建云计算环境三台机器情况 主控节点 运行Namenode JobTracker IP192 168 88 246子节点1 运行Datanode TaskTracker IP192 168 88 245子节点2 运行Datanode TaskTracker IP192 168 88 248软件环境系统版本 RedhatEnterpriseLinux5安装 配置软件 Hadoop JavaJDK SS