云计算技术.doc

湖南大众传媒学院云计算技术 目录目录 第第 1 章章 什么是云计算 为什么发展云计算 目前云计算国内外发展的现状什么是云计算 为什么发展云计算 目前云计算国内外发展的现状1 第第 1 节节云计算的发展原因云计算的发展原因2 1 1 1现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能价格比2 1 2 1多数应用本身就是分布式的2 1 3 1高可靠性2 1 4 1可扩展性2 1 5 1高度灵活性2 第第 2 章章 云计算的关键技术 数据存储技术 数据管理技术 编程模型 云计算的关键技术 数据存储技术 数据管理技术 编程模型 5 第第 1 节节云计算的关键技术云计算的关键技术5 2 1 1编程模型5 第第 3 章章 云计算与传统超级计算技术 网格技术的区别云计算与传统超级计算技术 网格技术的区别8 第第 1 节节云计算与传统超级计算技术 网格技术的区别云计算与传统超级计算技术 网格技术的区别8 3 1 1网格技术基本概念 8 第第 2 节节超级计算与云计算超级计算与云计算9 第第 3 节节超级计算与云计算的相同点超级计算与云计算的相同点10 第第 4 章章 我国云计算技术存在的问题和解决方法我国云计算技术存在的问题和解决方法12 第第 1 节节当前我国云计算产业发展存在六大问题当前我国云计算产业发展存在六大问题12 4 1 1我国云计算的问题主要有五点13 第第 5 章章 对发展云计算的政策建议对发展云计算的政策建议15 第第 1 节节如何解决这四个问题 如何解决这四个问题 15 云计算技术湖南大众传媒学院 第 1 页 共 18 页 第第 1 章章 什么是云计算 为什么发展云计算 什么是云计算 为什么发展云计算 目前云计算国内外发展的现状目前云计算国内外发展的现状 云计算 cloud computing 是一种基于互联网的计算方式 通 过这种方式 共享的软硬件资源和信息可以按需提供给计算机和其 他设备 云其实是网络 互联网的一种比喻说法 云计算的核心思 想 是将大量用网络连接的计算资源统一管理和调度 构成一个计 算资源池向用户按需服务 提供资源的网络被称为 云 狭义云计 算指IT基础设施的交付和使用模式 指通过网络以按需 易扩展的 方式获得所需资源 广义云计算指服务的交付和使用模式 指通过 网络以按需 易扩展的方式获得所需服务 这种服务可以是 IT 和软 件 互联网相关 也可是其他服务 云计算按照服务对象的不同 一般分为公有云和私有云两大类 前者指的是面向广域范围内的服务对象的云计算服务 一般具有社 会性 普遍性和公益性等特点 而后者一般是指社会单位为自身需 要所建设的自有云计算服务模式 一般具有行业性特点 云计算的发展并非一帆风顺 云技术要求大量用户参与 也不可 避免的出现了隐私问题 用户参与即要收集某些用户数据 从而引 发了用户数据安全的担心 很多用户担心自己的隐私会被云技术收 集 正因如此 在加入云计划时很多厂商都承诺尽量避免收集到用 户隐私 即使收集到也不会泄露或使用 但不少人还是怀疑厂商的 承诺 他们的怀疑也不是没有道理的 不少知名厂商都被指责有可 能泄露用户隐私 并且泄露事件也确实时有发生 为什么发展云计算 湖南大众传媒学院云计算技术 第 2 页 共 18 页 第第 1 1 节节 云计算的发展原因云计算的发展原因 五个主要原因使得分布式计算必然会越来越普遍 逐渐发展成主 流的计算模式而取代集中式的大型计算机 1 1 11 1 1现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能现在分布式系统的第一个原因就是因为他具有比集中式系统更好的性能 价格比价格比 你不要花几十万美元就能获得高效能计算 1 2 11 2 1 多数应用本身就是分布式的多数应用本身就是分布式的 如工业企业应用 管理部门和现场不在同一个地方 1 3 11 3 1高可靠性高可靠性 冗余不仅是生物进化的必要条件 而且也是信息技术 现代分布 式系统具有高度容错机制 控制核反应堆主要采用分布式来实现高 可靠性 1 4 11 4 1可扩展性可扩展性 一台性能更高的大型机 或者再买一台性能相同的大型机的费用 都比添加几台 PC 的费用高得多 1 5 11 5 1高度灵活性高度灵活性 能够兼容不同硬件厂商的产品 兼容低配置机器和外设而获得 高性能计算 粗略地计算 目前的个人计算机每个 CPU 芯片的处理能力是 200MIPS 就是每秒种执行 200M 也就是两亿次指令 而最近 Yahoo 公司报道他们已经实现了有一万个节点 node 就是一万台 PC 计算 机连接的分布式系统 总的处理能力是 2 000 000MIPS 最快的芯 云计算技术湖南大众传媒学院 第 3 页 共 18 页 片也达不到这个速度 因为在一定面积上设计的芯片的速度是存在 一个极限的 不可逾越 而当前世界著名的超级计算机所谓的 TOP500 达到每秒几百万亿次指令执行 都是采用分布式设计的 世界第一的 IBM BlueGene 超级计算机采用了 32 部机架 每部机架 部署有 768 个 PowerPC440 CPU 顺便说一句 这 TOP500 基本都是 使用 Linux 操作系统的 现在社会和家庭拥有的个人计算机就是 PC 只有 30 的计算能力被利用 甚至更低 而其余 70 的实际上是 被闲置的 这些闲置的计算机资源和计算能力只有通过分布式系统 才能得到有效的利用 这样可以大大提高一个国家的计算能力 而 计算能力是衡量一个国家国力和科学研究能力的指标 这一点现在 还没有被国人充分认识到 一个国家和地区的计算能力现在已经成 为一种重要的战略资源 不亚于石油和其他战略物资的重要性 云 计算就是把普通的服务器或者个人计算机连接起来以获得超级计算 机也叫高性能和高可用性计算机的功能 但是成本更低 这在世界 上也是个先进的项目 云计算模式必定能大大提高我国科学计算机 和商业计算能力 使得我国经济竞争力大大提升 美国和欧洲有许 多社会分布的分布式计算系统 他们动员和使用这些社会计算能力 进行人类基因组学 Genomics 的研究 天文学问题研究 数学难 题研究以及其他的科学问题研究 去年的一个研究报告估计我国个 人计算机 PC 保有量接近两亿台 按照计算机操作系统的宗师 Andrew S Tanenbaum AST 给分 布式系统的的定义 分布式系统是这样的系统 它运行在不具有 共享内存的多台机器上 但在用户的眼里却像是一台计算机 引 自 现代操作系统 机械工业出版社 1999 年中文版 它的目标 是让每个用户感觉联网的计算机是一个分时系统 就像使用个人 计算机一样 而不是一个由许多计算机联合起来的集体 即使由 五个节点组成的分布式系统也应该让用户感觉自己是在使用一台价 湖南大众传媒学院云计算技术 第 4 页 共 18 页 值 20 万美元的大型计算机 唯一不寻常的感觉是处理速度提高了许 多 别的没有什么不同 例如 这里有一个简单的例子 在机器 A 的用户要使用安装在机器 B 上用户的目录里的文件 A 用户要使用 远程登录命令 rlogin B 登录到机器 B 的目录上 那么这就不是一个 真正的分布式系统 因为用户 A 意识到了另外一台机器的存在 分 布式系统必须要做到 用户 A 登录到一个目录上的时候不知道自己 是在本地机器上还是在远程机器上的目录上 对于用户 A 来说机器 B 是透明的 这就是分布式系统设计时考虑的 透明性 要求 其 他有关的问题包括 分布式文件系统的问题 目录和文件访问机制 以及一致性问题 分布式系统进程的通信问题等等 目前的云计算 严格说还没有到达真正的分布式计算的语义学水平 云计算技术湖南大众传媒学院 第 5 页 共 18 页 第第 2 章章 云计算的关键技术 数据存储技云计算的关键技术 数据存储技 术 数据管理技术 编程模型 术 数据管理技术 编程模型 第第 1 1 节节 云计算的关键技术云计算的关键技术 云计算系统运用了许多技术 其中以编程模型 数据管理技术 数据存储技术 虚拟化技术 云计算平台管理技术最为关键 2 1 12 1 1 编程模型编程模型 MapReduce 是 Google 开发的 java Python C 编程模型 它 是一种简化的分布式编程模型和高效的任务调度模型 用于大规模 数据集 大于 1TB 的并行运算 严格的编程模型使云计算环境下 的编程十分简单 MapReduce 模式的思想是将要执行的问题分解成 Map 映射 和 Reduce 化简 的方式 先通过 Map 程序将数据切割成 不相关的区块 分配 调度 给大量计算机处理 达到分布式运算 的效果 再通过 Reduce 程序将结果汇整输出 海量数据分布存储技术海量数据分布存储技术云计算系统由大量服务器组成 同时为大量用 户服务 因此云计算系统采用分布式存储的方式存储数据 用冗余 存储的方式保证数据的可靠性 云计算系统中广泛使用的数据存储 系统是 Google 的 GFS 和 Hadoop 团队开发的 GFS 的开源实现 HDFS GFS 即 Google 文件系统 Google File System 是一个可扩展的 分布式文件系统 用于大型的 分布式的 对大量数据进行访问的 应用 GFS 的设计思想不同于传统的文件系统 是针对大规模数据 湖南大众传媒学院云计算技术 第 6 页 共 18 页 处理和 Google 应用特性而设计的 它运行于廉价的普通硬件上 但 可以提供容错功能 它可以给大量的用户提供总体性能较高的服务 一个 GFS 集群由一个主服务器 master 和大量的块服务器 chunkserver 构成 并被许多客户 Client 访问 主服务器存储 文件系统所以的元数据 包括名字空间 访问控制信息 从文件到 块的映射以及块的当前位置 它也控制系统范围的活动 如块租约 lease 管理 孤儿块的垃圾收集 块服务器间的块迁移 主服务 器定期通过 HeartBeat 消息与每一个块服务器通信 给块服务器传 递指令并收集它的状态 GFS 中的文件被切分为 64MB 的块并以冗余 存储 每份数据在系统中保存 3 个以上备份 客户与主服务器的交换只限于对元数据的操作 所有数据方面 的通信都直接和块服务器联系 这大大提高了系统的效率 防止主 服务器负载过重 海量数据管理技术海量数据管理技术 云计算需要对分布的 海量的数据进行处理 分析 因此 数 据管理技术必需能够高效的管理大量的数据 云计算系统中的数据 管理技术主要是 Google 的 BT BigTable 数据管理技术和 Hadoop 团 队开发的开源数据管理模块 HBase BT 是建立在 GFS Scheduler Lock Service 和 MapReduce 之 上的一个大型的分布式数据库 与传统的关系数据库不同 它把所 有数据都作为对象来处理 形成一个巨大的表格 用来分布存储大 规模结构化数据 Google 的很多项目使用 BT 来存储数据 包括网页查询 Google earth 和 Google 金融 这些应用程序对 BT 的要求各不相同 数据大小 从 URL 到网页到卫星图象 不同 反应速度不同 从后 端的大批处理到实时数据服务 对于不同的要求 BT 都成功的提 云计算技术湖南大众传媒学院 第 7 页 共 18 页 供了灵活高效的服务 虚拟化技术虚拟化技术 通过虚拟化技术可实现软件应用与底层硬件相隔离 它包括将单 个资源划分成多个虚拟资源的裂分模式 也包括将多个资源整合成 一个虚拟资源的聚合模式 虚拟化技术根据对象可分成存储虚拟化 计算虚拟化 网络虚拟化等 计算虚拟化又分为系统级虚拟化 应 用级虚拟化和桌面虚拟化 云计算平台管理技术云计算平台管理技术 云计算资源规模庞大 服务器数量众多并分布在不同的地点 同 时运行着数百种应用 如何有效的管理这些服务器 保证整个系统 提供不间断的服务是巨大的挑战 云计算系统的平台管理技术能够使大量的服务器协同工作 方便的 进行业务部署和开通 快速发现和恢复系统故障 通过自动化 智 能化的手段实现大规模系统的可靠运营 云计算技术湖南大众传媒学院 第 8 页 共 18 页 第第 3 章章云计算与传统超级计算技术 网格技术的区别云计算与传统超级计算技术 网格技术的区别 第第 1 1 节节 云计算与传统超级计算技术 网格技术的区别云计算与传统超级计算技术 网格技术的区别 云计算是一种计算理念 实现一个具体的云计算基础设施需要结 合多种技术 其中很重要的一个技术就是虚拟化技术 3 1 13 1 1网格技术基本概念网格技术基本概念 一家票务公司要销售滚石乐队的告别演出门票 IT 部门经理担 心 开始网上售票后 公司的服务器和软件会不会不堪重负 但实际 上该公司并没有增加数十个服务器和存储系统 有关 IT 人员只是拧 开开关 将公司的骨干网与一个 网格 相联 结果公司在 3 分钟 内销售了 90 万张门票 没有一个顾客因系统处理能力不足而被拒之 门外 上述情景并非可望而不可及 网格作为一种能带来巨大处理 存 储能力和其他 IT 资源的新型网络 可以应付临时之用 网格计算通 过共享网络将不同地点的大量计算机相联 从而形成虚拟的超级计 算机 将各处计算机的多余处理器能力合在一起 可为研究和其他数 据集中应用提供巨大的处理能力 有了网格计算 那些没有能力购 买价值数百万美元的超级计算机的机构 也能利用其巨大的计算能 力 20 世纪后半期 全世界范围掀起第三次产业革命的浪潮 人类开 始迈入后工业社会 信息社会 在信息经济时代 其先进生产力 及科技发展的标志就是计算技术 时至今日 计算科学 尤其是以 超级计算机 或高性能计算机 为基础的计算科学已经与理论研究 实验科学相并列 成为现代科学的三大支柱之一 现代超级计算基于先进的集群技术构建 即常说的网格计算技术 云计算技术湖南大众传媒学院 第 9 页 共 18 页 网格计算是伴随着互联网发展起来的 专门针对复杂科学计算的新 型计算模式 这种计算模式利用互联网把分散在不同地理位置的电 脑组织成一个虚拟的 超级计算机 其中每一台参与计算的计算机 就是一个 节点 而整个计算是由成千上万个 节点 组成的 一 张网格 所以称之为网格计算 这种 超级计算机 有两个优势 一个是数据处理能力超强 另一个是能充分利用网上的闲置处理能 力 实际上 网格计算是分布式计算的一种 需要说明的是 网格 计算是一种传统的 更加专业化的定义方式 而超级计算则是更加 通俗化的概念 两者从本质上是一致的 超级计算中心 即超算中心 是指基于超级计算机系统对外提 供计算资源 存储资源以及技术咨询等服务的机构或单位 超级计 算在一个国家的发展中 特别是一些尖端科技的发展中 发挥着不 可替代的作用 生物科技 石油勘探 气象预报 国防技术 工业 设计 城市规划等经济 社会发展的关键领域都离不开超级计算 各个国家 尤其是经济 科技水平比较发达的国家 都把促进超级 计算的发展作为重要的规划内容 第第 2 2 节节 超级计算与云计算超级计算与云计算 如本刊前文所述 云计算是一种将全球范畴 高度可扩展 灵活 的服务通过互联网进行发布与消费 采取按需求和实际使用付费的 商业模式 云计算代表着全新的价值 它可以让企业获得高度可扩 展和灵活的互联网服务 SaaS 的瘦客户端应用减轻了软件的采购和 维护成本 所有的功能都以服务的方式提供给用户 云计算是从网格计算演化而来 能够随需应变地提供资源 网格 计算可以在云中 也可能不在 这取决于什么样的用户在使用它 如果用户是系统管理员和集成商 他们就会关心如何维护云 如升 级 安装和虚拟化服务器与应用程序等 如果用户是消费者 就不 湖南大众传媒学院云计算技术 第 10 页 共 18 页 必关心系统是如何运行的 网格计算与云计算有很多相似之处 两者都能够被看成是分布 式计算所衍生出来的概念 都是为了让 IT 资源能够对用户透明 为 了让 IT 资源能够达到更好的使用率 从这个提高资源利用率的角度 出发 逐渐诞生了 WEB 服务的概念 网络公司通过部署数以万计的 服务器构成庞大的计算资源 得以提供此前无法完成的新服务 企 业或者个人能够通过互联网利用那些大网络公司所释放出来的计算 资源 进行应用部署或者向外提供服务 这就是从网格计算到云计 算的历史过程 网格计算和云计算的意义就在于 无论是用户还是 企业开发者 都能够通过互联网来获得数据或者进行计算 尽管本 地资源有限 但是能够通过网络进行复杂的运算 其数据的计算过 程对于用户来说就像互联网网络对于本地网络用户一样 第第 3 3 节节 超级计算与云计算的相同点超级计算与云计算的相同点 从定义上来说 网格计算和云计算都试图将各种 IT 资源看成一个 可以对外提供相应服务的虚拟资源池 云计算试图让 用户透明地 使用资源 而网格计算诞生的初衷就是 使用 IT 资源像使用水电 一样简单 云计算是一种宽泛的概念 它允许用户通过互联网访问各种基 于 IT 资源的服务 并且用户无需了解底层 IT 基础设施架构就能够 享受到作为服务的 IT 相关资源 而网格的内涵包括两个方面 一方面是所谓的效用计算或者随需计算 在这一点上 网格计算跟 云计算是非常相似的 都是通过资源池或者分布式的计算资源来提 供在线的计算 存储等服务 另外一方面就是所谓的 虚拟超级计 算机 以松耦合的方式将大量的计算资源连接在一起 提供单个计 算资源所无法完成的超级计算能力 从对外提供服务这一角度来看 网格计算跟云计算是非常类似的 云计算技术湖南大众传媒学院 第 11 页 共 18 页 可以看出 网格计算和云计算有相似之处 特别是计算的并行与 合作的特点 但他们之间的区别也是明显的 主要有以下几点 云计算涉及好几个层次 目前市场上热炒的概念基本是指 IT 基础架 构云计算 即所谓 IaaS 简单说 它首先运用新的技术把原有的底层硬件资源 如 CPU 内存 硬盘 网络接口等 汇集成资源池 然后根据用户的具体需 要抽取资源 打包组合一整套满足要求的虚拟服务环境 用户使用 该虚拟机环境与真实环境的感受完全一样 而且资源可按需灵活扩 充或缩减 好处之一 隔离了软件与硬件 减少了软件对于某台具体设备的 依赖 好处之二 整合了硬件资源 提高了整体效能 大幅简化了 IT 系统维护的复杂度 问题之一 如果搭建的云计算规模太小 节能性 投资收益率等 经济指标并不显著 云计算技术湖南大众传媒学院 第 12 页 共 18 页 第第 4 章章我国云计算技术存在的问题和解决方法我国云计算技术存在的问题和解决方法 第第 1 1 节节 当前我国云计算产业发展存在六大问题当前我国云计算产业发展存在六大问题 分别是 多理论 少实践 重建设 轻服务 重方案 轻需求 重 新建 轻改造 重技术 轻应用 重标准 轻协调 他建议 我国可 以提出国家层面的发展战略 统一思想 统一目标 做好科学规划 加大监督力度 从而减少无序发展和重复发展 同时 利用好政策 手段优化发展环境 明确技术创新与服务创新的关系 做好产业发 展与基础设施的关系 从而推动云计算应用发展 安晖博士认为 我国云计算产业发展目标应该是满足行业需求 企业应用需求 社会民生需求 在国家层面 国家级云计算数据中 心的建设应坚持 分散建设 统一使用 资源汇聚 便捷高效 的 基本原则 从而优化云计算数据中心的布局 避免重复建设和资源 浪费 以下是中国电子信息产业发展研究院软件与信息服务业研究所所长 安晖博士的演讲实录 当前我国云计算产业发展存在的问题 很高兴今天有这样一个机会跟大家来交流云计算方面的问题 我们 研究院特别是我们研究所是国家工信部 发改委在云计算产业发展 和应用方面最主要的决策支撑机构 一直是给国家高层部门提供各 种决策咨询 所以有很多机会就云计算方面在全国各地进行调研 考察 也做了许多梳理 今天我们来谈云计算产业 其实云计算产业是一个很大的概念 涉及到很多方面的问题 如果说要把它全都说清楚可能是要很长时 间 像今天我觉得就像刚才李总说过的 云计算这个词提出来之后 云计算技术湖南大众传媒学院 第 13 页 共 18 页 也过了很长时间 可以说铺天盖地 不管业内业外的人对这个词印 象深刻 并且对云计算基础东西 比如云计算是什么就引来了对云 计算有了初步 清晰的概念 我想今天在这里就不做很完全的报告 而是想就我们在过去一年 里在全国各个地方进行调研的时候发现的一些问题来进行集中的讨 论 为什么要这样 因为我刚才看了顾问的白皮书 上面说到当前我 国云计算产业是处于导入和准备阶段 处在大规模爆发的前夜 我 觉得这个定位定的非常好 大家都知道云计算很好 都已经有了享 用云计算的关注度和接受度 但到现在为止还没有很好的用起来 这里边存在的问题可能一方面是起步阶段的限制规律 另外一方面 可能是中间存在的问题 所以今天跟大家交流是当前云计算发展当 中存在的六大问题 4 1 14 1 1我国云计算的问题主要有五点我国云计算的问题主要有五点 除了发展思路外 还有 云安全 问题 云计算关键技术问题 基础设施不能完全满足云计算发展需要的问题和行业标准缺乏的问 题 云安全 包括两个层面的问题 一是用户层面的信息安全 二 是国家层面的信息安全 安全问题是全球对云计算的最大质疑点 在我国 这种担忧尤为突出 云计算关键技术问题主要体现在对云计算的技术认识差别较大 在应用上也还存在私密性 数据传输瓶颈等 能否在这些技术上实 现突破并进一步商业化 将会影响到云计算未来的发展 目前 我 国与国外厂商在技术上的差距还是比较大的 在基础设施上 不能完全满足云计算发展的需求 一是互联网 的带宽 稳定性和数据长途传输的延迟都会影响云服务发展和交付 的问题 二是现有的数据中心不能满足云计算的发展需求 云计算 湖南大众传媒学院云计算技术 第 14 页 共 18 页 的数据中心需要稳定的运转环境 这就需要在规划布局上做多方面 的考虑 电力 散热 这都是需要考虑在内的问题 国外一些大的 数据中心就建立在气温低的地方或海边 这样便于降低散热成本 因为支持云计算的数据中心规模很大 需要精心布局 我国许多科技园区和大企业都拥有自己的数据中心 但传统数 据中心不符合云计算应用的需求 分散 高耗能 成本高 少数大 的数据中心也需要进一步整合 云计算在全世界还没有统一的标准 国内目前有全国信标委 IT 服务标准工作组和产业联盟三个组织