云计算与云存储的关键技术研究PPT课件

云计算与云存储的关键技术研究 一 什么是云计算 2020 4 24 2 关于云计算的N种说法 云计算就是基于互联网的计算 云计算用于描述基于因特网的分布式计算及其相关应用 云是一组数量众多的互联到一起的计算机 可以是公共的或私有的 云计算就是将以前那些需要大量软硬件投资以及专业技术能力的应用 以基于Web服务的方式提供给用户 云计算就是用户根据资源实际使用量来付费的IT信息系统 云计算是虚拟化 网格计算 分布式计算 公共计算 WEB2 0 SaaS等众多新技术的融合 云计算就是SaaS的升级版 云计算是用户友好的网格计算 云计算是分布式计算 并行计算和网格计算的发展 只有三种服务是基于 云 的 SaaS PaaS和云计算平台 云计算就是新的Web2 0 云是一个庞大的资源池 你按需购买 云是虚拟化的 云可以象自来水 电 煤气那样计费 2020 4 24 3 学术界对云计算尚无统一定义 2020 4 24 4 权威机构对云计算定义不尽相同 维基百科 云计算是一种将规模可动态扩展的虚拟化资源通过Internet提供对外按需使用服务的计算模式 用户无需了解提供这种服务的底层基础设施 也无需去拥有和控制 百度百科 狭义云计算是指IT基础设施的交付和使用模式 指通过网络以按需 易扩展的方式获得所需的资源 硬件 平台 软件 广义云计算是指服务的交付和使用模式 指通过网络以按需 易扩展的方式获得所需的服务 IBM 一个虚拟化的计算机资源池 托管多种不同的工作负载通过快速提供虚拟机器或物理机器 迅速部署和增加工作负载 Google 以公开的标准和服务为基础 以互联网为中心 提供安全 快速 便捷的数据存储和网络计算服务 微软 云 端计算 即 云 和终端都会具备很强的计算能力 所有应用程序都在本地终端上使用也不一定合理 因此强调 云 和终端的均衡将是一种合理的方式 云是 软件 服务 的综合 美国国家标准与技术研究院 NIST 云计算是一种资源利用模式 它能以简便的途径和以按需的方式通过网络访问可配置的计算资源 网络 服务器 存储 应用 服务等 这些资源可快速部署 并能以最小的管理代价或只需服务提供商开展少量的工作就可实现资源发布 Berkeley大学 云计算是包含互联网上的应用服务及在数据中心提供这些服务的软硬件设施 对云计算的理解的现状 一个概念 多种表述 从事云计算研究的人员具有不同背景 互联网服务 网格计算 软件工程 数据库等 他们从不同角度 业务 应用 技术 平台等 来看待云计算 支撑云计算的使能技术 enablingtechnology 是多种多样的 并且这些技术仍在不断发展变化 云计算的应用规模还不足以使其概念人人皆知 媒体对云计算铺天盖地的宣传进一步模糊了其本质 每家企业和机构对云计算及其前景的解析都或多或少地结合了企业自身的业务方向和现实利益 云计算本质上是一种新的提供资源按需租用的服务模式 是一种新型的互联网数据中心 InternetDataCenter IDC 业务 云计算业务与传统IDC业务的相似点 业务运营模式相似 均是提供IT基础设施资源的租用 盈利模式也以收取租用费为主 目标客户相似 主要目标客户均是ICP以及大量无法自行建立数据中心的中小企业客户 业务运营需要的基础条件相似 都需要建设一定规模的数据中心云计算业务与传统IDC业务的差别 租用资源范围差别 云计算业务中 提供租用的资源范围广泛延伸 不仅是服务器 带宽 还可以包括存储系统 系统软件平台 应用软件和服务等 服务能力差别 云计算业务提供 弹性 的按需扩展的资源租用服务资源透明性差别 在云计算业务中 用户并不需要了解资源的物理信息 云计算业务的五个特征 1 基础资源租用云计算业务提供对计算 存储 网络 软件等多种IT基础设施资源租用的服务 云计算业务的用户不需要自己拥有和维护这些资源 2 按需弹性使用云计算业务的用户能够按需获得和使用资源 也能够按需撤销和缩减资源 云计算平台可以按用户的需求快速部署和提供资源 云计算业务的付费服务应该按资源的使用量计费 3 透明资源访问云计算业务的用户不需要了解所使用资源的物理位置和配置等信息 4 自助业务部署云计算业务的用户利用业务提供商提供的接口 通过网络将自己的数据和应用程序部署于云计算平台的后端数据中心 而无需服务商的人工配合 5 开放公众服务云计算业务用户所部署的数据和应用可以通过互联网发布给其他用户共享使用 即提供公众服务 有了云计算 广大用户无需自购软 硬件 甚至无需知道是谁提供的服务 只关注自己真正需要什么样的资源或者得到什么样的服务 2020 4 24 9 二 三种形式的 云 2020 4 24 10 云计算的分类 软件即服务 SaaS 提供商在云计算设施上运行程序 用户通过各种客户端设备的瘦客户界面 如网页浏览器 基于网页的电子邮件 使用这些应用程序 平台即服务 PaaS 用户采用提供商支持的编程语言和工具编写好应用程序 然后放到云计算平台上运行 基础设施即服务 IaaS 用户将部署处理器 存储系统 网络及其他基本的计算资源 并按自己的意志运行操作系统和应用程序等软件 一切皆为服务 云计算应用 云计算平台 2020 4 24 12 三种形式云 1 基础设施云 IaaS 2 平台云 PaaS 3 应用云 SaaS 2020 4 24 13 将计算和存储以授权服务形式提供 其核心是将某一或某几个数据中心的计算 存储资源虚拟化 以灵活划分资源 云计算的基础架构一般架设在拥有大规模计算和存储的数据中心 使得中小企业部门也能够利用到原来大型企业才具备的信息基础设施多个应用共享基础设施也降低了成本 Amazon sEC2 基础设施云 基础设施云基础架构平台按功能分为四层 物理设施 虚拟化 资源管理 服务提供 基础设施云结构 基础设施云 基础设施云AmazonAWS Amazon的弹性计算云平台由一组被称为AmazonAWS服务来实现AmazonAWS服务包括EC2虚拟服务器S3存储服务 SimpleStorageService S3 SQS主机之间的消息队列服务SimpleDB一个网络数据库服务 基础设施云AmazonAWS 弹性计算云平台为用户或者开发人员提供了一个虚拟的集群环境 而弹性计算云中的实例是一些真正在运行中的虚拟机服务器 每一个实例代表一个运行中的虚拟机 对于提供给某一个用户的虚拟机 该用户具有完整的访问权限 包括针对此虚拟机的管理员用户权限 基础设施云IBM蓝云 IBM在2007年11月15日推出了蓝云计算平台 整个系统结构由图所示 基础设施云IBM蓝云 蓝云计算平台中部署 监控 应用服务器 数据库等采用了IBM自己的产品 关键功能则全部由开源软件实现 大规模数据处理和存储Hadoop 开源的Map Reduce实现系统 虚拟化开源软件Xen 平台可以使开发者不用关心后台大规模服务器的工作细节 给开发者提供一个透明安全功能强大的运行环境和开发环境 平台屏蔽了部署 发布等应用开发细节 并且提供了一些支持应用开发的高层接口以及开发工具 GoogleAppEngine Heroku Azure F 平台云 GoogleAppEngine提供用户在Google的基础架构上设计 发布应用程序的功能 每个免费帐户都可使用500MB存储空间 以及每月约500万页面浏览量的CPU和宽带 平台云GoogleAppEngine Google的基础架构环境 Distributedstorage DistributedFileSystem GFS Distributedsemi structureddatasystemBigTableDistributeddataprocessingsystemMapReduceGoogleAppEngine应用平台 Python语言开发 测试环境API集合 包括 数据库 Web服务 邮件 缓存 图片处理等 平台云GoogleAppEngine 直接面对最终软件用户 常以SaaS SoftwareasaService 软件应用服务 形式出现 软件系统各个模块可以由每个用户自己定制 配置 组装和测试 得到满足客户自身需要的软件系统 降低软件系统使用 维护 运行和支持成本 SalesForce GoogleApps ZohoOffice Webex 应用云 Salesforce是一家客户关系管理 CRM 软件服务提供商 顾客通过订购Salesforce服务 直接通过浏览器登录就可以使用所有功能 Salesforce公司目前拥有13900家客户和227000个人订户 是最大的商务应用云提供商 现在Salesforce也推出了自己的具有应用框架模板的应用平台云 F 应用云Salesforce GoogleApps是Google推出的中小企业套装软件 包括电子邮箱 网站 放置在google的服务器上 所见即所得的傻瓜式编辑方式 可以合作编辑的在线Offices 涵盖常用的word powerpoint excel等应用 日历 即时聊天 Gtalk 等 GoogleApps所有应用程序后台均运行在Google的基础信息架构上 应用云GoogleApps 三 清华云计算平台 2020 4 24 26 清华大学云计算平台 1 云存储系统Corsair2 云计算系统NOVA3 云计算客户端可迁移个性化软件运行环境4 手机访问云端 27 1 云存储系统Corsair 实现文件数据的存储和共享 提供本地资源和网络资源的统一文件管理视图 为全部用户提供共享存储服务 为社区用户提供共享存储服务 为个人用户提供共享存储服务 2020 4 24 28 Corsair系统架构 2020 4 24 29 Corsair的特性 快速共享简单的申请操作和审批就可以拥有100 200GB的社区空间移动U盘简单的申请操作就可以拥有2GB 4GB的个人空间 硬盘扩容 每个用户都可以拥有40TB的网络共享资源用户响应速度和数据传输速度快 清华校内5MBps 简单易用 2020 4 24 30 CorsairInterface 2020 4 24 31 Corsair的传输性能 2020 4 24 32 Corsair客户端下载情况 2020 4 24 33 Corsair在清华校内的实际部署及使用情况 部署情况 100TBytes的总存储空间 三个数据中心使用情况 2008年12月1日正式发布至2009年12月1日止 2020 4 24 34 2 云计算系统NOVA 虚拟化集群 为用户提供各种按需定制的云计算计算设施通过浏览器使用不改变用户使用习惯一键式定制使用 2020 4 24 35 为什么要实现虚拟化集群 ClustersareoftensharedbydifferentusersandinstitutesUsersmaywishtorunapplicationsonhighperformancesystemswithdifferentsoftwareenvironmentrequirementLinuxkernel2 6 2 4Windows 2020 4 24 36 Solutions VirtualMachinebasedHPCmanagementandschedulingEasytoprovidedifferentenvironmentsfordifferentusersVirtualclusterinterfaceVM create start suspend resume stop deleteVirtualCluster create start suspend resume stop deleteIssuesOverheadofVMStorageoverheadofmultipleVMs 2020 4 24 37 虚拟化集群 VMRepository VMM VMM VMM WindowsDirectXMPI 2020 4 24 38 虚拟化集群 VMRepository VMM VMM VMM WindowsDirectXMPI RedhatLinuxMySQLApache 2020 4 24 39 UserViewofVirtualCluster VirtualMachineRepository Cluster SavingandDeployment Control UserOperationInterface 2020 4 24 40 NOVA系统流程 2020 4 24 41 NOVA特点 无需安装和配置过程用户通过浏览器即可使用高效性软件通过虚拟化方式和操作系统绑定计算和存储集成用户的计算环境建立之后 用户在云存储里的存储空间会自动挂载到用户的系统当中 用户的输入和输出永远都在用户自己的云空间里面 随时随地各种方式访问和实用个人数据 2020 4 24 42 Nova 创建机群 2020 4 24 43 使用 Linux 2020 4 24 44 监管 2020 4 24 45 Nova运行过程 2020 4 24 46 3 云计算的客户端可迁移个性化软件运行环境一种新的端到云解决方案 用户无需本地安装软件 就能够直接在客户端上运行存储于云端的现有软件 如现有的Office应用 多媒体播放 网络应用等桌面软件 2020 4 24 47 4 移动云计算平台 通过手机访问云计算平台 2020 4 24 48 移动互联网是未来网络计算的核心 互联网 移动互联网终端面临的三个基本限制 网络终端的安全性和可管理性问题设备的更换和丢失频繁用户不具备计算机使用经验电池容量有限电池容量使得移动终端本身的功能和性能受到限制 无法直接运行PC上的传统应用程序网络的稳定性无线网络所固有的连接断续 带宽震荡问题 移动互联网更加需要云计算的支持 网络终端的安全性和可管理性问题设备的更换和丢失频繁用户不具备计算机使用经验 数据存储在云上 更加可靠地存放 搜索与读取 利用云计算技术保证系统的安全性与管理性电池容量有限电池容量使得移动终端本身的功能和性能受到限制 无法直接运行PC上的传统应用程序 计算放到云上执行 扩展移动终端能力 降低功耗 2020 4 24 51 移动云计算平台功能 安全性与管理性增强对客户端的数据 操作系统与应用程序进行网络化存储与管理应用程序的云化利用云端的计算能力离线支持降低对网络的依赖性功耗优化减少不必要的通信 2020 4 24 52 几类现有的移动应用模式 移动应用模式的发展趋势 目前主流的移动应用仍然是本地应用程序开发环境成熟 执行效率高 减少移动终端的能耗可离线运行 良好的离线体验大量功能丰富的现有应用 AppStore 15万 AndroidMarket 5万 Web应用正在快速发展跨平台的开发对数据共享的支持应用的安全性 管理性较优HTML5提供了丰富的交互性和有限的离线存储能力远程执行应用可以作为以上两种模式有益的补充为解决程序的移植性提供了很好的解决方案缺点是通信带宽消耗大 在高延迟网络下不适合交互性任务 网络资费高 耗电未来5年将是本地应用程序与Web应用共存的阶段移动云计算平台必须同时有效支持以上几类应用模式 现有的移动云计算平台特点 GoogleChromeOS 支持HTML5和JavaScript的Web应用 主要用于上网本 由于不需要安装应用程序 操作系统和浏览器可设为只读 系统具有较好的安全性和管理性Android 采用改进的Java虚拟机提供应用的移植性 内置Gmail GoogleMap客户端等 主要用于手机AppleiPhoneOS 主要用于iPhone和iPad 支持原生应用 速度较快iPad采用Apple自主研制的A4芯片 软硬件协同设计 性能与功耗指标较好PalmWebOS 开发语言采用HTML JavaScript 用于Palm手机清华大学与中国移动卓望公司TNOS4 0 实现在互联网终端上基于有线和无线网络 对实例操作系统 应用程序和数据的网络化管理 保证了系统具有较好的安全性和管理性 可用于上网本和手机 现有系统存在的问题 Android iPhoneOS WebOS所有应用程序仍然完全在本地下载安装对本机存储空间要求高 经常出现本机无法装载应用程序的问题 如GoogleG1手机可安装程序的空间仅有128MB应用程序的安全性 升级 版权管理机制复杂 例如无法提供很好的试用 购买体验ChromeOS采用浏览器作为唯一的应用程序运行平台对大量现存的本地原生应用程序无法有效支持离线体验差TNOS4 0主要在MetaOS层次对系统进行网络化管理 使用现有的实例操作系统如Windows Linux 而某些实例操作系统如Windows的应用程序安装需要注册表等复杂的全局操作 使得系统安全性和用户使用的灵活性很难同时保证 理想的移动云计算平台 对操作系统本身 各种应用和用户数据均能进行透明的网络化管理 对用户来说无需知道自己正在运行的是那一类应用程序 都可有效支持无需知道该程序的数据和代码存放在哪里无需关心程序在哪里执行无需关心操作系统和程序的安装 升级 杀毒 卸载等离线和网络带宽较低时仍能提供部分服务 TNOS4 0特点 云客户端操作系统 可以对本地应用和Web应用同时提供良好的安全性和可管理性 并提供良好的离线体验云化本地应用 无需完全下载 安装 即可使用支持宽带无线网络的虚拟存储管理软硬件结合的功耗管理技术研究操作系统如何通过硬件传感器获取系统状态 并以系统状态指导硬件的操作研究支持TD网络的优化网络协议 以减少通信量 降低系统功耗云服务端操作系统海量数据的储存与搜索支持新的商业模式订阅与试用 2020 4 24 58 iStreaming 2020 4 24 59 iCamera 2020 4 24 60 iFriend 2020 4 24 61 四 云计算关键技术 2020 4 24 62 1 虚拟化技术2 数据中心构建技术3 云计算安全技术4 云计算编程模型5 云计算接入端设备多元化个性化技术 2020 4 24 63 五 云计算的影响1 影响一 软件快速向服务模式转型2 影响二 接入端设备多元化个性化3 影响三 虚拟化和并行计算将广泛应用4 影响四 大学的课程 2020 4 24 64 影响一 软件快速向服务模式转型 从产品销售模式转向在线服务模式软件销售收入是传统软件企业的主要收入来源目前 软件行业正由产品销售向 软件即服务 Software as a Service SaaS 模式发展 SaaS将成为未来软件行业的主流模式 不同模式下企业的软件使用成本 软件和应用 2020 4 24 65 云计算使得信息服务的社会化成为可能 改变了大众需求 催生新的市场和新的服务业 软件产业结构发生变化 基于内容的信息服务业所占比重越来越大 单机的系统软件和中间件所占比重逐渐减小 软件依附于应用 嵌入式软件更加个性化 柔性化 产业结构面临调整 2008年我国软件产值构成分析 如 消费群体 MyMP3 个人匹配兴趣搜索引擎等 2020 4 24 66 更多的数字终端都可接入云计算服务 例如 台式机 笔机本 上网本 手机 电视机 冰箱等都是接入设备 影响二 接入端设备多元化个性化 2020 4 24 67 并行计算 通过整合分散的计算资源 多台普通服务器 多个CPU 的计算能力 形成计算资源的集中和融合 实现在低成本下的高性能计算 合多为一 分一为多 虚拟化技术 在单一物理服务器上同时运行多个虚拟机 让一台计算机同时为多个用户提供独立的计算能力 可大大提高现有硬件的利用效率 通过并行计算 可以最大程度实现运算资源的集中 而利用虚拟化技术 可将集中化的计算资源用于不同的计算任务 并极大地提高现有计算资源的利用效率 影响三 虚拟化和并行计算将广泛应用 软件和应用 2020 4 24 68 存储技术趋势 从传统存储到云存储 技术革新不断降低存储成本 最新的 云存储 更是如此传统存储方案使用昂贵的专业设备搭建基于光纤的存储网络基于IP的存储网络 通过以太网互联 既改善兼容性又降低初始成本 主导此技术的几家创新公司已成功上市最新的云储存技术使用普通服务器即可构建直连式存储 初始和运营存储成本都大大降低了 传统 巨头 专业存储方案价格昂贵 光纤解决方案为主 FC SAN 专业存储方案基于IP的解决方案 IP SAN NAS 新 公司使用普通服务器 直连存储用 云 达到NAS的效果 存储成本由高到低 硬件和系统 2020 4 24 69 影响四 大学的课程课程1 虚拟化技术课程2 海量数据处理 2020 4 24 70 清华大学计算机系在本科生大三结束之后的暑假 为了提高学生的实践能力 特别设置专业实践暑期课程 专业实践提供了学生设计和实现比较大的系统的机会 实践老师将进行实际训练的指导 使得学生能够尽快入门 专业实践需要应用到比较复杂的软件与硬件技术 用以解决特定的问题 而不是单项知识点的教学 暑期课程概述 2007年开始开设课程 部分教材和资料由谷歌google提供 是全球第二个开展相关课程的学校相关资料可在网上查询获得 基于集群的大规模数据处理 对分布式系统中的一些基本概念进行介绍 讨论在进行分布式系统设计中会涉及到的实际问题 针对真正的分布式系统的例子 例如google的分布式系统展开详细地讨论 使得学生能够获得初步的分布式系统的设计概念 另外 在课程设计中 会有很强的实践环节 学生将会通过对真正的分布式系统进行编程获得实践经验 教学目标 课程的组织 5次讲课的内容课程相关论文的阅读论文讨论 提交作业3个课程相关的实验最后的大项目 FinalProject 提交计划中期报告 项目结题报告项目最后检查汇报 学生需要提交的内容 作业 论文读后感 思考题等 占总成绩20 3个实验报告 占总成绩30 大项目相关 占总成绩50 大项目的建议书大项目结题报告大项目展示口头报告 课程内容与实验 典型的分布式系统的介绍并行编程的概念 并行化以及同步复习网络的基本概念远过程调用 RPC 事物处理系统 课程1 网络与分布式系统简介 MapReduce概述编程模型WordCount讨论MapReduce实现的体系结构 执行流程 扩展性 可靠性问题 课程2 Map Reduce的理论与实现 文件系统概述现有的分布式文件系统举例NFS AFS AndrewFileSystem Google文件系统体系结构扩展性 可靠性 课程3 分布式文件系统与Google文件系统 图的集中表示方法广度优先搜索与最短路径搜索方法PageRank使用迭代的方式通过MapReduce对PageRank进行计算 课程4 分布式图算法与PageRank 聚类的直观解释聚类算法距离的测量层次聚类与划分聚类K MeansClustering聚类方法复杂性的分析CanopyClustering聚类方法与复杂性分析使用MapReduce的方式 使用k means和canopy的方法对大规模数据进行聚类 课程5 MapReduce在聚类中的应用 Hadoop简介HDFS MapReduceNameNode DataNode JobTracker TaskTracker 基本的HDFS文件系统的操作Ls copyFromLocal 运行例子程序分析例子程序源代码MapReduceWordCountinJava源程序的编写 编译与执行学生手动运行例子程序LineIndexer Lab0 Hadoop环境的配置 倒排表是搜索引擎的基础 在做实验之前对搜索引擎做必要介绍Step1 噪音词的识别Step2 在ShakespeareCorpus 5 4M 数据集上计算并且获得倒排表Step3 建议的扩展实验数据清理在倒排索引上完成查询程序完整的倒排索引其它的相关实验 Lab1 简单的倒排表实验 Wikipedia的数据是直接从网上下载的英文原文的wikipedia的数据总的数据容量为10G各个网页之间有链接互相联系 分析链接可计算PageRank学生需要完成下面三个步骤 graphBuilder 从下载的数据中建立有向图pageRankIterator 通过MapReduce迭代进行PageRank的计算 获得每一个页面的PageRank值pageRankViewer 显示最终结果 Lab2 在Wikipedia数据集上完成PageRank 数据集容量为2G 是Netflix网站上所提供的数据 为电影的标识以及用户对电影的评价 实验的目标是使用聚类算法 通过给定的记录数据 找出400个左右的相关电影的集合 聚类算法为K Means算法加上CanopyClustering算法 Lab3 在Netflix数据上的K means与Canopy算法的设计与实现 学生可以自由选择所需要完成的大项目 并且可以按照2 3个人作为一个小组 锻炼团队能力 项目必须体现出是分布式系统相关的项目建议基于hadoop的集群进行构建项目的工作强度为全时2 5 3周时间大项目类别的举例 垂直搜索引擎 N单元的模拟 机器学习 最后的大项目 小型的20个节点的集群 每个节点双路四核cpu 150GSATA硬盘两个 4GB内存 通过1G以太网络进行连接在大约15个学生之间进行共享使用最新版本的Hadoop进行实验和编程环境配置 实验环境的设置 学生自由选择项目的课题 必须与分布式系统相关 建议使用hadoop集群系统完成运算学生的选题主要集中在以下三个方面垂直搜索引擎N Body系统的模拟 离散事件模拟机器学习 学生的大项目作业情况概述 专注于某一个专门类别的搜索 独立构建一个小型的搜索引擎NotebookHuntress 专门用于搜索笔记本的搜索引擎ComgIT 专门用于消费类电子产品的搜索引擎SMine水木精华区搜索 专门用于论坛的搜索IMAGESPY图片搜索引擎 从互联网上下载图片数据以及相关文本 构建图片搜索引擎 大项目 垂直搜索引擎类 构建用于消费类电子产品的垂直搜索引擎 通过论坛信息的搜集和检索 为用户购买消费类电子产品提供帮助 大项目展示 ComgIT 大项目展示 Not