《云计算》-济南大学 张庆科.ppt

1、网络新技术课题,本课题组研究成员：张庆科 、于孝美、赵树鹏、宋林霞、徐立、张明镜、张正明、相东明,1,张明镜,于孝美,张庆科,赵树鹏,Report,1.云计算概论,4.云计算应用与平台设计,2.云计算原理与技术,3.云计算安全与展望,2,云计算概述,第一篇,于孝美,3,目录,1.云计算的起源,2.云计算的特点,3.云计算的价值,4,1.1 计算模式演变,5,1970,1980,2000,单机计算,并行计算,分布式计算,网格计算,云计算,服务,1990,2010,5,1.2云计算的概念模型,6,1.3 云计算的定义,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用

2、系统能够根据需要获取计算力、存储空间和信息服务。,7,目 录,1.云计算的起源,2.云计算的特点,3.云计算的价值,8,云计算的特点,虚拟化技术,灵活定制,动态可扩展,可靠安全性,高性价比,资源在云端,超强计算力,9,2.2云计算的类别,将软件作为服务 SaaS,将平台作为服务 PaaS,将基础设施作为服务 IaaS,如：Salesforce online CRM,如：Google App Engine,如：Amazon EC2/S3,专用 通用,10,公共云：泛指部署在公共计算平台中，对公共开放的云计算平台。 私有云：部署在企业内部，为某一公司所私有的云计算平台， 旨在整合其公司内部IT资源

3、的云计算系统。 混合云：公共云与私有云之结合,2.3 云计算服务的交付模式分类,11,目录,12,1.云计算的起源,2.云计算的特点,3.云计算的价值,云计算对用户意味着,符合移动办公 用户端负载降低 降低总体拥有成本 便于协作和共享 按使用付费,13,云计算对服务提供商意味着,商业模式和理念的转变 提高管理效率 降低运维成本 提高资源利用率 影响产业链,总结：云计算是一个商业概念，其本质是一种商业计算，这种计算将对传统互联网进行革命性的颠覆，未来的 云计算市场潜力巨大，蕴含的价值无限，值得深入研究！,14,云计算的基本原理和关键技术,第二篇,15,赵树鹏,基本原理,分布式计算、并行计算和网格

4、计算及分布式数据库的改进和融合 利用非本地或远程服务器（集群）的分布式计算机为互联网用户提供服务（计算、存储、软硬件等服务）,16,用户互动界面,系统管理,资源工具,监控与测定,服务目录,服务器,云计算基本原理图,17,云计算的关键技术,数据分布存储技术,数据管理技术,虚拟化技术,编程模型,18,数据分布存储技术,目标高可用，高可靠，经济性 手段分布式存储+数据冗余+并行服务 特点 高吞吐量+高传输量 案例Google的GFS和Hadoop的HDFS HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写，具有高容错性，可以部署在廉价的硬件设

5、备上， 并且提供了对数据读写的高吞吐率。,19,HDFS的设计前提与目标,硬件错误是常态而不是异态。 流式数据访问 大规模数据集 简单一致性模型 移动计算比移动数据更划算 异构软硬件平台间的可移植性,20,NameNode,客户端,数据块,客户端,DataNod,机架1,读,机架2,写,复制,数据块操作,HDFS的结构示意图,HDFS的体系结构,元数据，命名空间,实际的数据，存储管理,21,云计算的关键技术,数据分布存储技术,数据管理技术,虚拟化技术,编程模型,22,数据管理技术,面临的问题： 高效的管理大数据集 高效的查找特定信息 读优化的数据管理 实例： BT(BigTable)数据管理技

6、术 开源数据管理模块HBase,23,Hbase:Bigtable的开源实现,Hbase数据库是基于Hadoop的项目，是对Google的Bigtable的开源实现。,数据存放逻辑视图,Hbase的逻辑模型,可排序，唯一标示,:,对于每次数据操作,24,在物理上的存储方式,Hbase物理模型,按列族存储数据，列族内具有统一的读/写方式,把概念模型中的行进行分割，按列存储,25,云计算的关键技术,数据分布存储技术,数据管理技术,虚拟化技术,编程模型,26,编程模型Map/Reduce,简化的分布式编程模型和高效的任务调度模型，用于大规模数据集（大于1TB）的并行运算 通过“Map(映射)”和“R

7、educe(化简)”这样两个简单的概念来构成运算基本单元,用户只需提供自己的 Map 函数以及 Reduce 函数即可并行处理海量数据 简单讲：任务的分解和结果的汇总,27,分段0,分段1,分段2,分段3,分段M-1,Map( ),Map( ),Map( ),Map( ),Map( ),Reduce( ),Reduce( ),Reduce( ),Reduce( ),结果0,结果2,结果1,结果R-1, , , ,分区,输入,M个Map任务,R个Reduce任务,输出,MapReduce处理大数据集的过程,Combine, ,28,实现机制,分布式并行计算,本地计算,任务粒度,Combine（连

8、接）,Partition（分区）,读取中间结果,任务管道,实现机制框图,一个管理模块+多个执行模块,计算节点和存储节点在一起,小数据集HDFS的数据块，M个小数据集，对应M个子任务,合并,减少其数目,按key分成R份，hash(key) mod R,以文件方式，管理模块调度Reduce(),得到最终的R个结果，可以是另一个计算的输入,29,云计算的关键技术,数据分布存储技术,数据管理技术,虚拟化技术,编程模型,30,虚拟化技术,简介 特点 优势 几种常见的虚拟化技术,31,虚拟化技术简介,传统架构,虚拟化架构,将一台服务器当做N台服务器来使用,硬件层,应用程序,操作系统,32,分区 在一个物理

9、机上运行多个OS 更充分利用服务器资源 支持高可用分区之间可以组建集群（负载均衡、多机容错）,封装 将虚拟机封装成与硬件配置无关的文件 随时对虚拟机进行快照 通过简单的文件拷贝对虚拟机进行迁徙,隔离 从硬件层面隔离系统故障和安全威胁 在虚拟机之间动态的分配CPU、内存等系统资源 保证服务可用,虚拟化的特点,33,虚拟化的优势,效率,隔离,可靠,便于管理,兼容,成本,有效的利用空闲资源,提高了服务器/管理员的比例,与x86兼容，可部署多套系统,改进灾难恢复机制,完全隔离，确保可用性和安全性,更少的服务器提供更多的服务,34,虚拟化技术,简介 特点 优势 几种常见的虚拟化技术,35,1.硬件分区技

10、术,特征 将硬件资源被划分成数个分区，每个分区享有独立的CPU、内存，并安装独立的操作系统。 缺点 缺乏很好的灵活性，不能对资源做出有效调配。,36,2.虚拟机技术VMM,特征： 在Host系统上加装Virtual Machine Monitor，虚拟层作为应用级别的软件而存在，不涉及操作系统内核。 虚拟层会给每个虚拟机模拟一套独立的硬件设备，在其上安装Guest操作系统。 优点: 能在一个节点上安装多个不同类型的操作系统,更适合实验室环境 缺点: 虚拟硬件、翻译代码要消耗大量资源，性能损耗大 代表产品： VMware系列、微软Virtual PC/Server系列,37,3.准虚拟机技术(P

11、ara-Virtualizion),特点： 修改操作系统的内核，加入一个Xen Hypervisor层。它允许安装在同一硬件设备上的多个系统可以同时启动，由Xen Hypervisor来进行资源调配。 性能稍有提高，但并不十分显著。 发展： 为提高性能，Intel和AMD分别开发了VT和Pacifica虚拟技术，将虚拟指令加入到了CPU中。使用了CPU支持的硬件虚拟技术，将不再需要修改操作系统内核，而是由CPU指令集进行相应的转换操作。 代表产品： XenServer,38,4.操作系统虚拟化,特点： 一个单一的节点运行着唯一的操作系统实例。通过在这个系统上加装虚拟化平台，可以将系统划分成多个

12、独立隔离的容器，每个容器是一个虚拟的操作系统，被称为虚拟环境(即VE，Virtual Environment)，也被称为虚拟专用服务器(即VPS，Virtual Private Server)。 优势： 资源损耗极少，一台服务器可以运行上百个VE/VPS，适合于生产、商业环境 代表产品 SWsoft的Virtuozzo/OpenVZ Sun基于Solaris平台的Container,39,40,计算的安全问题与发展趋势,第三篇,张明镜,一、云计算的安全问题,二、云计算在中国的发展趋势,41,计算的安全问题与发展趋势,Frank Gens 列出的云计算面临的九大挑战和问题,IT Cloud Se

13、rvices User Survey,42,一、云计算服务中的安全问题,云计算的潜在安全风险 云计算的安全问题研究介绍 云计算在安全领域的应用 云计算安全组织简介,43,1、云计算的七大潜在安全风险,美国高德纳咨询公司发布的云计算安全风险评估称，虽然云计算产业具有巨大市场增长前景，但对于使用这项服务的企业用户来说，应该意识到，云计算服务存在着七大潜在安全风险。,44,优先访问权风险 数据处所风险 数据隔离风险 数据恢复风险 长期发展风险 管理权限风险 调查支持风险,选择使用云计服务前，要求服务商提供管理员及其他员工相关信息，降低数据泄露风险。,用户选择服务前，事先了解服务商是否从属于服务器所在

14、国的司法管辖；该国家调查时，服务商是否有权拒绝提交所托管数据。,将自己数据与其他企业用户的数据隔离开来。,选择服务前，需了解服务商是否有数据恢复的能力，而且还须知道能在多长时间内完成数据恢复。,在选择服务商前，应把长期发展风险因素考虑在内,可以通过选择服务前的合同签署来规避风险,45,基于云计算服务的安全运营模型,2、云计算的安全 问题研究介绍,46,云计算安全体系架构,层次,安全问题,技术性安全,非技术性安全,软件漏洞、版权问题,软件补丁、版本升级,平台构建漏洞、平台可用性、平台可靠性、平台完整性,平台的升级、维护,硬件故障、数据安全性、管理漏洞、病毒攻击,故障处理、数据的加密、备份与恢复、

15、改进管理方案、杀毒软件、防火墙,规章制度，法律法规,47,2.1 云的安全问题研究用户端安全,用户端及时更新病毒库，提高对未知恶意代码的识别率，收集恶意代码样本，将负责病毒分析、数据挖掘的分析模块移向云中的病毒分析中心，从而减轻用户端的负荷。,48,用户端安全演示,客户机,更新客户机病毒数据库,使用到的文件上传,判断文件安全性,更新病毒数据库,注：判断文件安全性普遍方法是校验文件的MD5码，若无威胁则加入安全文件列表。,病毒分析中心,49,2.2 云的安全问题研究云后台安全,主要针对PaaS和IaaS的安全问题 点：单服务器安全问题 块：一定规模集群安全问题 面：大规模云计算集群安全问题,50

16、,点安全（单服务器）,技术核心：基于虚拟机的恶意代码入侵检测 技术重点：系统调用程序指令捕获,用程序虚拟化一个CPU、 寄存器甚至硬件端口,单服务器,虚拟运行环境,调试程序调人“样本” 在虚拟环境中执行,监测运行过程,通过内存和寄存器以及端口 的变化来了解程序的执行,发现恶意代码或入侵行为,51,技术核心：分布式入侵检测 技术重点：入侵及时响应、入侵隔离,块安全&面安全（不同规模的云）,非法用户,入侵检 测代理,决策机,尝试入侵,发现入侵并报告,响应部件,更新安全策略，下达指令,切断连接、隔离该地址,非法用户,检测代理,检测代理,检测代理,决策机,自行处理,52,3、安全领域中的云计算：瑞星之

17、云安全,何为“云安全”？,1、不是“云计算”的安全。 2、不是病毒的收集方式。 3、是采用云计算的一种网络安全策略，将用户与安全平台相连，组成庞大的监测网络，共享安全成果。,53,互联网内容,恶意威胁,下载网站,云安全中心,互联网用户,门户网站,搜索网站,54,3、云计算安全组织介绍,Cloud Security Alliance云计算安全联盟（CSA） CSA 的成员都是在安全和互联网企业中已经成功的专家和有兴趣的人员。这个组织的使命是“促进云计算安全，提供云计算使用的培训，帮助保护其它形式的计算”。,55,3、云计算安全组织介绍,Open Cloud Consortium 云计算标准组织（

18、OOC） OCC 的成员包括许多大学，他们致力于提升在地理位置上彼此独立的数据中心存储和计算云的性能，加强开放架构让计算云通过实体的网络实现无缝互操作。,56,二、云计算在中国的发展趋势,57,2010年是云计算发展的关键一年,云计算将成主流运用模式，2010年将成为普及年,Google中国CEO李开复,各云计算服务提供商,软硬件制造商,58,云计算服务在中国的发展现状,云计算包含了丰富的技术与商业因素，每种业务模式都自成体系。三种业务模式在中国的发展并不平衡，以SaaS最为成熟，但目前关注的焦点却集中在IaaS。 IaaS处于市场化的初级阶段：已出现一些IaaS的商用产品，如世纪互联的Clo

19、udEx、中国电信的“e云”等，但规模较小，产品结构单一。 PaaS没有进入市场化阶段：已有一些互联网企业开始寻求向平台提供商的转型，如新浪建立了SAE(SinaApplicationEngine)实验平台 SaaS概念混乱：市场规模已达350亿元，产品包括了在线CRM、在线HR、云杀毒等多种类型。,59,“云计算”在中国的前景,中国拥有世界上数量最多的中小企业，对他们而言，自己投资建立计算中心的投资回报率较低，并且很难与业务的快速成长匹配。而云计算的租用模式刚好为这些中小企业提供了合适的解决方案。 同时，中国在未来承办的大型活动中，可以借用云计算模式来提供伸缩性的IT基础架构，进一步节省成本

20、。 云计算对于计算资源更有效率的利用，也使其在节省能耗方面成为“绿色IT”技术的代表之一，这又与中国政府 “节能减排”的政策相符。,60,61,张庆科,第四篇,62,4.云计算核心应用与平台设计,B.报名考试管理云计算平台,A.云计算应用预览,国外应用,国内应用,云平台宏观构建,结构设计与实现,效果演示与方案总结,63,Thomas Watson,“我认为全球大概只需要五台计算机就够了”.,Bill Gates,“640KB内存应该对任何人都够用了。”,?,国外应用,64,65,云海茫茫，谁主沉浮？,66,67,CLOUD COMPUTING,鲁迅先生说：“去其糟粕，取其精华”！,谷歌总裁：施

21、密特,IBM总裁： 路易斯格斯特纳,Sun公司总裁：施瓦兹,微软总裁：比尔盖茨,亚马逊总裁：杰夫-贝索斯,2008年2月1日， IBM宣布在中国无锡太湖新城科教产业园（K-PARK）建立第一个云计算中心。 2008年5月10日，太湖云计算中心正式投入运营。IBM与无锡市政府联合宣称，这是全球第一个实现商业运营的云计算中心。 太湖云计算中心，在普及和推广云计算方面紧扣先机，走在了世界的前列,68,江苏无锡,同年6月，IBM在北京IBM中国创新中心成立了第二个中国的云计算中心IBM大中华区云计算中心,中国北京,2009年阿里巴集团在南京开始建立国内首个“电子商务云计算中心”,中国南京,2国内应用,

22、商务云，开发云、政府云,“阿里云”也成为继阿里巴巴、淘宝、支付宝、阿里软件、中国雅虎之后的阿里巴巴集团第八家子公司。未来“阿里云”主要从事基础技术的研发，不涉及具体软件产品。,69,云安全已开启 ！,70,71,72,B.报名考试管理云计算平台,B.1 云平台设计初步,B.2 云平台设计与实现,B.3 方案总结与展望,1.系统设计,2.平台设计,73,B.1 云平台设计初步,1.云平台分类,实现离散资源的整合与高效利用,私有云平台： Private cloud platform 公共云 平台：Public cloud platform 混合云平台： Hybrid cloud platform,

23、3.云平台理念,2.知识导航,1 自治域（顶级云、二级云） Autonomous System,2 存储域 Storage Domain,3 计算域 Computed Fields,部署模式角度,本方案核心点,74,买设备、装系统,本地主机依赖性强,成本高，管理繁冗,扩展效率低,买“服务”,可扩展, 有弹性, 动态,所用即所付，无需管理,弱化主机，强调使用,传统框架平台,云计算平台模式,硬件模式,架构模式,商业模式,应用模式,4.为什么要移植到云平台？,N,75,PC,C/S,云计算,以硬件为中心,以软件为中心,以服务为中心,数据在云端：不怕丢失,不必备份,可以任意点的恢复；,软件在云端：不必

24、下载自动升级 ；,无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；,无限强大的计算：具有无限空间的，无限速度,76,B.报名考试管理云计算平台,B.1 云平台设计初步,B.2 云平台设计与实现,B.3 方案总结与展望,1.系统设计,2.平台设计,77,B.2 云平台设计与实现,报名考试云计算管理平台,提交,账 号：,密 码 ：,重置,顶级云管理员,用 户,二级云管理员,技术支持:山东省网络环境智能计算技术重点实验室云计算小组（济南大学）,层次化,78,79,学 生,网上报名,报 名,查询个人信息,登陆论坛,交 费,维护个人信息,查询录取信息,查询交费信息,查询考试成绩,在线提问讨论,用 户,教 师,考试成绩公布,论文题目公布,答辩成绩公布,在线讨论答疑,信息录入,云平台嵌入位置：二级云（本地云）,80,管理员,教务管理,考生信息统计,发布信息,维护考生信息,查询考生信息,维护报名信息,维护录取信息,维护交费信息,维护考生成绩,报名信息统计,交费信息统计,录取信息统计,考生成绩统计,查询报名信息,查询交费信息,查询录取信息,查询考生成绩,系统管理,信息发布,管理论