云计算-济南大学张庆科.ppt

网络新技术课题 本课题组研究成员 张庆科 于孝美 赵树鹏 宋林霞 徐立 张明镜 张正明 相东明 1 张明镜 于孝美 张庆科 赵树鹏 Report 1 云计算概论 4 云计算应用与平台设计 2 云计算原理与技术 3 云计算安全与展望 2 云计算概述 第一篇 于孝美 3 目录 1 云计算的起源 2 云计算的特点 3 云计算的价值 4 1 1计算模式演变 5 1970 1980 2000 单机计算 并行计算 分布式计算 网格计算 云计算 服务 1990 2010 5 1 2云计算的概念模型 6 1 3云计算的定义 云计算是一种商业计算模型 它将计算任务分布在大量计算机构成的资源池上 使各种应用系统能够根据需要获取计算力 存储空间和信息服务 7 目录 1 云计算的起源 2 云计算的特点 3 云计算的价值 8 云计算的特点 虚拟化技术 灵活定制 动态可扩展 可靠安全性 高性价比 资源在云端 超强计算力 9 2 2云计算的类别 将软件作为服务SaaS 将平台作为服务PaaS 将基础设施作为服务IaaS 如 SalesforceonlineCRM 如 GoogleAppEngine 如 AmazonEC2 S3 专用通用 10 公共云 泛指部署在公共计算平台中 对公共开放的云计算平台 私有云 部署在企业内部 为某一公司所私有的云计算平台 旨在整合其公司内部IT资源的云计算系统 混合云 公共云与私有云之结合 2 3云计算服务的交付模式分类 11 目录 12 1 云计算的起源 2 云计算的特点 3 云计算的价值 云计算对用户意味着 符合移动办公用户端负载降低降低总体拥有成本便于协作和共享按使用付费 13 云计算对服务提供商意味着 商业模式和理念的转变提高管理效率降低运维成本提高资源利用率影响产业链 总结 云计算是一个商业概念 其本质是一种商业计算 这种计算将对传统互联网进行革命性的颠覆 未来的云计算市场潜力巨大 蕴含的价值无限 值得深入研究 14 云计算的基本原理和关键技术 第二篇 15 赵树鹏 基本原理 分布式计算 并行计算和网格计算及分布式数据库的改进和融合利用非本地或远程服务器 集群 的分布式计算机为互联网用户提供服务 计算 存储 软硬件等服务 16 用户互动界面 系统管理 资源工具 监控与测定 服务目录 服务器 云计算基本原理图 17 云计算的关键技术 数据分布存储技术 数据管理技术 虚拟化技术 编程模型 18 数据分布存储技术 目标 高可用 高可靠 经济性手段 分布式存储 数据冗余 并行服务特点 高吞吐量 高传输量案例 Google的GFS和Hadoop的HDFSHDFS是Hadoop分布式文件系统 HadoopDistributedFileSystem 的缩写 具有高容错性 可以部署在廉价的硬件设备上 并且提供了对数据读写的高吞吐率 19 HDFS的设计前提与目标 硬件错误是常态而不是异态 流式数据访问大规模数据集简单一致性模型移动计算比移动数据更划算异构软硬件平台间的可移植性 20 NameNode 客户端 数据块 客户端 DataNod 机架1 读 机架2 写 复制 数据块操作 HDFS的结构示意图 HDFS的体系结构 元数据 命名空间 实际的数据 存储管理 21 云计算的关键技术 数据分布存储技术 数据管理技术 虚拟化技术 编程模型 22 数据管理技术 面临的问题 高效的管理大数据集高效的查找特定信息读优化的数据管理实例 BT BigTable 数据管理技术开源数据管理模块HBase 23 Hbase Bigtable的开源实现 Hbase数据库是基于Hadoop的项目 是对Google的Bigtable的开源实现 数据存放逻辑视图 Hbase的逻辑模型 可排序 唯一标示 对于每次数据操作 24 在物理上的存储方式 Hbase物理模型 按列族存储数据 列族内具有统一的读 写方式 把概念模型中的行进行分割 按列存储 25 云计算的关键技术 数据分布存储技术 数据管理技术 虚拟化技术 编程模型 26 编程模型 Map Reduce 简化的分布式编程模型和高效的任务调度模型 用于大规模数据集 大于1TB 的并行运算通过 Map 映射 和 Reduce 化简 这样两个简单的概念来构成运算基本单元 用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据简单讲 任务的分解和结果的汇总 27 分段0 分段1 分段2 分段3 分段M 1 Map Map Map Map Map Reduce Reduce Reduce Reduce 结果0 结果2 结果1 结果R 1 分区 输入 M个Map任务 R个Reduce任务 输出 MapReduce处理大数据集的过程 Combine 28 实现机制 分布式并行计算 本地计算 任务粒度 Combine 连接 Partition 分区 读取中间结果 任务管道 实现机制框图 一个管理模块 多个执行模块 计算节点和存储节点在一起 小数据集 HDFS的数据块 M个小数据集 对应M个子任务 合并 减少其数目 按key分成R份 hash key modR 以文件方式 管理模块调度Reduce 得到最终的R个结果 可以是另一个计算的输入 29 云计算的关键技术 数据分布存储技术 数据管理技术 虚拟化技术 编程模型 30 虚拟化技术 简介特点优势几种常见的虚拟化技术 31 虚拟化技术简介 传统架构 虚拟化架构 将一台服务器当做N台服务器来使用 硬件层 应用程序 操作系统 32 分区在一个物理机上运行多个OS更充分利用服务器资源支持高可用 分区之间可以组建集群 负载均衡 多机容错 封装将虚拟机封装成与硬件配置无关的文件随时对虚拟机进行快照通过简单的文件拷贝对虚拟机进行迁徙 隔离从硬件层面隔离系统故障和安全威胁在虚拟机之间动态的分配CPU 内存等系统资源保证服务可用 虚拟化的特点 33 虚拟化的优势 效率 隔离 可靠 便于管理 兼容 成本 有效的利用空闲资源 提高了服务器 管理员的比例 与x86兼容 可部署多套系统 改进灾难恢复机制 完全隔离 确保可用性和安全性 更少的服务器提供更多的服务 34 虚拟化技术 简介特点优势几种常见的虚拟化技术 35 1 硬件分区技术 特征将硬件资源被划分成数个分区 每个分区享有独立的CPU 内存 并安装独立的操作系统 缺点缺乏很好的灵活性 不能对资源做出有效调配 36 2 虚拟机技术VMM 特征 在Host系统上加装VirtualMachineMonitor 虚拟层作为应用级别的软件而存在 不涉及操作系统内核 虚拟层会给每个虚拟机模拟一套独立的硬件设备 在其上安装Guest操作系统 优点 能在一个节点上安装多个不同类型的操作系统 更适合实验室环境缺点 虚拟硬件 翻译代码要消耗大量资源 性能损耗大代表产品 VMware系列 微软VirtualPC Server系列 37 3 准虚拟机技术 Para Virtualizion 特点 修改操作系统的内核 加入一个XenHypervisor层 它允许安装在同一硬件设备上的多个系统可以同时启动 由XenHypervisor来进行资源调配 性能稍有提高 但并不十分显著 发展 为提高性能 Intel和AMD分别开发了VT和Pacifica虚拟技术 将虚拟指令加入到了CPU中 使用了CPU支持的硬件虚拟技术 将不再需要修改操作系统内核 而是由CPU指令集进行相应的转换操作 代表产品 XenServer 38 4 操作系统虚拟化 特点 一个单一的节点运行着唯一的操作系统实例 通过在这个系统上加装虚拟化平台 可以将系统划分成多个独立隔离的容器 每个容器是一个虚拟的操作系统 被称为虚拟环境 即VE VirtualEnvironment 也被称为虚拟专用服务器 即VPS VirtualPrivateServer 优势 资源损耗极少 一台服务器可以运行上百个VE VPS 适合于生产 商业环境代表产品SWsoft的Virtuozzo OpenVZSun基于Solaris平台的Container 39 40 计算的安全问题与发展趋势 第三篇 张明镜 一 云计算的安全问题 二 云计算在中国的发展趋势 41 计算的安全问题与发展趋势 FrankGens列出的云计算面临的九大挑战和问题 ITCloudServicesUserSurvey 42 一 云计算服务中的安全问题 云计算的潜在安全风险云计算的安全问题研究介绍云计算在安全领域的应用云计算安全组织简介 43 1 云计算的七大潜在安全风险 美国高德纳咨询公司发布的 云计算安全风险评估 称 虽然云计算产业具有巨大市场增长前景 但对于使用这项服务的企业用户来说 应该意识到 云计算服务存在着七大潜在安全风险 44 优先访问权风险数据处所风险数据隔离风险数据恢复风险长期发展风险管理权限风险调查支持风险 选择使用云计服务前 要求服务商提供管理员及其他员工相关信息 降低数据泄露风险 用户选择服务前 事先了解服务商是否从属于服务器所在国的司法管辖 该国家调查时 服务商是否有权拒绝提交所托管数据 将自己数据与其他企业用户的数据隔离开来 选择服务前 需了解服务商是否有数据恢复的能力 而且还须知道能在多长时间内完成数据恢复 在选择服务商前 应把长期发展风险因素考虑在内 可以通过选择服务前的合同签署来规避风险 45 基于云计算服务的安全运营模型 2 云计算的安全问题研究介绍 46 云计算安全体系架构 层次 安全问题 技术性安全 非技术性安全 软件漏洞 版权问题 软件补丁 版本升级 平台构建漏洞 平台可用性 平台可靠性 平台完整性 平台的升级 维护 硬件故障 数据安全性 管理漏洞 病毒攻击 故障处理 数据的加密 备份与恢复 改进管理方案 杀毒软件 防火墙 规章制度 法律法规 47 2 1云的安全问题研究 用户端安全 用户端及时更新病毒库 提高对未知恶意代码的识别率 收集恶意代码样本 将负责病毒分析 数据挖掘的分析模块移向云中的病毒分析中心 从而减轻用户端的负荷 48 用户端安全演示 客户机 更新客户机病毒数据库 使用到的文件上传 判断文件安全性 更新病毒数据库 注 判断文件安全性普遍方法是校验文件的MD5码 若无威胁则加入安全文件列表 病毒分析中心 49 2 2云的安全问题研究 云后台安全 主要针对PaaS和IaaS的安全问题点 单服务器安全问题块 一定规模集群安全问题面 大规模云计算集群安全问题 50 点安全 单服务器 技术核心 基于虚拟机的恶意代码 入侵检测技术重点 系统调用 程序指令捕获 用程序虚拟化一个CPU 寄存器甚至硬件端口 单服务器 虚拟运行环境 调试程序调人 样本 在虚拟环境中执行 监测运行过程 通过内存和寄存器以及端口的变化来了解程序的执行 发现恶意代码或入侵行为 51 技术核心 分布式入侵检测技术重点 入侵及时响应 入侵隔离 块安全 面安全 不同规模的云 非法用户 入侵检测代理 决策机 尝试入侵 发现入侵并报告 响应部件 更新安全策略 下达指令 切断连接 隔离该地址 非法用户 检测代理 检测代理 检测代理 决策机 自行处理 52 3 安全领域中的云计算 瑞星之云安全 何为 云安全 1 不是 云计算 的安全 2 不是病毒的收集方式 3 是采用云计算的一种网络安全策略 将用户与安全平台相连 组成庞大的监测网络 共享安全成果 53 互联网内容 恶意威胁 下载网站 云安全中心 互联网用户 门户网站 搜索网站 54 3 云计算安全组织介绍 CloudSecurityAlliance 云计算安全联盟 CSA CSA的成员都是在安全和互联网企业中已经成功的专家和有兴趣的人员 这个组织的使命是 促进云计算安全 提供云计算使用的培训 帮助保护其它形式的计算 55 3 云计算安全组织介绍 OpenCloudConsortium 云计算标准组织 OOC OCC的成员包括许多大学 他们致力于提升在地理位置上彼此独立的数据中心存储和计算云的性能 加强开放架构让计算云通过实体的网络实现无缝互操作 56 二 云计算在中国的发展趋势 57 2010年是云计算发展的关键一年 云计算将成主流运用模式 2010年将成为普及年 Google中国CEO李开复 各云计算服务提供商 软硬件制造商 58 云计算服务在中国的发展现状 云计算包含了丰富的技术与商业因素 每种业务模式都自成体系 三种业务模式在中国的发展并不平衡 以SaaS最为成熟 但目前关注的焦点却集中在IaaS IaaS处于市场化的初级阶段 已出现一些IaaS的商用产品 如世纪互联的CloudEx 中国电信的 e云 等 但规模较小 产品结构单一 PaaS没有进入市场化阶段 已有一些互联网企业开始寻求向平台提供商的转型 如新浪建立了SAE SinaApplicationEngine 实验平台SaaS概念混乱 市场规模已达350亿元 产品包括了在线CRM 在线HR 云杀毒等多种类型 59 云计算 在中国的前景 中国拥有世界上数量最多的中小企业 对他们而言 自己投资建立计算中心的投资回报率较低 并且很难与业务的快速成长匹配 而云计算的租用模式刚好为这些中小企业提供了合适的解决方案 同时 中国在未来承办的大型活动中 可以借用云计算模式来提供伸缩性的IT基础架构 进一步节省成本 云计算对于计算资源更有效率的利用 也使其在节省能耗方面成为 绿色IT 技术的代表之一 这又与中国政府 节能减排 的政策相符 60 61 张庆科 第四篇 62 4 云计算核心应用与平台设计 B 报名考试管理云计算平台 A 云计算应用预览 国外应用 国内应用 云平台宏观构建 结构设计与实现 效果演示与方案总结 63 ThomasWatson 我认为全球大概只需要五台计算机就够了 BillGates 640KB内存应该对任何人都够用了 国外应用 64 65 云海茫茫 谁主沉浮 66 67 CLOUDCOMPUTING 鲁迅先生说 去其糟粕 取其精华 谷歌总裁 施密特 IBM总裁 路易斯 格斯特纳 Sun公司总裁 施瓦兹 微软总裁 比尔盖茨 亚马逊总裁 杰夫 贝索斯 2008年2月1日 IBM宣布在中国无锡太湖新城科教产业园 K PARK 建立第一个云计算中心 2008年5月10日 太湖云计算中心正式投入运营 IBM与无锡市政府联合宣称 这是全球第一个实现商业运营的云计算中心 太湖云计算中心 在普及和推广云计算方面紧扣先机 走在了世界的前列 68 江苏无锡 同年6月 IBM在北京IBM中国创新中心成立了第二个中国的云计算中心 IBM大中华区云计算中心 中国北京 2009年阿里巴集团在南京开始建立国内首个 电子商务云计算中心 中国南京 2国内应用 商务云 开发云 政府云 阿里云 也成为继阿里巴巴 淘宝 支付宝 阿里软件 中国雅虎之后的阿里巴巴集团第八家子公司 未来 阿里云 主要从事基础技术的研发 不涉及具体软件产品 69 云安全已开启 70 71 72 B 报名考试管理云计算平台 B 1云平台设计初步 B 2云平台设计与实现 B 3方案总结与展望 1 系统设计 2 平台设计 73 B 1云平台设计初步 1 云平台分类 实现离散资源的整合与高效利用 私有云平台 Privatecloudplatform公共云平台 Publiccloudplatform混合云平台 Hybridcloudplatform 3 云平台理念 2 知识导航 1自治域 顶级云 二级云 AutonomousSystem 2存储域StorageDomain 3计算域ComputedFields 部署模式角度 本方案核心点 74 买设备 装系统 本地主机依赖性强 成本高 管理繁冗 扩展效率低 买 服务 可扩展 有弹性 动态 所用即所付 无需管理 弱化主机 强调使用 传统框架平台 云计算平台模式 硬件模式 架构模式 商业模式 应用模式 4 为什么要移植到云平台 N 75 PC C S 云计算 以硬件为中心 以软件为中心 以服务为中心 数据在云端 不怕丢失 不必备份 可以任意点的恢复 软件在云端 不必下载自动升级 无所不在的计算 在任何时间 任意地点 任何设备登录后就可以进行计算服务 无限强大的计算 具有无限空间的 无限速度 76 B 报名考试管理云计算平台 B 1云平台设计初步 B 2云平台设计与实现 B 3方案总结与展望 1 系统设计 2 平台设计 77 B 2云平台设计与实现 报名考试云计算管理平台 提交 账号 密码 重置 顶级云管理员 用户 二级云管理员 技术支持 山东省网络环境智能计算技术重点实验室云计算小组 济南大学 层次化 78 79 学生 网上报名 报名 查询个人信息 登陆论坛 交费 维护个人信息 查询录取信息 查询交费信息 查询考试成绩 在线提问讨论 用户 教师 考试成绩公布 论文题目公布 答辩成绩公布 在线讨论答疑 信息录入 云平台嵌入位置 二级云 本地云 80 管理员 教务管理 考生信息统计 发布信息 维护考生信息 查询考生信息 维护报名信息 维护录取信息 维护交费信息 维护考生成绩 报名信息统计 交费信息统计 录取信息统计 考生成绩统计 查询报名信息 查询交费信息 查询录取信息 查询考生