面向私有云的云计算平台解决方案

1、面向私有云的云计算平台解决方案 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 提纲 一背景介绍 二平台介绍 一私有云存储平台 二服务器虚拟化方案 三服务器虚拟化环境下应用支撑优化方案 四面向办公、虚拟实验室的桌面虚拟化方案 五教学资源平台 三案例 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 关键词解读1-高校信息化定义 面向高校信息化的云计算平台解决方案 p 高校信息化是指为全校师生提供教育办公服务，以 及支持和促进学生科研的信息化工程的

2、总称。 n教育办公类：选课系统、在线教育等 n科研实验类：虚拟实验室等 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化目标-智慧化校园 “烟囱式”数字化校园 VS “井字型”智慧化校园 强调量，即所有 强调智，即所为 什么是智慧？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 智慧-内涵和外延 服务模式 自身和学历教育 终身教育和社会教育 建设内容 教育信息化 基础设施及其交付 学习型教育 粗放型 集约型 1.陈琳.中国高校教育信

3、息化发展战略与路径选择. J教育研究, 2012年2月 我们主要关注 基础设施方面 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化基础设施的概念 p 基础设施及其交付是指为全校师生提供服务的 设备及访问方式总称 n服务器、专业存储设备、个人PC机等 支撑选课系统的服务器 Web访问 PC机（教师、机房） 直接使用 基础设施集约型意味着什么？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 专属服务器 高校信息化现状1-资源预留，利用

4、率不高 资源预留，利用率不高 VS 弹性供给，提高利用率 要求资源具有弹性供给能力 平 时 选 课 时 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化现状2-同质化，软件全安装 同质化OS，软件全安装VS 差异化OS，按需提供 要求资源具有按需提供能力 按需提供OS和软件 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化现状3-PC分散，维护困难 PC分散，维护困难 VS 集中管理，网络交付 机房办公室 现场维护 要求资源

5、具有网络交付能力 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化现状4-坏物理机损坏，恢复困难 物理机损坏，恢复困难 VS 快速恢复，高可用保障 要求资源具有高可用能力 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化现状5- 存储资源分散，无法集中管理 存储资源分散，教学资源分散 VS 资源统一管理分配 要求存储资源具有统一命名空间下管理能力 统一的存储空间，统一的存储空间， 提提供一致的存储服务供一致的存储服务 多多种

6、分散的存种分散的存储服务储服务 HDFS、FTP、NAS、SAN 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 高校信息化迫切需求-资源的灵活管理 本质即要求资源具有 灵活管理能力。 资源 按需提供 弹性供给 远程交付 存储虚拟化 高可用 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 关键词解读2-云计算平台 面向高校信息化的云计算平台解决方案 云计算平台是什么？ 云计算平台为什么能 满足高校信息化需求？ 中国科学院软件研究所 Instit

7、ute of Software, Chinese Academy of Sciences 试图从现实应用中找寻云计算平台的答案 13 云计算平台服务模式和业务类型呈现多样 化特点，似乎没有共通点？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 其实资源灵活管理是云计算平台核心特征之一 云计算平台共性特征 按需 弹性 高可用 按需意味着资源能灵活划分 弹性要求资源需快速提供 高可用前提是资源同构化 体现出资源灵活管理是云计算平台核心特征之一 网络 交付 网络交付要求资源可远程使用 中国科学院软件研究所 Institut

8、e of Software, Chinese Academy of Sciences 云计算具有提供资源灵活管理的能力 如何实施云计算？ 高校： 资源的集约化管理需求 云计算： 资源的集约化供给能力 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 提纲 一背景介绍 二平台介绍 一私有云存储平台 二服务器虚拟化方案 三服务器虚拟化环境下教育应用支撑优化方案 四面向办公、虚拟实验室的桌面虚拟化方案 五教学资源平台 三案例 中国科学院软件研究所 Institute of Software, Chinese Academy o

9、f Sciences 高校私有云存储方案/ /高校资源平台 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences X86 DataNode X86 DataNode X86 DataNode MetaData Servers 123 计算节点 112332 文件 LAN网络 l海量分海量分布式存储技术布式存储技术 p存储数据时，文件被分块， 分布存 储在不同DataNode节点上 p容错：数据副本数不小于2，单 DataNode节点故障时文件分块完整保 存，后续保证充分复制 p并发读写：读写数据时，在不同 DataNode节

10、点上实现并发读写 私有云存储：低价高效可靠的数据平台 p全X86架构：通过廉价的X86构建的IP存储网络； p多份数据冗余的，随时抽走一块硬盘，或者单个服务器掉 线，也不会造成数据丢失 p增加一个X86节点，形成能力线性增长； p支撑海量数据读写，是大数据分析的基础 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 私有云存储：高性能和高聚合带宽 单目录下超1千万文件 单文件系统下超2000亿文件 网卡利用率超过80% 聚合带宽超过100GB/S 最高4000应用并发 云享分布式文件系统在全局 实现数据均衡分布和并发响

11、应，克服了传统共享文件系 统效率低下的缺陷； 创新性地应用集群存储体系 架构设计，结合故障自动恢 复和负载均衡技术，提供给 用户前所未有的高性能； 在局部组件和设备失效的情 况下仍然能够保持数据的完 整性和持续的高性能。 云享集群存储系统集中存储方案 高速网络高速网络 聚合带宽 文件切片分布式存储 文件集中式存储 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化方案 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 虚拟化技术是解决资

12、源灵活管理的基础 服务器虚拟化技术本质就是“软件定义计算、网络和存储” 提高资源管理灵活性 支持云计算平台“按需、弹性、网络交付和高可用”四大特点 计算虚拟化网络虚拟化 存储虚拟化 虚拟化虚拟化 OSOS 应用应用 OSOS 应用应用 体系结构 如何实现高效和高可靠的虚拟化技术？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-计算虚拟化1-集群化管理 22 集群化统一管理，自动负载均衡 中国科学院软件研究所 Institute of Software, Chinese Academy of Scienc

13、es 服务器虚拟化-网络虚拟化1-物理机和虚拟机网络隔离 23 安全：物理机网络和虚拟机网络隔离 管理虚拟机的物理网卡转化成虚拟交换机， 物理机不驻留虚拟机网络包 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-网络虚拟化2-虚拟机网络之间逻辑隔离 24 安全：虚拟机网络之间通过vlan逻辑隔离 每个组织或个人“独享” 网络 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-存储虚拟化1-接管存储 25 接管异构的物理

14、存储，转化为同构的文件逻 辑存储模式 双链路 物理存储 NAS 磁盘组磁盘组 SAN 虚拟卷虚拟卷虚拟卷虚拟卷 文件存储 存储网络 虚拟机 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-存储虚拟化2-按使用空间大小存储 虚拟机按使用大小存储 虚拟机实际存储空间为50G 虚拟机声明存储空间为200G 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-存储虚拟化2-异地增量式灾备 “动态环境” A中心 “动态环境” B中

15、心 跨云中心增量式灾备 周期性同步增量信息 服务器虚拟化 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-计算虚拟化、存储虚拟化、网络虚拟化 计算、网络和存储虚拟化使得系统得以集中管理 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-高性能保障1-缓存技术 基于缓存的提高磁盘写速度，提高30% 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences

16、服务器虚拟化-高性能保障2-树结构 虚拟机备份采用链结构进行，我们采用深 度为2的树结构打断链长，性能提高3倍 链结构 数结构 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-高可靠保障 事前预防、事后恢复 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化-高可靠保障-事前预防 采用资源消耗预测机制和 基于阈值的预警机制 中国科学院软件研究所 Institute of Software, Chinese Academy

17、 of Sciences 服务器虚拟化-高可靠保障-事后恢复 虚拟机虚拟机 资源资源 池池 主节点宕机，资源池失效主节点宕机，资源池失效 备份节点备份节点 备份节点成为主节点备份节点成为主节点 主节点主节点 从节点从节点 原主节点虚拟原主节点虚拟 机被接管机被接管 主节点主节点 选举新的备份节点选举新的备份节点 控制流控制流 从节点从节点 备份节点备份节点 监听通道监听通道 监听通道监听通道 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 服务器虚拟化环境下教育应用支撑优化方案 中国科学院软件研究所 Institute

18、 of Software, Chinese Academy of Sciences 应用支撑优化-视角的不同？ 教学应用：服务质量视角服务器虚拟化：资源视角 分流关注的视角 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化-视角不同的示例 应用维护人员？ 机房维护人员？ 30秒网页响应？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化为什么会出现这种情况？ 非虚拟化环境虚拟化环境 非虚拟化环境下教学应用独占底层网络资源

19、？ 教学应用 “分时复用”底层网络资源，会出现网络 竞争，教学应用会因IO瓶颈而导致服务质量违约。 是应用维护人员管？还是机房维护人员管？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化机房维护人员只关心提供虚拟化技术 虚拟化是一种通用技术，并不关心 上面是运行的是教学应用，还是机 械制图等其它应用。 但是我们提供多种多样虚拟化技术。 能满足教学应用进行智能化资源管 理的所有需求。 虚拟化技术 虚拟机池化管理 部署、 日志、 权限、 系统基础设施 虚拟机管理、虚拟网络管理、虚拟存储管理 监控、 诊断、 恢

20、复、 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化应用维护人员不会关心如何使用虚拟化技术 网络应用维护者只需关心业务逻 辑是否正确，其它并不关心。就 像写信一样 我要写信到上海，只需关心信 的内容，而不需关心信怎么到 上海，那是邮局的事情。 北京 上海 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化矛盾 我们需要一种基于虚拟化的应用支 撑优化方案来解决矛盾 中国科学院软件研究所 Institute of Softw

21、are, Chinese Academy of Sciences 应用支撑优化这种方案应该是 “中间件虚拟化”一体化方案 应用 虚拟化软件 物理机 中间件 传统中间件厂商往往专注于应用 需求的理解与支撑，很少涉及利 用虚拟化技术管理物理资源的 传统虚拟化厂商往往专注于屏蔽 底层物理资源的异构性，提供快 速便捷的虚拟化资源供给，很少 涉及应用需求的理解 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化“中间件虚拟化”融合是未来发展趋势 应用 虚拟化软件 物理机 中间件 收购 收购 中国科学院软件研究所 Ins

22、titute of Software, Chinese Academy of Sciences 应用支撑优化方案我们的方案-回答三大问题 应用 服务器虚拟化 物理机 应用支撑优化 应用如何迁到 虚拟化环境？ 应用运行时如何 自管理？ 应用出错时如何 恢复？ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化如何迁移？ 服务器1服务器2服务器N 虚拟化资 源管理层 网络应用 使用虚拟机 空闲虚拟机 日志 （1）基于日志智能分析 应用资源需求变化 （2）根据用户规则给出应 用的初始资源配置建议 （3）基于打分机制

23、的 应用部署节点自动选择 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化如何自管理 垂直扩展 水平扩展性 应用如何弹性伸缩 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 分析 应用支撑优化如何自管理纵向管理 主动感知应用组件类型， 如数据库，并针对其关键 资源进行监测 给出数据库扩容建议 智能关联到关键资源监控 界面，并给出分析结论 监测预警 建议 全局预警与定位 中国科学院软件研究所 Institute of Software

24、, Chinese Academy of Sciences 应用支撑优化如何自管理横向管理 应用访问读太重，IO资源成 为瓶颈，吞吐量上不去 给出弹性伸缩指令 实例数增加，吞吐量增加倍 问题分析与定位 智能伸缩 用户决策 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 应用支撑优化如何恢复 App OS App OS App OS Application state recovery primary App OS App OS App OS Backup 运行时周期性同步，出错后快速恢复 中国科学院软件研究所 Inst

25、itute of Software, Chinese Academy of Sciences 面向办公、虚拟实验室的桌面虚拟化方案 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 桌面虚拟化原理图 键盘键盘/鼠标信号发送到桌面云服务鼠标信号发送到桌面云服务端端 服务端发送屏幕信号到客户服务端发送屏幕信号到客户 端端 在后台服务端运行应用程序在后台服务端运行应用程序 桌面映像分发桌面映像分发 应用程序应用程序共享共享 客户端客户端“小盒子小盒子” 服务器虚拟化端服务器虚拟化端 中国科学院软件研究所 Institute o

26、f Software, Chinese Academy of Sciences 桌面虚拟化架构图 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 提纲 一背景介绍 二平台介绍 一高校私有云存储平台 二服务器虚拟化方案 三服务器虚拟化环境下教育应用支撑优化方案 四面向办公、虚拟实验室的桌面虚拟化方案 五教学资源平台 三案例 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 云享校园资源平台在高校中使用场景 学科资源数据长久保存和共享 每天群发很多次

27、学术讲座和科研项目的E-Mail，都带附件，我的发件箱都爆了？ 快用Sharebox吧，将所有附件文档整理在我们系全体教师的群组空间里，老师们 自己可以轻松去搜索查阅！ 老师和学生的个人数据存储和共享 快看，我的Sharebox磁盘有50TB的数据哎，太神奇了！那算什么，我的 Sharebox磁盘也有50TB的数据呢！而且我所有的软件、教学资料、日常数据都存 放到Sharebox中，方便又可靠，在哪儿都能随时用，还不会丢！ 行政办公公共资料 每天招人的信息太多了，发到每个班级的辅导员手里需要3层转发，还老嫌我发不对 口的招人信息给他们，烦死了！自从用Sharebox创建一个开放群组空间后，我分

28、 类起名整理各个求职文档并共享在里面，学生自己查看，一步到位，不用再麻烦各 个院系老师和辅导员了！ 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 云享校园资源平台在高校中使用场景 云享云存储云享云存储 教学资源的分享，和移动硬盘、教学资源的分享，和移动硬盘、U盘说再见盘说再见 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 云享校园资源平台在高校中使用场景 云享云存储云享云存储 学生随时随地的学习和分享资料学生随时随地的学习和分享资料 中国科

29、学院软件研究所 Institute of Software, Chinese Academy of Sciences 云享校园资源平台在高校中使用场景 云享云存储云享云存储 教学视频的一键分享和在线播放教学视频的一键分享和在线播放 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 云享校园资源平台在高校中使用场景 云享云存储云享云存储 社团和班级海量资料的存储和分享社团和班级海量资料的存储和分享 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 云

30、享校园资源平台 群组通信 云享云存储云享云存储 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 关于云享_ _不一样的云存储 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 直接在云服务器直接在云服务器 中播放视频中播放视频 关于云享_ _不一样的云存储 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 关于云享_ _不一样的云存储 直接在云服务器直接在云服务器 编辑文档编辑文档 中国科学院软件研究所 Institute of Software, Chinese Academy of Sciences 关于云享 公共空间个人空间社区空间 个人空间：用户拥有20GB的个人空间，可以离线使用 社区空间：社区拥有1TB的初始