云计算中服务资源调度与管理.ppt

云计算 服务资源调度与管理 北京科技大学曾明 2020年4月20日 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 IT成本高 机房设备利用率低数据中心体系很复杂 系统的维护和管理难度大资源占用多 缺乏统一化 配置峰值资源需求等于浪费资源系统稳定性 可靠性低 人工服务为主 高成本 低满意度IT传统模式不能适应业务部署速度的需求 至少2个月 SupplyandDemandNotAligned IDC发展面临的挑战 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 云计算体系架构 管理服务器 管理服务器 用户 在线服务 存储 离线计算 云计算节点 在线服务器 VMware KVM XEN 支撑平台体系架构 资源整合 资源分配调度引擎 用户自服务 对应用系统的支持Hadoop Websphere 客户化的应用 云平台 计算资源 虚拟化系统 物理机操作系统 运营管理 工作流 审批流程 报表 计费 云管理方案 端到端的云管理软件 根据负载均衡和资源均衡的策略 从共享的物理和虚拟资源中为上层的应用系统创建和提供运行环境 TicketingSystem CRM EntitlementSystem Authentication Security 整合了云资源通过丰富的策略匹配和供给资源提供了最终用户直接请求资源的自助服务平台时刻跟踪资源的使用情况 以生成报告 帐单和审核 计算资源 计算资源 OracleDB SMP OracleDB 3 分布式计算方案 示例 BOSS云的架构 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 服务资源整合 DEMAND SUPPLY HPCClustersLSF Symphony 3rdParty Test Dev J2EE Analytics Silo Silo Silo Resource aware Workload aware SupplyandDemandAligned 在不同的应用部门共享物理资源 服务资源整合 虚拟资源池 服务资源整合 服务资源整合 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 调度引擎 3 NetworkAccessCostMatrix AvailableBandwidth DynamicUtilization Output InitialPlacement Run TimeManagement Defragmentations Migration 5 C languageplug inplacementpolicy vem policy init vem policy fin vem policy distribute vem policy place vem policy housekeep vem policy status vem policy info 服务资源调度 资源分配之前 资源分配之后 服务资源调度 目录 IDC发展面临的挑战云计算解决方案云计算核心技术总结 服务资源整合服务资源调度资源分配策略服务资源管理 资源分配策略 AppAVM AppAVM AppAVM AppBVM AppBVM AppBVM AppCVM AppCVM AppBVM AppAVM AppDVM AppDVM AppDVM AppEVM AppAVM AppAVM AppCVM 每个被使用的服务器利用率最大化 减少资源碎片节能 根据需求动态启动和关闭服务器 Bottom LeftDecreasingBin PackingHeuristic 策略1 Packing 填满 策略 策略2 Striping 分散 策略 AppBVM AppBVM AppCVM AppCVM AppAVM AppAVM AppEVM AppCVM AppAVM 将应用程序或虚拟机启动在使用最少的物理服务器上 每台物理服务器运行的应用程序或虚拟机最小化降低物理服务器故障的影响提高应用程序 虚拟机运行效率 策略3 TopologyAware 基于网络拓扑 策略 机架二 机架一 刀片中心一 刀片中心二 刀片中心三 刀片中心四 可用的节点 被占用的节点 尽量保证为应用程序分配的服务器资源之间的网络路径最小仅在万不得已的情况下才跨刀片中心 机架 交换机分配服务器资源提高应用程序运行效率 策略4 Affinity based 基于关联程度 策略 将任务分配到与关键资源关联度最高的服务器上 例如将任务分配到与存储系统直连的服务器上保证应用程序运行效率 应用A 应用B 策略5 HA enabled 支持HA 策略 将关键应用分配到支持HA的服务器上 根据业务类型和费用 提供不同级别的可用性 HA服务器 非关键应用 0 15 hour 关键应用A 2 hour 关键应用B 1 hour 策略6 节能优化策略 实现 绿色 策略 让系统分配能源效率最高的机器让系统分配温度最低的机器 以避免系统出现 热点 指定任务在晚上时段运行 此时的电费最便宜 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 云计算平台 云系统管理员 部门经理开发经理应用程序所有者 应用经理 云的客户负责合同签署资源使用的规划选择服务提供给最终用户定义优先级与资源的分配策略 成本管理发布可用的服务将资源转变为服务管理和维护资源的清单 请求并使用特定应用的虚拟机或物理机按照应用经理规定的优先级和资源分配策略使用计算机资源 开发人员应用程序用户 服务资源管理 App App 资源池 业务需求 多种虚拟机管理器和操作系统同步运行服务能在各计算机之间 浮动 即使整个网络都瘫痪 任务数据也不会丢失 所有事件记录在指定文件系统中 零停机时间 零数据损失 当第一台机器恢复正常时 机群服务就可恢复并继续运行 整个过程对用户来说是透明的 感觉不到远程集群的存在 X 服务异常处理管理 App App App App App App App 集群1 集群1 集群2 集群3 集群4 无缝扩展负载平衡 资源扩展管理 App App App App App App App App App App App 目录 IDC发展面临的挑战云计算解决方案调度与管理总结 服务资源整合服务资源调度资源分配策略服务资源管理 带来的价值 管理员手工创建虚拟机 手工部署应用 周期长 管理员手工管理所有资源 复杂 缺乏部署与调度策略 自动化程度低 商用虚拟化软件 价格昂贵 固化的管理平台 无法扩展 希望提供用户自助服务 希望提供智能的资源预约 自动的应用部署功能 系统自动部署虚拟机 自动部署应用 周期短管理平台统一监控 管理资源 异常事件告警 迁移策略 简洁智能丰富的部署与调度策略 根据应用情况分配资源 减少人工干预根据应用系统特点合理选择虚拟化软件 提高性价比管理平台可扩展 开源与商用的虚拟化软件可共存 并可管理其他资源提供便捷的用户自助服务 资源申请 资源审批 对虚拟机的控制等资源预约为关键业务提供保障 自动的应用部署减少人工操作 缩短周期更多 系统部署的时间从几天缩短到几分钟 没有双机备份 低成本 节省投资 在固有的资源上 开发了更多的服务项目降低成本 提高资源利用率通过自动化管理 降低了维护费用 提高业务支撑能力 提高运维效率 系统不再进行手动部署业