使用BOSH进行Cloud+Foundry的生产环境部署.ppt

用BOSH自动部署大规模云平台CloudFoundry HenryZhang VMWare China 张轩宁的围脖 JackyLi VMWare China 演讲内容 CloudFoundry云平台简介CloudFoundry架构CloudFoundry部署模型BOSH工作原理用BOSH自动化部署CloudFoundry用BOSH实现CloudFoundry弹性BOSH应用实例 CloudFoundry云平台简介 Soundarchitecture futureproofingwithoutoverdoingUnitandintegrationtestsRespondingtochangingbusinessneedsConfusingtechnologylandscape 应用的复杂度 开发 Choosingtherighthardware operatingsystem webserverMonitoringapplicationsRespondingtoscalabilityneedsDealingwithhardware andsystem levelfailuresUpgradingwithoutsubstantialdowntime 应用的复杂度 部署和运维 内在的和实际的复杂度 Implementation Functionallogic Implementationoverhead 云计算的三个层次 ApplicationServiceInterface PrivateClouds PublicClouds MicroClouds CloudFoundry开放PaaS DataServices OtherServices MsgServices CloudProviderInterface CloudProviderInterface ApplicationServiceInterface PrivateClouds PublicClouds DataServices OtherServices MsgServices Partners Apache2license MicroClouds CloudFoundry开放PaaS CloudFoundry的架构 CloudFoundry层次 Hardware CPU Memory Storage Network InfrastructureasaService OuterShell BOSH InnerShell CF Clients CloudFoundry内壳 InnerShell Routers CloudControllers App App HealthManager ExecutionAgents DEA Pool Messaging Users Developers Stagers Services CloudFoundry内部架构 Appmetadata dea dea dea dea dea 可动态发现组件组件之间无依赖性启动顺序无关各组件独立的扩展 设计原则 CloudFoundry部署模型 CloudFoundry组件模型 uaa ccdb nats healthmanager CloudFoundry部署模型 1 单结点 单虚拟机或物理机 OS CloudFoundry部署模型 2 多结点 每台虚拟机 或物理机 部署一个或数个组件 500 5 000VMs40 uniquenodetypes75 uniquesoftwarepackages75 uniqueenvironmentsSmallteam CloudF生产系统部署的实例 dev setup手工部署直接在操作系统 ubuntu10 04 中用脚本部署可部署单结点或多结点适合小规模实验的环境支持虚拟机和物理机每台机器需要手工安装和修改配置文件系统扩容能力和弹性计算较差 CloudFoundry两种部署方法 1 BOSH自动部署自动化大规模部署多结点系统集中式的配置文件支持自动化系统扩容仅支持虚拟机对各类IaaS平台集成 CPI 在C生产系统中使用 CloudFoundry两种部署方法 2 BOSH工作原理 BOSHisarecursivedefinitionofBOSHOutterSHell 什么是BOSH 来自CloudFoundry的开源项目通用的自动化部署工具链可以部署多种软件CloudFoundry Gerrit Jenkins Wordpress MySQL BOSH是大规模自动化管理工具 部署系统更新配置版本管理监控运行 BOSH在CloudFoundry中的作用 BOSH的内部结构 BOSH部署原理 1 BOSHCLI OperationStaff BOSH BOSH是部署系统的总指挥管理员通过BOSHCLI工具发送指令给BOSH BOSH部署原理 2 BOSHCLI IaaS OperationStaff 创建虚拟机 BOSH CPI CPI CloudProviderInterface 支持多种IaaSBOSH通过CPI管理IaaS层资源 虚拟机 虚拟存储 虚拟网络等 BOSH部署原理 3 InnerShell BOSHCLI VM OperationStaff 创建虚拟机 VM VM VM BOSH调用CPI动态生成虚拟机InnerShell 被管理的部分 IaaS BOSH CPI BOSH部署原理 4 InnerShell BOSHCLI VM Stemcell OperationStaff Deployment 创建虚拟机 VM VM VM Stemcell提供虚拟机模板Deploymentmanifest定义部署细节 IP地址 用户名 密码等 IaaS BOSH CPI BOSH部署原理 5 InnerShell BOSHCLI Stemcell Deployment OperationStaff 创建虚拟机 每个虚拟机内嵌一个Agent负责管理 控制 监控虚拟机 IaaS BOSH CPI BOSH部署原理 6 InnerShell BOSHCLI Stemcell Deployment OperationStaff 创建虚拟机 Agent接收BOSH的指令完成软件部署安装 应用起停 系统监控等任务 IaaS BOSH CPI BOSH部署原理 7 InnerShell BOSHCLI Stemcell Release Deployment OperationStaff 创建虚拟机 Release包含软件的源代码 目标码 版本 配置等信息 IaaS BOSH CPI CloudFoundry平台的升级过程 滚动式升级 无状态 Stateless 组件 例子 CloudController 结果 从v1升级到v2 创建了新的虚拟机 中间没有宕机时间 MessageBus CloudControllerv1 CloudControllerv2 whileremovingv1VMs Create Destroy Router LB IncomingHTTPRequests 并行升级金丝雀 Canaries 最终一致性 Eventualconsistency 部署要点 无状态 stateless VM没有持久化数据 升级时可以直接销毁 用新VM代替 有状态 stateful 的VM具有持久化的磁盘 如数据库数据 升级时需要保留持久化的磁盘 有状态和无状态的VM 代码升级 不涉及数据 StatefulVM升级 VM更新 用BOSH自动化部署CloudFoundry vSphere BOSH的内部结构 BOSH由6个虚拟机组成 安装BOSH的步骤 安装BOSHCLI Ubuntu10 04 部署MicroBOSH 单个VM 部署多结点分布式BOSH 6个VMs BOSHCLI 准备工作 软件 64 bitUbuntu10 04LTS betterinISOformat vSphereV4 1orV5 x vSphereclientvCenter installedonaWin2008R264bitoraWin2003server physicalorvirtualmachine 准备工作 硬件 1 CloudFoundry需要最少的结点数 实际中可能会更多 准备工作 硬件 2 物理服务器配置估算 假定 每台虚拟机4GB内存 1vCPU 则大约需要4x43 172GBRAM 1x43 43vCPU 因此可以选用6台物理服务器 每台8核CPU 32GBRAM 较小配置 部署实验环境 每台虚拟机256MB内存 1台物理服务器 8核CPU 16GBRAM 注 CPU在试验环境中不是最关键资源 准备工作 网络 建议分配4个VLAN足够的IP地址结点之间可以连通 没有防火墙vSphere网络名称必须相同必须直接连接Internet 很重要 准备工作 网络 2 参考网络拓扑图 准备工作 网络 3 vSphere配置 Cluster 准备工作 存储 建议用NFS存储所有的vSphere在vCenter中组成一个Cluster所有vSphere挂接同样的NFSmountpoint在vSphere中存储必须用同样的名字 vSphere vSphere vSphere vSphere NFS 准备工作 存储 2 vSphere配置 安装 BOSHCLI 创建一个干净的虚拟机安装Ubuntu10 04安装Ruby环境安装BOSHCLI工具记住 虚拟机要直接连接Internet 安装 MicroBOSH 通过BOSHCLI里面的工具Bosh deployer 安装MicroBOSH完成后 vCenter中可以看到MicroBOSH虚拟机记住 虚拟机要直接连接InternetDEMO Stemcell的下载 boshpublicstemcells boshdownloadpublicstemcellmicro bosh stemcell 0 1 0 tgz 安装 BOSH 通过MicroBOSH安装分布式BOSH 6VMs 需要规划6台虚拟机的网络以及存储规划ResourcePools 安装 BOSH 2 每个job占用一台虚拟机把job分配到ResourcePool 安装 BOSH 3 编写deploymentmanifest的yml文件参考gitHub上面的样板启动部署 安装 CloudFoundry 通过BOSH安装分布式CloudFoundry 34 VMs 需要规划所有虚拟机的网络以及存储规划ResourcePools 安装 CloudFoundry 2 规划每个job的配置 实例数 资源分配 网络等 可选的 必要的 安装 CloudFoundry 3 编写deploymentmanifest参考gitHub上面的样板启动CloudFoundry部署 DEMO 下载CloudFoundryrelease开源代码CreatereleaseUploadreleaseDeployCF BOSH部署完成之后的CloudFoundry vCenter BOSH部署完成之后的CloudFoundry BOSHCLI BOSH的监控功能 虚拟机里的agent发送心跳信息采集系统数据数据汇总 64 实现CloudFoundry弹性计算 CloudFoundry云平台的弹性 包含整个CloudFoundry云平台单虚拟机 大规模部署CloudFoundry云平台多达数千个虚拟机结点 BOSH动态增加DEA结点 可承载更多云应用BOSH动态增加Service结点 可提供更多云服务 CloudFoundry云平台弹性的原理 IaaS DEA IaaS DEA IaaS Svc BOSH BOSH动态增加DEA结点 可承载更多云应用BOSH动态增加Service结点 可提供更多云服务 CloudFoundry云平台弹性的原理 IaaS DEA IaaS DEA IaaS Svc BOSH BOSH实现CloudFoundry平台弹性 更新deploymentmanifest中dea和services实例数更新Resourcepool大小启动BOSHupdate例子 在CloudFoundry中增加2个dea结点的方法 修改yml文件 name deatemplate deainstances 2 4resource pool mediumnetworks name defaultstatic ips 10 60 98 65 10 60 98 66 10 60 98 67 10 60 98 68 resource pools name mediumnetwork defaultsize 5 7 BOSH在CloudFoundry项目开发中的应用 71 整个测试开发平台是由Bosh部署的 Bosh