easystack escloud云平台安装部署手册

1、ESCloud Installation Guidev1.2客户版“”http:/EasyStack Corporation 2014.s.1 / 37目录录2版本说明3目.2.文档版本信息3Roller 版本信息42.文档简介.2.3.使用说明5使用范围5使用术语53.解决方案..产品优势6高可用性7定义网络8弹性计算94.ESCloud 服务器角色.服务器角色.10系统配置建议115.ESCloud 网络规划.ESCloud 5+1 网络12网络规划建议：136.环境示例.环境

2、规划示例14拓扑图157.Roller 安装.7.3.小规模 POC 部署16大规模正式环境部署17Roller IP 修改188.安装部署...开始创建台23加载物理机-角色28配置网络环境30配置物理磁盘34验证网络35开始部署36EasyStack Corporation 2014.s.2 / 371.版本说明1.1.文档版本信息EasyStack Corporation 2014.s.3 / 37版本变更人日期描述1.02015.3.23Init1.12015.6.12新增Roller 地址修改，细化部分参数作用1.220

3、16.5.12更新示例部分，新增服务器和网络说明，针对新版本新功能调整1.2.Roller 版本信息发布新版本时 Roller 将与 ESCloud 的版本将保持一致并一同发布，截至目前版参考下表，产品功能请参考对应版本的 release note：EasyStack Corporation 2014.s.4 / 37ESCloud 版本发布日期对应社区版本社区发布日期备注stable 3.2.22016-04-20Juno2014-102.文档简介2.1.使用说明本文档主要用于详细介绍使用 Roller 搭建 ESCloud台的过程、Roller部署过程中的参数、以及各服务器以及网络角色的介

4、绍。本文档参考，具体实施因方案而异，任何问题请与 ES Service Team联系。实施需要对 OpenStack 有一定了解，需要有一定的网络基础。2.2.使用范围本文档仅限于 EasyStack，和不得给公司外部人员，如经过需要提供给合作伙伴或者客户需要经过修改并以 PDF 方式提供。2.3.使用术语EasyStack Corporation 2014.s.5 / 37术语解释OpenStackOpenStack 是一个旨在为公共及私有云提供基础设施即服务（简称）建设与管理的开源项目。HAHA(High Available), 高可用群集，是保证业务连续性的有效解决方案，一般有三个或以上

5、的节点，实现业务的不中断或短暂中断。ESRoller用于自动化部署 ESCloud台，并提供可视化的 dashboard 界面，集 cobbler、 tgres、keystone、nailgun 等工具与一身，完成一键式部署。ESCloudESCloud 是经过 EasyStack 增强过的 OpenStack版，修复了大量 bug、针对 OpenStack 以及 ceph 进行优化并提供更友好的 dashboard 可视化操作界面。3.解决方案EasyStack 是国内领先的 OpenStack 云解决方案和服务提供商，OpenStack员，基于OpenStack 为企业用户提供开放、稳定、

6、可靠、可扩展弹性云计算黄金成。3.1.产品优势开源着重于功能及架构的实现，企业级则在高可用，弹性，可扩展性，性能方面有更高的要求，EasyStack 开发团队对社区保持高贡献率以及长时间针对企业级产品的研发经历积累了丰富的实践经验。知道OpenStack 社区版本中存在的短板，知道有哪些需要优化的地方，能与社区保持同步更新与升级，比社区版本性能更优并且提供额外的企业实际需要的功能。EasyStack Corporation 2014.s.6 / 373.2. 高可用性部署灵活多变。低耦合度，硬件兼容性强。双活模式，负载均衡，可迁移。分布式设计，高扩展能力，每台服务器既是计算节点也是节点。全自动

7、化快速安装部署，备份和容灾。EasyStack Corporation 2014.s.7 / 37定义网络3.3.灵活的网络方案集中式网络管理分布式多层次虚拟，可以把数据中心部署到虚拟机里，增强。即服务，提供局域、广域网的服务。低耦合度，投资保护。所有网络虚拟化功能均由实现，完全与硬件解耦，且无需集成，开箱即用。SDN 的支持。EasyStack Corporation 2014.s.8 / 373.4. 弹性计算弹性的资源池构建。自带，Apache，HA-Proxy, MongoDB,Hadoop PaaS自动供应。可定制各种客户期望的 PaaS。支持混合云方案，峰值作业压力。提供用户自定义

8、模板能力。提供实时的可伸缩能力。结合秒级的资源用量。EasyStack Corporation 2014.s.9 / 374.ESCloud 服务器角色4.1.服务器角色Controller，即控制节点：是整个 OpenStack台的，它对外提供UI 界面，使能够便捷的对台进行管理和自服务。随着资源的扩展，对 CPU、MEM、NETWORK 和 DISK 的性能有一定依赖。Network，即网络节点：是整个台的网络资源调度中心。私有网此节点络通信、路由器创建、以及和外部网络互通等都依赖于此。整合进 Controller 节点，并加以 HA，实现网络节点高可用。Compute，即计算节点：管理底

9、层的虚拟化，配合控制节点完成比如创建、删除和管理虚拟机等生命周期工作，支持对接 VMware，但目前功能简单，只实现了创建、删除、开关机以及云硬盘等操作。Storage，即Ceph 提供(对，并可以和节点：默认采用分布式象、块和文件系统)，为 glance、nova 和 cinder 提供后端也支持对接商业(Cinder)。计算节点高度集成融合，Compute & Storage，即融合型节点：此节点同时运行虚机和 Ceph 分布式 ，由于虚机实例和 Ceph OSD 对 CPU 和 RAM 要求都不低，所以根据客户实际需求和环境而定。Roller，即部署节点：用以部署和扩展 OpenStac

10、k，与 Zabbix 安装在同一台宿主机上。EasyStack Corporation 2014.s.10 / 374.2.系统配置建议以下仅为建议，具体情况因客户需求和环境而异，请相关工程师：EasyStack Corporation 2014.s.11 / 375.ESCloud 网络规划5.1.ESCloud 5+1 网络Public:控制节点集群网络，OpenStack Dashboard 外部络即可，若作为 floating 网络则需万兆，一般不建议。网络，千兆网MGMT:OpenStack大型集群也可将 ce组件通信网络，集成 ceublic 网络，建议万兆，ublic 网络单独手

11、动摘出。Private:虚机的业务网络，需要连通公司网络，建议万兆网络，配置成 trunk，若干个 vlan；部署方案建议走 l2 的扁平网络，网络指向物理网关，不走 l3。PXE:仅用于部署各节点的操作系统和自动推送安装 OpenStack，千兆即可。Storage:ceph的 Cluster 网络，建议独立万兆。IPMI:服务器的带外管理口，可以配合 Zabbix 进行物理硬件，HOST HA 2.0 需要配合 IPMI 完成相关电源状态的查询以及策士执行。计算节点 IPMI 需要可以被控制节点。EasyStack Corporation 2014.s.12 / 375.2.网络规划建议：

12、以下仅为参考建议：控制节点：千兆*2，bond:PXE万兆*2，bond:public & Storage用 l3 方案，public 流量较大) 万兆*2，bond:mgmt & private量较大)(storage 网络没有流量)(若采(若采用 l3 方案则 private 流计算节点&融合节点：千兆*2，bond:PXE万兆*2，bond:public & Storage万兆*2，bond:mgmt万兆*2，bond:privateprivate 合并，建议六根万兆)(public 网络没有流量)(包含 ceublic)(若只有四个万兆则 mgmt 和计算节点：千兆*2，bond:PX

13、E万兆*2，bond:mgmt & public络没有流量)万兆*2，bond:private & Storage(包含 ceublic)(public 网(storage 网络没有流量)节点：千兆*2，bond:PXE万兆*2，bond:mgmt & public络没有流量)万兆*2，bond:private & Storage(包含 ceublic)(public 网(private 网络没有流量)注:如果 IPMI 网络仅为配合 HOS的话，那只要计算节点配置就可以了。EasyStack Corporation 2014.s.13 / 376.环境示例6.1.环境规划示例假定：某客户 N

14、 台物理机：一台作为 ESRoller 部署机，三台 Controller 节点采用高可用部署模式，X 台纯计算节点，Y 台作为容量型资源池，Z 台性能性资源池。服务器功能设定：网卡功能设定：(参考，实际环境需要根据服务器角色类型来决定每台服务器需要跑哪些网络以及流量负载)EasyStack Corporation 2014.s.14 / 37网络用途备注PXE千兆*2用于部署Public千兆*2用于 dashboard，无 L3Private万兆*2生产网MGMT万兆*2包含 ceublicStorage万兆*2Ceph cluster 网络IPMI千兆配合 HOS节点角色系统盘/RIAD日

15、志盘/RIADOSD/RAID部署节点rollerDeploy300G SAS 10K *2- RAID1/控制集群node-1Controller480G SSD *2- RAID1 480G SSD *3- RAID5/node-2node-3计算资源池node-X-1Compute300G SAS 10K *2- RAID1/node-Xnode-X+1SATA 存储资源池node-Y-1Storage300G SAS 10K *2- RAID1/480G SSD *6,单块磁盘分别做 JBODnode-Ynode-Y+1SSD资源池node-Z-1Storage300G SAS 10K

16、 *2- RAID1480G SSD *2，单块磁盘分别做 JBOD4TB SATA 7.2K*12，单块磁盘分别做 RAID0node-Znode-Z+16.2.拓扑图案例中一共 N 台物理机：一台作为 ESRoller 部署机，三台 Controller 节点采用高可用部署模式，防止服务中断；X 台计算节点配置 HOS DOWN 机的情况下，虚机自动迁移；采用 Ceph 分布式，即在物理主机，为 NOVA、Cinder和 Glance 提供后端服务，并分为容量型和性能性量大资源池。EasyStack Corporation 2014.s.15 / 377.Roller 安装7.1.小规模

17、POC 部署Roller 在小规模 POC 部署中可以安装在客户资源，也可以防止 Roller 外泄(Windows笔记本的虚机中，既可以节省Virtualbox，LinuxKVM)。一般十台及以上节点的 POC 环境可以安装在客户虚拟化环境中，一般需要4vcpu，4G RAM 以上配置，安装过程大概一个小时多一点。正式环境，无论规模大小，Roller 必须安装在物理节点中，在规划的时候就告知客户需要一立的物理机来作为 Roller 的宿主机使用。Roller 是一个 ISO，安装 Roller 需要先在笔记本或者虚拟创建一台虚机(过程略)，将 Roller 的 IS像加载到虚机，设置从 CD

18、-ROM 启动，然后虚机会开启自动安装，整个过程无需手动干预，直至自动安装完成。EasyStack Corporation 2014.s.16 / 377.2.大规模正式环境部署如果需要大规模部署 ESCloud，如数十台节点部署，则务必将 Roller 部署在物理机，至少 8core 的 CPU 和 16GB 以上内存，磁盘不低于 50GB。部署 roller时间大概不到一小时，如不需要修改部署网络则全程无需手动干预。由于需要安装在物理机，安装介质根据现场情况而定，可以先刻录成光盘带到客户现场；可以制成可启动的 USB 介质来完成安装；也可以配置物理机的管理端口(IPMI 需要指定 IP，本

19、地浏览器安装 JAVA)，从管理口来加载本地 ISO 来安装。安装过程跟虚机并无区别。通过 IPMI 的 console 界面加载虚拟介质EasyStack Corporation 2014.s.17 / 377.3.Roller IP 修改如果需要修改 Roller IP 地址或者修改 PXE 网段，则需要在安装过程中按照提示按任意键来 setup。加载 ISO 后开始安装操作系统，在第一次重启之后，大概几分钟就会弹出如下界面，此时点击键盘任意键，进入设置界面。若键入成功，提示如下EasyStack Corporation 2014.s.18 / 37进入设置界面，这里可以修改 Roller

20、 的主机地址和网关，设置完成记得 check这里是修改 IP 地址分配池，先说下面的 128-254 是节点第一次重启后进入到bootstrap 系统所获取到的 IP 地址池，用于发现；上面这个 3-127 地址是在分配角色之后，第二次重启，即安装好 Centos 系统之后正式的 IP 地址。在修改完成后，记得 checkEasyStack Corporation 2014.s.19 / 37这里可以修改 Roller 的主机名和 DNS 等信息，不建议修改后缀，因为有可能有的地方被程序员写死。这里设置时钟EasyStack Corporation 2014.s.20 / 37这里是设置 Ro

21、ller 的 root，默认是 root/passw0rd这里是修改 Roller WEB 的登陆界面的用户名和，默认 admin/adminEasyStack Corporation 2014.s.21 / 37这里已经设置结束了，哦，还有”s保存退出，来继续安装 Roller。login”，这个我也不知体的作用，然后看到下面已经继续安装了，重点是下面的“no errors found”，如果提示报错，务必解决。其实只要主机 IP 地址和两个地址池都在一个网段，地址不，不会报错。EasyStack Corporation 2014.s.22 / 378.安装部署8.1.开始创建台Roller

22、 ISO 获取：请联系 ES Service Team。1、按照规划配置交换机并将服务器和 Roller 机器接入网络。注：Private 网络的上行端口必须为 Trunk。2、Roller 安装在笔记本的虚机上，笔记本网卡位于 PXE 网络，且将 Roller 虚机网卡设为桥接模式，虚拟化环境则通过网桥通信。3、在笔记本上打开浏览器（注：最好为 Chrome），在地址栏输入：:8000，这是默认 IP，弹出 Roller UI 登陆界面，输入默认用户名和：admin/admin4、进入到 Dashboard 界面，此时没有任何可用资源你可以点击右上角“admin”的设置，来登出、修改这里不再

23、演示；或者设置字符集等操作，EasyStack Corporation 2014.s.23 / 375、台在安装之初必须先导入 License。说明：license 是一个 zip 文件，包含 keystone 和 nailgun 两个 license：1 keystone license 主要为了对台日期进行有效的限制，license 到期后台无法正常使用 keystone 认证，所有组件失效，但是对于正在运行的虚机无影响；2 nailgun license 主要是针对集群数量和规模，例如可以部署几个OpenStack 集群，每个集群包含多少个控制和计算节点，license 不针对节点进行限

24、制。Roller License 获取：请联系，告知客户名称，部署性质，集群规模等信息。如下图，单击“导入 license 文件”按钮单击”选择文件”按钮，选择本地已经申请好的 license，然后单击“导入 license文件”完成导入。遇到问题：目前发现可能导入后，一直处于等待状态，稍等几分钟，如果报 gateway timeout 错误，只需要刷新一下浏览器就好了。新版 license 已经包含了环境的相关信息，没有选择余地，这里将老版本信息保留在下一页，请参考。EasyStack Corporation 2014.s.24 / 37#适用于老版本#接下来创建 OpenStack 云部署

25、环境，单机上图左上角的“创建云”开始部署的第一步5、 在新的弹窗进行需求设定：1首先设定一个“名称”，这不会体现在 OpenStack上，可以任意取名2“OpenStack release”上，这是目前经过验证的稳定版本暂时只支持 Icehouse 版本运行在 CentOS 6.53“云类型”是指控制节点的部署类型，这里有“HA”和“Mutilnode”两种类型，Mutilnode 是指单控多节点，而 HA 则是至少三个控制节点的冗余设定，一般优先用于生产环境（之所以要求至少三个控制节点是为了防止脑裂的发生，控制节点必须为奇数）4“网络类型”默认为 Neutron ，部署在控制节点5“段类型”

26、分为 VLAN 和 GRE，建议选择 VLAN，生产环境测试更稳定、高效6“Storage Mode”分 Ceph 和 LVM 两种类型，适用于实际应用场景，本次实施环境选择 Ceph 分布式来为 Cinder 和 Glance 提供空间在选定所有参数后，单击右下角的“Create Enviroment”来创建部署环境#EasyStack Corporation 2014.s.25 / 37导入完成之后，注意后面的“设置”，来继续完成部署前准备工作单击“设置”，如下是默认的设置，也就是默认安装了 Ceilometer 和 heat。123456789Ceilometer：是 OpenStack

27、 的信息和模块，需要 mongoDB 支持；Billing：计费模块，必须要安装ceilometer 以提供计量完成计费。 Heat：自动部署模块，目前页面没有开发完成，根据实际情况部署； Sahara：大数据支持，此功能还未开发完成。Chakra:此功能是为了实现多 region 情况下计费，开启 billing 必须开启此项。默认 ceph 为 Nova、Cinder 和 Glance 提供Swift：对象，ceph rados gateway 模块，未集成到界面。LVM：为 Cinder 提供后端，需要专门节点，根据实际场景应用；最后一项是 ceph 默认的副本数量，修改为 3。Easy

28、Stack Corporation 2014.s.26 / 376、设置完成后，单击正上方的“管理”按钮切换到台的预配置环境，到这里 Roller 已经开启了 DHCP、TFTP 等服务，所以注意此环境一定不能存在其他DHCP Server，否则会产生EasyStack Corporation 2014.s.27 / 378.2.加载物理机-角色7、 这里可以依次开启物理主机了，物理主机加电，以 PXE 形式启动（最好之前已经设 PXE 为第一启动），然后主机会获得 IP 地址并加载 bootstrap 系统等大约十几二十分钟，刷新页面，在 UI 的中间下方的空闲节点可以看到已经加载到云环境的

29、物理主机，以及 NIC 等相关信息，可以看到诸如下图显示的 MAC 地址、CPU、MEM可以依次来判断对应的物理主机8、 等所有主机都加载进来之后，咱们开始分配角色，在此环境中可以根据磁盘的大小或者 CPU、MEM 的大小来判断是 Controller 还是 Compute 节点，比如本次环境 Controller 节点只有 300G 硬盘，而 Compute 节点有 1T 磁盘，选勾选 300G 磁盘的三个节点，然后单击上方的添加节点，在新的弹窗选择相应的选项，本次环境选择 Controller+mongo；然后同样的添加 Compute 节点，选择 Compute+ceph-osd，单击应

30、用变更。1“controller”选中此角色表明该 server 为控制节点2“compute”选中此角色表明该 server 为计算节点3“cinder”该角色可以提供基于 LVM 的 cinder选择，支持 SAN 和 ISCSI，通常和计算节点一起4“ceph-osd”该角色说明使用分布式ceph 来提供空间，可以提供cinder 和 glance用空间，通常和计算节点在同一 server，但是建议磁盘独立使5“mongo”选中该角色表明 openstack使用 ceilometer 计费模块，其数据在 mongo DB 中，通常和 controller 节点安装在同一 server6“

31、zabbix-server”是 openstack并进行大量定制，为可选项下的一款，需要单独安装，EasyStack Corporation 2014.s.28 / 379、 添加完节点后，可以在“节点”栏中部区域看到已经添加的 server，包含名字、状态、管理 IP、硬件信息、预处理状态和 1“名字”这是为了方便识别的一种表示，可修改2“当前状态”表明此时 server 进行的阶段状态等信息。3“角色”此时还是预处理阶段所以，没有显示，等进行部署时可看到变化4“管理 IP”暂时由 Roller 分配的课管理 IP 地址5“预处理状态”是 server 分配的角色，现在只是准备阶段，还未正式

32、部署6“”表明该 server 是否可管理7“IPMI”管理端口 IP，硬件管理端口，可以在只加电的情况下进行理8“硬件信息.”这里显示了该 server 的 CPU、DISK、MEM、NIC 等信息管EasyStack Corporation 2014.s.29 / 378.3.配置网络环境9“批量配置网卡”因为大多数情况下 server 或相同角色的网络配置相同，所以为了方便管理和高效，支持批量来设定网络角色，例如本环境中所有server 都拥有四张网卡且网卡角色一致，所以配置完成，节约大量时间10“批量配置磁盘”作用同上，提高效率只需要使用批量配置网卡依次10、 接下来需要配置磁盘和网络

33、信息；先进行网卡的设置点击上图中上方的“批量配置网卡”，可以看到目前网卡的角色分配，然后单击“分配网络角色”来重新分配角色。如果是生产网络为了增加冗余性，强烈建议使用“防止单点网络”来做端口绑定，在新弹窗中，按照之前的规划来分配网络角色，其中 roller 是固定的，其他任意分配，要注意不同角色在不同网卡中的配置可能需要配置上行的交换机端口， private 端口的上行端口必须为 Trunk，allow 1000-1030，其他根据实际情况配置，本次环境按照之前规划配置即可，然后单击“应用变更”。EasyStack Corporation 2014.s.30 / 37然后再次确认分配好的网络角色。11、 网络角色定好，可以配置各网络的 IP 和 VLAN 信息了。单击左边栏的“网络”可以看到现行网络的角色和 IP 地址信息，PXE 网络无法更改。如需修改 IP 地址信息，点击右边的“更新”按钮在弹出窗口，可以修改对应网络角色的 IP 地址信息EasyStack Corporation 2014.s.31 / 37VLAN tag 信息按照之前规划划定。注意如此处填写了了 vlan，则上行端口需要是 trunk，且放行改 VLAN；如果此处不填写，则上行端口配置 vlan 即可。修改完成后，点击