OpenStack Ceph分布式存储安装测试报告

1、 OpenStack Ceph分布式存储安装测试报告目录 TOC o 1-3 h z u HYPERLINK l _Toc412800540 一、基础知识介绍 PAGEREF _Toc412800540 h 2 HYPERLINK l _Toc412800541 1.1 什么是云计算 PAGEREF _Toc412800541 h 2 HYPERLINK l _Toc412800542 1.2 openstack简介 PAGEREF _Toc412800542 h 2 HYPERLINK l _Toc412800543 1.3 openStack与vmware比对 PAGEREF _Toc41

2、2800543 h 2 HYPERLINK l _Toc412800544 1.4 ceph介绍 PAGEREF _Toc412800544 h 2 HYPERLINK l _Toc412800545 1.5 ceph背景 PAGEREF _Toc412800545 h 2 HYPERLINK l _Toc412800546 1.6 ceph架构 PAGEREF _Toc412800546 h 2 HYPERLINK l _Toc412800547 1.6.1组件 PAGEREF _Toc412800547 h 2 HYPERLINK l _Toc412800548 1.6.2映射 PAGER

3、EF _Toc412800548 h 2 HYPERLINK l _Toc412800549 1.6.3强一致性 PAGEREF _Toc412800549 h 2 HYPERLINK l _Toc412800550 1.6.4容错性 PAGEREF _Toc412800550 h 2 HYPERLINK l _Toc412800551 1.7 ceph优点 PAGEREF _Toc412800551 h 2 HYPERLINK l _Toc412800552 1.7.1高性能 PAGEREF _Toc412800552 h 2 HYPERLINK l _Toc412800553 1.7.2高

4、可靠性 PAGEREF _Toc412800553 h 2 HYPERLINK l _Toc412800554 1.7.3高扩展性 PAGEREF _Toc412800554 h 2 HYPERLINK l _Toc412800555 1.8 在openstack中选择ceph作为后端存储的考虑 PAGEREF _Toc412800555 h 2 HYPERLINK l _Toc412800556 1.9 虚拟化知识介绍(待补充) PAGEREF _Toc412800556 h 2 HYPERLINK l _Toc412800557 1.10 本次测试主机规划 PAGEREF _Toc4128

5、00557 h 2 HYPERLINK l _Toc412800558 二、本地YUM源配置 PAGEREF _Toc412800558 h 2 HYPERLINK l _Toc412800559 2.1 YUM源介绍 PAGEREF _Toc412800559 h 2 HYPERLINK l _Toc412800560 2.2下载相关包 PAGEREF _Toc412800560 h 2 HYPERLINK l _Toc412800561 2.3配置YUM源 PAGEREF _Toc412800561 h 2 HYPERLINK l _Toc412800562 2.3.1安装包准备 PAGE

6、REF _Toc412800562 h 2 HYPERLINK l _Toc412800563 2.3.2安装createrepo工具 PAGEREF _Toc412800563 h 2 HYPERLINK l _Toc412800564 2.3.3 使用createrepo创建软件仓库并发布 PAGEREF _Toc412800564 h 2 HYPERLINK l _Toc412800565 2.3.4 客户端配置yum 文件指向yum服务器 PAGEREF _Toc412800565 h 2 HYPERLINK l _Toc412800566 三、安装配置操作系统 PAGEREF _To

7、c412800566 h 2 HYPERLINK l _Toc412800567 3.1 配置/etc/hosts PAGEREF _Toc412800567 h 2 HYPERLINK l _Toc412800568 3.2 配置环境变量 PAGEREF _Toc412800568 h 2 HYPERLINK l _Toc412800569 3.3 升级操作系统内核 PAGEREF _Toc412800569 h 2 HYPERLINK l _Toc412800570 3.4 手工配置操作系统网桥 PAGEREF _Toc412800570 h 2 HYPERLINK l _Toc41280

8、0571 3.5 关闭不必要的操作系统服务 PAGEREF _Toc412800571 h 2 HYPERLINK l _Toc412800572 3.6 安装NTP时间同步 PAGEREF _Toc412800572 h 2 HYPERLINK l _Toc412800573 四、安装配置openstack controller控制节点 PAGEREF _Toc412800573 h 2 HYPERLINK l _Toc412800574 4.1 Mysql安装配置 PAGEREF _Toc412800574 h 2 HYPERLINK l _Toc412800575 4.1.1 安装mys

9、ql PAGEREF _Toc412800575 h 2 HYPERLINK l _Toc412800576 4.1.2 启动mysql PAGEREF _Toc412800576 h 2 HYPERLINK l _Toc412800577 4.1.3 mysql初始化并设定mysql root用户密码 PAGEREF _Toc412800577 h 2 HYPERLINK l _Toc412800578 4.2 安装Openstack工具并更新系统 PAGEREF _Toc412800578 h 2 HYPERLINK l _Toc412800579 4.3 安装配置消息中间件Qpid服务

10、PAGEREF _Toc412800579 h 2 HYPERLINK l _Toc412800580 4.3.1安装qpid服务 PAGEREF _Toc412800580 h 2 HYPERLINK l _Toc412800581 4.3.2启动qpid消息服务 PAGEREF _Toc412800581 h 2 HYPERLINK l _Toc412800582 4.4 安装配置keystone认证服务 PAGEREF _Toc412800582 h 2 HYPERLINK l _Toc412800583 4.4.1安装keystone并配置mysql连接 PAGEREF _Toc412

11、800583 h 2 HYPERLINK l _Toc412800584 4.4.2初始化mysql中的keystone数据库 PAGEREF _Toc412800584 h 2 HYPERLINK l _Toc412800585 4.4.3配置令牌 PAGEREF _Toc412800585 h 2 HYPERLINK l _Toc412800586 4.5 安装配置python工具 PAGEREF _Toc412800586 h 2 HYPERLINK l _Toc412800587 4.6 安装各组件客户端 PAGEREF _Toc412800587 h 2 HYPERLINK l _T

12、oc412800588 4.7 安装配置glance镜像服务 PAGEREF _Toc412800588 h 2 HYPERLINK l _Toc412800589 4.7.1安装并配置glance PAGEREF _Toc412800589 h 2 HYPERLINK l _Toc412800590 4.7.2初始化mysql中的glance数据库 PAGEREF _Toc412800590 h 2 HYPERLINK l _Toc412800591 4.7.3配置glance认证并启动glance服务 PAGEREF _Toc412800591 h 2 HYPERLINK l _Toc41

13、2800592 4.7.4验证glance服务 PAGEREF _Toc412800592 h 2 HYPERLINK l _Toc412800593 4.8 安装配置nova服务 PAGEREF _Toc412800593 h 2 HYPERLINK l _Toc412800594 4.8.1安装配置Nova API服务 PAGEREF _Toc412800594 h 2 HYPERLINK l _Toc412800595 4.8.2初始化mysql中的nova数据库 PAGEREF _Toc412800595 h 2 HYPERLINK l _Toc412800596 4.8.3配置nov

14、a认证并启动nova服务 PAGEREF _Toc412800596 h 2 HYPERLINK l _Toc412800597 4.8.4配置控制节点使用nova网络 PAGEREF _Toc412800597 h 2 HYPERLINK l _Toc412800598 4.9 安装配置dashboard服务 PAGEREF _Toc412800598 h 2 HYPERLINK l _Toc412800599 4.9.1为dashboard创建stack用户 PAGEREF _Toc412800599 h 2 HYPERLINK l _Toc412800600 4.9.2安装dashboa

15、rd PAGEREF _Toc412800600 h 2 HYPERLINK l _Toc412800601 4.9.3配置dashboard PAGEREF _Toc412800601 h 2 HYPERLINK l _Toc412800602 4.10 安装配置cinder服务 PAGEREF _Toc412800602 h 2 HYPERLINK l _Toc412800603 4.10.1安装cinder PAGEREF _Toc412800603 h 2 HYPERLINK l _Toc412800604 4.10.2初始化mysql中cinder数据库 PAGEREF _Toc41

16、2800604 h 2 HYPERLINK l _Toc412800605 4.10.3配置并启动cinder服务 PAGEREF _Toc412800605 h 2 HYPERLINK l _Toc412800606 4.11 检查控制节点服务状态 PAGEREF _Toc412800606 h 2 HYPERLINK l _Toc412800607 五、安装配置openstack compute计算节点 PAGEREF _Toc412800607 h 2 HYPERLINK l _Toc412800608 5.1安装MySQL-python PAGEREF _Toc412800608 h

17、2 HYPERLINK l _Toc412800609 5.2安装Openstack工具并更新系统 PAGEREF _Toc412800609 h 2 HYPERLINK l _Toc412800610 5.3安装与配置计算服务Nova-Compute PAGEREF _Toc412800610 h 2 HYPERLINK l _Toc412800611 5.4安装与配置Nova-Network服务 PAGEREF _Toc412800611 h 2 HYPERLINK l _Toc412800612 5.5安装与配置cinder服务 PAGEREF _Toc412800612 h 2 HYP

18、ERLINK l _Toc412800613 5.6检查计算节点服务状态 PAGEREF _Toc412800613 h 2 HYPERLINK l _Toc412800614 六、安装配置openstack Neutron网络节点(待测试) PAGEREF _Toc412800614 h 2 HYPERLINK l _Toc412800615 七、安装配置Ceph PAGEREF _Toc412800615 h 2 HYPERLINK l _Toc412800616 7.1操作系统配置 PAGEREF _Toc412800616 h 2 HYPERLINK l _Toc412800617 7

19、.2安装ceph-deploy部署工具 PAGEREF _Toc412800617 h 2 HYPERLINK l _Toc412800618 7.3安装配置ceph PAGEREF _Toc412800618 h 2 HYPERLINK l _Toc412800619 7.4 ceph的性能优化 PAGEREF _Toc412800619 h 2 HYPERLINK l _Toc412800620 八、配置OpenStack Over Ceph PAGEREF _Toc412800620 h 2 HYPERLINK l _Toc412800622 5.1设置glance、cinder服务的c

20、eph client认证 PAGEREF _Toc412800622 h 2 HYPERLINK l _Toc412800623 5.2设置nova compute服务的ceph client认证 PAGEREF _Toc412800623 h 2 HYPERLINK l _Toc412800624 5.3配置openstack服务使用ceph PAGEREF _Toc412800624 h 2 HYPERLINK l _Toc412800625 8.3.1配置glance PAGEREF _Toc412800625 h 2 HYPERLINK l _Toc412800626 8.3.2配置c

21、inder PAGEREF _Toc412800626 h 2 HYPERLINK l _Toc412800627 8.3.3配置nova PAGEREF _Toc412800627 h 2 HYPERLINK l _Toc412800628 8.3.4重启openstack服务 PAGEREF _Toc412800628 h 2 HYPERLINK l _Toc412800629 5.4测试从ceph存储起虚机 PAGEREF _Toc412800629 h 2 HYPERLINK l _Toc412800630 8.4.1上传操作系统镜像文件至glance PAGEREF _Toc4128

22、00630 h 2 HYPERLINK l _Toc412800631 8.4.2创建云硬盘 PAGEREF _Toc412800631 h 2 HYPERLINK l _Toc412800632 8.4.3从云硬盘引导虚机 PAGEREF _Toc412800632 h 2 HYPERLINK l _Toc412800633 8.4.4将云硬盘attach给虚机 PAGEREF _Toc412800633 h 2 HYPERLINK l _Toc412800634 8.4.4备注 PAGEREF _Toc412800634 h 2 HYPERLINK l _Toc412800635 九、测试

23、虚机在线迁移 PAGEREF _Toc412800635 h 2 HYPERLINK l _Toc412800641 9.1配置libvirt&nova.conf PAGEREF _Toc412800641 h 2 HYPERLINK l _Toc412800642 9.2测试在线迁移 PAGEREF _Toc412800642 h 2 HYPERLINK l _Toc412800643 十、下一步工作 PAGEREF _Toc412800643 h 2 HYPERLINK l _Toc412800644 十一、trubles shooting PAGEREF _Toc412800644 h

24、2一、基础知识介绍1.1 什么是云计算云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机技术（如下图）和网络技术发展融合的产物。个人理解：把一堆功能小的设备，整合成一大个功能强大设备，再把这个强大的设备划分成小设备，按需分配给用户。云计算解决方案目前有OpenStack、亚马逊AWS、VMware vSphere、微软云计算解决方案等等1.2 openstack简介2014-08-13 16:22 上传 HYPERLINK /forum.php?mod=attachment&aid=NjU5MzYwfGVlOGNkYTlmfDE0MjUwMDIyNzN8M

25、Hw0MTUwMjAz¬humb=yes o image001.jpg 下载次数:24 t _blank 下载附件 (2.99 KB) OpenStack是一个NASA和Rackspace2010年6月合作成立的，以Apache许可证授权，并且是一个自由软件和开放源代码项目。OpenStack是一个云平台管理的项目，它不是一个软件，主要参考亚马逊AWS，由很多其他开源软件整合而成的。2014-08-13 16:22 上传 HYPERLINK /forum.php?mod=attachment&aid=NjU5MzY0fDZiNGU3Mjc4fDE0MjUwMDIyNzN8MHw0MTUw

26、MjAz¬humb=yes o image005.jpg 下载次数:29 t _blank 下载附件 (8.02 KB) - 以Python编程语言编写 - 整合Tornado网页服务器、Nebula运算平台 - 使用Twisted软件框架 - 遵循Open Virtualization Format、AMQP、SQLAlchemy等标准 - 支持的虚拟化软件：KVM、Xen、VirtualBox、VMware、Hyper-V 小到家里一台电脑（“家云”）、企业N多台（私有云）大到几千台信息中心（公有云）、openstack架构非常的大，可以包含VMware sphere、MS Hype

27、r-V、SDN等。2014-08-13 16:22 上传 HYPERLINK /forum.php?mod=attachment&aid=NjU5MzY2fDUwNWQwN2YxfDE0MjUwMDIyNzN8MHw0MTUwMjAz¬humb=yes o image007.jpg 下载次数:22 t _blank 下载附件 (25.65 KB) 2014-08-13 16:22 上传 HYPERLINK /forum.php?mod=attachment&aid=NjU5MzY3fDEzOGZlZGZkfDE0MjUwMDIyNzN8MHw0MTUwMjAz¬humb=yes o

28、 image008.jpg 下载次数:19 t _blank 下载附件 (20.24 KB) openstack核心组件主要有：对象存储（Swift）：通过key/value的方式实现对文件的存储，现在的云盘就是这样的计算管理（Nova）：提供虚拟主机，通过虚拟技术（kvm、Xen、VMware等）网络管理（ HYPERLINK /admin-guide-cloud/content/ch_getting-started-with-openstack.html Neutron）：实现虚拟机的网络资源管理如网络连接、ip管理、公网映射块存储（Cinder）：为虚拟机提供存储，目前支持ip-san、

29、fc-san等镜像管理（Glance）：为虚拟机的创建提供操作系统镜像身份认证（Keystone）：统一的授权、认证管理界面（Horiaon）：安装好后，用到的web网页的控制台DashBoard消息中间件(Qpid):完成Openstack各组件间的消息交换工作数据库(MySQL)：负责保存Openstack系统中的各类数据监控和计费(Ceilometer）：提供云系统中计费功能、监控数据、云系统运行状况等Heat：利用模板，定制化的实现虚拟机预配置，类似于puppet,另外虚机的HA功能也是通过该组件实现Trove：根据云中资源轻松扩展数据库资源2014-08-13 16:22 上传 HY

30、PERLINK /forum.php?mod=attachment&aid=NjU5MzY4fDUzNTk4MDVifDE0MjUwMDIyNzN8MHw0MTUwMjAz¬humb=yes o image009.jpg 下载次数:24 t _blank 下载附件 (24.47 KB) 2014-08-13 16:22 上传 HYPERLINK /forum.php?mod=attachment&aid=NjU5MzY5fDQ0ZTY4M2M4fDE0MjUwMDIyNzN8MHw0MTUwMjAz¬humb=yes o image010.jpg 下载次数:25 t _blank

31、下载附件 (65.66 KB) AMQP是整个openstack的核心，所有功能的实现，都是由AMQP与相应api接口交互。1.3 openStack与vmware对比Openstack是一个开源项目，一组搭建云平台的项目/组件集合；vmware则提供了非常完善的虚拟化管理软件和工具集，比较好的解决了企业的问题。Openstack和vmware提供的功能有很大差异，两者并不具有太多的可比性。如果一定要对比，则：在功能的支持方面和功能细节，openstack和vmware还是有差距的。但openstack还是有优势的，相比较vmware的昂贵价格，openstack免费、开放，vmware高投入

32、带来的功能，openstack大部分可以免费提供给客户。从vmware在功能方面的领先可以看出，vmware还在继续研发除了vmotion、高可用、容错以外其它新的功能去保护虚拟机；openstack一方面追随vmware的脚本，另一方面投入精力在支持更多硬件厂商解决方案上。Vmware在将虚拟化扎根于企业级做了非常出色的工作，随着虚拟化使用越来越多，vmware不断的围绕hypervisor追加新的功能，vmware的利润依然主要来自于此，基本上还是虚拟化市场。因此，vmware不是云，是基础架构自动化或者数据中心自动化，而不是基础设施服务。但是vmware针对企业级市场，提供了非常符合企业

33、级需要的功能，如应用负载如何处理的问题，但不是弹性计算或者存储，以及水平扩展的问题。因此两者解决基础设施自动化的途径不但是技术上差别，而且偏离很远。Openstack并不是围绕hypervisor来追加功能的产品，openstack项目着眼于用逻辑或软件定义的方式来封装基础架构的资源，并可以被上层应用所使用，因此有下列这些概念:计算、网络、块存储、对象存储等。Openstack在国内知名案例有天河二号，京东商城，新浪SAE等。1.4 ceph介绍云硬盘是IaaS云平台的重要组成部分，云硬盘给虚拟机提供了持久的块存储设备。目前的AWS 的EBS(Elastic Block store)给Amaz

34、on的EC2实例提供了高可用高可靠的块级存储卷，EBS适合于一些需要访问块设备的应用，比如数据库、文件系统等。 在OpenStack中，可以使用Ceph、Sheepdog、GlusterFS作为云硬盘的开源解决方案。Ceph是统一存储系统，支持三种接口:Object：有原生的API，而且也兼容Swift和S3的APIBlock：支持精简配置、快照、克隆File：Posix接口，支持快照Block：支持精简配置、快照、克隆File：Posix接口，支持快照Ceph也是分布式存储系统，它的特点是：高扩展性：使用普通x86服务器，支持PB级的扩展。高可靠性：没有单点故障，多数据副本，自动管理，自动修

35、复。高性能：数据分布均衡，并行化度高。对于objects storage和block storage,不需要元数据服务器。1.5 ceph背景目前Inktank公司掌控Ceph的开发，但Ceph是开源的，遵循LGPL协议。Inktank还积极整合Ceph和其他云计算和大数据平台，目前Ceph支持OpenStack、CloudStack、OpenNebula、Hadoop等。当前Ceph的最新稳定版本0.67(Dumpling),它的objects storage和block storage已经足够稳定，而且Ceph社区还在继续开发新功能，包括跨机房部署和容灾、支持Erasure encodin

36、g等。Ceph具有完善的社区设施和发布流程 HYPERLINK /blog/ceph-distributed-block-storage/ l 2_Ceph 1(每三个月发布一个稳定版本) 。目前Ceph有很多用户案列，这是2013.03月Inktank公司在邮件列表中做的调查，共收到了81份有效反馈 HYPERLINK /community/results-from-the-ceph-census/ 2。从调查中可以看到有26%的用户在生产环境中使用Ceph，有37%的用户在私有云中使用Ceph，还有有16%的用户在公有云中使用Ceph。目前Ceph最大的用户案例是Dreamhost的Obj

37、ect Service，目前总容量是3PB，可靠性达到99.99999%1.6 ceph架构1.6.1组件Ceph的底层是RADOS，它的意思是“A reliable, autonomous, distributed object storage”。 RADOS由两个组件组成：OSD： Object Storage Device，提供存储资源。Monitor：维护整个Ceph集群的全局状态。RADOS具有很强的扩展性和可编程性，Ceph基于RADOS开发了Object Storage、Block Storage、FileSystem。Ceph另外两个组件是：MDS：用于保存CephFS的元数据

38、。RADOS Gateway：对外提供REST接口，兼容S3和Swift的API。1.6.2映射Ceph的命名空间是 (Pool, Object)，每个Object都会映射到一组OSD中(由这组OSD保存这个Object)：(Pool, Object) (Pool, PG) OSD set DiskCeph中Pools的属性有：Object的副本数Placement Groups的数量所使用的CRUSH Ruleset在Ceph中，Object先映射到PG(Placement Group)，再由PG映射到OSD set。每个Pool有多个PG，每个Object通过计算hash值并取模得到它所对

39、应的PG。PG再映射到一组OSD（OSD的个数由Pool 的副本数决定），第一个OSD是Primary，剩下的都是Replicas。数据映射(Data Placement)的方式决定了存储系统的性能和扩展性。(Pool, PG) OSD set 的映射由四个因素决定：CRUSH算法：一种伪随机算法。OSD MAP：包含当前所有Pool的状态和所有OSD的状态。CRUSH MAP：包含当前磁盘、服务器、机架的层级结构。CRUSH Rules：数据映射的策略。Client从Monitors中得到CRUSH MAP、OSD MAP、CRUSH Ruleset，然后使用CRUSH算法计算出Object

40、所在的OSD set。所以Ceph不需要Name服务器，Client直接和OSD进行通信。1.6.3强一致性Ceph的读写操作采用Primary-Replica模型，Client只向Object所对应OSD set的Primary发起读写请求，这保证了数据的强一致性。由于每个Object都只有一个Primary OSD，因此对Object的更新都是顺序的，不存在同步问题。当Primary收到Object的写请求时，它负责把数据发送给其他Replicas，只有这个数据被保存在所有的OSD上时，Primary才应答Object的写请求，这保证了副本的一致性。1.6.4容错性在分布式系统中，常见的故

41、障有网络中断、掉电、服务器宕机、硬盘故障等，Ceph能够容忍这些故障，并进行自动修复，保证数据的可靠性和系统可用性。Monitors是Ceph管家，维护着Ceph的全局状态。Monitors的功能和zookeeper类似，它们使用Quorum和Paxos算法去建立全局状态的共识。OSDs可以进行自动修复，而且是并行修复。故障检测：OSD之间有心跳检测，当OSD A检测到OSD B没有回应时，会报告给Monitors说OSD B无法连接，则Monitors给OSD B标记为down状态，并更新OSD Map。当过了M秒之后还是无法连接到OSD B，则Monitors给OSD B标记为out状态(

42、表明OSD B不能工作），并更新OSD Map。备注：可以在Ceph中配置M的值。故障恢复：当某个PG对应的OSD set中有一个OSD被标记为down时(假如是Primary被标记为down，则某个Replica会成为新的Primary，并处理所有读写 object请求)，则该PG处于active+degraded状态，也就是当前PG有效的副本数是N-1。过了M秒之后，假如还是无法连接该OSD，则它被标记为out，Ceph会重新计算PG到OSD set的映射(当有新的OSD加入到集群时，也会重新计算所有PG到OSD set的映射)，以此保证PG的有效副本数是N。新OSD set的Primar

43、y先从旧的OSD set中收集PG log，得到一份Authoritative History(完整的、全序的操作序列)，并让其他Replicas同意这份Authoritative History(也就是其他Replicas对PG的所有objects的状态达成一致)，这个过程叫做Peering。当Peering过程完成之后，PG进 入active+recoverying状态，Primary会迁移和同步那些降级的objects到所有的replicas上，保证这些objects 的副本数为N。1.7 ceph优点1.7.1高性能Client和Server直接通信，不需要代理和转发多个OSD带来的高

44、并发度。objects是分布在所有OSD上。负载均衡。每个OSD都有权重值(现在以容量为权重)。client不需要负责副本的复制(由primary负责),这降低了client的网络消耗。1.7.2高可靠性数据多副本。可配置的per-pool副本策略和故障域布局，支持强一致性。没有单点故障。可以忍受许多种故障场景；防止脑裂；单个组件可以滚动升级并在线替换。所有故障的检测和自动恢复。恢复不需要人工介入，在恢复期间，可以保持正常的数据访问。并行恢复。并行的恢复机制极大的降低了数据恢复时间，提高数据的可靠性。1.7.3高扩展性高度并行。没有单个中心控制组件。所有负载都能动态的划分到各个服务器上。把更多

45、的功能放到OSD上，让OSD更智能。自管理。容易扩展、升级、替换。当组件发生故障时，自动进行数据的重新复制。当组件发生变化时(添加/删除)，自动进行数据的重分布。1.8 在openstack中选择ceph作为后端存储的考虑如何选择后端存储，可以从性能、可靠性、价格三方面考虑:假如本来就有SAN或NAS，而且cinder也支持，则就可以直接用, SAN和NAS的缺点(价格高、数据与计算分离、扩展性差、带宽有限制)GlusterFS作为块设备存储的缺点(不在kernel、使用fuse，速度慢；另外本人在基于分布式存储glusterfs的openstack中测试虚机在线迁移碰到严重bug，导致迁移后

46、的虚机不可用)对成本敏感的也可以选择iSCSI+LVM+RAID的方案要综合解决虚拟机存储的安全，成本，性能的问题，也可以用ceph和sheepdog目前sheepdog，只能支持kvmceph的优点(c+编写、在主线kernel中、client运行在内核态、支持普通硬件、线性扩展)块设备存储解决方案必备条件(线性扩展、自动化)1.9 虚拟化知识介绍(待补充)1.10 本次测试主机规划本次测试中，openstack所有节点角色如下节点名称Ceph客户端(Y/N)Ceph 服务端(Y/N)节点在OpenStack中的作用运行的openstack服务Controller是否控制节点= Nova s

47、ervices =openstack-nova-api: activeopenstack-nova-cert: activeopenstack-nova-scheduler: activeopenstack-nova-conductor: active= Glance services =openstack-glance-api: activeopenstack-glance-registry: active= Keystone service =openstack-keystone: active= Horizon service =openstack-dashboard: active=

48、Cinder services =openstack-cinder-api: activeopenstack-cinder-scheduler: activeopenstack-cinder-volume: active= Support services =mysqld: activemessagebus: activetgtd: activeqpidd: activememcached: activeCompute1是是计算节点= Nova services =openstack-nova-compute: activeopenstack-nova-network: active= Cin

49、der services =openstack-cinder-api: active (disabled on boot)openstack-cinder-scheduler: active (disabled on boot)openstack-cinder-volume: active= Support services =libvirtd: activemessagebus: activetgtd: activeCompute2是是计算节点= Nova services =openstack-nova-compute: activeopenstack-nova-network: acti

50、ve= Cinder services =openstack-cinder-api: active (disabled on boot)openstack-cinder-scheduler: active (disabled on boot)openstack-cinder-volume: active= Support services =libvirtd: activemessagebus: activetgtd: active二、本地YUM源配置2.1 YUM源介绍本地安装openstack icehouse+ceph需要如下yum源:Centos6.5 x86 64位安装介质，dvd1

51、,dvd2都要epel源openstack icehouse版安装源内核本地yum升级源ceph安装源ceph额外包2.2下载相关包请在能够联网的linux主机上执行下载命令1. Centos6.5 x86 64位安装介质请自行下载2. epel相关包,针对Centos系统使用，该包较大，约18Gwget -S -c -r -np -L /epel/6/x86_64/ wget -S -c -r -np -L /epel/6/x86_64/debug/3. icehouse相关包wget -S -c -r -np -L /repos/openstack/openstack-icehouse/e

52、pel-6/4. 内核升级相关包 wget -S -c -r -np -L /RPM-GPG-KEY-(校验文件)wget -S -c -r -np -L /download/elrepo/elrepo/el6/x86_64/wget -S -c -r -np -L/download/elrepo/testing/el6/x86_64/wget -S -c -r -np -L/download/elrepo/kernel/el6/x86_64/wget -S -c -r -np -L/download/elrepo/extras/el6/x86_64/wget -S -c -r -np -L

53、/download/elrepo/kernel/el6/SPECS/ceph相关包wget -S -c -r -np -L /rpm-emperor/el6-安装包wget -S -c -r -np -L /packages/ceph-extras/rpm/centos6/SRPMS-额外包wget -S -c -r -np -L /packages/ceph-extras/rpm/centos6/noarch-额外包wget -S -c -r -np -L /packages/ceph-extras/rpm/centos6/x86_64-额外包通过浏览器访问地址：/git/?p=ceph.g

54、it;a=blob_plain;f=keys/release.asc拷贝出页面内容，在本地保存成release.asc校验文件2.3配置YUM源2.3.1安装包准备本文将yum源服务器直接放到openstack controller主机(ip为24),YUM源服务器需要安装httpd和ftp服务，需提前装好。将centos6.5安装介质解压并拷贝至/var/www/html/目录，dvd1对应/var/www/html/mnt目录，dvd2对应/var/www/html/mnt1目录;将icehouse包拷贝至/var/www/html/rdorelease目录;将内核升级相关包及校验文件拷贝

55、至/var/www/html/kernel目录;将epel包拷贝至/var/www/html/epel目录;将ceph安装包及校验文件拷贝至/var/www/html/ceph目录将cpeh额外包拷贝至/var/www/html/ceph-extras目录2.3.2安装createrepo工具进入centos6.5 x86 64 dvd1安装介质中Packages目录,即/var/www/html/mnt/Packages/rpm ivh /var/www/html/mnt/Packages/createrepo-0.9.9-18.el6.noarch.rpm2.3.3 使用createrep

56、o创建软件仓库并发布Cd /var/www/html/-该目录是httpd服务的默认home目录createrepo cephcreaterepo ceph-extrascreaterepo epelcreaterepo kernelcreaterepo mntcreaterepo mnt1createrepo rdorelease 重启httpdService httpd restart2.3.4 客户端配置yum 文件指向yum服务器待openstack各节点操作系统安装好后，进入各节点 /etc/yum.repos.d/目录，删除所有以.repo结尾的文件，新建如下文件: CentOS-

57、Base.reporootcontroller yum.repos.d# vi CentOS-Base.repocentos1name=CentOS1baseurl=24/mntgpgcheck=0enabled=1centos2name=CentOS2baseurl=24/mnt1gpgcheck=0enabled=1ceph_deploy.reporootcontroller yum.repos.d# vi ceph_deploy.repocephdeployreponame=Ceph deploybaseurl=24/cephenabled=1gpgcheck=1gpgkey=24/ce

58、ph/release.ascceph-extras.reporootcontroller yum.repos.d# vi ceph-extras.repocephextrasname=Ceph extrasbaseurl=24/ceph-extrasenabled=1gpgcheck=1gpgkey=24/ceph/release.asccephrepo.reporootcontroller yum.repos.d# vi cephrepo.repocephreponame=Ceph noarch packagesbaseurl=24/cephenabled=1gpgcheck=1type=r

59、epo-mdgpgkey=24/ceph/release.ascepel.reporootcontroller yum.repos.d# vi epel.repo epelname=epelbaseurl=24/epel/enabled=1gpgcheck=0rdo-release.reporootcontroller yum.repos.d# vi rdo-release.repo openstack-icehousename=OpenStack Icehouse Repositorybaseurl=24/rdoreleaseenabled=1gpgcheck=0myrepo.repo-该r

60、epo是ceph部署工具ceph_deploy自动产生的rootcontroller yum.repos.d# vi myrepo.repo myreponame=myrepo repobaseurl=24/cephenabled=1gpgcheck=1type=repo-mdgpgkey=24/ceph/release.asckernel.reporootcompute1 yum.repos.d# vi kernel.repo kernelname=kernelbaseurl=24/kernelenabled=1gpgcheck=1gpgkey=24/kernel/RPM-GPG-KEY-p