使用proxmox ve搭建基于ceph存储的高可用集群

使⽤ProxmoxVE搭建基于Ceph的⾼可⽤集作者：韧体就是联系⽅式：hostloc@韧体就是我⼀.综对于中⼩企业来说，把基础业务部署在虚拟化平台上⽆疑是最好的选择。当前⽅便部署且完整度⽐较⾼的私有云虚拟化管理平台有以下⼏种，⼤体可分为商业版的和开源的。商业版的有：VMe公司的vCeer、Oce公司的OaceVMServer、Ctrx公司的enServer、红帽公司的RHEV、公司的 e、云轴司的ack等。开源的则基本都是基于VM虚拟技的有Oeack、PrxxVE、Vrt、Clock、OpenNebula、Eucalyptus等商业版的暂且不做考虑，费⽤太⾼根本不是中⼩企业可以承受的。开源的其中OpenStack功能最为强⼤，但是部署和⽇常太过复杂。OpenNebula、Eucalyptus技术已显⽼旧社区也不活跃对于⽇后多有不便。oVirt和CloudStack则分别对标vCenter和OpenStack但对于中⼩企业特别是计算节点在50以内的⼩企业来说部署和⽇常使⽤仍显繁琐。综合看来ProxmoxVE⽆疑是最好的选择。ProxmoxVE是奥地利⼀家名为ProxmoxServerSolutions的公司于2008年发布的⼀款完全开源的企业级虚拟化管理平台，可以通过Web界⾯⾮常⽅便的管理QEMU/KVM虚拟机和LXC容器。ProxmoxVE创新的采⽤了去中⼼化设计，不再需要独⽴的管理节点。搭配上类似Ceph这样的分布式系统，可以实现最佳的⾼性能、⾼可⽤性、本⽂通过搭建⼀个简单的三机集群来演⽰和说明ProxmoxVE集群的配置与使⽤⼆.实验环基本想法是，3个物理节点的集群pve1(IP:1FQDN:xmox.sitepve2(IP:2FQDN:xmox.site)、pve3(IP:3FQDN:xmox.site)，组成HA，具体如下：⽹需要创建内部集群管理⽹络、业务⽹络、Ceph⽹络，3个⽹络，在本⽂档的实验环境中每台机器的三块⽹卡分别对应/24为业务⽹络，/24为内部集群⽹络，/24为Ceph⽹络，具体详⻅除了系统盘之外，每台物理机使⽤2块硬盘贡献出来作为Ceph池使⽤，并建⽴CephFS作为镜像和备份⽬录使⽤，这样可以⽐较灵活，需要实现HA功能的虚拟机可以放在Ceph池。其他硬可根据实际需要调整，但需要注意的是CPU必须⽀持虚拟化技术并需要在主板BIOS中开启虚拟化⽀持。如需实PCI须⽀持VT-d要加速⽹络虚拟还需⽀持VT-c三.系统安 /en/downloadsProxmoxVE5.3ISOInstaller，使⽤rufus把来的iso⽂件写⼊U盘进⾏安装。安装过程⽐较简单这⾥不再赘述，唯⼀需要注意的⼀点是Hostname必须设置为完整的FQDN格式。因为ProxmoxVE相关业务需要依赖正确的解析，但是我们的实验环境中并没有配置解析服务器，所以安装结束后需⾸先通过SSH登录三台服务器分别配置。root@pve1:~root@pve1:~#cat>>/etc/hosts<<EOF2xmox.sitepve3root@pve2:~#cat>>/etc/hosts<<EOF1xmox.sitepve3root@pve3:~#cat>>/etc/hosts<<EOF1xmox.sitepve2下。设置社区rmrm-f/etc/apt/sources.list.d/pve-echo /debian/pvestretchpve-no->/etc/apt/sources.list.d/pve-install- /debian/proxmox-ve-release-5.x.gpg-aptupdate&&aptdist-upgrade设置时钟同apt-getapt-getinstallntpdatentpdateecho"0****/usr/sbin/ntpdate1>/dev/null2>&1">>配置集群和Ceph⽹络通过浏览器分别登录三台ProxmoxVE设置额外的两个⽹桥，分别绑定其余两张⽹卡，IP设置为/24⽹⾄此系统安装已算完成，接下来我们配置集群和Ceph四.集群配⾸先在pve1(1)上⾯创建集群，集群取名为OpenVMroot@pve1:~#root@pve1:~#pvecmcreatetest--ring0_addr--bindnet0_addr接下来，通过ssh登陆其他两个pve节点，执⾏pvecmadd加⼊集群root@pve2:~root@pve2:~#pvecmadd-ring0_addr-ring1_addrroot@pve3:~#root@pve3:~#pvecmadd-ring0_addr-ring1_addr我们可以在任意⼀个节点上root@pve1:~root@pve1:~#pvecm⾄此集群搭建完成，下⾯我们接着配置Ceph五.Ceph集群的安装ProxmoxVE⽀持两种磁盘，⼀种是服务器本地⾃带磁盘，另⼀种是外部设备的磁盘。对于服务器本地磁盘，可以配置成本地⽬录、ZFS、BRD、LVM⼏种形式。对于外部设备的磁盘，可以通过NFS，ISCSI或者FC协议挂载到ProxmoxVE上使⽤。其中NFS挂载上后，可以直接作为⽂件使⽤，通过ISCSI或者FC协议挂载后，ProxmoxVE会识别为磁盘设备，还需要进⼀步配置后才可以使⽤。例如可以配置成LVM，作为卷使⽤，也可以配置成本地⽬录，作为⽂件使⽤，但强烈建议不要配置为ZFS使⽤，因为ZSF的特点是要求能直接管理物理磁盘设备，如果中间有RAID卡等，会严重影响ZFS的正常运⾏。当然，⽤⼾也可以配置外部的GlusterFS、Ceph等基于服务器的分布式前⾯多次提到了⽂件和卷两个概念，⼜有什么区别呢？主要是ProxmoxVE对于使⽤是有多种需求的，例如对于虚拟磁盘，就有raw，qcow2，vmdk三种，另外还有iso镜像⽂件、gz容器模版⽂件、虚拟机备份⽂件的保存需求，这些都需要⽂件才可以实现。当然，⽤⼾也可以直接⽤⽤lvm逻辑卷或zvol逻辑卷或rbd卷的⽅式保存虚拟机的磁盘，相当于raw格式的效果，这就可以使⽤卷来实现。安装⾸先在每个节点上安装ceph，详⻅ /pve-docs/chapter-pveceph.htmlroot@pve1:~#pvecephroot@pve1:~#pvecephinstall--versionluminousroot@pve2:~#pvecephinstall--versionluminousroot@pve3:~#pvecephinstall--versionluminous配置Ceph集 ⽹在任意节点配置Ceph集 root@pve1:~root@pve1:~#pvecephinit--network创建Ceph集 执⾏这⼀步时会顺带安装CephWebroot@pve1:~#root@pve1:~#pveceph现在可以登录任Web理界⾯继续Ceph。在管理界⾯的任意节点的Ceph到“监视器”项，继续创建其余两个节点的Mon器。创建Ceph⾸先在节点pve1上创建两个OSD接着是节点pve2pve3创建⾸先创建三个节点的MDS接着创建CephFS ”界⾯已经出现了⼀个挂载好的cephfs类别是CephFS内容是VZ备份、ISO映像、容器模板。我们可以把需要⽤到的ISO⽂件上传进去，并且容器模板。创建集 资源在Ceph下的Pools界⾯分别创建资源池ceph-vm和ceph-lxc⽤来虚拟机资源和容器资源ID和密钥到指定⽂件位置在任意节点执⾏root@pve1:~root@pve1:~#cp/etc/ceph/ceph. .admin.keyring/etc/pve/priv/ceph.keyringroot@pve1:~#cp/etc/pve/priv/ceph. .admin.keyring/etc/pve/priv/ceph/ceph1.keyring添加RBD在“数据中⼼”的 ”⻚添加RBD六.简单测经过上⾯五步我们的集群就配置好了。我们来做个简单的测试来测试⼀下集群内虚拟机的热迁移，⾄于HA以后有时间再配置。上传 在Web管理⻚任选⼀个节点下的cephfs，在内容⻚上传⼀个iso格式的安装镜像上传结束后会发现此镜像⽂件会被分别到其他两个节点的cephfs内创建⼀个虚拟机并实施热在“使⽤CD/DVD光盘