cloudstack4.10版本安装部署第三版.docx

cloudstack4.10版本安装部署配置注：所有节点操作系统必须为64位，management节点为上的虚拟机，内存8G,双核cpu，开始内存4G安装完后报资源不足。host节点必须支持硬件虚拟化，并且在bios中开启，添加host节点时，节点上不能有在运行虚拟机，最好所有节点都为全新安装的最小化系统。KVM安装部署安装环境：管理节点management: 13 CentOS7-minimalKvm host节点1： 02 CentOS7-minimalKvm host节点2： 48 CentOS7-minimal管理节点management安装1. 以root身份登录到操作系统。2. 检查一个完全合格的主机名。hostname -fqdn应该返回一个完全合格的主机名，例如””,如果没有，则执行hostnamectl set-hostname 进行修改主机名，并且在/etc/hosts中添加13 3. 确保机器可以连接到互联网。ping 4.关闭SELINUX vi /etc/selinux/config更改为SELINUX=disabled。注：此处必须重新启动系统，否则配置不会生效。5.关闭防火墙systemctl stopfirewalld.servicesystemctl disablefirewalld.service6.安装配置NTP yum install ntp systemctl enablentpd.service7.安装配置MySQL mkdir/opt/mysql cd/opt/mysql wget /get/mysql-community-release-el7-5.noarch.rpm 注：如果是最小化安装，此处会提示wget命令找不到，执行下面命令，安装wget。yum install wgetrpm -ivhmysql-community-release-el7-5.noarch.rpmyum installmysql-community-server 安装完成后，在/etc/f文件的mysqld标签下添加以下内容并保存。innodb_rollback_on_timeout=1innodb_lock_wait_timeout=600max_connections=350log-bin=mysql-binbinlog-format = ROW然后启动mysqlsystemctl startmysqld.servicesystemctl enablemysqld.service然后运行以下命令初始化数据库 mysql_secure_installation注：若是在管理节点上安装mysql，则所有都可以回答”y”,若是mysql为单独节点，则其中的“禁止root远程登录”选择“n”。8.安装ManagementServer 创建cloudstack本地源vi /etc/yum.repos.d/cloudstack.repo 按i在其中添加以下内容：cloudstackname=cloudstackbaseurl=http:/cloudstack.apt-get.eu/centos7/4.10/enabled=1gpgcheck=0:wq保存退出，然后刷新yum源的缓存yum clean allyum makecache 缓存刷新完后，可以开始安装management了 yum install cloudstack-management 安装完成后，建立数据库cloudstack-setup-databases cloud:123456localhost -deploy-as=root:123456注：cloud:123456为新建的cloudstack数据库用户和密码 若在管理节点上安装mysql，则一定为localhost，不能为管理节点ip，除非数据库初始化时没有禁止root远程登录。 root:123456为数据库用户root的密码，为初始化数据库时候设置的密码，并非操作系统的密码。配置管理服务器cloudstack-setup-management-tomcat7启动管理服务器systemctlstartcloudstack-management.service9.配置NFS存储安装NFSyum -yinstallnfs-utilsrpcbind systemctlenablerpcbind.servicesystemctlenablenfs-server.servicesystemctlstartrpcbind.servicesystemctlstartnfs-server.service在存储服务器上，为辅助存储创建一个NFS共享，如果也使用NFS作为主存储，则创建第二个NFS共享。例如：mkdir -p /export/primary mkdir -p /export/secondary要将新目录配置为NFS导出，请编辑/ etc / exports。使用rw，async，no_root_squash，no_subtree_check导出NFS共享。例如：vi /etc/exports插入以下行。/export *(rw,async,no_root_squash,no_subtree_check)导出目录。exportfs -a编辑/etc/sysconfig/nfs文件。vi /etc/sysconfig/nfs取消注释以下几行：LOCKD_TCPPORT=32803LOCKD_UDPPORT=32769MOUNTD_PORT=892RQUOTAD_PORT=875STATD_PORT=662STATD_OUTGOING_PORT=2020重新启动NFS服务systemctlrestartrpcbind.servicesystemctlrestartnfs-server.service在管理服务器上，为辅助存储创建一个安装点。例如：mkdir -p /mnt/secondary在管理服务器上安装辅助存储。用你自己的替换下面的示例NFS服务器名称和NFS共享路径mount -t nfs 13:/export/secondary /mnt/secondary可以输入df -h查看挂载状态。10.导入虚拟机模板模板下载路径：http:/cloudstack.apt-get.eu/systemvm/4.10/将下载好的模板上传到二级存储的挂载点上，此处应为/mnt/secondary，即为df -h 出来的挂载点的目录。切到挂载点目录下：cd /mnt/secondary导入模板：kvm模板：/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt -m /mnt/secondary -f systemvm64template-4.10--kvm.qcow2.bz2 -h kvm F注：将其中的挂载点目录和安装的模板名称根据实际替换。卸载掉挂载点：umount /mnt/secondary注：卸载的时候可能会报device is busy的错，关闭当前命令窗口，重新打开一个，再输入卸载命令即可。卸载掉挂载点后，即可通过浏览器访问，建议谷歌浏览器。访问路径:13/8080/client默认账号：admin，密码：password,即可开始配置云。至此，管理节点配置完成。kvm主机的配置和安装1.以root身份登录到操作系统。检查一个完全合格的主机名。hostname -fqdn2.应该返回一个完全合格的主机名，例如””,如果没有，则执行hostnamectl set-hostname 进行修改主机名，并且在/etc/hosts中添加13 确保机器可以连接到互联网。ping 3.关闭SELINUX vi /etc/selinux/config更改为SELINUX=disabled。注：此处必须重新启动系统，否则配置不会生效。4.关闭防火墙systemctl stopfirewalld.servicesystemctl disablefirewalld.service5.安装配置NTP yum install ntp systemctl enablentpd.service6.安装agent创建cloudstack本地源vi /etc/yum.repos.d/cloudstack.repo 按i在其中添加以下内容：cloudstackname=cloudstackbaseurl=http:/cloudstack.apt-get.eu/centos7/4.10/enabled=1gpgcheck=0:wq保存退出，然后刷新yum源的缓存yum clean allyum makecache 缓存刷新完后，就可以开始安装agent了yum install cloudstack-agent7.安装KVM虚拟化环境 安装kvmyumgroupinstall-yVirtualizationVirtualizationClientlsmod|grepkvm编辑配置文件vi /etc/libvirt/qemu.conf并取消如下行的注释vnc_listen=编辑配置文件vi /etc/libvirt/libvirtd.conf配置以下参数listen_tls=0listen_tcp=1tcp_port=16059auth_tcp=nonemdns_adv=0修改vi /etc/sysconfig/libvirtd中的参数，取消如下行的注释：LIBVIRTD_ARGS=-listen完成后重启libvirtdsystemctlrestartlibvirtd.servicesystemctlenablelibvirtd.service配置agentvi/etc/cloudstack/agent/pertiescloudstack管理服务器地址host=138.配置桥接网络 agent会用到网桥，默认为cloudbr0 首先在agent主机上，输入下面命令，查看已有网桥brctl show 并且查看启用状态，一般名称为virbr0。 将已有网桥停掉ifconfig virbr0 down 如果是最小化安装系统，会提示ifconfig命令找不到，执行下面命令，安装ifconfig命令所需包yum install net-tools 删除已有网桥brctl delbr virbr0创建桥接网卡配置文件vi/etc/sysconfig/network-scripts/ifcfg-cloudbr0加入以下内容TYPE=BridgeBOOTPROTO=noneNAME=cloudbr0DEVICE=cloudbr0ONBOOT=yesIPADDR=48PREFIX=16GATEWAY=54DNS1=3保存退出。修改使用的网卡， vi/etc/sysconfig/network-scripts/ifcfg-enp5s0在文件末尾加入BRIDGE=cloudbr0保存退出。重启网络服务systemctlrestartNetworkManager.servicesystemctlrestartnetwork.service9.初始化cloudstack-agentcloudstack-setup-agent一路回车就可以。systemctlrestartcloudstack-agent.servicesystemctlrestartlibvirtd.service此时，kvm主机已经配置完成，可以在管理节点的web端中加入此主机。XenServer安装部署安装环境：管理节点management: 13 CentOS7-minimalXenserver host节点: 14 Xenserver6.5管理节点management安装3. 以root身份登录到操作系统。4. 检查一个完全合格的主机名。hostname -fqdn应该返回一个完全合格的主机名，例如””,如果没有，则执行hostnamectl set-hostname 进行修改主机名，并且在/etc/hosts中添加13 3. 确保机器可以连接到互联网。ping 4.关闭SELINUX vi /etc/selinux/config更改为SELINUX=disabled。注：此处必须重新启动系统，否则配置不会生效。5.关闭防火墙systemctl stopfirewalld.servicesystemctl disablefirewalld.service6.安装配置NTP yum install ntp systemctl enablentpd.service7.安装配置MySQL mkdir/opt/mysql cd/opt/mysql wget /get/mysql-community-release-el7-5.noarch.rpm 注：如果是最小化安装，此处会提示wget命令找不到，执行下面命令，安装wget。yum install wgetrpm -ivhmysql-community-release-el7-5.noarch.rpmyum installmysql-community-server 安装完成后，在/etc/f文件的mysqld标签下添加以下内容并保存。innodb_rollback_on_timeout=1innodb_lock_wait_timeout=600max_connections=350log-bin=mysql-binbinlog-format = ROW然后启动mysqlsystemctl startmysqld.servicesystemctl enablemysqld.service然后运行以下命令初始化数据库 mysql_secure_installation注：若是在管理节点上安装mysql，则所有都可以回答”y”,若是mysql为单独节点，则其中的“禁止root远程登录”选择“n”。8.安装ManagementServer 创建cloudstack本地源vi /etc/yum.repos.d/cloudstack.repo 按i在其中添加以下内容：cloudstackname=cloudstackbaseurl=http:/cloudstack.apt-get.eu/centos7/4.10/enabled=1gpgcheck=0:wq保存退出，然后刷新yum源的缓存yum clean allyum makecache 缓存刷新完后，可以开始安装management了 yum install cloudstack-management 安装完成后，建立数据库cloudstack-setup-databases cloud:123456localhost -deploy-as=root:123456注：cloud:123456为新建的cloudstack数据库用户和密码 若在管理节点上安装mysql，则一定为localhost，不能为管理节点ip，除非数据库初始化时没有禁止root远程登录。 root:123456为数据库用户root的密码，为初始化数据库时候设置的密码，并非操作系统的密码。配置管理服务器cloudstack-setup-management-tomcat7启动管理服务器systemctlstartcloudstack-management.service下载VHD-UTIL此过程仅适用于XenServer安装在管理程序主机上的安装。在设置Management Server之前，从/tools/vhd-util下载vhd-util。并将其复制到Management Server中。/usr/share/cloudstack-common/scripts/vm/hypervisor/xenserver并配置权限为755。9.配置NFS存储安装NFSyum -yinstallnfs-utilsrpcbind systemctlenablerpcbind.servicesystemctlenablenfs-server.servicesystemctlstartrpcbind.servicesystemctlstartnfs-server.service在存储服务器上，为辅助存储创建一个NFS共享，如果也使用NFS作为主存储，则创建第二个NFS共享。例如：mkdir -p /export/primary mkdir -p /export/secondary要将新目录配置为NFS导出，请编辑/ etc / exports。使用rw，async，no_root_squash，no_subtree_check导出NFS共享。例如：vi /etc/exports插入以下行。/export * （ rw，async，no_root_squash，no_subtree_check ）导出目录。exportfs -a编辑/etc/sysconfig/nfs文件。vi / etc / sysconfig / nfs取消注释以下几行：LOCKD_TCPPORT=32803LOCKD_UDPPORT=32769MOUNTD_PORT=892RQUOTAD_PORT=875STATD_PORT=662STATD_OUTGOING_PORT=2020重新启动NFS服务systemctlrestartrpcbind.servicesystemctlrestartnfs-server.service在管理服务器上，为辅助存储创建一个安装点。例如：mkdir -p /mnt/secondary在管理服务器上安装辅助存储。用你自己的替换下面的示例NFS服务器名称和NFS共享路径mount -t nfs 13:/export/secondary /mnt/secondary可以输入df h查看挂载状态。10.导入虚拟机模板模板下载路径：http:/cloudstack.apt-get.eu/systemvm/4.10/将下载好的模板上传到二级存储的挂载点上，此处应为/mnt/secondary，即为df -h 出来的挂载点的目录。切到挂载点目录下：cd /mnt/secondary导入模板：xenserver模板：/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt -m /mnt/secondary -f systemvm64template-4.10--xen.vhd.bz2 -h xenserver F注：将其中的挂载点目录和安装的模板名称根据实际替换。卸载掉挂载点：umount /mnt/secondary注：卸载的时候可能会报device is busy的错，关闭当前命令窗口，重新打开一个，再输入卸载命令即可。卸载掉挂载点后，即可通过浏览器访问，建议谷歌浏览器。访问路径:13/8080/client默认账号：admin，密码：password,即可开始配置云。至此，管理节点配置完成。xenserver主机的配置和安装CSP功能已经存在于XenServer 6.1以上版本中,下面以6.5版本为例1. 首先，关闭防火墙。service iptables stopchkconfig iptables off2运行下面的命令xe-switch-network-backend bridge3.修改配置文件vi /etc/sysctl.conf中的以下内容net.bridge.bridge-nf-call-iptables = 1net.bridge.bridge-nf-call-ip6tables = 0net.bridge.bridge-nf-call-arptables = 1然后重启机器reboot再输入下面命令，看配置是否生效sysctl -p /etc/sysctl.conf至此，xen主机已经配置完成，可以由管理节点加入。WEB端的配置访问路径:13/8080/client，建议谷歌浏览器默认账号：admin，密码：password,即可开始配置云。登陆后，界面为下图选择继续执行基本安装添加资源域添加提供点添加来宾网络添加集群，注：此处的虚拟机管理程序为管理节点导入的模板类型，也为后面要添加的主机的配置类型。添加主机，此处为主机的root用户的用户名和密码。添加主存储。添加二级存储，注：此处二级存储要为前面配置管理节点时导入模板的路径，即被挂载的存储的服务器和路径。添加完成，点击启动。配置完成后，出现配置成功界面。至此，配置完成，点击启动按钮，即可进入主界面。点击左侧基础架构标签页，即可查看添加的基本情况。注：1.如果此时添加ISO镜像，ISO镜像不能自动下载，全局设置中的参数限制了镜像下载，需进行修改。将这两个参数修改为你自己的网段，重新启动管理节点服务，ISO即可自动下载。2.添加完镜像后，添加实例并安装操作系统，此时，操作系统不能由外部进行ssh连接，需要修改安全组中的出入规则，如下图：按图修改完后，即可从外部网段对新添加的实例进行ssh连接。3. 虚拟机删除以后依然存在 CloudStack中为了防止虚拟机误删，默认在删除后保存一天，即86400s。在Global Setting中，将expunge.delay修改为想要保存的时间，如果不考虑误删，想即刻删除，只要将expunge.delay设置为1即可。4. 如何自动在一级存储里清理未使用的模板storage.cleanup.enabledEnables/disables the storage cleanup ervalThe interval (in seconds) to wait before running the storage cleanup thread.86400storage.template.cleanup.enabledEnable/disable template cleanup activity, only take effect when overall storage cleanup is enabledtrueCloudStack是默认每隔24小时将未使用的模板删除，未使用的意思就是说目前没有运行的虚拟机是基于此模板创建的，只要有运行的虚拟机是基于此模板创建的就不会删除，如果虚拟机卸载后，此模板没有对应的虚拟机了，那么过24小时就会删除。5. 系统虚拟机异常有时经常出现二级存储或者控制台莫名其妙无法使用，并且并没有进行什么操作，重启系统虚拟机也无法使用，这个应该是CloudStack的BUG，执行如下脚本重启系统虚拟机即可使用nohup cloudstack-sysvmadm -d localhost -u cloud p 123456 -a sysvm.log 2&1 &-u数据库用户名-p 数据库密码6. CloudStack在遇见突发的停电或断网情况下，有可能出现很多异常的状态，如主机存储的警告状态，虚拟机不能正常运行或启动。在运营维护中，为了保证CS内个物理设备和VM的状态稳定，我这里有一个关机顺序的建议。 在UI上关闭所有的VM。 在UI上将主存储进入维护模式，再等待所有系统虚拟机也关机。 在UI上将host进入维护模式， 关闭CS服务。 关闭mysql数据库 关闭相关硬件设备重启的时候用相反的操作进行就可以。以上步骤是在计划内停机的情况下做的操作。如果是突然断电造成VM不能启动，大部分是由于存储原因，或host同步状态问题造成的，需要看log分析，一般也都能恢复回来。 出现问题后，需要检查的几个地方： 存储的运行状态 存储和Hypervisor的连接状态 Hypervisor和管理节点的连接状态 如果相互连接都没有问题，可以尝试在UI上将主机进入维护模式，再退出。或者直接进入DB将主机的状态直接改为UP。7.系统内存在还有剩余的时候，突然创建虚拟机报错了，这是因为在全局参数中有配置cluster.memory.allocated.capacity.disablethresholdCluster中memory分配率上限，memory分配量/memory可用量不能超过该值；类型：小数（01）；默认：0.85，此参数建议默认，不建议修改，否则会出现一些无法预知的错误。8.kvm虚拟机VM快照创建不成功，因为在已启动的时候，如果只是创建磁盘快照，就应该在实例中，点击虚拟机，选择查看卷，选择创建快照。虚拟机创建快照虚拟机快照的限制 如果虚拟机具有一些存储的快照，则无法将新卷附加到虚拟机或删除任何现有卷。如果更改虚拟机上的卷，将无法恢复使用以前的卷结构创建的虚拟机快照。如果要将卷附加到此类虚拟机，请首先删除其快照。 包含数据卷和内存的虚拟机快照如果更改虚拟机的服务产品，则无法保留。任何现有的这种类型的虚拟机快照都将被丢弃。 您无法在创建卷快照的同时创建虚拟机快照。 您应该只使用CloudStack在由CloudStack管理的主机上创建VM快照。您在管理程序中直接创建的任何快照都不会在CloudStack中进行跟踪。配置虚拟机快照 云管理员可以使用全局配置变量来控制虚拟机快照的行为。要设置这些变量，请通过CloudStack UI的全局设置区域。 配置设置名称 描述 vmsnapshots.max 云中任何给定虚拟机可以保存的最大VM虚拟机快照数量。云中虚拟机快照的总数（虚拟机数量）* vmsnapshots.max。如果任何虚拟机的快照数量达到最大值，则较旧的快照将被快照删除作业删除。 vmsnapshot.create.wait 在声明失败并发出错误之前，等待快照作业成功的秒数。CloudStack全局配置参数erval清除用户账户所需要等待的时间（秒）；类型：整数；默认86400allow.public.user.templates允许用户创建public属性的模板；类型：true/false；默认：jects允许用户创建project；类型：true/false；默认：jects允许用户创建project；类型：true/false；默认：truecapacity.skipcounting.hoursVM Stop和释放CPU内存资源之间的时间间隔（秒）；类型：整数；默认：3600check.pod.cidrs检查POD是否使用相同CIDR，true的话，不同的POD必须属于不同的CIDR；类型：true/false；默认：truecluster.cpu.allocated.capacity.disablethresholdCluster中CPU分配率上限，CPU分配量/CPU可用量不能超过该值；类型：小数（01）；默认：0.85cluster.cpu.allocated.capacity.notificationthresholdCluster中，CPU分配率报警值，CPU分配量/CPU可用量超过该值则发送Alert；类型：小数（01）；默认：0.75cluster.localStorage.capacity.notificationthresholdCluster中，localStorage分配率报警值，localStorage分配量/localStorage可用量超过该值则发送Alert；类型：小数（01）；默认：0.75cluster.memory.allocated.capacity.disablethresholdCluster中memory分配率上限，memory分配量/memory可用量不能超过该值；类型：小数（01）；默认：0.85cluster.memory.allocated.capacity.notificationthr