cloudstack4.10版本安装部署第三版

cloudstack4 10 版本安装部署配置 注 所有节点操作系统必须为 64 位 management 节点为 192 168 200 5 上的 虚拟机 内存 8G 双核 cpu 开始内存 4G 安装完后报资源不足 host 节点必须 支持硬件虚拟化 并且在 bios 中开启 添加 host 节点时 节点上不能有在运 行虚拟机 最好所有节点都为全新安装的最小化系统 KVM 安装部署 安装环境安装环境 管理节点 management 192 168 250 113 CentOS7 minimal Kvm host 节点 1 192 168 200 102 CentOS7 minimal Kvm host 节点 2 192 168 200 148 CentOS7 minimal 管理节点管理节点 managementmanagement 安装安装 1 以 root 身份登录到操作系统 2 检查一个完全合格的主机名 hostname fqdn 应该返回一个完全合格的主机名 例如 如 果没有 则执行 hostnamectl set hostname 进行修改主机名 并且在 etc hosts 中添加 192 168 250 113 3 确保机器可以连接到互联网 ping 4 关闭SELINUX vi etc selinux config 更改为 SELINUX disabled 注 此处必须重新启动系统 否则配置不会生效 5 关闭防火墙 systemctl stop firewalld service systemctl disable firewalld service 6 安装配置NTP yum install ntp systemctl enable ntpd service 7 安装配置 MySQL mkdir opt mysql cd opt mysql wget 注 如果是最小化安装 此处会提示 wget 命令找不到 执行下面命令 安装 wget yum install wget rpm ivh mysql community release el7 5 noarch rpm yum install mysql community server 安装完成后 在 etc f 文件的 mysqld 标签下添加以下内 容并保存 innodb rollback on timeout 1 innodb lock wait timeout 600 max connections 350 log bin mysql bin binlog format ROW 然后启动 mysql systemctl start mysqld service systemctl enable mysqld service 然后运行以下命令初始化数据库 mysql secure installation 注 若是在管理节点上安装 mysql 则所有都可以回答 y 若是 mysql 为单独节点 则其中的 禁止 root 远程登录 选择 n 8 安装 Management Server 创建 cloudstack 本地源 vi etc yum repos d cloudstack repo 按 i 在其中添加以下内容 cloudstack name cloudstack baseurl http cloudstack apt get eu centos7 4 10 enabled 1 gpgcheck 0 wq 保存退出 然后刷新 yum 源的缓存 yum clean all yum makecache 缓存刷新完后 可以开始安装 management 了 yum install cloudstack management 安装完成后 建立数据库 cloudstack setup databases cloud 123456 localhost deploy as root 123456 注 cloud 123456 为新建的 cloudstack 数据库用户和密码 若在管理节点上安装 mysql 则一定为 localhost 不能为管理节点 ip 除非数据库初始化时没有禁止 root 远程登录 root 123456 为数据库用户 root 的密码 为初始化数据库时候设置的密码 并非操作系统的密码 配置管理服务器 cloudstack setup management tomcat7 启动管理服务器 systemctl start cloudstack management service 9 配置 NFS 存储 安装 NFS yum y install nfs utils rpcbind systemctl enable rpcbind service systemctl enable nfs server service systemctl start rpcbind service systemctl start nfs server service 在存储服务器上 为辅助存储创建一个 NFS 共享 如果也使用 NFS 作为主存储 则创建第二个 NFS 共享 例如 mkdir p export primary mkdir p export secondary 要将新目录配置为 NFS 导出 请编辑 etc exports 使用 rw async no root squash no subtree check 导出 NFS 共享 例如 vi etc exports 插入以下行 export rw async no root squash no subtree check 导出目录 exportfs a 编辑 etc sysconfig nfs 文件 vi etc sysconfig nfs 取消注释以下几行 LOCKD TCPPORT 32803 LOCKD UDPPORT 32769 MOUNTD PORT 892 RQUOTAD PORT 875 STATD PORT 662 STATD OUTGOING PORT 2020 重新启动 NFS 服务 systemctl restart rpcbind service systemctl restart nfs server service 在管理服务器上 为辅助存储创建一个安装点 例如 mkdir p mnt secondary 在管理服务器上安装辅助存储 用你自己的替换下面的示例 NFS 服务器名称和 NFS 共享路径 mount t nfs 192 168 250 113 export secondary mnt secondary 可以输入 df h 查看挂载状态 10 导入虚拟机模板 模板下载路径 http cloudstack apt get eu systemvm 4 10 将下载好的模板上传到二级存储的挂载点上 此处应为 mnt secondary 即为 df h 出来的挂载点的目录 切到挂载点目录下 cd mnt secondary 导入模板 kvm 模板 usr share cloudstack common scripts storage secondary cloud install sys tm plt m mnt secondary f systemvm64template 4 10 4 10 0 0 kvm qcow2 bz2 h kvm F 注 将其中的挂载点目录和安装的模板名称根据实际替换 卸载掉挂载点 umount mnt secondary 注 卸载的时候可能会报 device is busy 的错 关闭当前命令窗口 重新打开 一个 再输入卸载命令即可 卸载掉挂载点后 即可通过浏览器访问 建议谷歌浏览器 访问路径 http 192 168 250 113 8080 client 默认账号 admin 密码 password 即可开始配置云 至此 管理节点配置完成 kvmkvm 主机的配置和安装主机的配置和安装 1 以 root 身份登录到操作系统 检查一个完全合格的主机名 hostname fqdn 2 应该返回一个完全合格的主机名 例如 如果 没有 则执行 hostnamectl set hostname 进行修改主机名 并且在 etc hosts 中添加 192 168 250 113 确保机器可以连接到互联网 ping 3 关闭SELINUX vi etc selinux config 更改为 SELINUX disabled 注 此处必须重新启动系统 否则配置不会生效 4 关闭防火墙 systemctl stop firewalld service systemctl disable firewalld service 5 安装配置NTP yum install ntp systemctl enable ntpd service 6 安装 agent 创建 cloudstack 本地源 vi etc yum repos d cloudstack repo 按 i 在其中添加以下内容 cloudstack name cloudstack baseurl http cloudstack apt get eu centos7 4 10 enabled 1 gpgcheck 0 wq 保存退出 然后刷新 yum 源的缓存 yum clean all yum makecache 缓存刷新完后 就可以开始安装 agent 了 yum install cloudstack agent 7 安装 KVM 虚拟化环境 安装kvm yum groupinstall y Virtualization Virtualization Client lsmod grep kvm 编辑配置文件 vi etc libvirt qemu conf 并取消如下行的注释 vnc listen 0 0 0 0 编辑配置文件 vi etc libvirt libvirtd conf 配置以下参数 listen tls 0 listen tcp 1 tcp port 16059 auth tcp none mdns adv 0 修改 vi etc sysconfig libvirtd 中的参数 取消如下行的注释 LIBVIRTD ARGS listen 完成后重启 libvirtd systemctl restart libvirtd service systemctl enable libvirtd service 配置 agent vi etc cloudstack agent agent properties cloudstack 管理服务器地址 host 192 168 250 113 8 配置桥接网络 agent 会用到网桥 默认为 cloudbr0 首先在 agent 主机上 输入下面命令 查看已有网桥 brctl show 并且查看启用状态 一般名称为 virbr0 将已有网桥停掉 ifconfig virbr0 down 如果是最小化安装系统 会提示 ifconfig 命令找不到 执行下面命令 安装 ifconfig 命令所需包 yum install net tools 删除已有网桥 brctl delbr virbr0 创建桥接网卡配置文件 vi etc sysconfig network scripts ifcfg cloudbr0 加入以下内容 TYPE Bridge BOOTPROTO none NAME cloudbr0 DEVICE cloudbr0 ONBOOT yes IPADDR 192 168 200 148 PREFIX 16 GATEWAY 192 168 200 254 DNS1 192 168 200 63 保存退出 修改使用的网卡 vi etc sysconfig network scripts ifcfg enp5s0 在文件末尾加入 BRIDGE cloudbr0 保存退出 重启网络服务 systemctl restart NetworkManager service systemctl restart network service 9 初始化cloudstack agent cloudstack setup agent 一路回车就可以 systemctl restart cloudstack agent service systemctl restart libvirtd service 此时 kvm 主机已经配置完成 可以在管理节点的 web 端中加入此主机 XenServer 安装部署 安装环境安装环境 管理节点 management 192 168 250 113 CentOS7 minimal Xenserver host 节点 192 168 200 214 Xenserver6 5 管理节点管理节点 managementmanagement 安装安装 3 以 root 身份登录到操作系统 4 检查一个完全合格的主机名 hostname fqdn 应该返回一个完全合格的主机名 例如 如 果没有 则执行 hostnamectl set hostname 进行修改主机名 并且在 etc hosts 中添加 192 168 250 113 3 确保机器可以连接到互联网 ping 4 关闭SELINUX vi etc selinux config 更改为 SELINUX disabled 注 此处必须重新启动系统 否则配置不会生效 5 关闭防火墙 systemctl stop firewalld service systemctl disable firewalld service 6 安装配置NTP yum install ntp systemctl enable ntpd service 7 安装配置 MySQL mkdir opt mysql cd opt mysql wget 注 如果是最小化安装 此处会提示 wget 命令找不到 执行下面命令 安装 wget yum install wget rpm ivh mysql community release el7 5 noarch rpm yum install mysql community server 安装完成后 在 etc f 文件的 mysqld 标签下添加以下内 容并保存 innodb rollback on timeout 1 innodb lock wait timeout 600 max connections 350 log bin mysql bin binlog format ROW 然后启动 mysql systemctl start mysqld service systemctl enable mysqld service 然后运行以下命令初始化数据库 mysql secure installation 注 若是在管理节点上安装 mysql 则所有都可以回答 y 若是 mysql 为单独节点 则其中的 禁止 root 远程登录 选择 n 8 安装 Management Server 创建 cloudstack 本地源 vi etc yum repos d cloudstack repo 按 i 在其中添加以下内容 cloudstack name cloudstack baseurl http cloudstack apt get eu centos7 4 10 enabled 1 gpgcheck 0 wq 保存退出 然后刷新 yum 源的缓存 yum clean all yum makecache 缓存刷新完后 可以开始安装 management 了 yum install cloudstack management 安装完成后 建立数据库 cloudstack setup databases cloud 123456 localhost deploy as root 123456 注 cloud 123456 为新建的 cloudstack 数据库用户和密码 若在管理节点上安装 mysql 则一定为 localhost 不能为管理节点 ip 除非数据库初始化时没有禁止 root 远程登录 root 123456 为数据库用户 root 的密码 为初始化数据库时候设置的密码 并非操作系统的密码 配置管理服务器 cloudstack setup management tomcat7 启动管理服务器 systemctl start cloudstack management service 下载 VHD UTIL 此过程仅适用于 XenServer 安装在管理程序主机上的安装 在设置 Management Server 之前 从 下载vhd util 并将其复制到 Management Server 中 usr share cloudstack common scripts vm hypervisor xenserver 并配置权限为 755 9 配置 NFS 存储 安装 NFS yum y install nfs utils rpcbind systemctl enable rpcbind service systemctl enable nfs server service systemctl start rpcbind service systemctl start nfs server service 在存储服务器上 为辅助存储创建一个 NFS 共享 如果也使用 NFS 作为主存储 则创建第二个 NFS 共享 例如 mkdir p export primary mkdir p export secondary 要将新目录配置为 NFS 导出 请编辑 etc exports 使用 rw async no root squash no subtree check 导出 NFS 共享 例如 vi etc exports 插入以下行 export rw async no root squash no subtree check 导出目录 exportfs a 编辑 etc sysconfig nfs 文件 vi etc sysconfig nfs 取消注释以下几行 LOCKD TCPPORT 32803 LOCKD UDPPORT 32769 MOUNTD PORT 892 RQUOTAD PORT 875 STATD PORT 662 STATD OUTGOING PORT 2020 重新启动 NFS 服务 systemctl restart rpcbind service systemctl restart nfs server service 在管理服务器上 为辅助存储创建一个安装点 例如 mkdir p mnt secondary 在管理服务器上安装辅助存储 用你自己的替换下面的示例 NFS 服务器名称和 NFS 共享路径 mount t nfs 192 168 250 113 export secondary mnt secondary 可以输入 df h 查看挂载状态 10 导入虚拟机模板 模板下载路径 http cloudstack apt get eu systemvm 4 10 将下载好的模板上传到二级存储的挂载点上 此处应为 mnt secondary 即为 df h 出来的挂载点的目录 切到挂载点目录下 cd mnt secondary 导入模板 xenserver 模板 usr share cloudstack common scripts storage secondary cloud install sys tm plt m mnt secondary f systemvm64template 4 10 4 10 0 0 xen vhd bz2 h xe nserver F 注 将其中的挂载点目录和安装的模板名称根据实际替换 卸载掉挂载点 umount mnt secondary 注 卸载的时候可能会报 device is busy 的错 关闭当前命令窗口 重新打开 一个 再输入卸载命令即可 卸载掉挂载点后 即可通过浏览器访问 建议谷歌浏览器 访问路径 http 192 168 250 113 8080 client 默认账号 admin 密码 password 即可开始配置云 至此 管理节点配置完成 xenserverxenserver 主机的配置和安装主机的配置和安装 CSP 功能已经存在于 XenServer 6 1 以上版本中 下面以 6 5 版本为例 1 首先 关闭防火墙 service iptables stop chkconfig iptables off 2 运行下面的命令 xe switch network backend bridge 3 修改配置文件 vi etc sysctl conf 中的以下内容 net bridge bridge nf call iptables 1 net bridge bridge nf call ip6tables 0 net bridge bridge nf call arptables 1 然后重启机器 reboot 再输入下面命令 看配置是否生效 sysctl p etc sysctl conf 至此 xen 主机已经配置完成 可以由管理节点加入 WEB 端的配置 访问路径 http 192 168 250 113 8080 client 建议谷歌浏览器 默认账号 admin 密码 password 即可开始配置云 登陆后 界面为下图 选择继续执行基本安装 添加资源域 添加提供点 添加来宾网络 添加集群 注 此处的虚拟机管理程序为管理节点导入的模板类型 也为后面 要添加的主机的配置类型 添加主机 此处为主机的 root 用户的用户名和密码 添加主存储 添加二级存储 注 此处二级存储要为前面配置管理节点时导入模板的路径 即被挂载的存储的服务器和路径 添加完成 点击启动 配置完成后 出现配置成功界面 至此 配置完成 点击启动按钮 即可进入主界面 点击左侧基础架构标签页 即可查看添加的基本情况 注 1 如果此时添加 ISO 镜像 ISO 镜像不能自动下载 全局设置中的参数限 制了镜像下载 需进行修改 将这两个参数修改为你自己的网段 重新启动管理节点服务 ISO 即可自动下 载 2 添加完镜像后 添加实例并安装操作系统 此时 操作系统不能由外部进行 ssh 连接 需要修改安全组中的出入规则 如下图 按图修改完后 即可从外部网段对新添加的实例进行 ssh 连接 3 虚拟机删除以后依然存在 CloudStack 中为了防止虚拟机误删 默认在删除后保存一天 即 86400s 在 Global Setting 中 将 expunge delay 修改为想要保存的时间 如 果不考虑误删 想即刻删除 只要将 expunge delay 设置为 1 即可 4 如何自动在一级存储里清理未使用的模板 storage cleanup enabled Enables disables the storage cleanup thread true storage cleanup interval The interval in seconds to wait before running the storage cleanup thread 86400 storage template cleanup enabled Enable disable template cleanup activity only take effect when overall storage cleanup is enabled true CloudStack 是默认每隔 24 小时将未使用的模板删除 未使用的意思就是说目前 没有运行的虚拟机是基于此模板创建的 只要有运行的虚拟机是基于此模板创建的 就不会删除 如果虚拟机卸载后 此模板没有对应的虚拟机了 那么过 24 小时就会 删除 5 系统虚拟机异常 有时经常出现二级存储或者控制台莫名其妙无法使用 并且并没有进行什么 操作 重启系统虚拟机也无法使用 这个应该是 CloudStack 的 BUG 执行 如下脚本重启系统虚拟机即可使用 nohup cloudstack sysvmadm d localhost u cloud p 123456 a sysvm log 2 1 u 数据库用户名 p 数据库密码 6 CloudStack 在遇见突发的停电或断网情况下 有可能出现很多异常的状态 如主机存储 的警告状态 虚拟机不能正常运行或启动 在运营维护中 为了保证 CS 内个物理设备和 VM 的状态稳定 我这里有一个关机顺序的 建议 在 UI 上关闭所有的 VM 在 UI 上将主存储进入维护模式 再等待所有系统虚拟机也关机 在 UI 上将 host 进入维护模式 关闭 CS 服务 关闭 mysql 数据库 关闭相关硬件设备 重启的时候用相反的操作进行就可以 以上步骤是在计划内停机的情况下做的操作 如果是突然断电造成 VM 不能启动 大部分是由于存储原因 或 host 同步状态问题造成的 需要看 log 分析 一般也都能恢复回来 出现问题后 需要检查的几个地方 存储的运行状态 存储和 Hypervisor 的连接状态 Hypervisor 和管理节点的连接状态 如果相互连接都没有问题 可以尝试在 UI 上将主机进入维护模式 再退出 或者直 接进入 DB 将主机的状态直接改为 UP 7 系统内存在还有剩余的时候 突然创建虚拟机报错了 这是因为在全局参数中有配置 cluster memory allocated capacity disablethreshold Cluster 中 memory 分配率上限 memory 分配量 memory 可用量不能超过该值 类型 小 数 0 1 默认 0 85 此参数建议默认 不建议修改 否则会出现一些无法预知的错 误 8 kvm 虚拟机 VM 快照创建不成功 因为在已启动的时候 如果只是创建磁盘快照 就应 该在实例中 点击虚拟机 选择查看卷 选择创建快照 虚拟机创建快照虚拟机创建快照 虚拟机快照的限制 如果虚拟机具有一些存储的快照 则无法将新卷附加到虚拟机或删除任何现有卷 如果更改虚拟机上的卷 将无法恢复使用以前的卷结构创建的虚拟机快照 如果要 将卷附加到此类虚拟机 请首先删除其快照 包含数据卷和内存的虚拟机快照如果更改虚拟机的服务产品 则无法保留 任何现 有的这种类型的虚拟机快照都将被丢弃 您无法在创建卷快照的同时创建虚拟机快照 您应该只使用 CloudStack 在由 CloudStack 管理的主机上创建 VM 快照 您在管 理程序中直接创建的任何快照都不会在 CloudStack 中进行跟踪 配置虚拟机快照 云管理员可以使用全局配置变量来控制虚拟机快照的行为 要设置这些变量 请通 过 CloudStack UI 的全局设置区域 配置设置名称 描述 vmsnapshots max 云中任何给定虚拟机可以保存的最大 VM 虚拟机快照数量 云中虚拟机快照的总数 虚拟机数量 vmsnapshots max 如果任何虚拟机的快照数量达到最大值 则 较旧的快照将被快照删除作业删除 vmsnapshot create wait 在声明失败并发出错误之前 等待快照作业成功的秒数 CloudStack 全局配置参数全局配置参数 account cleanup interval 清除用户账户所需要等待的时间 秒 类型 整数 默认 86400 allow public user templates 允许用户创建 public 属性的模板 类型 true false 默认 true allow user create projects 允许用户创建 project 类型 true false 默认 true allow user create projects 允许用户创建 project 类型 true false 默认 true capacity skipcounting hours VM Stop 和释放 CPU 内存资源之间的时间间隔 秒 类型 整数 默认 3600 check pod cidrs 检查 POD 是否使用相同 CIDR true 的话 不同的 POD 必须属于不同的 CIDR 类型 true false 默认 true cluster cpu allocated capacity disablethreshold Cluster 中 CPU 分配率上限 CPU 分配量 CPU 可用量不能超过该值 类型 小数 0 1 默认 0 85 cluster cpu allocated capacity notificationthreshold Cluster 中 CPU 分配率报警值 CPU 分配量 CPU 可用量超过该值则发送 Alert 类型 小数 0 1 默认 0 75 cluster localStorage capacity notificationthreshold Cluster 中 localStorage 分配率报警值 localStorage 分配量 localStorage 可用量超过该 值则发送 Alert 类型 小数 0 1 默认 0 75 cluster memory allocated capacity disablethreshold Cluster 中 memory 分配率上限 memory 分配量 memory 可用量不能超过该值 类型 小 数 0 1 默认 0 85 cluster memory allocated capacity notificationthreshold Cluster 中 memory 分配率报警值 memory 分配