思特奇云计算openstack-quantum安装手册.docx

思特奇云计算openstack-quantum安装手册 思特奇云计算openstack-quantum安装手册北京神州数码思特奇信息技术股份有限公司二一三年三月目 录1 引言41.1 编写目的41.2 项目背景41.3 术语定义41.4 参考资料42 QUANTUM架构52.1 物理服务器和openstack服务逻辑图52.2 典型网络63 QUANTUM安装103.1 安装消息服务器RPC103.2 全装quantum和插件103.2.1 安装独立的quantum服务103.2.2 配置虚拟交换openvswitch103.2.3 设置开机启动quantum服务103.2.4 安装quantum-plugin-openvswitch-agent103.2.5 安装quantum-dhcp-agent113.2.6 安装quantum-l3-agent服务114 配置OPENSTACK的其他服务124.1 配置keystone124.2 配置nova124.2.1 配置nova.conf124.2.2 配置openvswitch124.2.3 修改/etc/libvirt/qemu.conf134.2.4 禁用SELinux134.2.5 安装tunctl rpm134.2.6 修改/etc/sudoers134.2.7 build openvswitch134.2.8 升级dnsmasq到2.6.1版本以上144.2.9 升级autoconf到2.6.4版本以上145 使用OPENSTACK QUANTUM155.1 建立网络155.2 建立子网155.3 建立port155.4 建立虚拟机156 建立后的网络拓扑结构176.1 拓扑图176.2 操作界面截图177 参考文档198 安装QUANTUM注意事项201 引言1.1 编写目的指导安装思特奇openstack云计算平台中网络部分(quantum)。本文档适于云计算测试以及相关工程人员阅读。1.2 项目背景思特奇开发测试演示环境迁移的背景下,使用开源openstack管理虚拟机的研发工作.目前已经成功部署了openstack f版,可以实现虚拟机的统一管理,弹性伸缩.1.3 术语定义1.4 参考资料2 quantum架构在部署之前了解不同的组件解决方案，这些组件如何相互作用与相互之间以及与其他OpenStack的服务。quantum是一个独立的服务，就像其他OpenStack的服务，如nova，glancekeystone, Horizon。这些服务一样，qantum部署往往涉及在主机上部署多个进程。quantum服务的主要过程是quantum服务器，这是一个Python守护进程。quantum API将用户请求递进给配置好的quantum插件进行处理。通常情况下，插件需要访问数据库，其它OpenStack的服务也类似。quantum服务包括以下组件： plugin agent(quantum-openvswitch-agent). 运行在每个hypervisor主机上，提供虚拟交换配置服务。 dhcp agent(quantum-dhcp-agent). 为租户网络提供DHCP服务 l3 agent (quantum-l3-agent). 提供L3/NAT转发服务2.1 物理服务器和openstack服务逻辑图openstack一般情况共有3个节点:控制节点:用来管理网络鉴权,存储,镜像等网络节点:用来管理网络,虚拟交换和dhcp等计算节点:用来建虚拟机2.2 典型网络1. 简单扁平网络2. 多层扁平网络(本次迁移使用的网络结构)3. 扁平混合私网4. 带路由的混合私网5. 多租户路由混合网络3 quantum安装3.1 安装消息服务器RPCyum install rabbitmq-server主要随nova安装3.2 全装quantum和插件3.2.1 安装独立的quantum服务sudo yum install -y openstack-quantumsudo yum install -y openstack-quantum-openvswitch3.2.2 配置虚拟交换openvswitchsudo quantum-server-setup -plugin openvswitch3.2.3 设置开机启动quantum服务chkconfig quantum-server onservice quantum-server start3.2.4 安装quantum-plugin-openvswitch-agentsudo yum install -y openstack-quantum-openvswitchsudo quantum-agent-setup -plugin openvswitch所有运行quantum-plugin-openvswitch-agent服务的主机都需要OVS桥,手动建立名为br-int的桥:ovs-vsctl add-br br-int设置开机运行:chkconfig quantum-openvswitch-agent onservice quantum-openvswitch-agent start3.2.5 安装quantum-dhcp-agentsudo yum install -y openstack-quantum运行命令配置dhcp agent:sudo quantum-dhcp-setup -plugin openvswitch设置开机启动:chkconfig quantum-dhcp-agent onservice quantum-dhcp-agent start3.2.6 安装quantum-l3-agent服务由于思特奇开发测试网络选用的多层扁平网络没有涉及到l3路由的结构,这个服务忽略4 配置openstack的其他服务4.1 配置keystone在nova配置中体现。4.2 配置nova4.2.1 配置nova.conf1. 修改core_plugin使用openvswitchcore_plugin = quantum.plugins.openvswitch.ovs_quantum_plugin.OVSQuantumPluginV22. 配置rabbit服务器rabbit_host = Control rabbit_password = yfsitech.2013 rabbit_port = 5672rabbit_userid = guestrabbit_max_retries = 3rabbit_retry_interval = 33. 修改libviflibvirt_vif_driver=nova.virt.libvirt.vif.LibvirtHybirdOVSBridgeDriver4. nova.conf实例,目前计算节点使用的配置4.2.2 配置openvswitchopenvswitch是quantum server的核心插件,用来实现不同的vlan和网桥结构。 配置ovs_quantum_plugin.ini目前使用的ovs_quantum_plugin.ini4.2.3 修改/etc/libvirt/qemu.confcgroup_device_acl = /dev/null, /dev/full, /dev/zero,/dev/random, /dev/urandom,/dev/ptmx, /dev/kvm, /dev/kqemu,/dev/rtc, /dev/hpet,/dev/net/tun,clear_emulator_capabilities = 0user = rootgroup = root4.2.4 禁用SELinux4.2.5 安装tunctl rpm4.2.6 修改/etc/sudoersquantum ALL=(ALL) ALLquantum ALL=(ALL) NOPASSWD: ALL4.2.7 build openvswitch1. 到下载ltm版本2. 上传服务器解压3. 在解压目录执行./boot.sh;./configure; make dist.4. 在解压目录执行rpmbuild -bb rhel/openvswitch.spec5. 在解压目录执行rpmbuild -bb -D kversion uname r -D kflavors default debug kdump rhel/openvswitch-kmod-rhel6.spec6. 编译出来的是两个rpm包kmod-openvswitch-debug-1.9.0-1.el6.x86_64.rpmopenvswitch-1.9.0-1.x86_64.rpm7. 安装这两个包,其中第一个会安装内核模块,第二个是quantum-openvswitch.rpm的依赖包.4.2.8 升级dnsmasq到2.6.1版本以上4.2.9 升级autoconf到2.6.4版本以上5 使用openstack quantum在nova,compute,keystone等服务配置好以后5.1 建立网络例如建立网段的网络,其对应的vlan标签是105:quantum net-create -tenant_id f24556e3f98a4603b32a3b9e234e34ee net -provider:network_type vlan -provider:physical_network eth1 -provider:segmentation_id 105 sharedtenant_id是租户的id5.2 建立子网假设上面建立的网络的id是91cc3da5-9378-4a17-885a-0ee688ecce5bquantum subnet-create -ip_version 4 -tenant-id f24556e3f98a4603b32a3b9e234e34ee 91cc3da5-9378-4a17-885a-0ee688ecce5b -allocation-pool start=,end=54 /245.3 建立port假设上面建立的子网id是9b8bea90-87d3-40a9-aea1-cb489d2b4ac0quantum port-create -fixed-ip subnet_id=9b8bea90-87d3-40a9-aea1-cb489d2b4ac0,ip_address=3 net5.4 建立虚拟机假设上面建立的port 的id是5bf379d8-a6cb-4c3b-9d1f-0915f3a8442bnova boot -image 46b43ecc-f557-4932-bfd2-9611f18ee2c3 -availability_zone nova:kvm2 -flavor 6 -nic port-id=5bf379d8-a6cb-4c3b-9d1f-0915f3a8442b 3_test所以这样建立好的虚拟机通过dhcp指定的ip地址是3这时在各个终端已经可以ping通虚拟机6 建立后的网络拓扑结构6.1 拓扑图开发测试环境目前使用两台物理机:1. pc机是control节点2. hp380是compute计算节点3. management NetWork使用网段4. dataNetWork使用0,1,2,3网段,trunk连接.6.2 操作界面截图1. openstack dashboard中的网络2. openstack dashboard中的子网3. openstack dashboard中的虚拟机4.7 参考文档1. /developerworks/mydeveloperworks/wikis/home/wiki/OpenStack%20-%20Configure%20Quantum%20network%20_%20Linuxbridge%20for%20RHEL6.3%20(Folsom%20release)?lang=en2. /folsom/openstack-network/admin/content/demo_8 安装quantum注意事项1. quantum openvswitch插件版本经过反复试验使用ltm openvswitch-1.4.6版本其他版本可能引起内核崩溃之类的问题2. 针对源码编译openvswitch.rpm和kmod-openvswitch.rpm源码中有几处需要手 动修改的地方.3. 在配置好openvswitch后,由于这次使用的网络是vlan结构,而vswitch插件的vlanid有时候会从1开始-4094,当使用1的时候会导致虚拟机无法获取dhcp的ip地址.当tap设备的vlan tag为4095的时候说明vswitch已经将这个设备置为废弃.4. 在建立虚拟机之后,虚拟机使用的tap设备的vlan id是openvswitch自己定义的,在vswitch的网关内这个vlan是自动的,而真正需要使用的vlan id需要在建立quantum网络的时候指定,使用-provider:segmentation_id这个参数.在设计计算几点的时候,尽量将管理网络和虚拟机数据网络分开使用不同的网卡.例如eth0作为管理网络,eth1作为虚拟机数据网络,使用trunk和交换机连接,这样可以充分使用openvswitch的vlan功能在同一个eth1口上建立不同网段的虚拟机.5. 更新iptables规则,使得dhcp请求可以通过iptables-AOUTPUT-pudp-dport53-jACCEPT;iptables-save6. 更新dnsmasq到最新版本,经过试验老版本会出现无法dhcp到ip地址的问题.相关问题讨论地址/quantum/+question/2110217. 在/etc/sudoers文件中增加以下内容.quantum ALL=(ALL) ALLquantum ALL=(ALL) NOPASSWD: ALL8. centos6.3最新的yum源,加入到/etc/yum.repo.d/epel-testing.repo epel-testingname=Extra Packages for Enterprise Linux 6 - Testing - $basearch#baseurl=/pub/epel/testing/6/$basearchmirrorlist=/metalink?repo=testing-epel6&arch=$basearchfailovermethod=priorityenabled=0gpgcheck=1gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6e