正式惠州tcl配置

1、1.登陆信息为了保障云的安全性，采用了两种机制确保云的安全：1、public 作为进入云的唯一，且只有控制节点有；2. 云中的所有主机禁用登陆，使用秘钥认证方式，且只能通过 roller 作为跳板机作为登陆，如下是登陆的示意图：登陆认证信息如下：类别登陆 IP认证信息dashboard10.68.28.80adminexample./adminroller(跳板机)10.68.28.87root/passw0rdnode-1(控制节点)10.68.28.81root/passw0rdnode-2(控制节点)10.68.28.82root/passw0rdnode-3(控制节点)10.68.28

2、.83root/passw0rd云机器的网络分配信息如下：2.镜像制作Openstack 创建 instance 时，需要请求 glance 获取 images 服务，需要根据应用的情况制定虚拟机镜像，由于 TCL 而且云程的流程一般为:从 glance 获取镜环境中需要使用静态 IP 地址，instance 在启动的过ceph 层面基于镜像快照做 copy-on-write节点名称角色publicPXEmgmt.storageroller部署服务器10.68.28.87172.16.1.2/RollerKVM 物理机10.68.28.86172.16.1.1172.16.2.200/zabb

3、ix服务器10.68.28.88/172.16.2.201/node-1控制节点集群10.68.28.81172.16.1.3172.16.2.3172.16.3.2node-210.68.28.82172.16.1.4172.16.2.4172.16.3.3node-310.68.28.83172.16.1.5172.16.2.5172.16.3.4node-4DMZ 区计算/172.16.1.6172.16.2.6172.16.3.5node-5/172.16.1.7172.16.2.7172.16.3.6node-6/172.16.1.8172.16.2.8172.16.3.7node-

4、7内网区计算(M 类型)/172.16.1.9172.16.2.9172.16.3.8node-8/172.16.1.10172.16.2.10172.16.3.9node-9/172.16.1.11172.16.2.11172.16.3.10node-10内网区计算(C 类型)/172.16.1.12172.16.2.12172.16.3.11node-11/172.16.1.13172.16.2.13172.16.3.12node-12/172.16.1.14172.16.2.14172.16.3.13node-13/172.16.1.15172.16.2.15172.16.3.14nod

5、e-14节点/172.16.1.16172.16.2.16172.16.3.15node-15/172.16.1.17172.16.2.17172.16.3.16node-16/172.16.1.18172.16.2.18172.16.3.17node-17/172.16.1.19172.16.2.19172.16.3.18node-18/172.16.1.24172.16.2.24172.16.3.23node-19/172.16.1.20172.16.2.20172.16.3.19node-20/172.16.1.21172.16.2.21172.16.3.20node-21/172.16

6、.1.22172.16.2.22172.16.3.21node-22/172.16.1.23172.16.2.23172.16.3.22zabbix dashboardAdmin/zabbixzabbix10.68.28.88root/passw0rdroller 所在的物理机10.68.28.86root/passw0rd启动 instance扩展 root 分区(需要安装 root_resize)从 DHCP 中获取 IP 地址从 metadata 中获取元数据信息其中，当使用了静态获取 IP 地址之后(创建 subnet 的时候 disable dhcp 启动)，命名空间中将不会有 dh

7、cp 存在，instance 也无法获取 IP 地址，从而会导致 metadata 获取失败， metadata 将会持续循环直到超时，为了保障 instance 能够快速启动，在 TCL 二期云 的环境中，将不启动 cloudinit 的功能。2.1 制作过程镜像的制作以 roller 所在的物理机(10.68.28.86)安装 KVM 镜像，KVM 所需的包均已经部署好，已配置了两个网桥：br-rollXE)和 br-public(办公网互通)，如下是创建centos1.6.5 镜像的过程：创建映像文件2.创建虚拟机3.查看虚拟机 VNC 端4. vncviewer 打开安装界面，从步骤三

8、可以获知虚拟机的 vnc 端码，通过 vncviewer登陆至 10.68.28.86:3 即可看到安装界面， 在界面中选择语言为 English 、键盘为U.S.English、时区选择 AsiaShanghai、root设置为 passw0rd(metadata 不可用，密码注入功能也无法实现)、自定义分区，分区设定为：(/boot 200G、剩余空间划分为 LVM，其中 vg 的名字为 VolGroup，swap 和/分区基于 LVM 划分空间、swap 2G、/ 剩余空间(由于需要安装 root resize，后续根据 flavor 大小而定，flavor 最小需要 10G 空间)，参

9、考如下：rootESRoller # virsh vncdisplay centos_6.5:3rootESRoller # virt-install -name centos_6.5 -ram 8192 -vcpu4 -disk path=/var/lib/libvirt/images/centos_6.5_img.qocw2,format=qcow2,size=10-network bridge=br-roller,m=virtio-graphics vnc,listen=0.0.0.0 -noautoconsole -cdrom /var/lib/libvirt/images/CentO

10、S-6.5-x86_64-bin-DVD1.iso包选择：Minimal，并选择 Development Tools 和 Base 组件,等待安装结束，登陆至虚拟机。5安装 rootresize，路径 /flegmatik/linux-rootfs-resize6.自定义设置1、设置 SSHsed -i /GSSAPIAuthenticatio/ s/yes/no/g /etc/ssh/sshd_config sed -i /UseDNS/ s/#UseDNS yes/UseDNS no/g /etc/ssh/sshd_config2、删除 MAC 地址sed -i /HWADDR/ d /e

11、tc/sysconfig/network-scripts/ifcfg-eth0 sed -i /UUID/ d /etc/sysconfig/network-scripts/ifcfg-eth0sed -i /NM_CONTROLLED/ d /etc/sysconfig/network-scripts/ifcfg-eth0 sed -i /ONBOOT/ s/no/yes/g /etc/sysconfig/network-scripts/ifcfg-eth0 rm -f /etc/udev/rules.d/70-persistent-net.rulesrm -f /etc/udev/rule

12、s.d/70-persistent-cd.rules3、关闭 SELINUXsed -i / s/enforcing/disabled/g /etc/selinux/configrootlocalhost # rpm -ivh cloud-utils-grort-0.27-10.el6.x86_64.rpm() rootlocalhost # unzip linux-rootfs-resize-master.ziprootlocalhost # cd linux-rootfs-resize-master rootlocalhost linux-rootfs-resize-master# ./i

13、nstall 96404 blocks/usr/bin/grort - bin/grort/sbin/sfdisk - bin/sfdisk/sbin/e2fsck - bin/e2fsck/lib64/libext2fs.so.2 - /tmp/initrd/lib64/libext2fs.so.2_err.so.2 - /tmp/i_err.so.2/lib64/libe2p.so.2 - /tmp/initrd/lib64/libe2p.so.2/sbin/resize2fs - bin/resize2fs/bin/sed - bin/sed/bin/awk - bin/awk/sbin

14、/partprobe - bin/partprobe/lib64/libparted-2.1.so.0 - /tmp/initrd/lib64/libparted-2.1.so.0 99218 blocks7.将虚拟机关机，并清除网卡等硬件信息2.2 测试镜像1、 将镜像上传至 node-1 节点2、 将 qcow2 格式转换为 raw 格式3、 将镜像上传至 glance 服务中4.基于镜像创建 instance，并测试，通过选择不同 flavor 大小的 disk，校验 instance启动后，根目录是否能够自动扩展。说明：通过上述方式制作的镜像能够支持根目录弹性扩展，但不具备 cloud

15、init 的功能特性，从而将散失元数据注入和注入功能。如果需要该功能则安装 coudinit。另外instance 启动过程中等待获取 IP 地址时间较长，可以通过修改 BOOTPROTO=none 解决(适用主机不需要 dhcp 场景)。rootnode-1 # glance image-create -name centos_6.5_minimal-disk-format raw -container-format bare -file centos_6.5_img.raw -is-public True -human-readable-progress可通过 glance image-l

16、ist 和 glance image-show 的方式查看镜像的情况首先需要登录至 node-1 节点，然后执行如下命令：rootnode-1 # qemu-img convert -f qcow2 -O raw centos_6.5_img.qocw2 centos_6.5_img.rawrootESRoller # rsync -avrP /var/lib/libvirt/images/centos_6.5_img.qocw2 rootnode-1:/rootrootESRoller # virt-sysprep -d centos_6.54、设置 kernel 参数，使 console.

17、log 能够输出到页面sed -i /rd_NO_DM/ s/rd_NO_DM/rd_NO_DM console=tty0 console=ttyS0,115200/g/boot/grub/grub.conf5、设置 zero 路由(获取 metadata 的时使用)echo NOZEROCONF=yes /etc/sysconfig/network3.配置变更3.1 划分 zone 区域按照需求和资源类型的不同，将计算节点类型分为三类：DMZ 区域、内网 M 类型(E5-2650)、内网 C 类型(CPU E7-4850)，如下是划分的过程：1.创建 zone2.将计算节点加入到 zone3

18、.查看 zone 的主机情况3.2 DMZ 网络调整由于 roller 默认安装时只支持选择一个 private 网络，该 private 网络已分配给内网a、DMZ 区域：nova aggregate-add-host DMZ node-4. .tld nova aggregate-add-host DMZ node-5. .tld nova aggregate-add-host DMZ node-6. .tldb、内网M 区域nova aggregate-add-host M 类型 node-7. .tld nova aggregate-add-host M 类型 node-8. .tld

19、 nova aggregate-add-host M 类型 node-9. .tld nova aggregate-add-host M 类型 node-10. .tldc、内网C 区域nova aggregate-add-host C 类型 node-11. .tld nova aggregate-add-host C 类型 node-12. .tld nova aggregate-add-host C 类型 node-13. .tldnova aggregate-create DMZ DMZ nova aggregate-create M 类型 M 类型 nova aggregate-cr

20、eate C 类型 C 类型区与的网络使用，而 DMZ 区域的 private 并未有设置，所以需要手动调整 DMZ 区域的 private网络(可选：同理 dmz 区域的 public，如果有使用的话)，如下是调整的操作过程： 1、 配置 DMZ private 所使用的的 tap 设备(控制节点)控制节点上执行，控制节点的 bond3 接口所对应的交换机上有 dmz 区域 private 的 vlan信息，范围为:101 至 104),dmz 区域的节点需要添加一个 br-prv-dmz 的网桥(其他区域的节点没有 DMZ 区域的网络流量；2、 DMZ 区域所在的 compute 节点上，

21、添加 br-prv-dmz 网桥的信息由于在安装过程中，设定了 bond1 为 private-inside，默认会创建 br-prv 网桥，不需要变更，在原有的 bond1 基础上创建 peer 即可，如下是自动配置：cat configure_dmz_bridge.sh #!/bin/bashovs-vsctl add-br br-prv-dmzovs-vsctl add-port br-prv-dmz br-prv-dmz-br-ovs-bond3 ovs-vsctl seterface br-prv-dmz-br-ovs-bond3 type=patch options:peer=br

22、-ovs-bond3-br-prv-dmzovs-vsctl add-port br-ovs-bond3 br-ovs-bond3-br-prv-dmz ovs-vsctl seterface br-ovs-bond3-br-prv-dmz type=patch options:peer=br-prv-dmz-br-ovs-bond3执行配置校验：rootnode-1 # ovs-vsctl show 59f39889-fea5-43a9-bd21-671277633a7bBridge br-prv-dmz Port br-prv-dmzerface br-prv-dmz type:ernal

23、Port br-prv-dmz-br-ovs-bond3erface br-prv-dmz-br-ovs-bond3 type: patchoptions: peer=br-ovs-bond3-br-prv-dmz Bridge br-ovs-bond3Port ovs-bond3erface eth9 erface eth1Port br-ovs-bond3erface br-ovs-bond3 type:ernalPort br-ovs-bond3-br-prv-dmzerface br-ovs-bond3-br-prv-dmz type: patchoptions: peer=br-pr

24、v-dmz-br-ovs-bond3 ovs_ver: 2.5.0#:hai#Copyright EasyStack Inc#use to create network bridge in DMZ zone,and configure DMZ vlan information#计算节点安装/扩容过程中，需要将 4 个千兆网卡所在的交换机设定 vlan 号信息，并bonding 在一起，名字为 bond1,否则无法执行br_prv_dmz=br-prv-dmz br_ovs_bond1=br-ovs-bond1function pr_info()echo -e 03332m=0330mecho

25、-e 03332mDebug: $10330mecho -e 03332m=0330mnfunction pr_error()echo -e 03331m=0330mecho -e 03331mError: $10330mecho -e 03331m=0330mnexit 1function create_dmz_bridge_attach_bond1()ovs-vsctl br-exists $br_ovs_bond1 | pr_error bond1 hast foundovs-vsctl br-exists $br_prv_dmz if $? -ne 0 ;thenovs-vsctl a

26、dd-br $br_prv_dmzovs-vsctl add-port $br_prv_dmz $br_prv_dmz-$br_ovs_bond12/dev/nullovs-vsctl seterface $br_prv_dmz-$br_ovs_bond1 type=patch options:peer=$br_ovs_bond1-$br_prv_dmzovs-vsctladd-port$br_ovs_bond1$br_ovs_bond1-$br_prv_dmz 2/dev/nullovs-vsctl seterface $br_ovs_bond1-$br_prv_dmz type=patch

27、 options:peer=$br_prv_dmz-$br_ovs_bond1fibond1_port_count=ovs-vsctllist-ports$br_ovs_bond1|grep $br_ovs_bond1-$br_prv_dmz | wc -ldmz_port_count=ovs-vsctllist-ports$br_prv_dmz|grep $br_prv_dmz-$br_ovs_bond1 | wc -l3、 设定 dmz 区域 private 网络 vlan 号范围(仅需要在 3 台控制节点执行即可)4、 设定 physnet 和网桥进行关联5、 重启 neutron-se

28、rver 服务，确保生效（3 台控制节点）systemctl restart neutron-serversystemctl restart neutron-openvswitch-agent.service验证验证 vlan 配置，校验配置信息，由于并未有接口可以查看 vlan 的信息，所以需要到DB 中查询，查询结果如下： select * from ml2_vlan_allocations;openstack-config -set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet1:br-ex,

29、physnet2:br-prv,physnet3:br-prv-dmzopenstack-config -set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet2:201:204,physnet3:101:104if $bond1_port_count -ne 0 & $dmz_port_count -ne 0 ;then pr_info create dmz bridge suscsfully!elsepr_error create dmz bridge error,please

30、contact with Happy orcheck manuallyfifunction modify_dmz_vlan_map()openstack-config-set/etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet3:101:104openstack-config -set /etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet3:$br_prv_dmzsystemctl restart ne

31、utron-openvswitch-agent.service 2/dev/null & pr_info configure dmz vlan mapsucsfullyfunction main()create_dmz_bridge_attach_bond1 modify_dmz_vlan_mapmain3.3 创建网络目前云中的网络按照功能划分主要有两类：public 和 private 网络，其中 public网络按照区域的不同，分为内网区域的 public 和 dmz 区域的 public；private 网络按照功能的不同可以分为内网区域的 private 和 dmz 区域的 priv

32、ate，其中内网区域 private 按照功能的不同可以分为生产网络 private 和测试网络 private，创建网络的时候需要 vlan 于特定的 physnet 关联。当前云配置情况如下：备注： 创建网络的时候通过 providhysical_network 指定 physnet ，通过provider:segmenion_id 指定 vlan 号码；按照所创建网络功能的不同，需要 physnet 和vlan 号码相互对应，否则二层无法互通！3.3.1 内网网络内网区域的计算节点按照 CPU 的类型的不同分为两个 zone：C 类型和M 类型，起 private 网络均有4 个1G 网

33、卡通过lacp 协议bond 构建而成，private 均是基于bond1 所创建的bridge，如下是以创建 net8 为例，演示内网创建网络的过程：1、 创建网络，指定使用的 physnet 和 vlan 号neutron net-create -provider:network_type=vlan -providhysical_network=physnet2 -provider:segmenion_id=201 -shared private_inside_net8功能范畴vlan 号范围physnet 名称使用 bridge内网区生产网络201-204physnet2br-prv内网

34、区测试网络501-504physnet2br-prvDMZ 区生产网络101-104physnet3br-prv-dmz内网区 public 网601-604physnet1br-exDMZ 区 public 网/+| physical_network | vlan_id | allocated |+| physnet2|204 |0 | physnet2|201 |1 | physnet2|202 |1 | physnet2|203 |1 | physnet3|101 |0 | physnet3|102 |0 | physnet3|103 |0 | physnet3|104 |0 |+8 r

35、ows in set (0.00 sec)2、 创建子网，指定地址起始范围，并和网络关联(需关闭 dhcp)3、 校验配置，查看网络和子网的配置，可通过 net-list、net-show 校验网络的配置，同理 subnet-list、subnet-show 校验子网的配置；子网信息校验：3.3.2 DMZ 网络创建 DMZ 网络和创建内网private 网络相类似， 需要在创建的过程中通过neutron subnet-create -name private_inside_subnet8 -allocation-pool start=10.68.8.1,end=10.68.8.253 -ho

36、st-routedestination=0.0.0.0/0,nexthop=10.68.8.254 -no-gateway -disable-dhcp-ip-ver4 bfb0fbb1-bc6d-4f32-a14e-2c97f7521ed1 10.68.8.0/24providhysical_network 指定为 physnet3,同时关联 DMZ 所定义的 private 网络 vlan号范围，范围为：101-104。用户在使用的过程中，需要配合 zone 一起使用，即当选择 DMZ区域所在计算节点的 zone 时，需要选择 dmz 所定义的 private 网络，否则会创建失败或者网络不

37、通。如下是已经创建的 DMZprivate 网络：3.3.3 测试网络参考创建 DMZ 网络，在内网的 private 中定义了一段测试 vlan 号范围用于网络测试使用，其 vlan 号码范围是：501 至 504，其 physnets 为 physnet2，具体不赘述，如下是已创建好的测试网络：3.4 参数优化1.配置 ntp server，所有节点的 ntp 需要指向 node-1 节点(172.16.2.3)2.移除 roller 安装过程中的 agent(当需要扩容节点的时候，需要还原)3.设置 CPU 和内存超售比，原则上 CPU 按照 1:4，内存不设置超分，按照 1:1 的原则设置(仅限计算节点需要设置，其他节点不需要)4.设置预留内存，给予操作系统使用，防止 vm 分配过多的内存资源，造成计算节点异常5.调整系统最小内存空间，设置为 5G，防止发生 OOMvim /etc/sysctl.conf vm.min_free_kbytes=52428