深证信息计算存储节点扩容

1、1.准备工作1.1 恢复 agent所有的节点运行如下，将 roller 所需的 agent 恢复，包括 crontab、rsyslog 和mcollective服务，内容如下：若干分钟后，在 roller 上检查节点的状况，确保所有的节点状态均处于 online 状态，如下：#/bin/bashBACKUPDIR=/usr/local/src/EasyStack function recovery_roller_agent()debug recovery rsyslog,nailgun agent,mcollective agent -d $BACKUPDIR | (echo $BACKUP

2、DIR not exists. & exit 1) -f $BACKUPDIR/00-remote.conf & mv -v $BACKUPDIR/00-remote.conf/etc/rsyslog.d/00-remote.conf-f$BACKUPDIR/nailgun-agent&mv-v$BACKUPDIR/nailgun-agent/etc/cron.d/nailgun-agentsystemctl restart rsyslog.service systemctl restart crond.serviceservice mcollective restart /dev/null

3、2&1 chkconfig mcollective oninfo recovery rsyslog,nailgun agent,mcollective agent done.function main()recovery_roller_agentmain1.2 设置 ceph 标志位由于需要扩展节点，对于 ceph 而言，当有新的 osd 加入到集群中，会导致数据的rebalance，为了避免数据的 rebalance 对生产数据的影响，需要设置 noin 标志位，osd 加入，后续通过修改 osd 的 weight 来实现数据的平衡扩展。1.3 节点将节点到 roller 中，其中设置工作内

4、容包括：1.将网卡模式设置为 BIOS，设置半载的网卡为第一启动项，如下：2.配置 RAID，计算节点设置两块硬盘为 RAID1，节点设置两块硬盘为 RAID1，SSD设置为 non-RAID 或 JBOD，OSD 所在的磁盘设置为 RAID01.4 网络配置1.4.1 计算节点计算节点使用 bond 的模式执行，其中 bond 承载 public，mgmt，private 和 storage 流量，具体设置如下，另外两个千兆网卡 bond，用于承载 dmz 的 private 流量，具体设置如下：rootnode-1 # ceph osd set noin set noinrootnode-

5、1 # ceph -scluster 6f469bbc-cd4c-477c-b27a-49f152e891e5 health HEALTH_WARNnoin flag(s) setmonm3:3monsatnode-1=10.20.1.3:6789/0,node-2=10.20.1.4:6789/0,node-3=10.20.1.5:6789/0election epoch 48, quorum 0,1,2 node-1,node-2,node-3osdm607: 40 osds: 40 up, 40 in flags noinpgmap v4421908: 2560 pgs, 3 pools

6、, 7857 GB data, 1924 kobjects23529 GB used, 50912 GB / 74441 GB avail2558 active+clean2 active+clean+scrubbing+deep cnt io 1083 kB/s rd, 5737 kB/s wr, 539 op/s节点1.4.2节点由于网卡不够，不做 bond 设置，将 mgmt 和 storage 网络分离，具体设置为mgmt+public，storage+private(由于节点没有 private 和 public 流量)，参考如下图：1.5配置计算节点只有一块硬盘，只需要设置系统磁盘

7、空间和虚拟机的空间即可，如下是设置其中一块磁盘的例子：节点，需要设置系统盘(如上)，ceph journal 和 ceph osd，其中 ceph journal 设置如下，需要将磁盘的所有空间划分给 ceph journal，其他空间设置为 0，具体设置参考下图：同理 ceph osd 设置方法一样，ceph 设置为整个磁盘的空间大小，其他设置为 0，参考如下：2.安装配置2.1 节点安装节点到 roller 中，配置好网络和磁盘后，执行网络监察，校验云中的网络配置是否正常，如果发现没有错误，则执行部署按钮，开始的部署，扩容的节点会执行操作系统的安装和的部署，的部署推送根据所选的角色会自动执

8、行 puppet 的因子。2.2平衡由于扩容之前设置了ceph 的标志位 noin，此时添加进来的 osd 并未存有 pg，此时通过 ceph s 查看会有少量的元数据执行 rebalance 和 recovery 操作，影响较小，如果需要将数据均衡至新的 osd 节点上，可以安装如下方法来执行：调整 osd 的 weightceph osd crush set osd.40 0.409996 root=default host=node-20查看 weight 设置id: -6,name: node-20,type: host, type_id: 1,items: id: 40,name:

9、osd.40,type: osd,2.3 网络配置DMZ 区域的 private 网络 roller 默认无法支持，需要手动配置 dmz 区域所需的网桥，如下是配置的方法：#!/bin/bash # : hai #DATE=date +%F#添加 dmz 区域的 public 网络所需的网桥，需要 roller 安装部署的时候手动创建好 br-bond2绑定网桥function add_dmz_public_bridge()ovs-vsctl br-exists br-ovs-bond2 if $? -ne 0 ;thenecho -e 03332mbr-ovs-bond2 is not ex

10、ists,creating.,please wait.0330m ovs-vsctl add-br br-ovs-bond2ovs-vsctl add-bond br-ovs-bond2 ovs-bond2 eth1 eth2ovs-vsctl br-exists br-ovs-bond2 & echo br-ovs-bond2 create sucsfully!fiovs-vsctl br-exists br-dmz-public if $? -ne 0 ;thenovs-vsctl add-br br-dmz-publicovs-vsctl add-port br-dmz-public b

11、r-dmz-public-br-ovs-bond2ovs-vsctlseterfacebr-dmz-public-br-ovs-bond2type=patch options:peer=br-ovs-bond2-br-dmz-publicovs-vsctl add-port br-ovs-bond2 br-ovs-bond2-br-dmz-publicovs-vsctlseterfacebr-ovs-bond2-br-dmz-publictype=patch options:peer=br-dmz-public-br-ovs-bond2fitype_id: 0,crush_weight: 0.

12、409988,depth: 2,3.将 osd 加入到crush 中ip link set br-ovs-bond2 up ip link set br-dmz-public upfunction configure_neutron_plugin()cp-v/etc/neutron/plugins/ml2/ml2_conf.ini/etc/neutron/plugins/ml2/ml2_conf.ini_backup_$DATEcp-v/etc/neutron/plugins/ml2/openvswitch_agent.ini/etc/neutron/plugins/ml2/openvswit

13、ch_agent.ini_backup_$DATEopenstack-config -set /etc/neutron/plugins/ml2/ml2_conf.ini ml2_type_vlan network_vlan_ranges physnet2:305:309,physnet2:326:328,physnet3:106:108hostname=hostname | awk -F . pr$1 case $hostname innode-1-3)openstack-config-set/etc/neutron/plugins/ml2/openvswitch_agent.ini ovs

14、bridge_maps physnet1:br-ex,physnet2:br-prv,physnet3:br-dmz-publicsystemctl restart neutron-serversystemctl restart neutron-openvswitch-agent;*)openstack-config-set/etc/neutron/plugins/ml2/openvswitch_agent.ini ovs bridge_maps physnet2:br-prv,physnet3:br-dmz-publicsystemctl restart neutron-openvswitc

15、h-agent;esacopenstack-config -get /etc/neutron/plugin.ini ml2_type_vlan network_vlan_ranges openstack-config-get/etc/neutron/plugins/ml2/openvswitch_agent.iniovsbridge_maps2.4配置由于该环境对接了两套，需要配置 secret key，以便支持对第二套 ssdvolume的支持，需要到新扩容的计算节点上执行如下：#!/bin/bashSECRET_ID=e9571fce-1ae1-4612-974d-050a307a6eaa

16、 SSD_KEYRING=lx1Y0ixSFRAA3sjdngVUOG6+HZwOkME+EA=cat ssdsecret.xml EOF$SECRET_IDcnt.ssd secret EOFfunction define_ssd_secret()virsh secret-define ssdsecret.xmlvirsh secret-set-value -secret $SECRET_ID -base64 $SSD_KEYRINGecho -e 03333mDebug:$(virsh secret-list)0330mnecho -e 03333mDebug:$(virsh secret-get-value $SECRET_ID)0330m rm -f ssdsecret.xml & rm -f $0function main()define_ssd_secretfunction main()a