easystack长沙银行云平台配置变更手册

1、1长沙云配置调整1.1. NTP 配置云 部署完成后，所有节点默认将 Roller 作为 NTP server，但是 Roller 是不联网的，所以 使用客户提供的 NTP Server，例如客户 NTP Server：0，操作方法如下：1.2. 移除rsyslog、nailgun、mcollection agentother node：server 0 burst iburst prefer配置完成需要重启 NTP 服务：/etc/init.d/ntpd restart查看同步情况：ntpq -p如果是多控环境, 建议控制节点都与 node-1 同步，计算节点最先与 node-1 同步，往后

2、以此与 node-2，node-3 同步。所有节点：vim /etc/ntp.conf将 server burst iburst prefer 改为 server 0 burst iburst prefer如果客户有两个 NTP Server 则如下： server 0 burst iburst prefer server 1 burst iburst如果客户没有 NTP Server，或者无法连接到客户 NTP Server 则将 node-1 配成集群的 NTP Server，其他节点向 node-1 同步，这是不建议的Node-1：vim /etc/ntp.conf删掉 server b

3、urst iburst prefer新增如下：server fudge stratum 101.4. 计算节点宿主机内存预留由于宿主机本身运行着操作系统和一些必须的 ，所以其本身也需要一部分资源，建议预留 10-15G 左右，如果还是 节点的话，建议每 OSD 不少于 3G 内存，每 1TB 大约 1GB，如一个节点有 10 个 OSD，建议预留 45G 内存，设置方法如下：1.3. CPU、RAM 超售比默认控制和计算节点配置不一样，一般生产环境建议内存超售比为 1:1，CPU 为 1:2 或者 1:4，不建议过大，设置方法：如果没有作此操作，roller 被移除或者网络不通，syslog

4、长时间不连通服务会夯死，引起 neutron,glance 等服务异常，其他 agent 则会占用过多的进程，建议移除，但是移除后会导致在 roller dashboard 上 node 状态为 offline，不影响使用。操作方法：1.5. 设置mini_free，防止 oom宿主机在内存耗尽，而又无法的情况下会杀掉占用内存最大的进程，这往往是虚机或者 OSD，为了防止 oom 发生建议设置 mini_free，比如 3G，设置方法如下：/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT_host_memory_mb 15360

5、servicepute restart/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT ram_allocation_ratio 1.0/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT cpu_allocation_ratio 2.0servicepute restartmv /etc/rsyslog.d/00-remote.conf /root/etc/init.d/rsyslog restartmv /etc/cron.d/nailgun-agent /roo

6、t/etc/init.d/crond restart/etc/init.d/mcollective stop chkconfig mcollective off1.6. 缓存及不管是计算还是节点都会产生大量缓存，但是通常情况下系统可能无法正常，这时需要手动，最好不要使用 3，手动 cache 的方法如下：咱们自己有一个执行定时任务的自动缓存的，环境部署完成后需要在控制节点 run 起来，计算特别是融合性节点不建议#!/bin/bash # This tool is used to release system cached memory # if CPU load is high or cac

7、hed memory is large.# If load CPU_NUM/3, clean cache.CPU_NUM=cat /prouinfo | grep prosor | wc -l MAX_SYS_LOAD_NUM=expr $CPU_NUM / 3if $MAX_SYS_LOAD_NUM = 0 ; then MAX_SYS_LOAD_NUM=1fiSYS_LOAD_NUM=uptime | awk pr$(NF-2) | sed s/,/# If cache TOTAL_RAM/3, clean cache. TOTAL_RAM=free -g| grep Mem|awk pr

8、$2 MIN_RAM=expr $TOTAL_RAM / 3if $MIN_RAM = 0 ; then MIN_RAM=1fiCACHE_MEM=free -g| grep Mem|awk pr$7echo 1 /proc/sys/vm/drop_cachesecho 3145728 /proc/sys/vm/min_free_kbytesecho vm.min_free_kbytes=3145728 /etc/sysctl.conf虚机迁移会产生大量缓存，反过来大量内存被 cache 会导致虚机迁移失败，迁移虚机时需要注意：计算节点长时间运行，pute 和 openstpute也会产生大量

9、缓存，选一个适当的时间重启下，建议至少每月重启一次1.7. SSD 调度算法SSD 作为 journal 或者 OSD 都建议修改其算法为 noop，算法简单高效，设置方法如下：echo noop /sys/block/sdueue/scheduler需要开机加载，写入 rc.local 中vim /etc/rc.localif echo $SYS_LOAD_NUM $MAX_SYS_LOAD_NUM|bc -eq 1 | echo $CACHE_MEM $MIN_RAM|bc -eq 1 ; thenif pgrep drop_caches | wc -l -gt 0 ; thenecho$

10、(date +%y-%m-%d %H:%M:%S) Cleaning pros isrunningelseecho $(date +%y-%m-%d) uptime echo $(date +%y-%m-%d) free -gecho $(date +%y-%m-%d %H:%M:%S) Start to clean cache; echo 3 /proc/sys/vm/drop_cachesecho $(date +%y-%m-%d %H:%M:%S) End to clean cache; echo $(date +%y-%m-%d) uptimeecho $(date +%y-%m-%d

11、) free -gfifi将放到/usr/bin/下，命名 clean-system-cache.sh od +x /usr/bin/clean-system-cache.shecho 0 * * * * /usr/bin/clean-system-cache.sh /var/log/clean-system- cache.log 2&1 /var/spool/cron/root/etc/init.d/crond restart，1.10.设置 DHCP 租期此为可选项，由于网络或者 rabbitmq 有时候会出现问题，如果租期过短，恰逢网络或者 rabbitmq 出问题则云主机可能无法正常获

12、取 IP 或者元数据，所以建议调大租期，特别是在 L2 环境中，避免控制节点 down 机带来对虚机的影响，调整方法如下：vi /etc/neutron/neutron.conf dhcp_lease_duration 321408000ps -ef |grep dnsmasq |grep -v grep kill service neutron-dhcp-agent restart1.9. 设置mongoDB 占用缓存大小同 memcache 一样，的数据越多，mongoDB 占用的缓存越大，可以根据内存适当调大，通常设置 10G，设置方法：vim /etc/mongod.conf cach

13、eSizeGB: 10service mongodb restart1.8. 设置memcache 内存cache环境部署出来的设置过大，需要调整，Memcache 没有明确表示需要占用多大的 cache可以设置 8G，设置方法如下：vi /etc/sysconfig/memcached CACHESIZE=8196service memcached restart/etc/init.d/openstack-keystone restart/etc/init.d/httpd restartecho noop /sys/block/sdueue/scheduler，1.11.CPU首先是不融合型

14、节点的，但是通常大部分客户都部署这种融合性环境，但是一台宿主机的资源比较是有限的，前面已经了如何保留内存，这里说下做 CPU 资源绑定，首先融合型节点最好 1:4,8 个 OSD，这样不会绑定后剩下太少的可用资源给虚机设置方法：先看一下 NUMA# lscpu| grep NUMANUMA node(s):2NUMA node0 CPU(s):0-5,12-17NUMA node1 CPU(s):6-11,18-23这里可以预留 0 和 6 给操作系统，不占用从后往前对 CPU 和内存一一绑定，一个 OSD 建议两个 CPU，两个 CPU 不要跨 NUMA，一个 CPU 挂了对应的 OSD 也

15、挂taskset -cp 22-23 service ceph restart osd.0剩下的给虚机使用防止 nova.conf 的 default 下面 vim /etc/nova/nova.conf vcpu_pin_set=1-5,7-11在 Liberty 版本中使用 centos7.2，无法直接用 taskset 方式进行绑定，需要做以下修改。修改/etc/init.d/ceph vim /etc/init.d/ceph #!/bin/sh# Start/stop ceph daemons # chkconfig: - 60 80# BEGIN INIT INFO# Provide

16、s:ceph# Default-Start:# Default-Stop:# Required-Start:$remote_fs $named $network $time # Required-Stop:$remote_fs $named $network $time# Short-Description: Start Ceph distributed file system daemons at boot time # Description:Enable Ceph distributed file system servi.# END INIT INFO. /lib/lsb/init-f

17、unctions这里不再一一赘述，还有、rabbitmq、mongoDB 等，登陆 dashboard 进行创建删除虚机、云硬盘、已经计费等通用操作，确认正常。1.15.iptables 之conntrack 修改网络QoS 限速默认咱们对的网络进行了限速，南北向流量即 floating IP 限速 4M，这个在咱们 dashboard 上最大可以达到 100M，东西向即虚机之间默认限制在 1000M，如下vim /etc/neutron/neutron.conf# Enable rate_limiting feature or not # rate_limiting = Falserate_

18、limiting = True# Default bandwidth for North/South traffic (mbit) # default_north_south_bandwidth = 4# Default bandwidth for East/West traffic (mbit) # default_east_west_bandwidth = 1000所以要想关闭限速只需要将 rate_limiting = True 改为 False 即可环境检查建议安装完成后先对进行一次检查，查看 nova、neutron、cinder、ceph 相关的服务是否正常，简单检查如下:resource neutron agent-list nova service-list cinder service-listceph -s# detect systemd, also check whether the systemd-run binary exists SYSTEMD_RUN=$(which systemd-run 2/d