运维培训-day4-01其余组件

1、其余通用组件EasyStack Inc.mysql集群状态检查#确保mysql集群中的节点都是运行状态rootnode-1 # mysql -e show status | grep ing_addresses、分别是MYSQL集群中的3个Controller节点，任何一个没有出现在上面截图中的输出都应该是出了问题。需要登录该节点，查看/var/log/mysqld.log检查该节点的状态。#确保mysql是同步的rootnode-1 # mysql -e show status | grep mentmysql集群状态检查#确保wsrep同步完成rootnode-1 # mysql -e s

2、how status | grep wsrep_ready！注意：禁止手动重起mysql集群，比如用命令crm resource restart clone_p_mysql mysql集群要求必须至少有一个活的节点，所以不能将mysql集群全部关闭，如果要关闭，要做相应设置才能恢复。如果三个controller上的mysql服务全部出问题，不会影响已在线运行的虚机， 但无法对云平台进行操作（如创建虚机，运行关闭虚机等）。 mysql集群状态检查rabbitmq集群状态#确保所有的节点都在running。以root用户执行如下命令rootnode-1 # rabbitmqctl cluster_

3、status需要关注running_nodes里面是否有3个节点在运行，如果没有，说明rabbitmq集群存在问题，需对有问题的节点进行处理。#确保所有的节点能list queuesrootnode-1 # rabbitmqctl list_queuesRabbitMQ状态检查 如果RabbitMQ出问题， 不会影响已在线运行的虚机， 但无法对云平台进行操作（如创建虚机，运行关闭虚机等）。可使用命令重启消息队列crm resource restart p_rabbitmq-server 此动作不会对虚机造成影响。Pacemaker状态检查pacemaker管理的各服务集群状态检查rootnod

4、e-1 # crm status磁盘空间检查检查磁盘空间在每个节点运行rootnode-1 # df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/os-root 50G 12G 36G 25% /tmpfs 63G 37M 63G 1% /dev/shm/dev/sda3 194M 28M 156M 16% /boot/dev/mapper/mongo-mongodb 1.1T 74G 919G 8% /var/lib/mongo主要是log和mysql的db log 占据的空间比较大以下在控制节点执行，找到占用空间较大的lo

5、grootnode-1 # du -sh /var/log/* | sort -h如果log过大，空间不够，不要删除源文件使用下列命令清除logecho filename常见问题处理RabbitMQRabbitMQ问题检查方法： rabbitmqctl cluster_status; rabbitmqctl list_queues | sort -k2n |tail相关问题： 消息队列无法列出，或有大量消息卡死两个检查命令，前者是检查消息队列集群状态，后者是检查是否有消息卡死。 如果无法正常列出，基本上是由于控制节点内存,cpu占用太高导致。 请查看控制节点资源占用情况。如过在list_que

6、ues命令执行后，发现输出的第二列不为0， 说明有消息卡在消息队列中， 需要重启消息队列来尝试解决。 Crm resource restart p_rabbitmq_server. 消息队列出问题，只会影响openstack的命令执行，不会影响现有虚机。也可通过修改ocf文件，将rabbitmq集群从pacemaker中取出， 通过rabbitmqctl join命令，来重新组成集群。rabbitmqctl join_cluster rabbitnode-1MongoDB问题清理数据mongodb的ceilometer库的用户名和密码在 /etc/ceilometer/ceilometer.c

7、onf,的配置项connection=mongodb:/ceilometer:ZOJwyj7O,/ceilometer登录方法mongo ceilometer -u ceilometer -p ZOJwyj7O需要清理的数据库有 meter, statistics300, statistics60, statistics7200, statistics86400, statistics900如果直接清理一个库执行如meterdb.meter.remove(）如果清除某一个时间之前的数据db.meter.remove(timestamp:$lt:ISODate(2014-15-01T19:30:

8、07.805Z);MongoDB问题清理缓存使用admin用户登录后，在主节点上清理缓存命令： mand(closeAllDatabases:1)然后重启secondary节点mongod进程即可/etc/init.d/mongod restartMongoDB升级mongodb 3.0版本加入许多新特性，主要加入了新的存储引擎WiredTiger。相比较之前版本默认的MMAP引擎，WiredTiger主要有如下特点：1、 文档锁 以前的版本是库锁，现在WiredTiger通过多版本控制（MVCC）实现了文档锁，很大的提高了并发性能 2、 压缩 WiredTiger引擎支持三个压缩模式，non

9、e（不压缩），snappy（默认），zlib（压缩级别最高） 3、 内存限制 以前版本的mongodb对内存使用是不能控制的，有时候会出现内存大量被cache，并使用交换分区。现在可以通过参数控制内存使用量。常见问题处理MySQL问题检查var/lib空间，所有的数据都放在下面 du -sh /var/lib/* | sort -h3.9M/var/lib/pacemaker12M/var/lib/yum45M/var/lib/rpm169M/var/lib/ganglia418M/var/lib/mysql其中/var/lib/mysql会一直增长，主要是mysql的操作日志在控制节点上使用

10、mysql命令进入mysql控制台，然后查看日志mysql show binary logs;常见问题处理比如删除mysql-bin.000417 之前的logmysql purge binary logs to mysql-bin.000417;常见问题处理CRM常见问题检查方法：crm status常见问题处理某些服务down掉 crm管理的服务主要分为Load Balance模式和Active Standby模式两种。均为三个控制节点组成的集群。 整个服务集群完全down掉的可能性极小，如果出现，请尽快联系我们。 如果是某个节点，如node-2上的所有服务全部stop，那问题一般都会出在

11、node-2本身的系统宕机或者管理网络不通，请做相应检查。 网络检查方法见后面“其余常见问题”部分。 如果是某个节点上的某个服务down掉，可用crm resource restart 来通过crm重启该服务。 但重启前最好联系我们确认一下。 总体来说， 三个节点同时down掉的几率很小，至少到目前还没遇到过。 只要每项服务有一个是alive的， 那么云平台和虚机运行均不会受到影响。出现failed action的报错日志如果之前某个服务有过掉线的经历， 那么就会出现相关的failed action日志。 确认所有服务均正常后，即可用下列命令来清楚记录 crm resource cleanup

12、 执行CRM resource restart时，长时间卡死。出现此情况一般是由于某个控制节点内存或cpu占用率较高，导致resource restart命令长时间无法完成。 可尝试用crm resource stop 来手动停止进程， 等待crm status中相关服务消失后， 再重新crm resource start 来启动。 与resource restart命令相同， 执行前最好联系我们，确认不影响正常业务运行。其余常用操作修改admin密码1. 在页面上修改admin用户密码，修改后立即生效。2. 修改控制节点下的openrc文件， 找到password一项，把原密码修改成新密码。

13、三个控制节点均需修改。3. 修改控制节点/etc/easystack/hagent.conf文件， 在Auth下找到password参数， 将参数也同样改成更新后的密码。 三个控制节点均需修改。4. Crm重启hagent： crm resource restart easystack-hagent其余常用操作更换Logo#修改登陆后，浏览器左上角的ES小logovi /usr/share/openstack-dashboard/easystack_dashboard/templates/_es_stylesheets.html#注释掉#重启httpd服务service httpd restart-#修改登陆后，浏览器左上角的ESCloudvi /etc/openstack-dashboard/local_settings#SITE_BRANDING = ESCloud改为SITE_BRANDING = YouChu Cloud#重启httpd服务service httpd restart#修改登陆界面ESCloudvi /usr/share/openstack-dashboard/easystack_dashboard/templates/auth/_login.html中邮消费#重启httpd服务service httpd re