Nagios监控系统部署.docx

一、Nagios监控简介1.1 Nagios监控工具介绍与优势Nagios是一款开源的网络及服务的监控工具，其功能强大，灵活性强。能有效的监控windows、Linux和UNIX等系统的主机各种状态信息，交换机、路由器等网络设备，主机端口及URL服务等。根据不同业务故障级别发出告警信息给管理员，当故障恢复时也会发出恢复消息。Nagios服务端可以在Linux系统和类UNIX的系统上运行，目前无法再windows上运行。官方网站地址：/官方快速安装说明：/docs/3_0/quickstart-fedora.html1.2 Nagios的特点1).监控网络服务(SMTP/POP3/HTTP/TCP/PING等)；2).监控主机资源(CPU/负载/IO状况/虚拟及正式内存及磁盘利用率等；3).简单的插件设计模式使得用户可以方便定制符合自己的服务的检测方法；4).并行服务检查机制；5)具备定义网络分层结构的能力，用“parent”主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态；6).当服务或主机问题产生与解决时将告警发送给联系人；7).具备定义事件句柄功能，它可以在主机或服务的事件发生时获取更多问题定位；8).自动的日志回滚；9).可以支持并实现对主机的冗余监控(分布式监控)；10).可选的web界面用于查看当前的网络状态、通知和故障历史、日志文件等；Nagios监控一般由一个主程序(nagios)、一个插件程序(nagios-plugins)和几个可选的附加程序(NRPE、NSClient+、NSCA和NDOUtils)等。Nagios本身只是一个监控的平台而已，其具体的监控工作都是通过插件实现的。因此，Nagios和Nagios-plugins是Nagios服务器端必须的程序组件，Nagios-plugins一般也是安装于被监控端。几个附加程序的描述如下：1.NRPE：工作位置：此软件工作于被监控端，一般为Linux、UNIX系统。用途：用来在被监控的远程linux/Unix主机上执行脚本插件(也可以自己编写)来实现对这些主机资源的监控。2.NSClient+：位置：此软件工作于windows系统的被监控端。作用：用来监控windows主机时安装在windows主机上的组件，相当于Linux下NRPE。3.NDOUtils:不推荐使用位置：NDOUtils工作于服务器；作用：用于将Nagios的配置信息和各event产生的数据存入数据库以实现对这些数据的检索和处理。4.NSCA:位置：NSCA需要同时安装在服务端和客户端；作用：用于让被监控的远程Linux、UNIX主机主动将监控信息发送给Nagios服务器(在分布式监控集群模式中用到)；分布式监控NSCA外部结构简介：为完成从远程主机主动提交强制检测结果，于是就开发了NSCA外部构件。该外部构件包括两部分，第一部分是客户端程序(send_nsca)，运行于远程主机并负责将强制检测结果送到指定的服务端。另一部分是NSCA守护进程(nsca)。既可以独立的运行于守护服务也可以注册到inetd里作为一个inetd客户程序来提供坚挺联接，从客户端收到服务检测结构信息之后，守护进程将结果交给在中心服务器的Nagios,方式是通过在外部命令文件里插入一条process_svc_check_result命令，后跟上检测结果。Nagios下一次处理外部命令时将会找到这条由分布式服务器送来的强制检测信息并处理它。相关链接：/library/products/nagioscore/manuals//projects/nscplus/二、Nagios 服务端安装2.1 安装前准备2.1.1 实验环境：系统版本：Centos 2-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/LinuxIP地址服务角色备注NagiosLAMP被监控端LAMP被监控端windows被监控端配置YUM源：略2.1.2 解决perl编译问题：echo export LC_ALL=C /etc/profiletail -1 /etc/profilesource /etc/profileecho $LC_ALL关闭防火墙/SELINUX:略2.1.3 更新同步时间：ntpdate echo */10 * * * * /usr/sbin/ntpdate /dev/null 2&1 /var/spool/cron/rootcrontab -l2.1.4 安装Nagios的基础软件包：编译软件、LAMP环境(YUM安装即可)：yum -y install gcc glibc glibc-commonyum -y install gd gd-devel #用于后面pnp出图的软件包yum -y install mysql* #非必须，如果有监控数据库，那么需要先安装mysql。否则，Mysql的相关插件不会被安装yum -y install httpd php php-gdcd /var/cache/yum/x86_64/6/base/packages/ #yum缓存包路径sed -i s#keepcache=0#keepcache=1#g /etc/yum.conf #保存yum缓存包，默认为安装后删除2.1.5 添加Nagios用户：useradd nagiosgroupadd nagcmd #官方推荐创建usermod -a -G nagcmd nagiosusermod -a -G nagcmd apacheid apacheid nagiosNagios安装包：rootlocalhost tools# pwd/usr/src/toolsrootlocalhost tools# lsepel-release-6-8.noarch.rpm nrpe-2.15.tar.gzlibart_lgpl-2.3.17.tar.gz rpmforge-release-0.5.3-1.el7.rf.x86_64.rpmnagios-4.0.7.tar.gz rrdtool-1.4.8.tar.gznagios-plugins-2.0.3.tar.gz#启动Nagios服务并验证service httpd startlsof -i tcp:80/etc/init.d/httpd startlsof -i tcp:80#上述结果表明LAMP环境正常；2.2 安装Nagios2.2.1 编译安装nagiostar zxf nagios-4.0.7.tar.gz -C /usr/src/cd /usr/src/nagios-4.0.7/./configure -prefix=/usr/local/nagios -with-command-group=nagcmd -enable-nanosleep -enable-broker注：如果是编译安装的Apache，可以执行./configure -with-command-group=nagcmd with-httpd-conf=/usr/local/apache/conf/extramake allmake installmake install-initmake install-commandmodemake install-configmake install-webconf2.2.2 安装Nagios的web界面以及登陆验证注：如果源代码编译的Apache。相关操作如下：编译时./configure -with-command-group=nagcmd with-httpd-conf=/usr/local/apache/conf/extra增加一个编译参数即指定编译nagios web配置生成路径。然后vi /usr/local/apache/conf/httpd.conf增加Include conf/extra/nagios.conf。创建nagios登陆用户及密码rootnagios-server nagios-4.0.7# htpasswd -c /usr/local/nagios/etc/htpasswd.users yangshengNew password: #密码:Re-type new password: Adding password for user yangsheng注：rootnagios-server nagios-4.0.7# htpasswd -cb /usr/local/nagios/etc/htpasswd.users yangsheng 如果为单独编译的Apache。则操作如下：/usr/local/apache/bin/htpasswd -c /usr/local/nagios/etc/htpasswd.users yangsheng2.2.3 添加Nagios的报警email地址：联系人配置文件vi /usr/local/nagios/etc/objects/contacts.cfg +35 #修改第35行； email 9727110212.2.4 开启sendmail服务：yum -y install sendmailservice sendmail startlsof -i :25chkconfig sendmail on访问nagios：http:/Server_IP/nagios提示：以下错误的解决方法(关闭SELinux即可)2.2.5 安装Nagios插件包tar zxf nagios-plugins-2.0.3.tar.gz -C /usr/src/cd /usr/src/nagios-plugins-2.0.3/./configure -with-nagios-user=nagios -with-nagios-group=nagios -enable-perl-modulesmakemake installcd .ls /usr/local/nagios/libexec/ |wc -l#查看插件个数大概为63个左右；提示：如果遇到make: * all Error 2则configure加一条-with-mysql=/usr/local/mysql解决；2.2.6 添加Nagios服务到开机自启动chkconfig -level 3 nagios onchkconfig -list nagios或者使用如下：(推荐)echo /etc/init.d/nagios start /etc/rc.local tail -1 /etc/rc.local#查看到如下信息；tail: inotify cannot be used, reverting to polling/etc/init.d/nagios start2.2.7 检查Nagios的语法/usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfgTotal Warnings: 0Total Errors: 0 #0为正常Things look okay - No serious problems were detected during the pre-flight check或者：rootnagios-server # /etc/init.d/nagios checkconfigRunning configuration check. OK.或者：/etc/init.d/nagios configtest #与第一种显示结果相同；启动Nagios：/etc/init.d/nagios start/etc/init.d/nagios status2.2.8 安装NRPE插件服务端和客户端都需要check_nrpe插件，并且服务端不提供check_nrpe;tar zxf nrpe-2.15.tar.gz -C /usr/src/cd /usr/src/nrpe-2.15/./configuremake allmake install-pluginmake install-daemonmake install-daemon-configls /usr/local/nagios/libexec/check_nrpe #验证是否存在check_nrpe;/usr/local/nagios/libexec/check_nrperootnagios-server nrpe-2.15# ls /usr/local/nagios/libexec |wc -l 64三、Nagios客户端安装3.1 Nagios客户端配置3.1.2 安装前准备实验环境：安装LAMP环境：YUM安装即可，安装完启动http/mysql服务；yum -y install httpd php php-gdyum -y install mysql*关闭防火墙、SELinux：service iptables stopchkconfig iptables offchkconfig iptables -listsetenforce 0sed -i s#SELINUX=enforcing#SELINUX=disabled#g /etc/sysconfig/selinux解决perl编译问题：echo export LC_ALL=C /etc/profiletail -1 /etc/profilesource /etc/profileecho $LC_ALL时间同步：ntpdate echo */10 * * * * /usr/sbin/ntpdate /dev/null 2&1 /var/spool/cron/rootcrontab -l上传客户端软件：nagios-plugins-2.0.3.tar.gznrpe-2.15.tar.gzrpmforge-release-0.5.3-1.el6.rf.x86_64.rpmcheck_memory.plcheck_iostat客户端创建用户：useradd nagios -M -s /sbin/nologin3.1.2 安装客户端插件tar zxf nagios-plugins-2.0.3.tar.gz -C /usr/src/cd /usr/src/nagios-plugins-2.0.3/./configure -with-nagios-user=nagios -with-nagios-group=nagios -enable-perl-modulesmakemake installll /usr/local/nagios/libexec/ |wc -lll /usr/local/nagios/libexec/check_m*#查看插件个数和确认监控mysql插件check_mailq check_mrtgtraf check_mysql_query check_mrtg check_mysql3.3 安装NRPEtar zxf nrpe-2.15.tar.gz -C /usr/src/cd /usr/src/nrpe-2.15/./configuremake allmake install-pluginmake install-daemonmake install-daemon-configcd3.4 安装其他相关插件【iostat】软件下载地址：/release/Params-Validatetar zxf Nagios_client/Params-Validate-1.13.tar.gz -C /usr/src/cd /usr/src/Params-Validate-1.13/Params-Validate-1.13# perl Build.PLParams-Validate-1.13# perl INSTALL软件下载地址：/pod/Class:Accessortar zxf Nagios_client/Class-Accessor-0.34.tar.gz -C /usr/src/cd /usr/src/Class-Accessor-0.34/Class-Accessor-0.34# perl Makefile.PLClass-Accessor-0.34# make & make install-软件下载地址：/pod/Config:Tinytar zxf Nagios_client/Config-Tiny-2.14.tar.gz -C /usr/src/cd /usr/src/Config-Tiny-2.14/Config-Tiny-2.14# perl Makefile.PLConfig-Tiny-2.14# make & make installcd-软件下载地址：/dist/Math-Calc-Units/tar zxf Nagios_client/Math-Calc-Units-1.07.tar.gz -C /usr/src/cd /usr/src/Math-Calc-Units-1.07perl Makefile.PLmake & make installcd-软件下载地址：/dist/Regexp-Common/tar zxf Nagios_client/Regexp-Common-2013031301.tar.gz -C /usr/src/cd /usr/src/Regexp-Common-2013031301/perl Makefile.PLmake & make installcd-以上均可以通过YUM安装：(建议使用YUM)rpm -ivh rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm#下载地址：http:/packages.sw.be/rpmforge-release/yum install -y perl-Params-Validate perl-Math-Calc-Units perl-Regexp-Common-* perl-Config-Tiny perl-Nagios-Plugin.noarch3.5 配置开发的几个基础插件批量部署命令：yum -y install dos2unix复制check_memory.pl:cp check_memory.pl /usr/local/nagios/libexec/chmod 755 /usr/local/nagios/libexec/check_memory.pldos2unix /usr/local/nagios/libexec/check_memory.plchown nagios.nagios /usr/local/nagios/libexec/check_memory.plll /usr/local/nagios/libexec/check_memory.pl复制check_iostat:cp check_iostat /usr/local/nagios/libexec/chmod 755 /usr/local/nagios/libexec/check_iostat dos2unix /usr/local/nagios/libexec/check_iostat chown nagios.nagios /usr/local/nagios/libexec/check_iostatll /usr/local/nagios/libexec/check_iostat3.6 配置NRPE自动部署：cp /usr/local/nagios/etc/nrpe.cfg /usr/local/nagios/etc/nrpe.cfg.baksed -i 219,223d /usr/local/nagios/etc/nrpe.cfgperl -pi -e s/allowed_hosts=/allowed_hosts=/g /usr/local/nagios/etc/nrpe.cfgecho commandcheck_load=/usr/local/nagios/libexec/check_load -w 15,10,5 -c 30,25,20 /usr/local/nagios/etc/nrpe.cfgecho commandcheck_mem=/usr/local/nagios/libexec/check_memory.pl -w 10% -c 3% /usr/local/nagios/etc/nrpe.cfgecho commandcheck_disk=/usr/local/nagios/libexec/check_disk -w 15% -c 7% -p / /usr/local/nagios/etc/nrpe.cfgecho commandcheck_swap=/usr/local/nagios/libexec/check_swap -w 20% -c 10% /usr/local/nagios/etc/nrpe.cfgecho commandcheck_iostat=/usr/local/nagios/libexec/check_iostat -d sda -w 1000 -c 2000 /usr/local/nagios/etc/nrpe.cfg修改NRPE配置文件，注释掉219-223行(直接删除也行):roottest1 # vi /usr/local/nagios/etc/nrpe.cfg#commandcheck_users=/usr/local/nagios/libexec/check_users -w 5 -c 10 #commandcheck_load=/usr/local/nagios/libexec/check_load -w 15,10,5 -c 30,25,20#commandcheck_hda1=/usr/local/nagios/libexec/check_disk -w 20% -c 10% -p /dev/hda1#commandcheck_zombie_procs=/usr/local/nagios/libexec/check_procs -w 5 -c 10 -s Z#commandcheck_total_procs=/usr/local/nagios/libexec/check_procs -w 150 -c 200在其被注释的行后添加如下几行：commandcheck_load=/usr/local/nagios/libexec/check_load -w 15,10,5 -c 30,25,20commandcheck_mem=/usr/local/nagios/libexec/check_memory.pl -w 10% -c 3%commandcheck_disk=/usr/local/nagios/libexec/check_disk -w 15% -c 7% -p /commandcheck_swap=/usr/local/nagios/libexec/check_swap -w 20% -c 10%commandcheck_iostat=/usr/local/nagios/libexec/check_iostat -d sda -w 1000 -c 2000#第一条是监控系统的负载，通过uptime命令可以查看Linux的系统负载。该参数的意思为：在1/2/15分钟内负载达到15/10/5为警告报警，在1/2/15分钟内达到30/25/20为严重报警；roottest1 # uptime 16:49:01 up 4:33, 1 user, load average: 0.00, 0.00, 0.001分钟之内的负载，2分钟，15分钟；单CPU的值不应该超过5，双CPU不应该超过10；#第二条是监控系统的内存空间。该参数的意思为：当内存空间剩余10%时为警告报警，剩余3%时为严重报警；#第三条是监控系统的磁盘空间。该参数的意思为：当磁盘空间剩余15%是为警告报警，剩余7%时为严重报警；-p接磁盘的分区，多个磁盘接多个-p；#第四条是监控系统的swap空间。该参数的意思为：当swap空间剩余20%时为警告报警，剩余10%时为严重报警；#第五条是监控系统的磁盘I/O；注：allowed_hosts=在nrpe.cfg一定要指定服务器端的ip地址；启动NRPE服务：/usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d #-d后台启动 echo #nagios nrpe process cmmond by 2014-07-30 /etc/rc.local echo /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d /etc/rc.localps -ef |grep nagiostail -2 /etc/rc.local roottest1 # lsof -i tcp:5666COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEnrpe 3102 nagios 4u IPv4 18638 0t0 TCP *:5666 (LISTEN)nrpe 3102 nagios 5u IPv6 18639 0t0 TCP *:5666 (LISTEN)重启NRPE服务方法：roottest1 # ps -ef|grep nrpenagios 3102 1 0 17:10 ? 00:00:00 /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -droot 3149 1993 0 17:19 pts/0 00:00:00 grep nrperoottest1 # killall nrperoottest1 # /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d四、配置Nagios服务端4.1 Nagios 结构4.1.1 Nagios服务端的目录结构：rootnagios-server # ls /usr/local/nagios/bin etc include libexec perl sbin share var以下是各目录详细解释：bin：下为nagios相关命令nagios nagiostats nrpeetc：nagios配置文件cgi.cfg ；htpasswd.users ；nagios.cfg：主配置文件；nrpe.cfg：nagios客户端配置文件；objects ：是一个目录，下面保存了监控对象的配置文件；resource.cfg；libexec：插件目录sbin：cgi目录该目录用的不多；share：Nagios界面的PNP程序目录var：数据及日志目录在nagios.cfg中既可以指定单独包含一个cfg文件，也可以指定包含一个目录，即该目录下所有的cfg文件都会包含进来。为了目录结构更清晰和批量部署服务的需要，我们把主配置文件包含的文件修改如下：配置文件名称说明commands.cfg存放命令相关配置(也可指定commands目录)services.cfg存放服务相关配置(上百台以上可指定servers目录)默认不存在hosts.cfg存放主机相关配置(上百台以上可指定hosts目录)默认不存在contacts.cfg存放报警联系人相关配置timeperiods.cfg存放报警周期时间等相关配置templates.cfg模板配置文件4.1.2 配置主配置文件nagios.cfg在nagios.cfg文件中找到cfg_file部分，进行如下配置:cp /usr/local/nagios/etc/nagios.cfg /usr/local/nagios/etc/nagios.cfg.bak #备份vi /usr/local/nagios/etc/nagios.cfg +33添加如下几行：# Add configure file hosts or services-2014-07-30.cfg_file=/usr/local/nagios/etc/objects/hosts.cfgcfg_file=/usr/local/nagios/etc/objects/services.cfgcfg_dir=/usr/local/nagios/etc/objects/services注释掉如下：# Definitions for monitoring the local (Linux) host#cfg_file=/usr/local/nagios/etc/objects/localhost.cfg #注释掉改行；操作完毕，保存nagios.cfg并建立mkdir /usr/local/nagios/etc/objects/services对目录授权chown -R nagios.nagios /usr/local/nagios/etc/objects/services/生成hosts.cfg文件：cd /usr/local/nagios/etc/objects/head -51 localhost.cfg hosts.cfgchown -R nagios.nagios /usr/local/nagios/etc/objects/hosts.cfg生成services.cfg文件:touch /usr/local/nagios/etc/objects/services/services.cfg chown -R nagios.nagios /usr/local/nagios/etc/objects/services/services.cfg4.2 hosts.cfg生成库实战配置例子语法4.2.1 hosts.cfg中主机定义部分配置参数详解hosts.cfg一般用来存放主机的相关配置，设置机器名格式为：IP+服务+组，ID+组内机器ID。这样设置的目的，便于查看。hosts.cfg中的主机定义部分配置参数详解define host use linux-server #定义主机使用的模板，具体见templates.cfg； host_name 2-LAMP-server #主机名称，根据服务功能定义； alias 2-LAMP-server #主机别名，同上； address #被监控服务器的IP地址； check_command check-host-alive #检测主机存活命令； max_check_attempts 3 #故障后，最大尝试检测次数； normal_check_interval 2 #正常的检查间隔，默认单位为分钟； retry_Check_interval 2 #故障后重试的检查间隔，默认单位为分钟； check_period 24x7 #检查周期24x7，具体参见timeperiods.cfg； notification_interval 300 #故障后，两次报警的通知间隔，默认单位分钟； notification_period 24x7 #一天之内通知的周期。比如全天还是半天； notification_options d,u,r #主机状态通知选项d为down，u为unreacheable, r位recovery; contact_groups admins #报警到admins用户组；hosts.cfg中主机定义部分批量模板化配置：主机的配置也可以只配置关键选项，多数选项可采取linux-server模板的默认值，可以先调整linux-server模板，然后所有机器统一采用这种默认值，如下：define host use linux-server host_name 2-LAMP-server alias 2-LAMP-server address #省略其他部分，使部署能够更迅速、更方便。(省略部分定义在linux-server模板中，也就是templates.cfg)4.2.2 services.cfg生产库实战配置例子语法services.cfg文件是配置监控服务的，是nagios最重要的配置文件之一，对于服务器数量比较少（50以内），大部分需要监控的服务配置都可以在这里添加，该配置文件默认不存在，需自己创建。services.cfg中服务定义部分配置参数详解：define service use generic-service #定义服务使用的模板，具体见templates.cfg； host_name 1-LAMP-server #被监控的主机名，来自hosts.cfg，在hosts.cfg中自定义； service_description Current Load #报警服务描述，根据内容取有意义的名称； check_command check_nrpe!check_load #检查服务的命令，很关键，注意被动服务的监控均由check_nrpe调用； max_check_attempts 2 #尝试检查的最大次数； normal_check_interval 4 #正常状态检查时间间隔，每4分钟去检查一次是否正常； retry_check_interval 4 #重试检查时间间隔，默认单位是分； check_period 24x7 #检查的周期，24x7仅仅是个字符串而已； notification_interval 1440 #通知的间隔，即1440分钟通知一次。 notification_period 24x7 #通知时间周期，该参数来自timeperiods.cfg中的配置，例如定义半夜不报警短信； notification_options w,u,c,r #通知服务选项，w为warning，u为unkown，c为critical，r为recovery; contact_groups admins #通知的用户组，其定义来自于contacts.cfg； process_perf_data 1 #PNP出图记录数据相关；#省略其他部分，使部署能够更迅速、更方便。(省略部分定义在generic-service模板中，也就是templates.cfg)4.2.3 磁盘分区监控被动