联通iuim平台应急处理措施v1.0

广东联通IUIM平台应急处理措施（V10）中国联通广东分公司二零一一年12月本文档及其所含信息为机密材料1中秋春节等节前高峰预警11硬件巡检略12软件巡检检测时间节假日前37天进行IUIM的软件巡检。检测内容1、数据库状态2、数据库表空间3、进程运行状态4、系统运行日志记录5、系统备份2应急处理措施21编写目的为广东联通IUIM平台紧急情况应急提供解决方案指导。22预案说明IUIM安全预案包括以下5部分1，IUIM紧急情况处理流程。2，应对设备掉电的启动方案3，应对设备宕机的安全预案4，应对系统超负荷的安全预案5，设备的正常停机及启动方案23术语定义24参考资料3IUIM紧急情况处理流程31处理流程初步判断问题的严重性并进行系统备份开始通知相关部门检查电源是否正常进入设备掉电启动方案电源恢复检查设备是否正常进入设备宕机安全预案是是设备恢复检查系统负荷是否正常进入系统超负荷安全预案否否负荷恢复检查网关是否正常进入网关重启流程是否网关恢复否系统恢复正常是检查数据库日志、检查系统日志、检查硬盘空间和话单是否正常，测试各种业务是否正常。系统不能恢复不能恢复电话咨询设备供应商或要求设备提供商到达现场服务。4设备掉电的应急处理措施41处理流程维护台登陆1、SSH登陆到IUIM所有主机；2、开始系统状态检查登陆系统检查服务器运行状态系统正常备份用户数据是否为不可抗因素故障处理流程退出处理是否否是42故障处理云平台处理。43系统恢复运行正常启动数据库、业务进程等，恢复业务运行。1、登陆两台RADIUS主机后，使用PSEF|GREPRADIUS命令察看进程运行状态。RADIUS正常运行有如下显示ROOT27966120NOV233071121/RADIUS/JDK160_21/BIN/JAVACLASSPATHLIB/ADVANCEDRADIUSJARLIB/CLASSES12JARLIB/COMMONSCODEC13JARLIB/JCONN3JARLIB/JTDS3JARLIB/MSBASEJARLIB/MSSQLSERVERJARLIB/MSUTILJARLIB/MYSQLJARLIB/ORACLEDRIVERSJARLIB/WRAPPERJARLIB/WRAPPERTESTJARADVCOMMADVRADRADIUSSERVERCONFIG_FILE/RADIUS/BIN/CONF/RADIUSCFG2、登录两台SYSLOG主机后，使用PSEF|GREPSYSLOG命令察看进程运行状态。SYSLOG正常运行有如下显示ROOT272281540400031509/SYSLOG/JDK160_21/BIN/JAVASERVERXMN512MXMS2048MXMX2048MCOMZOOMTECHIUIMUDPSERVERSYSLOG3、登录WEB主机后，使用PSEF|GREPJAVA命令察看进程运行状态。TOMCAT正常运行有如下显示CINMS1163410DEC06000109/CINMS/JDK160_21/BIN/JAVADJAVAUTILLOGGINGCONFIGFILE/CINMS/APACHETOMCAT6020/CONF/LOGGINGPROPERTIESDJAVAUTILLOGGINGMANAGERORGAPACHEJULICLASSLOADERLOGMANAGERDJAVAENDORSEDDIRS/CINMS/APACHETOMCAT6020/ENDORSEDCLASSPATH/CINMS/APACHETOMCAT6020/BIN/BOOTSTRAPJARDCATALINABASE/CINMS/APACHETOMCAT6020DCATALINAHOME/CINMS/APACHETOMCAT6020DJAVAIOTMPDIR/CINMS/APACHETOMCAT6020/TEMPORGAPACHECATALINASTARTUPBOOTSTRAPSTART4、查看每台主机的网管采集进程，使用PSEF|GREPJIFEI命令察看进程运行状态。正常运行现实如下ROOT1208510DEC06000207/CINMS/JDK160_21/BIN/JAVADJIFEICLASSPATH/MONITOR/LIB/ASPECTJWEAVERJAR/MONITOR/LIB/SPRINGJDOJAR/MONITOR/LIB/COMMONSPOOLJAR/MONITOR/LIB/COMMONSATTRIBUTESAPIJAR/MONITOR/LIB/CGLIB213JAR/MONITOR/LIB/SPRINGCONTEXTJAR/MONITOR/LIB/SPRINGTOPLINKJAR/MONITOR/LIB/ASMJAR/MONITOR/LIB/SPRINGJDBCJAR/MONITOR/LIB/COMMONSATTRIBUTESCOMPILERJAR/MONITOR/LIB/JAVASSIST390GAJAR/MONITOR/LIB/SPRINGBEANSJAR/MONITOR/LIB/CGLIBNODEP21_3JAR/MONITOR/LIB/PERSISTENCEJAR/MONITOR/LIB/SPRINGTOMCATWEAVERJAR/MONITOR/LIB/SPRINGDAOJAR/MONITOR/LIB/JAKARTAORO208JAR/MONITOR/LIB/AOPALLIANCEJAR/MONITOR/LIB/EJB3PERSISTENCEJAR/MONITOR/LIB/DOM4J161JAR/MONITOR/LIB/SPRINGIBATISJAR/MONITOR/LIB/JOTMJAR/MONITOR/LIB/HIBERNATEANNOTATIONSJAR/MONITOR/LIB/ASMUTIL223JAR/MONITOR/LIB/SPRINGAOPJAR/MONITOR/LIB/COMMONSCOLLECTIONS31JAR/MONITOR/LIB/HIBERNATECOMMONSANNOTATIONSJAR/MONITOR/LIB/SLF4JAPI158JAR/MONITOR/LIB/SPRINGJPAJAR/MONITOR/LIB/ASPECTJRTJAR/MONITOR/LIB/ASMCOMMONS223JAR/MONITOR/LIB/COMMONSLOGGINGJAR/MONITOR/LIB/LOG4JJAR/MONITOR/LIB/LOG4J1214JAR/MONITOR/LIB/C3P00912JAR/MONITOR/LIB/COMMONSLANGJAR/MONITOR/LIB/SPRINGCOREJAR/MONITOR/LIB/EHCACHE123JAR/MONITOR/LIB/HIBERNATEENTITYMANAGERJAR/MONITOR/LIB/SLF4JLOG4J12158JAR/MONITOR/LIB/SPRINGAGENTJAR/MONITOR/LIB/ANTLR276JAR/MONITOR/LIB/COMMONSDBCPJAR/MONITOR/LIB/SPRINGHIBERNATE3JAR/MONITOR/LIB/XAPOOLJAR/MONITOR/LIB/MONITORJAR/MONITOR/LIB/HIBERNATEVALIDATORJAR/MONITOR/LIB/JTA11JAR/MONITOR/LIB/SIGARJAR/MONITOR/LIB/HIBERNATE3JAR/MONITOR/LIB/OJDBC14JARCOMZOOMTECHIUIMSYSMONITOR5设备宕机的应急处理措施51处理流程维护台登陆1、登陆到系统的维护客户端；2、SSH登陆到个台主机；3、开始系统状态检查远程登陆系统检查服务器运行状态系统正常备份用户数据是否为不可抗因素故障处理流程退出处理是否否是52系统恢复运行恢复主机系统运行后，然后正常启动数据库、业务进程等，恢复业务运行。6系统超负荷的应急处理措施61处理流程远程登陆1、登陆到系统的维护客户端；2、SSH登陆到每台主机；3、开始系统状态检查远程登陆系统检查服务器运行状态系统正常备份用户数据是否为不可抗因素故障处理流程退出处理是否否是62处理原则由于系统和网络过负荷会导致系统业务的接通率大幅下降，故处理原则如下当接到故障报告时以尽快恢复为原则，应立即检查系统运行指标，确定是否为话务量上升所致。7平台重启流程71处理流程远程登陆1、登陆到系统的维护客户端；2、SSH登陆到每台主机；3、开始系统状态检查远程登陆系统检查服务器运行状态系统正常备份用户数据是否为不可抗因素故障处理流程退出处理是否否是72平台重启平台启停遵循以下原则。停止顺序1、TOMCAT、JIFEI。