投诉预处理系统应急预案.docx

中国移动通信集团辽宁有限公司信息技术中心集客投诉预处理系统应急预案网管支撑室2018年05月修订记录版本号更新时间修改内容修订人1.02018-2-9吴迪2.02018-5-16吴迪目录1目的32应急预案启动条件33应急预案执行原则34应急预案执行注意事项35应急环境介绍46应急预案处理流程57应急预案内容及过程67.1系统安全类事件67.1.1信息篡改事件67.1.2拒绝服务事件87.1.3网管系统劫持事件97.1.4恶意代码事件117.1.5垃圾邮件事件137.2系统故障类事件147.2.1数据库故障场景147.2.2网络故障场景167.2.3应用访问异常故障177.2.4数据源故障场景197.2.5服务器故障场景208相关人员联系表219本应急预案知晓范围221 目的为应对集客投诉预处理系统突发的安全风险，及时响应并处理安全事件，确保系统的正常运行。加强对突发安全事件的紧急处理能力，根据集客投诉预处理系统可能面临的主要风险和系统特点，特制定此方案并进行应急演练，检验集客投诉预处理系统应急处理流程及突发安全事件的处理能力。2 应急预案启动条件集客投诉预处理系统面临的主要风险是：信息篡改、拒绝服务、恶意代码、域名劫持、垃圾邮件、数据库故障场景，网络故障场景，应用访问异常故障场景，数据源故障场景，服务器故障场景。在遇到以上适用范围时，可以启动本预案。3 应急预案执行原则当系统故障、服务故障或网络故障时，应按要求上报相关部门，在统一指挥下，实施本应急预案。以最低限度业务影响为前提、做到以下几点：1. 先抢通、再抢修。2. 以业务恢复为第一要务。3. 重点保障业务正常下发。4 应急预案执行注意事项在遇到突发情况时，仔细核对故障现象，有条不紊的进行故障定位，执行应急预案时应注意以下几点：1. 处理事件前：事件上报相关部门领导。2. 处理事件中：文件替换、修改等操作需备份，必要时可回退；同时要求不能随意删除数据或日志，避免盲目操作。3. 处理事件后：总结突发事件，汇报相关问题。5 应急环境介绍1. 应用系统名：集客投诉预处理系统。2. 相关服务器信息：服务器名称服务器地址操作系统服务器功能jkts-app-oss4 Red Hat Enterprise Linux Server release 6.0 (Santiago)应用服务器jkts-cj-oss5Red Hat Enterprise Linux Server release 6.0 (Santiago)应用服务器-负载均衡jkts-apptest-oss6Red Hat Enterprise Linux Server release 6.0 (Santiago)采集器jkts-cjtest-oss7Red Hat Enterprise Linux Server release 6.0 (Santiago)MQ告警jkts-test1-oss2Red Hat Enterprise Linux Server release 6.0 (Santiago)应用服务器-测试jkts-test2-oss3Red Hat Enterprise Linux Server release 6.0 (Santiago)采集器-测试jkts-test3-oss4Red Hat Enterprise Linux Server release 6.0 (Santiago)MQ告警-测试3. 数据库：集中数据库hn_x86oss3_1523_P14. 服务器防火墙策略为开放指定协议端口。5. 拓扑图：6 应急预案处理流程1. 常规处理流程：演练过程按照对安全事件应急响处置四个阶段进行，即：应急启动-事件上报-事件处理-事件总结，基本分为事件类、故障类 。事件演练流程图故障演练流程图2. 是否具备投诉绿色通道：不具备。3. 是否具备批量投诉保障措施：不具备。4. 是否具备VIP投诉通道：不具备。7 应急预案内容及过程677.1 系统安全类事件7.1.1 信息篡改事件 事件背景随着数据业务的发展，网管系统的访问量也与日俱增，网管系统可能遭受到一些互联网攻击者的攻击，利用存在一些的安全漏洞，对系统运行造成安全威胁和不良影响。目的：该事件目的主要是对来自于互联网针对正常业务端口的攻击事件进行响应。 安全事件的发现现象：系统监控人员在监控过程中，发现某个域名解析非法篡改。域名为：4:8088/CAS-server/login，正常解析为4:8080/CAS-server/login，当前解析不是该地址。 事件紧急处理1. 重要文件恢复：将服务器上最新一次保存的配置文件进行恢复。2. 将备份文件e2e-gum.zip传到主机上。#unzip e2e-gum.zip ./ISS_HOME/WebUIServer/webapps/3. 重启应用系统相关服务/home/lnjk/ISS_HOME/bin/startUIServer.sh4. 在必要情况下，进行操作系统和网管系统应用软件和程序的重新安装。 安全事件分析1. 分析访问日志：# more /var/log/messages2. 分析系统日志(messages、secure、lastlog等)确认主机上有无异常权限用户非法登陆，并记录其IP地址、登陆时间等信息。3. 检查帐号情况，删除异常帐号，并修改使用帐号的口令：# more /etc/passwd# passwd logonuser4. 分析系统目录以及搜索（find命令）整盘近期被修改的和新创建的文件，查找是否存在可疑文件和后门程序；5. 用ps命令检查有无可疑进程；6. 用netstat命令检查有无可疑端口；7. 结合上述日志审计，确定攻击者的方式、以及入侵后所获得的最大管理权限和是否对被攻击服务器留有后门程序。 根除措施通过配置防火墙策略，严格限制恶意地址的访问请求。 恢复措施1. 如果攻击者放置了后门等恶意程序，可对重新安装操作系统和网管系统软件，并恢复配置文件，对系统进行加固；2. 进行业务测试，确定系统完全恢复；3. 系统上线运行。7.1.2 拒绝服务事件 事件背景模拟来自于骨干网的拒绝服务攻击事件，当攻击者在获取网管系统权限未遂时，可能会发起以消耗资源为目的拒绝服务攻击，从而使网管系统服务响应速度慢甚至不响应。目的：该事件目的主要是对来自于互联网针对域名解析发起的大量非法连接。 安全事件的发现现象：有客户反映在使用集客投诉预处理系统时速度慢，甚至域名无法解析。同时系统监控人员在监控过程中，也发现了大量半连接。 攻击源的定位1. 系统状态不正常，发现有许多外网异常端口TCP连接；2. 通过网络分析大量连接的源地址，部分来源为假地址，部分为真地址。3. 通过网络设备日志等，基本确定攻击的来源。 安全防护措施1. 在防火墙上过滤DoS发起源，限制访问，在事先配置好的限制地址中添加以下配置set address Untrust DeniedIP-N x.x.x.x 55set group address Untrust DeniedIP add DeniedIP-N2. 重启占用系统资源高的进程# ps -ef# kill -HUP 进程号3. 服务器存在漏洞，安装相应补丁# pkgadd -d 补丁号 根除措施通过虚拟化防护系统，对攻击源进行阻断处理。7.1.3 网管系统劫持事件 事件背景网管系统可能遭受到一些互联网攻击者的攻击，利用存在一些的安全漏洞进入系统，对网管系统服务器进行非法控制，并恶意修改记录，造成对系统的破坏和安全威胁。目的：该事件目的主要是通过发现处网管系统劫持事件，熟悉对此类攻击处理的流程。 安全事件的发现现象：维护人员在检测过程中发现某个域名解析被恶意篡改，同时发现网管系统服务器有被未知用户控制的记录。 事件紧急处理1. 重要文件恢复：将服务器上最新一次保存的配置文件进行恢复。将备份文件e2e-gum.zip传到主机上。#unzip e2e-gum.zip ./ISS_HOME/WebUIServer/webapps/2. 分析访问日志，增加防火墙配置，限制恶意地址的访问请求，分析访问日志# more /var/log/messages3. 增加防火墙配置，限制恶意地址的访问请求，在事先配置好的限制地址中添加以下配置set address Untrust DeniedIP-N x.x.x.x 55set group address Untrust DeniedIP add DeniedIP-N4. 检查帐号情况，删除异常帐号，并修改使用帐号的口令；# more /etc/passwd# passwd logonuser5. 在必要情况下，进行操作系统和网管系统应用软件和程序的重新安装。 安全事件分析对问题主机进行进程、日志、端口、服务等分析，确认问题。 根除措施1. 增加防火墙配置，限制恶意地址的访问请求。2. 进行系统安全加固。 恢复措施1. 重新安装操作系统和网管系统应用软件和程序；2. 进行系统安全加固；3. 测试业务正常；4. 系统上线运行。7.1.4 恶意代码事件 事件背景随这新漏洞的不断发现和公布，病毒传播和利用的多样性也不断发生变化，主机系统感染病毒的可能性也越来越大。目的：该事件目的主要是通过发现处理病毒等恶意程序熟悉对恶意代码类攻击处理的流程。 安全事件的发现现象：维护人员在检测过程中发现UDP的流量异常增加。对流量监测策略进一步发现引起异常的UDP端口为网管系统使用端口。 事件紧急处理1. 重要文件恢复：将服务器上最新一次保存的配置文件进行恢复。将备份文件e2e-gum.zip传到主机上#unzip e2e-gum.zip ./ISS_HOME/WebUIServer/webapps/2. 检查帐号情况，删除异常帐号，并修改使用帐号的口令；# more /etc/passwd# passwd logonuser3. 在必要情况下，进行操作系统和网管系统应用软件和程序的重新安装。 安全事件分析1. 在问题主机上，确定恶意代码特征：进程、端口等，通常以netstat naple 查看进程和端口的绑定情况，分析出异常的端口或者进程2. Ps ef会列出系统正在运行的所有进程3. Netstat an列出所有打开的端口及连接状态4. Lsof i只显示网络套接字的进程5. Arp a列出当前系统arp表，重点检查网关MAC地址6. 使用top命令查看cpu、内存利用率高的进程。 根除措施1. 清除恶意代码，一般先停止恶意进程，同时将其相关文件删除。2. 安装补丁或通过安全配置，修复漏洞。 恢复措施1. 如果攻击者放置了后门、木马等难以快速清除的恶意程序，建议对主机重新安装操作系统，并恢复数据库系统；对系统进行安全加固。2. 测试应用系统，系统上线运行。7.1.5 垃圾邮件事件 事件背景未经用户许可就强行发送电子邮件可称为垃圾邮件。垃圾邮件一般具有批量发送的特征。见内容包括赚钱信息、商业信等。目的：该事件目的主要是通过发现处理垃圾邮件时间，熟悉对此类攻击处理的流程。 安全事件的发现现象：维护人员在检测过程中发现有邮件进程启动。 事件紧急处理关闭邮件服务进程# ps -ef| grep sendmail# kill 进程号 安全事件分析确定垃圾邮件的关键字特征。 根除措施停止邮件进程。 恢复措施1. 如果攻击者放置了恶意程序，建议对主机重新安装操作系统2. 对系统进行安全加固。3. 测试应用系统，系统上线运行。7.2 系统故障类事件7.2.1 数据库故障场景 事件背景突发数据库无法连接，或数据入库提示对表空间XXXX无权限，从而影响系统数据无法记录，无法提取数据等现象。目的：该事件目的主要是对来自于数据库突发故障事件进行响应。 安全事件的发现现象：系统巡检人员在巡检过程中，发现客户表、业务表、专线库表无数据。 事件紧急处理1. 登录服务器6，检查数据是否获取到本地，查看路径/home/lnjk/zhzyyldat下是否存在最新日期数据，正常获取；2. 检查数据入库日志，/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log发现日志中存在“ORA-01950:对表空间tnmsdbjk1_data无权限”错误；3. 紧急联系数据库管理员，提供数据库连接串及用户名，查看集中数据库配置。数据库连接串：hn_x86oss3_1523_P1=(DESCRIPTION_LIST=(LOAD_BALANCE=no)(FAILOVER=on)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=1)(PORT=1523)(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss31)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=2)(PORT=1523)(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss32)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=3)(PORT=1523)(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss33)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=4)(PORT=1523)(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss34)用户名：TNMSDBJK 安全事件分析1. 分析数据获取情况，如正常查看数据入库日志；否则，通过数据冗余机制，判断是否为人为误删除数据操作影响，紧急进行人工操作恢复数据；登录服务器6，客户表:nohup ./DataImportUtil.sh -s Y -v gumUserUnit /dev/null & gumuser C_NE_GROUPCUSTOMER_TRIAL_20150927.txt 业务表:nohup ./DataImportUtil.sh -s Y -v gumServiceBaseUnit /dev/null & GUMSERVICEBASE C_NE_GROUPSERVICE_TRIAL_20150927.txt互联网专线:nohup ./DataImportUtil.sh -s Y -v gumInternetServiceUnit /dev/null & GUMINTERNETSERVICE C_NE_INTERNET_LINE_TRIAL_20150927.txt 传输专线:nohup ./DataImportUtil.sh -s Y -v gumLeaseServiceUnit /dev/null & GUMLEASESERVICE C_NE_TRANS_LINE_TRIAL_20150927.txtAPN专线:nohup ./DataImportUtil.sh -s Y -v gumGprsServiceUnit /dev/null & GUMGPRSSERVICE C_NE_GPRS_LINE_TRIAL_20150927.txt语音专线:nohup ./DataImportUtil.sh -s Y -v gumVoiceServiceUnit /dev/null & GUMVOICESERVICE C_NE_SPEECH_LINE_TRIAL_20150927.txt短彩信专线:nohup ./DataImportUtil.sh -s Y -v gumSmsMmsServiceUnit /dev/null & GUMSMSMMSSERVICE C_NE_SHORTMESSAGE_TRIAL_20150927.txt，需注意文件生成时间，查看数据执行情况/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log； 2. 分析数据入库日志/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log，是否存在报错“ORA-01950:对表空间 tnmsdbjk1_data无权限”，如存在，赋予TNMSDBJK1该用户RESOURCE角色，增加TNMSDBJK1该用户表空 间“tnmsdbjk1_data”中的配额。 根除措施集中数据库定期核查各系统数据库用户及表空间权限。 恢复措施1. 如果数据获取正常，查看数据入库日志，根据日志信息，进行相应后续操作；2. 如果数据未获取，紧急人工操作恢复数据，后续查找具体原因；3. 数据入库日志正常，库表数据已入库。7.2.2 网络故障场景 事件背景突发数据库网络无法连接、系统网络无法连接、对外系统接口网络无法连接等情况，影响系统使用。目的：该事件主要是对来自于数据库无法连接的情况。 安全事件的发现现象：有用户反映在使用系统统计报表时，无法统计查询出所有报表数据。 事件紧急处理1. 验证系统本地使用情况，是否出现无法查询现象；2. 登录服务器4，查看运维报表/home/lnjk/ISS_HOME/logs/WebUIServer.log日志，是否存在报错；i. 有报错，提示“无法连接到数据库”，检查服务器上数据库配置文件；ii. 无报错，重启服务器上/home/lnjk/ISS_HOME/bin/startUIServer.sh服务程序，查看报表数据查询情况。3. 检查服务器上数据库配置文件是否正确，/home/lnjk/ISS_HOME/cfg/ perties，包括数据库连接串，用户名，密码。4. 服务器上进行ping连接数据库地址操作，i. ping 1/52/53/54，查看是否网络可通，如不通，查看路由信息traceroute 1/52/53/54，记录路由信息，紧急联系网络管理员，进行处理；ii. ping 1/52/53/54，查看是否网络可通，网络可通，查看数据库端口地址是否可通telnet 1/52/53/54 1523，如不通，紧急联系网络管理员，进行处理。 安全事件分析1. 是否为数据库配置文件错误影响；2. 是否为服务程序挂死，影响数据查询；3. 是否网络不可达影响数据查询。 根除措施定期检查数据库连接情况。7.2.3 应用访问异常故障 事件背景日常使用中突发应用系统访问慢、页面打开空白或提示404错误等，造成系统无法使用。目的：该事件主要是针对应用服务器应用程序突发挂死现象导致的故障场景。 安全事件的发现现象：客服人员在使用中突然发现打开页面提示404错误，无法呈现原有系统页面。 事件紧急处理1. 验证系统本地使用情况，是否出现页面报错现象；2. 登录服务器4，查看使用进程是否存在ps -ef |grep DWebUIServer；3. 查看是否因客服网络（32）、网投网络（20）问题，导致系统页面打开报错，如因网络问题导致，协调友商、用户解决；4. 查看系统应用日志/home/lnjk/ISS_HOME/logs/WebUI_PONKF.log是否存在报错，无报错；5. 重启服务器上/home/lnjk/ISS_HOME/bin/startUIServer.sh服务程序，查看页面打开情况；6. 在必要情况下，恢复应用程序备份版本。 安全事件分析1. 是否因网络故障导致；2. 是否因服务程序存在隐藏BUG。 根除措施1. 定期在未使用系统时间段，人工重启相关服务；2. 定制脚本，在未使用系统时间段进行服务重启；3. 测试环境重新复测应用程序版本，是否存在致命BUG。 恢复措施1. 需根据定位情况，逐步处理。2. 临时重启应用程序。7.2.4 数据源故障场景 事件背景随着日常使用，对于数据的突发情况，可能存在获取的数据信息不准、无数据等情况，主要集中在各个厂商系统数据的维护方面，影响系统的使用。目的：该事件目的主要是通过功能使用发现接口返回无数据的情况。 安全事件的发现现象：客服人员在处理某一客户投诉过程中，使用查询历史投诉工单时，无对应的工单编号，导致无法获取投诉工单处理进度。 事件紧急处理1. 登录系统页面，查看系统功能，验证数据返回情况；2. 登录服务器6，查看接口15分钟粒度获取投诉工单情况，/home/lnjk/SheetData/ActiveSheet下是否存在相关文件及文件对应的客户投诉内容；i. 无新生成的文件或文件按照粒度查看缺失文件，需协调网投系统用户、厂家解决；ii. 存在文件，使用命令grep 唯一标识 groupoderbase*.txt，通过客户的唯一标识信息去检索是否存在信息，发现信息缺失，协调客服系统用户、厂家人员解决。3. 友商系统故障定位，补传缺失信息至网投，网投传至集客投诉预处理系统。7.2