互联网实时攻击检测智能化架构

1、互联网实时攻击检测智能化架构技术创新，变革未来智慧ITCONTENTS智能进化未来系统介绍系统介绍 - Nilekafka交 换 机 镜 像 流 量storm白名单规则引擎结果存储ElasticSearch漏洞自动化验 证系统 Hulk消息队列2017/11/27存在的问题漏报性能维护机器学习可以解决的问题回归分类聚类预测类别预测值发现相似性what are you trying to do?方案选择Pythonjavasparkmllibscala机器学习sckit-learnSpark 介绍Apache Spark is a fast and general engine for larg

2、e-scale data processing.机器学习流程收集样本数据清洗，打标签特征提取模型训练验证模型，调优预测分类1.0 之架构trafficstorm 白名单机器学习预测规则引擎ES训练模型hdfs模型1.0数据：url和postdata特征选择：url decode+正则算法：svm算法库： spark mllib1.0 之样本恶意样本nile 命中规则的结果waf 日志网上收集poc非恶意样本交换机镜像的流量脚本关键字+ 人眼观察样本收集样本清洗1.0 之特征统计每个request中如下敏感符号,关键字的个数, . ! * / ( & 等等eval ongl script sel

3、ect等等然后转换成一个1*n的矩阵，所有的训练样本就是m*n的输入and 1=(select count(*) from master.dbo.sysobjects where xtype = x andname = xp_cmdshell)2,1,3,.1,2,0 ，代表2个( ,2个),3个等存在的问题：总有遗漏的关键词1.0 之算法测试算法误报率漏报率决策树9.9%8.4%svm8.8%8.9%朴素贝叶斯11%9.6%1.0进步从无到有，流程跑通不足特征太依赖于正则了， 不够智能2.0分词：WordParser特征提取：TF-IDF（Hashing TF and IDF）特征之Word

4、Parser将每一个标点和控制符都“转换”为词，例如and 1=(select count(*) from master.dbo.sysobjects where xtype = x and name = xp_cmdshell)特征提取之TF-IDF例如我们有很多条get请求语句，第一条语句共计10个单词，其中单引号有3个，1000条语句中有10条语句包含单引号包含该词 的语句个 数TFIDFTF-IDF单引号100.31.9580.5874from1000.30.9950.33182.0 之 算法测试算法误报率漏报率决策树5.6%5.5%svm4.4%5.1%朴素贝叶斯6.0%4.1%效果

5、效果2.0进步可以靠数据变得更强 真正开始智能化不足未解决性能问题3.0架构调整流量storm 白名单spark机器学 习预测规则引擎ES训练模型hdfs3.0 - 架构性能效果流量： 1.7w - 450w+3.0进步性能大幅提高不足如果新上规则的话，很大概率检测不出来4.0再次调整架构trafficstorm 白名单spark机器学 习预测规则引擎（旧规则）ES训练模型hdfs4.0 - 架构规则引擎（新上规则）4.0进步可抓新规则定义的攻击不足无法检测header头5.0增加动态黑名单功能trafficstorm 白名单spark 机器学 习预测规则引擎（旧规则）ES训练模型hdfs5.0 - 架构规则引擎（新上规则）Redis(恶意IP库)storm 黑 名单样本5.0 效果5.0进步更低的漏报可