YY直播应用大数据决胜安全对抗的实践培训课件.ppt

YY直播应用大数据决胜安全对抗的实践,大数据安全对抗应用背景大数据分析在DDOS对抗中的应用,大数据分析在机器人外挂识别中的应用,12,3,5,大数据让YY安全防御体系从“温饱”过渡到“小康”,欢聚时代(YY)直播业务-娱乐,在DDOS防御中的应用场景（1）报文特征根据经验输入程序；（2）根据当前请求频率分析攻击源；（3）根据当前的请求src_ip对抗；（4）根据经验预先“拍”阈值；,场景一：大数据分析在报文特征机器学习和攻击源IP的识别,云防DDOS检测模块,云防DDOS清洗模块,服务器A,服务器B,服务器C,C的攻击流量清洗后C的流量,A的正常流量B的正常流量,镜像或分光A,B,C所有流量核心交换机,LVS+Nginx集群(WAF)C的流量被牵引到清洗设备,正常用户,攻击者,大数据中心,WAF处理Http协议CC攻击,镜像流量攻击检测引擎,流量回注交换机,转发流量到业务服务器,发现攻击BGP宣告路由流量清洗引擎,攻击？没有攻击,大数据分析平台,云防DDOS在清洗比例低于阈值自动抓包,解析报文并提取关键信息,挖掘至长度为4字节的特征，发现特征：74554202,挖掘完毕，最长长度为4字节，共15个特征，目前以文件方式记录,云防DDOS实现基于DPDK自动抓包分析报文特征,正文,第46字节第45字节,Vx，其中x指代数据包正文部分第x个字节,恶意特征概率,发现特征,由于算法决定，特征串需要经过序号排列最终符合阅读习惯，后续将根据调用特征的接口所需规范进行翻译,实际所指代的含义V40V41V42V43V44V45V46V47V48V49V5064*94*3267*2616e7645494*3267*2616*,发现可疑IP写文件记录,可疑IP,恶意显著性,抽查结果,与恶意IP库中已收录IP相互印证,云防DDOS在攻击报文中识别恶意IP分析到第10个pcap文件,将前述的Apriori算法改造，可用于大规模发现DDOS攻击中的恶意IP,.,总包量40万，源地址数量39万，散列度极高99%的IP只发送一个数据包源地址表面接近，实则地理分布分散，海外地址比例过高，分别来源泰国，日本，韩国，澳大利亚，广州，福州等地（目标服务器位于辽宁沈阳）不同位置的服务器访问相同的目标服务器，TTL高度集中在同一水平（238）,时间戳,源地址,目标地址,包长TTL源端口目的端口,伪造源地址攻击的样本,正常访问或真实地址攻击中：,1.2.,同一IP总是频繁重复出现，相邻距离较多出现0的情况由于负载均衡和网络加速技术，目标服务器总是服务于相对固定区域的用户,而虚假地址攻击中：,1.2.,几乎不存在相邻距离为0的情况（虚假IP不会重复出现）访问目标机器的IP呈现随机化,K相邻IP组内距离概念,正常样本,.5.,源地址散列程度：0.028相继同源IP比例：46%发包规模：90%以上29个包以上TTL均值62，标准差1310个相邻IP间距：79,真实地址攻击样本,.5.,源地址散列程度：0.101相继同源IP比例：8.5%发包规模：90%以上22个包以上TTL均值51，标准差1410个相邻IP间距：105,虚假地址攻击样本,.5.,源地址散列程度：0.931相继同源IP比例：3.0%发包规模：99%以上单包TTL均值230，标准差3410个相邻IP间距：455,IP,相邻间IP距离,IP,相邻间IP距离,K相邻IP组内距离（K=10）真实地址样本,虚假地址样本,100%国内地址超过50%有在恶意IP库收录同外挂和网络代理维度匹配（确认为真实地址）,约6%IP与恶意IP库记录重合绝大部分海外地址,大数据IP画像在CC攻击对抗中的应用场景,检测算法：（1）单src_ip的连接数超过阈值（举例：200QPS)；（2）后端业务服务器（tomcat)响应延时超时比例超过阈值(举例：50%）；（3）后端业务服务器（tomcat)响应延时延迟比例阈值(举例：8s以上30%）；防御算法：（1）人机挑战(anticookie-js)；（2）根据当前连接数，封src_iptopn的http请求；应用大数据：（1）计算所有后端服务器(tomcat)响应nginx集群的响应的延时数学分布；（2）计算分析历史单src_ip的连接数数学分布数据；（3）根据当前的连接数topn同时结合IP画像库大数据，精确度更高；,云防DDOS,外挂对抗,WAF,防刷系统,IP画像数据分析,移动安全加固反广告过滤,账号安全系统秩序违规,反向探测扫描,IP画像库,（1）探测开放代理端口（2）探测XX云主机（3）探测域名解析IP（4）探测IP归属地,（5）探测运行路由服务,IP画像服,务接口层,提供IP画像调用接口，,返回IP恶意定级、命中维度,IP画像库大数据分析框架图,大数据安全对抗应用背景大数据分析在DDOS对抗中的应用,大数据分析在机器人外挂识别中的应用,12,345,正常用户&行为,恶意用户&行为,攻击行为、入侵行为、渗透扫描行为、外挂机器人用户等恶意特征明显；,正常用户&行为特征明显；,大数据分析Storm/Hadoop,大数据分析在用户行为识别的应用,设备画像,设备硬件信息,设备环境信息,IP画像,网络信息,黑产IP历史,地域信息,用户画像,行为模式,恶意历史信息,登陆信息,特征,通讯协,议特征,进程埋,点特征,技术行为特征技术,Kafka,Storm,Hadoop,数据挖掘分析,机器人外挂对抗系统,机器人用户大数据识别框架设备运行信息,对抗策略下发登陆服务,对抗策略下发XXXX服务,对抗策略下发频道服务,已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P(A|B)的情况下如何求得P(B|A)。换成反外挂领域语言理解：已知外挂（非外挂）中uid的各特征组合的百分比，根据朴素贝叶斯定理，可求得当出现指定特征,组合时，该特征视为外挂（非外挂）的概率,分析1,Confidence=0.5为例,对这些序列计算密度函数正态分布,指数分布,分析2,左图是将不同的Confidence得到的序列的分布函数集中展现。横轴是单个IP多开UID数量，纵轴是多开数量占总体数量的百分比。如图中的黑圈，表示Confidence为0的情况下，一个IP登录一个UID的情况占比超过90%。对应的红圈位置，表明Confidence为0.2时，一个IP登录一个UID的情况占比降低，只有80%多