基于大数据平台的攻击方式检测课件

基于大数据分析的网络攻击检测基于大数据平台的攻击方式检测目录CONTENTS常见的网站攻击方式当今攻击方式的特点基于大数据平台的攻击检测方法相对于传统检测方法的优势之处基于大数据平台的攻击方式检测当今攻击方式的特点1、目标明确

当今受到攻击最多的是高校、企业、科研机构、政府机构。2、隐蔽性强、潜伏期长 NSA的shotgaint计划，入侵华为7年才被发现

美国针对伊朗核项目的震网（Stuxnet）病毒，使整个伊核进程拖延两年

丰收行动、摩柯草事件、曼灵花行动、MOONSOON事件3、灵活多变

目前被曝光的知名APT事件中，社交攻击、0day漏洞利用、

物理摆渡等方式层出不穷4、“三年不开张，开张吃三年”基于大数据平台的攻击方式检测其他5.6%数据来源：2016年中国高级持续性威胁APT研究报告基于大数据平台的攻击方式检测APT的攻击的实施过程：侦查准备阶段

1.基于大数据分析的隐私挖掘 2.基于社会工程学的信息收集代码传入阶段

1.直接传入（鱼叉式钓鱼攻击）2.间接传入（通过在目标用户常访问的第三方网站中植入恶意代码）初次入侵阶段

攻击者利用0day或其他漏洞实施入侵，执行恶意代码使感染机建立起C&C连接，下载运行后续恶意代码基于大数据平台的攻击方式检测保持访问阶段

窃取用户的合法访问证书与感染机建立C-S关系，在目标网络中植入更多模块。扩展行动阶段

根据收集到合法用户的行为来欺骗安全监测，搜集网络的拓补结构和重要情报。攻击收益阶段

窃取内部敏感资料，传输到一个内部服务器并压缩，为隐藏传输过程，采用SSL和TSL等安全传输协议。APT的攻击的实施过程：基于大数据平台的攻击方式检测传统攻击检测方式的面临困境1.数据和业务更加集中、网络和应用边界模糊，基于单一边界的传统安全设备逐渐难以应对2.传统安全监测方式面对越来越多的日志文件、数据包等海量数据力不从心。3.传统攻击检测方式数据来源单一、大规模数据关联能效低无法满足新常态下情报挖掘分析需求。基于大数据平台的攻击方式检测需要解决的问题1.解决内部数据源与外部数据源大规模数据的采集、预处理和采集问题2.解决流式数据的实时分析、大规模历史数据的离线分析3.解决日志、网络流量、日志情报、用户行为等多源异构数据快速复杂关联分析与检索问题基于大数据平台的攻击方式检测大数据平台天生的优势1.批量数据处理技术数据存储HDFS、Hbase、Hive等数据存储提取数据、批量处理图1批量数据处理示意图流式数据流数据处理提取数据批量处理图2流处理数据示意图基于大数据平台的攻击方式检测交互式信息查询技术：Hbase、Hive、MangoDB等NoSQL类型数据库1.强调人作为安全分析的主题与需求主体2.历史数据PB级数据量秒级检索典型的交互式系统有ApacheSpark和GoogleDremel，Spark的内存计算机制使其天生具有对数据的快速交互式查询处理能力基于大数据平台的攻击方式检测图计算处理技术：很多大数据都是以大规模的图或者网络的形式呈现，许多非图数据往往要转化成图结构之后再做处理常用的图计算产品有GooglePregel，CMUGraphLab,SparkGraphx什么是图计算基于大数据平台的攻击方式检测基于大数据的网络安全分析的整体架构数据采集层结构化数据半结构化数据非结构化数据日志SNMP用户行为DNS流量身份认证WebService数据存储层HadoopHDFSNoSQL关系型数据库sqoop数据分析层关联规则MapReduce机器学习流式计算聚类分析图计算特征提取查询引擎数据展示层安全分析可视化引擎检索安全预警基于大数据平台的攻击方式检测系统安全监测分析框架原始数据获取海量网络流量信息海量程序特征海量社交网络结构与内容属性网络流量异常监测恶意代码异常监测社交网络安全事件挖掘大量网络入侵事件大量恶意代码大量用户行为安全事件安全事件关联分析提取攻击的特征、类型和强度等信息原始数据获取宽应用域数据关联分析宽事件域数据关联分析基于大数据平台的攻击方式检测研究现状：网络流量异常检测技术现状以网络流数据为输入、通过统计分析、数据挖掘、机器学习等方法，发现异常的网络数据分组与异常网络交互信息数据属性提取方法异常检测算法优点缺点直接以网络流量数据分组头的各维数值作为数据属性的检测方法基于无监督学习的异常监测基于监督学习的异常监测基于半监督学习的异常监测可以自动提取异常模式算法的检测准确性较优在准确性与标记成本之间有较好的折中算法的检测准确性较低需要大量标记样本对非均匀非平衡的数据样本检测结果较差以网络流量特征作为数据属性的检测方法基于单链路流量的异常监测基于全网络流量的异常监测监测效率较高充分利用流量的时间相关性和空间相关性无法检测分布式攻击检测效率较低各类网络流量检测方法的优缺点基于大数据平台的攻击方式检测恶意代码检测技术现状1.静态特征提取法：使用文件结构分析、反编译、反汇编、数据流分析等技术在不运行程序的条件下检测代码的特征。2.动态特征提取法：使用Anubis、CWSandbox、Norman、Sandbox、Joebox等工具在真实或虚拟条件下运行程序，进而提取出程序的API操作、文件系统操作、函数访问、函数调用等动态行为特征目前工程上普遍采用的是基于特征码的异常检测，这种方法本身自带滞后性的缺点，无法应对爆发式增长的恶意代码带来的威胁，所以目前该领域研究的热点在基于行为的恶意代码研究方面。基于大数据平台的攻击方式检测社交网络安全事件挖掘技术研究现状1.从社交网络信息内容和联系关系中挖掘用户的正常行为模式与信任关系，通过在线监控将违背正常行为模式和信任关系的行为归纳为威胁事件2.从社交网络数据中发现可以攻击者的社会属性信息，为攻击事件溯源和攻击意图识别提供指导数据来源？因为社交网络上的攻击信息有限，该技术需要配合流量和恶意代码检测才能更有效的检测识别出攻击基于大数据平台的攻击方式检测基于大数据入侵检测的优势：1、检测大范围攻击行为 2、提高准确度3、提高效率4、协调相应措施基于大数据平台的攻击方式检测DoS攻击：1)SYNFlood伪造大量只有syn标志位的tcp连接请求，使服务器建立连接，当连接数超过服务器的最大连接数目时，合法用户的连接请求也无法被相应2)IP欺骗DoS攻击者伪造正常用户的IP地址向发送带有RST位的数据包，使服务器认为已建立的连接出现错误进而清除该连接，正常用户必须重新建立连接才可以访问。3)带宽DoS攻击攻击者向服务器发送大量无用数据包来消耗服务器的宽带资源，使正常访问无法进行。4)自身消耗DoS攻击者将数据包的源地址与端口号伪造成与服务器相同，使服务器给自己发送TCP请求连接基于大数据平台的攻击方式检测SQL注入攻击：是指通过对web连接的数据库发送恶意的SQL语句而产生的攻击，从而产生安全隐患和对网站的威胁，可以造成逃过验证或者私密信息泄露等危害。SQL注入的原理是通过在对SQL语句调用方式上的疏漏，恶意注入SQL语句，