大数据在网络安全中的应用

1、大数据在网络安全中的应用华南理工大学华南理工大学 电子与信息学院电子与信息学院覃健诚覃健诚 博士博士自我介绍覃健诚覃健诚 http:/http:/ 北京邮电大学北京邮电大学 信息安全中心信息安全中心 博士毕业博士毕业 目前在：华南理工大学目前在：华南理工大学 电子与信息学院电子与信息学院 研究方向：网络安全，云计算研究方向：网络安全，云计算著作著作 网络安全基础网络安全基础，科学出版社，科学出版社，20112011内容列表网络空间安全中的大数据价值网络空间安全中的大数据价值攻：大数据信息的获取与利用攻：大数据信息的获取与利用防：大数据保护与安全检测防：大数据保护与安全检测华南理工大学的相关研究

2、工作华南理工大学的相关研究工作日新月异的网络空间安全网络安全领域一直在快速发展网络安全领域一直在快速发展 云计算、移动互联网、云计算、移动互联网、SDNSDN等新技术涌现等新技术涌现 安全问题安全问题同样不会停留在过去同样不会停留在过去传统的网络安全技术已经不足够传统的网络安全技术已经不足够 防火墙、入侵检测等仍然有用，但显然不够防火墙、入侵检测等仍然有用，但显然不够 APTAPT、零日攻击等、零日攻击等新威胁新威胁难以发现难以发现 云计算等也使得安全环境更为复杂云计算等也使得安全环境更为复杂先理解网络空间Cyber SpaceCyber SpaceCyber Space是存放各种是存放各种思

3、维信息产物思维信息产物的空间的空间 云计算、软件定义网络、大数据包含在其中云计算、软件定义网络、大数据包含在其中 发挥出想象力，这个虚拟空间可以包罗万象发挥出想象力，这个虚拟空间可以包罗万象 空间中的安全问题空间中的安全问题事关重大事关重大两个世界两个世界的概念的概念 原子世界（实体）原子世界（实体） 比特世界（虚构）比特世界（虚构） 能够互相影响能够互相影响网络空间安全直接影响现实世界20102010年震网病毒年震网病毒 StuxnetStuxnet 摧毁了伊朗摧毁了伊朗核设施核设施的离心机的离心机 疑似美国发动的攻击疑似美国发动的攻击20102010年纽约股市一次莫名暴跌年纽约股市一次莫名

4、暴跌 数分钟内暴跌近数分钟内暴跌近9%9%，找不到，找不到“胖手指胖手指” 疑似自动交易软件疑似自动交易软件触发条件触发条件的连锁反应的连锁反应20132013年年“棱镜门棱镜门”事件事件 监控数据挖掘敏感信息被曝光监控数据挖掘敏感信息被曝光网络空间安全的新威胁举例零日攻击：零日攻击： 防不胜防防不胜防 利用最新技术，发起针对利用最新技术，发起针对未知漏洞未知漏洞的攻击的攻击高级持续威胁（高级持续威胁（APTAPT） 长期、持续性、隐蔽攻击，针对性强长期、持续性、隐蔽攻击，针对性强云计算平台云计算平台内部内部安全攻击：虚拟机之间安全攻击：虚拟机之间 在服务器之间的网络流量中根本检测不到在服务器

5、之间的网络流量中根本检测不到以上都是传统安全技术难以抵御的以上都是传统安全技术难以抵御的 如何应对如何应对未知未知的网络安全威胁？的网络安全威胁？ 安全竞争：挖掘大数据蕴含的信息安全首先是安全首先是技术上技术上的比拼的比拼 通过大数据寻找各种可能的网络安全信息通过大数据寻找各种可能的网络安全信息 犹如两个狙击手对决，看谁先发现对方犹如两个狙击手对决，看谁先发现对方 涉及数据仓库、数据分析、数据挖掘等技术涉及数据仓库、数据分析、数据挖掘等技术象提炼象提炼稀土矿稀土矿一样提取大数据中的价值一样提取大数据中的价值 有价值的信息量有价值的信息量密度密度很低，但蕴藏总量很大很低，但蕴藏总量很大 要有足够

6、的技术条件才能提取出来要有足够的技术条件才能提取出来防病毒：大数据价值实例从从美钞轨迹美钞轨迹到到流感预测流感预测 趣味网站：让大家输入手上美钞的序列号趣味网站：让大家输入手上美钞的序列号 积累了十年数据，能跟踪美钞流通轨迹积累了十年数据，能跟踪美钞流通轨迹大量数据积累的意义大量数据积累的意义 形成形成美钞美钞在世界各地流动的规律在世界各地流动的规律 也就是世界上也就是世界上人群、病毒人群、病毒流动的规律流动的规律20092009年利用数据来预测年利用数据来预测H1N1H1N1流感传播趋势流感传播趋势 成功预测首要爆发热点在纽约、加州、德州成功预测首要爆发热点在纽约、加州、德州大数据体现的价值

7、高低与数据源有关，也和与数据源有关，也和信息提炼信息提炼水平有关水平有关 要把有价值的信息从大量数据中分离出来要把有价值的信息从大量数据中分离出来 信息提炼水平不够，大数据只是无用的垃圾信息提炼水平不够，大数据只是无用的垃圾 提炼水平越高，能够提取出的价值越高提炼水平越高，能够提取出的价值越高类比：铀矿浓缩技术类比：铀矿浓缩技术 天然铀矿：约天然铀矿：约0.7%0.7% 核电站用低浓缩铀：核电站用低浓缩铀：3%3% 核武器用高浓缩铀：核武器用高浓缩铀：90%90%内容列表网络空间安全中的大数据价值网络空间安全中的大数据价值攻：大数据信息的获取与利用攻：大数据信息的获取与利用防：大数据保护与安全

8、检测防：大数据保护与安全检测华南理工大学的相关研究工作华南理工大学的相关研究工作虚拟案例：利用大数据的网络诈骗股票走势预测：发送大量垃圾邮件、短信股票走势预测：发送大量垃圾邮件、短信 8 8万邮件，万邮件，4 4万说升，万说升，4 4万说跌，总有一半对万说跌，总有一半对 说对的继续下一轮：说对的继续下一轮：2 2万说升，万说升，2 2万说跌万说跌 有有12501250人连续收到人连续收到6 6次邮件，次次猜中次邮件，次次猜中收网：针对剩下的收网：针对剩下的12501250人人 声称有内幕消息，要求付费购买声称有内幕消息，要求付费购买 部分人信以为真，付款部分人信以为真，付款 类似手法可用在球赛

9、结果预测等其他方面类似手法可用在球赛结果预测等其他方面有效利用大数据中的价值棱镜门：监听有价值的信息棱镜门：监听有价值的信息 数据来源：电信部门、网络设备数据来源：电信部门、网络设备 关键问题：如何筛选出关键问题：如何筛选出有价值有价值的信息的信息 背景噪音：大量无关的数据背景噪音：大量无关的数据相关技术举例：要求速度快相关技术举例：要求速度快 模式匹配算法：找出敏感词、句之类模式匹配算法：找出敏感词、句之类 概率分析算法：发现异常（小概率事件）概率分析算法：发现异常（小概率事件） 相关性分析算法：找到高度相关情况相关性分析算法：找到高度相关情况棱镜门的延伸：网络信息监控高级持续威胁（高级持续

10、威胁（APTAPT） 潜伏、监听数据流，逐步勾画网络秘密轮廓潜伏、监听数据流，逐步勾画网络秘密轮廓 通过大数据分析发现系统潜在弱点通过大数据分析发现系统潜在弱点 有目的地渗透、收集有价值的信息有目的地渗透、收集有价值的信息 不主动破坏，难以察觉不主动破坏，难以察觉为特定目的监测网络信息为特定目的监测网络信息 反恐、防侵略：监控异常动向反恐、防侵略：监控异常动向 防腐败、反洗钱：监控账务防腐败、反洗钱：监控账务 防欺诈、防盗刷：监控交易防欺诈、防盗刷：监控交易信息安全监控：利用大数据跟踪现金钞票流动情况：记录钞票序号跟踪现金钞票流动情况：记录钞票序号 利用大量收银台验钞机、利用大量收银台验钞机、

11、ATMATM机机 发现现金异常流动情况发现现金异常流动情况 追查洗钱源头追查洗钱源头分析原因时注意：沉默的大多数分析原因时注意：沉默的大多数 大数据分析只告诉你大数据分析只告诉你相关性相关性，不会讲出，不会讲出原因原因 二战实例：轰炸机加固机身，还是机翼二战实例：轰炸机加固机身，还是机翼 数据统计：飞回来的轰炸机多数是机翼中弹数据统计：飞回来的轰炸机多数是机翼中弹内容列表网络空间安全中的大数据价值网络空间安全中的大数据价值攻：大数据信息的获取与利用攻：大数据信息的获取与利用防：大数据保护与安全检测防：大数据保护与安全检测华南理工大学的相关研究工作华南理工大学的相关研究工作由大数据发现网络安全问

12、题尽量收集、统计尽量收集、统计全局性全局性网络数据网络数据 目的：防范零日攻击、目的：防范零日攻击、APTAPT等未知威胁等未知威胁 深入到云计算平台内部采集深入到云计算平台内部采集从统计分析中发现从统计分析中发现异常异常 统计可以找出规律，有各种不同的统计分析法统计可以找出规律，有各种不同的统计分析法 异常（小概率事件）往往意味着有问题异常（小概率事件）往往意味着有问题 未知威胁未知威胁的线索可能蕴含在这些异常中的线索可能蕴含在这些异常中 这比传统安全技术挖掘的信息更多这比传统安全技术挖掘的信息更多大数据的信息安全保护大数据本身的安全大数据本身的安全 大数据存储、计算、传输过程中的安全大数据

13、存储、计算、传输过程中的安全 防止故障，防止数据差错防止故障，防止数据差错 设备可靠性：技术保障设备可靠性：技术保障信息内容的安全信息内容的安全 防范大数据中防范大数据中可能蕴含可能蕴含的敏感信息泄露的敏感信息泄露 利用大数据来利用大数据来隐藏隐藏秘密信息秘密信息信息内容的安全防范大数据中泄露敏感信息防范大数据中泄露敏感信息 看似无用的数据，可能蕴藏着重要信息看似无用的数据，可能蕴藏着重要信息 甚至大数据的拥有者自己都不知道隐含了什么甚至大数据的拥有者自己都不知道隐含了什么 貌似严密的信息防护，可能用统计手段绕过貌似严密的信息防护，可能用统计手段绕过典型防护技术：对水平要求比较高典型防护技术：

14、对水平要求比较高 访问限制：不容易应用到大数据范围内访问限制：不容易应用到大数据范围内 查询限制：容易出现组合查询漏洞查询限制：容易出现组合查询漏洞 数据掺假、揉合：故意加入数据掺假、揉合：故意加入噪声噪声是一种办法是一种办法虚拟案例：组合查询获取隐私查询限制：不允许统计某个年龄的财富数量查询限制：不允许统计某个年龄的财富数量 例如：不能单独统计例如：不能单独统计3030岁人群的财富总数岁人群的财富总数 这个限制有漏洞这个限制有漏洞破解：统计出破解：统计出3030岁人群的财富总数岁人群的财富总数 先统计所有人群的财富总数先统计所有人群的财富总数 再统计再统计2929岁以下财富总数、岁以下财富总

15、数、3131岁以上财富总数岁以上财富总数 第一个数减去后面两个数，得到结果第一个数减去后面两个数，得到结果实际例子可能比这个复杂得多实际例子可能比这个复杂得多内容列表网络空间安全中的大数据价值网络空间安全中的大数据价值攻：大数据信息的获取与利用攻：大数据信息的获取与利用防：大数据保护与安全检测防：大数据保护与安全检测华南理工大学的相关研究工作华南理工大学的相关研究工作大数据处理的前提：高性能平台需要在短时间内处理大量数据，并得到结果需要在短时间内处理大量数据，并得到结果 容量、速度、带宽，一个都不能少容量、速度、带宽，一个都不能少 强调并行计算能力：硬件设备、软件算法强调并行计算能力：硬件设备

16、、软件算法 保障信息安全保障信息安全云计算平台对大数据的作用云计算平台对大数据的作用 产生产生、采集采集大数据：一个源头大数据：一个源头 存储存储、统计分析统计分析大数据：大量云资源大数据：大量云资源 节省大数据节省大数据传输传输带宽：云端计算、数据压缩带宽：云端计算、数据压缩高性能计算的技术要求：又快又好超级计算机并不是简单的硬件堆积超级计算机并不是简单的硬件堆积数据带宽要求数据带宽要求 随着节点数增长，带宽以随着节点数增长，带宽以平方级平方级增长增长 要求有先进的高速传输技术要求有先进的高速传输技术系统可靠性要求系统可靠性要求 随着节点数增长，故障率以随着节点数增长，故障率以指数级指数级增

17、长增长 要求有高超的系统可靠性控制技术要求有高超的系统可靠性控制技术华南理工大学的高性能计算建设广东省教育与科研高性能与网格计算平台广东省教育与科研高性能与网格计算平台关键技术研究：与大数据相关的IPv4/IPv6IPv4/IPv6网络数据包情报分析技术的研发网络数据包情报分析技术的研发大数据压缩与混沌加密核心大数据压缩与混沌加密核心引擎的研制引擎的研制网络安全自我防御智能网络安全自我防御智能技术的研发技术的研发IPv4/IPv6网络数据包情报分析从大量数据流中快速筛选出从大量数据流中快速筛选出指定特征数据包指定特征数据包 算法：算法：PPMPPM概率预测、模概率预测、模式匹配式匹配 利用利用GPUGPU硬件硬件对数据处理对数据处理作并行加速作并行加速掌握相关核心技术，就可掌握相关核心技术，就可以防范以防范“棱镜门棱镜门”窥探窥探大数据压缩与混沌加密核心引擎核心压缩算法自主研发，支持核心压缩算法自主研发，支持GBGB级数据字典级数据字典实测性能指标达到先进水平实测性能指标达到先进水平 压缩率、压缩速度全面超越压缩率、压缩速度全面超越WinRARWinRAR 压缩速度超过压缩速度超过7-zip7-zip，压缩率各有千秋，压缩率各有千秋能够进行能够进行“蝴蝶效应蝴蝶效应”加密加密网络安全自