大数据在网络安全中的应用PPT课件.ppt

大数据在网络安全中的应用 华南理工大学电子与信息学院覃健诚博士 自我介绍 覃健诚北京邮电大学信息安全中心博士毕业目前在 华南理工大学电子与信息学院研究方向 网络安全 云计算著作 网络安全基础 科学出版社 2011 内容列表 网络空间安全中的大数据价值攻 大数据信息的获取与利用防 大数据保护与安全检测华南理工大学的相关研究工作 日新月异的网络空间安全 网络安全领域一直在快速发展云计算 移动互联网 SDN等新技术涌现安全问题同样不会停留在过去传统的网络安全技术已经不足够防火墙 入侵检测等仍然有用 但显然不够APT 零日攻击等新威胁难以发现云计算等也使得安全环境更为复杂 先理解网络空间 CyberSpace CyberSpace是存放各种思维信息产物的空间云计算 软件定义网络 大数据包含在其中发挥出想象力 这个虚拟空间可以包罗万象空间中的安全问题事关重大两个世界的概念原子世界 实体 比特世界 虚构 能够互相影响 网络空间安全直接影响现实世界 2010年震网病毒Stuxnet摧毁了伊朗核设施的离心机疑似美国发动的攻击2010年纽约股市一次莫名暴跌数分钟内暴跌近9 找不到 胖手指 疑似自动交易软件触发条件的连锁反应2013年 棱镜门 事件监控数据挖掘敏感信息被曝光 网络空间安全的新威胁举例 零日攻击 防不胜防利用最新技术 发起针对未知漏洞的攻击高级持续威胁 APT 长期 持续性 隐蔽攻击 针对性强云计算平台内部安全攻击 虚拟机之间在服务器之间的网络流量中根本检测不到以上都是传统安全技术难以抵御的如何应对未知的网络安全威胁 安全竞争 挖掘大数据蕴含的信息 安全首先是技术上的比拼通过大数据寻找各种可能的网络安全信息犹如两个狙击手对决 看谁先发现对方涉及数据仓库 数据分析 数据挖掘等技术象提炼稀土矿一样提取大数据中的价值有价值的信息量密度很低 但蕴藏总量很大要有足够的技术条件才能提取出来 防病毒 大数据价值实例 从美钞轨迹到流感预测趣味网站 让大家输入手上美钞的序列号积累了十年数据 能跟踪美钞流通轨迹大量数据积累的意义形成美钞在世界各地流动的规律也就是世界上人群 病毒流动的规律2009年利用数据来预测H1N1流感传播趋势成功预测首要爆发热点在纽约 加州 德州 大数据体现的价值高低 与数据源有关 也和信息提炼水平有关要把有价值的信息从大量数据中分离出来信息提炼水平不够 大数据只是无用的垃圾提炼水平越高 能够提取出的价值越高类比 铀矿浓缩技术天然铀矿 约0 7 核电站用低浓缩铀 3 核武器用高浓缩铀 90 内容列表 网络空间安全中的大数据价值攻 大数据信息的获取与利用防 大数据保护与安全检测华南理工大学的相关研究工作 虚拟案例 利用大数据的网络诈骗 股票走势预测 发送大量垃圾邮件 短信8万邮件 4万说升 4万说跌 总有一半对说对的继续下一轮 2万说升 2万说跌有1250人连续收到6次邮件 次次猜中收网 针对剩下的1250人声称有内幕消息 要求付费购买部分人信以为真 付款类似手法可用在球赛结果预测等其他方面 有效利用大数据中的价值 棱镜门 监听有价值的信息数据来源 电信部门 网络设备关键问题 如何筛选出有价值的信息背景噪音 大量无关的数据相关技术举例 要求速度快模式匹配算法 找出敏感词 句之类概率分析算法 发现异常 小概率事件 相关性分析算法 找到高度相关情况 棱镜门的延伸 网络信息监控 高级持续威胁 APT 潜伏 监听数据流 逐步勾画网络秘密轮廓通过大数据分析发现系统潜在弱点有目的地渗透 收集有价值的信息不主动破坏 难以察觉为特定目的监测网络信息反恐 防侵略 监控异常动向防腐败 反洗钱 监控账务防欺诈 防盗刷 监控交易 信息安全监控 利用大数据 跟踪现金钞票流动情况 记录钞票序号利用大量收银台验钞机 ATM机发现现金异常流动情况追查洗钱源头分析原因时注意 沉默的大多数大数据分析只告诉你相关性 不会讲出原因二战实例 轰炸机加固机身 还是机翼数据统计 飞回来的轰炸机多数是机翼中弹 内容列表 网络空间安全中的大数据价值攻 大数据信息的获取与利用防 大数据保护与安全检测华南理工大学的相关研究工作 由大数据发现网络安全问题 尽量收集 统计全局性网络数据目的 防范零日攻击 APT等未知威胁深入到云计算平台内部采集从统计分析中发现异常统计可以找出规律 有各种不同的统计分析法异常 小概率事件 往往意味着有问题未知威胁的线索可能蕴含在这些异常中这比传统安全技术挖掘的信息更多 大数据的信息安全保护 大数据本身的安全大数据存储 计算 传输过程中的安全防止故障 防止数据差错设备可靠性 技术保障信息内容的安全防范大数据中可能蕴含的敏感信息泄露利用大数据来隐藏秘密信息 信息内容的安全 防范大数据中泄露敏感信息看似无用的数据 可能蕴藏着重要信息甚至大数据的拥有者自己都不知道隐含了什么貌似严密的信息防护 可能用统计手段绕过典型防护技术 对水平要求比较高访问限制 不容易应用到大数据范围内查询限制 容易出现组合查询漏洞数据掺假 揉合 故意加入噪声是一种办法 虚拟案例 组合查询获取隐私 查询限制 不允许统计某个年龄的财富数量例如 不能单独统计30岁人群的财富总数这个限制有漏洞破解 统计出30岁人群的财富总数先统计所有人群的财富总数再统计29岁以下财富总数 31岁以上财富总数第一个数减去后面两个数 得到结果实际例子可能比这个复杂得多 内容列表 网络空间安全中的大数据价值攻 大数据信息的获取与利用防 大数据保护与安全检测华南理工大学的相关研究工作 大数据处理的前提 高性能平台 需要在短时间内处理大量数据 并得到结果容量 速度 带宽 一个都不能少强调并行计算能力 硬件设备 软件算法保障信息安全云计算平台对大数据的作用产生 采集大数据 一个源头存储 统计分析大数据 大量云资源节省大数据传输带宽 云端计算 数据压缩 高性能计算的技术要求 又快又好 超级计算机并不是简单的硬件堆积数据带宽要求随着节点数增长 带宽以平方级增长要求有先进的高速传输技术系统可靠性要求随着节点数增长 故障率以指数级增长要求有高超的系统可靠性控制技术 华南理工大学的高性能计算建设 广东省教育与科研高性能与网格计算平台 关键技术研究 与大数据相关的 IPv4 IPv6网络数据包情报分析技术的研发大数据压缩与混沌加密核心引擎的研制网络安全自我防御智能技术的研发 IPv4 IPv6网络数据包情报分析 从大量数据流中快速筛选出指定特征数据包算法 PPM概率预测 模式匹配利用GPU硬件对数据处理作并行加速 掌握相关核心技术 就可以防范 棱镜门 窥探 大数据压缩与混沌加密核心引擎 核心压缩算法自主研发 支持GB级数据字典实测性能指标达到先进水平压缩率 压缩速度全面超越WinRAR压缩速度超过7 zip 压缩率各有千秋能够进行 蝴蝶效应 加密