大数据在信息安全领域的价值

大数据在信息安全领域的价值,华南理工大学电子与信息学院覃健诚博士,自我介绍,覃健诚北京邮电大学信息安全中心博士毕业目前在：华南理工大学电子与信息学院研究方向：网络安全，云计算著作网络安全基础，科学出版社，2011,内容列表,大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作,大数据时代来临,抽象：大数据是什么云计算、物联网等新技术催生大数据涉及数据仓库、数据分析、数据挖掘等技术大数据的特点数据量大：TB级以上种类多：文本、多媒体、数据库等价值密度低：有效信息分散在海量数据中处理速度快：要求实时、准实时获得结果,具体：大数据价值的实例,从美钞轨迹到流感预测趣味网站：让大家输入手上美钞的序列号积累了十年数据，能跟踪美钞流通轨迹大量数据积累的意义形成美钞在世界各地流动的规律也就是世界上人群、病毒流动的规律2009年利用数据来预测H1N1流感传播趋势成功预测首要爆发热点在纽约、加州、德州,虚拟案例：利用大数据,跟踪现金钞票流动情况：记录钞票序号利用大量收银台验钞机、ATM机发现现金异常流动情况追查洗钱源头银行劫案与恐怖袭击的相关性分析某地数据：银行抢劫与恐怖袭击高度相关业务分析：暴力手段获得恐怖活动财源破案兼预防：发生抢劫案之后提高警惕,对大数据的理解,象提炼稀土矿一样提取大数据中的价值有价值的信息量密度很低，蕴藏总量很大要有足够的技术条件才能提取出来硬件条件：足够的存储容量、并行运算性能要求能够快速获得计算结果时间：流感爆发之后才算出结果就晚了软件条件：算法技术水平、具体业务水平大数据分析必须技术与业务结合在一起,大数据体现的价值高低,与数据源有关，也和信息提炼水平有关要把有价值的信息从大量数据中分离出来信息提炼水平不够，大数据只是无用的垃圾提炼水平越高，能够提取出的价值越高类比：铀矿浓缩技术天然铀矿：约0.7%核电站用低浓缩铀：3%核武器用高浓缩铀：90%,内容列表,大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作,有效利用大数据中的价值,棱镜门：监听有价值的信息数据来源：电信部门、网络设备关键问题：如何筛选出有价值的信息背景噪音：大量无关的数据相关技术举例：要求速度快模式匹配算法：找出敏感词、句之类概率分析算法：发现异常（小概率事件）相关性分析算法：找到高度相关情况,棱镜门的延伸：网络信息监控,寻找特定领域的网络信息查案：筛选特定目标人物的相关信息整理线索：收集与线索相关的网上信息为特定目的监测网络信息反恐、防侵略：监控异常动向防腐败、反洗钱：监控账务信息防欺诈、防盗刷：监控交易信息,虚拟案例：利用大数据的网络诈骗,股票走势预测：发送大量垃圾邮件、短信8万邮件，4万说升，4万说跌，总有一半对说对的继续下一轮：2万说升，2万说跌有1250人连续收到6次邮件，次次猜中收网：针对剩下的1250人声称有内幕消息，要求付费购买部分人信以为真，付款类似手法可用在球赛结果预测等其他方面,内容列表,大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作,大数据的信息安全,大数据本身的安全大数据存储、计算、传输过程中的安全防止故障，防止数据差错设备可靠性：技术保障信息内容的安全防范大数据中可能蕴含的敏感信息泄露利用大数据来隐藏秘密信息,高性能计算的技术要求：又快又好,超级计算机并不是简单的硬件堆积数据带宽要求随着节点数增长，带宽以平方级增长要求有先进的高速传输技术系统可靠性要求随着节点数增长，故障率以指数级增长要求有高超的系统可靠性控制技术,可靠性保障技术,基本原理冗余、备份、恢复衍生出编码技术、存储技术、架构设计等典型技术存储：磁盘阵列、ECC内存、数据备份架构：集群编码：纠错码、校验码协议：差错重传,信息内容的安全,防范大数据中泄露敏感信息看似无用的数据，可能蕴藏着重要信息貌似严密的信息防护，可能用统计手段绕过典型技术：对水平要求比较高访问限制：不容易应用到大数据范围内查询限制：容易出现组合查询漏洞数据掺假、揉合：故意加入噪声,虚拟案例：组合查询获取隐私,查询限制：不允许统计某个年龄的财富数量例如：不能单独统计30岁人群的财富总数这个限制有漏洞破解：统计出30岁人群的财富总数先统计所有人群的财富总数再统计29岁以下财富总数、31岁以上财富总数第一个数减去后面两个数，得到结果,信息内容的安全,利用大数据来隐藏秘密信息把秘密信息埋藏在大数据中解密：通过一定的提取手段分离出来典型事例数字水印：版权信息藏在视频数据中秘密通信：网上视频短片传递保密资料,内容列表,大数据的现实意义攻：利用大数据为信息安全服务防：对大数据的信息安全保护华南理工大学的相关研究工作,大数据处理的前提：高性能平台,需要在短时间内处理大量数据，并得到结果容量、速度、带宽，一个都不能少强调并行计算能力：硬件设备、软件算法保障信息安全云计算平台对大数据的作用产生、采集大数据：一个源头存储、统计分析大数据：大量云资源节省大数据传输带宽：云端计算、数据压缩,华南理工大学的基础平台建设,中国教育科研网CERNET/CERNET2华南地区中心教育部互联网应用创新开放平台示范基地,华南理工大学的基础平台建设,广东省教育科研网GDERNET运行中心,华南理工大学的高性能计算建设,中国科研网格ChinaGrid五个发起学校之一ChinaGrid主节点建设,华南理工ChinaGrid主节点,计算能力（CPU+MIC+GPU）CPU：7.3TFLOPS（万亿次/秒）MIC：2.0TFLOPS（万亿次/秒）GPU：1.4TFLOPS（万亿次/秒）,华南理工大学的高性能计算建设,广东省教育与科研高性能与网格计算平台,主要研究项目,国家科技支撑项目基于超级计算和同步区域云的教育资源中心技术研发与应用示范广东省科技计划项目面向云架构的资源跨网调度平台研发与应用广东省高新区发展引导专项计划项目韶关高新区基于云架构的服务与创新平台建设,关键技术研究：与大数据相关的,分布式云计算节点机的研制IPv4/IPv6网络数据包情报分析技术的研发教育资源个性化推送技术的研发大数据压缩与混沌加密核心引擎的研制,分布式云计算节点机的研制,形成兼容开源和商业软件的云计算平台提供分布式存储、并行计算等资源,双层虚拟网络架构：支撑层、业务层,IPv4/IPv6网络数据包情报分析,从大量数据流中快速筛选出指定特征数据包算法：PPM概率预测、模式匹配利用GPU硬件对数据处理作并行加速,掌握相关核心技术，就可以防范“棱镜门”窥探,教育资源个性化推送技术,利用GPU进行大数据并行计算和匹配引入“有效信息量”的概念,同一资源对于不同的人，有效信息量不同“因材施教”：资源与大量学生之间的匹配,大数据