大数据技术导论课件：大数据安全

大数据技术导论大数据安全8.2

大数据的安全威胁8.3

大数据安全8.4

大数据安全与隐私保护关键技术8.6

大数据安全分析8.5

大数据与网络攻击监测8.1

大数据面临的挑战8.7

大数据时代新威胁8.1大数据面临的挑战1.大数据成为网络攻击的显著目标在网络空间中，大数据成为更容易被“发现”的大目标，承载着越来越多的关注度。一方面，大数据不仅意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会引更多的潜在攻击者，成为更具吸引力的目标。另一方面，数据的大量聚集，使得黑客一次成功的攻击能够获得更多的数据，无形中降低了黑客的进攻成本，增加了“收益率”。8.1大数据面临的挑战2.大数据加大隐私泄露风险网络空间中的数据来源涵盖非常广阔的范围，例如传感器、社交网络、记录存档、电子邮件等，大量数据的剧集不可避免的加大了用户隐私泄露的风险。一方面，大量的数据汇集，包括大量的企业运营数据、客户信息、个人的隐私和各种行为的细节记录。这些数据的集中存储增加了数据泄露风险，而这些数据不被滥用，也成为人身安全的一部分。另一方面，一些敏感数据的所有权和使用权并没有明确的界定，很多基于大数据的分析都未考虑到其中涉及到的个体的隐私问题。8.1大数据面临的挑战3.大数据对现有的存储和安防措施提出挑战大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起，例如开发数据、客户资料和经营数据存储在一起，可能会出现违规地将某些生产数据放在经营数据存储位置的情况，造成企业安全管理不合规。大数据的大小影响到安全控制措施能否正确运行。对于海量数据，常规的安全扫描手段需要耗费过多地时间，已经无法满足安全需求。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐，大数据安全防护存在漏洞。8.1大数据面临的挑战4.大数据技术被应用到攻击手段中在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也正在利用这些大数据技术向企业发起攻击。黑客最大限度地收集更多有用信息，比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息，为发起攻击做准备，大数据分析让黑客的攻击更精准。此外，大数据为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击，可能会同时控制上百万台傀儡机并发起攻击，这个数量级是传统单点攻击不具备的。8.1大数据面临的挑战5.大数据成为高级可持续攻击的载体黑客利用大数据将攻击很好地隐藏起来，使传统的防护策略难以检测出来。传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击（APT）是一个实施过程，并不具有能够被实时检测出来的明显特征，无法被实时检测。同时，APT攻击代码隐藏在大量数据中，让其很难被发现。此外，大数据的价值低密度性，让安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中，给安全服务提供商的分析制造了很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击，都会导致安全监测偏离应有的方向。大数据安全8.3

大数据安全8.4

大数据安全与隐私保护关键技术8.6

大数据安全分析8.5

大数据与网络攻击监测8.2

大数据的安全威胁8.1

大数据面临的挑战8.7

大数据时代新威胁8.2大数据的安全威胁大数据的安全威胁大数据基础设施安全威胁大数据存储安全威胁隐私泄露问题其他安全威胁8.2大数据的安全威胁非授权访问信息泄露或丢失网络基础设施传输过程中破坏数据完整性拒绝服务攻击网络传播病毒攻击者能够通过实施嗅探、中断人攻击、重放攻击来窃取或篡改数据。通过干扰网络，改变其正常的作业流程或执行武官程序，导致系统响应迟缓，影响合法用户的正常使用，甚至使合法用户遭到排斥，不能得到响应的服务。没有预先经过同意，就使用网络或计算机资源，主要形式有假冒、身份攻击、非法用户进入网络系统进行违法操作，以及合法用户以未授权方式进行操作等。通过信息网络传播计算机病毒。如攻击者通过建立隐蔽隧道窃取敏感信息，最典型的有美国棱镜门（窃取世界各地公民信息）、阿桑奇事件、斯诺登事件。8.2.1大数据基础设施安全威胁8.2大数据的安全威胁8.2.1大数据基础设施安全威胁普通用户安全意识薄弱，移动智能终端，网络平台被攻陷，数据丢失及泄露风险极大8.2大数据的安全威胁8.2.2大数据存储安全威胁模式成熟度不够：系统成熟度不够：代码容易产生漏洞：数据冗余和分散问题：目前的标准sql技术包含严格的访问控制和隐私管理工具，而NoSQL没有。NoSQL含有较多漏洞。这是计算机诞生时起就一直存在的问题，至今无法解决，只能不断打漏洞补丁。NoSQL模式下数据分散在不同地理位置、不同服务器中，以实现数据的优化查询和备份。在这种情况下，难以定位数据并进行保护。以上主要指NoSQL非关系型数据库存储安全威胁8.2大数据的安全威胁8.2.2大数据存储安全威胁大数据存储安全策略基于云计算架构的大数据，数据的存储和操作都是以服务的形式提供。目前，大数据的安全存储采用虚拟化海量存储技术来存储数据资源，涉及数据传输、隔离、恢复等的问题。解决大数据的安全存储：(1)数据加密。在大数据安全服务的设计中，大数据可以按照数据安全存储的需求，被存储在数据集的任何存储空间，通过SSL（安全套接层）加密，实现数据集的节点和应用程序之间移动保护大数据。在大数据的传输服务过程中，加密为数据流的上传与下载提供有效的保护。应用隐私保护和外包数据计算，屏蔽网络攻击。目前，PGP和TrueCrypt等程序都提供了强大的加密功能。8.2大数据的安全威胁8.2.2大数据存储安全威胁(2)分离密钥和加密数据。使用加密把数据使用与数据保管分离，把密钥与要保护的数据隔离开。同时，定义产生、存储、备份、恢复等密钥管理生命周期。(3)使用过滤器。通过过滤器的监控，一旦发现数据离开了用户的网络，就自动阻止数据的再次传输。(4)数据备份。通过系统容灾、敏感信息集中管控和数据管理等产品，实现端对端的数据保护，确保大数据损坏情况下有备无患和安全管控。8.2大数据的安全威胁8.2.3大数据的隐私泄露大数据中用户无法知道数据的确切存放位置，用户对其个人数据的采集、存储、使用、分享无法有效控制。例如实名注册一个社交网站后，用户信息将不再受用户本人支配，攻击者可通过攻击社交网站窃取用户信息。8.2大数据的安全威胁8.2.3大数据的隐私泄露隐私泄露，就是让你不想被别人知道的事情(这件事情的主体是你)可以被人在你不允许的情况下知道8.2大数据的安全威胁8.2.3大数据的隐私泄露大数据分析，方便了我们的同时也侵犯了我们的隐私。8.2大数据的安全威胁8.2.4大数据的其他安全威胁其他安全威胁网络化社会使大数据易成为攻击目标大数据滥用风险大数据误用风险如论坛、博客、微博等为黑客窃取个人信息提供了平台。如黑客能够利用大数据技术最大限度地收集用户的敏感信息。如从社交网站获取的个人信息的准确性，基本资料例如年龄、婚姻状况等都是为经验证的，分析结果可信度不高。大数据安全8.4

大数据安全与隐私保护关键技术8.6

大数据安全分析8.5

大数据与网络攻击监测8.1

大数据面临的挑战8.3

大数据安全8.2

大数据的安全威胁8.7

大数据时代新威胁大数据中的用户隐私保护大数据的可信性如何实现大数据的访问控制大数据带来的安全挑战8.3大数据安全用户隐私保护大数据的可信性如何实现大数据访问控制不仅限于个人隐私泄漏，还在于基于大数据对人们状态和行为的预测。目前用户数据的收集、管理和使用缺乏监管，主要依靠企业自律威胁之一是伪造或刻意制造数据，而错误的数据往往会导致错误的结论。威胁之二是数据在传播中的逐步失真。（1）难以预设角色，实现角色划分；（2）难以预知每个角色的实际权限。8.3大数据安全用户隐私保护数据采集时的隐私保护，如数据精度处理数据发布、共享时的隐私保护，如数据的匿名处理、人工加扰等数据分析及数据生命周期的隐私保护8.3大数据安全8.3.1大数据安全与隐私保护传统的三大隐私保护法都没有用1、隐私保护的相关法律——数据收集者必须告知个人，他们收集了哪些数据、作何用途，也必须在收集工作开始之前征得个人的同意告知许可不可能做到，限制大数据潜在价值的挖掘太空乏且无法真正地保护个人的隐私谷歌要使用检索词预测流感，必须一一征得数亿用户的同意一开始要用户同意所有可能的用途实际上8.3大数据安全大数据安全与隐私保护传统的三大隐私保护法都没有用2、数据模糊化——有意识的避开某些关键数据Tooyoungtoosimple谷歌街景——谷歌的图像采集车在很多国家采集了道路和房屋的图像，当地的媒体和民众强烈地抗议了谷歌的行为。他们认为这些图片会帮助黑帮盗贼选择有利可图的目标。谷歌同意将他们的房屋的影像模糊化。8.3大数据安全大数据安全与隐私保护传统的三大隐私保护法都没有用3、数据匿名化——让所有揭示个人情况的信息都不出现在数据集里，比如说名字、生日、住址、信用卡号等等你想太多了大数据促进了数据内容的交叉检验。有心找你一定找的到。8.3大数据安全大数据安全8.6

大数据安全分析8.5

大数据与网络攻击监测8.1

大数据面临的挑战8.2

大数据的安全威胁8.4

大数据安全与隐私保护关键技术8.3

大数据安全8.7

大数据时代新威胁数据发布匿名保护技术1社交网络匿名保护技术2数据水印技术3数据溯源技术4角色挖掘技术5风险自适应的访问控制68.4大数据安全与隐私保护关键技术数据发布匿名保护技术是对大数据中结构化数据实现隐私保护的核心关键与基本技术手段典型例子：K匿名方案k-匿名技术要求发布的数据中存在

一定数量(至少为k)的在准标识符上不可区分的记录,使攻击者不能判别出隐私信息所属的具体个体,从而保护了个人隐私K匿名方案优势一定程度上保护了数据的隐私，能够很好的解决静态、一次发布的数据隐私保护问题劣势不能应对数据连续多次发布、攻击者从多渠道获得数据的问题的场景。

8.4.1数据发布匿名保护技术8.4大数据安全与隐私保护关键技术(1)用户标识匿名与属性匿名，在数据发布时隐藏了用户的标识与属性信息(2)用户间关系匿名，在数据发布时隐藏了用户间的关系常见社交网络匿名保护1边匿名方案多基于边的增删，用随机增删交换便的方法有效地实现边匿名不足：匿名边保护不足2基于超级节点对图结构进行分割和集聚操作不足：牺牲数据的可用性8.4大数据安全与隐私保护关键技术

8.4.2社交网络中典型的匿名保护数据水印是指将标识信息以难以察觉的方式嵌入在数据载体内部且不影响其使用方法，多见于多媒体数据版权保护，也有针对数据库和文本文件的水印方案。前提：数据中存在冗余信息或可容忍一定精度的误差案例：1、Agrawal等人基于数据库中数值型数据存在误差容忍范围，将少量水印信息嵌入到这些数据中随机选取的最不重要位上。2、Sion等人基于数据集合统计特征，将水印信息嵌入属性数据中，防止攻击者破坏水印

8.4.3数据水印技术8.4大数据安全与隐私保护关键技术数据水印技术应用：强健水印类可用于大数据起源证明，脆弱水印类可证明数据的真实性存在的问题：当前方案多基于静态数据集，针对大数据的高速产生与更新的特性考虑不足基于文档结构微调的水印基于自然语言的水印基于文本内容的水印文本水印8.4大数据安全与隐私保护关键技术数据溯源技术目标是帮助人们确定数据仓库中各项数据的来源，也可用于文件的溯源与恢复基本方法：标记法，比如通过对数据进行标记来记录数据在数据仓库中的查询与传播历史数据溯源与隐私保护之间的平衡数据溯源技术自身的安全性保护面临的挑战

8.4.3数据溯源技术8.4大数据安全与隐私保护关键技术角色挖掘：根据现有“用户-对象”授权情况，设计算法自动实现角色的提取与优化。典型工作：①以可视化形式，通过用户权限二维图排序归并方式进行角色提取②非形式化：子集枚举以及聚类的方法提取角色③基于形式化语义分析、通过层次化挖掘来更准确提取角色

8.4.5角色挖掘技术8.4大数据安全与隐私保护关键技术风险自适应的访问控制是针对在大数据场景中，安全管理员可能缺乏足够的专业知识，无法准确的为用户指定其可以访问的数据的情况。案例：基于多级别安全模型的风险自适应访问控制解决方案、基于模糊推理的解决方案等难点：在大数据环境中，风险的定义和量化都比以往更加困难。

8.4.6风险自适应的访问控制8.4大数据安全与隐私保护关键技术大数据安全8.6

大数据安全分析8.1

大数据面临的挑战8.2

大数据的安全威胁8.3

大数据安全8.5

大数据与网络攻击监测8.4

大数据安全与隐私保护关键技术8.7

大数据时代新威胁安全事件频发8.5大数据与网络攻击监测大数据与网络攻击监测人工式网站漏洞扫描？人工式海量数据统计？人工式漫长处理周期？困难！漏洞难检测攻击难预警事件难捕获管理难落地如何跟踪安全状态？如何及时发现安全问题？如何大范围网站安全检查？如何完成区域安全通报？大数据时代下传统安全手段难以满足业务需要8.5大数据与网络攻击监测大数据与网络攻击监测攻击察觉应急响应已损失无察觉时间性长被动亡羊补牢传统安全应急响应，无法解决大数据时代下面临的问题8.5大数据与网络攻击监测大数据安全8.1

大数据面临的挑战8.2

大数据的安全威胁8.3

大数据安全8.4

大数据安全与隐私保护关键技术8.6

大数据安全分析8.5

大数据与网络攻击监测8.7

大数据时代新威胁大数据与网络攻击监测大数据安全分析中心网站安全监测平台WEB应用防火墙网站卫士软件APT预警检测漏洞检测篡改监测暗链监测网马监测可用监测应用攻击防护CC攻击防护攻击告警网页防篡改网页防攻击日志回送Web攻击预警网页防攻击日志回送8.6大数据安全分析8.6.1大数据安全分析任务大数据与网络攻击监测8.6大数据安全分析8.6.2大数据安全分析架构WEB攻击检测邮件攻击检测文件攻击检测流量分析静态检测动态检测综合分析APT攻击大数据与网络攻击监测8.6大数据安全分析8.6.3ATP攻击分析流程大数据与网络攻击监测邮件APT检测WEBAPT检测文件APT检测云端分析发现威胁已知漏洞关键业务IT资产基于风险的排序几十上百个：最高优先级事件数以千万计：

原始事件数以百万计：

安全相关事件数以千计：

关联事件警报

:用户BadUser123在尝试对WeakServer的密码进行暴力破解大数据与网络攻击监测8.6大数据安全分析8.6.4大数据实时监测——安全态势大数据与网络攻击监测8.6大数据安全分析BigData黑客工具指纹数据库IPV4信息知识数据库IDC信息数据库全球域名信息数据库