大数据安全及隐私课件

1、大数据安全和隐私、参考和补充、重点和难点；内容：大数据安全、隐私和保护的基本概念。重点：安全和隐私技术。困难：加密和协议。内容概述、5.1大数据安全5.2隐私和保护5.3信息安全技术、5.1大数据安全、信息安全：是涵盖安全体系结构、安全协议、密码理论、信息分析、安全监控、紧急处理等的综合性跨学科领域系统安全分为三层：操作系统、数据库系统。数据安全性：安全存储和传输数据。内容安全性：病毒保护、恶意内容过滤* * *加密技术是确保信息安全的关键技术、信息安全模型、信息安全威胁：从宏观上区分为人为威胁和自然威胁：人为攻击信息，主要是用户(无恶意或恶意)和恶意软件的非法入侵。自然威胁：可能来自自然灾害

2、、恶劣的现场环境、电磁辐射和电磁干扰、网络设备的自然老化等。人为攻击，信息的安全性(安全属性)机密性：信息未泄露给未授权实体并被利用的属性。完整性：信息不能由未授权实体更改的特性。免责声明：通信当事人信息实际上是相同的安全属性，发送和接收当事人都不能否认。可控性：这意味着授权实体可以对信息和信息系统进行安全监控，并控制信息系统和信息使用特性。可用性：是指授权实体可以访问并根据需要使用，信息系统以适当的质量继续运行，从而为人们提供有效的信息服务的特性。安全服务认证服务：为通信中的对等和数据源提供认证。访问控制服务：保护资源，防止未经授权使用和操作资源。机密性服务：保护信息不被泄露或未经授权的机构

3、暴露。完整性服务：保护与未授权更改、删除或替代预防服务的数据：防止参与通信交换的一方日后否认通信或通信内容。安全机制加密机制：提供数据的机密性和通信业务流信息的机密性。数字签名机制：确认消息的实际来源和不可否认性。存取控制机制：限制资源存取或作业的原则。完整性机制：保护数据不受未经授权的数据的无序、丢失、播放、插入和篡改的影响。身份验证交换机制：通过密码、密码技术、物理特征或拥有提供对等实体的身份验证。通信业务填充机制：提供通信业务流对通信业务分析的机密性。路由控制机制：可以动态或预先选择路径，以便仅在具有适当保护级别的路由上传输通信。定义机制：定义者为通信双方信任并获取所需信息，以可验证的方

4、式提供所需的保证。数据安全性：主动包括数据本身的安全性和数据保护。数据本身的安全性主要意味着使用最新的密码算法(如数据机密性、数据完整性和双向强身份验证)主动保护数据。通过磁盘阵列、数据备份和场外灾难恢复等最新信息存储手段主动保护数据是数据保护的安全性。大数据安全的含义：必须包含大数据安全的两个含义。这是确保大数据计算过程、数据类型和应用程序价值的处理技术。大数据用于安全，利用大数据技术提高信息系统的安全性能和能力的方法涉及到解决信息系统安全问题的方法。，大型数据安全性具有虚拟化和分布式功能，容易受到未经授权的访问、信息泄露或丢失、数据完整性破坏、拒绝服务攻击和网络病毒传播的影响。数据存储是大

5、型数据应用程序生命周期的重要组成部分。特别是，非相关数据库缺乏模式完成度，系统完成度不足，服务器软件没有内置足够的安全机制、数据冗馀和分布式问题。网络安全是大规模数据安全保护的重要组成部分，随着网络节点数量的增加，安全问题呈指数级增长。安全数据很大，很难发现安全事件。安全的总体情况无法解释。安保态势难以察觉。网络社会很容易将大规模数据作为攻击对象：在网络社会中，信息的价值超过基础设施的价值；大数据隐含着人与人之间的关系和联系，黑客一旦成功攻击，就能获得更多数据。大型数据滥用的风险：一方面，大型数据本身的安全保护存在漏洞，另一方面，安全控制力也不足。另一方面，攻击者利用大数据技术进行攻击，以最大

6、限度地收集更多用户的敏感信息。滥用大数据的风险：大数据的准确性和数据质量不高，分析和使用可能会产生错误的结果，从而导致错误的决策。传统数据安全性的缺点传统数据安全性通常围绕数据生命周期构建，即数据的创建、存储、使用和销毁。对大数据的大小没有限制，许多数据的生命周期非常短，因此，典型的安全产品需要解决数据存储和处理的动态化、并行化功能、动态跟踪数据边界和管理数据的操作行为等问题。随着大量数据的应用，数据所有者和管理员的分离，原始数据生命周期逐渐转变为数据的创建、传输、存储和使用。数据以外包形式存储在云中。保护大量数据在数据的整个生命周期中保护数据，包括数据的创建、收集、传输、存储、处理、分析、发

7、布、显示和应用，以及新数据的创建。大容量数据保护技术可以从物理安全性、系统安全性、网络安全性、存储安全性、访问安全性、审核安全性、操作安全性等方面考虑。确保大量数据安全的目标：最大限度地保护具有流动性和开放性的大型数据本身，防止数据泄露、越权访问、数据操纵、数据丢失、密钥泄露、用户隐私等问题。大容量数据应用程序可分为四个部分：收集、存储、挖掘和发布。1，收集链接安全技术安全威胁：数据损坏、丢失、泄漏、失窃。安全机制：验证数据加密完整性保护防重放攻击端到端数据安全传输：SSL安全套接字层、虚拟专用网(VPN)、web浏览器模式、客户端模式、局域网模式。2，存储链接安全技术安全威胁：数据失窃、丢失

8、、销毁、机密数据泄露、个人信息泄露。安全机制：隐私：数据转换、数据加密、匿名。数据加密：静态数据是指对不参与计算的数据(如文档、报告、数据等)进行加密，然后保存。动态数据是指需要检索或参与计算的数据同构加密。备份和恢复：异地备份、独立磁盘冗馀阵列(RAID)、数据镜像、快照(数据副本、副本)、3、挖掘链接安全技术数据挖掘是大容量数据应用程序的重要组成部分，是自动从大量数据中提取隐藏有用信息的过程，规则安全威胁：第三方在数据挖掘过程中植入恶意程序，窃取系统数据。安全机制：身份验证：基于秘密信息、基于信件、基于生物识别的访问控制：自主访问控制DAC将自己拥有的权限授予其他实体，此后随时收回这些权限

9、，控制是自主的。强制访问控制MAC系统根据使用系统的机构预先确定的安全策略强制控制用户的访问权限，用户不能更改自己的安全级别或对象的安全特性。基于角色的访问控制RBAC在用户和访问权限之间引入了角色概念，以将用户和角色关联起来，并通过授权角色控制用户对系统资源的访问。4、发布链接安全技术发布需要对数据进行挖掘分析，然后将实体输出挖掘结果数据应用于数据的链接，即数据“output”链接，对即将输出的数据进行全面审查，以确保输出数据满足“防止泄露、无隐私、防止超限、遵守”的要求。安全威胁：泄漏、个人信息泄露、不相容。安全机制：安全审计：基于日志、基于网络的监视、基于网关代理的数据跟踪：显示和部署数

10、据应用周期各个部分的活动，以解决数据安全问题。可追踪性方法：注解方法、反向查找方法、数字水印。大数据用于安全监控和大数据的融合技术，利用大数据技术实时监控大量不同、快速、复杂的数据，从而有效地提高安全监控的效果和能力。大数据技术大大扩展了安全分析的深度和广度，将传统数据安全分析的被动分析转变为主动防御，从而更好地识别网络安全态势。信息安全领域的大容量数据处理技术使您可以设计具有实时检测功能和后回溯功能的整个流量审核方案，这些功能包括高级持久性威胁、高级持久性威胁、恶意业务间谍威胁、隐藏攻击功能、长期潜伏、攻击路径和通道不确定性等。5.2个人信息及其保护，个人信息保护是个人相关、被他人获取、保存

11、和处置的权利的信息资料的收集，可以根据所有者的意志在特定时间、特定方式、特定级别公开。个人信息的基本属性：隐私、个人相关、可由所有者处置。个人信息分类个人信息保护：可以标识特定个人或与可确认的个人相关，但个人不愿透露的信息，例如访问记录。共同隐私：不仅是个人隐私，而且所有个人共同表示但不愿意暴露的信息(例如平均工资)。隐私保护1890年，哈佛法学院教授Samuel D. Warren和Louis D. Brandeis发表了一篇题为隐私保护理论诞生的论文。公民权利和政治权利国际公约第十七条：任何人的私生活、家庭、住所和通信也不得任意或非法干涉，其名誉和名誉不得受到攻击。每个人都有权受到法律保护

12、，免受非法干涉或攻击。我国将侵犯私生活视为侵犯名誉权。信息时代的个人信息保护比传统的个人信息保护重要得多。信息隐私保护的对象可以分为姓名、身份、肖像、声音等个人属性的隐私保护四个方面，个人领域的第一级是保护的首要对象。保护个人信息的个人信息：例如，消费习惯、医疗记录、犯罪前科等记录，如果对象是一个人，那么就包含了很多个人特征，并且总是意识到个人的“间接”个人属性，因此必须保护个人信息。保护通信内容的隐私：通信内容包含个人的思想和感情，本来就存在于心里，别人无法知道，因此为了保护个人性格的完整发展，需要隐私。匿名隐私：对匿名权利的适当许可可以鼓励个人的参与感，保护自己的自由创造空间，真正的知识可

13、以促进社会的整体发展。隐私隐私保护：通过一系列隐私保护的安全措施防止泄露和滥用的行为。隐私威胁数据收集：互联网服务提供商收集、下载、集中、整理和利用用户个人隐私数据非常方便。信息服务：面向定制需求的信息服务需要用户提供更多个人信息，才能提供更好的用户体验。搜索引擎：无法监视自己搜索的web数据库信息，对搜索到的内容信息不负责。数据挖掘：从复杂、不完整、噪声大、模糊、随机的实际应用数据中隐含的、人们事先不知道的、潜在有用信息和知识提取的过程。面对个人信息保护大数据的威胁大数据的时代集中存储和管理信息，大数据批量生产、共享和应用的时代，可以量化一切，通过社会网络实现社会关系和活动数据过去无法想象的

14、情感数据。大数据通常包含大量用户身份信息、属性信息和行为信息，因此，如果大数据应用程序的所有阶段都不能保护大数据，用户个人信息很容易泄露。大量资料的多重来源。这将使每个通道中的数据可用于交叉检查，并发现匿名数据背后的实际用户，从而可能泄露个人信息。在大数据时代，人们无法避免私生活的损失。数据存储过程：在大型数据环境中，用户无法知道数据的确切存储位置，也无法有效地控制用户个人数据的收集、存储、使用和共享。数据传输过程：在大型数据环境中，数据传输将更加开放和多样化，隔离现有物理区域的方法不能有效地保证远距离传输的安全性，电磁泄漏和窃听将成为更加明显的安全威胁。数据处理流程：在大型数据环境中部署了许

15、多虚拟技术，动态共享资源增加了访问控制和身份验证管理的困难，基础架构的漏洞和加密措施的失败带来了新的安全风险。隐私技术隐私技术是用于保护用户隐私的各种安全策略的功能集合。访问控制：隐私数据的内容和用途是相关的。推理控制：根据低密度数据和模式的完整性约束，防止高密度数据被推迟。数据转换技术：伪装或轻微更改用户的实际个人信息数据，而不影响原始数据的使用。密码和密码协议：安全多方计算，盲签名匿名技术：一般化和隐蔽需要保密的数据，以防止攻击者通过给定标识符将一个主体与其重要属性值相关联。隐私数据挖掘技术：启发式(集中式数据对象，方法：值替换和分组)、加密基础(分布式数据对象，水平或垂直分区)、重构基础

16、(集中式对象，使用方法分布式配置原始数据)。5.3信息安全技术，部分原因是芥子气和氯首次被用作战争武器，因此第一次世界大战是化学家的战争；第二次世界大战是原子弹被送上战场，物理学家的战争。同样，我们可以说，如果有第三次世界大战，数学家将控制战争中下一个重要的武器信息，这将是数学家们的战争。现在为了保护军事信息，数学家们负责发明新密码，因此数学家们也将站在破解这个密码的最前线。Hadoop的安全机制：基于令牌的身份验证机制：Kerberos机制数据完整性：创建文件时，客户端将计算每个文件块的MD5或SHA1的值，并将它们写入同一路径中的隐藏文件。客户端读取文件时，首先读取隐藏文件中的信息，然后使

17、用此信息检查读取的数据的完整性。数据存储完整性：由DataNode管理的数据块的CRC校验和检查SSH，Secure Shell的缩写，SSH是基于应用程序层的安全协议。旨在为远程登录会话和其他网络服务提供安全性的协议。基于ACL的服务级别权限控制(步骤2:系统级别服务级别权限控制对Hadoop服务的访问、HDFS文件权限和MapReduce队列权限)、密码系统安全通信模型、密码系统定义、密码系统安全：取决于密钥的机密性，无法从密码短语和解密算法中获取纯文本。密码系统分类：单密钥系统和双密钥系统。单密钥系统：加密密钥与解密密钥相同(K1=K2)，也称为对称密码系统。流口令(纯文本消息按字符加密，按位加密)、组口令(纯文本消息按多个字符分组，并按组加密)。密钥管理：密钥可以由发件人生成，然后通过其他安全可靠的路径(