0923 大数据安全前十大挑战

大数据平安前十大挑战

杭州安恒信息技术

杨永清Ppt制作：周吉大数据平安－前十大挑战1.分布式编程框架中的平安计算2.非关系数据存储的平安最正确实践3.数据存储平安和事务日志平安4.终端输入验证/过滤5.实时平安监控6.隐私保护的数据挖掘和分析的可扩展性和可组合性7.加密强制数据中心平安8.细粒度的访问控制9.细粒度的审计10.数据起源1：分布式编程框架中的平安计算分布式编程框架存储并行计算处理海量数据方式第一阶段，每个块的Mapper读取数据，执行一些计算，并输出一个键/值对的列表Reducer结合了属于每个不同的键的值，并输出该结果。有两个主要的攻击防范措施：1、加固mappers2、当存在不可信mapper时保护数据1：分布式编程框架中的平安计算－用例标题内容用例不可信的mappers可以被改变来窥探请求，改变MapReduce的脚本，或改变结果。数据映射器可能包含有意或无意的泄漏。1：分布式编程框架中的平安计算－用例主要场景mappers的威胁模型计算工作节点失灵基础设施的攻击伪数据节点2：非关系数据存储的平安最正确实践每个NoSQL数据库的建立是为了应对分析世界形成的不同的挑战，平安从来没有在设计阶段处理。使用NoSQL数据库的开发人员通常在中间件中嵌入平安。NoSQL数据库在数据库中不提供显示强制平安的任何支持。然而，NoSQL数据库在集群方面对平安实践的鲁棒性带来了额外的挑战。2：非关系数据存储的平安最正确实践－用例对广泛使用的NoSQL数据库使用威胁建模技术做详细威胁分析导出的威胁树表明，NoSQL数据库相比传统的RDB来说只有一个非常薄的安全层。在一般情况下，NoSQL数据库的安全理念，依赖于外部执行机制。为了减少安全事故，公司必须检查中间件的安全策略，同时加固NoSQL数据库本身，在不影响其操作功能的情况下使其能够比得上安全的RDB。分析提供为服务（AaaS）情况下，几个用户共享框架。当前的NoSQL的安全机制，几乎是不可能分隔共享框架的内部NoSQL数据库的不同的云用户有关的敏感数据。122：非关系数据存储的平安最正确实践－建模建模事务完整性低效的授权机制松懈的身份验证机制注入攻击敏感性缺乏一致性内部攻击2：非关系数据存储的平安最正确实践－建模本数据的完整性需要通过应用程序或中间件层实施。在存储和传输中使用密文。NoSQL的架构应该支持可插拔认证模块以具备环境需求的所有级别安全实施。跨集群通信也应该得到更好的控制，使每个节点都可以验证其他参与节点的信任级别适当的日志机制和模糊测试方法数据标记技术2：非关系数据存储的平安最正确实践－实现1将NoSQL隐藏在中间件的安全包装下或使用像Hadoop框架来访问NoSQL，可以在NoSQL外围创建一个虚拟的安全层2作为脆弱的NoSQL数据的一种替代，加密提供了更好的保护。3：数据存储和事务日志平安新的机制需要阻止非授权访问并保持持续可用性。自动分层解决方案不要求追踪数据的存储位置，而这对数据存储平安提出了新的挑战。3：数据存储和事务日志平安－用例自动分层存储系统将很少使用的数据存储到一个较低（更便宜）的层次来节省厂商的钱。然而，这个数据可能由不经常访问的重要信息（如研发成果）组成。由于较低的层次往往将安全简化，公司应仔细研究分层策略。元数据，即文本日志，引入了另一个需要加以保护的维度。日志中毒攻击将有可能导致数据不一致和用户之间的纠纷。3：数据存储和事务日志平安－建模建模保密性和完整性出处可用性一致性勾结攻击回退攻击争议3：数据存储和事务日志平安－分析机密性和完整性，可以用强大的加密技术和消息摘要来实现。可以用来交换签名的消息摘要，以解决潜在的纠纷。通过定期审计和哈希链或持久认证词典〔PAD〕可以解决用户的新鲜度和可串行写。平安不可信的数据仓库〔SUNDR〕可以用来检测复制一致性攻击和可串行化。两个“无锁〞的协议，线性和并发，已经被提议解决单写多读〔SWMR〕的问题。然而，SWMR情况相关的问题，超出了本文的范围。播送加密和密钥轮换可以用来提高可扩展性。研究人员已经提议处理出处问题[22]的技术。通过可恢复证明〔POR〕或可证明的数据占有〔PDP〕以很高的概率,提高数据的可用性。勾结攻击方面，只要用户不交换私人密钥，基于策略的加密系统〔PBES〕可以成功地保证无勾结的环境。如果用户愿意交换自己的私人密钥不交换解密的内容，仲裁解密系统可防止勾结攻击。如果用户愿意交换解密的内容，数字版权管理可以防止勾结攻击。最近两个不可抵赖性协议已经被提议解决有争议的问题，。分析3：数据存储和事务日志平安－实现

23需要关注3个问题隐私保护加密数据的安全操作动态数据操作14：终端输入验证/过滤我们怎么能信任数据？我们怎样才能验证，输入数据源是不是恶意？我们又如何从我们收集的数据中过滤恶意输入？4：终端输入验证/过滤－建模对手可能篡改收集数据的设备，或可能篡改在设备上运行的数据收集应用程序，提供恶意输入到一个中央数据收集系统。操纵输入源对手可能会危害良性源传输到中央收集系统的数据〔例如，通过执行中间人攻击或重放攻击〕。对手可能会对一个数据采集系统执行ID克隆攻击〔如Sybil攻击〕12344：终端输入验证/过滤－分析1防止入侵者生成并发送恶意输入到中央收集系统的解决方案2如果对手成功输入恶意数据，在中央系统检测和过滤恶意输入的解决方案。4：终端输入验证/过滤－实现识别Sybil攻击和ID欺骗攻击，然后找出符合本钱效益的方式来减轻攻击采取最大的小心来开发平安的数据采集平台和应用，特别考虑BYOD情景中，将运行在不可信设备上。

在中央收集系统开发算法来检测并过滤恶意输入

5：实时平安监控使用相同的根底设施来数据分析监控大数据根底架构本身可以利用大数据技术大量误报两个主要的角度挑战5：实时平安监控－建模～每个组件的安全性～安全集成这些组件●生态系统安全性●规避攻击和数据中毒攻击●其他障碍（法律法规等）5：实时平安监控－实现Hadoop中没有内置的平安监控和分析工具，不同的Hadoop供给商正在开发和宣布前端系统监控Hadoop的请求实时监控的解决方案和框架〔如NIST的平安内容自动化协议〔SCAP〕〕正在慢慢进入大数据领域实时流：Storm〔〕和ApacheKafka6：隐私保护的数据挖掘和分析的可扩展性和可组合性－建模123●大数据存储所在公司的内部员工可以滥用她的访问级别和侵犯隐私政策●一个不受信任的合作伙伴可以滥用他们对数据的访问权限来推断用户的私人信息●共享数据可以被重新识别6：隐私保护的数据挖掘和分析的可扩展性和可组合性－分析通过连续监控来进行滥用的检测和阻止差分隐私差分隐私6：隐私保护的数据挖掘和分析的可扩展性和可组合性－实现静态数据加密，访问控制和授权机制；软件补丁责任别离和访问日志纪录匿名数据可以重新识别7：加密强制数据中心平安有两个根本不同的方式来控制不同的实体〔如个人，组织和系统〕对数据的可见性。第一种方法通过限制访问底层系统来控制数据的可见性，如操作系统或虚拟机。第二种方法数据本身封装在加密的保护壳中。7：加密强制数据中心平安－用例从源头去限定数据的可见性正变得越来越重要对加密数据进行索引，分析和有意义的处理。确保数据的完整性。7：加密强制数据中心平安－建模

建模使用加密的密码强制访问控制方法，对手应该不能通过看密文识别对应的明文对于搜索和过滤加密数据的加密协议，对手除了相应的谓词是否满足应该不能再学到任何东西对于加密协议，用于对加密数据的计算中，对手不能通过看密文来识别相应的明文数据对于加密协议，确保数据来自确定来源的完整性

7：加密强制数据中心平安－分析1234●基于身份和属性的加密方法使用加密技术进行强制访问控制●oneh和Waters构建一个公钥系统，支持比较查询，子查询和此类查询的任意结合。●2021年，Gentry建成首个全同态加密方案●群签名使个别实体签上自己的数据，但对公众来说只能看到组信息。只有受信任的第三方，可以查出个人的身份。7：加密强制数据中心平安－实现目前实现基于身份/属性加密方案和群签名的算法使用椭圆曲线组，支持双线性配对图。这使得组元素的表示稍大。此外，配对操作是计算昂贵的。Gentry原来构建完全同态加密〔FHE〕方案采用多项式环的理想格。虽然格子构建并不十分低效，FHE的计算开销还远远实用。研究正在进行，以找到更简单的结构，效率的提高和局部同态方案满足特定的功能。8：细粒度访问控制粗粒度的访问机制的问题是，本来可以共享的数据常常被归到一个更严格的类别以保证良好的平安性。细粒度的访问控制使数据管理者可以更精确地共享数据，而不影响保密。8：细粒度访问控制－建模跟踪单个数据元素的保密要求跟踪用户的角色和权限正确实施强制访问控制的保密要求8：细粒度访问控制－分析尽可能在根底设施层实现，并适应标准和实践给定域选择其所需的适当的粒度水平8：细粒度访问控制－实现实施细粒度的平安访问，需要跨越大数据生态系统的元素。跟数据一起用于跟踪访问限制的协议是必要的，应该在存储系统中实现，如HDFS和NoSQL数据库。ApacheAccumulo是支持成熟的，单元级的访问控制的NoSQL数据库。9：细粒度审计合规性要求〔例如，PCI，萨班斯-奥克斯利法案〕，要求金融企业提供细粒度的审计记录。销售公司要访问个人的社交媒体信息来优化在线广告的部署。9：细粒度审计－建模及时获取审计信息信息的的完整性，审计信息没有被篡改所需的审计信息的完全性t授权审计信息的访问主要因素9：细粒度审计－实现取证或SIEM工具收集，分析和处理这些信息从单个组件级别开始实施创立审核层/Orchestrator10：数据起源－用例几个关键的平安应用要求数字记录，例如，有关其产生的详细情况。例子包括金融公司检测内幕交易或确定研究调查的数据