大数据运用模式与安全风险

大数据使用模式和安全风险摘要随着社会的不断发展，人们使用传统的设备和工具来处理庞大的数据流，已经显示出其在可扩展性和分析技术上的不足。目前，主流的大数据处理新技术通常选择在云计算环境下构建Hadoop来完成存储和分析。本文首先分析了当前大数据应用模式，分析了Hadoop不同运行阶段的安全威胁，然后根据安全风险给出了相应的安全策略。关键词大数据；云计算；安全风险随着社会的不断发展，人们日常工作和生活中的信息交流量越来越大，需要处理的数据也越来越多。传统的设备和工具仍然被用来处理如此巨大的数据流，这显示了其在可扩展性和分析技术上的缺点，并且不能有效地获得大数据中包含的潜在价值。同时，大数据还表现出多种形式的数据组合，增加了常规数据计算和处理的难度。为了满足大数据的应用需求，需要广泛研究新技术。1大数据使用模型云计算的实施需要非常严格的设备。首先，有必要通过小型计算机和单个数据中心向大型计算中心传输数据。这些计算中心可以通过专业的存储和计算能力实现硬件和软件上的计算机资源共享。企业使用云计算服务和相关功能时，不需要花费更多的预算和实际费用购买大型基础设备，也不需要安装、调试和维护更多的设备。他们只需与云计算服务提供商签订一定的使用协议，就可以享受他们提供的相应云计算服务，并在一定的计费周期内通过计时或计件支付相应的服务费。没有存储和计算巨大数据流的能力，云计算服务提供商就无法发展。因此，云计算服务提供商被认为是当前数据处理和管理中信息服务外包的最佳选择。大数据时代的许多应用都离不开云计算强大的机制和功能。Hadoop作为一种支持大数据分析和处理的技术实现方案，最初是基于谷歌开发的云计算地图约简编程模型建立的，并积极吸收了谷歌三大技术之一谷歌文件系统的开源设计。Hadoop的应用通过其核心技术HDFS (Hadoop分布式文件系统)和地图简化为大数据在云计算中的应用提供了一个计算框架。HDFS和地图简化是分布式计算的相关技术。HDFS作为一个可以显示为独立磁盘的多机系统，提供了一个仍然是分布式的文件系统，在系统吞吐量方面有很大优势。地图简化是一种分布式处理模型。Hadoop的建立通过构建一个可靠的共享存储和分析系统，促进了大数据的应用和处理。在当前的技术竞争环境下，世界上出现了许多自发的群体。他们通过组织自建集群来运行Hadoop。目前，更多的人和组织仍然选择以更直接、更有效的方式完成Hadoop的组建和服务，选择租赁性价比更合理的硬件和软件，为Hadoop运行搭建一个匹配的运行平台，或者为快速完成目标任务提供可靠的服务。2大数据安全风险分析云计算的特点是云服务提供商集中分析和处理外包数据，外包商可以共享相应的服务。当数据控制权属于云计算服务提供商时，这相当于所有用户都没有直接权利使用和控制他们面前的物理资源，尽管他们可以访问这些资源。云服务器很重，存储的大数据通常有常用的排序方法，即明文方法。在一定的权限下，云计算服务提供商将基本上接受对数据的基本控制。在这种情况下，恶意云计算服务提供商对数据安全有严重的风险。许多用户的数据正面临被盗和丢失。此外，他们经常选择在用户不知情的情况下读取数据。同时，云计算平台也可能被未经授权的人读取。他们经常受到未知攻击的攻击，这使得他们自己的安全机制无效或被非法控制，从而对大数据安全带构成威胁。在Hadoop的版本风格发展到Cloudera CDH3之后，创建并使用了Kerberos以及根据访问控制表建立的集合标识认证机制和访问控制机制。然而，这种安全机制仍然很薄弱。由于Kerberos身份验证机制仅在客户端、密钥分发中心和服务器之间使用，因此它仅用于机器级安全身份验证，并不验证Hadoop应用程序平台本身。但是，基于ACL的访问控制策略需要通过启用ACL后配置的九个类别来限制用户和组成员对Hadoop中资源的访问以及其他关键节点之间的通信。然而，应该注意的是，该机制的操作不能与整个系统的管理员设置分开。因此，经常发生的情况是，控制列表很容易在服务器中被罪犯更改，或者在被访问后自动运行程序，并且更改的程度经常欺骗人们的预防措施。基于ACL的访问控制策略在粒度设计上不够精细，因此在映射约简编程模型中，涉及用户信息的隐私字段不能得到精细粒度的保护。访问控制列表通常会调整不同用户的不同操作习惯，但这些更改相对繁琐，并且在风险和安全性方面存在许多隐患。从上面可以看出，由Hadoop建立和应用的安全机制并不真正安全。3提高安全防护的有效策略如果我们真的考虑数据的安全风险，我们也应该考虑用户的隐私保护。对于可能的大数据应用安全风险，可以积极尝试以下相关策略：首先，有必要验证云计算服务提供商和用户的身份信息和平台的完整性。使用云计算的用户需要了解一些关于Kerberos双向认证的知识，并且应该在平台上接收和发送请求时灵活地应用这一原则进行认证。这种做法进一步提高了用户和云计算服务提供商之间身份认证的完整性信息安全性。其次，在确认用户和云服务提供商之间身份的真实性和可靠性后，需要严格验证平台的整体安全性能。有鉴于此，我们可以采用合理的相关算法、模型等组件的协议，并配合TPM来完成云计算可信环境的构建。平台环境构建后，我们还需要完善系统的可信链，确保云平台没有更大的安全风险。第三，有必要在数据使用期间监控行为请求。云服务提供商通常很有可能联系某些未解读的数据请求。只有建立更加严格和规范的监控机制，才能对非法数据进行管理，进而对非法操作和错误输出结果进行实时监控。我们可以考虑使用LSM的访问控制策略，通过钩子函数来控制核心程序，对合法行为进行监督，允许访问数据，并在直接拒绝后为不可信的可疑行为设置存储点，以确保数据的正确流动。结论对于大数据应用中可能存在的风险，应充分考虑监控云计算服务提供商的可疑行为，以防止直接更改文件权限来获取数据内容。还应防止数据计算器获取相关数据或通过计算程序直接输出隐私字段。大数据应用中云计算服务的使用应该通过特定的安全策略来改进。参考资料1马援。基于Hadoop的云计算平台安