认识大数据及其安全相关策略

大数据及其安全相关策略1引言随着互联网、物联网、云计算等技术的迅速发展，智能终端、网络社会、数字地球等信息媒体的普及和建设，世界数据量急剧增加，仅2011年就达到了1.8兆GB。 IDC预计到2020年，全球数据量将增加50倍。 的确，大数据时代到来了。 同时，云计算为庞大、多样的数据提供存储和计算平台，数据挖掘和人工智能从大型数据中发现知识、规则和趋势，为决策提供信息参考。 但是，大数据的发展会进一步扩大信息的开放程度，相应地可能发生隐私数据和机密信息泄露事件。 面对大数据发展的新特点、新挑战，如何保障数据安全是值得研究的课题。2“大数据”概念大数据可以是数据量大、数据格式多样的非结构化数据。 随着大数据研究的进一步深入，大数据不仅包括数据本身的规模，还包括数据采集工具、数据存储平台、数据分析系统和数据推导价值等因素。 主要特点包括：2.1数据量大大数据时代，各种传感器、移动设备、智能终端、网络社会等都不断生成数据，数量水平已经突破TB，发展到PB至ZB，统计数据量上升到千倍水平。 在2012年全球数据总量为2.7ZB，2015年超过8ZB2.2类型多样现在的大数据不仅包括数据量的井喷性的增加，还包括数据类型多样化的发展。 传统数据大部分用二维结构表示，但是随着互联网、多媒体等技术的迅速发展和普及，视频、音频、照片、邮件、HTML、RFID、GPS、传感器等产生的非结构化数据以每年60%的速度增长。非结构化数据预计占数据总量的80%以上12.3运算效率基于云计算的Hadoop大数据框架利用群集的威力加速高速运算和存储，实现分布式执行系统，以流形式提供高传输率访问数据，适应大数据的应用。 另外，数据挖掘、语义引擎、可视化分析等技术的发展，是从庞大数据中深入分析、提取信息、控制数据增值的“加速器”。2.4创造价值价值是大数据的终极目的。 大数据本身就是“金矿物”，从大数据的融合中可以得到意外的有价值的信息。 尤其是在激烈竞争的商业领域，数据成为企业的新资产，追求数据的最大价值化。 同时，大的数据价值也具有密度低的特性，需要挖掘分析庞大的数据能够得到真正有用的信息，形成用户价值。 以监视影像为例，在连续的再生画面中，能够生成价值信息的数据量可能仅为1秒、2秒三大数据安全挑战3.1网络化社会容易把大数据作为攻击目标网络化社会的形成，为大数据在各行业实现资源共享和数据互操作构建了平台和渠道。 基于云计算的网络化社会为大型数据提供开放环境，快速整合和动态部署分布在不同地区的资源，实现数据集合的共享。 互联网接入的便利性和数据流的形成还为实现资源的快速灵活推送和个性化服务提供了基础。 正因为平台暴露，包含大量数据和潜在价值的大型数据更容易吸引黑客的攻击。 也就是说，在开放的网络化社会中，大数据的数据量大，相互关联，对于攻击者来说，能够以较低的成本获得“雪人”的收益。 近年来，在互联网上发生的用户帐户信息盗窃等连锁反应，显示大量的数据容易吸引黑客，受到攻击，被盗的数据量也很大。3.2非结构化数据对大型数据存储提出了新的要求在增加数据之前，将数据存储区分为关系数据库和文件服务器。 现在大数据激增，数据型的千姿百态也压倒了我们。 对于占总数据量80%以上的非结构化数据，NoSQL数据存储具有可扩展性和可用性等优点，但有利于趋势分析，为大型数据存储提供了初步解决方案。 然而，对于严格的访问控制和隐私管理SQL技术，NoSQL数据存储仍然存在不能继承SQL模式并且适用于NoSQL的存储模式不成熟的问题。第二个缺点是，NoSQL软件不能继承常规数据第三，由于NoSQL服务器软件没有足够的安全性，所以客户端应用需要内置有安全元素。相反，产生了诸如认证、授权过程、输入认证等许多安全问题。3.3技术的发展增加了安全风险随着计算机网络技术和人工智能的发展，服务器、防火墙、无线路由等网络设备和数据挖掘应用系统等技术越来越广泛，为大规模数据的自动采集效率和智能动态分析提供了便利。 但技术的发展增加了大数据的安全风险。 另一方面，大数据本身的安全保护存在漏洞。 云计算对于大型数据非常有用，但由于对大型数据的安全管理仍然不够，而且API访问控制和密钥的生成、存储和管理也不够，因此可能会导致数据泄露。 而且，大数据本身成为可持续攻击的载体，隐藏在大数据中的恶意软件和病毒代码难以发现，可以达到长期攻击的目的。 另一方面，攻击的技术提高了。 在数据挖掘和数据分析等大型数据技术中获得价值信息的同时，攻击者也利用这些大型数据技术进行攻击。 4“大数据”的应用大数据可分为大数据技术、大数据工程、大数据科学和大数据应用等领域。 目前话题最多的是大数据技术和大数据应用。 工程和科学问题尚未受到重视。 大数据工程是大数据规划、建设、运营管理的系统工程大数据科学在大数据网络的发展和运营过程中发现和验证大数据规律与自然和社会活动的关系。物联网、云计算、移动互联网、汽车网络、移动电话、平板电脑以及遍布全球各地的各种传感器都不是数据源或负载方式。一些示例包括因特网搜索索引的详细记录、天文学、大气科学、基因组学、生物地球化学、生物学和/或其他复杂性和/或文件，诸如因特网日志、RFID、传感器网络、社会网络、社会数据(数据革命社会)、因特网文本和文件4.1大型数据存储安全策略基于云计算体系结构的大型数据以数据存储和操作为服务提供。 目前，大型数据安全存储采用虚拟化的大容量存储技术来存储数据资源，存在数据传输、隔离、恢复等问题。 要解决大型数据的安全存储问题，一个是数据加密。 在大数据安全服务的设计中，根据数据安全存储的需要，大数据存储在数据集的任何存储空间中，并用安全套接字层(SSL )进行加密，以便在数据集的节点和应用程序之间在大型数据传输服务中，加密为数据流的上载和下载提供有效的保护。 应用隐私保护和外包数据计算，阻止网络攻击。 现在，PGP和TrueCrypt等程序提供了强大的加密功能。 二是分离密钥和加密数据。 用加密把数据与数据存储分离，从要保护的数据中分离密钥4的双曲馀弦值。 同时定义密钥管理生命周期，如生成、保存、备份和恢复。 第三，使用过滤器。 监视过滤器发现数据远离用户的网络时，会自动阻止数据重发。 第四，数据备份。 通过系统灾难、机密信息集中管理和数据管理等产品实现端到端数据保护，确保在大型数据损坏时进行安全管理。4.2大数据应用安全策略随着大规模数据应用所需的技术和工具的快速发展，大规模数据应用的安全策略主要从防止APT攻击开始。 利用大数据处理技术，针对APT安全攻击隐蔽能力强、长期潜伏、攻击路径和路径不确定等特点，设计了具有实时检测能力和后退能力的全流审计方案，注意隐藏病毒的应用。 二是用户访问控制。 大数据的交叉平台传输应用带来一定程度的内在风险，大数据和用户能够根据大数据的功能密度和用户需要设定不同的权限级别，严格控制访问权限。 单点登录统一验证和权限控制技术可严格控制用户访问，有效保证大型数据应用程序的安全性。 第三部分是综合工具和过程。 通过整合工具和流程，确保大型数据应用程序位于大型数据系统的开头。 集成点与现有连接并行，通过连接到公司或业务线的SIEM工具减少对大型数据安全仓库的输出，以