网络安全分析与大数据技术的应用

1、网络安全分析与大数据技术的应用沈继云摘要：在网络安全信息规模不断增长的过程中，使用大数据技术己经成为一种常态。结 合网络安全分析的具体需求以及传统技术中的弊端可以看出大数据技术的使用 势在必行。无论是安全数据的存储还是分析过程中都能够体现出大数据技术的重 要作用。本文主要是结合网络安全分析以及大数据技术的应用进行探讨。关键词：网络安全分析;大数据技术;应用;0前言网络安全分析不及关系到国家安全，述涉及了众多网民的信息以及隐私的安全。 随着网络安全分析技术的不断使用，也出现了越来越多的网络安全问题，影响 着人们的信息安全。我国将网络及信息安全提升到了国家战略的地位，可以看出 网络安全分析的重要性

2、。人数据技术在网络安全分析中具有重要的作用，有效的 提高了网络安全分析的效率，突破了传统技术的限制，满足目前的网络安全分 析需求。1大数据技术在网络安全分析中的应用在网络安全分析的过程中，要明确日志以及流量是其中的关键因素，此外还需 要重视用户行为、漏洞、访问、资产等方面的辅助信息，每一项信息的具体功能 都发挥着巨大的作用。使用大数据技术的优势在于可以将一些分散日志和流量数 据进行集中，使用高效的分析以及储存等技术可以有效提高网络安全分析以及 处理的成效，同时可以缩短分析的时间，节约一定的成木。结合一些场景关联等 方面的手段进行分析，可以发现一些安全事件中隐藏的关联性，发现其中的漏 洞，在漏洞

3、没有扩大时进行调整和修复，有效预防数据泄露等问题，不断提高 网络的防御性，确保网络信息的安全。1. 1采集信息 在采集信息的过程中，可以使用chukwa等工具，使用分布采集的手段可以实现 日志信息的每秒数百兆的采集。此外也可以使用数据镜像的采集方式，来采集相 关的流量数据。1. 2储存信息随着网络信息规模的不断扩大，使用网络平台的人数增多，所以网络数据的内 容更加丰富，增加了网络安全分析的困难。在网络中有非常多而复杂的数据，因 此在处理这些复杂数据的过程中，首先要满足各种分析需求的数据储存，才能 不断的加快信息检索和分析的速度，采用不同的储存方式可以存储不同类型的 数据，在储存信息的环节屮可以

4、提高效率。对于供检索的原始安全数据比如口志 信息等内容，可以使用h base等列式进行存储，而且这种技术具有快速索引的 特点，会对数据检索造成较大的影响。对于处理后的安全数据则可以使用 hahoop分布式进行构架计算，而是可以将分析的数据置于计算节点之上，还可 以采用脚本分析的方式挖掘相关的安全数据，做好统计报告并将其内容放置于 列式存储。对于实时分析的安全数据，可以使用storm等流式计算的方式，可以 在各个计算节点处防止分析的数据，并且要在数据流经节点的同时实现自动分 析的目标，当数据统计完成以后可以将结果放于流式存储中1。1. 3检索信息传统的信息计算技术可以满足基本的检索需求，但是在检

5、索的速度和质量上还 有待进一步的提高。在查询和检索数据的过程中，可以将map reduce作为基础, 并且要在各个分析节点处理其中的查询请求主语，采用分布式计算的方法，可 以有效的提高数据的检索速度和质量。1. 4分析数据数据分析是其中的关键环节，可以使用storm等流式计算的架构来完成实施分 析数据的任务，还可以联合使用复杂处理技术，对数据的内存、安全信息等进行 实时监控，有效保证了数据的安全性，确保第一时间可以发现问题并且采取有 效的措施进行解决。还可以采用h adoop架构来分析非实时的数据，采用分布式 计算的形式以及数据挖掘等技术来规避风险，对于这种隐藏的风险可以采取特 殊的措施，及吋

6、发现攻击源并且进行处理。1.5多源数据和多阶段组合的关联分析使用大数据技术可以不断提高数据分析的效率，而且可以在短期内挖掘分析多 元异构的数据，及时发信网络系统中的风险，找到现存的攻击行为特征。如果发 现了僵尸网络，除了发现正常的访问特征之外，还可以实现数据源的扩充，对 一些溯源数据等进行攻击，结合数据分析的技术实现外界情报的分析。在网络系 统屮如果发现了漏洞可以做好基本的防范措施。2大数据技术参与的网络安全平台建设活动2.1大数据技术的网络安全平台框架基于大数据技术的网络安全平台建设，具有高效、安全、可靠等基本的特点。在 这一网络安全平台中，主要可以分为采集层、分析层、数据层、以及呈现层几个

7、 部分。其中的数据采集层主要使用的是分布式方法，可以实现用户身份信息以及 安全事件等内容的收集。可以实现信息的永久性存储，还可以采用均衡的算法实 现数据的规律性分布，可以有效的提高数据检索的速度。2.2平台实现的技术支持为了保证这一平台更好的使用，需要一定的技术支持。在这一平台中，主要的部 分有收集层、解析层、显示层以及存储层几个部分。在采集层中，收集用户信息 以及安全事件等信息时可以使用分布式的手段。在存储层屮使用分布式手段可以 实现数据的永久性存储，可以使用均衡算法实现数据的规律性分布，提高数据 检索的效率。解析层则是利用数据的分析来了解和关的情况，发现安全事件的过 程中可以及时分析原因并

8、且进行处理。在检索数据的过程中，可以利用显示层的 作用，显示出分析的数据，展示出整个网络安全状态，解决现存的问题2。2. 3数据釆集技术数据采集技术的使用，要结合网络安全平台的作用进行分析。使用网络安全平台 的过程中，可以将flume> kafka和storm这三种形式进行有效的集合，采用科 学的方法逐步完成数据采集的工作。比如可以使用flume进行数据的采集，这种 形式的优点在于可靠性较高，而口具有较强的实用性。可以定制数据并且输送数 据，最后收集不同源头的数据，采用加工处理的方式传递给定制方。在加工流式 数据的过程中，可以利用kafka作为数据采集与流式数据加工之间的缓存。其中 要注

9、意在kafka内部存在很多消费者、代理商等提供的整体服务，因此可以形成 一个分布式发布的订阅系统。2. 4数据存储技术数据存储技术主要使用的是i1dfs开展数据收集z后的存储，尤其是在进行大量 文件访问的过程中，容易造成系统的问题，比如系统无法正常的使用或者是系 统崩溃现象。为了解决这一问题，要求采用高效率的数据处理方式，这一平台利 用hdfs进行数据的存储，可以在总结储存数据的过程中进行数据的分析，并且 可以实现文件达到64兆字节。2. 5数据解析技术网络安全平台使用的数据解析技术主要可以采用hive方法，尤其是利用sql中 的hive ql语言使hdfs与h base与不能形成结构式的数据进行检索的操作。此 外，还可以使用mahout来完成基于h adoop行为的机械研究，达到最终的数据 解析目的，对数据实现深入的分析和整理并得出最后的结论3。3结论 在网络安全分析的过程中使用大数据技术已经十分常见，在众多领域中得到了 广泛的应用，而且有明显的使用效果，在使用大数据技术的过程中，可以有效 提高工作的效率以及节约一定的成木。随着大数据技术的不断研究和发展，这一 领域的专家已经开展了深