关于网络安全分析中的大数据技术应用探讨

1、    关于网络安全分析中的大数据技术应用探讨    梁健辉【摘要】计算机网络的发展规模逐年上涨，大数据技术应用于网络安全分析中已然成为网络安全中的热门方式。目前传统技术在网络安全分析中的应用仍存在很多不足，将大數据技术引入其中是大趋势，本文从数据安全存储、检索、数据分解等方面出发，细致的分析探讨了大数据在网络安全分析中应用效果，并以大数据为基础建立分析平台，有针对性的探讨典型攻击场景的相关分析法。【关键词】网络安全 大数据技术 攻击检测tp393.08；tp311.13 a 2095-3089（2018）14-0287-01目前，网络技术的应用规模已经

2、推广到生活的各个方面，相关数据在网络安全分析量化过程中呈加速上升趋势。而网络安全分析框架逐步复杂，主要受到数据广泛来源、细致化的数据影响。随着4g网络的普遍、智能化用品设施快速的发展更新，加快了发送信息与接收信息的速率，分析数据的维度也越来越广，最终导致网络安全漏洞的增加速度超过了数据分析的速度。为了改变目前网络信息所面临的安全问题，我们急需引进先进技术来取代现有的的网络安全分析框架。一、应用于网络安全分析中的大数据技术1.大数据技术目前发展概述大数据技术为了弥补和完善传统安全分析不能够满足网络安全分析能力的缺陷，主要采用分布式采集处理、语言理解程序、流量分析引擎、关联分析、机器学习模式和可视

3、化人机交互等多样的分析方法，在大量数据信息规模逐步上升的过程中，将安全攻击与网络威胁瞬间发现捕捉的工具。该技术主要从分布式计算框架、流式计算引擎、分布式存储技术三方面进行大数据技术安全分析1。（1）分布式计算框架能够在配置低端的设备上进行引用，主要是因为硬件的配置并不是其依存的主体，而能够让该技术适应到各种配置设备中，主要优点源于其强大的扩展性；（2）流式计算引擎能够在网络中迅速查找到相关信息，主要源于大数据系统历史中的计算交叉互换；（3）分布式存储技术将大量信息分布到多台存储设备中，这样不仅提高了数据存储能力降低数据存储负荷，同时在储存数据管理成本方面也有所降低，整个网络的安全性与稳定性也得

4、到了大幅改善。2.大数据技术应用于网络安全分析的必然趋势在大量细致广泛的数据涌入、日趋广泛的分析维度、网络数据量不断上升的情况下，传统的技术框架和结构化数据库在存储分析中的应用已经无法满足目前网络数据特点，传统技术的应用不但储存信息成本方面造成增加，而且其中的部分相关数据也会不经意间流逝，同时在日后查询相关信息时，因为数据保存工作不到位而导致信息难以查找，而且数据的关联分析以及合并还会受到其他数据的影响，面临如此广泛且大量的网络信息数据分析，传统网络安全分析技术在数据需求方面难以满足。通过进行大量的文献资料调研，2013年就提出，未来信息框架分析的不断发展过程中，大数据技术将以绝对优势占据重要

5、地位，大数据技术在近些年已经被很多相关领域引用。由于能够储存、分析、计算大量种类繁多的数据，各个领域对其极为关注，传统的网络安全分析技术无法满足储存分析海量的原始网络信息数据，而大数据技术能够做到，传统技术在对网络信息数据储存方面需要较高的成本，而硬件水平并不是大数据技术的门槛，大数据技术能够快速精准的对信息数据进行查询，能够高效的在网络安全分析中对相关信息的挖掘，大数据技术为网络安全分析提供了有力的技术保障。3.大数据技术应用于网络安全分析中效果在人们平时生活中，每时每刻都与数据存在或多或少的关系，我们创造数据我们利用数据。例如我们消耗流量用移动设备或者电脑与家人或者同事发信息，此过程中发信

6、息就是创造信息，消耗的流量就是应用数据。如果我们手机或电脑中相关信息或者相关数据丢失或被窃取，后果不堪设想。如果国家内部相关机要信息机密数据被窃取，那将会给国家带来巨大的危险。因此网络数据分析中保证网络信息安全是重中之重。流量和信息数据是构成网络安全分析的重要组成部分，而网络安全方面受到数据数量大和储存局限性的影响，常常或多或少的存在很多漏洞，那么这些分散的流量和日志数据能够被大数据整合起来，大数据具有高效率的采集能力，能够把数据整合存储起来，分析检索挖掘采集到的数据也是大数据的重要特点，高效的处理网络安全数据中的漏洞和安全隐患，能够大幅的降低分析信息时间，达到安全网络数据分析的目的，把信息丢

7、失和泄露的问题发生几率大幅降低，将传统模式中的被动防御变为主动进攻2。二、基于大数据技术建立网络安全平台1.建立大数据网络安全分析框架建立网络安全分析框架是基于自下而上的原理，由数据采集层、数据存储层、数据挖掘分析层、数据呈现层构成，网络安全分析框架是由他们汇集大数据而构建的。分散分布式的采集用户信息、日志、危险情报对多样的数据进行整合手机构成了数据采集层；将大量的系统文件的相关信息数据进行存储，以结构化、半结构化、非结构化的形式将庞大数据分类整合储存，将来进行数据搜索时可依据现有条件进行检索，同时数据的安全和完整性都能够得以保障；关联分析相关数据，依据数据的相关特征对安全事件进行挖掘，同时在

8、此过程中如有网络异常等涉及安全的行为能够第一时间发现，及时跟踪存在安全隐患数据，形成及时跟踪及时定位及时处理的行为模式，形成了数据挖掘分析层；应用大数据技术，实现数据分析结构可视化，网络安全状态能够通过多种方式维度体现出来。2.阐述保障网络安全平台的技术支撑第一，大数据技术能够采集、整合、传输多维度、大量的安全数据，这是安全平台的重要采集技术，使用安全性能高是此项技术的重要特点，在可靠性较高的状态下处理来自不同范围所收集到的相关信息数据，形成大数据采集技术。第二，高吞吐量和高容错性是该技术储存所采集的数据过程中的重要特点，能够以该特点储存海量的采集数据，将数据安全完整的保存起来，形成大数据存储技术。第三，统计分析已完成的数据，在结构化、半结构化、非结构化的形势下分析解剖数据，将数据进行分类，将相同种类数据进行整合合并，使简单数据变为复杂数据，排查隐藏于大量信息中的网络安全隐患并处理安全隐患，形成大数据分析技术。三、结论基于大数据技术原理，将其引用到网络安全分析中，建立网络完全平台。在数据储存方面能够将网络信息储存成本大幅降低，对数据分门别类达到了提高存储容量的目的，保障跟踪搜索相关数据，大数据技术必然会在未来网络安全分析中成