大数据环境下入侵检测系统概述

大数据环境下入侵检测系统概述

摘要：入侵检测系统(IntrusionDetectionSystem,IDS)为

网络空间平安做出重大贡献。然而随着大数据时代的到来，IDS暴露

出效率低下、理念落后等系统性不足。本文结合大数据特征及传统

IDS技术的不足，针对性地概述了分布式入侵检测系统

(DistrictedlntrusionDetectionSystem,DIDS),并在基本概念、

系统分类和性能特点笔方面对其做出重点说明。最终从深度学习、广

度融合等角度展望了入侵检测技术的将来发展。

关键词：入侵检测；IDS；DIDS；大数据

中图分类号：TP393.08文献标识码：ADCI：

10.3969/j.issn.10036970.2019.05.014

本文著录格式：葛钊成，彭

凯.大数据环境下入侵检测系统概述.软件，2019,37(5)：54-59

0.引言

自20世纪60年头以来，计算机网络发展速度呈几何式增长，信

息化概念在金融、军事、医疗等各领域都得到快速的普及。正是这一

广泛存在的共性问题，使攻击者可以利用流量分析、篡改信息、恶意

程序、拒绝服务攻击等方式找寻网络系统的漏洞。并加以利用。也正

是基于这样的背景，传统的入侵检测系统(IntrusionDetection

System,IDS)得以快速发展并广泛普及。

然而随着信息化的不断深化，网络技术的融合性、开放性、交互

性都在以一个前所未有的速度发展。这就干脆导致了数据量的快速膨

胀。正如数据科学家ViktorMayer在《BigData》中所论，“大数据

时代已经是可以被望见的将来”。作为信息时代的升级版，大数据时

代具有着独特而又显明的特色。而在这条“信息高速马路”上，传统

的IDS已经暴露出对未知入侵方法的漏报率较高、对大流量通信的检

测效率较低等多种缺陷。传统技术已不能适应快速更新的应用需求。

因此探讨分布式入侵检测系统(DistrictedIntrusionDetection

System,DIDS),对于大数据环境下的信息平安防护体系而言很有必

要。

本文结合大数据时代的信息特征及其引发的改变，具体解析了传

统IDS的技术缺陷，并进一步分析了DIDS概念。然后从基层架构、

拓扑模式以及平台性质三个角度论述DIDS的分类，并引出DIDS时效

性、独立性、牢靠性、敏捷性等优势。最终结合实际应用需求，从深

度学习、广度融合等多个角度分析入侵检测系统的发展方向。

1.大数据背景

大数据是指在有限时间内无法用常规工具进行捕获、管理和分析

的数据集合，是只有在新型处理模式下才能具备更强的决策力、洞察

力和流程优化实力的海量、多样和高增长率的信息资产。自概念提出

以来，大数据已快速成为继互联网、物联网之后的又一里程碑式技术。

从最早应用大数据的麦肯锡公司，到推动大数据商业化的TBM、亚马

逊、谷歌等公司，再到近年不断提出相关战略要求的各国政府，大数

据俨然成为金融、零售、服务、军事等各行业新的发展引擎，并为社

会各界产生了巨大的产业价值。

大数据及早期的互联网相比有较为显明的特色，其中由IBM最早

提出的“4V”已被业界普遍接受Volume（海量规模）、Velocity

（高速流转）、Variety（多样类型）和Value（低价值比）。基于这

些前所未有的信息特征，大数据时代体现出以全体取代样本、以混杂

取代精准、以相关取代因果的理念转变。这也为现代的生活、工作和

思维带来了颠覆性的变革。

在面临大数据的发展机遇的同时，社会各界也接受到前所未有的

挑战，其中当然也包括信息平安领域。传统的平安体系受到了大数据

的极大冲击。大数据平安问题对个人、企业乃至国家都造成了多方面

的影响。

1.1数据成为战略资源，平安问题凸显

”数据是将来的石油和黄金”。大数据环境下，世间万物包括文

字、机器甚至生命体都可以被量化。无论是传统企业数据，机器传感

数据还是社交行为数据，都被视为新一代的战略资源。

然而，正是数据的重要性使其成为了大量不法分子的重点攻击对

象，越来越多的黑客试图窃取数据以获得非法利益。而大数据集中化、

高透亮、大规模的特点也增加了信息泄漏风险和平安防护难度。因此,

大数据环境下的信息平安是目前亟待解决的关键难题。

1.2基于大数据技术的入侵攻击盛行

在大数据技术席卷全球并为社会各界创建众多生活便利和巨大

经济效益的同时，也存在着一部分不法分子滥用大数据技术以获得非

法利益的恶意行为。

大数据技术是一种通过对海量数据的分析、挖掘和整合，获得具

有前瞻性和决策性的信息的技术架构。首先，黑客可以干脆利用大数

据技术处理商务邮件、社交网络等个人及企业信息。除此之外，黑客

更倾向于间接利用大数据技术，发动以数据为载体的入侵攻击，尤其

是拒绝服务攻击(DenialofServicc,DOS)以及高级持续性攻击

(AdvancedPersistentThreat,APT)O通过将攻击隐藏在海量数据

之中，不仅能利用“低价值比”的特点以大幅降低被检测的概率，还

可以在被整合的同时干脆入侵系统核心。正是目标广泛、精确制导、

隐臧性高、破坏性强的特点，使得基于大数据技术的入侵攻击对当代

信息平安防护体系构成了极大的威逼。

1.3缺乏有效的监管制度和法律法规

鉴于大数据及传统互联网技术的显著区分，旧时的规章制度已无

法适应新兴的大数据领域。对于数据这一新型财产，目前市场上缺少

有效的监管制度，数据的收集、发布和存储都缺乏规范性。而且由于

缺乏相应的法律法规，个人、企业和国家的信息平安利益(包括隐私

权，运用权、学问产权等)都得不到应有的保障。所以完善制度、推

动立法的工作燃眉之急。

2.传统IDS的缺陷

经过数十年的发展，IDS已经成为一项较为成熟且胜利的平安防

护技术。以snort为代表的IDS为近年的网络信息平安做出了杰出的

贡献。然而随着信息化的深化以及大数据的到来，传统技术受到了众

多新科技的冲击，进而也暴露出了以下几个致命性问题(1)

模式匹配算法是几乎全部IDS产品的核心技术之一，基于AC、BM

MWM等匹配算法的误用检测可以使IDS具备对广泛存在、特征明显的

已知攻击的被动式检测，并推动形成初级平安防护体系。但是，随着

人侵技术的困难化、综合化和大规模化，现代攻击越来越倾向于将多

种已知入侵技术整合一体，形成某种未知的入侵技术。而由于本质性

的缺陷，模式匹配算法对此类APT攻击的检出率极低。

（2）对于未知攻击，传统IDS通常实行基于“偏离值”和“用

户行为”的异样检测进行主动防护。统计模型、贝叶斯推理、聚类分

析等检测形式以及DB、Dnk、DTlk等优秀算法可以弥补模式匹配的不

足，使系统对未知攻击有了肯定的检测实力。然而在实际环境中，异

样及攻击并非高度符合。异样但非攻击行为会对传统IDS造成较高的

误保率，非异样但攻击行为则会对其造成较高的漏报率。两个关键性

能的不稳定性极大影响传统IDS的工作效率。同时，现实数据的高度

困难性也是限制传统技术的一大瓶颈。

（3）传统IDS基本都采纳集中式的CIDF模型，传统技术主要基

于对口志文件、审计数据的遍历扫描以及对网络流量数据包的过滤分

析以实现全面的爱护。图1给出这一经典的IDS结构，主要包括事务

产生器、事务分析器、事务数据库和响应单元四部分，

而随着大数据时代的来临，高速传输和海量数据成为信息的基本

特性。首先，以往的集中式结构使IDS在收集、分析、响应等阶段存

在不行避开的时滞性，不能对高速传输数据进行刚好处理。其次，传

统技术过度依靠于单机性能。单台计算机的分析实力特别有限，难以

充分应对海量数据。综上，传统IDS的功能优势正在消退，它已无法

实现对系统的全方位的实时检测。

3.DIDS基本概念

针对大数据特征以及传统IDS的不足，本文在由JaiSundar教

授等人首创的AFFID系统的基础上，提出了一种基于自治终端的分布

式入侵检测系统。如图2所示，该系统主要包括自治终端(autonomous

agent)、收发器(transceiver)和限制器(monitor)三部分。

自治终端大量分布于各主机内网络接口、日志文件等脆弱点和检

测关键点。其具备独立的运行实力、通信实力以及有限的入侵检测实

力(检测、分析，响应)。当自治终端检测到攻击后，它能将完整的

分析处理数据传送给收发器，同时也会接收来自收发器的信息及指

令。

收发器是连接自治终端及限制器的桥梁。一方面它不断收集由主

机内各自治终端发出的数据，另一方面它能分析所得信息并得出入侵

消退、终端过载等结果，然后再将分析结果报送至限制器U

限制器是该DTDS模型的最高层模块，其两大功能分别是实时通

信和协同调度。当某台主机遭遇大规模的高级攻击时，该主机上的限

制器可以通过内部的通信机制及DIDS系统内其他各主机的限制器相

连，尽可能地整合并共享所错资源。然后依据收发器的分析结果，通

过基于遗传算法和任务复制的调度机制，在短时间内快速强化受攻击

主机的分析处理实力。

4.DIDS系统分类

传统的IDS主要以信息来源和检测技术作为分类标准。为体现分

布式系统的结构特点并突出D1DS优势，本文从基层架构、拓扑模式

以及平台性质三个角度对DIDS进行分类并加以具体介绍。

依据基层架构的区分，DIDS分为同构式和异构式两种。

（1）同构式DIDS是指各个处理节点在功能特性，物理结构上保

持高度一样的系统。结构较为简洁的同构系统在小范围内具有很高的

流通性，并且有效提高了并行计算实力。不过同构系统的结构特点限

制了DIDS的检测性能，高度一样的处理节点功能较为单一，无法应

对大型、困难的高级攻击。而且相像的结构体系更易遭遇网络入侵。

目前同构式DTDS主要用于个人和小型企业的平安防护体系。

（2）及同构式系统恰好相反，异构式DIDS中各处理节点的功能

特性和物理结构可以存在肯定差异。正是基于各节点的差异性，异构

式DTDS可以依据检测需求，充分整合各节点的优势部分，取长补短,

以满意多样化的应用需求。然而该类系统关于兼容性的技术问题仍有

待解决，如何实现大量的不同设备在同一系统下的实时交互是异构式

DIDS的关键突破点。异构式DTDS通常规模较大，常用于大型企业的

平安防护体系。

依据拓扑模式的区分，DIDS分为P2P模式和层次模式两种。

（1）P2P模式的DIDS可采纳网状连接结构，而且网络中的每个

节点都近似一个完整的微型检测系统，其不仅具备检测、分析、响应

功能，还同时拥有限制模块，通信模块和数据库。各节点相互独立又

相互连接，可通过网络实现资源共享和协同工作。该模式的优点在于

处理速度快，各节点可通过网络链路干脆通信，大幅削减时间开销，

提高了检测效率。于此同时，P2P模式的缺点也很明显。该模式对各

节点的配置要求较高，不仅要具备完整的入侵检测功能，同时还要拥

有支持限制、通信等硬件模块，使得搭建和维护的成本大幅提高。而

且较高的技术难度也是P2P模式短暂无法普及的重要缘由。

（2）层级模式的DIDS由限制层、通信层、处理层和数据库构成。

其及P2P模式的差别在于处理层的终端设备只具备肯定的入侵检测

功能，而限制和通信则由限制层和通信层单独负责。这样的好处在于

各层级分工明确，便于后期的管理和维护，同时它对处理终端的要求

不高，主要在于软件功能。而层级模式的主要缺点是限制层和通信层

负载实力有限，若同时受到多点攻击则很可能导致整个系统的崩溃。

除此之外，层级模式的处理速度相对较慢，大部分的指令都必需通过

限制层和通信层才能到达终端。这一缺陷在面对APT攻击时尤为致

命。

依据平台性质的区分，DIDS分为本地平台和云平台两种。

（1）作为互联网产业的传统工作模式，本地化平台是指用户干

脆限制的网络设备，例如手机、计算机等。本地平台具有读写速度快,

独立运行，平安性高的特点，目前大部分的互联网产品也都是建立于

本地化平台之上。然而随着互联网技术的发展，特殊是大数据时代的

到来，性能有限、成本昂扬、敏捷性差的本地平台渐渐无法适应广泛

的市场需求。但凭借着许久的发展历史以及成熟的应用技术，本地化

平台仍旧保持着极高的普及率和市场占有率。（2）作为一项

新兴技术，云是指虚拟化的互联网资源平台。作为供应商，亚马逊、

谷歌以及国内的阿里巴巴、华为等企业建立包含大型数据中心，整合

数以万计的计算机的资源和计算实力以搭建云端平台。作为用户，

DIDS可以利用云端平台搭建入侵检测系统,并通过限制台或OpenAPI

等技术收集、分析所获数据从而做出快速的有效响应。

云技术具有按需安排、管理简易、价格低廉、多点备份、实时下

载、并行运算等优势，尤其是其超大规模的计算实力以及海量存储实

力使DIDS支持神经网络、自主学习等先进技术，进而从容应对日益

趋向大型化、困难化和综合化的入侵攻击。这特别符合如今大数据时

代的信息特征和应用需求。然而云技术也存在过度依靠网络的缺陷，

而且目前云端的平安问题仍是阻碍其发展的一大瓶颈。

5.DIDS性能特点

为适应接踵而来的信息平安挑战，DTDS在设计之初便有着更先

进的设计理念以及更高的预定目标。及传统IDS相比，DIDS主要具

有高效、独立、牢靠和敏捷四大优势。

第一，作为入侵检测系统的关键指标，检测效率是DIDS的核心

优势之一。DIDS可以实现对全体数据而不仅是随机样本的实时检测。

无论是对本地文件的遍历扫描还是对网络数据包的过滤分析，系统都

能保持较高的检测速度和较低的漏报率。另外，强大的计算实力使其

支持相关性分析，臼模拟学习以及大数据分析等困难策略，极大提高

了DIDS的检测效率。

其次，当某个节点遭遇入侵时，DTDS可以充分整合内部资源,

通过预置算法实时调度其它闲置节点，并以协同工作的形式应对入侵

行为。这样的工作模式改善了传统IDS过度依靠单机性能的缺陷。不

仅降低了处理节点的入网标准，还使系统避开出现因超负荷工作而导

致无效检测甚至宕机的状况，体现出较强的鲁棒性。

第三，D1DS在牢靠性方面具有较大的优势。牢靠性则主要分为

两点。一方面，DIDS具有肯定的容错性。鉴于分布式的结构优势，

局部故障并不影响整个系统的正常工作。另一方面，DTDS还支持实

时备份功能。各节点的数据信息会被完整拷贝并存储于于若干个相邻

节点中，并通过时钟机制不断更新。

第四，敏捷性是DIDS较传统IDS的一大特色。DIDS可以在不中

断正常工作的前提下，用简便的技术增加节点或修改结构，以适应不

断改变的外部环境。另外，当某一节点负荷过载时，按需安排的机制

可以通过敏捷的资源调度短暂加强该点的处理实力。而当入侵行为消

逝后，资源各归其位，系统又复原原态。这一模式体现了DIDS的高

度敏捷性。

尽管DIDS及传统技术相比有着突出的优势，而且在目前初步的

实际检测中也卓有成效。但DIDS在稳定性、平安性和技术困难性等

方面有须耍改进之处，只有不断改善缺陷，这一新型平安防护体系才

能得到广泛的普及

首先，据上述概念介绍，DIDS以分布式节点为基础，且高度依

靠于网络通信。而节点的高自由度和不确定性以及网络传输的不确定

性导致DIDS故障率较高，极大影响其对目标系统的实时爱护。同时

DIDS自身的技术困难性也会导致较高的系统出错率。

其次，系统平安性不高。DIDS的正常工作立足于大量自由、开

放的处理节点，而非单一、封闭的节点。这导致DIDS中各节点显得

较为脆弱，其自身对DOS、APT等尖端攻击的反抗实力相当有限。而

且系统规模越大，目标就越明显，受攻击的概率