异常流量检测网络异常流量检测研究

异常流量检测网络异常流量检测研究 摘要:异常流量检测是目前IDS入侵检测系统)研究的一个重要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,由于测度、分析和存储等计算机资源的限制,无法实现全网络现流量的实时检测,因此,抽样测度技术成为高速网络流量测度的研究重点。 关键词:网络 异常流量 检测 一、异常流量监测基础知识 异常流量有许多可能的,包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。网络流量异常的检测方法可以归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等。用于异常检测的5种统计模型有:操作模型。该模型假设异常可通过测量结果和指标相比较得到,指标可以根据经验或一段时间的统计平均得到。方差。计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常。多元模型。操作模型的扩展,通过同时分析多个参数实现检测。马尔可夫过程模型。将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的变化。若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。时间序列模型。将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件。 二、系统介绍分析与设计 本系统运行在子网连接主干网的出口处,以旁路的方式接入边界的交换设备中。从交换设备中流过的数据包,经由软件捕获,处理,分析和判断,可以对以异常流量方式出现的攻击行为告警。本系统需要检测的基本的攻击行为如下:(1)ICMP攻击(2)TCP攻击,包括但不限于SYN Flood、RST Flood(3)IP NULL攻击(4)IP Fragmentation攻击(5)IP Private Address Space攻击(6)UDP Flood攻击(7)扫描攻击不同于以特征、规则和策略为基础的入侵检测系统(Intrusion Detection Systems),本研究着眼于建立正常情况下网络流量的模型,通过该模型,流量异常检测系统可以实时地发现所观测到的流量与正常流量模型之间的偏差。当偏差达到一定程度引发流量分配的变化时,产生系统告警(ALERT),并由网络中的其他设备来完成对攻击行为的阻断。系统的核心技术包括网络正常流量模型的获取、及对所观察流量的汇聚和分析。由于当前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用(misuse)也时有发生,这就使得网络正常流量模型的建立存在很大的难度。为达到保障子网的正常运行的最终目的,在本系统中,采用下列方式来建立多层次的网络流量模型: (1)会话正常行为模型。根据IP报文的五元组(源地址、源端口、目的地址、目的端口和协议),TCP和UDP报文可以构成流(flow)或伪流(pseudo-flow)。两个五元组中源和目的相反的流可以构成一个会话。由于ICMP的特殊性,对于ICMP的报文,分别进行处理:ICMP(query)消息构成独立会话,而ICMP错误(error)消息则根据报文中包含的IP报头映射到由IP报头所制定的会话中去。每一类协议(TCP/UDP/ICMP)的正常行为由一个有限状态及刻画。在这个状态机中,如果一个事件的到来导致了错误状态的出现,那么和状态机关联的计数器对错误累加。协议状态机是一种相对严格的行为模型,累加的错误计数本身并不一定代表发现了攻击行为。 (2)流量规则特征模型。在正常的网络流量中,存在着稳定的规则特征。比如一个IP收到和发出的含SYN标志位和含FIN标志位的报文的比值、一个IP的出度和入度的比值以及一个IP的平均会话错误数等。这些网络不变量是检验在一定时间区间内,一个IP是否行为异常的标准之一。这个模型要求对会话表中的会话摘要(一个含有会话特征的向量)进行汇聚,在会话正常行为模型基础上增加攻击行为判断的准确程度。 (3)网络流量关联模型。把一些流量特征(如字节数、报文数、会话错误数等)在一定时间区间内的累加值记录下来,可以看作时间序列。通过对序列的分析,可以找到长期的均值、方差、周期、趋势等特征。当攻击行为发生时,观察到的一些流量特征会偏离其长期特征。这种特征偏离的相关性就提供了判断是否攻击已发生的一个依据。 三、大规模流量异常检测框架 异常检测通常需要描述正常网络行为,网络行为模型越准确,异常检测算法效果越好。在大规模流量异常检测中通常通过网络探针了解单个实体或结点的行为来推测整个网络行为,基于网络断层成像(work tomography)思想通过使用探针测量推断网络特征,这是检测非协作(noncooperative)网络异常和非直接管理控制网络异常的有效手段。对于单个管理域,基于实体研究可以向网络管理者提供有用信息,例如网络拓扑。在单个结点使用一些基本的网络设计和流量描述的方法,可以检测网络异常和性能瓶颈。然后触发网络管理系统的告警和恢复机制。为了对大规模网络的性能和行为有一个基本的了解,需要收集和处理大量网络信息。有时,全局网络性能信息不能直接获得,只有综合所获得的本地网络信息才能对全局网络行为有个大致的了解。因为不存在准确的正常网络操作的统计模型,使得难以描述异常网络模型的统计行为,也没有单个变量或参数能包括正常网络功能的各个方面。需要从多个统计特征完全不同的矩阵中合成信息的问题。为解决该问题,有人提出利用操作矩阵关联单个参数信息。但导致算法的计算复杂度较高,为了满足异常检测的实时性要求,本文关联本地和全局数据检测网络异常。尽管本章利用行为模型对IP Forwarding异常进行检测,但该方法并不仅限于检测本地异常。通过关联多条网络链路的时间序列数据,也可以检测类似于空间的网络异常。因此,该方法可以扩展到其他类型的大规模网络数据和其他大规