（应用数学专业论文）流量预测算法在入侵检测系统中的应用.pdf

河南大学研究生硕士学位论文 第1 页 摘要 随着互联网的爆炸式发展，计算机网络给人们的工作，学习和生活带来方便 快捷的同时，网络安全也给人们带来严峻挑战。作为网络安全的重要手段之一入 侵检测和防火墙一起，构成了立体的网络安全防护体系，是网络安全产品中不可 或缺的重要组成部分。 s n o r t 入侵检测系统作为著名的开源入侵检测系统，能够有效地保护网络信息 安全，得到业界非常广泛的研究和使用。s n o r t 的检测模型分为数据包捕获，预处 理，模式匹配，产生报警四个主要环节，随着网络带宽的提高，网络攻击种类急 剧增加，对检测匹配速度的提高迫在眉睫。本文在基本上不改变检测结果的前提 下，利用流量预测的方法在预处理阶段提前检测入侵行为，从而有效地降低检测 的时间，提高检测的效率。 流量预测组合算法，就是针对线性神经网络，e l m a n 神经网络，r b f 神经网 络，b p 神经网络等不同预测模型优缺点，对它们进行集成学习，利用这些神经网 络的优点，把各个模块当成独立的分类器，采用投票的方式，建立了一个集成的 多神经网络流量预测算法，在入侵检测系统s n o r t 中应用。 本文基于流量预测算法，针对入侵检测系统s n o r t 的研究和改进，主要从以下三 个方面入手，进行研究工作： 1 、剖析s n o r t 系统的结构体系，发现s n o r t 模式匹配阶段所占时间百分比很高， 得出模式匹配算法是s n o r t 系统性能瓶颈的结论。 2 、在入侵检测系统s n o r t 中，建立八步相关的流量队列，加入流量预测的集 成学习算法，根据流量特征，提前产生报警，从而绕过模式匹配阶段，减少模式匹 配所占时间的百分比，提高了检测效率，同时，改变了检测模型。 3 、对改进的s n o r t 系统进行测评和分析。选择攻击工具对指定的i p 进行攻击， 并在文本中记录检测的相关信息，验证改进的s n o r t 具有检测能力；第二步，用麻 省理工林肯实验室的d a r p a l 9 9 9 入侵检测数据集对改进前后的s n o r t 进行测试。 关键词：流量预测；入侵检测；集成学习；s n o r t 第1i 页河南大学研究生硕士学位论文 a b s t r a c t w i t ht l l e e x p l o s i v ed e v e l o p m e n to ft h ei n t e r n e t ，c o m p u t e rn e t w o r k b r o u g h t c o n v e n i e n tt op e o p l e sw o r k ，s t u d ya n dl i f e ，a tt h es a m et i m e ，n e t w o r ks e c u r i t yh a sa l s o b r o u g h ts e v e r ec h a l l e n g e s i n t r u s i o nd e t e c t i o n ，a s a l l i m p o r t a n tm e a n so fn e t w o r k s e c u r i t y w i t hf i r e w a l lt o g e t h e r c o n s t i t u t eat h r e e - d i m e n s i o n a ln e t w o r ks e c u r i t y p r o t e c t i o ns y s t e m ，n e t w o r ks e c u r i t yp r o d u c t si sa ni m p o r t a n te s s e n t i a lp a r t s n o r ti n t r u s i o nd e t e c t i o ns y s t e m ，a saw e l l - k n o w no p e ns o u r c ei n t r u s i o nd e t e c t i o n s y s t e m ，c a ne f f e c t i v e l yp r o t e c tt h es e c u r i t yo fn e t w o r ki n f o r m a t i o nr e c e i v e db yt h e i n d u s t r y se x t e n s i v er e s e a r c ha n du s e s n o r t s d e t e c t i o nm o d e li sap a c k e tc a p t u r e ， p r e p r o c e s s i n g ，p a t t e r nm a t c h i n g ，a l e r t i n gi nf o u rm a i np a r t s ，w i t ht h ei m p r o v e m e n to f n e t w o r kb a n d w i d t h ，n e t w o r kt y p eo fd r a m a t i ci n c r e a s ei na t t a c k so nt h ed e t e c t i o no f a n i m m i n e n ti n c r e a s ei nt h es p e e d t h i st h e s i s b a s i c a l l yd on o tc h a n g et h ee f f e c t ，u s e t r a f f i cp r e d i c t i o ni nt h ep r e - p r o c e s s i n gs t a g et od e t e c ti n t r u s i o n si na d v a n c es oa st o e f f e c t i v e l yr e d u c et h ed e t e c t i o nt i m ea n di m p r o v et h ee f f i c i e n c yo f d e t e c t i o n 。 t r a 衔cp r e d i c t i o na l g o r i t h m ，t h a ti s ，f o rt h el i n e a rn e u r a ln e t w o r k ，e l m a nn e u r a l n e t w o r k ，r b fn e u r a ln e t w o r k ，b pn e u r a ln e t w o r kp r e d i c t i o nm o d e l ，s u c ha sd i f f e r e n t s t r e n g t h sa n dw e a k n e s s e so ft h e i re n s e m b l el e a r n i n g ，t h eu s eo ft h e s ea d v a n t a g e so f n e u r a ln e t w o r k st oe a c hm o d u l ea sas e p a r a t ec l a s s i f i c a t i o n ，a n dt h eu s eo fv o t i n ga sa m e a n st os e tu pa ni n t e g r a t e dm u l t i n e u r a ln e t w o r kt r a f f i cp r e d i c t i o na l g o r i t h m ，a n d h a v eb e e np r o v e d ，i nt h ei n t r u s i o nd e t e c t i o ns y s t e m b a s e do nt r a f f i cp r e d i c t i o na l g o r i t h m ，s n o r ti n t r u s i o nd e t e c t i o ns y s t e mf o rr e s e a r c h a n di m p r o v e m e n t ，m a i n l yf r o mt h ef o l l o w i n gt h r e ea s p e c t st or e s e a r c h ： 1 t h et h e s i sa n a l y s i st h es t r u c t u r es y s t e mo fs n o r t ，a n df o u n ds n o r tp a t t e r nm a t c h i n g s t a g e t a k ea h i ，g hp r o p o r t i o n o ft h et i m e p e r c e n t a g e ，i t w a sd e r i v e dt h a t p a t t e r n m a t c h i n ga l g o r i t h m i st h eb o t t l e n e c k so fs n o r ts y s t e m 2 i nt h es n o r ti n t r u s i o nd e t e c t i o ns y s t e m ，b u i l tt r a f f i cq u e u eo fe i g h ts t e p sa s s o c i a t e d ， b ya d d i n ga e n s e m b l el e a r n i n ga b o u tt r a f f i cp r e d i c t i o na l g o r i t h mb a s e do nf l o w c h a r a c t e r i s t i c s t oh a v ea l e r ti n f o r m a t i o ni na d v a n c ei no r d e rt ob y p a s st h es t a g eo f 河南大学研究生硕士学位论文 第l | l 页 p a t t e r nm a t c h i n g ，a n d r e d u c et h ep e r c e n t a g eo ft i m ea l l o c a t e do fp a t t e r n 。m a t c h i n gt o i m p r o v et h ed e t e c t i o ne f f i c i e n c y , a tt h es a m et i m e ，c h a n g et h ed e t e c t i o nm o d e l 3 a s s e s sa n da n a l y s i si m p r o v e ds n o r ts y s t e m f i r s t ，c h o i c eat o o lt o a t t a c kt h e d e s i g n a t e di p , a n d t e s tr e c o r d si nt h et e x to ft h er e l e v a n ti n f o r m a t i o nt ov e r i f yt h es n o r t w i t hi m p r o v e m e n t si nd e t e c t i o nc a p a b i l i t y ；t h es e c o n ds t e p ，a d o p th ek d dd a t as e to f t h em a s s a c h u s e t t si n s t i t u t eo ft e c h n o l o g yl i n c o l nl a b o r a t o r y t ot e s tt h es n o r ta n d i m p r o v e ds y s t e m k e yw o r d s ：t r a f f i cp r e d i c t i o n ，i n t r u s i o nd e t e c t i o n ，e n s e m b l el e a r n i n g ，s n o r t 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学位申请。本人郑重声明：所呈交的学位论文是 本人在导师的指导下独立完成的，对所研究备勺课题有新的见解。据我所知，除 文中特别加以说明、标注和致谢的地方外，论文中不包括其他人已经发表或撰 写过的研究成果，也不包括其他人为获得任何教育、科研机构的学位或证书而 使用过的材料。与我一同工作的同事对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。k 缘曩2 要j 。_ 、 。l ；j i ；芗，。 学位申请人。( 学位论克作者) 釜名：二，。互淹 籍j f 黪“萎：冀怒毫曼鬻耄 ：，：乡蛰疆晷，i 纛二! 馨 麓。关于学位论文著作权使用授权书! 墨 篆“、“j ， 4 7 j 。j ，。i ：7 ，；，二， i 豸j 。，。，一，j t 7 ? ? 。，。；：。， ：。_ 爹 学位获得者( 学位论文作者) 釜名： 墨遗 2 0 秒c 7 年6 月 目 学位论文指导教师签名： 至j 丝亟 2 0 口歹年参月 曰 河南大学研究生硕士学位论文第1 页 第1 章绪论 近年来，互联网的爆炸式发展，给人类社会、经济、文化等带来无限的机遇， 同时也给信息安全带来了严峻挑战。人们采用反病毒，防火墙和入侵检测等技术 手段来保证网络信息安全。随着网络安全技术的不断发展，入侵检测技术已经成 为网络安全体系结构中不可或缺的一部分。 1 1研究意义及背景 本节主要阐述入侵检测的基本功能和用神经网络模块组合成流量预测算法的思 路，并且论述解决的主要问题，为整篇文章做好铺垫。 1 1 1入侵检测系统的功能 随着计算机网络的爆炸式发展，网络威胁事件层出不穷，网络信息失窃事件 以2 0 0 的速度递增，深受其害的不仅有y a h o o ，a m a z o n 等大型商业网站或企业， 还有数以千计的个人用户【i 】。对付黑客的层出不穷的攻击，人们采取各种各样的防 攻击手段：外部防御，入侵检测，入侵对抗，陷阱或假目标等等，大致可以分为 两大类：主动型和被动型【z j 。 被动型反攻击手段的典型代表是防火墙，主要是基于各种形式的静态禁止策 略【l 】。被动型反攻击手段对于改善网络安全有着重要意义，而且也是对所有网络安 全最基本的响应措施【2 】，但是，被动型防御机制也有自己的局限性，比如，防火墙 虽然能够通过过滤和访问控制，制止多数对系统的非法访问，但是却不能抵御某 些入侵攻击，尤其是在防火墙系统存在配置上的错误，没有明确定义或者没有定 义系统的安全策略时，都会危机整个系统的安全【3 】。 s n o r t 入侵检测系统作为著名的开源网络入侵检测系统【4 】，能够有效的保护系 统信息安全，在业界有着广泛的研究和应用【5 】。s n o r t 检测原理采用简单的模式匹 配策略，但随着网络带宽的不断提高，以及网络上攻击种类的急剧增加，致使s n o r t 的检测任务越来越重，那么如何提高检测的效率，降低检测的时间，成为了当前 研究的入侵检测系统的热点和重点。入侵检测系统中，模式匹配阶段所占的时间 百分比很高，那么，提前检测到入侵行为，从而减少模式匹配阶段所消耗的时间。 1 。1 2 流量预测组合算法 第2 页河南大学研究生硕士学位论文 针对网络管理和优化的实际要求，对线性神经网络，e l m a n 神经网络，r b f 神经网络，b p 神经网络等不同预测模型优缺点，进行有效的整合，利用这些神经 网络的优点，建立了一个基于多神经网络的网络流量预测模型，来提高其预测性 能，实际上就是利用多分类器技术，基于集成学习的入侵检测方法。把流量预测 模块加入到入侵检测系中来，针对网络流量预测要求实时性比较高的特点，在预 测中如何减少检测的时间，提高检测的效率，成为网络流量预测中需要解决的主 要问题巾j 。 1 1 3 论文拟解决的的问题 本文分析s n o r t 的检测系统，得出模式匹配阶段占整个入侵检测系统的时间百 分比比较大，消耗的时间比较多。很多前人在模式匹配阶段，对模式匹配的算法 进行改进，启明星辰信息技术有限公司成功地研制和实现了一种高效的自适应模 式匹配v a p m 算法，是根据网络流量的不同，自适应的选择模式匹配算法，是对 模式匹配算法的组合阴。 在分析入侵检测系统s n o r t 的检测模型的基础上，在预处理阶段，把流量预测 组合算法加入到入侵检测系统，捕获网络上的流量作为流量预测算法的输入，根 据流量预测算法的输出和实际的网络流量做比较，如果发生过大的偏差，就直接 产生报警，从而减少模式匹配阶段所消耗的时间，有效地提高入侵检测系统的性 能。 1 2 入侵和入侵检测技术 本节将从入侵检测的基本理论着手阐述入侵检测的基本知识，如入侵和入侵 行为，入侵检测系统的结构和分类等等。 1 2 1入侵行为和入侵检测 入侵行为主要是指对系统资源的非授权使用，它可以造成系统数据的丢失和 破坏，甚至造成系统拒绝对合法用户服务等后果。入侵行为可以分为两类：外部 入侵( 外部用户发起的入侵，即黑客攻击) 和内部入侵( 内部合法用户的越权使 用) 。 1 2 2 入侵检测系统的结构 d a r p a ( 美国国防部高级计划局) 提出的c i d f ( 公共入侵检测框架) 是一个 河南大学研究生硕士学位论文第3 页 入侵检测系统的通用模型。它将入侵检测系统分为四个组件：事件产生器、事件 分析器、响应单元和事件数据库【3 1 。它们在入侵检测系统中的位置和相互关系如图 1 1 所示： 图1 1 入侵检测通用模型 入侵检测系统工作的第一步就是收集信息。收集的信息包括整个网络中的网 络状态信息和用户的行为信息，这是由事件产生器来完成的。入侵检测系统在很 大程度上依赖信息收集的可靠性、可用性和完备性【3 1 。因此，需要确保采集、报告 这些信息软件工具的可靠性。这些软件本身应具有防止被篡改收集到信息的能力， 否则，黑客对系统的修改可能使系统功能失常。 一、事件分析器 事件分析器是入侵检测系统的核心，它的效率的高低直接决定了整个入侵检 测系统的性能。 二、响应单元 事件分析器发现入侵迹象后，入侵检测系统的下一步工作就是响应，而响应 对象并不局限于可疑的攻击者。目前的入侵检测系统有以下几方面响应功能：根 据攻击类型终止攻击；终止可疑用户连接甚至所有用户的连接，切断攻击者的网 络连接而减少损失；可疑的用户获得账号，则将其禁止；重新配置防火墙，更改 过滤规则，进而防止此类攻击的重现；向管理控制台发出警告同时指出事件的发 生。 三、事件分析数据库 事件分析数据库是存放各种中间和最终数据的地方的统称，它可以是复杂的 数据库，也可以是简单的文本文件。考虑到数据的庞大和复杂性，一般都采用成 熟的数据库产品来支持。事件数据库的作用是充分发挥数据库的长处，方便其他 第4 页；- 7 南大学研究生硕士学位论文 系统模块对数据的添加、访问、删除、排序和分类等操作。 通过以上分析介绍可以看到，在通常的入侵检测系统中，事件产生器和分析 器是相对重要的两个组件，在设计时采用的策略不同，其功能和影响有相当大的 区别，而响应单元和事件数据库则比较固定。 1 2 3 入侵检测系统的分类 入侵检测系统根据不同的标准可以分成不同的类型。一般主要按照事件产生 器和事件分析器的不同来进行分类。 首先，按照事件产生器的不同，可以分为如下两种【4 】： 一、基于主机的入侵检测系统( h o s t b a s e di d s ) 基于主机的入侵检测系统历史最久，最早用于审计用户的活动，比如用户的 登录、操作命令、应用程序使用资源情况等。此类系统一般主要使用操作系统的 审计日志作为输入，某些系统也会主动与主机进行交互来获得系统日志中不存在 的信息。它所收集的信息集中在系统调用和应用层审计上，试图从日志中寻找入 侵事件的线索。 二、基于网络的入侵检测系统( n e t b a s e di d s ) 由于来自网络的攻击事件逐渐成为信息系统的最大威胁，因而基于网络的入 侵检测系统具有重要价值。基于网络的入侵检测系统在网络中的某一点监听网络 上传输的原始流量，通过线路窃听的手段对截获的网络分组进行处理，从中提取 有用的信息。基于网络的入侵检测系统通过流量分析提取特征模式，再与已知攻 击特征相匹配或与正常网络行为原型相比较来识别攻击事件。与基于主机的入侵 检测不同，基于网络的入侵检测非常适用于检测系统应用层以下的底层攻击事件。 其次，按照事件分析器的不同，入侵检测系统主要分为如下两种类型。 一、 异常入侵检测系统( a n o m l yi d s ) 异常入侵检测系统其原理是：系统工作时建立系统的正常模式轮廓，若实时 获得的系统或用户的轮廓值与正常值的差异超出指定的阈值，就进行入侵报警。 异常入侵检测方法的优点是不依赖于攻击特征，立足于受检测的目标发现入侵行 为。但是，如何对检测建立异常指标，如何定义正常模式轮廓，降低误报率，都 是难以解决的课题。异常检测系统中使用的主要技术有两种：统计性特征轮廓、 基于规则描述的特征轮廓。 二、 误用入侵检测系统( m i s u s ei d s ) ；- i 南大学研究生硕士学位论文第5 页 误用检测是建立在是用某种模式或者特征描述方法能够对任何已知攻击进行 表达这一理论基础上的。误用入侵检测是指根据已知的攻击特征检测入侵，可以 直接检测出入侵行为。误用检测的主要问题是如何确定所定义的攻击特征模式可 以覆盖与实际攻击相关的要素，以及如何对入侵活动的特征进行匹配。可以说， 要想实现理论上能够百分之百正确检测所有攻击活动的入侵检测系统，首先必须 保证能够用数学语言百分之百正确的描述所有的攻击活动。误用检测方法的优点 是误报率低，可以发现已知的攻击行为。但是，这种方法检测的效果取决于检测 知识库的完备性。因此，特征库需要及时更新。此外，这种方法无法发现未知的 入侵行为。误用检测系统中使用的主要技术有：模式匹配、专家系统和状态迁移 分析。 三、有些先进检测方法，不能笼统归结为误用检测或者异常检测。它们分 别是：计算机免疫技术、神经网络技术和遗传算法。 异常检测方式检测到未知的和更为复杂的入侵行为；缺点是漏报和误报率较 高，一般具有自适应功能，入侵者可以逐渐改变自己的行为模式进而逃避检测， 不适应用户行为会突然改变。随着新型攻击类型的不断出现，模式库需要不断更 新，而把攻击模式添加到模式库，新类型的攻击手段可能对系统造成更大危害【6 1 。 1 3 相关国内外现状分析 目前已有很多方法被应用于入侵检测的研发，例如统计方法、神经网络的方 法和专家系统的方法 6 3 等。人工神经网络a n n ( a r t i f i c i a ln e u r a ln e t w o r k ) 是模 拟人脑加工、存储和处理信息机制而提出的一种智能化信息处理技术，它所具备 的概括抽象能力、学习和自适应能力以及内在的并行计算特性，使得它在入侵检 测中应用具有独特的优势。关于神经网络在入侵检测中的应用，前人已经做了很 多研究工作。 d e b a r 等人采用b p 网络对系统各用户行为方式进行建模，并同时结合传统的 专家系统进行入侵检测1 5 】。t a n 对传统的多层前馈网络( m l f f ) 训练算法进行改进， 并用于建模用户的各个行为特征 6 1 。g h o s t 署f l s c h w a r t z b a r d 采用基于多层感知器 ( m l p ) 的异常检测模型，来监视特定程序的运行状态【7 1 。a n i k o p o u l o s 等人提出 的统计预处理和b p 神经网络结合的分层网络入侵检测系统【8 】，r a y 等提出的抽样查 询和属性查询与b p 相结合的方法用于入侵检测【9 1 。 第6 页河南大学研究生硕士学位论文 国内也有学者提出很多相关方法，例如关于b p 算法和r b f 网络在入侵检测系统 中的应用，肖道举等人在被监测程序输入条件已知情况下，借助程序行为简档， 给出了一种基于b p 神经网络的入侵检测方法，阐述了所用b p 神经网络的基本结构 以及训练方法【l o 】。傅德胜等人在s n o r t 平台使用预处理插件的基础上，提出使用 b p 神经网络实现一个入侵检测预处理插件，使用改进的b p 算法，分为训练部分和 检测部分，训练部分是独立的系统，使用样本数据训练得出网络结构参数；检测 部分作为插件使用得到的参数构造b p 网络并集成- n s n o r t 中t 1 1 】。贺敏伟等人针对 传统b p 算法收敛速度慢且容易陷入局部极小的缺点，提出了一种基于c a u c h y 鲁棒 误差估计标准方法的改进b p 算法，并应用在入侵检测系统中【1 2 1 。许朋飞等人提出 一种改进的b p 算法，该算法中学习速率q 不是凭经验给出的固定值，而是在学习 过程中计算出的最优值q ，解决n i d s 普遍存在的虚警率过高问题【1 3 】。张琨等人针对 入侵检测研究的通用审计数据集，首先将其所有字符串行式的元素转换为数值形 式，为提高r b f 网络的逼近性能和运算速度，除去对输出无影响的输入项，并且将 剩余输入项的可能取值转换到合理的范围内，使其得到良好的特性【1 4 1 。 对于神经网络集成学习算法的研究，巩文科等人针对目前入侵检测中存在的 误检率高、对新的入侵方法不敏感等问题，提出了一种基于神经网络集成的入侵 检测方法，使用负相关法训练神经网络集成，采用t f xi d f 的系统调用编码方式 作为输入，在保证较高的入侵检测率的前提下，保持了较低的误检率【l5 1 。林好等 人针对竞争层中存在的容易陷入局部极小、可能丢弃局部较理想的神经元问题， 提出了增加或者删除竞争神经元的神经网络，在学习结束后删除错误的聚类，从 而避免了死神经元问题，使聚类更加准确【l 引。 1 4 主要工作和论文结构 本论文以著名的开源入侵检测系统为研究平台，以提高入侵检测效率为出发 点，主要从事以下三个方面的工作： 第一：在分析s n o r t 系统四大模块工作原理和流程的基础上，安装和部署入侵 检测系统，产生报警并存入数据库，采用g n up r o f i l e r 工具g p r o f n 析s n o r t 系统 中各个主要函数在系统运行过程中所占时间的百分比，得出模式匹配算法是s n o r t 系统性能瓶颈的结论。 第二：在入侵检测系统s n o r t 的预处理模块部分，加入流量预测的组合算法根 据流量特征，提前产生报警信息，从而绕过模式匹配阶段，减少模式匹配所占时 河南大学研究生硕士学位论文第7 页 间的百分比，从而在基本不影响准确性的前提下，有效的提高了检测的效率。同 时，在预处理阶段加入流量预测算法，提前报警，改变了检测模型。 第三，对改进的s n o r t 系统进行测评和分析。并用麻省理工林肯实验室的 “d a r p a l 9 9 9 入侵检测数据集 对改进的s n o r t 进行测试和分析，同时，采用攻 击工具进行多次攻击，比较检测的时间。 本论文主要分为五章，组织结构如下： 第一章为绪论部分，阐述本论文的选题背景和意义，国内外发展以及入侵检 测和流量预测的基本知识。 第二章介绍入侵检测系统s n o r t 的检测模型和系统架构，s n o r t 的工作模式和 规则集，以及s n o r t 的重要数据结构和主要源代码分析。 第三章详细阐述基于神经网络的流量预测组合算法，对线性神经网络，e l m a n 神经网络，r b f 神经网络，b p 神经网络等不同预测模型优缺点，进行集成学习， 利用这些神经网络的优点，建立一个基于多神经网络的网络流量预测模型，来提 高其预测性能。 第四章把流量预测算法加入到入侵检测系统s n o r t ，在预处理阶段根据网络流 量提前检查报警信息，产生报警。利用w i n p c a p 截获网络上数据流量，把八个时刻 的网络流量作为组合算法的输入，产生输出。 第五章对系统进行测评和分析。用麻省理工林肯实验室的“d a r p a l 9 9 9 入 侵检测数据集”对改进的s n o r t 进行测试，同时，采用攻击工具进行多次攻击，比 较检测的时间。 本章小结 本章首先介绍了入侵检测和流量预测算法的基本知识，包括入侵检测的分类 和结构，以及研究现状，研究背景和拟解决的主要问题等等，总结了全文的主要 工作和论文的结构，为整体论文的结构确定好基础和框架。 第8 页河南大学研究生硕士学位论文 第2 章s n o r t 入侵检测系统 s n o r t 是一个著名的基于规则的开源入侵检测系统，最初由m a r t i nr o e s c h 编 写，并由遍布世界各地的众多程序员共同维护升级，由w w ws n o r t o r g 官方网站发 布最新版本和规则，是目前最活跃的开源网络入侵检测系统h 】。s n o r t 定位于轻量 级的入侵检测系统，已经实现了网络探测器和第三方的管理及同志分析工具，是 事实上的工业标准。s n o r t 遵循g p l ( g e n e r a l p u b l i c l i c e n s e ) ，所以任何企业、个人、 组织都可以免费使用它作为自己的网络入侵检测系统【3 】。 2 1s n o r t 检测模型及系统架构 本节从s n o r t 的主要模块，检测模型和主要模块接口三个方面进行阐述。 2 11 s n o r t 主要模块 s n o r t 从结构来讲，主要有几大软件模块组成，这些模块使用插件模式和s n o r t 结合，扩展起来非常方便。主要有四个模块组成：数据包嗅探器、预处理器、检 测引擎、输出报警四大模块1 ”，如图2 1 所示： ，盼肚”影- ；：蓊一 _ | ? 豢? 皂探器 理，转。| 帮， 船嚣笙：街 at i 蟛孵 图2 is n o r t 结构图 利用l i b p c a p 库从网卡捕获网络上的数据包，然后将捕获的数据包经过解码引 擎填入到链路层协议的包结构体中，以便对高层次的协议进行解码，如t c p 和u d p 协议。数据包被送到各种各样的预处理器中，在检测引擎处理之前进行检查和操 作。由相关预处理器检查数据包是否应该注意、报警或者修改某些东西。数据包 被送到检测引擎，检测引擎通过各种规则文件中的不同选项来对每个包的特征和 包信息进行检测。检测引擎插件对包提供额外的检测功能。规则中的每个关键字 选项对应于检测引擎插件，能够提供不同的检测功能。s n o r t 通过检测引擎、预处 理器和解码引擎等部件与输出插件配合输出报警。 河南大学研究生硕士学位论文第9 页 2 1 2s n o r t 的检测模型 包解码器弓l 擎 预处理器插侔 且 巳，检测引擎 j 且 酵：。净篡警警，、 匝嘲 图2 - 2s n o r t 入侵检测模型 2 1 3s n o r t 系统主要模块接口及数据结构 系统架构分析s n o r t 工作流函数为s n o r t m a i n o 大体如下： 主要函数流程解释： 1 ) 命令行参数解析函数p a r s e c m d l i n e o ，解析命令参数，并将其放入全局p v 类型的变量p v 中。数据类型p v 包含各种标示字段，用来标识系统的参数设置。 例如：规则文件，系统运行模式，显示模式，插件激活等。 2 ) 检测引擎初始化邱i n i t d e t e c t i n e n g i n e o ，用于制定快速规则匹配模块的配置参 数，包括模式搜索算法等( s n o r t 可使用的算法有w u m a n b e r ，b o y e r - m o o r e 等算法， 缺省早期s n o r t 版本使用b y e r - m o r e 算法) 。并负责在协议解析过程中产生警报信 息1 利。 3 ) 取得从网络截取到的数据流的主要进程o p e n p c a p 0 。主要作用是根据命令行 参数分析结果，分别调用l i b p c a p 函数库p c a p _ o p e n l i v e 0 通过网卡驱动实时截取 网络数据和p c a p通过文件来访问以前网卡驱动截取数据保存成为的 文件，并获得相对o 应p e 的n o 数f f i 据i n 包e o 数据结构。 4 ) 各种插件初始化主要包括输入输出插件初始化，检测插件初始化和预处理 插件初始化等。主要就是将各种插件的关键字与对应的初始化处理函数相调用， 然后注册到对应的关键字链表结构中，逐个弹出以便规则解析模块使用。 第10 页河南大学研究生硕士学位论文 例如：预处理模块插件主要的链表结构体有p r e p r o c e s s k e y w o r d l i s t 。 预处理插件的初始化函数v o i d ( * f u n c ) ( uc h a r 宰) 并非插件的直接工作模块，而 是由规则解释模块负责调用，然后将对应的插件处理模块连接到预处理工作数据 链表结构中。预处理阶段主要的链表结构体是p r e p r o c e s s f u n c n o d e 。函数v o i d ( * f u n c ) ( p a c k e t 幸) 才是真正进行预处理的工作模块，将被检测模块p r e p r o c e s s ( ) 在遍 历预处理插件链表时调用。 5 ) 规则结构初始化和解析 c r e a t e d e f a u l t r u l e s 0 责进行初始化规则结果。 规则链表模型结构多是多个二维链表结构。而s n o n 是新三维链表结构形式， 涉及到关键数据结构r u l e l i s t n o d e 。数据结构r u l e l i s t n o d e 结构体链表代表了系 统支持的规则类型，包括a l e r t ，l o g ，p a s s ，a c t i v a t e ，d y n a m i c 。每链表节点又通过 l i s t h e a d 结构类型字段r u l e l i s t 指向下面的规则链表，c o n t e n t 字段用特定算法检 查字符串。 6 )规则优化及快速匹配模块是s n o r t 2 0 版本中引入的最重要的组件。在 s n o r t m a i n 0 函数中，主要涉及调用了建立和初始化规则优化和快速匹配数据结构。 包含有2 个主要函数：o t n x m a t c h i n f o l n i t i a l i z e 0 ，f p c r e a t e f a s t p a c k e t d e t e c t i o n 0 。 o t n x m a t c h l n f o l n i t i a l i z e 0 主要是对数据类型o t n xm a t c hd a t a 数据结构类型 的全局变量o m d ，申请空间。o t n xm a t c hd a t a 数据结构中包括快速匹配时所 需要的重要信息。而邱c r e a t e f a s t p a c k e t d e t e c t i o n o 是建立快速匹配引擎的主要接e l 函数，是读入有规则解析模块建立的规则链表中的所有规则链表头和规则选项节 点( o p t t r e e n o d e 类型) ，一边快速匹配之用。 7 ) 数据包处理模块i n t e r f a c e t h r e a d o i n t e r f a c e t h r e a d 0 中功能简单，主要调用l i b p c a p 库函数p c a p _ l o o p 0 。l i b p c a p 库 函数p c a p接函数。100pofl【勺 1 2 1 2 2s n o r t 的工作模式和规则集 本节将从s n o r t 的三种工作模式和规则集两个方面阐述。 2 2 1 s n o r t 的三种工作模式 s n o r t 有三种工作模式：嗅探器、数据包记录器、网络入侵检测系统【4 】。 一、嗅探器模式 河南大学研究生硕士学位论文第1 1 页 嗅探器模式仅仅是从网络上读取数据包并作为连续不断的流显示在终端上。 所谓的嗅探器模式就是s n o r t 从网络上读出数据包然后显示在控制台上。最基本的 命令有： s n o r t - vs n o r t - d 这条命令把把t c p i p 包头信息打印在屏幕上，使 s n o r t 在输出包头信息的同时显示包的数据信息。如果要显示数据链路层的信息， 就使用命令：s n o r t - vde 。 这些选项开关还可以分开写或者任意结合在一块。下面的命令和上面最后的 一条命令等价s n o r t d v 呻图2 3 显示了嗅探器模式下，最基本的s n o r t 命令。 二、数据包记录器 数据包记录器模式把数据包记录到硬盘上【3 一。 如果要把所有的包记录到硬盘上，需要指定一个日志目录，s n o r t 就会自动记 录数据包： s n o r t d e v ll o g ，然而，l o g 目录应该存在，否则s n o r t 就会报告错误信 息进而退出。当s n o r t 在这种模式下运行，它会记录看到的包并将其放到一个目录 中，这个目录以数据包目的主机的m 地址来命名，例如：1 9 2 1 6 8 1 0 1 。 如果只指定了1 命令开关，而没有设置目录名，s n o r t 有时会使用远程主机的 i p 地址作为目录，有时会使用本地主机i p 地址作为目录名。为了只对本地网络进 行日志，需要给出本地网络： s n o r t d c v l l o g h1 9 2 1 6 8 1 0 2 4 这个命令告诉s n o r t 把进入c 类网络1 9 2 1 6 8 1 的所有包的数据链路、t c p i p 以及应用层的数据记录到目录l o g 中。 竺 t o m 钆 一拈吐一 轴 m 钆骱一令 列 阼 盯 ，u 协轧一蓦 d w p 他眦拈一一毗 o = o 母h 一 0 n 队 i 嘶 ! ： 鼬l细拍一o 毗 数k眦孽一圃圆 第12 页河南大学研究生硕士学位论文 如果网络速度很快，或者使f j 志更加紧凑以便以后的分析，应该使用二进制的 日志文件格式。所谓的二进制同志文件格式就是t c p d u m p 程序使用的格式。使用 下面的命令可以把所有的包记录到一个单一的二进制文件中： s n o r t - l l o g b 此处的命令行和上面的有很大的不同。数据包中所有的内容都会被记录到对 应的日志文件中。可以使用任何支持t c p d u m p 格式的嗅探器程序从这个文件中读 出对应的数据包。 使用r 功能开关，也能使s n o r t 读出包的数据。s n o r t 在所有运行模式下都能够 处理t c p d u m p 格式的文件。例如：如果想在嗅探器模式下把一个t c p d u m p 格式的 二进制文件中的包打印到屏幕上，可以输入下面的命令： s n o r t d v rp a c k e t 1 0 9 在日志包和入侵检测模式下，通过b p f ( b s dp a c k e tf i l t e r ) 接口，可以使用许 多方式维护日志文件中的数据。例如，只想从日志文件中提取i c m p 包，只需要 输入下面的命令行：s n o r t d v rp a c k e t 1 0 9i c m p 。 三、 网络入侵检测模式 网络入侵检测模式是最复杂的，是可配置的。我们可以让s n o r t 分析网络数据 流来匹配用户定义的大部分规则，并根据检测结果采取一定的动作。使用下面的 命令行可以启动这种运行模式： s n o r t - d e v l l o g - h1 9 2 1 6 8 1 0 2 4 - cs n o r t c o n f s n o r t c o n f 是规则集文件。s n o r t 会对每个包和规则集进行匹配，发现这样的包 就采取相应的行动。如果不指定输出目录，s n o r t 就输出至l j v a r l o g s n o r t 目录。如果 想长期使用s n o r t 作为自己的入侵检测系统，最好不要使用v 选项。因为使用这个 选项，使s n o r t 向屏幕上输出一些信息，会大大降低s n o r t 的处理速度，从而在向 显示器输出的过程中丢弃一些包。此外，在绝大多数情况下，也没有必要记录数 据链路层的包头，所以e 选项也可以不用： s n o r t - d - h19 2 16 8 1 0 2 4 - 1 l o g cs n o r t c o n f 这是使用s n o r t 作为网络入侵检测系统最基本的形式，日志符合规则的包，以a s c i i 形式保存在有层次的目录结构中。网络入侵检测模式下的输出选项在n i d s 模式 下，有很多的方式来配置s n o r t 的输出。在默认情况下，s n o r t 以a s c i i 格式记录日 志，使用f u l l 报警机制。如果使用f u l l 报警机制，s n o r t 会在包头之后打印报警消 河南大学研究生硕士学位论文第13 页 息。如果不需要日志包，可以使用n 选项。 s n o r t 有6 种报警机制：f u l l 、f a s t 、s o c k e t 、s y s l o g 、s m b ( w i n p o p u p ) 和n o n e 。其 中有4 个可以在命令行状态下使用a 选项设置。这4 个是： af a s t ：报警信息包括：一个时间戳( t i m e s t a