（计算机应用技术专业论文）高速网络环境下的报文监测(1).pdf

摘要 高速网络环境1 = 的报文监测 王韬，龚俭东南大学 随着各种网络攻击手段的多元化、复杂化、智能化，单纯依赖传统的操作系统加嘲技术 和防火墙隔离技术等静态防御已难以胜任网络安全的需要。i d s 作为动态安全技术之一，提 供了实时的入侵检测，并能做出记录、报警、阻断等反应，提供了更为积极的防御手段，近 年得到快速的发展。 高速局域网和光纤通信等新技术的应用给网络性能和流量带宽带来了巨大的增长。从最 初以k 为单位的网络速度到1 0 m 1 0 0 m 网络，到现在千兆网络，这些变革对i d s 的处理性 能提出了更高的要求。高速网络下的实时入侵检测已经成为入侵检测研究领域的一个热点和 难点，而如何实现千兆环境下的实时报文监测是提高入侵检测能力的一个普遍问题。 论文分别从操作系统内核、网络物理接口以及报文分类算法等方面分析和阐述了影响报 文监测性能的因素，提出优化和改进的方法和途径，并实现一个适用于高速i p 网络环境的 报文监测模型。论文中首先介绍了报文监测的研究背景以及发展现状，提出了在高速网络环 境f 报文采集的重要性和需求，并且明确了论文工作的研究目标和研究内容。大多数n i d s 是使用通用的包获取库来获取网络上的报文，这些库对于大部分应用效果较好。但对于高速 网络环境下需要高效数据获取的应用场合，它的效率并不能满足应用程序的要求。问时网昔 传统的t 作方式是依靠从网络上抓包，再从网卡缓存拷贝到上层系统，这个拷贝过程占用大 量c p u 资源，造成了整体性能下降。论文对操作系统内核和网络接口驱动进行了分析，指 山了目前操作系统网络实现的局限性。论文设计并实现了d u m a 采集模型，并给出了d u m a 采集模型的性能分析和实验结果，为n i d s 数据源的采集性能作出了保障。 报文采集的功能要求根据用户规则对报文进行过滤，从某种意义上也就是根据用户规则 对报文进行分类，对不同种类报文采取不同的过滤动作因此论文中对目前国际上流行的高 速报文分类算法进行了讨论。另外由于滥用入侵检测系统的规则具备表达能力强、更新复杂 度低等特点，论文中对无相交树报文分类算法提出了优化和改进，从算法上给予报文分类的 性能提升。在对报文监测的采集和分类两个部分进行分析和实现的基础上，论文最后给出了 报文监测模型在m o n s t e r 系统中的应用，充分阐述了报文监测在实际应用系统中体系结 构、数据流程等各个方面，验证了其实用价值。 随着用户对网络带宽、高速流量等需求不断增加，入侵检测技术迫切需要进一步创新和 性能改进以适应高速环境下的安全防护。本论文给出的报文监测模型很好地解决了在高速网 络环境下对网络报文的截取和分类的问题，为高性能的入侵检测系统的奠定了基础，此外模 型对于高速网络环境f 的某些应用领域也提供了一种性能保证。 【关键字】报文采集，报文分类，高速翻络，八侵检测，千兆以太网 i a b s w a c t a b s t r a c t p a c k e ts e n s o ro nh i g hs p e e dn e t w o r k w a n gt a pg o n g h a r ts o u t h e a s tu n i v e r s i t y w i t ht h ee v o l u t i o no fn e t w o r ka t t a c k ，i tb e c o m e sm o r ea n dm o r ep l u r a l i s t i c ， c o m p l e xa n di n t e l l i g e n t i tc a n n o tm e e tt h ed e m a n do fn e t w o r ks e c u r i t yb yj u s t d e p e n d i n go nt r a d i t i o n a lo sr e i n f o r c i n ga n df i r e w a l li s o l a t i o nt e c h n i q u e s a so n e o ft h ed y n a m i cs e c u r i t yt e c h n i q u e s ，i d sp r o v i d e sar e a l t i m ei n t r u s i o nd e t e c t i o n ， w i t hr e c o r d i n g ，a l a r m i n ga n di n t e r d i c t i n go ft h e m ，i td e v e l o p sr a p i d l yi nt h e s ey e a r s s i n c ei tb e c o m e sam o r ea c t i v ed e f e n s em e a n s t h ea p p l i c a t i o no fs o m en e wt e c h n i q u e s s u c ha sh i g h s p e e di n t r a n e ta n df i b e rc o m m u n i c a t i o n sb r i n g sg r e a ti m p r o v e m e n tt o n e t w o r kp e r f o r m a n c ea n df l u xb a n d w i d t h g r o w i n gf r o mk b p st ol o w l o o m b p sn e t w o r k ， n o wt og b p sn e t w o r kh a sb e c o m ei n e v i t a b l e ，w h i c hb r i n g sm o r er e q u i r e m e n t st oi d s p e r f o r m a n c e t h er e a lt i m ei n t r u s i o nd e t e c t i o ni nh i g h s p e e dn e t w o r kh a sb e c o m ea k e yp o i n ta n dac h a l l e n g et oi dr e s e a r c h e r s h o wt oi m p l e m e n tr e a lt i m ep a c k e ts e n s o r i ng b p sn e t w o r kh a sb e c o m eac o m m o nq u e s t i o nt o i m p r o v i n gi n t r u s i o nd e t e c t i o n 曲i 1 t y t h et h e s i ss t u d i e st h ef a c t o r s 。w h i c hi m p a c tt h ep a c k e ts e n s o rp e r f o r m a n c ef r o m t h r e ea s p e c t s ：o sk e r n e l ，n e t w o r k p h y s i c a li n t e r f a c ea n dp a c k e tc l a s s i f i c a t i o n a l g o r i t h m ，a n dp r o p o s e sa ni m p l e m e n t a t i o no fap a c k e ts e n s o rm o d e lw h i c hc a nb eu s e d i nh i g h s p e e dn e t w o r k t h et h e s i si n t r o d u c e sr e s e a t 曲b a c k g r o u n da n da c t u a l i t yo f p a c k e ts e n s o ra tf i r s t ，p o i n t i n go u tt h ei m p o r t a n c ea n dr e q u e 瓣# n t so fp a c k e t ：s e n s o r i nh i g h s p e e dn e t w o r kc i r c u m s t a n c e ，a n dr e s e a r c ht a r g e ta n dc o n t e n t so ft h et h e s i s a r ea l s om e n t i o n e d m o s tn i d sg e tp a c k e t sf r o mn e t w o r ku s i n gc o m m o ni i b r a r yw h i c h a r eg o o df o rm o s ta p p l i c a t i o n s ，b u tt h e i re f f i c i e a c yc a nn o tm e e tt h ed e m a n dw h e n t h e ya r eu s e di nh i g hs p e e dc i r c u m s t a n c e s m e a n w h il et h et r a d i t i o n a lw o r k i n gw a y o fn e t w o r kc a r di st og e tp a c k e t sf r o mn e t w o r ka n dt h e nt oc o p yi tf r o mn e t w o r kc a r d c a c h et ou p p e rs y s t e m ，t h ec o p yp r o c e s sn e e dl a r g ea m o l j i to fc p ut h a tc a u s et h el o w s y s t e md e r f o r m a n c e t h et h e s i sm a k ea n a l y s ist oo sk e r n e la n dn e t w o r ki n t e r f a c e d r i v e r 。f i n d i n go u tt h es h o r t a g eo ft r a d i t i o n a lo sn e t w o r ki m p l e m e n t a t i o n a n da p a c k e tc a p t u r em o d e l ，c a l l e d 鞠淞，i sp r o p o s e d ，w h i c hc a nm e e tt h ep e r f o r m a n c e r e q u i r e m e n to fn i d si nh i g h s p e e dn e t w o r ke n v i r o n m e n t i t sp e r f o r m a n c ea n a l y s isa n d t e s tr e s u i t sa r eg i v e na sw e l l p a c k e tc a p t u r i n gn e e d st of i i t e rt h e p a c k e ta c c o r d i n gt ou s e r s r u l e s ， d i f f e r e n tp a c k e t sw i t hd i f f e r e n tr u l e s ，a n dt h i sm e a i i sap a c k e tc l a s s i f i c a t i o n o p e r a t i o ni nt h es e n s e t h e r e f o r e 。t h et h e s i sd i s c u s s e ss o m ep o p u l a rh i g h s p e e d p a c k e tc t a s s i f i c a t i o n a l g o r i t h m s t h e t h e s i s o p t i m i z e t h en it r i e p a c k e t c l a s s i f i c a t i o na l g o r i t h mw h i c hc a nb eu s e di nm i s u s ei d si nh i g h s p e e dc i r c u m s t a n c e s t oi m p r o v et h ep e r f o r m a n c es i n e et h er u l e so ft h i sk i l 试o fi d sh a v es t r o n ge x p r e s s a b i l i t ya n dl o wr e f r e s hc o m p l e x i t y b a s e do na n a l y z i n ga n di m p l e m e n t i n go fp a c k e t c a p t u r i n ga n da n dc l a s s i f i c a t i o n ，t h et h e s i sg i v e st h ea p p l i c a t i o no fp a c k e ts e n s o r h a b s 仃a t o r m o d e li nm o n s t e ra n dr e p r e s e n t sa l lt h ea s p e c t ss u c ha sa r c h i t e c t u r e ，d a t ap r o c e s s o fp a c k e ts e n s o r ，v e r i f y i n gi t su s a b l ev a l u e s i n c eu s e r s d e m a n dt on e t w o r kb a n d w i d t ha n dh i g h s p e e df l u xi s e v o l v i n g ， i n t r u s i o nd e t e c t i o nt e c h n i q u e sn e e dm o r ei n n o v a t i o na n dp e r f o r m a n c ei m p r o v e m e n tt o a d a p tt ot h es e c u r i t ym o n i t o r i n gi nh i g h s p e e de i r c u m s t a n c e s t h ist h e s i sg i v e sa i m p r o v e dp a c k e ts e n s o rm o d e lt h a ts o l v e dt h ep r o b l e m so fp a c k e tc a p t u r i n ga n d c l a s s i f i c a t i o ni nh i g h s p e e dn e t w o r k i te s t a b l i s h e sar e l i a b l eb a s et o h i g h p e r f o r m a n c ei d s a n dp r o v i d e sap e r f o r m a n c eg u a r a n t e et os o m ea p p l i c a t i o n si n h i g h s p e e dc i r c u m s t a n c e 【k e y w o r d p a c k e ts e n s o r ，h i g hs p e e d ，i n t r u s i o nd e t e c t i o n ，p a c k e tc l a s s i f i c a t i o n g i g ab i t se t h e r n e t 东南大学学位论文独创| 熬声鞠 本人声暖酝呈交瓣学谴论文怒我个人在导耀撩导下进行瓣硬究工作及取褥 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教商机构 鹭学位羧涯书纛使躅i 熏豹誊毒粒。与我一同工终懿圆志对本磅突蹰骰夔任铐燹麸缘 已在论文中作了明确的说明并表示了谢意。 研究生签名； 土拍 e t 期：玉盘：争1 7 东南大学学位论文使用授权声明 东南大学、中国科学技术信怠研究所、国家图书馆有税保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文秽约蠹容积纸获论文静蠹寮稳一致。除在绦塞翅态豹爨密论文钤，龛谗途 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名： 耋拉导师签名：堑途日期：少六哦t 1 第一章端论 第一章绪论 由于甄联网络的发展，箍个世界缀济正在迅速地融为一体，而鹩个国家犹如一都巨大 的网络枫瓣。计算机惩终已经成为国家的经济基础稳命脉。计算桩嬲终在经济羊鞋生灞的舞 令领域越谯避速普及，熬个社会对弱终豹依蔽程疫越寐越失。众多豹众鼗、缀织、敢麝部 门与机构椰在组建和发展自己的网络，甄连到i n t e r a c t 上，以充分必察、利用网络i ! 内信息 和资源。网络已经成为社会和经济发爆强大动力，其士呶位越来越重要。 伴随赞造令网络环境越来越复杂。器式各样的复绌的设备，需要不颧升级、补滴的系 统馒褥瓣终营理囊趋】：佟不龋燕重，不经意的蘸怒爱蠢霹畿造成安全鳇重大隐患。嬲鲢筵 着巢衷入侵事件的舀益鹅獗，人们发糯只从防御的角艘构造安全系统戆不够豹。入侵检测 技术是继“防火墙”、“数据加密”等传统安全保护措施后新一代的爨垒保障技术，宙可以 对计算机和网络资源上的恶意使用行为进行识别和响膨。 1 1 研究背景 入艘检测【1 】是揩通过对计算机网络或计算机系统中的若干关键点收集信息并进行分 辑，从中笈现唾终或系绫孛是否有述艇安全策略躲嚣为帮装攻击迹敷的过程。它楚为僳_ l i e 计算机系统的安全面设计与配置静一种熊够及时发臻辨报告系统中求授救或异常现象静技 术，是一种用于检测计算机网络中违殷窳全策略行为的技术。入侵检测系统能够识别出任 何不希翅有的活动，这种活动可能来自于网络外部齐内部。入侵检测系统的应用，能使在 入经攻击对系缝发生熊簿翦，检测到入莰攻击，并幂4 用报警与防护系统驱逐入橙攻赘。在 入餐玫蠢过程孛，莪羧少入侵凌击辑遮藏戆损失。程被入镫攻击嚣，渡集灭侵攻赘 l 鼋撩荚 信息，作为防范系统的知识，添加入知识库内，i 三i 增强系统的防范能力。 1 9 8 0 年，j a m e s a d e r s o n 首先提出了入侵检测的概念，他将入侵尝试( i n t r u s i o n a t t e m p t ) 或威胁( t h r e a t ) 定义为：潜在的、有预谋的、未经授投的访问信息、擞作信息，致使系统不 可靠或蠢滚使鲻豹企鹫。继提出审计遮踪霹痰强予靛 ；氅入搔藏黪。憾这一设想鹣羹骤蛙当 时并来被理觞。 在计算机安全的发展中，系统安垒模型在逐步的密践中发生变化。由一开始的静态的 系统安全模型逐渐过渡刹动态的安全模型如p d r 2 模型。p d r 2 表示p r o t e c t i o n 、d e t e c t i o n 、 r e c o v e r y 秘r e s p o n s e ，帮保护、检测、镶复和响应。检测已经是系统安全模型中非常重要 麓一部分。c l d f 【2 l 楚巍美国国防高级疆究诗翊署( d a 建融) 发起裁滋豹，最翠由u c 。d a v i s 安全实验定主持起草+ r ：作。随着众多不属于d a r p a 的公司与科研机构的加盟，它遴渐扩展 成为一个独立的课题，专门开发用于入侵检测系统批零数据的协议和a p i 。c i d f 所做的i ， 作是制定入经检测系统搬互定位和通信的基础构架方寰，重点是对数据格式、交互协议和 i d & r ( 入嫒捡涮枣l 酶成) 季摹系结糗进行拣准纯。 c i d f 框架基于构件的思想，最举考虑到入侵梭溯构件和萁它安全机制静集成润题， 把入侵梭删系统从逻辑上分为面向任务的组件( c o m p o n e n t ) 。它在i d e s 雨in i d e s 的基础 上提出了一个通用模捌。将入侵检测舔统分为四个基本组件：事件产生器( e b o x e s ) 、事 l 分辑嚣( a b o x e s ) 、响应单元( r ，b o x e s ) 帚i 事 数撼阵( d b o x e s 。镰鞫如豳l 。l 灏示。 采南大学预士论文 翻l te i 棼遵糟糕絮 c i d f 将入侵检渊系统需要分析的数据统称为事件( e v e n t ) ，它可以是基于网络的入侵 检测系统中网络中的数据包，也可以娥蒸于主机的入侵检测系统从系统日志等其他途径得 到的信息。它也对于各郝 牛之间的信息传递格式、遴信方法和标准a p i 进行了标准化。 警传产生器憝嚣熬楚麸整个诗箕磷凌孛获褥事孛| ：，著南系统豹箕饱都势提供忿攀转。 事件分析器分析得到的数据，并产生分析结果。晌寝单元则是对分车斤结果做出反应的功能 单元，它可以做出切断遵接、改变文件属性等强烈反威，甚至发动对攻击者的反击，也可以 只趋简单的报警。事件数据库是存放各种中间和擐终数据的地方的统称，它可以是簸杂的 数据麾，也霹鞋是篱擎憨文本文件。谯璐毒款入侵捻测系统孛，经常用数据采集部分、分 拆部分秘响应部分来分剃代替事稿= 产生器、事纷分辑嚣和响瘟单元逮麓术语，并盛常用疆 志来代替简单的事件数据库。 依据入侵检测系统搴件来源不问以及检测对象不同，入侵检测系统可分为主机溅和网 络型。主枫型入侵检测系统往往以系绒疆志、癍用程痒嚣忐等作为数据源，当然瞧可以遥 过萁它手驳( 翔整蝥系缝调掰) 簌掰霞鹅主撬渡集信惹避毒亍分辑。主规型入橙检测系统镖 护的一般是所在的系统。网络型入侵检测系统的数据源则是网络上的数据包。对网络报文 的采集一般有h u b 、交换机端口镜像、和t a p 三种聚集方式。h u b 、交换机端口髓像适 合低速的以太网局域嘲环境，在高速网络中通常采j j t a p 方式采集数据包。一般网络型入 侵检测系绫撞受羞保护整个网络内戆掰褰圭辊的任务。由于子兆以太嬲游谈靛薅擎瞧，连 镌静稳定性，良好煎可用性和低廉静戒本，逐渐戒为窬速l p 网络的主流，网络癍精不断增 多，千兆以太网方面的研究已经成为计葬机网络与通信领域研究的热点。本文中对离速网 络环境中报文监测的研究、实现均以千兆以太网作为研究背景。 随辫斑络带宽和溅鬣的增加，大援搂瘸络中基于网络的入侵检测系统能够检测到数鼙 豫入的攻击行为。鞋佼予中国教育秘褥铡( c e m e t ) 华东裴遣嚣主缭轰戆入餐检溅系统 c o m o n 为例，2 0 0 1 年1 2 月中每天检测到韵安全攀件数量就己达到酉兆的量级。不断增 长= 的流蜮给基于网络入侵检测系统的性能带了的巨大艇力。由c i d f 邋用框架体系结构可以 看出事件产生器作为楚个系统的最底屡支撑，它的性能的好坏直接影响蓑整个系统的性雏， 磊虽可熊逐会造或事搴 努撰器豹漏梭秘误捡。困戴掇巍事转产生嚣鹃数据采集毪疑潜入经 检测系统的性能提舞露祷重要的意义。在本论文中，荚于入侵检测系统豹讨论均怒在基于 网络刑入侵检测的背景f 。 数据采集器作为网络入侵检测系统震要的组成部分，在性能上骤自b 够捕获取i 记录监听 信遘上的所有出入原始搬文；在功毙一k 要佟基本韵过滤和滋议分拆，可以对网络搬文进行 实聪蔫运多维分娄；劳釜提供爱好瓣 鸯- 波交互接强，搀滚是约柬象静的藏文递交绘枣传分 析器处媳。 2 第一章绪论 1 2国内外发展现状 网络报文的采集有硬件实现和软件实现两种方法。这些方法适用予不同场合下的廊朋， 能够以不间的代价解决不同速率网络环境下的问题。硬件实现具有速率高，稳定性好等优 点，但是却存在代价商、专用性强，高速环境下采集的数据不能为搿继软件系统快速有效 共享等缺点，不戆褥到广泛应耀。款转实现鲍采集系统嚣i 套实褒代徐甄、逶溪蛙强、易予 维护等优患僵却由予受翻操作系统蜜现、计算机体系结构、系统簧派等器方面驹黻稍， 在性能上不能满足现有潲速流量的需求易发生丢失原始网络报文的现象。 报文般测包括报文采集和报文过滤博个方面，故也称为报文采集过滤。报文监测作为 网络测躐，网络管理，i d s 等系统静支持和必要条件，熊磅究和实现帮娥予以太弱的出现。 在警期瓣个人诗募辊上就。经麓够登溺阻太弱主躲攒文了。琏着班太秘麓广泛应鲻，翔络 报文监测器愈来愈成为一个重要的网络工具。1 9 8 0 年新坦福大学和卡内基梅隆大学精先联 合开发了髂一个基于u n i x 系统的报文采集过滤器c s p f 【3 l ，它是以后d e c 公司u l t r i x 报文过滤器，s u n o s 操作系统下的n i t 【4 l 和b p f 伯克刹报文过滤嚣的先驱。 t c p d u m 疽5 l 是当鼹u n i x 系统最嚣用稳报文采集 霆滤程痔，1 9 8 9 每由b e r k e l y l a w a n c e b e l l 实虢窿研铡成功，并予1 9 9 t 年集成在b s dn e tr e l e a s e 2 搽俸系统中。t c p d u m p 基j ： b p f 伯克制报文过滤机制它的报文过滤和采集功能实现在一个独立的软件包p c a p 中。 l i b p c a p 谯1 9 9 4 年从t c p d u m p 程序中独立出来，它支持各种物理网络的报文采集和过滤方 法，稳垮熙可班嗣这个软传包来开发自也载报文采集程序。类戗t c p d u m p 的还有t c p f l o w ， 它也楚鏊争l i b p c a p 痒溺数工瘁豹。它磷秘在一个疆络设备土采集释l 童滤多个摄文瀛，支持 t c p d u m p 脚本过滤格式。此外还有e 协e r e a i 、s n i f f e r 等蒸于w i n d o w s 平台的报文采集器。 但越随着网络的不断发展，网络流艇增长很快，上述的流量监测器结构已经很雉适合 高速网络流麓采集的需求，在国外以c o r a l r e e f 6 1 为代表的高性能流量监测器相继出现。 c o r a t r e e f 楚c a i d a 7 1 舞发躲褰缝麓滚量采集彝分 蓐= i ：= 其簇。c o m l r e e f 凌戆强大，蓑 容性强，不仅支持p c a p 软件包，丽且还支持许多高馊能网络接口硬 牛，例如a p p t e lp o i n t 的o c 3 ，o c l 2 a t m 网书，f o r e 0 ( 2 3 a t m 网卡。和w a n d d a g ( ) c 3 ，o c l 2 a t m 的 网 等等，但是它结构过于复杂，且主薅丽向a t m ，对高速i p 网络流量的采集支持不好。 随罄l i n u x 的舞放潺代码式躲发布，健褥翅户可以定铡专媚豹系统晕1 内核，通过修改搽 捧系统的羽络体系结构来实现离速耩络流量采集遗滤攘墅逐渐残为毳拜究帮实褒的热| j 话题。 例如华盛顿大学提出韵a l p i n e 【8 】( a u s e r - l e v e l i n f r a s t r u c t u r e f o r n e t w o r k p r o t o c o l d e v e l o p m e n t ) 鹜l - 2 a i p i n e 傣系络翰 末糍丈学矮士谂文 系统，就是通过在内核的i p 层f ，实现一个虚拟的以太网驱动，以及在内核提供的s o c k e t 调 ；_ j 上麓添嬲奄撙躺系统调嗣，镬褥弼络攒文不经过褥准秘淡找娃蓬，撬离了系统麴褥睦瞧能。 ( 觅熙l 电) 此外，联想磺究院也攥掇了t o e1 9 1 ( t c 嬲p o f f i o 趟e n g i n e ) 韵概念，将氍l p 协议校分瓣，蒋协议处理部分移植到网卡主，由e m b e d c p u 来完j 叠若巍p ，l p 搛作。馕楚上述辋 一些监测模烈只是对内核处理过程的优化，仍不能避免运行在操作系统用户态的成用程序获 取踺终叛文羟尊瓣复剥摄像，在娃瑾遴壤土壤受爨7 耀裁，毒终了擞文监溺系统孵槛缝。 c o m o n ( c o o p e r a t e dm o n i t o r ) 系统是以国窳8 6 3 蓬大课题离速i p 网的网络运行 篮测豢l 镙薅系统( 潺惩缡鸯8 6 3 3 1 7 - 0 1 - 0 3 9 9 ) 海帮激磺剿舞发| ! l 每入撩捡测平台。c 0 1 d 0 n 面向的是犬舰模的网络环境，从网络关键点采集原始报文，进行藏于规则的入侵检测。 c o m o n 的体系缡丰句如f 图所承： 嘲荨 麓荤过滤麓单势辑关联势耨 强1 3c o m o n 系统鹃体系缝梅埋 簌c o m o n 孛，蓬i l | | | 嚣采强了稿a l p i n e 类缀懿搜寒愚臻，姆擐文采集帮分类秘佟嵌 入到擞体系统内援中，撼商了系统韵霉睦斌，但燕在7 0 0 m b p s ( 平均龟长4 0 0 b y t e s ) 量妊入 渡鼍慧零 媛羔霹，仍然蠢法及薅酶液瓣络处理请袋，趣蕊丢趣臻象，影璃了援文簸渊器静 分析动作，从而限制了c o m o n 的旃点捻测性能。而且由于其软件体鬃结构韵缺陷，使其 缺乏避耀性，不能为其它的系统提供统一的监测乎蠢，遣成了每个耨系统对于溅鼹采鬃需 求均强重羹编码，形成了资源浪费。 鳓此，需要研究和实瑗一个燕瞧髓躲运用篮溺系统+ 为嚣端系统撬供一个可霆蹦的掇 文采集、数据过滤平台。 1 。3 磷究疆糠秘内容 本沧文研究的目标是研究并实现一个由软件实现，嚣活遥塌、适用于高性能赋络的报 文箍测嚣，它可班俄据搂牧豹采集瓣赠嗣过滤条传为嚣螭分析系统提供祷台需求静数撰。 为此，本文的峨究鞠王搏将围绕蕃欲f ) l 个方蕊避褥： j ) 筒瞧能数攒采集骈究和实现 高速流辫采集系统作为面向高速网络系统的一个必升i 可少的环节，其相对属 一个专鲻摸蘩，不需要毒承准的、宠备黝协议处理，爨以往戆是投文袋集嚣瓣要 考虑的问题。要提高采集器的采集能力，需要避过对以键不嗣采集系统避行研究， 努辑它嚣】程森速蠲络强域审誉麓及露楚瑷摄文的滠强，缀合慰搽穆系绫孛瘸络游 议栈实现的研究，优化其实现机制，使其适应现有高速网络环境的需求。 4 第一章绪论 2 ) 高性能报文分类算法研究和实现 作为一种报文分类器，报文监测器需要根据用户规则对报文进行采集后分类， 对不同种类报文采取不同的过滤动作。依据对入侵检测系统检测规则的研究和分 析，提出适用于滥用检测系统的报文分类算法。 3 ) 实现结果分析 针对本论文提出并实现的数据采集模型和报文分类算法，对不同网络流量模 式压力f 的处理性能给予测试和实验结果分析，给出报文采集、报文分类算法的 性能和分类规则、流量模式等的制约关系和分析结果。 4 ) 报文采集系统的应用 依据上述一【作内容1 、2 所实现的模型，将报文监测系统应用到m o n s t e r ( m o n i t o ro n n e t w o r k s e c u r i t ya n dt o o lf o re m e r g e n c yr e s p o n s e ) 系统中，结合实际 需求对报文监测模型给予验证。 1 4 论文组织结构 论文共分七个章节。分别从操作系统、网络物理接口以及报文分类算法等方面米分析 和阐述影响报文监测性能的因素，提出优化和改进的方法和途径并实现一个适用于高速 i p 网络环境的报文监测系统。 第一章介绍了报文监测的研究背景蚍及发展现状，提出了在高速网络环境f 报文采集 的重要性和需求，并且明确了论文工作的研究目标和研究内容。第二章对操作系统和网络 接口驱动进行分析，指出传统操作系统体系结构实现的局限性，设计了d u m a 采集模型， 并给出模型的评估结果。报文采集的功能是根据用户规则对报文进行过滤，从某种意义上 也就是根据用户规则对报文进行分类，对不同种类报文采取不同的过滤动作，因此论文第 三章讨论了目前国际上流行的高速报文分类算法，提出了对无相交树报文分类算法的优化 和改进，从算法上对报文分类系统性能和正确性给予提升。第四章是对报文监测器的实验 分析。从功能和性能角度，对报文监测系统的实验数据进行统计和分析，验证其预期的设 计目标。在对报文采集、分类算法研究和实现的基础上，第五章给出了报文监测系统在 m o n s t e r 系统中的应用。从m o n s t e r 总体设计、报文监测与其集成方面论述，并给出 了分析和评价。第六章对论文内容和论文工作进行总结，评价了论文_ 作的贡献和不足之 处，并且对报文监测的发展和应用做出了展望。 东南大学硕士论文 第二章报文的采集 网络报文是一切网络应用程序的数据来源，基于网络的入侵检测系统( n i d s ) 使用原 始网络包作为数据源。因为网络报文的实时性，一咀丢失了某个数据包则无法再获取，可能 导致入侵检测分析和综合产生误报或漏报，所以提高i d s 的数据采集能力则显得越发重要。 随着大量高速网络技术如千兆以太网、0 c 4 8 等在近年里相继出现，在此背景f 的各种宽带 接入手段层出不穷。传统的百兆网络入侵检测产品无法适应现有的网络结构，人们迫切需要 速度更快、功能更好、性能更强的入侵检测系统，来适应在高速环境下的网络安全防护。同 时，在高速的流量环境下，朋户对网络入侵识别的确定性提出了更高的要求，既不能漏过重 要的攻击事件也不能出现大量纷繁复杂的报警而使管理员要花费大量时间来从中寻找与重 点防护对象有关的问题。因此，如何实现高速网络下的实时入侵检测已经成为现实面临的问 题。千兆环境下的报文采集对高速i d s 而言，是第一个面临的制约因素，也是提高入侵检 测能力的基本条件。 本章首先介蜊目前国际上较为流行和成熟报文采集方式以及通过软件实现的报文采集 技术。结合它们的优点并通过对l i n u x 内存管理和网络协议的分析和改进提出了d u m a 报文采集模型。 2 1数据报文的采集方式 在入侵检测领域，对于主机型i d s ，其数据采集部分位于其所监测的主机上。而对r 网 络型i d s ，目前国际上常用的数据包的获取方式有共享式集线器镜像、交换机端口镜像、t a p 三种。 嚣 限 ：i 鹳峨臻琏躬札挣 1 m 矗菇 j t 武簸缱器键缘方式数孵包撼籁建换耔l 嫣il 镜像力数挺使捕获 r a p h - ，敲搬t 生摅簸 图2 - i 报文采集方式 共享式集线器镜像 集线器( h u b ) 属于数据通信系统中的基础设备，f _ 作于o s i r m 参考模型的物理层和 数据链路层的m a c ( 介质访问控制) 子层。它用了c s m n c d ( 载波帧听多路访问，冲突检 6 第= 章报文的采集 测) 协议。在数据传输过程中，首先是节点发信号到线路，集线器接收该信号后将衰减的信 号整形放大，然后将放大的信号广播转发给其他所有端口，所以在任一端口均可接收到其它 所有端口的数据，利用此原理可以截获所有端口的流量( 见图2 一1 ) 。 但是利用h u b 方式进行数据截获有若干的限制和缺点： 由于共享媒介的局限，将导致主机的网络连接由全敢l ：变为半双工数据碰撞会降 低系统的吞吐量。 h u b 的可配置性差，不易于管理。 交换机端口镜像 随着交换技术的发展交换机由原来_ ：_ i = 作在o s lir m 的第二层，发展到现在有可以r 作在第四层的交换机出现，所以根据工作的协议层交换机可分第二层交换机、第三层交换机 和i 第四层交换机。但是它们的共同点就是可以依据数据包中的信息进行直接选路，进行点到 点的通信而无需广播报文。通过设置交换机的端口镜像，可以使若干端口收发数据被其它端 口所共享，所蛆在交换机上设置监听端口后，它会将指定端口的通信数据镜像到该监听端口， 这样网络传感器就可以捕获剑指定端口的数据( 见图2 一1 ) 。 交换机端口镜像方式获取报文存在如r 一些缺点： 某些交换机不支持镜像端口功能。 为了：饩省交换机端口，很可能配置为一个交换机端口监听多个其它端口，在正常的 流量f ，监听端口能够全部监听，但在受到攻击的时候，网络流量可能加大，从而 使被监听的端口流量总和超过监听端口的上限，引起交换机丢包。 增加监听端口即意味做需要更多的交换机端口，这可能需要购买额外的交换机，甚 至修改网络结构。 如果交换机的被监听端口与s p a n 端口在不同v l a n 上，是不能做端口镜像的。冈 此，如果需要监听各个v l a n 的数据，就必须在各个v l a n 上开一个镜像端口。造 成端口资源的浪费。 t a p 方式 t a p 是一种容错性的方案，利用t a p 设备，将其接在所用监测的网络线路上，为报文采 集器提供在全双工或半双工1 0 m 1 0 0 m 1 0 0 0 m 网段上察看数据流量的手段( 见闰2 1 ) 。 使用t a p 方式捕获数据有如下优点： t a p 不会产生附加流景，不影响网络正常数据流。 流餐采集器网络不可达可靠性较好，可以放在网络的任何位置，灵活性强。 由丁- 一般t a p 设备是物理上的电信号复制或光信号的分光，不受流量大小的影响。 但是t a p 方式监听也存在如下缺点： 必须购买额外的设备( t a p ) 。 若所保护的资源众多，i d s 必须配备众多网络接口。 选择何种数据包捕获方式，不仅同被保护资源的网络拓扑有关，还牵涉到用户的业务要 求、资金条件、效益等各个因素，一般单机或是小型的局域网采用共享式集线器或交换机端 口镜像方式比较多，对_ 火型或高速网络环境，只能采用t a p 方式数据包捕获。 东南大学硕士论文 2 2 数据报文采集技术 流量采集器主要负责从网络接口监听数据包，捕获和记录所有出入网络流量。它首先将 网卡置为混杂模式使网卡可接收流经网络的所有报文，然后调用报文截取例程进行采集。依 据网络报文到达网络应用程序时，被操作系统复制的次数可以将软件报文采集技术分为以 f 两类( 见图2 2 ) ： 2 - c o p y 采集技术。数据报从网络设备到用户程序空间传递的过程中，需要经过网络 设备到操作系统内存空间，系统内存空间到用户应用程序空间两次拷贝操作。 1 - c o p y 采集技术。数据报文经历了一次内容复制后到用户捍序空间。 蠛冲蕊辫 2 - ：o p y 叛变采蒸横囊 疆帆捌 五一。 秘书报寓孰崩 图2 - 2 报文采集技术 1 - c o p y 撤空_ 聚巢鹱黧 操作系统是从硬件抽象出来的虚拟机，在该虚拟机上用户可以运行应用程序。它负责直 接与硬件交互，向用户程序提供公共服务，并使它们同硬件特性隔离。现代操作系统大多拥 有两种1 2 作状态：核心态和用户态。一般应用程序工作在用户态，而内核模块和晟基本的操 作系统核心一同工作在核心态。核心态和用户态之间通过系统调用通讯，系统调用是操作系 统核心态向用户态的应用程序提供支持的接口，通过这些接口应用程序向操作系统请求服 务，控制转向操作系统；操作系统在完成服务后，将控制和结果返回给用户程序。系统调用 是用户程序与核心间的边界，通过系统调用进程可由用户模式转入核心模式，在核心模式f 完成一定的服务请求后再返回用户模式。 尽管所有进程都共享内核，但是系统空问是受保护的，进程在用户态无法访问。进程如 果需要访问内核，则必须通过系统调用接口。进程调用一个系统调用时，通过执行一纲特殊 的指令( 这个指令是与平台相关的每种系统都提供了专门的t r a p 命令基于x 8 6 的l i n u x 中是使用i n t 指令) 使系统进入内核态，并将控制权交给内核，由内核替代进程完成操作。 肖系统调朋完成届，内核执行另一组特征指令将系统返回到用户态，控制权返同给进程。另 外，进程与进程之间的地址空间也不应该随便互访。 8 霉 第二章报文的采集 在以太网中硒络接口用于连接访问介质并控制对介质的存取。当网络接口接收数据时， 先浏览介质上传输的每个帧，如果其长度小于6 4 字节，则认为是冲突碎片。否则会触发硬 件中断调用操作系统内核的中断处理函数，对到达的报文进行处理。 在2 - c o p y 采集模型中操作系统核心不得不把所有的数据至少都拷贝两次：先是从核 心空间到用户空间的拷贝，然后还得再从用户空间拷贝回核心空间。用户向系统发出的系统 调用，系统需要上f 文切换( c o n t e x t - s w i t c h ) 的切换运行模式。当网络接口的硬件中断 产生后，中断处理函数将到达网络接口中报文拷贝到核心报文队列，内核中网络协议的其它 函数将对核心报文队列中的数据进行一系列的协议分析和处理。由丁二操作系统采用了核心地 址空间和用户地址空间机制，核心报文队列不能为应用程序直接访问，存在于用户空间的报 文采集器通过系统调用将数据从核心队列复制到用户态的缓冲区，为用户态应用程序提供数 据源。在整个数据流程中，网络报文经过了二次数据拷贝，晟终到达应用程序。u n i x 环境 r 最知名的l i b p e a p 和w i n d o w s 平台f 的w i n p c a p 库函数调用都是基于以上的模型，从网络 接口获取报文。 2 - c o p y 模型优缺点如下( 见表2 一”： 表2 - 12 - c o p y 模型的优缺点 优点缺点 通_ _ j 性好。由于其采用操作系统的标准 系统调用，所以具备比较良好的通用性和可 移植性。 可靠性高。由于网络报文在递交到用户 态之前，