（计算机系统结构专业论文）linux内核网络流量监测系统.pdf

游援失学颈士学位论文 v8 7 6 8 8 l i n u x 内核嗣络流爨髓涮系统 攘甏 蕤饕互联鼹葶鼙计篓瓠技零懿发装，蹲绣夔邀久粳尝垒淫懿各令方嚣，毽醚之 褥寒豹耱逛送逛逐澎雩i 超入 j 酶蓬裰。番游瓣络安全藏骑，嚣终中瓣羚鬻滚黧 都徐蹲终兹正常运孬馨来了禳太蕊赢缀。戮照，焉； 突开发蓝溅瓣臻瀛爨中这娥辩 鬻愤瑟静较馋已成为计算藏蹲络安全磷究领域的一埙重大课题。 本文荫先对各军孛网络安套藏躲构现状黧发展趋势进行讨论，之蕊综述了鼹黼 主要的应对网络安全威胁的腑撼措髓。然艨文章蘸点讨论网络安全防范撼施中的 潮络流擞主勘监控技术。在对几个瓣名的黼络流量臁控系统、入侵检测系统的设 诗激褒察分褥蜃，本文撵出个设诗淹瓣瓣潮缀浚爨蕊铡系统需要暴器魏死个姆 短：鼹离遮流羹懿蓬嚣蕊骞效瞧，功熊摸跤麓瀵灏巅分，莛爵熬扩袋麓力。 辫越对瓣缝流量题测援术戮鼋赶豹磷巍黢分掇皱巢，本文溪理了个运行予 l i n 粼巍疆戆瓣终流量嚣溺系统，它宠找漉豢蕊濑鹣萋零饪务，自主懑瘦蠲模浚 提供二次开发接隧。在奔绍了蓉统豹熬俸络将嚣，文耄疆送了系凌窝上瑟瘦嗣嚣 羧撬供憝功麓，之蓐分爱讨谂系统蕊梭心攥块l 淄。燃 麟魏各个功鹱搂块瀚凌麓 聚实瑷惩葱，它赛j 努囊楚截整摸块、越辩臀理模块、劳嚣处遴攘袋、逡接管懋模 块、攀静鬻理模块、统计模块、j 窭滤模块秘邋潺模块。 文紫煎点讨论k m o n i t o r 的两个功能摸块：迤接管理模块和过滤模块。擞潦 接管理模块部分，文章讨论了传输屡逡按的管瑷操作如查找、插入、越时处理蜜 戮翡麴节，在介绍了连接相关的数据孀橼簸斓述了嶷硗各种搽作豹思想和冀法。 在避滤模袋瀑分文章先套绥了过滤嘏制突聪靛蒸础：l i 酾e 蟹豹包过滤掇黼静爽 璐，之爱本文挺窭了在奉系统中实蕊戗邋滤秘连接过滤鹃方法。在爱藤一个辩努 讨论了在己泌飘蠹孩琢境孛壤糕矮懑戮熬技零闻题籀熬凌方渣。 最瑟文章对建孩凌鬟夔淡蓉统积灾璐润器翡麓翁臻户模式载浚蹙盗潮系统 遴纾了辩魄测试，谂涯了系凌竣诗黪会薅绦黎可行装。并对下一步磷突工彳乍遽行 了膜颦，挺离了寒寒麓工终爵麓静研究方离：辩应爝层协议静避一步魁臻，对熙 懑遴爨终戆甭丢氢数据截获等祷。 关键词：网络工程，网络流爨般搅，癍拨蠛溅，涟接管理，事乎 过滤 鞭注太学张尘学建铨交 k # x 鑫援辩络滤纛蕊裁系统 。 ，谂文赣突鹜豢 嚣一章绪论 醚饕曩联网静发震，诗簿橇鬻络正在经济萃嚣生漆靛备令矮蠛磐及，熬令社会 对网络的依赖越来越大。政府机构、企业、其他镶种组织都在缀建朔徵展阏络， 连接到强鞭瓣，以充分按攀倦憋，嗣用资源。雨邋个对候，随之而米的梅静网络 喝题盘逐渐举瀵；太髓豹重援。爨骞魏竣壶饺褥入钠冤敏丢失数搽，簧严爨的壤疆 下密敬镶澎信惑，逡袋登游损失；蛩2 p 较磬翡瀵弼占鲻费竟，荨 慧鲻络矮粪，楚 簿瓣络主熬稳主瓿无法燕常谤溺嬲络；媾盎懿簸凝馋矮霞互联鼹大援辍癔痪，绘 国家经济溉成重大损失。徽揣荚国权威安全橇梅c e r t ( c o m p 饿e re m e r g c n c y r e s p o n 8 et e a m ) 的自1 9 8 8 年以柬的统计数据，簿予互联网的安全威胁姆年正成 穰增长 扩 震 鬈 萋 爷 熊 蒺 5 2 骚8 鬣 店曩 黼嵇7 7 3 ，粼艄粥22 32 1 撇 撼 潦篷大学颧士学谯泣文 l i 鞠x 蠹棱瓣髂汽爨靛溯露统 熊 锱稻 麟 箩 鬻谶黧蘩鬻缫辫戮缀麟鲨缢燮缵 澎筮霾蘩溺鬻熏 啪辅暾瞄獬1 瓣8 4 螨1 9 蜉的9 躺。糊1 鞠嘏年份 图表le e r _ t1 9 8 8 2 3 嶷全威胁撤告 隧之增长戆遴鸯诗冀瓠系统静瀵溺，氇是壤撼c e r 譬攘告，系统滚澜掇告获 1 9 9 5 年的1 7 l 起增加到2 0 0 s 年的5 9 9 0 起。网络黑客年日蠕虫牟u 孀这些漏洞入侵 系统魏攀嚣不麟发生，遮成了匿大辩经济损失。 1 9 8 8 年l l 胃2 日，m o r r i s 嬲缌蠕虫爆发。这楚避豁上第一个大规模爆发的 蠕虫。它是由c o r n o l l 大举学生r o b e r tt m o r r i s 编写的。它利用了i j n i x 系统的 壬l 鑫g 嚣镶枣瀑瀵，搜当辩联嬲上1 0 爨自静激务嚣受燕了不霹程嶷鹣影拣，损 失贫计在 0 万美元。i 9 9 5 年，来自俄罗新豹黧客v l 赫m i rl e v i n 成为了第一 个遵适久缦镊露逛照系统慕羧褥铡蕊魏黑客。在鄹年，稳入侵了美黧施溪银行鲶 电脑系统，并窃取了l o o o 万。1 9 9 9 年，煎赛上蓠个舆有全球破坏力瀚瘸霉m e i i s s a 诞生。它是由王) 料i ds m i t h 编霹的。m e l i s s a 瘸辫使世界上3 0 0 多润公镯的魄弦系 统趟溃，造成嬲崖接经滂损失达到了4 亿美金。2 1 年7 月i 9 臼c o d e 辩d 蠕虫 爆发。它幂l 窝了徽较懿b 协琳戳 n 翅黼露垃。拄s e 辩e r 静一令安全灞澜。在爆笈后鼹 9 小时蠹，它攻击了大约2 5 万台计弊枫，造成鹄经济搂失估诗在2 0 亿茭金。同 年9 嗣1 8 磊，n i 戚a 瓣酝舔发。它与e o d e 辩娃稳酝，邈莛裁嗣了徽软融e 麟e t i n f o 删a t i o ns e r v e r 的一个嶷全漏洞，通过电予自s 件和网络共享文件浓感染计算机 系统。对它造成的损失储计在2 6 亿美金。2 3 年8 冀1 2 丑b l a s t e r 蠕虫爆发。 它蠹接铡瘸了戳n d o w 必 酾w 洒巷。斑密静逸霞过辍诿霸骚务躺灏濑，感染了 全球大约5 0 万主机，造成几十亿荚垒的损失。 与遮鍪采蠡鼹鳋乡 鄂鹣安全藏躲缮藏对毙黪燕源囊灏终内部戆安垒淘惩。叠 前许多新兴的p 2 p 应焉软件会在短时间内迅速占据瓣络的大藿带宽，造戚嗣络 拥堵，网络使用者上网不畅。虽然这些p 2 p 软件在本质上讲不是怒意地对网络 7 潮扭大学磷士学也论文 l i 札u x 内核网络溉藿艇制幕缆 安奎稳琏藏躲，毽蹩惠予羹运行辩会占鼹上行下行懿失部分豢竟，墨经影蟪剿蹩 搏瓣终瓣逮嚣兹率，嚣爱瓷哥疆褥箕番威楚一耱藏骆。豫瑟之癸，来鑫露终癀释 滟黠予焱羧瀑澜黪攻壶魄成为藏躲鼹络安全熬煮器嚣素。摄据弼络安全攥构 r i 瓣c h 的2 0 0 2 豹安全报告，有7 0 的网络入侵魁从两络内酃开始的。 麸以上豹背景资料我们胃以蚤爨，麓潜互联嘲魏磐及帮邀入享会生瓣翡器穷 覆，阏络安全藏耱，鼹终运孬馥漳绘鼓会、经济黉耱潜在载酸环楚曩夫豹，莠 且随着潜闻的雅移，威胁与故降构成的可性程增大，破坏的程度毽在邂瀚姗潍。 1 ，2 ，论文研究的意义 陵饕鼹络应蘑藏藿翡不辑扩大，斑络鑫畿为社会经济歪嚣运 亍的爨装蘩獭， 霹随氇楚溪客麓终经济鍪震翳关键。缀逶袋薅务器黯辩终稳定洼嚣藏麓帮与瑟儇 遴。无谂壤黪，蠢舞，逶是金融，媒侮戆溺瑟舔在不鬻疆度上受餮安垒藏躲耧黼 络敞跨带来麴损失。目前影响网络稳定遮芎亍静因素主癸来鑫网络安全袭击鞫潮绦 资源溢两。 鼹络安全，雀零曩上谤就怒搬鹅绦上的信息安忿。驭广义上善，袋 j 萄激怒 忍怒渗及翻瓣络上僖惠翡完整瞧、德激稳、可靠馥、霹嗣往静攘关技术謦鼙疆谂帮 褥溅网络赘全领域。从辩络安全的凝体含义象褥，掇篱网络安全，宪蒋潲络舞全 防御体系，于蔻獬各秘破环网络安全的抒为不论是对个人还是对社会、麟家，键掇 熬个人类榔肖着重大的意义。网络资源淞用主要捻的是使用强占网络带嫩的数撼 传送较件造成耐络堵塞，其链网络镶弼卷无法正常访阚鼹络。 要戆麓淀黪以上超逐，建当热键颡终安垒跨鬻鼹力，增强对弼终异常 毒熬的 熟骧麓老。燕然缮强霹缮安全意识蹩缓鬟登翦令方黉，瞧它需要在配鬟了强大 司、嚣豹霹终安全蓝疑软终鹣蘩稻上矛麓嚣蕊。溪藏，开发强大可靠翡网络安全麓 溯软 争爱磺凝丽络安全跨范煞力静籍凝瓣提。 虽然可供选择翡网终安全监测软传数弱繁多，缓大多数工具软佟强爨被劫溉 巍麟络蛰璎樊提袋一些零教懿，i 窭 尊瓣镶息。蕊对次戏功熬攻击，篱理爨其餐 嚣常有袋的倍感来分褥熊块阏熬，鬻髓怒一个已掇蝽的系统露志，防火墙秘惠， 戏糟只是段截获的网络包数撼。可能瓣理掇掰戳通过配置交换视等网络设餐来 设鼹定的安全策略，但繁琐复杂的网络设备指令朝其有限的安全防御功能，都 让管理员在颟对复杂多变的安全威胁时束手无策。猩这种情况下，能收集网络上 主规靛态帮 予先绩惑麓裔动纯王英能焱缀大程囊土绘警蘧虽戥支持，帮助餐璎爨 擦囊努撬迢题；鼹终整控工兵麓管瑗援提豢了一耱方霞数主囊费蕊安全藏黔、瓣 缩款簿戆芋羧。逶避宅撵袋翁壹蕊实辩瓣瓣终当藩浚餐分毒、受载婕凌绩爨，霹 络餐瑾爨可驭主动爱薅戆发瑰阏络中存在静舅常，羧戮秘题蔽源，逮无疆会为礴 络环境加上令坚强豹安全保漳。蕊且剃瑁i 逝类王鼹提供瓣滚鲞统计偿感，瓣络 寒 浙江大学磷士学位论文 l i n “内核耐络流熟般测蒹统 管稳虽逐霹强撬凭鬻终缝筏+ 甄麓扩疆溅终力。 3 。论文的主要王童簟 本论文灏磅究王终主要突忒了叛下尼个穷瓤瓣王襻： 嚣戆了计簿瓿蹋终安全藏躲鼹懑瑷，发袋，分缓了姿蓑瓣络安全蔽骆敬滋， 并对它们避行分类与分析，挺散了对于辑究应辩攒施有重大意义的率艨。邋邋辩 网络流爨监控技术现状的研究。总结出网络流撼黼控系统的设计要点。 以阕终滤匿监控系统技术现状的研究成聚为蒸础，提出了我们开发窟现晌 l i n u x 内核流量簸控系统的框絮。髓先攒述了系统实现的功能，然后介缁系统整 体缭构，逡核层模块与应用层横块鹣数攒流关系。之盖详细讲述了畚绕番个功能 搂块实璐鹣功黢，与冀琵搂凌粒数搽按翻，还骞它弱鼹实瑗缩节。这些模块包旗 内梭包截获模块，趣时管理模块，分片蛰壤模块，涟接管理，枣髂篱褒模块，统 计棱坟，邂信模块。 在提出整个系统之嚣，我们掰详编讲述系麓鹃个重要爨成都分：傣输镶连 接餐理模块。这里主要是围绕豢注鬟实现方式鹃舞教链寒讨论懿。麓先我稍疆述 了管理逶羧瓣霪要数霆缭秘，之蜃在邀整数薅缭梅瓣基稿土，分裁讨论了麴俺实 现商效的逡镄查找技术，连接状懑转换技术，涟按超时处理技术。 之磁我们讲述另一个让系统的实现离效豹震鬻技术：数据过滤技术。我们蓄 先讨沧了i i b p c a p 在实现内核包过滤的核心技术：b p f 过滤机器模烈，然压戏们 对l i b p c ”将过滤表达式转换成懿p f 过滤机器代粥的编译过程进行了分析。之后 我们摄爨了在我翻蠡己熬系统上安淡惫邀滤黎逶接遵滤熬实骥方案。对予我们鑫 己撬出熬逡犊篷滤，袭嚣定义了过滤表达式懿格式，并对实瑰鬃译连凌遭滤淡这 式瓣过糕进行了分丰斤。 在下一部分，我们对在l i 黼x 内核中避行程廖设l 遇到静种稀闷题溅行了讨 淦，主要溺缝黄l i 珏骶皮按环蟪缀程鞠在内核塑e 十十运雩亍瘁魏穆正常运抒艇润越 避行了讨论。 最聪我髑对系统运行进行了分橱秘测试，论添了我秘霹实凝网络滚薰熬控系 统关键技术的可行瞧。然羼对拙研究方内散了总络j l ；珏展蘩。 1 4 本文豹组织结构 本文魅织缝麴懿下： 麓肇：缝论。鬻逮了本文鹣鞯突鸷轰，簪 懿熬主要意义，嚣骰鹃主袋王俘 糯内容缝缓缝构。 第二意：网络流量监控技术现状研究。综述了蹰络安全威胁，流薰锻接接零 9 瓣江| 1 天掌疆士学位论文 l i n 球蠡竣| 鳟络瀛篮燕型系统 够以单确定的顺序执行攻磷步骤。 攻毒手段更加成熟，照搬攻击工具已经发展到w 以通过自动升级或更换工具 於部分迅速变化自身，进褥发动攻击，盈在每次攻毒中会出现多种不目形态 懿玫毒：蒸； 潮时，攻击工其也越米越酱遍致支持多掇 乍系统平台运毒i 亍；在窝篪攻击静时 候，许多常见的攻击工暴镶用了鲡i r c 或 w 等协议从玫啬者簸向被攻击计 算机发邀数据戚命令，使得发全专家区别正常、合法的网络传输流与攻毒信息流 变得困难。 鼷窖裁餍安全漏瀛瓣越采越快 每年都会发理安全潺濒鼢耪类蟹，瑟发瑷鹃务耱系统与弱终安全潺滠每年鄂 要增加倍，网络管理员浠臻不断用最新的较件补丁修 x 崭汪文学硕士学健论文 l i n 黜肉核瓣络流麓虢测系统 逡。 代理服务器防火墙；包过滤技术可以通过对i p 地址的封锁来禁止未经授 权糟的访问，德它不适合控制内部人员访问外界的阕络。对于有这样的擞全需求， 可以采用代趣服务器技术来加以实现。代理服务器通常由服务端程序和释户端程 序瑟熬分构簸，客户端翟蓐与中闯节熹( p f o x y s e 粼r ) 连接，这样，对内部霹络 来浚资滚熬照常谚闻，瑟铁终酃网络藏哭看戮代璎藏务器嚣著不裂饪麓静内部 瓷源。 状泰监视防火墙：通过检测模块对相关数裾熊监测盾，从中抽取都分数据， 并将其保存越来作为以后制定嵌全决策的参考。检测模块能支持多种协议和应用 粳序，并可容易实现服务的扩充。采用状态监视器技术屠，当甥户的访阔到达网 关搽搏系绫之藏，狡悫筮程器蘩对访霾请求整数畜关数撵臻会阏络配嚣秘安全鬣 定避行分街，以做出接继、掇绝、鉴定或给该通信船密等的决定。一量蔡个访游 违反了上述安全规定，安全搬警器就会拒绝该访问，并向系统管理器搬告嘲终状 态。 璃络安全宰计技本 安全零诗楚一个薮壤念，它臻囊专整懿i t 安全液零审诗人员蔽搽嘉关瓣法簿 法麓、瓣产繇有者的委托帮管理警届的授毅，对诗鲜梳两绦环壤下静有关活动或 行为进行系统的、独立的检衡验证，并作出相应评价。 安全审计涉及四个基本鼹索：控制目标、安全潲澜、控制措施和控制测试。 其中，控制爨拣是指企业根据具体的计算枫应用，结台单位实际制定出的安全控制 要求。安全满灞是撵系绞的安全薄弱嚣节，容曩被予挽或疆坏懿她方。控磷措藏 霆疆垒娩为突驻冀安全整耧蘑檬魇锈定翡安全整翻接零、嚣嚣方法及蚤穆嫒薏铡 度。控黼溺试是将企业的各释安全控制措旋与预宠的安全标准进行一致憔比较， 确定各项羧制措施是否存在、熙否得到执行、对漏涧的防范是否有效，评价企业 安全措施的可依赖程度。显然，嵌全审计作为一个专门的审计项目，要求带计人员 必额具有鞍强的专业技术知识与技能。 入餐梭灞鼓拳 入侵稔灏技术主要努或黼大类墼： i ，并常入寝检测：是指熊够根据异常 亍为和饿趟计算机资源情况梭渊出来 的入侵异常入侵检测试图用怒爨方式描述可接受的行为特征，以区分非工e 常的、 潜在的入侵性行为。异常入侵爱铘决的问题就是构谶髯常活动集并从中发现入侵 蛙添韵子集。雾常入授检溺方法缀羧予异褰模型懿建立，不嬲模型稳成不溺翁捡 测方法。辩鬻检测是通过藕铡到黥一缝测量值偏离发寒预测瑗户章亍为斡变亿，然 后作出决策剡断的检测技术 2 ，误溺入侵检测：是摆测掰日知系统帮应用软件的弱点攻击模式潦检测入 糍耧大学礁士举缱论文 “n h 豳棱端络流盏显灞系统 侵。误餍入侵检测兹主要假设燕其有栽够被精确媳按蒺零孛方式缡璃的攻遣，并可 以通过捕获攻击及重新整理，确认入侵活动是基于同一弱点进行攻击的入侵方法 的变种误用入侵检测指的建邋过按预先定义好的入侵模式以及观察到入侵发生 的情况进行模式匹配来检测入慢模式说明了那些鼯致安全突破或者其他误用的 事箨中酌褥镬、条箨、撵捌帮关系。一个不完整豹臻式可毙衰臻了存在入馒兹金 鍪。 2 。3 网络流量监控技术现状 t 节讨论的网络安全防范技术如果按照安全防范的主动性来看可以分为两 类：第一类瓣于被魂茨蓬，它们鬟蔟上是被动兹安全缀跨藏孬设套，缀攘一令缝 织幸凡梅的门娶，只能稷攥安全政策规定来行动，不能鑫行其是，病毒防范软件， 防火墙，安全审计都属于这一类；第二类属于主动防范，它们通过监测嘲络当前 的状况来判断融络是否有异寓怨现，它们能检测阱瓣岽如现攻击模式，入馒检测 系统就属予这类。下厦介缓下裁于主动经蒴范的阍络流量监控技术躺现状。 2 。3 。聃t o 鑫 n t o p 【l 】魑一个在g n u 许可诞协议下的开放源代码的网络流量测受和监控工 具。它能截获网络流量并进行分析，以监听网络上主机和全局监听网络为对象统 计流量，并提供个w e b 接蹦供管理员查看当前网络流爨状况。它熊让用户跟 落包擐弼终浚量特茳，嬲络裂翅攀，舞络协议使燃魄侧，掇鏊检溺等潮缮活动。 它鼗耪被设计爱来解决学校烹予嗣惠瑷藜装憨海题。它鼹莰诗者零鋈它像搿 的t o p 工其擞告进程对e p u ，内存翡使用情况那榉潦溺麓弼络流量，掇畿主枫对 带宽的使用情况。 n t o pf ： 臼几个主要的设计目桥为： 简单但高效的功能内拔，资源( 内存和c p u ) 占用率低； 怒蕊控葶妥警理一个潮终并虽不零要特爰豹鞠户程痔囊分撰滚纛 镶黠于 t c p d u m p ) ： 能以字符霸溺更蘸穆方式采呈现数据； 用户可通过能动态加裁的软件模块来增热功能： 在这赎设计目标的背后个主要的想法是开发一个简单高效的功能内核来 完袋一些綦零豹柽务，毽摇： 独立予鼷络接日娄餮截获瓣络毽著簿橱； 蒸本流量分析和协议特征分析； 嬲潍并测量网络数据漉； 内鬟的强曙p 服务器能溷形亿显示数据，不黉螫额舞豹客户端； 辑涎大学硬士举证论支l i n b x 癌棱蕊终漉麓燕铡系统 n 秘) 的设计参照了u l 崎鳓设计理念，嚣应瘸糕窿没必要很大舔鼠肇模块， i ；i 阻将它们分解成一些小的独立的部分，这些部分能协同工作来完成一个共同的 目的。功能内核负责高效处理辫本的任务并向模块开发者提供功能服务。这样可 以让开发者把模块开发的复杂度降到最低，把注意力集中到应用功能的开发上。 这秘猿 譬模型蕊蠖矮可叛让功熊瞧拔尽可戆建保持瘸效，它西戳只送行应耀模块 蔼簧懿诗黪。 它在性熊方面设计上的将点露： 幽于网络地址的具有的数字本质能快速计瓣紫引，广泛使用i l a s h 表； 由于在r l t o p 中对截获的包做了二次缓冲，达到了低丢包率； 潜在的长时运算n t 镁用异步方式； 燃o p 囊瑟获褥了鞍睦瓣送褥瞧戆，经过测试奁逐嚣毅主凝处予警均受载簿穗 况下l m b 瞰上截包获得了较低的丢包率( 弼聚寄) 。 2 3 ，2 。b r o b f o i 2 l 鼹一个在b s d 许可证协议下的基于u n i x 平窘豹实时入侵梭测琴统。 b 辩遵过穆黼终漉量和事先定义鹣竣谈为是可疑搴份瓣簸爨比较来硷灏入疆。b r o 静系统缭掏翔闰表2b r 。系统络搦所示： i r o a i 一“r n 时删“k a l i b n f 性y # “；耕 r 能o r d d 拣k 熏瓣 姆s e 娃拜l 硅融r 醴嚣r 纛 e v 绷 t k 蹦 e v 蝴t 蛆e a m ， e v 站玎te n 叠l n 熹 k 跚蜊磴。“钟l5 辩。础争粒。毹甜 ， l i b p c 墨p 童一蜘一 瓢飘麟 籀裘2 b 系统结构 浙波大学硕士学位论文 l i n u x 内核网络流量监测系统 b r o 的设计实现遵循分层的原则，捌髑l i b p c a p 从网络上获取的数据包经过枣 串生藏弓| 擎秘援爨引擎被擒象藏一系裂瓣攀 孛，这些事 孛疆篆噻麓本救送一步瓣 深入分辑，基本事 睾本奏藏霹戳皴发惫整，蔟疆瓣本分李厅基本事 孛戮嚣蕊霹吸生 成灏豹事传也可蕾魅发告警。 b f o 的几个主要的设计重标为： 对高速，大容量网络的监控，程遽度方面能监控l o o m b p s 的流量，容撬 方面大概能承受2 0 g b 每天； 不丢包：丢包会使监控状况出现异常，无法正常跟踪网络活动。考虑到 第一个目标，这个目标变成一个很大的挑战； 实时通告检测结果：如果能及时检测到一次攻击或者潜在的攻击，那将 会最大限度的降低攻击带来的风险，电能够及时阻止接下来的攻击，因 此b 希望能实时检测攻击； 运行枫裁与应对策蝮分离：将运行瓿澍与应对策瞧潼颟分离有韵予提麓 系统整俸翡麓洁夔帮灵活篷，洚甄系统改动带寒静戏奉； 扩震性：困力存在稳当多斡卷i 审务榉的攻击，莠且还在逐渐增加，系统 有必要设计为具有容易增加对新攻击的认识能力。 b r o 的提高扩展性方面的设计上的特点怒： 灵活的事件接口使运行机制与检测策略分离； 高度的可扩展性能适应应对新的网络攻击： 策略脚本使用自己设计的b r o 谬畜编写 b r o 还提供了一些高级特性如事件生成引擎中实现的应用层协议功能，支持 工| 三卿袭达式的数据匹配、规则关联，规则与策咯脚本的交互，这些特性使b r o 这 个开放源羁魏n l d s 系统繇能实现的功辘缀接近予当前主滚商业n 王d s 产晶。它 怒琴麓憝络譬理曼定铡捡溅菜萃孛特定攻蠢瓣好_ = 】= = 具。 2 ，3 ，3 。辩f r n f r 3 】是一个被用来构建网络流爨分析和统计事件记录的系统，它的全称 怒t h en e t w o r kf l i g mr e c o r d e r 。n f r 使朋混杂模式的网络接口来将网络流量传 递缭一个内部的自定义语言编码的决策引擎，然后由它将包和包内容信息传递给 后台的日志或统计服务。除了包采集和统计，n f r 的内部架构能让网络管理员 采样感兴趣的网络流量用来统计或做日志。n f r 提供的编程语言简单却强大， 它能让你在做记录之前对流量做分析。n f r 是一个商业产品，它已被广泛应阁 予l s p ( i n t e r n e ts e “i c ep r o v i d e r ) 和商业站点。 n f r 豹总体絮掏是被设计为由一缀究戏特定 薹务匏组件组成。数据由一个 蠛多个趣啜毅器貘集，蘸嚣绩遽绘决爨琴| 罄，决燕雩| 擎完纛篷过滤蠢重缓，然霜 1 6 濑江大学硕士学位论文 l i ”x 内核网络流攫簸测系统 疰l 匿台l 襄努来确定垮包记录下来藏继续遴抒统计楚理。强下是对死令孩t 缓俸麓 麓蕈套绥： 包吸投器；穗裁是键截取缀绛。蝌r 鲍毽蔽嫒器是基予l i 如e a p 【4 】豹。 l i 却c a p 提供了一个通用的谯柽种不丽的撵作系统和网络接口之上截获 包的接口。 决策引擎：当包被传递给决策引擎时，爱先与一组过滤器进行比较。过 滤器是由n f r 提供的缡撩谮育n ，c o d e 编写的，在编译后它们会戡遴 入决繁引擎良字节方式嫌存。t c p 连接的处理也是在决策g l 擎中避行， 包括数辗包的鬟组，重传饿辩梭涎，连接状态的转换。之后产生的逑犊 事 牛还有包会与过滤器进行比较，符合过滤条l 牛的将出两群机制来遴知 一f 一除段的缝馋：报警桶记聚。掇餐税铆通过字符串信息形式邋舶餐邂 系统，记象壤鞭良后台弱记漆缀 争赞遴一令特定懿数据绣弱，焉黉继绥 下一步魏楚逡。 君台组箨：n f r 叠繁有大麓的薅台组 牛，它稍各叠能完或各释不麓蛉统 诗任务。丽融n f r 逡龛诲开发者剞建翔己的组件来扩震n 腻的能力， 它 可以嗣餐种不同的漤畜编霹。这是一个相当强大的功能熬为它健 n f r 来做糨敉度的过滤和分丰斤工作，而把特定的记录工作留给后台组件 处理。 2 3 4 其他研究成果 e h 西sa ls h a e r 在仇的论文 6 l 中摁蹬设诗一个蠢性能的事件过滤系统的关 键漆剿和援战。德鼹出了影确设计攀馋过滤系统貔疆个关键嚣素： 痘嗣领域：各个应震领蠛为了不同鹣霹嚣镬巽l 事舞过滤，宅稠熬鬻求 i l 不一襻，嚣诧对设计鳃影濑穗绥丈； 过滤器的内部表现形式：过滤器静内部袭现形式也就是实现过滤枫制使 用的数据结构和算法。这怒设计和评估过滤机制的关键问题。髓a bsa l s h a e r 根据它对过滤机制分炎，他认为一共有三类：原始事件分擞 ( p r i m “i v ee v e mc l a s g i 精制s ) ，树形表示的布尔表达式( b o o l e 8 n e x 掣e s s i o n1 沁er e p r e s e 饿a 圭i o n ) ，d a g 震示( d i r e c t e da c y c l i cg r a p h r e p f e s e n t 武i o n ) ； 过滤编程接口：过滤编程语言撩西掇供了宠义过滤组件( 表达式和行为) 语言。事件过滤表达式攒遂了关于事传定义懿麝有的谓词。行为撼述了 当事 孛发裳对应该骰嚣么。赫赫sa l 鞣a e r 试为设计过滤缡程接黼懿关 键特征楚蜜霜嚣表运戆力黢荔麓整； 过滤模黧：过滤模型决定了察传过滤组转翅谓词、事传定义、避滤袭 i 浙江大学颈土 学位论文 l i n u x 内核网络流置般测辩统 迭式的结构。过滤模型决定7 攀传过滤艇捌熬一般蛙。一个强大的过滤 模壅是足够灵灌柬表这任何霹黪憋遐滤戆力。 懿辐s 越s 萎a 嚣逐绞舞这些关键簇裂瓣蠛存黪事舞过滤毒噩番l 透露了分类，著 舌萼谂了设诗灵活秘离效豹事件过滤壤裁懿投簿。 s e 秘e e a n 等人在健靛的论文中【7 】掇磁了一令下一代随终流量监控帮分褥 系统：n g m o n 的设计方案，它应髑予l o g b p s 的商速网络。稔 | 、j 指出使用健缆 的方法很难在高速网络环境下进行钒截获和分析。在他们的设计中使用了分布 式，流水线和并行处理的技术。n g * m ( ) n 累统的监控和分析任务分为五个阶段： 包藏获、流生成、流存镰、流量分辨、驻示。每一个阶段可以在分离瓣计算机系 统中执行并使用流水线技术和邻接的阶段避行协同工作。并且每个阶段可以幽 计辫机集群缀成，它的性能远高于单寄计算机。 在纯们的设计中，关键魏特性是便翻了淡水线技术秘受载秘鬻技术。五个攮 行玲黢峦浚承线絮擒奄毒亍连装。查每个输羧可以捷蔫一台或多窘丢卡算飘来平镤| 诗黪处瑾懿受援。这耱镩系缝筏菠鬟薅系统整傣夔毪戆。并显虢嚣除莰之滴定义 了邋讯接口，因此每一个魏行阶毅可以被一个凳虢纯静模块代替，哭要模块撼供 了襁澍的逶渌接口。舅夕 在豫们的设计中，并没有使惹服务爨级巅游楚理主祝， 砸避使用了相对廉价的个人电脑系统，并凰熬个架构是完全基于软件的，可以遇 过增加或替换硬件来满足动态增长的处理需爱。 2 荤网络监控王其的设计甏点 从以上的对现存披沭的观察可以看出，艇好设计的网络监控工具，从用 夏夷贵寄鼓襩j 露b r o 【2 】都 商缦多可取之她。ntop箍供旋丰富翡w秘秀蠢蔼惠莰 鬻遴癸缓骞嚣藏毙蕊察鞠警兹霹终 上潺黢簿主壤麴滚量凌凌，对滚羹囊大魏圭撬瓣捺序信息也使管理员鼹侠速筏出 遗艟瓣络健麓趣题的来源；b 虽然没有鼹供潮形藤户赛面，但是它提供鲍脚本 语言髓诡管理员荧活邋定裁入侵静梭测策略翻应对措施。而从系统实现性能的角 度来看。一个良好设计的网络监控工具应该在1 0 0 m b网络环境下运行不丢包 ( 或者极低的荣识率) ，系统在处理一个裁获到的包巍勺流稷中投霄特剐大的挂能 瓶颈，尽量减少海拔一臻户模式切换和内存在不同空淄拷贝造成的消耗。n t o p 和b r o 在截获网络底鼷包这方面都使用了1 i b p c a p 。l i b p c 婶提供了一个可移植豹， 通用的接口截获嘲络媳，它支持许多底层网络协议。如浆操作系统支蒋一个是够 爨大豹肉核包过滤瓣，鄹l 论p o 犟还可驻良雳户程房撬攥幽孩萋嬷滚量过滤，迄 藏是诱用户程黟不必心静弱终包藏不会簸交孩窆凝拷煲戮藤户京闽，太大疆裹了 x 滤江大学硕盖：受羹飘 专i i ? 内档网络蕊罐龋鞫系舅 舔篓喜藕静。搔翮蒸雠的事囊喇嘟蕊礴强裂釜簖敬。一例割剿茕藓孽 羹鎏鬻丽蓁| | 囊成功惩蕊濡隧囊孝囊魁霆篓蒌舔。 羹耐霎代囊i 强瀣型瞧篓登薯藿警藏戮羹疆疼鐾雩叁孽；蚤霎! 篓蠹蠢囊翼；囊 i 薹潞鋈塑蒜冀鞠醺鞠醺矮鹣露静强断醚辫憨燮。 ，孥，i ；目鳇蟊戮戮戮誊警囊翁弦l | l 涮捅尊一洛漱一潮巍鞘羹蠢鞫辎醵嚣 醵塑；薹囊。插擘雯氟“妊捌型：瓣黼瓣黝；篓篓霍! 出萎蓉昏霉。型i i 瞎铠镪臀g 溱 哩森豫瞄滗憨嘲罐灌麟甚隧鬯基蔫滔烈磷戮裂熬；黧剐誊蟛荔孺瓣薹型鋈 酾；辩鞋磷窖釜翻矧澍枣巍。爵囊j 弧i 季盟唾曩删溥垡蔌霉矗 翻涮弩簿f ； 婪瑟瑟二默弛雾。襁糕囊j 鞫薛藤蘸，冉箨。薅馐塞注畿冀蕊孺程序囊滋耀罐 凄| 霎了篓妻强谨代蓬嚣瓣弱蓥嚣簿鹣裙瓣秘籍簸弱菲蕊；型鎏篓霾篓蓄警囊 鲤簿基量囊熏拶= 黔辩鞭裂墼黧弱毅璺编鳃靼。 蝠型璧饕霪墓要二瑟警骚黧繁重瑟篡銎霪羹瑟零鑫繇臻毯蛰嚣豢蘩。馨簇镄 溪 x 浙扰大学硕士学位论文 l i n u x 内棱鄹络流量藏捌蕊缆 k 弼o n t o r 系统本舞没誊囱最终煺户( 鬻璎受) 提餐捷熙搂避，它嚣簧邋过 蘩予它掇镤斡牙发蓑秘戆疫溪骥块寒蜜瑷嚣羯鹫蘧瑟麓葫戆。它窥应嚣摸褒挺洪 鼹疑体功筏鬻： 带过滤功能的觏截获攀襻邋俺： 藏翊模较氪系统注蕊繁娃岫c 婶造滤表达或( 毽可不蛰) 靛篷封遮攀俸， 之焉当系统截获弱一个符合波滤条佟静甑对会通过事件管理稹块遇镣 慰朋模块。蠢关事件和邋滤将巍3 ，3 5 中谬纲描述。 带过滤功能的穗接事件通告： 瘟震模块逡系统注麓繁遣藏过滤褒遮式( 墩可不荣) 熬连接事 串，之麓 当就连接事件发生时并且此祭逡接铃合道滤条件，系缓会将有关魏攀箨 豁信息逶告癍翔模块。有关遵镶过滤表达式将在麓五章中详细讨论。 带过滤凌缝瓣惫壤嚣搴终遥整； 瘟嚣模块自系绞注瓣繁l 玲p 蝤，逐滤表这式( 龟可不蒂) 蕊毽统诗誉静， 并臻明统诗时阔蠲隔，之鬟系统以指定静时间闻隰戈绞诗革位统诗符螽 此过滤条件熟识的个数和字节教，并将每一个统计间隔的统计络卷媳告 癜建模块。 带避滤功麓静漆接事释统诗滋衡： 应用模块向系统注册带连接赶滤表达式( 也可不带) 的斑接事件缆计撩 件，并指骢统计时间闻隅，乏嫩聚穗以拯定盼对淹国骥为肇位统计瓣台 越过滤条 孛鹣迤臻静攀静，并将每一个统诗潺隔鼹绕诗缡菜通告斑愆横 竣。 滚燕最大黪主税送告： 应薅模块露系绫注鼹姥粪潦箨，并擐疆绞诗霹鬻辍隔嚣运蠹黪蘸夫主摭 个数廷，之熏系统统诗吝对阐瓣隔离主掇辩发遴、蕊彀、憩台翡鬯数郛 字繁数，然嚣发送n 个最大的主枫的信息飨应用模块。 濂爨最大的端懿遇告： 痘躅模块寓系绫注嚣魏类攀僚，并疆疆协议类蘩( 零e p 脚蛰p ) 、统计辩 间间隔和通拳的最大端口个数n ，之后系统统计各时间阃隔内端口的教 送、接收、总合的包数和字节数，在一个绕计间隔完成簸发送n 个斑大 静蕊霹静信息绘废尾模块。 主楗流量势蠢： 盛粥模块自系统注册照炎攀镣，劳指磺主撬i p 媲蛙，绫计时间嘲麓， 之麓系统统诗餐籍霉霹阕隔痰忿螽主橇在各壤西弱瑟英德主瓿弱流鬟，农 个绞诗霹瓣竞藏爱发送溃黯秘毒之透蕊豹圭魏懿藏羹势帮倍感鲶皮 攒横块。 浙扭大学硕士学位论文 l i n u x 内按网络流量懿测系统 基于以上系统提供的功能，能开发出功能丰富的面向管理员的网络监控应用 程岸。目前我们基于这个系统设计实现了两个网络监控应用。一个是基于连接事 件接口的蠕搬检测系统，它能宓时准确壤检测蠕虫的端口扫描行为：另个是基 于统计接口的流量监控系统，它提供的实时丰富的统计信息能帮助管理员快速发 现造成露络憔能问题的来源，为优化蠲络佳能撩供支持。 3 。3 。k 蘩o nlt o r 主要模块工作机制 由上一节的系统结构可以看出，鼬“o n i t o r 内核流薰监控器魑整个系统的核 心，系统的主要工作都是由它完成的。从功能上看，它可以分为截包模块、超时 管理模块、分片处理模块、连接管理模块、事件管理模块、统计模块。从截获一 个以太网包开始，到输出信息给应用模块，要经过如下的处理流程： 灏遘大学颧士学经埝文 l i 酬x 蠹棱弼终漉鬣鼗溺系统 嘲卡聪动程序 内梭空鲻 一j 、 一一怖一一一一一一一一一一一一书一一一一一! 一一一一一一一一一一一一一黼一一一一一_ 黼蒋 一“ l 凿豢4 n o t 毯1 譬。讯】e l s t = e 1 蹦s e l i s t ： e 绷s e i j s t = e 1 t r u e l i s t ： 5 。3 ，k 蘩o ni 铷r 的包过滤实趱 k m o n i t o r 中敬包过滤枫制蹩基于l i b p c a p 窝l p f 实瑗殴。由予斑犊模块无 法使用l 拣帮y a c c 函数库，鼹以我们在用户朦开发了一个代理编译程序： b p f _ p r o x y 。它完成的任务魁代理应用模块带过滤表达式的注册请求( 事件注 壤强大学鹾壹学毽论文 乙i x 蠹骏辩鳋漉鲎整涮系统 册和统计注册) ，它会将避滤表达式( 包括包过滤表达式和连接过滤表达式) 编 译成b p f 虚拟机指令，之臌与i ：m o n i t o r 通讯将带有过滤指令的注册请求转发给 k m o n i t o r 。如果过滤表达式编译失败，它将出镄信息报告应用模块。 凌予l i b 器a p 已经其露了强大懿包过滤表达式接日，我们壹撩健鼹它来接为 k m o n i t o r 熬包过滤接蜀。嚣貌在b 疆p r o x y 中可以直接调瑙l i b p c 印躲 p c a pc o m p i l e 函数来编译潋滤表达式从而获得对应的b p f 虚拟机指令。编译之 后l i b p c a p 是通过调用s e t s o c k o p t 函数设置p a c k e ts o c k e t 的过滤器避项来将编译 好的b p f 虚拟机指令拷贝绘内核里的l p f 的。程我们的实现里，只需通过通讯 模块躲功髓将b p fp r o x y 代理的注舫请求发送给 ：m o 疵o r 酃可，然后 0 涯。撞建o r 褥过滤豢令缣存农注麓管理对象孛。 在5 2 2 中已经看到，l p f 的b p f 过滤机的最终实现是s k 氛1 t e r 函数。 因此我们的k m o n i t o r 包邀滤机制实现的最后一步就是在包事件分发戡统计包之 前调用这个函数来决定是否通过过滤。 5 毒，k 蘩o nlt o r 酶连接过滤实瑗 坳d o n i t o r 的连接过滤枫制向应用模块提供了过滤传输层连接过滤的功能。 四个元索标示了一个传输层连接：发起端i p ，端口，响应端i p ，端口，这些元 素的组合构成我们提供的遴接过滤机制的过滤条件。对于t c p 连接，发起端就 是发送第一个t c ps y n 包的那一端，另一端就越响应端；而对于u d p 连接，发 起翡载怒我翻夔系统鉴舞到瓣第一令震予装祭滚按包夔发送方，阉撵舞一凌藏是 砖应端。 我们提供了与l i b p c a p 的包过滤表达式类似的过滤接口：连接过滤表达式。 连接过滤表达式实质上是一个布尔表达式，它也同样由基本元素( p r i m i t i v e ) 通 过a i l d ，o r ，n o t 组合之后组成。p r i m i t i v e 的格式为 d i r 】t y p ei d ，冀中d i r 表示i d 为逵缓的发起壤( o 靠g ) 避鼹响应端( r e 蹬) ，鼗黎没毒指定函r ，雯| l 默认为o r 适 蠢r e 印瓣。r 缝合；冬节e 可麓静筵为h 。s t 穗p 嘲，h o s t 指旨类型为i p 逡圭盘，p o 娃 指出类激为端口；i d 则为舆体值，如果是i p 地址就是x x x x 的点分格式，如 果是端口就是一个1 6 位的缀艇型。 由于我们的连接过滤寅现也是基于l p f 的b p f 模型的，我们需鼹将连接过 滤表达式编译成b p f 虚拟梳撵令。同棒的我们程b 姆p r 0 汉y 中实瑷这个功能。 编译懿；霪疆基本与我髓分搽避懿沿薛雄戆氆避滤表达式熬编译道程穗镞，遣分 为词法分析、文法翻译、融p f 代码生成三个阶段。 在词法分析阶段，l e x 将用我们定义的词法规则检查输入字符审格式的正确 性。1 e x 的词法输入分为三个部分：定义、规则、辅助函数。定义部分包括了规 则部分用到的正则表达式的定义；规则是定义的词法中所有的字符串模式以及槌 4 8 浙江大学硕士学使论文 l i n h x 内核潮终流量监溺系统 型： s u p e r b l o c ko b j e c t ：超级块对象。用来保存关于菜种文件系统的棚关信息。 i n o 如o b e c t ：i n o d e 鼹象。羯来僚存关于菜令特定文件的遴用信息。每 个i n o d e 有一个标识符来唯一标识文件系统中的文件。 m eo b e c t ：文件对象。用于保存有关进程和它打开的某个文件交互的信 息。这个对象只存在于进程打开文件的对候。 d e n t r y o b j e c t ：舀录对象。用于保存有关目录和它下面的文件信息。 v f s 的o p e n 系统调用的实现过程如下： 1 在内核中s y so p e n 函数被调用来服务o p e n 系统调用； 2 s y s 。p p e n 调用g e 赴a m e 0 函数将文俘路经从用户空闻拷贝至虑核空 间； 3 s y s 。9 p e n 调用g e t 呻u s e d f d 获得此进程来使用的文件描述符： 4 s y 咿p e n 调用蠡i p j p e n 试图获得一个文件对象： 5 。f i l po p e n 调用o p e nn a m e i 森找指定豹文件是否存在； 6 f i l 凯o p e n 调用d e m r y _ o p e n 来获得一个此文件对应的f i l e 对象，并设 嚣相应的文件打开标志符； 戆主枫的e f g 谤德节点。p tehn：p o r t p i d q s e t ( 糖q ，屯d e f a 璧熬釜墓菇圭； 到： 一a | e a 检查要访问的文件部分是否加锁；5 s y s - e a d 调用 f i l e 对象的一o p - r e a d 函数指针指向的函数来做实际的 数据读取；6 s y s ，a d 调用邱u t 将文件对象的使用计数减l ：7 r e ad 系统调用返阐s y s r e a d 邋回的实际读取的数据字节数；v f s 的wr i t e 系统讽用与r c 撕调用类 娃，只是在第5 步调月f opowrite函数指针指向 的函数来做实际的数据写入。 涟淫丈攀磺士学垃论文 “n h 癌援翳络流量鳖瓣暴境 件描述表中相应的位置清空，通过清除进程管理堍的n l e s 的 o d e nf a s 和c 1 0 8 eo ne x e c 释放文件描述符； 3 s y sc l o s e 调翔f i 珞c l o s e ，f i 玲d o s o 调用f l u s h 函数，释敞所有文传 续，调爱岛娃将文释弓l 露减l 4 。c l 撼e 系统镶掰遨强； 从以上对应用程序打开文馋并读写关闭的过程分析可以看出，如浆想在内核 中打开并读写文件，直接镁翻系统调用服务蕊数是不行的。这怒阉为s y s _ o p e n 系统调用需要将文件路径从用户空间拷贝到内核空间，s y s _ 弦a d 和s y 8 j w i t e 的读 写缓存参数据囱的也是用户空闻的地娃，换句话说，它们是为运行在翊，户空晦的 疲孀稳序鞭务夔。 因此如果希望在内梭中打开一个文件，就需耍绕过与应餍程序、糟户空闻概 念相关的过程。从对o p e n 系统调用的分析可以糟出，我们可以直接渊用f i l po p e n 来获锝个文件对应的文份对象。并且由于蠡l po p e n 躯文件路径参数已经被认 为是海核空闻瓣嚏存地蛙，搿以不会碰到与o p e n 一样的问题。掰以通过谲霜 蠡l p e 懿我们鬟接获褥一个文 孛对象，瑟绕遭了避程装文俘攘透努帮建户遗娃空 闻的黼繇。 农菠褥一个文件对蒙乏藤，我们就可以遴过它的fo p - f e a d 、fo p o 婀i t e 嚣