（计算机科学与技术专业论文）企业级网络异常行为检测技术的研究.pdf

国防科学技术大学研究生院学位论文 摘要 互联网存在各种各样的安全威胁，影响了网络的正常运行。这些威胁表现为各 种各样的网络异常行为，包括网络层面的异常行为和用户层面的异常行为。作为 当前网络安全领域的研究热点之一，如何检测并发现网络异常行为，对预防并排 除和缓解安全威胁具有重要理论意义和实际应用价值。 本文围绕这一迫切需求，研究基于网络i p 流信息的企业级网络异常行为检测 技术，完成的主要研究工作有： 首先，提出对用户终端进行i p 流信息采集和分析技术的思想，设计了基于i p 流信息的企业级网络异常行为检测架构，并将其集成到一个实际的网络用户管理 控制系统型号项目中； 其次，基于上述技术架构，重点研究了网络层面的异常行为检测技术，提出 了基于端口熵的n a d a 改进方法n a d a p e 。通过引入端口熵值的计算，较好 地解决了原有n a d a 方法很难检测到的对网络流量没有明显影响的网络异常攻击 行为，并利用m i t 林肯实验室d a r p a 9 9 评测i d s 系统的数据集验证了该方法 的有效性； 最后，重点研究了用户层面的异常行为检测技术。提出采用用户行为规则匹 配方法来判定异常行为，并通过在企业网络用户管理控制系统的用户代理系统中 植入精简i p f i x 协议，实现非法外联检测功能，验证了基于i p 流信息进行用户层 面异常行为检测的有效性，同时也为非法外联检测探索了一条新的、有效的技术 途径。 主题词：企业级网络，异常行为检测，网络异常检测算法，非法外联 第i 页 国防科学技术大学研究生院学位论文 a bs t r a c t i ni n t e r n e t ，m u l t i f a r i o u st h r e a t sd e s t r o yn o r m a ls e c u r i t yp o l i c i e sw h i c hm a k et h e n e t w o r kw o r kp r o p e r l y t h e s et h r e m s ，t h e r e b y ，i c u rav a r i e t yo fn e t w o r ka n o m a l y b e h a v i o r s ，f r o mb o t hn e t w o r kl a y e r sa n du s e rl a y e r s t op r e v e n ta n di n v o k ei n s t a n t r e s p o n s et ot h e s et h r e a t s i ti se s s e n t i a lt od e t e c ta n di d e n t i f yt h o s ea n o m a l yb e h a v i o r si n b o t ht h e o r i e sa n dp r a c t i c e s t h e r e f o r e ，t h e s ed e t e c t i n ga n di d e n t i l y i n gt e c h n i q u e sh a v e b e c o m eah o tt o p i ci nt h er e s e a r c ha r e ao fn e t w o r ks e c u r i t y t om e e tt h e s eu r g e n tr e q u i r e m e n t s ，w ef o c u so nd e v e l o p i n gt e c h n i q u e sf o r d e t e c t i n ga n di d e n t i f y i n ga n o m a l yb e h a v i o r s ，e s p e c i a l l yt h o s ei ne n t e r p r i s en e t w o r k s t h em a i nc o n t r i b u t i o n so ft h ed i s s e r t a t i o nc a nb ed e s c r i b e da sf o l l o w s ： f i r s t ，w ep r o p o s ean o v e ls c h e m et oc o l l e c ti pt r a f f i cf l o wi n f o r m a t i o nf r o mu s e r t e r m i n a l s b a s e do nt h e s ec o l l e c t e di pt r a f f i cf l o wi n f o r m a t i o n ，w e d e s i g n a c o m p r e h e n s i v ef r a m e w o r kf o rd e t e c t i n ge n t e r p r i s el e v e ln e t w o r ka n o m a l yb e h a v i o r s w ef u r t h e ri n t e g r a t eo u rs c h e m ei n t oar e a lw o r l du s e rn e t w o r km a n a g e m e n ts y s t e m s e c o n d ，b a s e do nt h i sp r o p o s e df r a m e w o r k ，w ea l s oi n v e s t i g a t et e c h n i q u e sf o r n e t w o r k l a y e ra n o m a l yd e t e c t i o n ，a n dp r o p o s en a d a p e ，an o v e la l g o r i t h mb a s e do n n a d a b yi n t r o d u c i n gc a l c u l a t i o no fp o r te n t r o p i e s ，o u rn a d a - p ea l g o r i t h mi sa b l et o d e t e c ts e v e r a li n t r u s i o n sw h i c ha r eu n d e t e c t a b l ei nn a d a w ea l s oi m p l e m e n to u r a l g o r i t h m a n dc o n d u c te x t e n s i v es i m u l m i o no nd a i 己p a 9 9 aw e l lk n o w nr e a l b e n c h m a r k i n gd a t a s e tf o ri n t r u s i o nd e t e c t i o ne v a l u a t i o n sb yt h el i n c o l nl a b s t h e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ee f f e c t i v e n e s so fo u ra p p r o a c h i nt h el a s t ，w ef o c u so nd e t e c t i n gn e t w o r ka n o m a l yb e h a v i o r sf r o mu s e rl a y e r s t o i d e n t i f yt h e s ea n o m a l yb e h a v i o r s ，w ep r o p o s ean o v e lm a t c h i n ga p p r o a c hf r o ms e v e r a l r u l e so fu s e rb e h a v i o r s w ea p p l yt h e s et e c h n i q u e st od e t e c ti l l e g a le x t e r n a lc o n n e c t i o n s ， a n di m p l e m e n ti ti nar e a lw o r l dn e t w o r ku s e rm a n a g e m e n ts y s t e m t h es u c c e s s f u l r u n n i n go ft h i ss y s t e md e m o n s t r a t e st h ee f f i c i e n c yo fo u rp r o p o s e da p p r o a c h b yt h i s w a y w ee x p l o r ean e ww a y t od e t e c ti l l e g a le x t e m a lc o n n e c t i o n s k e yw o r d s ：e n t e r p r i s en e t w o r k ，a n o m a l yd e t e c t i o n ，n a d a ，i l l e g a le x t e r n a ll i n k 第i i 页 国防科学技术大学研究生院学位论文 表目录 表2 1 在a b i l e n e 网络中两种方法对比2 2 表5 1i p f i x 精简实现在网络流量为1 0 m 、2 0 m 左右时对终端系统性能的影响4 8 表5 2 非法外联规则。5 0 表5 3 非法外联检测处理过程5 0 第1 i i 页 国防科学技术大学研究生院学位论文 图目录 图1 1 双机构架系统部署图3 图1 2c s 构架系统部署图5 图2 1n e t f l o w 流信息的生成8 图2 2n e t f l o w 工作流程图1 0 图2 3i p f i x 参考模型1 4 图2 4i p f i x 协议的工作流程。1 4 图2 5i p f i x 输出模块处理流程1 5 图2 - 6 将链路流量测量序列映射到不同的主成分上显示的正常变化和异常变化1 6 图2 - 7 对s p r i n t e u r o p e 一周的数据计算m i2 ( 上图) 和吲i2 ( 下图) 1 8 图2 8 在受到端口扫描攻击时的特征分布变化图1 9 图2 9o d 流示意图2 0 图2 1o 多变量多属性o d 流数据2 1 图2 1 1 二维多变量多属性o d 流数据2 1 图2 1 2 目标地址掩码为8 的不同检测间隔数据呈现2 4 图2 1 3 目标地址掩码为2 4 的不同检测间隔数据呈现2 5 图3 1 基于i p 流信息的企业级网络异常行为检测架构2 6 图3 2 系统组织结构2 7 图3 3 用户管理控制系统组成2 9 图3 4 用户信息管理系统结构3 0 图3 5 用户代理系统结构31 图3 - 6 用户上网管理控制系统结构3 2 图3 7 用户服务支持系统结构3 3 图3 - 8 接入单位管理系统结构3 4 图3 - 9 融合后用户管理控制系统网络拓扑结构3 4 图4 1d a p r a l 9 9 9 网络拓扑图3 8 图4 2 将t c p d u m p 信息导入w i r e s h a r k 3 8 图4 3 利用c o n v e r s a t i o n s 对流信息进进行归并3 9 图4 4 网络异常行为自动检测过程4 1 图4 5 a 第1 个探索周期第3 个时间槽端口分布情况4 2 图4 5 b 第2 个探索周期第1 个时间槽端口分布情况4 2 图4 5 c 第4 个探索周期第8 个时间槽端口分布情况4 3 第1 v 页 国防科学技术入学研究生院学位论文 图5 1 用户层面的网络异常行为检测系统结构4 6 图5 2i p f i x 协议精简实现的结构图4 7 图5 3 用户异常行为检测系统结构图4 9 图5 4 非法外联检测实验验证环境5l 图5 5 运行已植入i p f i x 用户代理系统5 1 图5 - 6 带有非法外联监控模块的用户管理控制系统5 2 图5 7 非法外联监控告警界面5 2 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意 学位论文题目： 金些熟圈终是堂缸羞捡趔拉苤数珏究 学位论文作者签名：垄塑垒墨l 日期：掰年，月刁日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题背景 随着互联网络和企业网络的不断发展并在创造社会财富中起到越来越重要的 作用，在商业利益的推动下，全球的政府和企业不断构建各种复杂的信息网络， 这些信息网络涵盖多种不同的信息技术，例如：分布式存储技术、加密认证技术、 i p 语音视频技术、远程和无线接入技术以及w e b 技术。此外，企业网络对外界更 加开放，大部分的企业允许它们的商业伙伴通过互联网络访问企业内部的网络服 务；允许他们的用户访问企业内部的网络实现电子交易；允许他们的员工通过远 程虚拟专用网络方式接入企业内部网络。 上述接入方式的存在使得今天的企业网络更容易遭受入侵和攻击，计算机犯 罪已不再是黑客所特有的能力，企业内部对企业不满意的员工、安全意识低下的 管理员和企业网用户、不道德的企业甚至是恐怖组织都己加入到计算机犯罪的行 列。随着攻击者的攻击行为更加狡猾，我们所使用的各种存在漏洞的应用软件和 网络协议更加容易受到攻击，因此，基于网络的攻击事件一直在增加l l 圳。2 0 0 5 年 度由计算机安全协会和f b i 共同发起的计算机安全与犯罪的调查1 5 j 显示，在美国因 为网络入侵和攻击造成的经济损失达到1 3 亿美元。在中国，2 0 0 8 年上半年网络 中发生的攻击的频次、种类和复杂性均比往年大幅增加，遭入侵和受控计算机数 量巨大，潜在威胁和攻击力继续增长，信息数据安全问题日益突出，网络安全形 势依旧严峻【5 5 1 。因此，互联网络在给现代社会带来商业利润和生活便利的同时， 保证网络正常运转所设定的安全策略也遭受到前所未有的来自网络层面和用户层 面的网络异常攻击行为的巨大威胁。 一个由v a n d y k e 软件【4 2 】公司委托的调查显示，6 6 公司认为系统入侵是当前 企业所面临的最大威胁。尽管8 6 的企业都在使用防火墙，但他们一致认为防火 墙不能够提供彻底的抵御攻击的能力。最新的研究表明，平均每个月在我们广泛 使用的计算机产品和网络产品中就会新发现2 0 至4 0 个新的漏洞，这种广泛存在 的漏洞使得今天的网络更易受到攻击。各种网络攻击的不断流行，使得入侵检测、 非法外联检测等各种安全防护系统倍受重视和广泛使用。 1 2 网络异常行为检测技术概况 网络异常行为检测，就是检测网络中存在的不合法的非正常的网络行为，通 常包括两个层面：一个是通过分析网络中的通信信息就可以检测出来的网络层面 第1 页 国防科学技术大学研究生院学位论文 的异常行为，包括各种网络蠕虫、垃圾邮件和拒绝服务攻击等等；以及那些在网 络层面检测不出来或者看似正常，但实际上存在用户终端网络行为异常的用户层 面的网络异常，如非法外联、非法代理服务等等。下面分别就网络层面和用户层 面两个方面介绍他们的技术现状。 1 2 - 1 网络层面异常行为检测 在网络层面检测异常行为，通常是通过入侵检测系统i d s 的一个子系统一网 络异常检测系统来实现的。入侵检测系统是一个用来检测非授权的使用、访问系 统和网络的软件工具，它通过收集和分析来自主机和网络的各种相关信息，发现 网络中存在的各种违规行为。换句话说，入侵检测系统主要是用来发现可能会威 胁网络和计算机的机密性、完整性、可用性的行为。通常入侵检测系统可以分为 三类：基于特征的检测系统、基于异常的检测系统和混合模式检测系统。基于特 征的系统能够鉴别出可能是网络攻击的网络通信模式和应用数据，目前这种技术 应用的最广泛也最成熟；基于异常的检测系统通过比较当前的网络活动是否超越 了某个正常的门限来找出网络攻击；而混合模式则是这两种技术的优化组合、优 势互补。 无论基于特征还是基于异常的检测系统都有其优点和缺点。基于特征的检测 系统的主要优点是对于那些已知的攻击非常有效，并且假阳1 6 j 的错误率低，它的主 要缺点是，系统所能检测出的攻击是那些特征已知的攻击，在检测网络攻击时需 要首先配置和更新攻击策略，对于新的攻击或者变种攻击，这种系统就显得力不 从心了。基于异常的检测系统可以检测出新的未知的网络攻击和所谓的“零日”攻 击，因为基于异常的入侵检测系统可以对正常的网络行为进行建模，通过检测当 前系统和网络的行为与正常行为的偏差来找出可能存在的异常。当然，基于异常 的检测系统也存在一些缺点，由于需要对正常的网络和系统行为建模，因此该系 统先天性的设计实现起来非常复杂，具有较高的误报率，而且很难从告警信息中 分析出具体是什么攻击事件。因此基于异常的检测系统是当前检测网络层面异常 行为的一个研究热点，但是，如何克服目前所存在的缺点，将其推广到商业应用 领域，还需研究出更加有效的方法和技术，而本文的重点放在基于i p 流信息的网 络异常检测技术的研究。 1 2 2 用户层面异常行为检测 用户层面的网络异常行为分析，是目前异常行为分析的热门领域，而且已有 商业性的应用产品出现，并作为和防火墙、入侵检测系统一样的主要的安全解决 方案- n b a ( n e t w o r kb e h a v i o ra n a l y s i s 网络行为分析系统) 1 3 1 1 。该系统通过在网 第2 页 国防科学技术人学研究生院学位论文 络中被动的接收和分析9 【】j 络设备如路由器、交换机，以及其他跨接在网络中的探 针设备所提供的嗍络中的i p 流信息，查找出系统内部用户层面的网络异常行为。 例如：可以发现用户是否，1 ：设非法应用服务是否访问非法网站，用户的网络行 为对内部网络环境的影响等等。 当前n b a 设备被动接收的i p 流信息主要来自于路由器和交换设备，因此， 很难分析出困扰广大企业网络管理员的非法外联行为，本文在将i p f i x p l 这种1 e t f 标准的i p 流信息的测量和发布功能集成在企业网络的i i 网终端的前提下，研究和 实现对非法外联这种用户层的面异常行为的检测技术，并将该功能纳入n b a 系统 当中。下面介绍一下非法外联检测技术现状： 非法外联是内网用户未经允许，私自将内网主机接入互联网络或者直接将内 网络主机跨接在内外网之间的用户层面的网络异常行为所致。企业为了保证自身 信息服务系统和办公系统的正常运转，投入大笔资金构建固若盒汤网络边界防御 体系，但只要个别安全意识低下的内部员工或者工作人员所使用的终端存在非法 外联情况，就可能存在非法外联的终端被黑客控制的可能。通过在这台终端上植 入水马，或者以该终端为跳板主机，访问内部网络，窃取机密资料甚至在必要 的时候瘫痪整个内部网络。 存 3 0 1 中对当前非法外检测系统实现技术和优缺点有洋细地介绍和分析，在此 只作简要的介绍。现有非法外联检测系统主要有两种实现方式，- - o e 采用双机架 构，另一种采用c s ( 客户用务器) 架构，这两种检测系统各有利弊。 1 、职机架构 阻取机架构实现的非法外联检测系统主要由两部分组成：监控中心和报警中 心，如图l _ 1 所示： 图1 1 双机构桨系统部署圉 菊3 页 墩匿l 国防科学技术大学研究生院学位论文 监控中心安装在内部局域网，它通过主动发送探测包，刈内网中的主机进行 非法外联探测。报警中心安装在外网( 如i n t e r n e t ) ，负责解析非法外联报警信息， 对内网中非法外联的主机进行报警。监控中心通过不问断的轮询方式对内网中的 主机发送非法外联探测包，如果内网中的主机存在非法外联的情况，则监控中心 发送的探测包会诱导该主机通过非法连接自动转发报警信息至外网的报警中心， 报警中心在接收到报警信息后进行解析，并将非法上网主机的i p 地址解析出来进 行报警。如果内网主机没有非法外联行为，则该探测包就无法诱导主机自动转发 报警信息至报警中心。探测包主要分为工u d p 和t c p 两种，且长度一般很短，只 有1 0 0 b y t e 左右。 采用双机架构检测体制的非法外联检测系统，只要在内部网中安装一个独立 的监控中心，在互联网上布署一台用于接收探测回应数据包的报警中心，无需在 被检测主机中安装监控代理，即可完成非法外联检测功能。此外，双机架构的网 络非法外联检测系统无需针对多种操作系统平台开发相应的系统，适合于大型局 域网或跨地域的多局域网的安全防护需求。 双机架构检测体制，由监控中心探测网络内的主机并对它们实施非法外联检 测，新接入的主机和双系统的主机都无法逃避检测。双机架构检测体制还有一个 优点，它可以检测任何一种非法外联方式( 包括新出现的外联方式) ，如：拔号外联、 i s d n 外联、x d s l 外联、h o m e p n a 外联、双网卡外联、i e e e8 0 2 1 l b 无线外联、 g p r s 外联、c d m a lx 等等。而c s 检测体制能够识别的外联方式是有限的，它 必须随着新的因特网接入方式的出现而不断升级。 双机架构检测体制的不便之处在于需要在因特网上架设一台检测服务器，此 外，双机架构检测体制还有下列不足之处： a 、对于安装有个人防火墙的用户，这种从外部直接和主机进行通信的探 测包在缺省情况下是不允许通过的，因此，在这种情况下该系统很难完成非法外 联检测功能。 b 、如果内网用户干脆断开内网，然后再通过拨号或者无线方式接入外网， 则这种检测机制就如同虚设。 c 、对于复杂的内部网络，部署监控中心具有较大的复杂性。 一个复杂的内部网络，可能具有很多不同的子网，各子网为了自身安全可能 采用了虚拟局域网、防火墙、传输加密等技术，有的子网之间可能是完全隔离的。 双机架构实现非法外联监控的首要条件是监控中心的探测包能到达被监控主机， 而一旦各子网问采用了一定的隔离手段，则探测包只能到达本子网内部的主机， 因此可能需要在不同的子网内部署相应的监控中心，其部署的数量和内网的复杂 度是成正比的。 第4 页 国防科学拄茸式学研究生院学位论文 目自目采用双机架构实现入侵检测的系统有水木同j 下的中华箭2 l 号( 双机架构) 与启明星辰的天殉非法外联监控系统。 2 、c s 架构 c s 架构，是基于监控代理的非法外联监控系统，主要由两部分组成：监控代 理和监控报警巾心，如图1 2 所示。 图l 之c s 构架系统部署图 c s 非法外联检测系统采用了c s 架构，也就是说，在内部网络中要安装一个 监控报警中心，在每一台被检测的主机叶1 都要安装一个监控代理，由监控代理每 隔一段时间对该主机足否处于非法外联状态进行检查，如果有非法外联就立即向 监控报警中心报告。 监控报警中心的任务是负责监控策略的设置和监控代理软件的下发，并对各 监控代理实时反馈的非法外联信息进行处理当受监控主机违反安全策略进行非 法外联时，产生报警信息。监控代理主要负责监控主机的非法外联行为，根据监 控报警中心下发的安全策略对非法上网进行切断或报警，同时把相关信息进行日 志存储，以各查询。内部网络中的主机在安装了监控代理后，其一切非法外联行 为都会被记录在监控报警中心的日志中，其记录信息包括拨号主机i p 、拨号号码、 拨号时间、事件描述等等，可以随时进行察看和分析。 c s 架构的非法外联检测系统的优点在于检测功能在技术上容易实现，准确度 高，不仅可以对在线也可以对离线主机进行监控。而且可以及时断开用户的非法 外联，而这在双机架构中是无法实现的。即使在主机离线时，其上的监控代理一 样会对用户的非法外联行为进行监控，一旦连线，监控代理将立即与监控报警中 心建立联系，并将用户主机离线这段时间的行为报告给监控报警中心。 但c s 架构也有下歹不足之处： 第5 页 国防科学技术大学研究生院学位论文 a 、开发繁琐( 检测代理必须能运行于多种操作系统平台) 、布署不便( 每一台 被检测主机都要安装代理) 、易被避开( 对新入网的主机和双系统主机无法检测) 。 b 、需要在受监控主机上安装监控代理，对主机的性能和安全性都具有一定 的影响，而且可能与其它软件产生冲突。 c 、监控代理与监控报警中心间采用一定的端口进行通讯，如果代理端与监 控报警中心间加了一定防护措施( o h 防火墙) ，同样存在漏报问题。 目前采用c s 架构的非法外联检测体系有水木同正的中华箭2 1 号( c s 架构) 。 综合上述分析，基于双机架构和c s 架构的网络非法外联检测系统各有利弊。 双机架构具有安装简便、技术成熟、对原有系统影响小的优点，但却无法对离线 主机进行监控，对非法外联行为往往只能报警却无法有效及时地断开非法外联的 连接。而c s 架构具有对离线主机进行有效监控并能及时断开用户非法外联连接 的优点，但需要在每个受监控的主机上安装监控代理，对受监控主机的性能和安 全具有一定的影响。因此，本文提出一种基于终端i p 流信息测量、输出技术来实 现非法外联检测体系，弥补现有非法外联检测体系在功能上的不足，同时为非法 外联检测技术探索出一条新的路子。 1 3 本文的主要工作 本文主要研究基于目前i e t f 的i p f i x 项目工作组正在标准化的i p 流信息输 出协议一i p f i x ，实现企业级网络异常行为检测技术，完成的主要研究工作有： 通过实现对用户终端进行i p 流信息采集和分析技术的思想，提出以用户管理 控制系统为背景的基于i p 流信息的企业级网络异常行为检测架构。 在该架构的基础上，提出了一种基于端口熵的n a d a 1 2 j 的改进方法一 n a d a p e ，该方法将i p 流信息的端口熵值的计算引入n a d a 方法，检测出那些 在原方法中无法检测到的对网络流量影响不大，但端口分布异常的网络攻击行为， 并进行了可行性验证。 最后在新的架构基础上，通过在用户异常行为检测模块中的行为知识库中添 加非法外联检测规则，分析用户代理系统通告的i p f i x 格式的i p 流信息，监控企 业级网络中可能存在的非法外联行为，并进行了实验验证。 1 4 本文的内容组织 本文共分为六章。第一章绪论，首先介绍了本文的研究背景，指出网络异常 行为检测是当前网络安全研究的一个热点问题，然后从网络层面和用户层面分析 了网络异常行为检测技术的现状与发展情况，在此基础上简要介绍了本文的主要 第6 页 国防科学技术大学研究生院学位论文 研究内容和工作。第二章网络i p 流信息测量技术概述和相关的研究工作，介绍当 前较为成熟的c i s e o 公司的n e t f l o wv 9 ”】技术，以及即将成为业界标准的i p f i x 协议，最后，研究和比较了当前几种较热门的基于i p 流信息检测网络异常行为的 技术。第三章基于i p 流信息的企业级网络异常行为检测架构及其应用设计，研究 在网络用户管理控制系统的项目背景下，构建基于i p 流信息的网络异常行为检测 架构。第四章n a d a p e 网络异常行为检测方法，从网络层面提出一种基于端口 熵的n a d a 改进方法n a d a p e ，并对其进行验证。第五章基于i p f i x 协议的 非法外联行为检测，从用户层面研究基于i p f i x 协议的网络异常行为检测技术和 实现，提出并实现了一种基于i p f i x 协议的非法外联检测方法。第六章结束语， 对本文的研究工作做一总结，并提出了进一步研究的内容和方向。 第7 页 国防科学技术大学研究生院学位论文 第二章网络j p 流信息测量技术概述和相关的研究工作 2 1 基于n e t f l o w 的流信息测量技术 基于网络1 p 流量信息的网络异常行为分析系统，需要通过某种方式采集网络 中的t p 流信息。较为高效和灵活的方式是对网络中路由或交换设备提供的网络i p 流信息进行采集，目前已有多种网络i p 流量信息生成和采集工具，比较成熟的技 术是c i s c o 公司专有的n e f f l o w v 9 技术，以及由i e t f 的i p f i x 工作组制定并即将 完成的i p f i x 协议。本部分通过介绍n e t f l o w 技术，来了解i p 流信息测量技术的 主要应用领域。 n e t f l o w i ”惶c i s c o 路由交换设备的i o s l 4 3 1 操作系统提供的一种应用服务，它 可以提供通过路由设备的数据包的统计信息，这种应用服务已经成为一种主要的 网络计费和网络安全技术。 n e t f i o w 可以对进入和离开路由器数据包流进行分析，它不需要在路由器之间 以及和末端终端之i i j 引入连接建立步骤，它也不需要改变数据包格式和路由器的 功能。冈此，n e t f l o w 应用服务对于已存在的网络、终端、各种应用服务和网络设 备是透明的。 2 1 1n e l f l o w 的流定义 所谓流如图2 - 1 所示伍i ： i n s p e c t p a c k e t n e t f i o w c a c h e 汹删i pd d m f l o w i n f o r m a t i o np a c k e t b y t e s t p a c k e t d e s t i n a t i o n t p a d d m a d dr e s sp o r ts _1 1 0 0 01 5 2 8 i s 删9 p o r t d e s t i 椭p o r t i i 醋丽葡j i i h op a c k 目a mb s 丽u i l 而i i 磊e “ 嘲2 - 1n e t f l o w 流信息的生成 是指存源和目的之间的一串单向数据包，源和目的主要由网络层的i p 地址和 传输层的源、目的端口号定义。一条流由七个关键字段组成，它们是： 源和目的i p 地址； 源和目的端口号； 第8 页 国防科学技术入学研究生院学位论文 第三层协议类型( 如t c p 的协议号6 、u d p 的协议号为1 7 ) ； 服务类型( t o s ) ； 输入逻辑端口( 即路由器中每个物理或逻辑端口的标识) 。 通过对c i s c o 生产的具有n e t f l o w 功能的路由器进行n e t f l o w 相关配置，设备 就会按照要求在缓存中生成相应的流信息记录，这些流记录会根据每次收到的数 据包进行更新。比如：在一次t c p 会话结束前，每收到一个和此t c p 相关的数据 包，就会更新相应流记录的t c p 会话的字节数和维持时间。 2 1 2n e t f i o w 流信息测量技术可实现的功能 2 1 2 1 网络应用和用户监控 n e t f l o w 数据能够向网络管理员提供详细的基于时间和应用的对网络利用的 信息，这些信息可以帮助网络管理员规划、安排网络和应用资源，以及提供近乎 实时的监控能力。n e t f l o w 可以提供网络问题早期发现功能和高效、快速的故障处 理能力，我们可以利用该应用高效的分配网络资源和发现、解决潜在的安全和策 略问题。 2 1 2 2 网络规划 n e t f l o w 通过对一段时间内的网络数据包流量的统计，能够跟踪和预测网络应 用流量的增长过程，从而可以对骨干网络和路由策略进行最优化设计。同时它可 使网络管理员以最小的运营代价得到最佳的网络性能、容量和可靠性。通过发现 广域网中非预期的流量、可用带宽和q o s 4 4 】的利用率，以及分析新的网络应用服 务，n e t f l o w 可以为降低网络运行费用而提供有效的信息。 2 1 2 3 拒绝服务攻击和网络安全分析 通过观察n e t f l o w 数据中反映出的网络中不规则的行为，可以实时识别和分 析拒绝服务攻击、病毒和蠕虫等网络中的异常行为，同时这些信息也可以用来分 析和回放已发生的安全事件。 2 1 2 4 网络计费 n e t f l o w 提供灵活的、细粒度的和详尽的网络资源利用情况清单，例如：它可 以记录的流信息包括i p 地址、数据包或字节数目、起止时间戳、服务类型和应用 服务端口等信息，这些信息的统计结果可以用来向网络用户收取网络和服务的使 用费用。 2 1 2 5 流量工程 n e t f l o w 可以提供自治系统间的流量工程数据，通过对这些数据分析，可以得 出源、目的间的网络流量发展趋势，这些数据可用来分析流经对等体或者过度系 第9 页 国防科学技术大学研究生院学位论文 统的流量，从而帮助分析出一个对等体的设置和其它运营商的策略设置是否公平 和均衡。 2 1 2 6 存储和挖掘 n e t f l o w 数据可以存储在文件或数据库当中供以后进行挖掘和分析。例如：这 些数据可以用来分析网络中的应用服务被那些内网用户和外网用户访问，分析出 需要对哪些用户需要提高服务质量和添加广告。 2 1 3n e t f i o w 流信息测量技术的工作流程： 网络交换环境 图2 - 2n e t f l o w 工作流程图 如图2 2 所示，n e t f l o w 流信息测量技术的工作流程如下： 第一步：登录至需要开启n e t f l o w 功能的路由器，通过相关n e t f l o w 命令开 启n e t f l o w 功能，指定接收n e t f l o w 信息的服务器的i p 地址和传输层端口( c i s c o 的n e t f l o w 技术目前主要使用u d p 作为其传输层的协议) 。 第二步：配制好n e t f l o w 后，路由器对指定的端口实施n e t f l o w 信息测量、 生成流记录信息，并在路由器的内存空间中开辟出一定的空间存储这些流记录信 息，然后根据新收到的数据包进行相关记录信息的更新。 第三步：路由器在以下三个条件之一满足时将存储的流记录信息通过n e t f l o w 输出格式发送到n e t f l o w 信息采集分析服务器。 1 、当一条流记录已经有1 5 秒钟没有收到新的数据包时； 2 、对于长连接，如果连接超过3 0 分钟； 3 、当一条流收到t c p 的r s t 5 2 1 或f i n 【5 2 】标志时。 第四步：n e t f l o w 信息采集分析服务器通过指定的u d p 端口接收到n e t f l o w 信息后，根据n e t f l o w 的不同版本用相应的数据格式对信息进行分解，提取出可 识别的流信息进行预处理或按照一定的格式存储。 第五步：根据不同的应用，对采集到的n e t f l o w 信息进行分析，并将分析结 果呈现给用户。 第1 0 页 国防科学技术大学研究生院学位论文 2 2 1 产生背景 2 2 基于i p f i x 的流信息测量技术 目前已有很多i p 流量信息测量系统在商业应用中使用( n e t f l o wv 9 s f l o w t 3 4 】) ，这些系统差别很大，即使一些己经采用了通用的传输机制，它们之 间的结构差异也使得很难开发出通用的流量分析工具。 因此，因特网的研究机构有必要为i p 设备，比如路由器、交换机，以标准的 方式向外部系统，如：流量分析系统、计费结算系统以及网络管理系统发布i p 流 信息，从而促进i p 流信息数据格式、交互方式标准化。于是在2 0 0 1 年1 0 月i e t f 成立了i p f i x ( i n t e m e tp r o t o c o lf l o wi n f o r m a t i o ne x p o r t ，i p 流信息输出) 工作组， 着手制定相应的标准，在2 0 0 4 年1 0 月的以r f c 3 9 1 7 为标准，通过对c r a n e 【3 、 d i 锄e t e r 【3 6 1 、l f a p t 3 9 1 、n e t f l o wv 9 t 3 5 1 、s t r e a m i n gi p d r 3 8 】的比较【4 0 1 最终明确指出 将以c i s c o 公司的专有协议n e t f l o wv 9 为蓝本制定i p f i x 协议标准。到2 0 0 8 年4 月已有相应的标准正式出台( r f c 3 9 1 7 、r f c 5 1 0 1 、r f c 5 1 0 2 、r f c 5 1 0 3 、 r f c 5 15 3 ) 。 2 2 2i p f i x 协议 由于i p f i x 以n e t f l o wv 9 为蓝本，因此，所有n e t f l o w 所具有的功能在i p f i x 中均可以实现，i p f i x 协议更加强化了i p 流信息输出的安全性和可靠性：在安全 方面加入了加密认证机制，在可靠性方面引入了t c p 和s c t p 4 1 1 两种可靠的承载 协议。同时通过一系列的标准的制定，使得在信息格式、信息采集、测量、发布、 收集等方面有一个标准化的框架，最重要的一点，那就是传统的网络流信息的获 取是基于网络中一定档次的路由和交换设备的( 如n e t f l o w 通常集成在路由器和 交换机的系统软件当中) ，i p f i x 通过协议的标准化，使得以i p f i x 为标准的流信 息发布节点不再依赖于路由和交换设备，可以在网络中的任何设备上实现，如防 火墙f 4 刚、n a t 4 5 】设备等等，甚至在主机上也可以实现。 2 2 3i p f i x 协议术语 1 、观察点( o b s e r v a t i o np o i n t ) ： 观察点是在网络中可以观察到i p 报文的地方，例如：一条串接有网络探针的 线路、共享媒体如以太网以及路由器的一个端口或者一组物理的或逻辑的端口。 2 、观察域( o b s e r v a t i o nd o m a i n ) ： 一个观察域包含一组观察点，通过观察域的流信息可以被测量进程进行汇总。 第1 1 页 国防科学技术大学研究生院学位论文 例如一个路山器的板卡可作为一个观察域，每块板卡可由多个端口组成，而每个 端口就是一个观察点。 3 、 i p 通信流或流( i pt r a m cf l o w o rf l o w ) ： 在通信领域流的定义有很多种，在i p f i x 中流的定义如下： 一个流可定义为一系列在特定的时间内通过一个观察点的i p 包，并且属于同 一个流的i p 包具有一些共同的属性，这些属性可以看作是一个函数对下列值的处 理结果： a 、i p 包头中的一个或多个域( 例如：源i p 地址、目标i p 地址) ，传输 层封装头的信息( 例如：源端口、目标端口) ，或者应用层的封装头信息( 例如： r t p 应用协议的封装头信息) 。 b 、i p 包的一个或多个自身特征( 例如：报文的长度、m p l s 4 7 1 标记个数) c 、一个或多个对一个i p 包的处理结果( 例如：i p 包的下一跳的值、i p 包 的转发出口) 一个数据包如果满足特定流所定义的所有属性时，则认为这个数据包属于该 流。 4 、流关键字( f l o w k e y ) ： 下列每个域都可作为流的关键字 a 、属于数据包头( 例如：目标i p 地址) b 、数据包本身的属性( 例如：数据包的长度) c 、源自数据包的处理方式( 例如：a s l 4 8 】自治系统号) 5 、流记录( f l o wr e c o r d ) ： 一条流记录是指在观察点观察到的一条特定的流信息，一条流记录包含流的 测量属性( 例如：该流所包含的所有数据包个数) 和普通的流特征( 例如：源、