（计算机应用技术专业论文）高速网络环境下的网络入侵检测系统设计.pdf

高速网络环境下的网络入侵检测系统设计 摘要 入侵检测系统是一种软件与硬件的结合，它通过分析网络或主机上发生 的事件来发现其中的安全隐患。随着近几年网络攻击的事故频频出现，影响 范围越来越广泛，入侵检测系统得到越来越多的重视，成为网络安全方案的 重要组成部分。 基于网络的入侵检测系统以网络数据作为原始的数据源，实时的分析网 络上的通信。与基于主机的入侵检测相比，基于网络的入侵检测系统已经成 为入侵检测的主流。但是随着网络带宽飞速增长，基于网络的入侵检测系统 面临许多的困难。本文设计了一种高速网络环境下的网络入侵检测系统。该 系统采用了新的设计，克服了以往系统在高速网络环境下面临的缺陷，提高 了入侵检测的速度。 本文用零拷贝的思想改进了传统的“抓包”方式；改进了传统的b m 算法，结合a c 算法的思想提出了a cb m 多模匹配算法来解决上层处理的 瓶颈。改进的协议分析技术承接了上下两部分的工作，加快了检测的速度降 低了误报率。同时对c v e 规则库的规则分析模块，提出了可行性方案。 最后本文对系统的性能进行了测试和分析，通过与传统系统的性能比 较，证明该系统能够适应高速网络环境下入侵检测的要求。 关键词入侵检测：零拷贝：协议分析：模式匹配 堕玺鎏塞三銮兰三耋堡圭耋堡鲨苎 d e s i g no fn e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mf o r h i 曲一s p e e dn e t w o r k a b s t r a c t i n t r u s i o nd e t e c t i o ns y s t e m s ( i d s ) a r es o f t w a r eo rh a r d w a r es y s t e m st h a t a u t o m a t et h ep r o c e s so fm o n i t o r i n gt h ee v e n t so c c u r r i n gi nac o m p u t e rs y s t e mo r n e t w o r k ，a n a l y z i n gt h e mf o rs i g n so fs e c u r i t yp r o b l e m s a sn e t w o r ka t t a c k sh a v e i n c r e a s e di nn u m b e ra n ds e v e r i t yo v e rt h ep a s tf e wy e a r s ，i n t r u s i o nd e t e c t i o n s y s t e m sh a v eb e c o m ean e c e s s a r ya d d i t i o nt ot h es e c u r i t yi n f r a s t r u c t u r eo fm o s t o r g a n i z a t i o n s n e t w o r k b a s e di n t r u s i o nd e t e c t i o ns y s t e m sf n i d s ) u s e sr a wn e t w o r k p a c k e t sa st h ed a t as o u r c e ，a n da n a l y s e sa l lt r a f f i ci nr e a l - t i m ea si tt r a v e l sa c r o s s t h en e t w o r k c u r r e n t l y , i d sf o c u s e so nn e t w o r k b a s e di d s ，i n s t e a do fh o s t - b a s e di d s n i d sh a sm u c hd i f f i c u l t yw i t ht h er a p i dd e v e l o p m e n to fn e t w o r k b a n d w i d t h t h i sp a p e rd e s i g n san e t w o r ki n t r u s i o nd e t e c t i o ns y s t e mf o rh i g h s p e e dn e t w o r k i ti m p l e m e n t ss o m en e wd e s i g n ss 0a st oo v e r c o m ef a u l t so fp a s s s y s t e m sa n dd e t e c t sa t t a c k sm o r ea c c u r a t e l ya ue f f i c i e n t l y t h i sp a g ew ei m p r o v et h et r a d i t i o np a c k e t sa c q u i s i t i o np r o c e d u r eb a s e do n z e r oc o p yt e c h n o l o g y t os o l v et h eb o t t l e n e c ki nt h ee n v i r o n m e n to fh i g h s p e e d n e t w o r k ，w ec o m b i n et h et h o u g h to fb o y e r - m o o r ea l g o r i t h mw i t ht h a to fa h o - c o r a s i c ka l g o r i t h m ，t h e nw ed e s c r i b e daf a s t e rm u l t i p a t t e r nm a t c h i n ga l g o r i t h m n a m e da c b ma l g o r i t h m p r o t o c o la n a l y s i st e c h n o l o g ya c c e p t e dt w op a r t s w o r k ，a n di tg r e a t l yi m p r o v e st h ep e r f o r m a n c eo fi d sa n dr e d u c e st h e m i s a p p r e h e n s i v ea n dt r a n s u d a t o r yr a t e s a n dt h e n ，w ed e s i g nad e t e c t i o nr u l e s d a t a b a s eb a s e do nc o m m o nv u l n e r a b i l i t i e sa n de x p o s u r e s ( c v e ) ，a n d p u t f o r w a r dap o s s i b i l i t y sp r o j e c t f i n a l l y , t h i sp a p e rd o e ss o m ep e r f o r m a n c et e s t sa n da n a l y s i so fs y s t e m ，a n d c o m p a r e si tw i t ho l ds y s t e m k e y w o r d si n t r u s i o nd e t e c t i o n ；z e r oc o p y ；p r o t o c o la n a l y s i s ；p a t t e r nm a t c h i n g i i 哈尔滨理工大学工学硕士学位论文 1 1 课题背景 第1 章绪论 确保各种的安全漏洞远离主机是当今网络安全的最理想的解决方案，最经 济有效的方式就是在网络边缘加装安全装置，对网络进行监控和过滤。在这些 网络安全装置中最简单的方式莫过于加防火墙，防火墙拥有一张网络数据包能 否通过的清单。但是即使是在有防火墙的情况下，也不能阻止那些未授权的用 户的攻击和合法用户滥用职权的可能性。典型的攻击包括非授权的更改文件， 在未授权的情况下使用系统账号【i i 。 为了补充防火墙系统的不足，一种与之相关的网络入侵检测技术随之产 生。入侵检测是工作在入侵者行为明显有异于合法用户行为的基础上的。基于 网络的入侵检测通过分析入侵者发送的含有异常行为的数据包来进行入侵判 断，从外界来的全部数据都要被检测系统监视。如果某一种异常的行为被检测 到，检测系统将会使用与防火墙类似的方式来拒绝这种入侵访问。与单纯的防 火墙模式不同，检测系统不寻求避免所有的攻击，只是通过快速检测这些攻击 然后做出相应反映。 进行实时的网络通信分析是非常困难的，实际上现在的系统是通过统计或 者基于规则的人工智能系统去解决这个问题1 2 】。当今最流行的系统是将这一过 程分成两个部分1 3 1 ，即信号采集部分( s i g n a t u r ed e t e c t i o n ) 和分析处理部分 ( a n a l y z e r ) 。信号采集部分的目标是将一系列异常活动从网络数据中裁减出 来，然后交给分析处理部分。分析处理部分可能是网络管理员，也可能是一段 程序。信号采集部分最理想的设计是实时的监控网络数据，并将其中需要的部 分筛选出来。 在本文中信号的采集部分将作为研究的重点。对于分析处理部分，他将根 据信号采集部分传来的数据通过一定的高级逻辑或者算法来进行相应的处理， 然后产生报警信息。这些报警信息可能被传给某些人员，或者是其他的事件分 析器，或者是一个能够进行应急处理的系统。 同时，随着i n t e m e t 和通信技术的发展，网络带宽飞速增长，“带宽无极 限”的说法已经不仅是一种遥不可及的假设。正如美国旧金山b a i n 公司的技 术与电信业务部主管文斯- 托布金所说：“网络传输速率提高的进度，要比微处 哈尔滨理工大学工学硕士学位论文 理器快得多。”1 9 9 3 年p e n t i u m 处理器刚推出时，内频为6 6 m h z ，而现在p 4 内频为3 6 g h z ，1 1 年c p u 内频提升了5 4 倍。但是，中国互联网络信息中心 ( c n n i c ) 发布的第1 5 次中国互联网调查报告表明：截止到2 0 0 4 年1 2 月3 1 日，我国国际出口带宽的总容量为7 4 4 2 9 m ，与半年前相比增加了2 0 4 8 8 m ， 与1 9 9 7 年1 0 月第一次调查结果2 5 4 0 8 m 相比，7 年间提高了2 9 2 9 4 倍。 带宽的飞速增长，导致传统的入侵检测系统对于网络数据包的捕获和处理 逐渐成为各种网络安全应用的瓶颈，往往需要机群来处理大量的网络数据，同 时急需一种能够适应高速网络环境的入侵检测系统。 1 2 入侵检测系统发展现状 入侵检测( i n t r u s i o nd e t e c t i o n ) 1 4 ，顾名思义，即是对入侵行为的发觉。 它通过对计算机网络或计算机系统中的若干关键点收集信息并对其进行分析， 从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。进行入侵 检测的软件与硬件的组合便是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，简称 i d s ) 。与其他安全产品不同的是，入侵检测系统需要更多的智能，它必须能将 得到的数据进行分析，并得出有用的结果。一个合格的入侵检测系统能大大的 简化管理员的工作，保证网络安全的运行。与其他安全技术一样，入侵检测只 是仅仅试图发现计算机网络中的安全问题，要解决安全问题还需要其他的网络 安全技术，如借助防火墙封锁i p 等等。它是网络安全技术中不可或缺的一部 分，也是对其他安全技术的一个补充。 1 2 1i d s 发展简史 在众多安全技术中，入侵检测是一门相对年轻的技术。这个概念提出已经 2 0 余年但是直到近年才又被广泛提出来并整合到整个信息安全基础架构中去。 了解入侵检测系统的发展对我们理解i d s 技术有很大的帮助。 早在1 9 8 0 年，j a m e sa n d e r s o n 就在一篇文章c o m p u t e rs e c u r i t yt h r e a t m o n i t o r i n ga n ds u r v e i l l a n c e 里引入了入侵检测这个概念。从此，i d s 就开始了 它特殊的发展道路，而i d s 技术领域中的一些里程碑事件将入侵检测一直引领 到今天。j a m e sa n d e r s o n 最早在这篇文章中提出了一个很有用的概念即审 计跟踪包含了一些关键信息，这些信息对跟踪误用行为和理解用户行为很有帮 助。随着这篇文章的发表，误用检测和特定用户事件的概念得到融合。他对审 计数据的独到见解和审计数据的重要性导致每个操作系统的审计子系统都有很 哈尔滨理工大学工学硕士学位论文 大的改善。a n d e r s o n 的想法为以后的入侵检测的设计和发展奠定了基础。可以 说，他的工作总体上勾画了入侵检测系统的轮廓，也开了基于主机的入侵检测 的先河。但是，审计跟踪并不能发现“伪装者”。即一旦用户口令被盗用，就 毫无办法。因此a n d e r s o n 提出可以根据用户行为的一些统计分析来判定系统 的不正常使用模式，从而发现“伪装者”。这个朦胧的想法在下一个里程碑式 的入侵检测专家系统( i n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ，简称i d e s ) 项目中 实现了。 1 9 8 3 年，d o r o t h yd e n n i n g 博士开始给政府作一个工程项目，这个项目致 力于入侵检测的研究。他们的目标是分析从政府主机来的审计数据并且针对用 户的行为建立用户轮廓文件。她首先提出了一个实时入侵检测系统模型，它独 立于特定的系统平台、应用环境、系统弱点以及入侵类型，为构建入侵检测系 统提供了一个通用的框架。它的划时代意义在于提出了反常活动和计算机不正 当使用之间的相关性。按照这个思路，利用审计记录建立用户或者用户组活动 的特性，通过与当前会话的审计数据进行比较，从而发现异常。例如，特征可 以是特定资源被使用的数量和相关事件之间的时间长度等。该方法的优点是： 无需了解入侵者所使用的特定机制，就可以检测入侵。但存在的问题包括：特 征的不确定性难以准确判断异常；有耐心的攻击者可以逐渐更改行为特征导致 检测失败等等。针对这个情况，当时提出了第二种工作原理：利用专家系统和 既定规则。查找活动中的己知攻击，这个方法可以准确地描述异常行为，进行 匹配，从丽发现入侵行为。前一种方法后来被称作异常检测( a n o m a l y d e t e c t i o n ) ，后一种方法则称作误用检测( m i s u s ed e r e c t i o n ) 。 年之后，d e n n i n g 提出的模型就在入侵检测专家系统原型中实现了，该 系统由s r ii n t e r n a t i o n a l 公司开发。d e n n i n g 博士结合她的研究工作，在1 9 8 7 年发表了一篇关键的文章a ni n f u s i o nd e t e c t i o nm o d e l ，这篇文章被认为是入 侵检测的另一篇开山之作。文章里的观点和假设成为8 0 年代入侵检测研究和 系统原型设计的基础。 丽同一时刻，在加州大学的d a v i sl a w r e n c el i v e r m o r e 实验室也取得了 些重大进展。19 8 8 年，l a w r e n c el i v e r m o r e 实验室的h a y s t a c k 项目组为美国空 军部门开发了一个入侵检测系统。h a y s t a c k 以“特征”集合来描述系统审计跟 踪数据中的信息。特征可以是会话持续时间、打开文件数和会话中创建的子进 程数等等。它对系统活动中的异常检测分为两个阶段，第一阶段是对每个会话 的特征数目进行统计，判断是否有异常行为；第二阶段采用排序检验预测会话 的趋势。这样可以检测一段时间内偏离正常的行为。 哈尔滨理工大学工学硕士学位论文 h a y s t a c k 的进展，和s r i 的d e n n i n g 博士的工作，极大的促进了基于主机 的入侵检测技术的发展，也推动了入侵检测技术的发展。 直到1 9 9 0 年以前。入侵检测系统大都是基于主机的p i ，他们对于活动性的 检查局限于操作系统审计跟踪数据以及其他以主机为中心的信息源。但此时由 于i n t e r a c t 的发展以及通信和计算带宽的增加，系统的互联性已经有了明显的 提高。特别是1 9 8 8 年i n t e m e t 蠕虫事件之后，网络安全引起了军方、学术界和 企业界的高度重视。这时n s m t 6 1 横空出世，成为入侵检测历史上另一个具有重 要意义的里程碑。 1 9 9 0 年，u cd a v i s 的t o d dh e b e r l e i n 开发了第一个网络入侵检测系统 n s m ，首次引入了网络入侵检测的概念。这是i d s 第一次监视网络数据流并 把它作为主要分析数据来源，并试图将入侵检测系统扩展到异种网络环境。这 一新的认识激发了人们对网络入侵检测的兴趣，并促使商业和学术界研究开发 资助的显著提高。h e b e f l e i n 的贡献还在于提出了分布式入侵检测系统 ( d i s t r i b u t e di n t r u s i o nd e t e c t i o ns y s t e m ，简称d i d s ) ，他结合h a y s t a c k 的研究成 果，首次引入了混合入侵检测的概念。 d i d s 是一个大规模的合作开发，它第一次尝试将主机入侵检测和网络入 侵检测的能力集成，以便于一个集中式的安全管理小组能够跟踪安全侵犯和网 络间的入侵。在大型网络互联环境下跟踪网络用户和文件一直是一个棘手的问 题，但是这很关键，因为入侵者通常会利用计算机系统的互联来隐藏自己真实 的身份和地址，一次分布式攻击往往是每个阶段从不同系统发起攻击的组合结 果，d i d s 是第一个具有此类攻击识别能力的入侵检测系统。 h a y s t a c k 和n s m 的引入在i d s 领域掀起了一场革命，也迎来了i d s 蓬勃 发展的春天，将i d s 带入了商业化运作。 1 2 2i d s 分类 9 0 年代是i d s 发展的分水岭。i d s 从此分为基于主机的入侵检测系统 ( h i d s ) 和基于网络的入侵检测系统( n i d s ) 两大阵营。 目前，i d s 产品可以分为以下几类： 1 基于网络的入侵检测n e t w o r ki n t r u s i o nd e t e c t i o n ，简称n i d 。n i d s 处理主机问传输的数据信息。通常就是我们所说的“抓包”，网络入侵检测设 备从不同的传输介质上截获数据包，可能是多种协议的数据包，通常是 t c p i p 。截获后，对包进行一系列的分析，一些n i d s 只是简单的将数据包和 兰奎鎏登三查兰三兰鎏圭兰竺兰兰 特征数据库中已有的攻击特征和恶意程序特征进行比较；也有一些比较复杂的 能分析那些含有非正常活动的数据包，这些非正常活动可能会引起恶意破坏。 无论在那种情况下，n i d 都被认为只是最基本的边界防御。 2 基于主机的入侵检测h o s t b a s e di n t r u s i o nd e t e c t i o n ，简称h i d 。基于 主机的入侵检测系统目标是对给定主机的用户，系统活动和攻击进行监视，检 测和响应。一些更出色的产品还提供审计策略管理、统计分析和证据支持，在 一些特定的情况下还支持访问控制。n i d s 和h i d s 的差别在于前者处理主机 和主机之间传输的数据，后者则只关心主机本身的事件。基于主机的入侵检测 非常适合对抗内部入侵，因为他能对指定用户的行为和对该主机文件访问进行 监视和响应。来自组织内部的威胁来源很多，不满的员工和商业间谍只是两个 例子而已。正如入侵检测研究专家r i c h a r dp o w e r 所声明的一样，“每年我们都 会要求被调查者( c s i f b i 的一项调查) 列出网络攻击的大致来源，无一例外 的，8 0 的被调查者认为不满的员工和不诚实的员工是一个可能来源，高居榜 首。” 3 混合入侵检测h y b r i di n t r u s i o nd e t e c t i o n 。混合入侵检测提供了对基于 主机和网络的入侵检测设备的管理和警告，混合入侵检测在逻辑上实现了网络 和主机的互补中央入侵检测管理。如上面所讲的d i d s 即属于混合入侵检 测系统。 4 网络节点入侵检测n e t w o r k - - n o d ei n t r u s i o nd e t e c t i o n 。网络节点入侵 检测是针对传统n i d 的固有缺陷而发展来的。网络节点入侵检测将包拦截技 术的对象从电缆转移到主机。在网络节点入侵检测中，抓包动作发生在数据包 到达最终目标主机后进行，然后对包进行分析，看起来好像就是常规的抓包。 这个方案基于以h i d 为中心的假设。即关键主机都采用h i d s 。在这里，网络 节点只是附加在h i d s 上面的一个代理。网络节点入侵检测的缺点在于他只检 查到达驻留主机的数据包。传统n i d 可以监视整个子网的数据包。网络节点 入侵检测的优点在于可以抵御复杂网络环境下针对特定主机的包攻击，传统的 n i d 是无能为力的，但是网络节点入侵检铡与n i l 3 一样是基于抓包的思想。 1 2 3 入侵检测的方法和技术 虽然以上列举了多种1 d s 的分类，但是它们采用的方法和技术通常由误用 检测( 也称为特征检测，m i s u s ed e t e c t i o no rs i g n a t u r ed e t e c t i o n ) 和异常检测 ( a n o m a l yd e t e c t i o n ) 组成。 哈尔滨理工大学工学硕士学位论文 基于特征的入侵检测系统( s i g n a t u r e - b 船ei d s ) ，必须从一个或多个网络 数据包中提取出特征的模式。如果发现这些模式中有与已知模式相匹配，检测 系统就能检测出攻击的发生。但既然它只能鉴别已知的模式，基于特征的系统 就不能检测新型的攻击。同时，对特征的错误理解会产生误报。特征可以通过 多种方法取得，从手工提取特征到用传感器进行自动训练或学习取得。因为一 个特征是从一种已知的攻击抽象而来，对基于特征的测试器来说相对容易鉴别 出攻击的类型。当前基于特征的入侵检测分析工具在特定情形下比较有用，但 因不能测试新型的攻击模式，它们不能提供一个完全的入侵检测解决方案。 基于异常的入侵检钡9 系统( a n o m a l y b a s e di d s ) ，是基于以下思想：正常 工作下的系统有以“基准”，例如c p u 利用率、磁盘活动、用户注册、文件活 动等等。一旦偏离这一“基准”检测系统就被触发。基于异常的检测器把正常 的系统环境当作没受干扰的噪声。异常检测的主要优点是能识别新的攻击。但 正常的操作产生的变化会导致误报，而入侵行为表现为正常而导致漏报。而且 系统很难确定攻击的类型。 1 3 存在的问题及发展趋势 1 3 1 存在的问题 目前基于网络的i d s 被人们讨论的最多，似乎它代表i d s 的发展潮流。而 事实上入侵检测系统与理想还有非常大的差距。n i d 的问题表现如下。 1 i d s 达不到检测所有的数据包随着大量的高速网络技术如a t m 、千 兆以太网、g 比特光纤网等在近几年内不断出现，在此背景下的各种宽带接入 手段层出不穷，其中很多已经得到了广泛的应用。而网络基础设施建设的飞速 发展预示着下一代网络必然是高速宽带网，n i d s 在高速网络环境下数据处理 和分析能力会显著降低，这无疑是n i d s 的个致命伤。n i d s 的制造商曾考 虑过负载平衡，但负载平衡只能是一个辅助手段，因为一方面开销加大，另一 方面其稳定性并不可靠。在最近的由m i e r c o m 进行的实验室评测中，i n t r u s i o n 的s e c u r e n e tg i g 在6 9 0 8 6 mb i t s e c 的数据流量时可以检测到9 8 的攻击，在 7 8 9 6 m b i t s e e 的数据流量时检测到8 8 的攻击，而在9 8 6 9 4 m b i t s e c 的流量下 只能检测4 4 的攻击，另2 家参评的g i g a b i t1 d s ( 具有1 0 0 0 mb p s 以上的处 理能力的i d s ) 制造商i s s 和e n t c r a s y sn e t w o r k s 也有同样的不足。目前，i s s 声称他们的产品已经可以工作在6 0 0 mb i t s e e 的网络环境下，并正在研制新型 哈尔滨理工大学工学硕士学位论文 的高速传感器以期望突破这些限制。但是这离g i g a b i ti d s 的目标还有不小的 差距。 目前国内市场已经有几款基于干兆以太网环境的入侵检测系列的产品，但 是其性能指标还远未成熟，广泛宣传的千兆i d s 必然存在着鱼目混珠m 。 2 交换网络和加密网络问题最近，c i s c o 发布了一款用于c a t a l y s t6 0 0 0 系列交换机的入侵检测模块，它可以将网络入侵检测直接植入交换机中，这样 就克服了第一个缺陷。另外，基于网络的入侵检测系统在处理加密的会话过程 时较困难，目前通过加密通道的攻击尚不多，但随着i p v 6 的普及，这个问题 会越来越突出。产生差距的原因在于：入侵检测的基础并非严格的理论证明， 而是依赖于已有的经验；虽然有很多用于入侵检测的方法，但是如何将这些方 法成熟地用于入侵检测是一个很大地挑战。 3 攻击特征库更新不及时绝大多数的入侵检测系统都是用模式匹配的分 析方法，这要求攻击特征库的特征值应该是最新的。在如今每天都有新漏洞发 布、每天都有新的攻击方法产生的情况下显然不能满足安全需求。 4 结构存在问题现在的很多入侵检测系统是从原来的基于网络或基于主 机的入侵检测系统不断改进而得来的，最初的入侵检测采用集中式的检测方 法，对收集到的网络数据进行集中地处理，这种方法的缺点是如果一点被击 破，则全线崩溃，在体系结构等方面不能满足分布、开放等要求。 1 3 2 基于网络的入侵检测系统发展趋势 在研究了n i d s 的历史后，接着研究下n i d s 在的发展趋势。 1 采用分布式的思想大规模网络环境中的入侵检测，如果基于网络进 行，则由于网络中的数据量太大，集中式的中央处理无法胜任；如果基于主机 进行，则由于异构机的操作系统( o s ) 、提供的服务、审计记录的格式等都不 相同，在每台需要保护的主机上进行检测代价太大，且实时入侵检测会极大地 影响系统的性能口1 。 后来便引入了分布式的思想。对于分布式又有不同的理解，分为数据收集 的分布和数据处理的分布两大类。 早期采用的方法是采用多观察点加中央分析的方法；即在需要监 9 1 i l 的主机 上放置数据收集和预处理组件，将收集到的数据转换成统一的格式再送到中央 分析单元处理，如n i d e s ( n e x tg e n e r a t i o ni n t r u s i o nd e t e c t i o ne x p e r ts y s t e m ) 、 d i d s 等都采用了这种方法。 哈尔滨理工大学工学硕士学位论文 当前流行的趋势是采用多个自治a g e n t n ，如j a m 及p u r d u e 大学的研究即 是采用多个自治a g e n t 利用自身的检测能力及a g e n t 间的相互通信来协作完成 入侵检测任务。这些自治a g e n t 可以是异构的，可以用不同的技术和算法( 如 基于规则、基于统计、基于神经网络等) 来实现1 ”1 ，从而提供i d s 在体系结构 上的可扩展性和实现上的灵活性。 2 单点无极限在采用分布式、并行等技术的同时，研究者们也在追求单 节点的性能无限扩展。这样可以相当大的节省成本，有利于技术的产业化。 提高单点的性能可以从以下几个方面入手： ( 1 ) 构建高性能的捕包平台。传统的捕包技术在单点上并没有发挥出网卡的 全部潜力，出现大量丢包1 1 1 。高性能捕包平台的目标就是发挥网路设备的全部 潜能，减少丢包率，提高捕包性能。 ( 2 ) 开发并行协议栈。在一些对称多处理( s y m m e t r i cm u l t i p r o c e s s i n g ，简 称s m p ) 架构的处理机上，由于操作系统调度算法的局限性，某个数据包进 入系统协议栈后的处理往往只在一个c p u 上进行，即使底层有再高的捕包速 度，协议栈的处理也只能跑满其中的一个c p u ，其他c p u 的利用率几乎为 零。如果采用并行协议栈的思想，然后仍旧采用操作系统的调度策略，就能够 将多个协议栈分到不同的c p u 上运行，这样就极大的提高了c p u 的利用率， 为上层更复杂的处理节省时间。 ( 3 ) 高效的上层分析算法。当解决了底层的捕包性能和c p u 的利用问题 后，面向大规模高速网络的入侵检测系统面临的瓶颈就是上层的分析处理速度 了，需要研究更高效率的算法。 ( 4 ) 精简和改进操作系统的内核。内核中有很多入侵检测系统不需要的服 务和进程，浪费了宝贵的系统资源可以将其精简。对于操作系统的调度算 法、协议栈等可以研究改进的方法，以更适合我们的应用系统。 ( 5 ) 硬件方面。主要在于开发高性能的网络接口，兼容性好的s m p 架构等 等。 1 4 课题来源及研究内容 随着信息战理论的提出和网络安全问题的日益突出，我国的政府也认识到 保证网络安全的重要性和迫切性。因此十分重视网络安全的研究工作。这个课 题源于北京市朝阳区政府电子政务网络安全系统的大型项目。该项目的工作初 期对整个电子政府网进行安全评估，提出可行性网络安全解决方案，然后将整 哈尔滨理工大学工学硕士学位论文 体项目划分为入侵检测系统，防火墙系统，数字认证等1 3 个子项目。 本论文旨在： ( 1 ) 提出高速网络环境下入侵检测系统的整体框架。 ( 2 ) 分析入侵检测系统在当今高速网络环境下面临的瓶颈。 ( 3 ) 分析解决底层的捕包问题后，分析上层的检测瓶颈，并加以改进。 ( 4 ) 应用基于计算机系统公共弱点风险( c o m m o nv u l n e r a b i l i t i e sa n d e x p o s u r e ，简称c v e “】) 的入侵检测专家系统规则库。该数据库设计于2 0 0 2 年，属于保障国家信息网络空间安全战略规划首批启动项目计算机系统 公共弱点风险( c v e ) 数据库和哈尔滨市科技攻关项目计算机系统漏洞 数据库。 其中第二、第三点是本文研究的熏点。我们将在第二章介绍入侵检测系统 的整体结构和组成及各部分间的数据流程。第三章详尽介绍如何解决高带宽下 入侵检测的解决技术。第四章介绍现有的计算机系统公共弱点风险规则库的 结构及应用。第五章对该系统提出的改进技术进行性能测试，证明系统可行 眭。 哈尔滨理工大学工学硕士学位论文 第2 章高速网络入侵检测系统总体结构研究 2 1n i d s 网络 基于网络的入侵检测系统需要更改网卡( n e t w o r ki n t e r f a c ec a r d ，简称 n i c ) 的工作模式。一般来说n i c 是非混杂模式，只接收那些发往它自己 m a c 地址的数据包，并将数据包传给协议栈进行分析。其他的数据包将被忽 略。而为了检测网络的全部通信，需要接收全部的网络数据包，然后送到协议 栈进行分析。所以网卡要工作在混杂模式( p r o m i s c u o u sm o d e ) 。在混杂模式 下，n i d s 可以监听网络节点中全部的通信。当然单单n i d s 具有监控网络的 能力还不够。同时还需要接入层设备将网络的全部数据包发往n i d s 。如果数 据接入设备是集线器( 删b ) ，由于集线器的广播模式会自动将数据发往各个 接口。如果数据接入设备是交换机，需要将与交换机相连的接口改成监控模式 1 3 1 。 如图2 1 所示，描述了一个使用了三个n i d s 监控网络通信的标准网络边 界安全拓扑结构。 图2 - 1 标准的网络边界安全拓扑结构 f i g 2 - 1as t a n d a r dp e r i m e t e rs e c u r i t yn e t w o r kt o p o l o g yp r o t e c t e db yn i d s s 哈尔滨理工大学工学硕士学位论文 2 2n i d s 在高速网络下面临的技术瓶颈 在当今倡导的“百兆桌面”的思想下，如图2 1 可想象整个网络的数据通 信是如何的庞大，先研究一下在高速网络下传统基于网络的入侵检测检测系统 有那些速度瓶颈。 1 系统软硬件平台的本身处理能力构成瓶颈国内入侵检测系统大都基于 p c 架构，u n i x 平台，从c p u 频率、系统处理能力都存在瓶颈。而对于入侵检 测常常要对相互关联多个报文进行按序处理，无法像防火墙采用并行处理的方 式，即需串行处理报文，导致n p ( n c t w o r kp r o c e s s o r ) 技术应用存在一定困难。 同时i d s 规则库升级、配置变动比较频繁，采用固化到硬件电路a s i c 等方式 的硬件i d s 不够灵活，成本高。 2 传统获取数据包方式耗费资源影响性能大多数n i d s 是使用通用的包 获取库来获取网络上的报文，例如s n o n 【“坪4 用l i b p c a p 库。l i b p c a p 库几乎是包 获取的一个标准了，它从网络上截获数据包，并且己被广泛地应用于各种与协 议解码相关的程序。l i b p c a p 库对于大部分应用来说是很好的，但是它对于应用 到n i d s 这样要求高速地数据获取，它的效率并不能满足需要。同时传统网卡 工作方式依靠从网络上抓包，再从网卡拷贝到上层系统，拷贝过程也要大量占 用c p u 资源，造成了整体性能下降。 3 基于特征匹配的检测方式随着规则增多性能下降目前实际应用的入侵 检测系统通常是基于特征逐条匹配的检测方式，即通过已知攻击方式预先设定 入侵规则，已构建规则特征库。基本流程是捕获数据包，数据包解析，入侵特 征匹配，然而随着数据流量的增大，攻击方式的复杂多样化，不得不增多入侵 规则条目而使系统的处理负荷线性增加，结果是对一些攻击行为不能及时识别 做出响应，漏报问题显著。 4 协议分析模块的速度瓶颈传统方式协议分析模块由于不保存通讯协议 的状态，需要对每一报文进行大量的分析来确定一个报文的真实含义。这样需 要消耗大量的c p u 时间。 哈尔滨理工大学工学硕士学位论文 2 3 系统整体设计 2 3 1 设计策略 基于网络的入侵检测系统是通过监视网络数据来收集信息，判断入侵行 为。一个具有实时性要求的网络安全工具，首先本身必须是一个安全的应用程 序，不能因为它的引入而给系统带来其他的安全问题；其次应当具有合理的系 统结构来保证检测的实时性和有效性，同时要充分考虑实际应用环境高速网络 的需求，基于这些考虑，该系统的设计原则和策略如下： ( 1 ) 运用模块化构件思想，同时参考分布式入侵检测的思想，保证系统能够 成功扩展成分布式入侵检测系统。 ( 2 ) 尽量减少对系统和网络性能的影响和资源占用；并不能向宿主计算机系 统以及其计算机网络环境中引入新的安全问题及安全隐患。 ( 3 ) 能在高速网络环境下保证数据采集的完整性。 ( 4 ) 系统采用基于特征的入侵检测技术，所以需要高效的模式匹配技术来解 决检测的瓶颈。 ( 5 ) 规则库的丰富程度。对于基于特征的入侵检测系统，只有具备完备的规 则库，才能检测到尽可能多的攻击，才能将攻击事件的错误与漏报能够控制在 一定的范围内。 2 3 2 系统设计 针对高速网络环境下入侵检测系统面临的问题，从数据的采集到处理，和 规则库的设计都需要进行改进。下面先介绍系统的结构设计图，然后分别介绍 在各个部分的相应改进。系统的数据流程如图2 - 2 所示。 捕包和分析作为一个整体的网络检测单元，这样在未来面临分布式入侵检 测系统时可以将这部分改进成为a g e n t 。 塞玺鎏垩三盔兰三兰鎏圭兰堡兰兰 ：! ! ：。：。：m 一 酣 图2 2 基于网络的入侵检测系统设计圈 f i g 2 - 2t h ea r c h i t e c t u r eo f n i d s 1 捕包模块进行报文捕获就是将某个网络设备看到的数据报文完整的收 集起来。然后对其进行分析、过滤等处理，送往上层协议分析模块作进一步的 应用。通过减少数据拷贝次数，简化协议处理的层次，在应用和网络间提供更 快的数据通路，可以有效地降低通信延迟，增加网络吞吐率。在第三章第一节 将对捕包过程进行详细的介绍。 2 协议分析模块协议分析模块是对传统模式匹配技术的改进，其功能是 辨别数据包的协议类型，以便上层的数据分析模块来检测数据包。可以把所有 的协议构成一棵协议树，一个特定的协议是该树结构中的个结点，可以用一 棵二叉树来表示。如图2 3 所示。一个网络数据包的分析就是一条从根到某个 叶子的路径。在程序中动态地维护和配置此树结构即可实现非常灵活的协议分 析功能。在该树结构中可以加入自定义的协议结点，如在h t r p 协议中可以把 请求u r l 列入该树中作为一个结点，再将u r l 中不同的方法作为子节点，这 样可以细化分析数据，提高检测效率。树的结点数据结构中应包含以下信息： 该协议的特征、协议名称、协议代号，下级协议代号，协议对应的数据分析函 数链表。协议名称是该协议的唯一标志。协议代号是为了提高分析速度用的编 号。下级协议代号是在协议树中其父结点的编号，如t c p 的下级协议是i p 协 议。协议特征是用于判定一个数据包是否为该协议的特征数据，这是协议分析模 块判断该数据包的协议类型的主要依据。数据分析函数链表是包含对该协议进 = 宝玺鎏耋三查兰三兰鎏圭兰竺丝兰 行检测的所有函数的链表。该链表的每一结点包含可配置的数据，如是否启动 该检测函数等。 根 图2 - 3 协议树示意图 f i g 2 - 3t h en e t w o r kp r o t o c o lt r e e 3 数据分析模块对数据的分析采用模式匹配技术。所有的攻击方法被表 示为模式信号存放在入侵特征规则库中，当前的数据如果和规则库中某种特征 匹配，就指出这是这种入侵行为。如发现一个h t t p 请求某个服务器上的 “c g i b i n p h f ”，这很可能是一个攻击者正在寻找系统的c g i 漏洞。在高速流量 下，单纯的单条规则匹配报文的匹配效率提高也不能完全适应其要求，特别是 现在的入侵检测的规则模式在不断增加，对每一个数据包其可能要匹配的次数 也在不断增加，因此其性能也无法完全满足。真正的高效是要结合“匹配算 法”和“规则结构”，做到匹配效率和规则数量的无关性，甚至规则越多，效 率越高。在一点上我们改进了传统入侵检测系统常用的b o y e r m o o r e 6 】算法， 采用的a cb m 多模匹配算法。在第三章的第三节将对此详细介绍。 4 规则库及分析模块利用已有的基于计算机系统公共弱点风险的入侵 检测系统规则库进行异常行为检测。该规则库是符合我国实际的权威、完备的 漏洞库。符合国家信息产业的发展需要，并且有专业的人员进行更新维护，解 决了规则库的更新问题，是理想的规则库解决方案。规则库管理人员只进行规 则的管理而不用考虑其他的工作，规则库的分析工作由规贝u 分析模块完成。 5 响应模块响应模块是当检测系统检测到异常的时候做出来的响应。响 哈尔滨理工大学工学硕士学位论文 应的方式有很多种，譬如：日志管理。用e m a i l 发送管理员进行处理等等。在 本文中响应模块的设计不作为研究的重点。 2 4 本章小结 本章介绍了n i d s 的典型拓扑结构，总结了传统n i d s 在高速网络环境下 面临的技术瓶颈。然后设计了一种面向高速网络的入侵检测系统，从捕包模 块，协议分析模块，数据分析模块到规则库等几个方面进行了数据流的分析， 并提出了各个部分针对高速网络环境下的主要应用技术。 在下一章中，我们将给出包括捕包，协议分析，数据分析三个部分的网络 检测单元的具体实现。 堕堡鎏竺三查兰三兰堡圭兰堡鎏三。， 第3 章网络检测单元设计实现 3 1 基于零拷贝技术的捕包模块 3 1 1 传统的捕包方式及危害 u n i x l i n u x 下传统的捕包使用代表函数库l i b p c a p 。w i n d o w s 下的捕包常 见的以w i n d u m p 和w i n p c a p 。这几类操作系统的报文捕获原理大致如下，参 见图3 - 1 所示。图中的百分数代表这一过程占用的时间百分比。 ( 1 ) n 络接口收到一个以太数据帧，向内核发出一次硬件中断。 ( 2 ) c p u 转到网卡驱动程序中的中断处理部分，取得某内核缓冲区的地 址，设置好d m a 传输的目的地址、传输字节数等信息。 ( 3 ) 网卡通过d m a 方式将自己接收环上的一个数据包送到刚才获得的内核 缓冲区地址。 ( 4 ) 中断处理程序发现d m a 传输完毕，便将内核中的数据包挂入系统的 s kb u f f e r 队列，同时进行校验和的计算，剥以太包头等相关操作，最后置进 行中断下半部分处理的标志位，返回