（计算机应用技术专业论文）入侵检测技术中的深度数据包检测.pdf

摘要 近些年来，随着网络的普及，由此产生的网络安全问题日益严峻，入侵检测技术己 经成为计算机与网络安全的重要组成部分，因此研究这一方面的问题已经成为保证计 算机系统的安全的关键。 本文首先介绍了入侵检测技术和入侵检测系统，使之对入侵检测技术有一定的了 解。同时提出了数据包检测的必要性。 本文在入侵检测上采用的就是数据包检测的方法。数据包检测与分析作为一种主 动防御型安全技术，可以弥补传统安全技术的不足。要对数据包进行检测，首先要捕 获数据包，接着就介绍了在w i n d o w s 下如何捕获数据包的。因为系统设计的时候需 要进行字符串的匹配知识，因此介绍了字符串的匹配算法，并在此基础上提出了改进 的b m 算法，接着本文又介绍了系统设计与实现。 关键词：入侵检测数据包捕获数据包分析 a bs t r a c t r e c e n ty e a r s ，谢t ht h en e t w o r kp o p u l a r i z a t i o n ，t h es e c u r i t yq u e s t i o no fn e t w o r ki sm o r e a n dm o r es e r i o u s i d t ( i n t r u s i o nd e t e c t i o nt e c h n o l o g y ) b e c o m e si m p o r t a n tp a r to ft h e c o m p u t e ra n dn e t w o r ks e c u r i t y s ot h es t u d yi nt h i sf i e l dh a sb e c o m et h es e c u r i t yo ft h ek e y f o rac o m p u t e rs y s t e m i nt h i st h e s i si ti n t r o d u c e di d ta n di d sa tf i r s tw h i c hw ek n o wa b o u ti d t t h e ni t i n d i c a t et h a ti ti sn e e df o rd a t ep a c k e ti n s p e c t i o n t h em e t h o do fd a t ap a c k e ta n a l y s i sw a su s e di ni n t r u s i o n d e t e c t i o na tt h i st h e s i s p a c k e t i n s p e c t i o na n da n a l y s i so ft h ei n i t i a t i v ea sad e f e n s i v es e c u r i t yt e c h n o l o g y , c a nm a k eu pf o r t h es h o r t c o m i n g so ft r a d i t i o n a ls e c u r i t yt e c h n o l o g y i fw ew a n tt ot e s tp a c k e t s ，w ew i l lh a v e t oc a p t u r ep a c k e t s t h e ni td e s c r i b e dh o wt oc a p t u r ed a t ap a c k e ti nw i n d o w s w h e l l s y s t e mi sd e s i g n e d , i tn e e dt h ek n o w l e d g es t r i n gm a t c h s oi t i n t r o d u c e ds t r i n gm a t c h i n g a l g o r i t h m s a tt h es a m et i m ei tp u t sf o r w a r dn e wr e f o r m i n gb ma l g o r i t h m so nt h eb a s i so f b ma l g o r i t h m s i ti n t r o d u c e dt h ed e s i g na n dr e a l i z a t i o no fs y s t e m k e yw o r d s ：i n t r u s i o nd e t e c t i o n p a c k e th e c a p t u r ep a c k e ta n a l y s i s 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，入侵检测技术中的深度数据包 的检测是本人在指导教师的指导下，独立进行研究工作所取得的成果。除 文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名： 盟年月匿日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使 用规定 ，同意长春理工大学保留并向中国科学信息研究所、中国优秀博硕士学位论文 全文数据库和c n k i 系列数据库及其它国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇 编学位论文。 作者签名：圣l 挝鱼 导师签名： 卿 盟年月丝日 平娃廊 1 1 引言 第一章绪论 随着计算机网络的不断发展，电子银行、电子商务、电子政务、远程教育、网络 虚拟社区等已经走进人们的生活。计算机网络在政治、军事、经济、工业、商业、交 通、电信、教育等方面的应用也越来越广泛，社会对网络的依赖也越来越大，全球信 息化已经成为必然的趋势。但是由于计算机具有连接形式多样化、终端分布不均匀和 网络的开放性等特征，导致了网络容易受到黑客和恶意软件的攻击，所以网上信息的 安全和保密就成为一个至关重要的问题。 顺应这种安全需求，就涌现出了很多的网络安全技术，如网络防火墙、病毒检测、 密码技术、身份验证技术等。但是，由于网络都存在着人为的一些脆弱性和潜在的安 全漏洞，所以还是有很多的服务器在不能及时检测和预防的情况下被攻击，导致了巨 大的经济损失。于是有人提出了主动的网络安全防御体系，网络入侵检测系统就是其 中的代表。所以针对网络入侵检测的研究就自然成了国内外研究机构关注的热点。 网络入侵检测系统首先通过在计算机网络或系统中的若干关键点收集信息并对收 集到的信息进行分析，判断网络或系统中是否有违反安全策略的行为和被攻击的迹象， 然后根据分析结果采取决策并做出适当的响应。入侵检测作为一种积极主动的安全防 护技术，提供了对内部攻击、外部攻击和误操作的实时保护，在网络系统受到危害之 前拦截和响应入侵。从网络安全立体纵深、多层次防御的角度出发，入侵检测理应受 到人们的高度重视，这从国内外入侵检测产品市场的蓬勃发展就可以看出。本文就是 在这种形式下提出在入侵检测中通过对捕获到的数据包进行分析，来保证系统的安全。 1 2 入侵检测技术发展的现状 自2 0 世纪8 0 年代被提出以来，入侵检测技术得到了极大的发展，国内外已经开 发出了适用于不同操作系统以及不同环境的入侵检测产品。下面介绍入侵检测的发展 现状。 人侵检测技术是动态安全技术的核心技术之一，其核心技术至今已经历了三代。 第一代：主机日志分析、模式匹配技术。第二代：网络数据包截获、主机系统的审计 数据分析，基于网络的i d s ( 入侵检测系统) 和基于主机的i d s 的明确分工和合作技 术。第三代：协议分析、行为异常分析技术。 对i d s 从布局、采集、分析、响应等各个层次及系统性方面的问题，目前国内一 般采用控制策略、同步技术、信息源、分析方法和响应方式等五类标准进行分类研究【l 】。 基于控制策略分类：基于控制策略i d s 可以划分为集中式i d s 、部分分布式i d s 和全 分布式i d s 。在集中式i d s 中，一个中央节点控制系统中所有的监视、检测和报告。 在部分分布式i d s 中，监控和探测是由本地的一个控制点控制，层次似地将报告发向 一个或多个中心站。在全分布式i d s 中，监控和探测是使用一种叫“代理的方法， 代理进行分析并做出响应决策。 基于同步技术分类：基于同步技术i d s 划分为实时连续型i d s 和间隔批任务处理 型i d s 。实时连续型i d s 指一些系统以实时或近乎实时的方式持续地监控从信息源检 测来的信息。间隔批任务处理型i d s 指一些系统在收集到信息之后要隔一定的时间才 对其进行处理。 基于信息源分类：基于信息源i d s 通常分为基于主机的i d s 、基于网络的i d s 和 分布式i d s 。基于主机的i d s 通过分析来自单个计算机系统的系统审计踪迹和系统日 志来检测攻击。基于网络的i d s 是在关键网段或交换部位通过捕获并分析网络数据包 来检测攻击。分布式i d s 能够同时分析来自主机系统日志和网络数据流，系统由多个 部件组成，采用分布式结构。 基于分析方法分类：基于分析方法i d s 划分为滥用检测型i d s 和异常检测型i d s 。 滥用检测型的i d s 中，首先建立一个对过去各种入侵方法和系统缺陷知识的数据库， 当收集到的信息与库中的原型相符合时则报警。异常检测型i d s 是建立在如下假设的 基础之上的，即任何一种入侵行为都能由于其偏离正常或者所期望的系统和用户活动 规律而被检测出来。 基于响应方式分类：基于响应方式i d s 划分为主动响应i d s 和被动的响应i d s 。 主动响应主要是对被攻击系统实施控制，通过调整被攻击系统状态来阻止或减轻攻击。 被动的响应只发出告警通知给管理员，不会降低所造成的破坏和对攻击者采取反击行 动。 1 3 本文研究的内容和意义 1 3 1 本文研究的内容 1 介绍了信息安全问题对经济发展、国家安全和社会稳定的重要意义和巨大影响。 分析当前计算机网络系统的安全现状以及现有网络安全技术的特点，提出了把数据包 检测技术应用在入侵检测技术中。 2 介绍了入侵检测技术与入侵检测系统，及入侵检测方法，又介绍了深度包检测 技术。 3 实现了对数据包捕获。因为要对系统做入侵检测，首先要把网络中的数据包捕 获下来，才能分析该数据包。因此数据包捕获效率将直接影响到能否及时和准确地发 现入侵或异常。本文采用的是在w i n d o w s 下使用w i n p c a p 来捕获数据包。 4 对数据包检测中用到的算法的进行了分析与研究。先介绍了字符串匹配技术的 应用与研究现状，继而研究了b m 算法，并对b m 算法进行了改进。 2 5 设计出了数据包检测系统。本系统在传统入侵检测技术之上添加了对应用层的 深度包检测。 1 3 2 本文研究的意义 2 0 世纪9 0 年代以来，全球信息网络技术高速发展，信息已经成为社会发展的重要 战略资源。与此同时，网络安全问题日益突出，引起了广泛关注。随着网络安全事件 的不断发生，用户的安全防范意识也有所增强，要求构建网络安全防范体系，加强网 络安全。 网络安全涉及到网络的方方面面。与网络相关的各种技术在时间和空间上的延伸， 使网络发展成为一个非常复杂的环境。网络安全基本上是个实践性的技术领域。近 年来，网络安全的研究热点基本上是按以下顺序发展的【2 】： 1 防火墙技术的研究：在网络边界保卫内部网； 2 v p n 技术的研究：连接分散的内部网，完成内部网外延的扩大，与防火墙技术 结合比较紧密； 3 认证p 技术的研究：进一步扩大内部网的外延，同时建立广义的信任关系。 4 入侵检测技术的研究。 可以看出，除了入侵检测技术之外，其他几项都是立足于静态防御。这些静态防 御技术是以牺牲用户的方便性为前提的，与网络的开放、共享不相容；而且，这些静 态防御技术都是被动的，总的来说，都是保护系统的各个进出口，隔离入侵者与重要 数据、机密信息的联系。如果没有一个能够主动监控和跟踪入侵的系统，网络安全是 不完整的。 入侵检测系统就是针对上述问题而提出的。入侵检测是一种主动防御技术。它不 仅能够检测对来自本地网之外的入侵，而且能够检测来自本地网内部的攻击和合法用 户的非法操作。如果与防火墙等静态防御技术相结合，构建多层次的防范体系，将能 够及时、有效地发现攻击、做出响应。入侵检测作为安全技术的主要目的有：( 1 ) 识别 入侵者；( 2 ) 识别入侵行为；( 3 ) 检测和监视己成功的安全突破；( 4 ) 为对抗措施及时提供 重要信息。 近年来，随着攻击技术的不断发展，国内外的研究人员越来越清楚地认识到入侵 检测系统将弥补传统安全保护措施的不足，在整个网络安全防范体系中占有重要地位。 相对来说，开发具有自主知识产权的入侵检测系统当然具有十分重要的意义。 互联网发展也取得了令人瞩目的成绩。网络面临的安全威胁日益严重。据美国 金融时报 报道，现在平均每2 0 秒就发生一次计算机网络入侵事件，超过1 3 的互联 网防火墙被攻破。在全球范围内，由于信息系统的脆弱性而导致的经济损失，每年达 数亿美元，并且呈逐年上升的趋势。能否成功阻止网络黑客的入侵、保证计算机和网 络系统的安全和正常运行，已经成为各个企业、政府、军事部门和国家能否成功发展 3 的关键性问题。同时通讯等各方面的作用也日益扩大，社会对网络的依赖性也日益增 强。在人们进行资源共享的同时，也感受到信息安全问题日益突出，当今网络犯罪日 益严重，网络安全问题已经引起国家机关，企业以及个人用户的充分重视。 保障网络信息系统安全已成为国家与国防安全的重要组成部分。计算机与互联网 科技的不断创新与升级，尤其是电子政务、电子商务、家庭信息化以及军事信息战等 诸多新概念和新领域的提出与应用，正深刻地改变着传统社会的运行模式，时刻影响 着全球各国在政治、经济和军事等方面的战略决策。信息网络设施和资源对于国家、 企业和个人的重要性日益增强，在不断改变人们传统的生活、工作与学习方式的同时 也带来了新的问题和挑战。人类社会网络信息化程度日益增加，对网络依赖性日益增 强，如何能够保证信息化社会的正常、安全、平稳地运转，其中信息网络的安全性是 最重要的环节之一，必须不断地得到充实、强化和提高。 目前，网络互联领域的广度和深度不断扩展，开放特性不断深化，而国民经济各 部门和领域的相继介入，造成越来越多的网络系统面临攻击和入侵的威胁。随着计算 机网络技术的普及和深入发展，加速了全球信息化的进程，促进了社会各个领域的发 展，对网络的依赖越来越大，但随之计算机网络却受到越来越多的恶意攻击，网络安 全问题也日益明显，入侵检测作为一种积极主动防御技术，是继访问控制，密码技术， 身份识别和认证，审计和防火墙等传统安全保护措施后的新一代安全保障技术，提供 了对内部攻击，外部攻击和误操作的实时保护，在网络系统受到危害之前拦截和响应 入侵，弥补了传统安全技术的不足。没有网络信息安全，就没有完全意义上的国家安 全，也没有经济安全和军事安全。如何争取在信息社会的竞争中取得主动权，保护国 家信息安全，是刻不容缓的。同时使用入侵检测技术能够实现对包括q q 、m s n 、 s k y p e 、b t 等任何p 2 p 软件的流量阻隔。因此，研究基于网络的计算机系统对入侵事 件的识别问题具有重要的现实意义。综上所述，致力于入侵检测技术的研究具有非常 重要的社会意义和现实意义。 一方面网络感染病毒、遭受攻击的速度日益加快，另一方面网络对攻击的识别比 较困难。在深入研究了入侵检测技术以后，提出了一种识别攻击的方法深度数据 包检测。通过深度数据包检测，使网络运行的更安全、更可靠，以至尽可能的减少黑 客对网络攻击所造成的损失，达到网络中的计算机能够安全的运行。因为计算机只有 识别了入侵事件，才能选择有效的方法去处理入侵事件。 入侵检测将会有新的应用环境。如：下一代i p v 6 互联网工中的网络安全防护和安 全操作系统之间的协作、对各种加密信息的识别和应用等都需要不断地改进。入侵检 测技术将随着社会的新需求不断发展提高。 4 第二章入侵检测概述 当越来越多的公司将其核心业务向互连网转移的时候，网络安全作为一个无法回避的 问题呈现在人们面前。传统上，公司一般采用防火墙作为安全的第一道防线。而随着攻击 者知识的日趋成熟，攻击工具和手法的日趋复杂多样，单纯的防火墙策略已经无法满足对 安全高度敏感部门的需要，网络的防卫必须采用一种纵深的、多样的手段。与此同时，当 今的网络环境也越来越复杂，各种各样的复杂设备，需要不断的升级、补漏洞的系统使得 网络管理员的工作不断加重，不经意的疏忽就可能造成重大的安全隐患。在这种情况下， 入侵检测系统成为了安全市场上的新热点，不仅受到人们高度的关注，而且已经开始在各 种不同的环境中发挥其关键作用。 2 1p d r 模型 p d r 模型最早由i s s 公司提出，后来出现了很多变种，这里介绍的可以称作p p d r 模 型，包括策略( p o l i c y ) 、防护( p r o t e c t i o n ) 、检测( d e t e c t i o n ) 、响应( r e s p o n s e ) ，关系 如下图所示【3 1 。 图2 1p p d r 入侵检测模型图 策略是这个模型的核心，意味着网络安全【4 】要达到的目标，它决定了各种措施的强度。 安全性的提高是伴随着用户舒适度和系统性能的降低的，因而策略的制定要按照需要进 行。其它几个方面是围绕着策略进行的。防护是安全的第一步，是检测与响应的结果；检 测是适应网络动态变化而实时发现网络不安全因素的手段；响应是i d s 根据检测结果做出 的入侵防范反应。整个模型是一个动态的、螺旋上升的过程，经过了一个p d r 循环之后， 进行防护的水平会得到提高。 2 2 入侵检测系统与入侵检测技术的发展 2 2 1 入侵检测技术与系统 入侵检测( i n t r u s i o nd e t e c t i o n ) 的英文缩写i d 。1 9 8 0 年，j a m e s a d e r s o n 【5 】使用“威胁” 这个术语，其定义与入侵含义相同，将入侵企图或威胁定义为未经授权蓄意尝试访问消息、 窜改消息、使系统不可靠或不可使用。1 9 9 0 年，h e a d y l 6 1 给出了另外的定义，入侵是指任 何企图破坏资源的完整性、机密性及可用性的活动集合。s m a h a t t l 从分类角度指出入侵包 括尝试性闯入、伪装攻击、安全控制系统渗透、泄漏、拒绝服务、恶意使用六种类型。权 威机构公认的网络入侵检测定义总结如下：网络入侵检测是一种动态安全防护技术，通过 对计算机或计算机系统中若干关键点的消息进行收集、分析，从中发现网络或系统中是否 有违反安全策略的行为或攻击迹象，提供对内部、外部攻击和误操作的实时保护，在网络 系统受到危害前拦截和响应入侵。对各种事件进行分析，从中发现违反安全策略的行为是 入侵检测系统的核心功能。从技术上，入侵检测分为两类：一种基于标志( s i g n a t u r e b a s e d ) ， 另一种基于异常情况( a n o m a l y b a s e d ) 。对于基于标识的检测技术来说，首先要定义违背 安全策略的事件的特征，如网络数据包的某些头信息。检测主要判别这类特征是否在所收 集到的数据中出现。此方法非常类似杀毒软件。而基于异常的检测技术则是先定义一组系 统“正常”情况的数值，如c p u 利用率、内存利用率、文件校验和等( 这类数据可以人 为定义，也可以通过观察系统、并用统计的办法得出) ，然后将系统运行时的数值与所定 义的“正常”情况比较，得出是否有被攻击的迹象。这种检测方式的核心在于如何定义所 谓的“正常”情况。 两种检测技术的方法、所得出的结论有非常大的差异。基于异常的检测技术的核心是 维护一个知识库。对于已知的攻击，它可以详细、准确的报告出攻击类型，但是对未知攻 击却效果有限，而且知识库必须不断更新。基于异常的检测技术则无法准确判别出攻击的 手法，但它可以( 至少在理论上可以) 判别更广范、甚至未发觉的攻击。实现入侵检测的 软件与硬件的组合就是入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，i d s ) 。 形象的说，i d s 就是智能网络监视器，能够捕获并记录网络上的所有数据，分析网络 数据并提炼出可疑的、异常的网络数据，还能穿透一些巧妙的伪装，抓住实际的内容。还 能通知防火墙切断入侵连接、关闭入侵通道。 入侵检测系统( 下简称i d s ) 基本功能任务：监视、分析用户及系统活动；监视网络 访问活动；审计系统结构及弱点；识别、反映已知攻击的活动模式，向相关人员报警；统 计分析异常行为模式；评估重要系统和数据文件的完整性；审计跟踪管理操作系统，识别 用户违反安全策略的行为。包括三个基本功能部件：提供事件记录流的信息采集部件；发 现入侵迹象的入侵行为分析引擎；基于分析引擎的结果产生响应( 被动响应和主动响应) 部件。数据分析过程是根据预设的入侵判定规则策略来检测数据内容的，而策略是可以根 6 据前面数据处理的结果来进行调整更新的。入侵检测系统的基本结构如图2 2 所示： 数据提取入 结果事件输 2 2 2 入侵检测系统的组成部分 图2 2 入侵检测系统的基本结构 从逻辑功能上讲，入侵检测系统由探测器( s e n s o o ，检测引擎( d e t e c t i o ne n g i n e ) ，用户 接口( u s e ri n t e r f a c e ) 组成。 1 探测器( s e n s o r ) 探测器主要负责收集数据。探测器的输入数据流包括在任何可能包含入侵行为线索的 系统数据，例如网络数据包，日志文件和系统调用记录等。探测器将这些数据收集起来， 然后发送到检测引擎进行处理。 2 检测引擎( d e t e c t i o ne n g i n e ) 检测引擎负责从一个或多个探测器处接受信息，并通过分析来确定是否发生了非法入 侵活动。检测引擎的输出结果是标识入侵行为是否发生的判定信息，例如一个告警信号。 该判定信息中还应该包括入侵的相关证据信息。另外，有的检测引擎还能够提供关于针对 入侵行为相应的反映措施相关信息。 3 用户接口( u s e ri n t e r f a c e ) 入侵检测引擎的用户接口使得用户易于观察系统的输出信号，并对系统行为进行控 制。在某些系统中，用户接口又可以称之为控制器或者是控制台。 除了以上三个必要的组件之外，有些入侵检测系统可能还包括一个所谓的诱饵机，这 种诱饵机被设计和配置成为具有明显的系统安全漏洞，并对攻击者是明显可见的，诱饵机 能够作为入侵检测系统中一个专门提供给攻击者进行入侵的探测器来使用，从而提供关于 某次攻击行为发生过程的相关信息。 2 2 3 入侵检测系统的分类 入侵检测系统有很多的分类标准。通过对这些标准的解释，能知道自己需要什么类型 的入侵检测系统。通过入侵检测系统所监视的活动，网络流量，事务或系统的类型来分类。 7 依据这个条件，入侵检测系统可以被区分为基于网络，基于主机和基于分布式三种哺j 。 1 基于网络的入侵检测系统 通过检测网络传输来寻找攻击特征的称之为基于网络的入侵检测系统。基于网络的入 侵检测系统被放置在比较重要的网段内，将所监测网段的所有流量作为数据源，通过将网 卡设置为混杂模式不停地监测网段中的各种数据包，对每一个数据包进行特征分析。 图2 3 中这个网络使用了三个网络入侵检测系统，这些入侵检测系统都被放置在网络 最关键的地方，能监测到网络关键部位处所有设备的网络流量。该图是一个典型的网络保 护方案拓扑图，提供公共服务的服务器子网被基于网络的入侵检测系统保护着。子网中的 一台服务器被入侵后，这台服务器会变成一个继续攻击整个子网的跳板。所以为了预防更 深层次的危险，必须监视这个子网。内网中的主机被其它的网络保护着，这样可以减少内 网主机被入侵的危险，在网络中布置多个基于网络的入侵检测系统是深层安全防护的一个 很好的方法峭，9 】。 图2 3 基于网络的入侵检测系统 2 基于主机的入侵检测系统【9 】 通过监视主机和文件系统的操作来寻找攻击特征，对单台主机进行保护的称之为基于 主机的入侵检测系统。基于主机的入侵检测系统和基于网络的入侵检测系统有两点不同。 基于主机的入侵检测系统只能保护它所在的计算机，网卡设置为非混杂模式，因为不是所 有的网卡都能设置成混杂模式的。基于主机的入侵检测系统的另外一个好处是可以精确地 根据自己的需要来制定规则。例如一台运行基于主机的入侵检测系统的计算机上没有运行 8 域名服务，就不需要加上那些检测域名服务攻击的规则集合，从而可以提高检测的效率并 降低处理器的负荷。图2 4 中描述了一个在服务器和个人计算机上安装了基于主机的入侵 检测系统的网络。安装在邮件服务器上的基于主机的入侵检测系统主要只设置和邮件服务 器相关的规则，使其免受入侵；而对于安装在w e b 服务器上的入侵检测系统主要设置和 w e b 服务相关的规则，检测对啪服务的攻击。对于其它的个人计算机可以使用常用的 规则集合，当有新的漏洞公布后，规则要及时和定期地更新。 h i d s h i d s 图2 4 基于主机的入侵检测系统拓扑图 3 基于分布式的入侵检测系纠8 j 实现远程探测器的功能，并且把告警信息和日志文件发送到一个统一的中央管理平台 的入侵检测系统群组称之为基于分布式的入侵检测系统。典型的基于分布式的入侵检测系 统采用的是管理端和探测器的结构。将基于网络的入侵检测系统作为探测器放置在网络的 各个地方，并向中央管理平台汇报情况。攻击日志信息定时地传送到管理平台并保存在中 央数据库中，新的攻击规则库则发送到各个探测器上。每个探测器能根据所在网络的实际 需要配置不同的规则集合，告警消息发送到管理平台的消息系统【1 0 j 。 在图2 5 中，基于分布式的入侵检测系统包含了四个探测器和一个中央管理平台。探 测器采用的是基于网络的入侵检测系统，探测器1 和探测器2 保护着提供公共服务的服务 器。探测器3 和探测器4 保护着内网中的计算机。在基于分布式的入侵检测系统中，探测器 可以使用基于网络的入侵检测系统，基于主机的入侵检测系统，或两者都用。探测器有的 工作在混杂模式下，有的工作在非混杂模式下，但无论工作在什么情况下，基于分布式的 9 入侵检测系统都有一个显著的特征，即分布在网络不同位置的探测器都向中央管理平台传 送告警。 2 3 入侵检测方法 图2 5 基于分布式的入侵检测系统拓扑图 入侵检测系统常用的检测方法有滥用检测、异常检测。据公安部计算机信息系统安全 产品质量监督检验中心的报告，国内送检的入侵检测产品中的9 5 是属于使用入侵模板进 行模式匹配的特征检测产品，其他5 的是采用异常方式的统计检测产品。 2 3 1 滥用检测方法 滥用检测对已知的攻击或入侵的方式做出确定性的描述，形成相应的事件模式。当被 审计的事件与已知的入侵事件模式相匹配时，即报警。原理上与专家系统相仿。其检测方 法上与计算机病毒的检测方式类似。目前基于对包特征描述的模式匹配应用较为广泛。 1 审计信息统计方法 该方法利用审计系统实时检测用户对系统的使用情况( 包括c p u 和内存使用量等) ，根 据系统内部保存的用户行为的统计模型进行监测。这种办法同样适用于检测程序的行为以 及对数据资源的存取行为。然而用户的行为是非常复杂的，要想准确匹配一个用户历史的 1 0 行为和当前的行为是相当困难的。 2 神经网络方法 神经网络方法可以解决传统统计分析技术所面临的几个问题：( 1 ) 难于建立确切的统 计分布。( 2 ) 算法实现比较昂贵。( 3 ) 系统臃肿难于裁剪。 目前，神经网络技术提出了对基于传统统计分析技术的攻击检测方法的改进方向，但 目前还不十分成熟。 3 专家系统方法 基于专家系统的检测方法根据安全专家对可疑行为的分析经验来形成一套推理规则， 然后再在此基础之上构成相应的专家系统。该专家系统可自动进行相关攻击行为的分析。 我们说的专家系统是基于一套由专家经验事先定义的规则推理系统。实现一个基于规则的 专家系统是一个知识工程问题，而且其功能应当能够随着经验的积累而利用其学习能力进 行规则的扩充和修正。 4 模型推理方法 利用基于模型的推理方法人们能够为某些行为建立特定的模型，从而能够监视具有特 定行为特征的某些活动。攻击者在入侵一个系统的时候往往采用一定的行为程序，如猜测 口令的程序，这种行为程序构成某种具有一定行为特征的模型，根据这种模型所代表的攻 击意图的行为特征，可以实时检测出恶意的攻击企图，尽管攻击者并不一定都是恶意的。 一般为了准确判断，要为不同的入侵者和不同的系统建立特定的攻击脚本。当有证据表明 某种特定的攻击模型发生时，系统应当收集其他的证据来证实或者否定攻击的真实，以尽 可能的避免错报。 2 3 2 异常检测方法 异常入侵检测是对用户和目标系统建立了一个正常活动模型，然后对实际的活动进行 审计，看是否会对系统构成威胁。 1 统计方法 统计方法首先要选择描述主体行为的测度集，然后在采集到的安全事件集合中建立基 于该测度集的统计模型，该模型有可能是正常网络流量测度的概率分布，也可能是用户的 正常行为影响，取决于异常检测系统的检测目标。在实际中，对于某种检测模型，我们用 某种算法来计算当前的主体行为与检测模型的偏离程度，然后来判定是否入侵。 统计方法的主要优点是能自适应地学习主体的行为，其对异常行为很敏感，另外其要 求训练数据是真实坏境的数据就行，并不要求全是纯粹的正常行为。 统计方法的缺点是：( 1 ) 容易被入侵者所训练，最后使得异常行为也变成正常的。( 2 ) 需要假设测度的概率分布，目前我们采用的是概率分布或泊松分布，而这可能与实际不相 符合。( 3 ) 该模型容易忽略相关事件之间的关系。( 4 ) 人为确定的入侵值决定了误检率和 漏检率的高低。 2 预测方法 预测方法的检测对象是事件的时间序列，其目的在于发现构成入侵的安全事件集合在 时间上的相关性，从而预测未来的发生事件，如果实际发生的事件和预测结果有较大差异， 表明有异常现象发生。 该方法优点如下：( 1 ) 能在入侵前检测到并发出报警。( 2 ) 对在训练阶段企图对其进 行训练的行为比较容易察觉。( 3 ) 能检测到传统的模型不能检测到的入侵。( 4 ) 对主体行 为有高度的适应性。 3 基于机器学习的异常检测方法 基于机器学习的异常检测方法是用机器学习的方法来建立系统影像。它的最大特点是 根据正常来分辨异常，因为其训练数据大多是代表清一色的正常行为。这种方法的优点是 检测速度快，而且误检率低。 下面是一些典型的方法： 1 神经网络方法 神经网络可以应用到各种异常模型检测中，人工神经网络力图模拟生物神经系统，通 过接受外部输入的刺激，不断获得并积累知识，进而具有一定的判断预测能力。有的基于 神经网络异常检测模型是分类器，它通过训练和学习，记忆了系统的正常行为或入侵行为， 并能根据系统的现状进行自我调节，有效的发现并阻止各种入侵行为，这种神经网络与基 于数据挖掘的决策树的作用是类似的。 神经网络的优点是：( 1 ) 它的实现不依赖对潜在数据的统计假设；( 2 ) 能自动的调节 影响输出的各测度的权重；( 3 ) 能较好的处理噪声数据。 神经网络的缺点是：( 1 ) 输入窗口大小是该方法的一个主观因数，其设置的大小对检 测能力有很大影响；( 2 ) 神经网络的拓扑结构和各元素的权重只有在训练后能确定。 2 数据挖掘方法 数据挖掘能从审计记录或数据流中提出感兴趣的知识，这些知识是隐含的、事先未知 的、潜在的有用信息，提取的知识表示为概念、规则、规律、模式等形式，并可用这些知 识去检测异常入侵和已知的入侵。 数据挖掘的优点是能自动、快速地产生异常检测模型，这在海量的历史数据中提取知 识是非常重要的，通过人工建立的方法很难实现。 数据挖掘方法的缺点是：( 1 ) 需要大量的训练数据，而且对数据的纯洁性要求较高； ( 2 ) 误报率较高；( 3 ) 由于在训练和评价时计算的复杂度较高，难以应用到实际环境中。 3 i b l 方法 i b l ( i n s t a n c e - b a s e dl e a r n i n g ) 方法是基于实例的学习方法。该方法将入侵检测问题形式 化地表述成根据离散数据的时间序列来代表个人、系统或网络的特征，并采用某种相似度 测量方法将离散数据的时间序列转化为可度量比较的空间。从而量化正常序列和异常序列 的差异并据此做出决策。 4 免疫学方法 1 2 基于免疫学原理的异常检测方法受生物免疫系统的启发，试图为要保护的对象建立一 个“免疫系统”。该方法的关键是如何有效的定义“自我 和识别“自我 ，并据此来排斥 “异类”。 2 4 深度包检测技术简介 2 4 1 什么是深度包检测 d p i 全称为“d e e pp a c k e ti n s p e c t i o n ，称为“深度包检测 。所谓“深度 是和普通 的报文分析层次相比较而言的，“普通报文检测仅分析包的4 层以下的内容，包括源 地址、目的地址、源端口、目的端口以及协议类型，而d p i 除了对前面的层次分析外，还 增加了应用层分析，识别各种应用及其内容，基本概念如图2 6 所示： 口数据头 i p 数据内蕃 i 源地址目的地址 i l 2 l 4 检测 网络感知 l 7 检测 应用层感知 图2 6 应用层数据在i p 数据报中位置 深度包检测技术的分类技术关键是高效的识别出网络上的各种应用。 普通报文检测是通过端口号来识别应用类型的。如检测到端口号8 0 为时，则认为该 应用代表着普通上网应用。而当前网络上的一些非法应用会采用隐藏或假冒端口号的方式 躲避检测和监管，造成仿冒合法报文的数据流侵蚀着网络。此时采用l 2 4 层的传统检 测方法已无能为力了。 深度包检测技术的主要任务就是通过对应用流中的数据报文内容进行探测，从而确定 数据报文的真正应用。因为非法应用可以隐藏端口号，但目前较难以隐藏应用层的协议特 征。要实现这一目的，单纯使用某一种技术是无法实现的，而是要靠多种技术相互支持与 协作来完成j 。 2 4 2 深度包检测主要实现技术 深度包检测技术的主要实现技术主要有以下几大类： 1 基于“特征”的识别技术 不同的应用通常依赖于不同的协议，而不同的协议都有其特殊的指纹，这些指纹可能 是特定的端口、特定的字符串或者特定的序列。基于“特征 的识别技术通过对业务流中 特定数据报文中的“指纹信息的检测以确定业务流承载的应用。 根据具体检测方式的不同，基于“特征”的识别技术又可以被分为“特征字符串模式 识别技术与“正则表达式模式”识别技术。前者对特征的描述简单，易于实现，但描述能 力较差而后者具有更强的描述能力，但性能较差。 通过对“指纹信息的升级，基于特征的识别技术可以很方便的进行功能扩展，实现 对新协议的检测。 如b i t t o r r e n t 协议的识别，通过反向工程的方法对其对等协议进行分析，所谓对等协 议指的是p e e r 与p e e r 之间交换信息的协议。对等协议由一个握手开始，后面是循环的消 息流，每个消息的前面，都有一个数字来表示消息的长度。在其握手过程中，首先是先发 送1 9 ，跟着是字符串“b i t t o r r e n tp r o t o c o l ”。那么“1 9 b i t t o r r e n tp r o t o c o l ”就是b i t t o r r e n t 的“特征字【1 2 1 。 2 应用层网关识别技术 某些业务的控制流和业务流是分离的，业务流没有任何特征。这种情况下，就需要采 用应用层网关识别技术。 应用层网关需要先识别出控制流，并根据控制流的协议通过特定的应用层网关对其进 行解析，从协议内容中识别出相应的业务流。对于每一个协议，需要有不同的应用层网关 对其进行分析。 如s i p 、h 3 2 3 协议都属于这种类型。s i p h 3 2 3 通过信令交互过程，协商得到其数据 通道，一般是r t p 格式封装的语音流。也就是说，纯粹检测流并不能得出这条流是通过 哪种协议建立的。只有通过检测s i p h 3 2 3 的协议交互，才能得到其完整的分析。 3 行为模式识别技术 行为模式识别技术基于对终端已经实施的行为的分析，判断出用户正在进行的动作或 者即将实施的动作。行为模式识别技术通常用于无法根据协议判断的业务的识别。例如： s p a m ( 垃圾邮件) 业务流和普通的e m a i l 业务流从内容上看是完全一致的，只有通过对用户 行为的分析，才能够准确的识别出s p a m 业务 1 4 第三章数据包捕获 w i n d o w s 操作系统并不像其他操作系统一样使用分组捕获机制并提供用户级网络监 听。现有的u n i x 类型操作系统中，基于b s d ( b e r k e l e ys o u r c ed i s t r i b u t i o n ) 许可证的操 作系统( f r e e b s d 、o p e n b s d 、n e t b s d ) 使用b p f ( b e r k e l e yp a c k e tf i l t e r ) 分组捕获机制， 基于s v r 4 ( u n i xs y s t e mvr e l e a s e4 ) u n i x 内核的操作系统使用d l p i ( d a t al i n kp r o v i d e r i n t e r f a c e ) 分组捕获机制，l i n u x 使用s o c kp a c k e t 类型套接口捕获机制。微软发行的 w i n d o w s 操作系统并没有提供分组捕获机制，所以要想在w i n d o w s 下实现数据包采集只 能利用w i n d o w s 提供的a p i 函数或采用其他的方法。 本文采用的是一个近些年来人们广泛使用的软件w i n p c a p 来实现数据采集的，它同时 支持源自b e r k e l e y 内核下的b p f ，s o l a s 2 x 下的d l p i ，s u n o s 4 1 下的n i t ，l i n u x 下的s o c k e tp a c k e t 套接e l 以及其他若干操作系统。w i n p c a p 为w i n d o w s 环境提供了 一个b p f 虚拟机( 它在w i n d o w s 中通常被称为n p f ) ，使得在w i n d o w s 环境下也可以进 行数据包捕获与过滤，还提供了一组功能强大的a p i 编程接口，使得开发人员可以很容易 的进行数据包的捕获与过滤。 3 1 设计思想 1 能监测高速、大流量网络 监测系统为了既能对网络内部的数据又能对来自网络外部的数据进行测，一般放在网 络的出口处，数据流量较大【13 1 。为适应这种需求，程序采用了多线程设计思想，在网络流 数据捕获方面使用驻留内核的网络检测驱动程序w i n p c a p ，并使用了缓存队列对二进制流 进行缓存：在网络二进制流分析方面，使用另一线程，利用l i b p c a p 1 i b 提供的接口函数进 行处理。系统的主要瓶颈是对数据的分析处理，为了消除瓶颈，逐层对数掘进行抽象，使 数据量逐层减少，把主要的分析处理任务放在上层。 2 很低的包丢失率 如果数据采集系统对数据包的处理速度小于包的到达速度，则会使缓冲区中的数据越 来越多，最终导致缓冲区溢出，数据包丢失【l4 1 。从安全角度看数据包丢失是入侵检测器的 重大危害，因为，丢失的数据包中可能含有关于入侵活动的重要信息。因此除使用缓存队 列之外，还使用了多线程、分层处理等方法。 3 实时转发数据 实时检测是一个优良的入侵检测系统的重要性能之一，所谓实时性是指检测系统能够 实时发现网络行为的变化，发现入侵活动的发生。事件的实时转发是进行实时入侵检测的 基本保证，若能以最快的速度发现入侵或入侵企图，则使对入侵者的跟踪变得容易、降低 入侵破坏、组织进一步的攻击。采用通知的方式进行实时转发，当网络事件形成时，自动 产生通知，把数据发送到检测代理端。 4 分布化、可扩展 传统的i d s 一般局限于单一的主机或网络架构，对异构系统及大规模的网络的监测明 显不足，为了解决这一问题，需要分布式入侵检测技术【l5 1 。并且在入侵检测系统的整体功 能设计上，也必须建立一种可以扩展的结构，以便系统结构本身能够适应未来可能出现的 扩展要求。数据采集系统的多平台适应能力和数据采集入侵检测模型设计研究型的扩展能 力是i d s 具有分布化、可扩展性的基本保证。 3 2w i n p c a p 使用介绍 w i n p c a p 是由意大利人f u l v i or i s s o 和l o r i sd e g i o a n n i 等人提出并实现的，它的主要思想 来源于u 1 1 i x 系统中最著名的b s d 包捕获架构1 6 1 ，w i n p c a p 现在作为一个免费公开的软件系 统，主要用来实现在w i n d o w s 平台下进行网络数据包捕获，是为l i b p c 印在w i n d o w s 平台下 实现数据包的捕获而设计的。在设计w i n p c a p 时参照了l i b p c a p ，使用方法- 与l i b p c a p 相似， 可直接用于w i n d o w s 系统下的网络编程。 3 2 1w i n p c a p 内部结构 w i n p c a p 作为网络封包抓取的一套工具。由三个模块构成： 第一个模块n p f ( n e t g r o u pp a c k e tf i l t e r ) ，网络组包过滤器。它是运行于操作系统内核 中的驱动程序，它直接与网卡驱动程序进行交互，获取在网络上传输的原始数据包。n p f 的结构来源于b p f ( b e r k l e yp a c k e tf