（计算机系统结构专业论文）基于网络的入侵检测系统的研究及实现.pdf

捅要 入侵检测技术是对传统的安全技术( 如防火墙) 的合理补充。它通过监视主 机系统或网络能够对恶意或危害计算机资源的行为进行识别和响应。通过与其它 的安全产品的联动还可以实现对入侵行为的有效阻止。入侵检测系统的研究和实 现已经成为现在网络安全的重要课题。 本文首先介绍了课题提出的背景；第二章主要介绍了入侵检测系统发展历史、 概念、入侵检测的分类、现状、以及发展趋势：第三章主要在基于网络的入侵检 测系统的设计和实现上，提出了基于网络的入侵检测系统的体系结构，以及各个 组成部分的具体设计和实现；第四章介绍了基于网络的入侵检测系统组成，给出 了系统的框架结构及其各个组成部分的具体功能；最后介绍了本系统的下一步的 开发目标：进行全文的总结。 关键词：入侵检测事件产生器事件分析器响应单元模式匹配 a b s t r a c t t h ei n t r u s i o nd e t e c t i o nt e c h n o l o g yi s c o m p l e m e n t a r i t i e sf o rt r a d i t i o n a ls e c u r i t y p r o t e c t i n gt e c h n o l o g y , s u c h a sf i r e w a l l s i tc a l l i d e n t i f y a n d r e s p o n s e t om a l i c e a c t i v i t i e sb ym o n i t o r i n gt h eh o s ts y s t e mo rt h ei n t e r n e t ，i ta l s oc a l l s t o pi n t r u s i o n a c t i v i t i e sw i t ht h el i n k a g eo fo t h e rs e c u r i t yt e c h n o l o g y t h er e s e a r c ha n dd e v e l o p m e n t o fi d sh a sb e c o m et h ei m p o r t a n ts u b j e c ta b o u tn e t w o r k s e c u r i t y i nt h ef i r s t ，t h et e x ti n t r o d u c e st h eb a c k g r o u n do fs u b j e c tb r i n g e df o r w a r d i n c h a p t e r2w ep r i m a r i l yi n t r o d u c et h ep h y l o g e n y , c o n c e p t i o n ，c a t e g o r y , a c t u a l i t y , a n d t h ed e v e l o p i n gd i r e c t i o no fi n t r u s i o nd e t e c t i o ns y s t e m i nc h a p t e r3o nd e s i g na n d i m p l e m e n t o fn e t w o r kb a s e di n t r u s i o nd e t e c t i o ns y s t e m ，w ep u tf o r w a r dt h es y s t e m a t i c f r a m e w o r ko ft h en e t w o r kb a s e di n t r u s i o nd e t e c t i o ns y s t e m ，a n dg i v ec o n c r e t ed e s i g n a n di m p l e m e n to fe v e r yp a r t i nc h a p t e r4w ei n t r o d u c et h en e t w o r kb a s e di n t r u s i o n d e t e c t i o ns y s t e m ，i t sf r a m e w o r ka n dt h er u c t i o no f e v e r yp a r t f i n a l l yw eg i v et h en e x t d e v e l o p m e n tt a r g e ta n d s u m m a r i z et h et e x t k e y w o r d s ：i n t r u s i o n d e t e c t i o ne v e n t g e n e r a t o r e v e n t a n a l y z e r r e s p o n s e u n i t p a t t e r nm a t c h i n g y 6 5 5 3 6 5 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，议文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与黉料菁不实之处 本人签名：签蕴趑 本人承担一切相关责任。 日期2 型：z ：! 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期问论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文中的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守 本人签名 导师签名 鳘丝日期河，f 日期五巫：! f ( 午 第一章绪论 第一章绪论 1 1 课题的提出背景及意义 随着信息技术的发展，i n t e m e t 得到了迅猛的发展。电子商务、电子政务、远 程教育、网络虚拟社区等己经走进人们的生活。计算机通信网络在政治、军事、 经济、工业、商业、交通、电信、文教等方面的作用日益增大。社会对计算机网 络的依赖也日益增强。网络己经成为现代社会生产、生活中不可或缺的一部分， 并且必将成为或者己经成为2 l 世纪全球最重要的基础设施。但是，网络固有的开 放性，尤其是i n t e m e t 的跨国界性，使网络一开始就面临巨大的安全风险。而网络 协议、各种软件的不完善以及网络管理人员的错误使这种风险成为现实的灾难， 网络入侵事件不断发生。 1 1 1 网络安全面临的威胁 入侵的来源可能是多种多样的，比如说，它可能是企业心怀不满的员工、网 络黑客，甚至是竞争对手。攻击者可能窃听网络上的信息，窃取用户的口令、数 据库的信息，还可以篡改数据库的内容，伪造用户身份，否认自己的签名。更为 严重的是攻击者可以删除数据库的内容，摧毁网络的节点，释放计算机病毒，直 到整个网络陷入瘫痪。 用密码编码学与网络安全的观点，我们把计算机网络面临的威胁归纳为以下 四种 1 】 截获( i n t e r c e p t i o n ) ：攻击者从网络上窃听他人的通信内容。 中断( i n t e r r u p t i o n ) ：攻击者有意中断他人在网络上的通信。 篡改( m o d i f i c a t i o n ) ：攻击者故意篡改网络上传送的报文。 伪造( f a b r i c a t i o n ) ：攻击者伪造信息在网络上传送。 这四种威胁可以划分为两大类，即被动攻击和主动攻击。在上述情况中，截 获信息的攻击被称为被动攻击，而更改信息和拒绝用户使用资源的攻击称为主动 攻击。在被动攻击中，攻击者只是观察和窃取数据而不干扰信息流，攻击不会导 致对系统中所含信息的任何改动，而且系统的操作和状态也不被改变，因此被动 攻击主要威胁信息的保密性。主动攻击则意在篡改系统中所含信息或者改变系统 的状态及操作。因此主动攻击主要威胁信息的完整性、可用性和真实性。 基于网络的入侵检测系统的研究及实现 1 1 2 网络安全隐患的来源 网络安全隐患主要来自于如下四个方而【2 ： ( 1 ) 网络的复杂性。网络是一个有众多环节构成的复杂系统。由于市场利润、 技术投入、产品成本、技术规范等等问题，不同供应商提供的环节在安全性上不 尽相同，使得整个系统的安全程度被限制在安全等级最低的那个环节上。 ( 2 ) 网络的飞速发展。由于网络的发展，提供新网络服务，增加网络的开放性 和互联性等，必然将更多环节纳入系统中，新加入的环节又增加了系统的复杂性， 引发了网络的不安定性。 ( 3 ) 软件质量问题。软件质量难以评估是软件的一个特性。现实中，即使是正 常运行了很长时间的软件，也会在特定的情况下出现漏洞，例如不断涌现的o s 漏 洞。现代网络已经是软件驱动的发展模式，对软件的更大依赖性加大了软件质量 对网络安全的负面影响。同时，市场的激烈竞争，促使商家需要更快地推出产品， 软件的快速开发也增大了遗留更多隐患的可能性。 ( 4 ) 其它非技术因素。这包括技术员在网络配置管理上的疏忽或错误，网络实 际运行效益和安全投入成本间的平衡抉择，网络用户的安全管理缺陷等等。 由于存在众多的安全威胁和安全隐患，能否成功阻止网络黑客的入侵、保证 计算机和网络系统的安全和正常运行便成为网络管理员所面临的一个重要问题。 1 1 3 网络安全技术 当今世界，有大量的研究机构、社会团体、商业公司和政府部门投入到网络 安全的研究，并将此纳入到一个被称为信息安全的研究领域。网络安全技术主要 包括基于密码学的安全措施和非密码体制的安全措施【3 】，前者包括：数据加密技 术、身份鉴别技术等。后者则有：防火墙、路由选择、反病毒技术等。 ( 1 1 数据加密技术 数据加密是网络安全中采用的最基本的安全技术，目的是保护数据、文件、 口令咀及其它信息在网上安全传输，防止窃听。网络中的数据加密，除了选择加 密算法和密钥外，主要问题是加密的方式以及实现加密的网络协议层次和密钥的 分配和管理。按照收发双方密钥是否相同，可以将这些加密算法分为对称密码算 法和公钥密码算法两种。对称密码算法中，收发双方使用相同的密钥。比较著名 的对称密码算法有：美国的d e s 、欧洲的i d e a 等。对称密码算法有保密强度高， 加密速度快的优点，但其密钥的分发则是一个比较复杂的问题。在公钥密码中， 收发双方使用的密钥互不相同，而且几乎不可能从加密密钥推导出解密密钥。比 较著名的公钥密码算法有：e c c ，r s a 等，其中以r s a 算法应用最为广泛。 第一章绪论 ( 2 ) 鉴别技术 鉴别技术可以验证消息的完整性，有效的对抗冒充、非法访问、重演等威胁。 按照鉴别对象的不同，鉴别技术可分为消息源鉴别和通信双方互相鉴别，按照鉴 别内容的不同，鉴别技术可分为用户身份鉴别和消息内容鉴别。鉴别的方法有很 多种，主要有通过用户标识和口令、报文鉴别、数字签名等方式。 ( 3 ) 访问控制技术 访问控制是从计算机系统的处理能力方面对信息提供保护机制，它按照事先 确定的规则决定主体对客体的访问是否合法。当主体试图非法使用一个未经授 权的资源时，访问机制将拒绝这一企图，并将这一事件记录到系统日志中。访问 控制技术的主要任务是保证网络资源不被非法使用和访问，它是保证网络安全的 重要策略之一。 ( 4 1 防火墙技术 防火墙就是一个或一组网络设备，其工作方式是将内联网络与因特网之间或 者与其他网络外联网络间互相隔离，通过加强访问控制，阻止区域外的用户对区 域内资源的非法访问。使用防火墙可以进行安全检查、记录网上安全事件，隐藏 用户地址等，在维护网络安全的过程中起着重要的作用。 ( 5 ) 反病毒技术 计算机病毒是- - + 段具有极强破坏性的恶意代码，它可以将自身纳入其它程 序中，以此来进行隐蔽、复制和传播，从而破坏用户的文件、数据甚至硬件。从 广义上讲，它还包括逻辑炸弹、特洛伊木马和系统陷阱等。计算机病毒的主要传 播途径有：文件传输、软盘拷贝、及电子邮件等。网络反病毒技术主要包括检测 病毒和杀除病毒。 虽然网络安全已经超越了纯技术领域，但网络安全技术仍然是解决网络安全 最重要的基础和研究方向。 1 1 4 网络安全新技术入侵检测系统 除了基于密码学的各种增强网络安全特性的手段如安全传输协议、数字签名、 数字验证、各种数据加密方式、安全代理等等，其它安全技术可归类为防御 ( p r o t e c t i o n ) 、检测( d c t e c f i o n ) 、响应( r e s p o n s e ) 和恢复( r e s t o r e ) 四个策略 4 。网络入 侵检测是检测领域的代表性研究方向，在某些具体应用场合，恢复和响应的某些 特性也被集成到了入侵检测中。同时，在对计一算机网络犯罪行为举证的过程中， 入侵检测是不可缺少的技术基础。进一步的研究表明，在今后的网络安全应用方 案中，以入侵检测系统为中枢、控制和协调其它各策略产品、有针对性的发挥其 各自最大的作用，将成为必然的组建趋势。 基于网络的入侵检测系统的研究及实现 任何试图非授权或越权访问计算机系统资源，或破坏资源的完整性、可信性 的行为，无论成功与否，都认为是入侵。入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m 以下简称s ) 就是为了保证计算机系统的安全而设计与配置的一种能够及时发现 并报告系统中未授权或异常现象的系统，是一种用于检测计算机网络中违反安全 策略行为的系统。利用审计纪录，入侵检测系统能够识别出任何不希望有的活动， 从而达到限制这些活动，以保护系统的安全。入侵检测系统的应用，能使在入侵 攻击对系统发生危害前，检测到入侵攻击，并利用报警与防护系统防止入侵攻击。 在入侵攻击过程中，能减少入侵攻击所造成的损失。在被入侵攻击后，收集入侵 攻击的相关信息，作为防范系统的知识，添加到知识库内，以增强系统的防范能 力。 在计算机网络环境中，一个性能良好的入侵检测系统应具备有效性、可扩展 性和自适应性。从当前的技术情况看，建立一个有效的入侵检测系统是一项巨大 的知识工程。在收集到系统和网络的原始数据后，如何建立入侵检测模型，是入 侵检测领域的研究重点 5 】。当前的检测模型多是通过手工书写规则和其它特殊方 式实现的。如在误用检测中，系统中的入侵检测规则是由安全专家通过手工编码 提供的；在异常检测中，审计数据特征和测度是根据模型创建者的经验和知识来 选择的。但由于开发过程是手工的，所以存在很大的特殊性，结果，当前多数入 侵检测系统只具有有限的有效性和适应性。 从以数据为中心的观点出发，入侵检测可以看作是一个数据分析的过程。异 常检测是从数据中标识出异常检测模式。误用检测是使用数据编码和匹配入侵模 式。有鉴于此，分布式智能化入侵检测系统将误用检测和异常检测结合为一体， 采用数据挖掘技术实现基于内容的入侵检测，可以在各种特性上最大限度的满足 入侵检测系统的要求。当检测环境变化或许保护机器数量增减是检测系统不需要 做太大的改动，或当出现新的攻击类型时系统能够有效的识别并自动扩充规则库， 以提高其扩展性和环境实用性。 1 2 本文研究内容 本文共分为四章，各章的内容如下： 第一章，主要介绍了课题提出的背景、意义、安全隐患、现有的安全技术等， 强调了入侵检测的重要性。 第二章，主要介绍与入侵检测相关的背景知识、研究现状、发展趋势以及与 本文相关的理论。 第三章对入侵检测的设计和实现进行了详细的研究。通过对公共入侵检测框 架的研究，提出了基于网络的入侵检测系统的总体结构，以及对各个模块的设计 第一章绪论 和实现方法。 第四章，给出了基于网络的入侵检测系统的总体框架，并介绍了各个组成部 分的功能。 第五章，给出了该系统的下一步的设计目标。 最后对文章内容和纳论文的工作进行归纳。 基于网络的入侵检测系统的研究及实现 第二章入侵检测基础 当越来越多的公司将其核心业务向互联网转移的时候，网络安全作为一个无 法回避的问题呈现在人们面前。传统上，公司一般采用防火墙作为安全的第一道 防线。而随着攻击者知识的日趋成熟，攻击工具与手法的曰趋复杂多样，单纯的 防火墙策略已经无法满足对安全高度敏感的部门的需要，网络的防卫必须采用一 种纵深的、多样的手段。与此同时，当今的网络环境也变得越来越复杂，各式各 样的复杂的设备，需要不断升级、补漏的系统使得网络管理员的工作不断加重， 不经意的疏忽就可能造成安全的重大隐患。在这种环境下，入侵检测系统成为了 安全市场上新热点，不仅愈来愈多的受到人们的关注，而且已经开始在各种不同 的环境中发挥其关键作用。 本章主要对入侵检测系统的历史和入侵检测的定义、分类、现状以及发展趋 势简单地进行介绍。 2 1 入侵检测系统的历史 1 9 8 0 年4 月，j a m n e s p a n d e r s o n 为美国空军做了一份题为( ( c o m p u t e rs e c u r i t y t h r e a tm o n i t o r i n ga n ds u r v e i l l a n c e ) ) ( 计算机安全威胁监控与监视) 的技术报告，第一 次详细阐述了入侵检测的概念。他提出了一种对计算机系统风险和威胁的分类方 法，并将威胁分为外部渗透、内部渗透和不法行为三种，还提出了利用审计跟踪数 据监视入侵活动的思想。这份报告被公认为是入侵检测的开山之作。 从1 9 8 4 年到1 9 8 6 年，乔治敦大学的d o r o t h yd e n n i n g 和s 甜c s l ( s 砌公司计 算机科学实验室) 的p e t e rn e u m a n n 研究出了一个实时入侵检测系统模型，取名为 i d e s ( 入侵检测专家系统) 。该模型由六个部分组成：主体、对象、审计记录、轮廓 特征、异常记录、活动规则。它独立于特定的系统平台、应用环境、系统弱点以 及入侵类型，为构建入侵检测系统提供了一个通用的框架。1 9 8 8 年，s r i c s l 的 t e r e s al a n t 等人改进了d e n n i n g 的入侵检测模型，并开发出了一个i d e s 。该系统包 括一个异常检测器和一个专家系统，分别用于统计异常模型的建立和基于规则的 特征分析检测。 1 9 9 0 年是入侵检测系统发展史上的一个分水岭。这一年，加州大学戴维斯分校 的l t h e b e r i e i n 等人开发出了n s m ( n e t w o r ks e c u r i t ym o n i t o r ) 。该系统第一次直 接把网络流作为审计数据来源，因而可以在勿须将审计数据转换成统一格式的情 况下监控异种主机。自此，入侵检测系统发展史翻开了新的一页，两大阵营正式形 成：基于网络的i d s 和基于主机的i d s 。 1 9 8 8 年的莫里斯蠕虫事件发生之后，网络安全才真正引起了军方、学术界和企 第二章入侵检测的基础 业的高度重视。美国空军、国家安全局和能源部共同资助空军密码支持中心、劳 伦斯利弗摩尔国家实验室、加州大学戴维斯分校、h a y s t a c k 实验室，开展对分布式 入侵检测系统( d i d s ) 的研究，将基于主机和基于网络的检测方法集成到一起来研 究。 d i d s 犹如分布式入侵检测系统历史上的一个里程碑似的产品，它的检测模型 采用了分层结构，包括数据、事件、主体、上下文、威胁、安全状态等六层。从 2 0 世纪9 0 年代到现在，对入侵检测系统的研发工作已呈现出百家争鸣的繁荣局面 并在智能化和分布式两个方向取得了长足的进展。目前，s r i c s l 、普渡大学、加 州大学戴维斯分校、洛斯阿拉莫斯国家实验室、哥伦比亚大学、新墨西哥大学等 机构在这些方面的研究代表了当前的最高水平 6 7 。 2 2 检测的概念 “入侵”是个广义的概念，不仅包括发起攻击的人( 如恶意的黑客) 取得超出合 法范围的系统控制权，也包括收集漏洞信息，造成拒绝访问( d o s ) 等对计算机系统 造成危害的行为。入侵行为不仅来自外部，同时也指内部用户的未授权活动。从 入侵策略的角度可将入侵检测的内容分为：试图闯入、成功闯入、冒充其他用户、 违反安全策略、合法用户的泄漏、独占资源以及恶意使用。入侵是指采用数据攻 击、身份冒充、非法使用服务、拒绝服务等技术手段，对网络的三个要素发动的攻 击。数据攻击包括信息获取、非法获取数据、窜改数据等手段；身份冒充包括地 址伪装、会话重放、特洛伊木马、陷阱门等手段；非法使用服务包括主机缓冲区 溢出、远程缓冲区溢出、服务漏洞攻击、系统漏洞攻击等手段；拒绝服务包括占 用网络带宽、干扰服务、本地关机、远程关机等手段。 入侵检测正是帮助系统对付内部攻击和外部网络攻击的一种解决方案，它扩 展了系统管理员的安全管理能力( 包括安全审计、监视、进攻识别和响应) 。提高 了信息安全基础结构的完整性，他从计算机系统或计算机网络系统中的若干关键 点收集信息，并分析这些信息，检测本机和网络中是否有违反安全策略的行为和 遭到袭击的迹象。基于网络的入侵检测能在不影响网络性能的情况下对网络进行 监测，从而提供对内部攻击、外部攻击和误操作的实时保护。 对一个成功的入侵监测系统来讲，它不但可使系统管理员时刻了解本机和网 络系统( 包括程序、文件和硬件设备等) 的任何变更，还能给本机和网络安全策 略的制定提供指南。更为重要的一点是，它应该管理，配置简单，从而使非专业 人员非常容易地获得计算机网络安全。而且，入侵检测的规模还应根据网络威胁、 系统构造和安全需求的改变而改变。入侵监测系统在发现入侵后会及时做出响应， 包括切断网络连接、记录事件和报警等。 基于网络的入侵检测系统的研究及实现 2 3p 2 d r 安全模型 一个被广泛应用的安全模型就是p 2 d r 模型【8 ，也就是4 个英文单词首字母 的缩写：p o l i c y ( 策略) 、p r o t e c t i o n ( 防护) 、d e t e c t i o n ( 检测) 、r e s p o n s e ( 响应) 。特点 是动态性和基于时间性。如图1 1 所示。 图2 1p 2 d r 安全模型 ( 1 ) 策略( p ) 是这个模型的核心，在具体实施过程中，策略意味着网络安全要达 到的目标，它决定了各种措施的强度。为了强化计算机网络安全，一般会牺牲用 户使用的舒适度和整个网络系统的运行性能，故而策略的制定是按照需要进行。 ( 2 ) 防护( p ) 是网络安全政策中最重要的环节，是预先阻止攻击可以发生的条件 的产生，让攻击者无法顺利地入侵。它包括系统安全防护、网络安全防护、信息 安全防护三个部分。系统安全防护是指操作系统的安全防护；网络安全防护是指 网络管理及网络传输的安全；信息安全防护是指数据本身的保密性、完整性、可 用性，数据加密是信息防护的重要技术。 ( 3 ) 检测( d ) 是p 2 d r 模型的第二个环节。通过防护系统能阻止大多数入侵事件 的发生，但它不能阻止所有的攻击。特别是那些利用新的系统缺陷、新的攻击手 段的入侵。因此安全政策的第二个安全屏障就是检测。如果有入侵发生就检测出 来，这个工具就是本文研究的重点入侵检测系统( m s ) 。当发现入侵后入侵检 测系统会通过响应模块改变系统的防护措施，改善系统的防护能力，从而实现动 态的系统安全模型。因此，从技术手段上分析，入侵检测可以看作是实现p 2 d r 模型的承前启后的关键环节。 ( 4 ) 响应限) 就是已知一个攻击( 入侵) 事件发生以后，进行的处理。响应工作 一般分为两种：紧急响应和其他事件处理。紧急响应就是当安全事件发生时采取 的对应措施，其他事件主要包括咨询、培训和技术支持。 第二章入侵检测的基础 2 4 入侵检测原理 入侵检测系统( m s ，i n t r u s i o n d e t e c t i o ns y s t e m ) 是，通过对( 网络) 系统的运行 状态进行监视，从而发现各种攻击企图、攻击行为或者攻击结果，以保证系统资 源的机密性、完整性和可用性。 在p 2 d r 安全模型中、入侵检测位于检测环节，它的作用在于承接防护和响 应的过程。也就是通过对就计算机网络或计算机系统中的若干个关键点收集信息 并进行分析，从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。 它通过对采集到的网络数据在线或离线进行分析，当发现有入侵企图或入侵行为 对，能依据响应规则做出发送入侵警报、记录入侵事件、引诱转发、中断入侵连 接甚至发动反入侵等响应行为，同时还能提醒管理员以采取进一步的防护措施。 它能在不影响网络性能或轻负载的情况下，检测网络并实现对内部攻击、外部攻 击和误操作的实时保护。 我们是如何检测入侵的呢? 其实入侵检测和其他的检测技术有相同的原理： 从一组数据中，检测出符合某一特点的数据。入侵者进行攻击时会留下痕迹，这 些痕迹和系统正常运行时产生的数据混合在一起。入侵检测的任务之一就是从这 些混合数据中找出是否有入侵的痕迹。可见，入侵检测系统有两个重要的部分： 数据获取和检测。 根据以上原理，我们在图2 2 中给出一个通用的入侵检测模型。 图2 2 通用入侵检测系统模型 图2 ，2 中模型的划分是非常粗略的，只是给出了一个整体的框架。其中，数 据提取模块，在于为系统提供数据。他在获取数据后，需要对数据进行初步的处 理，比如简单的过滤、数据格式的转换等，然后将处理后的数据交给数据分析模 块。数据分析模块，在于对数据进行深入的分析，发现攻击并根据分析结果产生 事件，传递给结果处理模块。结果处理模块的作用在于告警和反应，这实际上与 p 2 d r 模型的r e s p o n s e 有所重叠。 2 5 入侵检测技术的分类 根据不同的方法可以将入侵检测分成不同的种类【9 。 基于网络的入侵检测系统的研究及实现 2 5 1 主机、网络和分布式入侵检测 从数据来源看，入侵检测通常可以分为两类：基于主机的入侵检测和基于网 络的入侵检测。 基于主机的入侵检测通常从主机的审计记录和曰志文件中获得所需的主要数 据源，并辅之以主机上的其他信息，例如文件系统属性，进程状态等，在此基础 上完成检测攻击行为的任务。从技术发展的历程来看，入侵检测是从主机审计的 基础上开始发展的，因而早期的入侵检测系统都是基于主机的入侵检测技术。 随着网络环境的普及，出现了大量的基于网络的入侵检测系统，基于网络的 入侵检测系统通过监听网络中的数据包来获得必要的数据来源，并通过协议分析、 特征匹配、统计分析等手段发现当前发生的攻击行为。 两种基本的入侵检测方法由于其采用的数据来源不同，而呈现不同的特点。 基于主机的入侵检测能较为准确的检测到发生在主机系统高层的复杂攻击行为， 例如对文件系统所进行的具有潜在安全风险的访问操作序列。对系统配置的修改 以及应用程序的异常运行情况等等，其中，许多发生在应用进程级别的攻击行为 是无法依靠基于网络的入侵检测来完成的。同时，基于主机的入侵检测系统也有 若干显而易见的缺点：首先，由于它严重依赖于特定的操作系统平台，所以，对 不同的平台系统而言，它是无法移植的。其次，它在所保护主机上运行，将影响 到宿主机的运行性能，特别是当宿主机是服务器的情况。另外，它通常无法对网 络环境下发生的大量攻击行为，做出及时的反应。与此对应的是，基于网络的入 侵检测能够及时监控网络中的数据流量，并发现潜在的攻击行为和做出迅速的响 应。另外，它的分析对象是网络协议，通常而言是标准化的，独立于主机的操作 系统类型，因此，一般没有一致性的问题。同时，它的运行丝毫不影响主机或服 务器的自身运行，因为基于网络的入侵检测系统通常采用独立主机和被动监听的 工作模式。 基于网络的入侵检测和基于主机的入侵检测都有不足之处，但是，他们的缺 陷是互补的。因此，出现了把基于主机和网络的入侵检测结合起来的入侵检测系 统分布式入侵检测系统。 2 5 2 滥用和异常入侵检测 从数据分析手段看，入侵检测通常分为两类：滥用( m i s u s e ) 入侵检测和异 常( a n o m o l y ) 入侵检测。 滥用入侵检测的技术基础是分析各种类型的攻击手段，并找出可能的“攻击 特征”集合。滥用入侵检测利用这些特征集合或者是对应的规则集合，对当前的 第二章入侵检测的基础 数据来源进行各种处理后，再进行特征匹配或者规则匹配工作，如果发现满足条 件的匹配，则指出发生了一次攻击行为。 异常入侵检测的假设条件是对攻击行为的检测可以通过观察当前活动与历史 正常的活动情况之间的差异来实现。异常入侵检测通常都会建立一个关于系统正 常活动的状态模型并不断进行更新，然后将用户当前的活动情况与这个正常的模 型进行对比，如果发现了超过设定阈值的差异程度，这指示发现了非法攻击行为。 比较而言，滥用入侵检测比异常入侵检测具备更好的确定解释能力，即明确 指示当前发生的攻击手段类型，因而在诸多商用系统中得到广泛应用。另一方面， 滥用入侵检测具备较高的检测率和较低的虚警率，开发规则库和特征集合相对于 建立系统正常模型而言，也要更方便、更容易。滥用检测的主要缺点在于一般只 能检测到已知的攻击模式，模式库只有不断更新才能检测到新的攻击方法。而异 常检测的优点是可以检测到未知的入侵行为，尽管可能无法明确指示是何种类型。 2 5 3 离线检测和在线检测 从工作方式来看，入侵检测通常分为：离线检测和在线检测。 离线检测是一种非实时工作的系统，在事件发生后分析审计事件，从中检查 入侵事件。这类系统的成本低，可以分析大量事件，调查长期的情况，有利于其 它方法建立模型。但由于是在事后进行，不能对系统提供及时的保护。而且很多入 侵在完成后都将审计事件去掉，使其无法审计。 在线检测对网络数据包或主机的审计事件进行实时分析，可以快速反应，保 护系统的安全；但在系统规模较大时，难以保证实时性。 2 6 1 误用检测 2 6 入侵检测的现状 误用检测主要用来检测已知的攻击类型，判别用户行为特征是否与攻击特征 库中的攻击特征匹配。系统建立在各种己知网络入侵方法和系统缺陷知识的基础 之上。它首先建立一个包含上述已知信息的完备的检测规则库，然后以此为基础 进行行为匹配判断。这种方法由于依据具体特征库进行判断，所以检测准确度( 检 测率1 很高；检测结果有明确的参照，便于系统管理员采取响应措施。其主要缺陷 在于受知识的局限而导致检全率( 即检测全部入侵行为的能力) 较低；信息与主机 的操作系统、软件平台和应用紧密联系，可移植性较差；维护工作量大，而且将 具体入侵手段抽象成知识也很困难；对于未知的攻击手段无能为力，尤其难以检 基于网络的入侵检测系统的研究及实现 测出非授权用户使用合法身份的入侵行为。当前流行的入侵检测系统基本上都采 用这种模式，其常用方法如下： 1 专家系统( e x p e r ts y s t e m ) 专家系统是基于知识的检测中应用最多的一种方法，它包含一系列描述攻击 行为的规$ 0 ( r u l e s ) ，当审计数据事件被转换为可能被专家系统理解的包含特定警 告程度信息的事实( f a c t s ) 后，专家系统应用一个推理机( i n f e r e n c ee n n n c ) 在事实和 规则的基础上推理出最后结论。在具体实现中，该方法的主要难点在于：全面性 问题，即难以科学地从各种入侵手段中抽象出全面的规则化知识：效率问题，即 所需处理的数据量过大，而且在大型系统中难以获得实时连续的审计数据。 2 状态迁移分析( s t a t e 扭a n s i f i o na p p r o c h e s ) 状态迁移分析采用优化的模式匹配来处理误用检测问题 1 0 1 2 】。这种方法采 用系统状态和状态迁移的表达式来描述已知的攻击模式。由于处理速度的优势和 系统的灵活性，状态转移分析法已成为当今最具竞争力的入侵检测模型之一。但 由于状态转移是针对事件序列进行分析，所以不适合分析过于复杂的事件，而且 不能检测与系统无关的入侵。 3 模型推理 模型推理是指结合攻击脚本推理出是否出现了入侵行为，其中有关攻击者行 为的知识被描述为：攻击者的目的，攻击者为达到此目的可能的行为步骤，以及 对系统的特殊使用等。根据这些知识建立攻击脚本库，每一脚本都由一系列攻击 行为组成。检测时先将这些攻击脚本的子集看作系统蘧临的攻击。然后通过预测 器根据当前行为模式，产生下一个需要验证的攻击脚本子集，并将它提交给决策 器。决策器根据这些假设的攻击行为在审计记录中的可能出现方式，将它们翻译 成与特定系统匹配的审计记录格式。最后，在审计记录中寻找相应信息来确认或 否认这些攻击。其主要优点在于：对不确定性的推理具有合理的数学理论基础； 攻击脚本可以与审计记录的上下文无关，因为它首先按脚本类型检测相应类型是 否出现，然后再检测具体的事件，从而减少了需要处理的数据量。其主要缺陷是增 加了创建入侵检测模型的开销，以及决策器如何有效地翻译攻击脚本。 4 键盘监控误用检测 键盘监控法是假设入侵行为对应特定的击键序列模式，然后监测用户击键模 式，并将这一模式与入侵模式匹配从而检测入侵行为。这种方法不足之处是：在 没有操作系统支持的情况下，缺少捕获用户击键的可靠方法，存在着许多击键方 式表示同一种攻击：没有击键语义分析，用户提供别名很容易欺骗这种技术；这 种技术仅仅分析击键，所以不能够检测到恶意程序执行后的自动攻击。 5 条件概率误用检测 该方法将入侵方式对应于一个事件序列，然后通过观测到的事件发生情况来 第二章入侵检测的基础 推测入侵的出现。这种方法的依据是外部事件序列，根据贝叶斯定理进行推理检 测入侵。主要缺点是先验概率难以给出，而且事件的独立性难以满足。 2 。6 2 异常检测 异常检测是目前i d s 的主要研究方向，是指根据非正常行为( 系统或用户) 和 非正常使用计算机资源检测出入侵行为，其主要思想是：任何一种入侵行为都会 由于其偏离了正常或者所期望的系统与用户的活动规律而被检测出来。描述正常 或者合法活动的模型是对过去通过各种渠道收集到的大量历史活动资料分析得 到，系统将它与当前的活动情况进行对比，如果发现当前状态偏离了正常的模型 状态，则发出警告。这类方法的主要优点是检测率很高，甚至有可能检测出以前 未出现过的攻击方法：较少依赖特定系统环境，通用性较强；而且大大增强了对 合法用户越权的检测能力。主要缺点首先是由于难以确定性问题而异致较高的误 检率。其次，由于系统的活动行为在不断变化，因而需要不断地在线学习，这种 学习过程可能导致两个后果：系统无法正常工作，或者生成额外的虚假警告信息 处理；信息系统正遭受非法的入侵攻击，从而导致入侵检测系统的学习结果中包 含了相关入侵行为的信息，使得系统无法检测到该入侵行为。基于异常入侵的检 测方法有以下几种。 1 统计异常检测方法 统计异常检测是异常检测中应用最早也是最多的种方法，它通过异常检测 器观察主体的活动，然后产生描述这些活动行为的轮廓。每一个轮廓记录了主体 的当前行为，并定时地将当前轮廓与存储的轮廊合并。通过比较当前的轮廊与已 存储的轮廓来判断异常行为，从而检测出网络入侵。常见的测量类型有：活动强 度测量，即描述活动的处理速度：审计记录分布测量，即描述最近审计记录中所 有活动类型分布情况：测量类型即描述活动的输出结果，以数字值来表示。这种 方法的优越性在于能应用成熟的概率统计理论。主要缺点是：对事件的发生次序 不敏感，单纯的统计入侵检测系统可能不会发觉事件当中相互依次相连的入侵行 为；对于单一统计入侵检测系统，入侵者可能诱导系统对所监视的特定事件模式 失效；难以确定异常阈值，阈值设置偏低或偏高均会导致误报警事件。 2 基于神经网络的异常检测 基于神经网络的异常检测方法是用一系列信息单元( 命令俐i 练神经单元，这 样在给定一组输入后，就可以预测其输出。网络的输入是用户当前输入的命令和 已执行过的w 个命令。用户执行过的命令被神经网络用来预测用户输入的下一个 命令，若神经网络被训练成预测用户输入命令序列的集合，则神经网络就构成用 户的轮廓框架。当用这个神经网络预测不出某用户的正确后继命令时，就在某种 基于网络的八侵检测系统的研究及实现 程度上表明了用户行为与其轮廓框架的偏离，即可判定发生了异常事件。这种方 法具有不少优点 1 3 1 6 1 ：不依赖于任何有关数据种类的统计假设：更好地表达了 变量间的非线性关系；能自动学习并更新；能较好地处理噪声数据。主要缺点： 网络拓扑结构和每个元素的权重必须经过多次尝试才能确定：w 的值难以确定， w 设置太小则工作效率低，若设置太大则网络会因为大量无关数据而降低效率。 3 基于贝叶斯聚类的异常检测 基于贝叶斯聚类的异常检测方法是通过在数据中发现不同类型的数据集合， 这些类反映了基本的因果机制，由此就可以区分异常用户类，进而推断入侵事件 的发生，检测出异常入侵行为。主要优点：根据给定的数据，a u t o c l a s s 自动 地判断决定尽可能的类型数目；不要求特别相似测量、停顿规则和聚类准则；可 以自由地混合连续的及离教的属性。但自动分类程序在如何处理好固有的次序性 数据以及将统计分布特性植入类型中等方面，效果并不是十分明显。当自动分类 程序支持处理在线数据时，对新的数据能否递增地分类或者是否立即需要全部输 入数据等这些问题的处理还没有定论。由于统计的固有特性，自动分类程序还在 选定合适的异常闽值及用户逐步地影响类型分布能力等方面存在困难。 4 基于数据挖掘的异常检测 计算机联网后会产生大量的审计记录，它们往往是以文件的形式存放，若单 独依靠手工方法去发现记录中的异常现象是不够的，而且操作不便，难以发现审 计记录之问的关系。为此，可以将数据挖掘技术应用于入侵检测领域，从审计数 据或数据流中提取感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。 提取的知识表现为概念、规则、规律、模式等形式，并用这些知识去检测异常入 侵和已知入侵 1 7 1 9 1 。基于数据挖掘的异常检测方法目前已有现成的k d d 算法 可以借用，其优点是适应处理大量数据的情况。但是，要将它用于实时入侵检测， 还需要开发出有效的数据挖掘算法和相适应的体系。目前，关于异常检测技术的 研究非常括跃，提出了很多方法，除了上述方法之外，还有特征选择法、贝叶斯 推理法、贝叶斯网络法、模式预测法、机器学习法等等。 7 入侵检测系统的发展趋势 由于入侵检测系统是一个比较新的研究领域，除了其中的审计技术之外。其 它主要概念和基础创立于上世纪8 0 年代末，而使用至今不到1 0 年。因此，虽然 i d s 随着网络技术和相关学科的发展也在日趋成熟，但还不能完全满足现代网络 的安全需求。目前入侵检测技术的不足及其发展趋势主要体现在以下方面 2 0 2 1 】： 1 提高入侵检测速度 随着近年来各种宽带高速网络不断出现，如何实现高速环境下的实时入侵检 第二章入侵检测的基础 测成为现实面临的问题。而目前入侵检测产品的处理带宽超过1 0 0 m b s 时，就会 出现丢包现象，甚至崩溃。为此，迫切需要提高入侵检测的处理速度，目前可能 的解决途径主要有3 个方面：研究和设计新的i d s 软件结构与算法，以适应高速 网络环境；如果将入侵检测的核心功能从软件转移到硬件来实现，则可以大大提 高检测速度，但同时需要兼顾软件的灵活性、可更新性等优点。例如，使用硬件 高速采集数据包，然后将其分流给多个软件平台处理；尽可能减少检测条目，如 去除早已过时的、不再使用的攻击手段，仅对系统所提供的服务进行检测等。 2 分布式入侵检测系统 传统的集中式入侵检测的基本模型是在网络的不同网段中放置多个探测器用 来收集当前网络状态信息，然后将它们传送到中央控制台进行处理和分析。这种 模式难以适应大型网络中发生的大规模分布式入侵的情况：可能使中央控制台过 载而导致漏警率增加；因增加网络负荷而导致网络性能下降；因传输时延而导致 实时性下降。分布式入侵检测系统( d d s ) 则可以通过多个智能代理的协同工作、 分布处理较好地解决上述问题。 3 智能入侵检测 将人工智能应用于入侵检测领域，可以大大提高d s 的性能。其进展主要有 3 个方面：引入计算机免疫技术，通过正常行为的学习来识别不符合常态的行为， 使系统能够自动学习新的入侵活动，提高检全率和检准率：研究更好的神经网络 架构，如自组织特征映射网络等，克服目前基于神经网络的异常检测技术的缺陷； 应用遗传算法来识别正常行为与异常行为，提高系统分析能力。 4 。数据挖掘技术的应用 将数据挖掘技术应用于i d s ，是当前国际、国内都很活跃的一个研究方向。 由于网络系统日益复杂、规模日益庞大，导致需要i d s 审计的数据迅速增加，如 何从海量数据中提取出具有代表性的系统特征模式，以便更精确地描述用户行为， 成为实现入侵检测的关键，而这正是数据挖掘技术所要解决的问题。因此，人们 正在进行理论探讨，利用数据挖掘中的关连分析、系列模式分析等算法，提取相 关的用户行为特征来生成安全事件的分类模型，应用于安全事物的自动鉴别。 5 实时入侵响应 为了尽可能减少入侵造成的损失，当1 d s 检测出已知或可疑的入侵行为后， 需要系统尽快、有效地予以响应和处理。为此，正在研究和应用实时性更强、效 果更好的自动对抗技术，主要有：以减少入侵损失为目的的系统保护技术：主要 提高系统安全性的动态响应策略；不仅可以实现实时系统保护，还可以实现入侵 跟踪和反入侵等主动防御功能等。此外，目前i d s 的主要研究领域还包括：i d s 自身性能的评测系统；i d s 自身的安全性，如应用ip 隐藏技术、认证、s s l 等； 将i d s 与反病毒系统、防火墙、v p n 协同工作，构成完整的安全网管体系等。 1 6 基于网络的入侵检测系统的研究及实现 第三章基于网络的入侵检测系统的实现 3 1 公共入侵检测框架 为了提高入侵检测产品的互操作性，美国国防部高级研究计划署提出了公共 入侵检测框架( c o m m o n i n t r u s i o nd e t e c t i o nf r a m e w o r k ) j 2 2 。作为入侵检测系统的 通用模型，它把入侵检测系统分为四个基本组成部