（计算机应用技术专业论文）www服务器防护系统检测引擎的研究与实现.pdf

北京交通大学硕士学位论文摘要 摘要 随着w e b 应用的日益广泛和网络安全环境日益恶化，网站的安全问题日益突出， w w w 服务器防护技术的研究r 益得到重视。入侵检测技术作为一种积极主动的安全防 护技术，提供了对内部攻击、外部攻击和误操作的实时保护，可以在系统受到危害之前 拦截和响应入侵，因而在w 、 m ，服务器防护中得到了广泛使用。针对w w w 服务器构 建基于入侵检测技术的防护系统已成为保障w w w 服务正常运行的主要技术之一，而 防护系统检测模块是其中的关键技术部分。 本文研究并实现了基于开源入侵检测系统s n o r t 的w w w 服务器防护系统的检测引 擎。首先，本论文概述了w e b 安全问题、w w w 服务器防御技术现状和常用技术，论 述了研究针对w w w 服务器的防护系统的研究意义和应用价值。接着，分析了入侵检 测技术和开源s n o r t 的架构和原理，说明了入侵检测技术在网站防护中的广泛应用，特 别提出了s n o r t 系统在w e b 服务器防护中的不足和需要改进之处。然后，根据网站防 护的入侵检测系统都使用误用检测技术、匹配算法的效率对于误用检测引擎的效率有着 至关重要的影响的情况，进行了字符串模式匹配算法的研究，引入了改进的b m 算法和 改进的k r 算法，并进行了实现和性能测试。接着，进行了检测引擎的设计与实现，包 括规则解析、多维匹配链表的构建、协议解析、规则匹配等几个模块。其中根据对w w w 服务器攻击的数据流具有时间集中性的特点，在构建多维匹配链表时采用动态索引调整 的技术，加快了规则匹配的速度。其次，针对s q l 注入攻击对w w w 服务器的威胁严 重而原有规则库中相应规则不足的情况。重点分析了s q l 攻击技术，并定义相应的规 则，扩充规则库。最后，进行w w w 服务器防护系统检测引擎的系统测试，并得出测 试结论：采用动态索引调整技术使系统处理恶意数据的效率提高了约2 0 。 关键词：w w w 服务器防护：入侵检测；模式匹配： 检测引擎 分类号：t p 3 0 9 北京交通人学硕士学位论文a b s t r a c t a b s t r a c t w i t ht h ew i d e l ya p p l i c a t i o no fw e bt e c h n o l o g ya n dt h ed e g r a d a t i o no fn e t w o r ks e c u r i t y e n v i r o n m e n t ，s e c u r i t yp r o b l e m so fw e b s i t eh a v eb e c o m ei n c r e a s i n g l yp r o m i n e n t , a n dw w w s e r v e rp r o t e c t i o nt e c h n o l o g yi so fg r o w i n gi m p o r t a n c e i n t r u s i o nd e t e c t i o nt e c h n o l o g y , a p r o a c t i v es e c u r i t yp r o t e c t i o nt e c h n o l o g y , p r o v i d e sr e a l - t i m ep r o t e c t i o nt oi n t e r n a la n de x t e r n a l a t t a c k sa n dm i s u s e i tc o u l dr e s p o n dt oi n t e r c e p tb e f o r et h ei n v a s i o nw o r k s t h u si n t r u s i o n d e t e c t i o nt e c h n o l o g yi sw i d e l yu s e di nt h ep r o t e c t i o no ft h ew w ws e r v e r s c o n s t r u c t i o no f w 旷ws e r v e tp r o t e c t i o ns y s t e mb a s e do ni n t r u s i o nd e t e c t i o nt e c h n o l o g yh a sb e c o m eo n eo f t h em o s ti m p o r t a n tt e c h n o l o g i e st ok e e pw w w s e r v e rw o r kn o r m a l y a n dd e t e c t i o nm o d u l ei s o n eo f t h ek e y t e c h n o l o g i e si nt h ep r o t e c t i o ns y s t e m t h i st h e s i sr e s e a r c h e sa n di m p l e m e n t sad e t e c t i o ne n g i n eo f 冈r s e r v e rp r o t e c t i o n s y s t e mb a s eo no p e n s o u r c ei n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) 一s n o r t f i r s t ，t h i sp a p e r o u t l i n e st h ew e bs e c u r i t yi s s u e sa n ds t a t u so fc o m m o nw w w s e r v e rd e f e n s et e c h n o l o g i e s p r e s e n t st h es i g n i f i c a n c eo fw w w s e r v e rp r o t e c t i o ns y s t e mr e s e a r c h t h e n a n a l y z e st h e s t r u c t u r ea n dp r i n c i p l e so fo p e ns o u r c es y s t e ms n o r ta n di n t r u s i o nd e t e c t i o nt e c h n o l o g i e s ， d e s c r i b e st h ew i d eu s eo fi n t r u s i o nd e t e c t i o nt e c h n o l o g yi nw e bs e r v e rp r o t e c t i o na n d i n a d e q u a t e so fs n o r ts y s t e m t h e n ，a c c o r d i n gt ot h ef a c tt h a tm o s to fi n t r u s i o nd e c t i o ns y s t e m s u s e di nw e bs e r v e rp r o t e c t i o na r eb a s e do nm i s u s ed e t e c t i o nt e c h n o l o g yo fw h i c ht h e e f f i c i e n c yo fm a t c h i n ga l g o r i t h mh a sac r i t i c a li m p a c to nt h et h ee n g i n e se f f i c i e n c y , s t r i n g m a t c h i n ga l g o r i t h m sa r er e s e a r c h e d i m p r o v e db ma n dk ra l g o r i t h m sa r ei n t r o d u c e d ， i m p l e m e n t e da n dt e s t e d a n dt h e n ，t h ed e s i g na n di m p l e m e n t a t i o no ft h ed e t e c t i o ne n g i n ea r e p r e s e n t e d ，r u l e sa n a l y s i s ，t h ep r o t o c o la n a l y s i sa n dt h er u l e sm a t c h i n ga r ed e s c r i b e di nd e t a i l a c c o r d i n gt ot h ef a c tt h a tt h ei n t r u t i o nd a t a sr e c e i v e db yw w ws e r v e ri nac e r t a i nt i m eh a v e s o m ec o m m o nc h a r a c t e r i s t i c s ，d y n a m i ci n d e xa d j u s t m e n tt e c h n o l o g yi s a p p l i e dh e r et o a c c e l e r a t er u l e sm a t c h i n g f o l l o w i n g , a g a i n s ts q l i n j e c t i o na t t a c k sh a v es e r i o u st h r e a to nt h e w w w s e r v e r , s q la t t a c kt e c h n o l o g yi sa n a l y s e d ，a n dr u l e sa r ed e f i n e da c c o r d i n g l y f i n a l l y , t h et e s to ft h ed e t e c t i o ne n g i n ef o rw w ws e r v e tp r o t e c t i o ns y s t e mi sd o n e a n dt h et e s t i n g c o n c l u s i o n sa r eg i y e n k e yw o r d s ： w w ws e r v e rp r o t e c t i o n ；i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) ； p a t t e nm a t c h ；d e t e c t i o ne n g i n e c l a s s n o ：t p 3 0 9 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北 京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、 缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送 交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位做作者签名：毒旌 签字同期加呢年易月侈同 导师签名： 签字同期：知拷年6 月同 北京交通大学硕七学位论文独刨性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：专秘 签字r 期：历d9年乡月占 只 致谢 本论文的工作是在我的导师韩臻教授的悉心指导下完成的，韩臻教授严谨的治学态 度和科学的工作方法给了我极大的帮助和影响，对我以后的工作和学习具有很强的指导 意义，在此衷心感谢两年来韩臻老师对我的关心和指导。 在研究生阶段的学习中，韩臻教授悉心指导我们完成了实验室的科研工作，在学习 上和生活上都给予了我很大的关心和帮助，在此向韩臻老师表示衷心的谢意。 刘吉强教授对于我的科研工作和论文都提出了许多的宝贵意见和具体的指导，两年 来对我的科研和生活给予和很多关心和帮助。刘吉强教授的鼓励和指导始终激励着我的 学习和生活。在此表示衷心的感谢。 杜晔老师在我研究生阶段的学习和项目过程中，给予了很多具体的指导，并对我的 论文工作给予了很多建议，对杜老师表示由衷的谢意。 在实验室工作及撰写论文期间，袁中兰老师、李沽源、曾姚等同学对我论文中研究 工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢家人，他们的理解和支持使我能够在学校专心完成我的学业。 最后祝所有关心指导我的老师、所有的同学和我的家人身体健康、家庭美满、工作 顺利、平安幸福。 北京交通大学硕士学位论文绪论 1 1 研究背景 1 绪论 随着网络技术和信息技术的发展，i n t e r n e t 正r 益渗入社会的每个领域，融入 人们的工作、学习和生活中。i n t e r n e t 的不断普及、方便的接入方式以及信息内容 的爆炸式增长，带来了电子政务、电子商务等w e b 应用的蓬勃发展。但由于各种 原因，国内w e b 应用的安全性无法得到有效的保障，从而阻碍了w e b 应用的发展。 随着信息化进程加快和计算机的广泛应用，网站安全防护问题日益突出。 随着国内电子商务、电子政务的迅速崛起，计算机网络被广泛应用于人们生 活的各个领域，w e b 服务器上存放的数据包括各方面的无形资产，有的是政府或 企事业单位的关键资产，这些敏感或秘密信息具有最大的诱惑力，是黑客攻击的 首选目标。不断出现的网络非法入侵、重要资料被窃取、网络系统瘫痪等严重问 题已成为决定投资者进行大规模地网上投资、网上交易、网上转帐等商务活动生 死存亡的关键。各大公司、政府部门、事业单位的网站被入侵、网页被篡改的事 件时有发生。w w w 服务器的安全问题已经成为最为严重的网络安全问题之一n 1 。 据统计：信息盗窃在过去5 年中以2 5 0 速度增长，9 9 的大公司都发生过大的入 侵事件瞳1 。根据国家计算机网络应急技术处理中心2 0 0 5 年5 月和6 月的报告显示， 当年4 月全国被入侵并篡改的网站达4 0 0 家以上；同月全球有数万家网站被成功 入侵，在4 同和2 1 同都达到3 0 0 0 家以上；5 月全国被入侵并篡改的网站有3 8 0 家 以上，其中2 5 、2 6 同就达近2 0 0 家；全球同样有数万家网站被篡改。可见w w w 服务器的安全威胁已经到了很严重的地步。 尽管多数网站采取了一定的安全措施，但是，一方面由于网络的复杂性、编 程的多样性、人为能力的局限性和数据的可变性，网络系统中的软件不可避免的 会留下一些漏洞和缺陷，给网络攻击者留下了可用之机；另一方面，黑客知识流 行，黑客工具大量丌发出来。这些工具操作简单，网络攻击的门槛和对专业技能 的要求越来越低，只需熟悉工具的操作，就有可能轻易地攻击某个网站的服务器， 对网站安全构成威胁。这些攻击手段主要包括阳 ： ( 1 ) 利用漏洞进行木马的植入，并利用木马程序进行权限提成、文件篡改等非 法活动。可利用的漏洞包括操作系统漏洞、t c p i p 协议栈漏洞、服务漏洞、程序 脚本缺陷等。例如很流行的动网上传文件漏洞，就是利用了动网里的脚本缺陷， 用户可以上传木马程序，获取管理员权限。 北京交通大学硕士学位论文绪论 ( 2 ) 攻击者利用种种手段获取网站合法管理员的用户名和口令，从而以合法的 身份登陆，进行对网站的破坏。最常见的是通过s q l 注入的方式获取管理员的用 户名和口令。 ( 3 ) 网站管理人员的疏忽，不小心点击了网络上黑客设置的恶意链接，这些陷 阱往往会往计算机中载入病毒代码，并潜藏在网站的某个文件中，往往给网站文 件系统造成很大的危害。 1 2 技术现状 目前所采用的保护w e b 服务器的方法主要有以下几种1 ： 1 漏洞扫描 漏洞扫描是网络安全防御中的一项重要技术，其原理是采用模拟攻击的形式 对目标可能存在的已知安全漏洞进行逐项检查。目标可以是工作站、服务器、交 换机、数据库应用等各种对象。然后根据扫描结果向系统管理员提供周密可靠的 安全性分析报告，为提高网络安全整体水平产生重要依据。 对w w w 服务器安全管理人员来说，通过漏洞扫描工具，可以发现所维护的 w e b 服务器各种t c p 端口的分配、打丌的服务、w e b 服务软件信息以及这些服 务和软件对外部网络呈现出来的安全漏洞。同时，漏洞扫描器可以从主机系统内 部检测系统配置存在的缺陷，使安全管理人员及时发现并给以修复，从而降低系 统的安全风险。 漏洞扫描器整体上可以分为两种类型：主机漏洞扫描器和网络漏洞扫描器。 网络漏洞扫描器是指基于i n t e m e t 远程检测目标网络和主机漏洞的程序，如提供网 络服务、开放端口、弱密钥的猜解和阻断服务等扫描测试。主机漏洞扫描器是针 对操作系统进行的扫描，如u n i x 、n t 、l i n u x 的系统r 志分析，它可以从内 部测试主机的安全性，弥补网络型漏洞扫描器只能从外部通过网络检查系统安全 的不足。 2 防火墙 防火期是内部网络遭受外部攻击时防护内部网络和主机的重要手段。外部的 入侵者需要首先穿越防火墙，才能接触到防火墙后面的目标主机。防火墙对流经 它的网络通信进行扫描，可以提供基于状态检测技术的i p 地址、端1 ：3 、用户和时 间的管理控制，从而防止不明入侵者的所用数据；实施用户策略和接口策略；可以 检测到对网络或内部主机的所有t c p u d p 扫描并进行阻断，提供对网络的实时监控、 审计和告警功能。防火墙是外部网络和内部网之间的屏障，但是它不能对内部的 2 北京交通大学硕士学位论文绪论 攻击进行防御，不能防止特定的攻击，对病毒也束手无策。 3 入侵检测 入侵检测系统根据管理员配置的安全规则，通过从计算机网络或计算机主机 上收集信息并进行分析，从中发现网络或系统中是否有违反安全策略的行为或入 侵发生。i d s 一方面检测未授权用户对系统的非法访问，另一方面监视授权用户对 系统资源的非法操作。入侵检测作为一种积极主动的安全防护技术，在网络系统 受到危害之前拦截和响应入侵行为，提供了对内部攻击、外部攻击和误操作的实 时保护，如记录证据、跟踪入侵、恢复或断丌网络连接、阻断恶意数据流等，对 于处理网络攻击、保护服务器安全、构建安全的防护系统具有重要的意义。 4 服务器的安全配置 对于w w w 服务器来讲，降低安全风险、保证自身安全的一个直接手段是关 闭不必要的服务，尽量只开放w e b 服务，及时安装操作系统补丁，将w e b 服务 升级到最新版本并安装所有补丁，根据开放服务的需要和安全专家的建议进行服 务器的配置等，这些措施可以极大的提高w e b 服务器本身的安全性。 虽然这些安全措施可以很大的提高w e b 服务器的安全性能，减少被攻击的可 能性。但是使用的很多工具不是专门面向w w w 服务器安全防护的产品，在处理 对网站的攻击和入侵时没有针对性。 1 3 研究的意义 随着互联网的普及和发展，随着国内电子商务、电子政务的迅速崛起，计算 机网络被广泛应用于人们生活的各个领域。w e b 服务器上存放的数据包括各方面 的无形资产，有的是政府或企事业单位的关键资产。据统计，我国现有网站达到 6 0 多万个，网站已经成为各级政府机关、企事业单位的开展网上服务的门户，也 是各个单位开展对外业务、提供服务的重要手段。如果网站被入侵，不仅业务的 开展、造成经济损失，同时影响企业形象和政府声誉；如果被不法分子篡改了网 页，可能会造成很严重的政治后果和社会影响。 现有的防护技术在设计之初不是专门针对w w w 服务器的安全阿1 ，防御的对 对象往往是各种各样的攻击，使用在网站防护上往往没有针对性。本文研究并开 发针对w w w 服务器的安全防护系统的检测引擎，面向w e b 服务防护，可以有效 地保护网站的安全运行，提高网络管理的效率和处理恶意数据的反应能力。 北京交通大学硕士学位论文 绪论 1 4 所做的主要工作 本文首先概述了w e b 安全问题、w w w 服务器防御技术现状和常用技术，论 述了研究针对w w w 服务器的防护系统的价值；接着研究了入侵检测系统特别是 s n o r t 系统的架构和原理，以及入侵检测技术在w w w 服务器防护中的应用，提出 了入侵检测系统特别是s n o r t 在w w w 服务器防护中的不足。 w w w 服务器防护系统检测引擎是基于丌源的入侵检测系统s n o r t 来设计和实 现的，主要包括规则解析、匹配链表的构建、协议解析与预处理和数据检测几大 部分。在设计过程中，充分考虑w e b 服务的特点和w w w 服务器防护的特殊需要， 针对s n o r t 在w w w 服务器防护中的不足，进行了若干改进。 在s n o r t 中，模式匹配占用了3 0 到8 0 的c p u 时间，是整个系统的瓶颈所 在。从众多改进的算法中，选取了占用内存空间少、速度快的改进的b m 算法和 改进的k r 算法，对它们进行了实现和性能测试。测试结果是二者在效率上较传统 s n o r t 采用的b m 算法提高了约2 3 3 0 。 为了实现捕获的数据与规则库中大量规则的快速匹配，s n o r t 根据规则的特点 进行分类，构建多维规则链表结构。但是该链表是个静态结构，不能根据规则匹 配情况进行动态调整；而对w w w 服务器攻击的数据在一定时问内往往具有共同 的特征。我们采用了动态索引调整的技术，根据匹配情况及时调整索引顺序，对 上次匹配上的规则节点优先进行下一次的匹配。测试阶段的性能测试表明，采用 这种方法对攻击的检测速度提高了约2 0 。 入侵检测系统s n o r t 防御的是各种各样的攻击，其规则库中有数量庞大的规则， 约3 0 0 0 多条，而针对w e b 防护的规则不到9 0 0 条。在进行w w w 服务器防护时， 大量多余的规则造成了内存空间和匹配时间的浪费。我们一方面删除与w w w 服 务器防护无关的规则，另一方面针对s n o r t 防御s q l 注入攻击的不足，在分析s q l 攻击技术的基础上，扩充了规则库中针对s q l 注入攻击的规则。从而使规则库更 有效、更有针对性。 最后进行了防护系统检测引擎的的系统测试。采用了中间层驱动的技术捕获 数据，同时搭建了自己的w e b 网站等网络环境。功能测试的结果表明本系统可以 有效防御对w w w 服务器的攻击；性能测试则表明，在规则匹配链表中采用了动 态索引调整的技术后，性能提高了约2 0 。 4 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 2 入侵检测系统与w w w 服务器防护 2 1 入侵检测系统( i o s ) 介绍 入侵检测系统畸6 1 ，英文全程是i n t r u s i o nd e t e c t i o ns y s t e m ，简写为i d s ，是对 入侵网络或主机行为的检测。它通过从计算机网络或计算机主机上收集信息并进 行分析，从中发现网络或系统中是否有违反安全策略的行为或入侵发生。i d s 一方 面检测未授权用户对系统的非法访问，另一方面监视授权用户对系统资源的非法 操作。入侵检测作为一种积极主动的安全防护技术，提供了对内部攻击、外部攻 击和误操作的实时保护，在网络系统受到危害之前拦截和响应入侵。 它从计算机系统或者网络环境中采集数据，分析数据，发现可疑攻击行为或 者异常事件，并采取一定的响应措施拦截攻击行为，降低可可能的损失。i d s 系统 有很多分类标准m 1 。 根据系统采集的数据来源，将入侵检测系统分为网络入侵检测系统( n i d s ) ， 基于主机的入侵检测系统( h i d s ) ，分布式入侵检测系统( d i d s ) 。 网络入侵检测系统对所有流经监测代理的网络通信量进行监控，对可疑的异 常活动和包含攻击特征的活动作出反应。 基于主机的入侵检测系统从主机的审计记录和同志文件中获得主要的数据 源，并辅助以主机上的其他信息，例如文件系统属性、进程状态、c p u 和内存使 用状态等，通过对采集的数据的分析，检测出攻击行为。 典型的分布式入侵检测系统是管理端探测器结构。n i d s 作为探测器放置在网 络的各个地方，并向中央管理平台汇报情况。攻击日志定时地传送到管理平台并 保存在中央数据库中，新的攻击特征库能发到各个探测器上。每个探测器能根据 所在的网络需要配置不同的规则集。 根据检测方法分类，传统的观点是将其分为误用( m i s u s e ) 和异常( a n o m a l y ) 两 种，分别建立了误用检测模型和异常检测模型。 l 、 异常检测模型( a n o m a l yd e t e c t i o nm o d e l ) 异常检测也被称为基于行为的检测，指根据用户的行为或资源的使用情况来 判断是否有入侵的行为发生。基于行为的检测与系统相对无关，通用性较强，可 以检测出以i ； 未出现的攻击行为 检测与可接受行为之间的偏差。如果可以定义每项可接受的行为，那么每项 不可接受的行为就应该是入侵。首先总结正常操作应该具有的特征( 用户轮廓) ， 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 当用户活动与正常行为有重大偏离时即被认为是入侵。这种检测模型漏报率低， 误报率高。因为不需要对每种入侵行为进行定义，所以能有效检测未知的入侵。 由于不可能对系统内所有用户的行为作出全面精确的描述，并且用户的行为 是经常改变的，所以异常检测具有误报率较高的缺点。 2 、误用检测模型( m i s u s ed e t e c t i o nm o d e l ) 检测与已知的不可接受行为之问的匹配程度。如果可以定义所有的不可接受 行为，那么每种能够与之匹配的行为都会引起告警。收集非正常操作的行为特征， 建立相关的特征库，当监测的用户或系统行为与库中的记录相匹配时，系统就认 为这种行为是入侵。这种检测模型误报率低、漏报率高。对于已知的攻击，它可 以详细、准确地报告出攻击类型，但是对未知攻击却效果有限，而且特征库必须 不断更新。 误用检测技术的优点是能够针对入侵行为构造有效的检测系统，其准确度较 高，但是只能检测已知的入侵行为，不能检测未知的行为和已知行为的变种。误 用检测的关键是入侵行为的表达和攻击签名的构造。 目前w e b 防护中采用的入侵检测系统绝大多数采用的是误用型检测模型。 s n o r t 是一个丌源的误用型网络入侵检测系统，给我们提供了一个非常优秀的公丌 源代码的入侵检测系统范例。我们可以通过对其代码的分析，搞清i d s 究竟是如 何工作的，并在此基础上根据所设计系统的需要添加自己的想法。下面我们对s n o r t 系统丌展研究。 2 2s n o r t 检测引擎的研究 s n o r t 是一个开放源代码的网络入侵检测系统，由m a r t i nr o e s c h 编写，并由 世界各地的程序员共同维护和升级。s n o r t 是一个基于w i n p c a p 数据包嗅探器的优 秀的轻量级网络入侵检测系统。所谓“轻量级”是指检测时尽可能低地影响网络 的操作。它的工作原理是：在共享的网络上监测原始的网络数据，通过分析截获 的数掘包判断是否有入侵行为发生。从检测技术上讲，s n o r t 属于误用检测。它采 用基于规则的方式，将数据包内容进行规则匹配来判断是否有攻击行为发生。s n o r t 具有实时报警功能。系统采用命令行丌关选项的方式进行配置。系统检测引擎采 用一种简单的规则语言进行编程，用于描述对每一个数据包进行的测试和对应的 相应动作。 6 北京交通人学硕士学位论文入侵检测与w w w 服务器防护 2 2 1s n o r t 系统架构 s n o r t 入侵检测系统主要有四部分组成引： 数据包嗅探器 预处理器 检测引擎 警报输出模块 系统体系结构如图2 1 所示： 圈2 - 1s n o r t 的体系结构 f i g 2 1a r c h i t e c t u r eo fs n o r t 1 数据包嗅探器 数据包嗅探器是一个并联在网络中的设备( 可以是硬件，也可以是软件) ，它 的工作原理和电话窃听很相似，不同的只是电话窃听的是语音网络，而数据包嗅 探的是数据网。 s n o r t 主要通过两种机制实现捕获数据的需要： 将网卡设置为混杂模式。网卡的默认方式将忽略不是以本m a c 地址为目 的地址的数据。 利用l i b c a p w i n p c a p 从网卡上捕获数据。 在i p 数据包中包含了不同类型的协议，如t c p ，u d p ，i c m p ，i p s e c 和路由 协议等，因此很多数据包嗅探器还会做协议分析，并把分析结构展现出来。 一数妣乜- 敷攒组嗅 铱搭 图2 - 2s n o r t 的数据包嗅探功能 f i g 2 2s n o r t sp a c k e ts n i f f e rf u n c t i o n 7 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 2 预处理器 因为从网络上捕获的数据包采用的协议有多种，采集的数据也比较原始，预 处理模块的主要作用就是针对捕获的数据迸行预处理。预处理器用相应的插件检 查原始的资料包，这些插件分析资料包，从中发现这些数据的“行为_ 原始数据的 应用层表现是什么。数据包经过预处理器处理后才传到检测引擎。 用插件的形式实现预处理器对i d s 非常有用。我们可以更加实际坏境的需要 启动或停止一个预处理器插件。例如，如果我们觉得网络中没有r p c 服务，就可 以方便地停用r p c 处理插件，这样可以提高s n o r t 的效率，也可以更加需要写特 定的预处理器插件。 图2 3s n o r t 的预处理模块 f i g 2 3p r e p r o c e s s o rm o d u l eo fs n o r t 3 检测引擎模块 检测引擎是s n o r t 的核心模块。当数据包从预处理器罩送过来后，检测引擎依 据预先设置的规则检查数据包，一旦发现数据包的内容和某条规则相匹配，就通 知报警模块。如图2 4 所示。 s n o r t 是基于特征的i d s 。基于特征的i d s 的功能实现依赖于各种不同的规则 设置，检测引擎依据规则来匹配数据包。s n o r t 的规则很多，并根据不同类型( 木 马、缓冲区溢出、权限溢出等) 做了分组，规则要经常升级。 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 足 宙 j。 l 丢弃 l 1 j 图2 - 4s n o r t 的检测引擎模块 f i g 2 - 4d e t e c t i o ne n g i n em o d u l e so fs n o r t 4 报警日志模块 经检测引擎检查后的s n o r t 数据需要以某种方式输出。如果检测引擎中的某条 规则匹配，则会触发一条报警，这条报警信息会通过网络、u n i xs o c k e t s 、w i n d o w s p o p u p ( s m b ) 或s n m p 协议的t r a p 命令发送给同志。报警信息也可以记入s q l 数 据库，如m y s q l 或p o s t g r e s 等。另外，还有各种专为s n o r t 开发的辅助工具，如 各种各样基于w e b 的报警信息显示插件。 2 2 2s n o r t 的规则 s n o r t 是基于特征的入侵检测系统，其功能实现依赖于各种不同的规则设置， 即入侵行为的签名。规则在逻辑上分为规则头和规则选项两部分。一个简单的规 则如下所示： a l e r tu d p $ e x t e r n a i e ta n y - $ h o m e n e t313 3 5 ( m s g ：”d d o st f i n 0 0 d a e m o nt om a s t e rp o n g m e s s a g ed e t e c t e d ”；c o n t e n t ：”p o n g ”；s i d ：2 2 3 ；r e v ：4 ；) 1 、从规则的开头直到圆括号为止的部分称为规则头。规则头包括规则动作， 协议，源目的i p 地址，子网掩码，源目的端口。规则动作定义了一个数据包满 足所有在规则中指定的属性特征的情况下，所应该采取的行动。它位于规则的首 位，目前定义了3 种可能的动作类型： a l e r t ：用报替方式生成警报信号，然后记录该数据包。 l o g ：记录数据包。 9 北京交通大学硕士学位论文 入侵检测与w w w 服务器防护 p a s s ：忽略该数据包 规则头部分的第二部分是协议，主要指出要进行分析的协议类型，主要对 t c p 、u d p 和i c m p 三种协议进行分析，以发现可疑行为。 规则头部分的第三部分是i p 地址和端1 3 信息，关键字“a n y ”可以用来定义任 何i p 地址。 i p 地址使用分段的十迸制格式，并在i p 地址后指定网络掩码。! t 1 2 4 指定一 个c 类网络，1 6 指定一个b 类网络，3 2 指定一个特定主机。m 地址有一个“非” 的操作。这个操作符号用来匹配所列i p 地址以外的所有i p 地址。“非”操作使用 符号“! ”表示。 端口号可以用多种方法指定，包括用a n y 关键字、静态端口、端1 2 1 范围和“非 操作符。a n y 指定任意端口，意味着所有端口。数字指定一个单一端口，如8 0 为 h t t p ，2 3 为t e l n e t 等。指定端口范围用“：”可以指定一个范围内的所有端口。 端1 2 1 的“非”操作用可以修饰a n y 以外的任何端1 2 1 指定方式。 方向操作符号“一) ”规定了规则应用的数据流方向。位于方向操作符左边的 i p 地址和端口号被认为是指示来自源主机的数据流，右侧部分则指示目的主机。 双向操作符为“ ”，则指出可将任何方向的数据流视为起点和终点，这对于需要 同时记录并分析对话双方流量的场合是十分适合的，比如t e l n e t 或p o p 3 过程。 2 、规则选项是入侵检测系统检测引擎的核心部分，设计将易用性和检测性能 以及灵活性结合了起来。在规则选项中，位于冒号之前的词称为选项关键字。规 则选项不是规则的必需部分，它只是用来定义收集特定数据包的特定特征。在一 条规则内不同部分必须同时满足才能执行，相当于“与操作。一个规则的规则 选项中可能有多个选项，所有的规则选项之间使用“；”分隔开来。选项中的关键 字和选项参数使用“： 隔离。系统支持的常用规则选项关键字如下： m s g ：在警报和记录的数据中显示一条提示信息。 l o g ：将数据包记录到一个用户指定的文件中。 m ：检测i p 数据包的t t l 字段值。 i d ：检测i p 数据包的分段i d 字段是否等于指定值。 d s i z e ：检测数据包的有效荷载是否等于特定的值。 c o n t e n t ：在数据包的有效荷载重搜索指定的模式串。 o f f s e t ：选项c o n t e n t 的修饰符，设定模式搜索的起始偏移量。 d e p t h ：选项c o n t e n t 的修饰符，设定模式匹配尝试的最大搜索深度 n o c a s ：设定在字符串模式匹配时，不区分大小写。 f l a g s ：检测t c p 数据包的标志是否等于指定值。 s e q ：检测t c p 的序列号字段是否等于指定值。 1 0 北京交通大学硕士学位论文 入侵检测与w w w 服务器防护 a c k ：检测t c p 的确认字段是否等于指定值。 t y p e ：检测i c m p 类型字段是否等于指定值。 c o d e ：检测i c m p 代码字段是否等于指定值。 i c m p ：检测 字段是否等于指定值_ i d i c m pe c h oi d i c r n p ：检测 序列号是否等于指定值。_ s e q i c m pe c h o r p c ：监控r p c 服务中特定应用程序或过程的调用情况。 i p o p t i o n ：检测i p 数据包中的协议头部的选项部分是存在指定值。 2 2 3s n o r t 的工作流程 s n o r t 首先在网卡上捕获数据，然后进行数据包解码，调用d e c o d e c 中的 d e c o d e t c p 函数对报文进行分析。把数据包层剥开，确定该包采用何种协议，有 什么特征。并标记到全局结构变量p 中；接着调用预处理模块，对解码后的数据 包进行匹配前的先期处理，这些函数包括数据分片重组，代码转换等；然后进行 规则匹配，即利用已经在内存中构造的规则树对数据报进行递归匹配；如果实现 匹配，那么调用函数c a l l o u t p u tp l u g i n s 根据输出规则进行报警或同志。 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 图2 5s n o r t 的t 作流程 f i g 2 - 5s n o r tw o r k f l o w 2 3s n o r t 在w w w 服务器防护中的应用和不足 做为网络安全三大产品( 防火墙、入侵检测系统、漏洞扫描器) 之一的入侵检测 系统，拥有不可替代的功能和技术优势。虽然服务器配置了先进的硬件防火墙， 但是无法防御来自内部的攻击，针对一些特定的攻击，如对8 0 端口的s q l 注入和 跨站脚本攻击，还是无法抵御。入侵检测作为一种积极主动的安全防护技术，可 以对w w w 服务器收到的各种数据进行分析，在网络系统受到危害之前发现、拦 截和响应入侵行为，不仅提供对外部攻击的防护，同时处理来自内部的攻击和误 操作。据统计，全球8 0 以上的入侵来自于内部，不自律的员工对网络资源无节 制的滥用对企业造成巨大的损失。现在已经出现了很多成熟的入侵检测产品，国 1 2 北京交通大学硕士学位论文入侵检测与w w w 服务器防护 内主要的有：浪潮网泰入侵检测系统、启明星辰天阒黑客入侵检测与预警系统、 金诺网安入侵检测系统、东软n e t e y e 入侵检测解决方案等n ，已经得到广泛使用， 对于保护服务器安全、构建安全的w w w 服务器防护系统具有重要的作用。 为了检测针对w e b 服务器的攻击，目前多数的入侵检测系统都使用误用检测 技术，它必须维护一个庞大的攻击特征库，比如前面研究过的s n o r t 的特征库中就 有8 6 8 个用来检测基于w e b 的攻击。难以做到特征库的及时更新，因此基于误用 检测技术的入侵检测系统不仅只能检测己知攻击，还存在一定的漏警。 由于这些入侵检测系统不是专门针对w w w 服务器的防护，因而入侵行为特 征库中有大量多余特征，在对网络数据进行检测处理的过程中，浪费了时间和内 存空间；同时由于特征库范围太宽，难以及时更新和补充针对w e b 防护的特征库， 造成一定的安全漏洞。类似的不适应性还有很多。 目前w e b 防护中采用的入侵检测系统大多数是误用检测型，以误用检测中最 有代表性的入侵检测系统s n o r t 为例，它在进行w w w 服务器防护时的不足之处 主要有以下几个方面： ( 1 ) s n o r t 的规则库中维护着针对几十种攻击的3 0 0 0 多条规则，其中用来检测 w e b 攻击的规则不到1 0 0 0 条。s n o r t 的规则解析采用了多维规则匹配链表的技术， 即所有的规则以多维链表的结构装载进内存，需要相当大的内存空问，造成了内 存空间的浪费；同时多余的规则造成很多不必要的规则匹配，影响了系统的效率。 ( 2 ) 多维的规则匹配链表是一个静态的结构，不能够根据检测结果进行动念的 结构调整；然而w w w 服务器收到的攻击数据往往具有时间上的集中性，即在一 定时间内服务器往往会收到大量共同特征甚至相同的恶意数据包，例如常见的端 口扫描、d o s 攻击等。如果能够调整规则链表结构，对最近匹配上的节点优先进 行匹配，可以加快匹配速度，很大的提高系统的处理速度。 ( 3 ) 传统s n o r t 采用的标准b m 字符串算法在效率上有待提高，而最新的 a c b m 匹配算法对内存空问需求很高。运行在服务器上的防护系统需要在资源和 效率上达到平衡，需要更合适的字符串匹配算法。 ( 4 ) 规则库中针对s q l 注入的规则较少，s q l 攻击的手段多种多样，需要向 规则库中扩充相应的规则。 针对这些问题，本文设计实现的w w w 服务器防护系统检测引擎在设计实现 中作出了相应的改进。 基于异常检测技术的入侵检测系统，通过大量历史数据对系统进行训练，建立 正常活动的特征文件。虽然阈值难于准确选择、误检率很高、不能自动响应，但 它能检测出以前未出现过的攻击。目前还没有有效的基于异常入侵检测系统是针 对保护w 曲服务器的。 北京交通大学硕士学位论文字符串模式匹配算法分析 3 字符串模式匹配算法分析 检测针对w e b 服务器的攻击，目前多数的入侵检测系统都使用误用检测技术 1 。误用检测引擎的主要检测方法是通过对网络数据包处理之后与规则库中的规 则进行匹配，以确定是否有攻击发生。匹配算法的效率对于误用检测引擎的效率 有着至关重要的影响。f i s k 和v a r g h e s e 的分析显示，在s n o r t 中，模式匹配占用了 3 0 到8 0 的c p u 时间，是整个系统的瓶颈所在n 刳。 3 1 算法的评价原则 算法的复杂度是评价算法优劣的重要依据，包括时问复杂度和空间复杂度。 设计出复杂度尽量低的算法是算法设计的目标。