（计算机软件与理论专业论文）基于句法模式识别的入侵检测技术研究.pdf

基于句法模式识别的入侵检测技术研究 摘要 自从计算机问世以来，安全问题就一直存在。特别是随着i n t e r n e t 的迅速 扩张和电子商务的兴起，人们发现保护资源和数据的安全、让他免受来自恶意 入侵者的威胁是件相当困难的事。在这种需求背景下，入侵检测系统( i d s ) 应运 而生。入侵检测系统( i d s ) 是将电子数据处理、安全审计、模式匹配及统计技术 等有机地融合在一起，通过分析被检测系统的审计数据或直接从网络捕获数据， 发现违背安全策略或危及系统安全的行为和活动。 在入侵检测这个领域中，异常检测是一个重要分支。这种模型的特点是首 先总结正常操作应该具有的特性，例如特定用户的操作习惯与某些操作的频率 等。在得出正常操作的模型之后，对后续的操作进行监视，一旦发现偏离正常 模型，则认为发生了入侵。系统调用是入侵检测系统的一种非常有效的输入， 我们可以使用一种模型描述系统调用的序列关系，从而进行异常检测。 本文在分析传统异常检测技术的基础上，提出一种基于句法模式识别的异 常检测技术。该方法将句法模式识别技术应用到入侵检测中，通过该技术对结 构的强大描述和识别能力，提高入侵检测的准确性和速度。本文描述了如何用 句法模式识别技术建立程序执行的正常模型，以及如何使用该模型检测入侵。 并通过实验，验证了该方法的有效性。 关键词：异常检测，系统调用序列，协议分析，句法模式识别 t h er e s e a r c ho fi n t r u s i o n d e t e c t i o nb a s e do ns y n t a c t i c a p p r o a c ho fp a t t e r nr e c o g n i t i o n a b s t r a c t s i n c et h ei n c e p t i o no fc o m p u t e r , s e c u r i t yp r o b l e m sh a v ee x i s t e d e s p e c i a l l y , w i t h t h er a p i de x p a n s i o no fi n t e m e ta n dt h eg r o w t ho fe l e c t r o n i cc o m n l e r c e ，i ti sh a r dt o p r o t e c tr e s o u r c ea n dd a t af r o mt h et h r e a to fm a l i c i o u si n t r u s i o n i nt h i sc o n t e x t , i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) c o m e so u t i d sp u t se l e c t r o n i cd a t ap r o c e s s i n g , s e c u r i t ya u d i t i n g , p a r e mm a t c h i n ga n ds t a t i s t i c a lt e c h n o l o g yt o g e t h e r , a n df i n d s b e h a v i o r sa n da c t i v i t i e st h a tb r e a c hs e c u r i t ys t r a t e g yo re n d a n g e rt h es a f e t yo fs y s t e m b ya n a l y z i n gt h ea u d i td a t ao rt h ed a t ad i r e c t l yc a p t u r e df r o mn e t w o r k a n o m a l yd e t e c t i o ni sa l li m p o r t a n tb r a n c ho fi n t r u s i o nd e t e c t i o n t h es p e c i a l t y o ft h i sm e t h o di ss u m m a r i z i n gt h ec h a r a c t e r i s t i c so fn o r m a lo p e r a t o r s ，f o re x a m p l e ， t h eh a b i to fa1 1 $ e to rt h ef r e q u e n c i e so fs o m eo p e r a t o r s a f t e rg e t t i n gt h em o d e lo f n o r m a lo p e r a t o r s i ti st r e a t e da sa ni n t r u s i o ni fa l lo p e r o t o rd e v i a t e sf r o mt h em o d e l s y s t e mc a l li sat y p eo fe f f e c t i v ei n p u t w ec a nu s eam o d e lt od e s c r i p tt h es e r i a l r e l a t i o no f s y s t e mc a l l st od e t e c ta b n o r m i t i e s t h r o u g ht h ea n a l y z i n go f t h et r a d i t i o n a la n o m a l yd e t e c t i o n ，r a i s ean e wa n o m a l y i n t r u s i o nd e t e c t i o nm e t h o d ，b a s e do ns y n t a c t i c a p p r o a c ho fs t r u c t u r ep a r e m r e c o g n i t i o n t h i sm e t h o di m p o r t st h es y n t a c t i ca p p r o a c ho fp a r e mr e c o g n i t i o n t e c h n i q u e t oi n t r u s i o n d e t e c t i o n b y t h e p o w e r f u la b i l i t yo fd e s c r i p t i o na n d i d e n t i f i c a t i o ni nt h i st e c h n i q u e ，t h ea c c u r a c ya n ds p e e di se n h a n c e d t h i sd i s s e r t a t i o n d e s e r i b e sh o wt h es t r u c t u r ep a r e mr e c o g n i t i o nt e c h n i q u ei su s e dt oe s t a b l i s ht h e n o r m a lm o d ei nt h ep r o g r a me x e c u t i o n , a n dh o wt h i sm o d e li su s e di ni n t r u s i o n d e t e c t i o n a n db yt h ee x p e r i m e n t s ，t h ee f f e c t i v e n e s so f t h i sm e t h o di sp r o v e d k e yw o r d s ：a n o m a l yd e t e c t i o n , s e q u e n c eo fs y s t e mc a l l s ，p r o t o c o la n a l y s i s ，s y n t a c t i c a p p r o a c ho f p a t t e r nr e c o g n i t i o n 插图清单 图3 1i d e s 框架7 图4 1 有向线段基元1 5 图4 2 句法模式识别系统框图1 7 图4 3t c p 数据包格式2 5 图5 1 入侵检测系统框架2 8 图5 2 获取系统调用流程图2 9 图5 3t c p ，口协议的封装与解析3 2 图5 4 系统调用短序列方法的训练过程4 l 图5 5 基于句法模式识别方法的训练过程4 2 表格清单 表4 1 系统调用审计信息2 1 表4 2 进程的系统调用序列2 2 表4 3 固定子序列及其编码2 2 表4 4 替换固定子序列后的系统调用序列2 2 表5 1 系统调用短序列方法检测效果表4 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得金王些盔堂 或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示谢意。 靴做储辩卸麦小钿瓤口卜钿夕日 学位论文版权使用授权书 本学位论文作者完全了解金目垦至些态堂有关保留、使用学位论文的规定，有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅本人授权 合肥工业大学可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者毕业后去向： 工作单位： 通讯地址： 电话： 邮编： 致谢 在此论文完成之际，谨向我的导师沈明玉副教授表示真诚的谢意! 本论文 的工作是在沈老师的直接指导下完成的。从论文的选题，到搜集资料、实验准 备、论文成稿、修改、直到最终的定稿，都得到了沈老师悉心的指导。他广博 的学识、严谨的治学态度和平易近人的师长风范都给我留下了深刻的印象。是 他不断的鼓励与耐心细致的指导给了我信心并帮我确立了研究方向，进而顺利 完成了本论文，并在此过程中受益匪浅。 感谢我的师兄汪跃、吕建勇、王锦超、李飞、孙明宝。他们严谨、勤奋认 真的治学态度给了我很大影响。感谢师弟师妹们，大家在实验室度过的美好时 光，都是我生命中最为美好的回忆。 感谢我的父母多年来对我求学的一贯支持。他们是我最爱的人。还要感谢 很多朋友对我的鼓励与支持，使我得以顺利完成学业。 感谢计算机学院和所有关心帮助我的老师们。是你们无私的关怀和帮 助成就了今天的我。 作者：邱文庆 2 0 0 7 年5 月 1 1 研究背景及意义 第一章绪论 随着网络技术的飞速发展，信息共享和网络互连成为发展趋势。信息的共 享增加了个体之间的信息交流，提高了生产率，但同时也使得个人、公司的私 有信息，甚至国家机密面临严重的入侵威胁，各种安全问题时有发生。因此计 算机信息安全日益为人们所关注。 传统上，信息安全研究包括针对特定的系统设计一定的安全策略，建立支 持该策略的形式化安全模型，使用身份认证、访问控制、信息加密和数字签名 等技术实现安全模型并使之成为针对各种入侵活动的防御屏障。然而近年来随 着系统入侵行为程度和规模的加大，安全模型理论自身的局限以及实现中存在 的漏洞逐渐暴露出来，这是信息系统复杂化后的必然结果。增强系统安全的一 种行之有效的方法是采用一个比较容易实现的安全技术，同时使用辅助的安全 系统，对可能存在的安全漏洞进行检查，入侵检测就是这样的技术。 入侵检测的研究最早可追溯到2 0 世纪8 0 年代，但受到重视和快速发展是 在i n t e r n e t 兴起之后。早在1 9 8 0 年，ja n d e r s o n 等人就提出了入侵检测的概 念，对入侵行为进行了简单地划分，提出使用审计信息跟踪用户可疑行为。1 9 8 5 年，d e n n i n g 和o a k l a n d 提出第一个实时入侵检测专家系统模型。1 ，以及实时 的、基于统计量分析和用户行为轮廓( p r o f i l e ) 的入侵检测技术。该模型是入侵 检测研究领域的里程碑，此后大量的入侵检测系统模型开始出现，很多都是基 于d e n n i n g 的统计量分析理论。 在主机入侵检测方面，9 0 年代，f o r r e s t 和他的小组将自然免疫应用于入 侵检测0 1 ，并首次提出使用程序行为模型来检测入侵，成为入侵检测的个重要 方法。其后，哥伦比亚大学的一个研究小组0 1 和u n m 的一个研究项目”发展了这 种基于程序行为的方法。根据观察角度的不同，程序行为的模型分为基于顺序 特性的模型晦”1 和基于频率特性枷的模型。这两种模型考虑了程序执行某一方面 的特性，对正常和异常有一定的区分能力，但其将程序执行简单的视为一个系 统调用序列或一个系统调用集合，忽略了程序的结构性和程序执行的结构性， 因此在检测的准确性和速度方面都存在问题。 在网络入侵检测方面，传统的网络入侵检测主要使用模式匹配技术9 嘲：基 本的数据包捕获加以非智能模式匹配与特征搜索技术来探测攻击。这种方法实 现简单，但检测能力和灵活性差，对未知攻击和变种攻击的检测能力差，对于 多步骤攻击、分布式攻击不能有效地检测。针对包匹配技术的缺点。协议分析 技术m 1 被引入到入侵检测领域。协议分析技术根据数据包的封装协议对数据包 进行分析，利用网络协议的高度规则性来提高入侵检测效率。状态转换分析技 术“”在普通数据包分析的基础上，加入了状态特性，并定义了状态间的转换。 这种技术在检测多步骤攻击中有一定的作用，但将这种技术用于异常检测时， 存在着状态繁多且不易定义的缺点。 本文在研究和分析已有技术的基础上，提出一种新的入侵检测技术，改善 入侵检测的性能，更好地保护网络安全。 1 2 本文工作 本文将重点放在防护计算机系统的技术手段之入侵检测系统的介绍和 研究上，完成了以下几部分的工作： ( 1 ) 对现有的入侵检测技术进行深入地分析和研究。 ( 2 ) 对数据源( 主机审计信息、网络数据流) 进行分析。 ( 3 ) 将句法模式识别技术应用于入侵检测。 ( 4 ) 设计和实现了一个基于句法模式识别的入侵检测系统。 1 3 章节组织 论文的章节后续章节的组织安排如下： 第二章介绍网络安全的概念、重要性以及一些主要的网络安全技术。 第三章论述了入侵检测的基本概念、发展过程和分类。 第四章介绍句法模式识别技术，提出了一种基于此技术的入侵检测方法。 第五章设计和实现基于句法模式识别技术的入侵检测系统。 第六章对论文工作的总结和对未来工作的展望。 2 1 概述 第二章网络安全 国际标准化组织( i s o ) “”将“网络安全”定义为：“为数据处理系统所采取 的技术和管理的安全保护，保护计算机硬件、软件数据不因偶然和恶意的原因 而遭到破坏、更改和泄露。”。网络安全的内容应包括两个方面，即物理安全 和逻辑安全。物理安全是指系统设备和相关设旅受到物理保护，免遭破坏、丢 失等。逻辑安全包括信息完整性、保密性和可用性。完整性是指信息不会被非 授权修改及信息保持一致性等；保密性是指仅在授权情况下高级别信息可以流 向低级别的客体和主体；可用性是指合法用户的正常请求能及时、正确、安全 地得到服务和回应。就其所涉及的领域来看，它实际上是一门涉及计算机科学、 网络技术、通讯技术、密码技术、信息安全技术、应用数学、数论、信息论等 多种学科的综合性学科。 2 2 网络安全的重要性 自从2 0 世纪9 0 年代以来，网络进入了飞速发展的时期。目前，因特网已遍 及世界1 8 0 多个国家，容纳了6 0 多万个网络，接入了2 0 0 0 万多台主机，为1 8 亿 多的用户提供了多样化的网络与信息服务。其所涉及到的服务项目也已经涵盖 了电子商务、电子政务、电子税务、电子银行、电子海关、电子证券、网络书 店、网上拍卖、网络购物、网络防伪等诸多方面。网络信息系统在政治、军事、 金融、商业、交通、电信、文教等方面发挥越来越大的作用，社会对网络信息 系统的依赖也日益增强，网络与人们的日常生活也变的密不可分。 但是，随着网络日益广泛的使用，通过网络犯罪而对各个方面所造成的危 害也日益严重，网络安全已经成为当今最为关心和棘手的问题。从大的方面来 说，网络安全问题已经威胁到国家的政治、经济、军事、文化、意识形态等诸 多领域。因此，很早就有人提出了“信息战”的概念，并将信息武器列为继原 子武器、生物武器、化学武器之后的第四大武器。从小的方面来说，信息安全 问题也是人们能否保护自己隐私的关键。 近十几年以来，网络上的各种安全性问题越来越多，也越来越严重。目前 世界上已有两千万人具有进行攻击的能力，而黑客攻击的例子也比比皆是。1 9 9 4 年末，俄罗斯黑客从圣彼得堡的一家小软件公司的联网计算机上，向美国 c i t y b a n k 银行发动了一连串攻击，通过电子转账的方式，从c i t y b a n k 银行在纽 约的计算机主机里窃取了1 1 0 0 万美元。而2 0 0 1 年中美“撞机事件”后，中美双 方在网络上所展开的“红黑大战”更是提高了全社会的网络安全意识，使大家 对网络安全的严峻形势有了一个更为清醒的认识。 2 3 网络安全问题根源 我们分析常见的黑客攻击手段可以看出，这些攻击主要是利用操作系统和 应用服务程序的弱点和漏洞来实现攻击目的的。因此我们可以从以下几个方面 来分析导致网络安全问题的根源“”： 因特网固有的安全弱点 网络协议是实现网络互联的基础，t c p i p 是目前使用最广泛的网络协议。 它设计的主要目标是互联互通与互操作，而对安全性考虑甚少。如今该协议中 的许多漏洞和隐患被黑客充分利用成为攻击的主要手段之一。 操作系统的漏洞不可避免 由于操作系统属于大型的系统软件往往是由许多工作小组协同开发完成， 需要综合考虑的因素很多，因此开发中的一些失误在所难免。例如，w i n d o w s 操 作系统就存在许多漏洞。虽然m i c r o s o f t 公司在不断的发行补丁程序，但是操作 系统的漏洞是难免的。 应用软件的漏洞 从软件设计技术的角度来看，应用软件的开发与操作系统相似，也是由许 多人共同完成的，在软件开发中难免有疏漏，而且软件测试技术也很有限，很 难发现所有的漏洞。因此，导致一些重要的应用软件也存在一些漏洞。黑客们 往往利用这些漏洞来发起攻击。 系统管理方面存在问题 许多系统管理员没有理解和掌握系统的安全管理方法，没有完全按照管理 要求去做。例如，设置简单易猜的密码、没有定期修改密码、没有进行系统安 全设置或采用缺省设置，这些都增大了系统遭受攻击的可能性。由此可见，要 想建立一个绝对安全的系统是不可能的，安全只是相对的，我们只能通过一些 不断加强的技术措施来提高系统的安全性。 2 4 网络安全技术 在黑客技术发展的同时，网络安全技术也在飞速发展着。常见的网络安全 技术有m ”1 ： 信息加密技术 信息加密技术的目的是保护网络内的数据文件、口令以及网上传输的数据。 信息加密的过程是由许多种加密算法来具体实施的。按照收发双方密钥是否相 同来分类，可以将这些加密算法分为常规密码算法和公钥密码算法。在常规密 码中，收信方和发信方使用相同的密钥，比较著名的常规密码算法有美国的d e s 、 欧洲的i d e a 等。常规密码有很强的保密强度，但其密钥必须通过安全的途径传 送，因此其密钥分发成为系统安全的重要因素。在公钥密码中收信方和发信方 使用的密钥互不相同，而且几乎不可能从加密密钥推导出解密密钥。比较著名 4 的公钥密码算法有r s a 背包密码、m c e l i e c e 密码等，其中以r s a 算法应用最 为广泛。 身份验证技术 身份识别是指用户向系统出示自己身份证明的过程，身份认证是系统核实 用户身份的过程，通常把这两项工作统称为身份验证。身份验证是判明和验证 通信双方真实身份的重要环节，常用的验证方式有报文鉴别、身份鉴别、数字 签名。 访问控制技术 访问控制技术的主要任务是保证网络资源不被非法使用和访问，它是保证 网络安全的重要策略之一。访问控制涉及的技术比较广，包括入网访问控制、 网络权限控制、目录级控制以及属性控制等多种手段。 漏洞扫描技术 漏洞是指可能被未经授权的非法用户利用，进而获得访问权限的硬件或软件的 失误。每个平台无论是硬件还是软件都存在漏洞。漏洞扫描技术就是通过对系统当 前的状况进行扫描分析，来发现存在漏洞的系统配置及不恰当的口令等。 反病毒技术 计算机病毒是- d , 段具有极强破坏性的恶意代码。它可以将自身纳入其它 程序中以此来进行隐蔽复制和传播，从而破坏用户的文件数据甚至硬件。反病 毒技术主要包括检测病毒和杀除病毒。 防火墙技术 防火墙就是个或一组网络设备，用来在两个或多个网络间加强访问控制， 阻止区域外的用户对区域内资源的非法访问。防火墙可以进行安全检查、记录 网上安全事件、隐藏用户地址等，在维护网络安全的过程中起着重要的作用。 入侵检测 上述这些技术都属于一种静态的防御系统，如同建立了一个有各种防卫措 施的银行，而没有配置警察等监控系统一样。对于没有一个主动监控和跟踪入 侵的系统，这样的网络其安全性是不完整的。另一方面静态防御中过于严格的 安全策略是以牺牲用户的方便性为代价，与目前网络的开放、共享原则不相容， 很难做到一个好的利弊权衡：同时对于安全系数非常高的加密技术、防火墙技 术，却很难防止密码失窃和内部人员攻击：最后，一个安全的系统也很难保证内 部人员的误操作，以及复杂的设置错误等系统漏洞产生。因此，入侵检测成为 网络安全的重要组成部分。 本章介绍了网络安全的基本概念，分析了网络安全问题产生的根源。列举 了一些常用的网络安全方法，并对这些方法作了简单的分析。 3 1 概述 第三章入侵检测概述 入侵检测是指在监视或者在可能的情况下，阻止入侵或者试图控制你的系 统及网络资源的那种努力。它主要是用于实现识别在计算机信息网络中未经授 权使用计算机系统和滥用合法访问权的活动，检测一切危及计算机及网络系统 的完整性、保密性和可用性活动的企图。 入侵检测可以弥补防火墙的不足，为网络安全提供实时的入侵检测及采取 相应的防护手段，如记录证据、跟踪入侵、恢复或断开网络连接等。 入侵检测系统( i d s ) 主要通过以下几种活动来完成任务： ( 1 ) 监视、分析用户及系统活动； ( 2 ) 系统构造和弱点的审计； ( 3 ) 识别反映已知进攻的活动模式并向相关人士报警； ( 4 ) 异常行为模式的统计分析； ( 5 ) 评估重要系统和数据文件的完整性； ( 6 ) 操作系统的审计跟踪管理，并识别用户违反安全策略的行为。 除此之外，有的入侵检测系统还能够自动安装厂商提供的安全补丁软件， 并自动记录有关入侵者的信息。 3 2 入侵检测发展过程 审计是最早引入计算机安全领域的概念，像存取文件、变更他们的内容或 分类等的活动都记录在审计数据中，安全管理员、系统操作员和维护人员和普 通用户一样都要经过行为审核。安德森提出要建立一个安全监督系统，保护那 些系统敏感信息。他还提出应该检查什么、如何分析他、以及如何保护监督系 统免受攻击，这成了今天i d s 研究的核心内容。 7 0 年代后期，美国政府，包括d o d ( 国防部) 和n i s t ( 国家标准和技术协 会) 支持的计算机安全研究开始了，安全审计也被考虑在这些研究中。1 9 8 0 年， 安德森提出了另外一项报告，这次是针对一个空军客户，后者使用大型计算机 处理大量的机密数据。报告中，安德森提出了减少分析数据量的方法，以及比 较统计数据和总的观察也就是统计行为，以发现反常的行为。当一个安全 违例发生或( 统计上) 反常的事件出现时，就会提醒安全官员。安全官员还能 利用详细的观测资料做后续的评估。安德森的报告为s r i ( s t a n f o r dr e s e a r c h i n s t i t u t e ) 和t r w ( 美国著名的数据安全公司) 的早期工作提供了蓝图。在1 9 8 0 年代中期，入侵检测方面的许多工作都被他的思路深深影响。 1 ) 以d e n n i n g 模型为代表的i d s 早期技术 6 1 9 8 4 1 9 8 5 年，s y t e x 为s p a w a r ( 美国海军) 开展了一个审计分析项目。 他基于u n i x 系统的s h e l l 级的审计数据，论证这些数据能够识别“正常”和 “反常”使用的区别。特里萨兰特( t e r e s a l u n t ) 在s y t e x 为这个项目工作， 后来又去了s r i ，在那里她参与并领导了i d e s ( 入侵检测专家系统) 项目。 i d e s 项目是1 9 8 4 年由乔治敦大学的桃乐茜顿宁( d o r o t h yd e n n i n g ) 和 彼得诺埃曼( p e t e r n e u m a n n ) 开始的，是i d s 早期研究中最重要的成就之一。 i d e s 模型基于这样的假设：有可能建立一个框架来描述发生在主体( 通常是用 户) 和客体( 通常是文件、程序或设备) 之间的正常的交互作用。这个框架由 一个使用规则库( 规则库描述了已知的违例行为) 的专家系统支持。这能防止 使用者逐渐训练( 误导) 系统把非法的行为当成正常的来接受，也就是说让系 统“见怪不怪”。 1 9 8 8 年，特里萨兰特等人改进了顿宁的入侵检测模型，并开发出了一个 i d e s 。该系统包括一个异常检测器和一个专家系统，分别用于异常模型的建立 和基于规则的特征分析检测。系统的框架如图3 1 所示。 图3 ii d e s 框架 顿宁的模型假设：入侵行为明显的区别于正常的活动，入侵者使用系统的 模式不同于正常用户的使用模式，通过监控系统的跟踪记录，可以识别入侵者 异常使用系统的模式，从而检测出入侵者违反系统安全性的情况。 顿宁的模型中有6 个主要构件：主体、对象、审计数据、轮廓特征( 或可 称为“范型”p r o f i l e s ) 、异常记录和行为规则。范型( p r o f i l e s ) 表示主体的 行为特色，也是模型检测方面的关键。行为规则描述系统验证一定条件后抽取 的行为，他们能“更新范型，检测异常行为，能把异常和可能的入侵关联 起来并提出报告”。审计记录由一个行为触发，而且记录主体尝试的行为、行 为本身、行动对准的目标、任何可能导致例外的情况以及行为消耗的资源和独 特的时间戳标记。审计记录会和范型进行比较( 使用适当的规则) ，那些符合异 常条件的事件将被识别出来。这个模型独立于特定的系统平台、应用环境、系 统弱点以及入侵的类型，也不需要额外的关于安全机制、系统脆弱性或漏洞攻 击方面的知识，他为构建入侵监测系统提供了一个通用的框架。 桃乐茜顿宁的“入侵检测模型”论文很有影响，但现在读起来有点令人 失望，主要是因为其中许多当时没回答的问题到今天仍旧没有满意的答案。 2 ) 统计学理论和专家系统相结合 8 0 年代末，一些其他值得注意的系统开发出来，大部分走的是将统计学理 论和专家系统结合在一起的路子。有几个系统，特别是在h a y s s a e k 脚1 和n a d i r 田1 中，分析引擎把几个商业数据库管理系统( 比如o r a c l e ，s y b a s e ) 聚合在一起， 发挥他们各自的优势。 w i d a s 曲1 由美国国家安全局下属的计算机安全中心开发，用来监控他的 m u l t i c s 系统d o c km a s t e r 。他使用混合的专家系统和统计学分析方法，以 及来自m u l t i c s 应答系统( a n s w e r i n gs y s t e m ) 的已检查的审计日志信息，应 答系统控制用户的注册( 注册信息由其他数据源扩充) 。m i d a s 是最早基于连接 互联网的系统开发的产品之一。 w i s d o m 和s e n s e ，分别由l o sa l a m o s 和o a k r i d g e 开发，是另一个专家 系统和统计学分析方法的混合。他使用非参量的统计技术从历史审计数据中产 生规则。就像很多其他机器学习方法一样，他也遇到了很多问题，包括获取训 练数据的困难、高的误报率和规则库对存储能力的过高需求。 直到那时，i d s 系统仍旧依靠受保护主机收集的审计数据，但加州大学戴维 斯分校开发的网络系统监控器州s m 魄4 删( t h en e t w o r ks y s t e mm o n i t o r ) 改变了这个状况。n s m 在入侵检测技术发展史上是继i d e s 之后的又个里程碑， 他监控以太网段上的网络流量，并把他作为分析的主要数据源。从当时的检测 报告上可以看到，n s m 检测了超过1 0 0o o o 的网络连接，并从中识别出超过3 0 0 个入侵。今天，大部分商业i d s 系统直接使用从网络探测的数据作为他们主要， 甚至是惟一的数据源。 3 ) 基于网络的n i d s 是目前的主流技术 1 9 9 4 年，m a r kc r o s b i e 和g e n es p a f f o r d 圳建议使用自治代理( a u t o n o m o u s a g e n t s ) 以便提高i d s 的可伸缩性、可维护性、效率和容错性，这个思想跟上 了计算机科学中其他领域的研究的潮流，比如说软件代理。另一个解决当时多 数入侵检测系统伸缩性不足的研究成果是1 9 9 6 年提出的g r i d s 3 ”( g r a p h b a s e di n t r u s i o nd e t e c t i o ns y s t e m ) 系统，该系统对大规模自动或协同攻击 的检测很有效，这种跨越多个管理区域的自动协同攻击显然是入侵行为发展的 方向。 1 9 9 7 年，c i s c o 要求w h e e l g r o u p 公司将入侵检测与他的路由器结合。同年， i s s 成功开发了r e a l s e c u r e ，他是在w i n d o w sn t 下运行的分布式网络入侵检测 系统，被人们广泛使用。1 9 9 6 年的第一次开发是传统的基于探测器的n i d s ( 网 8 络入侵检测系统，监视整个网络段) ，在w i n d o w s 和s o l a r i s2 6 上运行。1 9 9 8 年后期，r e a l s e c u r e 发展成为一个混合式的入侵检测系统。他对入侵行为具有 广泛的反应能力包括断开连接、发送s n m p 信息、e m a i l 提醒、运行客户程序记 录会话内容等，并能根据检测策略自动产生审计策略。 n i d s 系统由安全控制中心和多个探测器组成。安全控制中心完成整个分布 式安全监测预警系统的管理与配置。探测器负责监测其所在网段上的数据流， 进行实时自动攻击识别和响应。n i d s 的主要特点有： ( 1 ) n i d s 采用透明工作方式，他静静地监视本网段数据流，对网络通信不 附加任何延时，不影响网络传输的效率。 ( 2 ) n i d s 采用集中管理的分布工作方式，能够远程监控。可以对每一个探 测器进行远程配置，可以监测多个网络出口或应用于广域网络监测，并支持加 密通信和认证。 ( 3 ) n i d s 能进行运行状态实时监测，远程启停管理。 ( 4 ) n i d s 的安全域过滤技术使其具有良好的应用扩充能力，可以在单机处 理能力不足的情况下，通过安全域拆分，用多机并行处理满足系统应用需求。 ( 5 ) 以安全策略模板，安全事件，安全事件响应方式支持安全策略定义。 ( 6 ) 探测器支持多接口，有隐蔽自身的自我保护功能。 另外比较有影响力的创新有：f o r r e s t 将免疫原理运用到分布式入侵检测 中；1 9 9 8 年r o s sa n d e r s o n 和a b i d a k h a t t k 将信息检索技术引入这个领域。 现今入侵检测的发展方向大致分为三类： 1 ) 分布式入侵检测o ” 第一层含义，即针对分布式网络攻击的检测方法；第二层含义即使用分布 式的方法来检测分布式的攻击，其中的关键技术为检测信息的协同处理与入侵 攻击的全局信息的提取。 2 ) 智能化入侵检测 即使用智能化的方法与手段来进行入侵检测”。所谓的智能化方法，现 阶段常用的有神经网络、遗传算法、模糊技术、免疫原理等方法，这些方法常 用于入侵特征的辨识与泛化。利用专家系统的思想来构建入侵检测系统也是常 用的方法之一。特别是具有自学习能力的专家系统，实现了知识库的不断更新 与扩展，使设计的入侵检测系统的防范能力不断增强，应具有更广泛的应用前 景。应用智能体的概念来进行入侵检测的尝试也已有报道。较为一致的解决方 案应为高效常规意义下的入侵检测系统与具有智能检测功能的检测软件或模块 的结合使用。 3 ) 基于内核的入侵检测 基于内核的入侵检测是一种相当巧妙的新型的l i n u x 入侵检测系统。现在 最主要的基于内核的入侵检测系统叫做l i d s ，l i d s 的保护目的是防止超级用户 9 r o o t 的篡改系统重要部分的。l i d s 主要的特点是提高系统的安全性，防止直接 的端口连接或者是存储器连接，防止原始磁碟的使用，同时还要保护系统日志 文件。l i d s 当然也会适当制止一些特定的系统操作，譬如：安装s n i f f e r 、修 改防火墙的配置文件。 3 3 入侵检测技术分类 根据着眼点的不同，对入侵检测有不同的分类方法。 1 ) 数据来源 基于主机：利用主机及应用的审计日志来发现入侵活动。 基于网络：通过分析网络上传输的数据包来分析异常的网络活动。 2 ) 时效性 脱机分析：对产生的数据进行事后分析。 联机分析：在数据产生或发生改变的同时对其进行检查，以发现攻击行为。 3 ) 分布性 集中式：系统的各个模块都集中在一台主机。 分布式：系统的各个模块分布在不同的计算机或设备上。 4 ) 响应方式 被动式：只能对入侵进行被动地检测。 主动式：对检测的入侵具有响应措施，如阻击或反击等。 5 ) 分析方法： 异常检测：通过建立正常模型，检测入侵。 滥用检测：通过建立入侵模型，检测入侵。 3 4 常用的入侵检测技术 1 ) 统计方法 基于统计的i d s “斗4 矧是利用统计模型、概率模型和随机过程等来识别入 侵行为，也称为s b i d s ( s t a t i s t i c a l b a s e di n t r u s i o nd e t e c t i o ns y s t e m s ) 。 s b i d s 利用分析审计数据，比较与典型轮廓或预测轮廓的偏离程度来发现违反安 全规则的行为。s b i d s 最大的有优点可以在没有系统缺陷和攻击手段的先验知识 的情况可以检测出攻击行为来。s b i d s 典型情况下被应用于基于统计异常检测 中。统计检测算法至少在1 9 8 8 年前就出现了。几个原型系统被开发出来，包括 h a y s t a c k 、i d e s 和m i d a s 。s b i d s 的不足之处是正常行为轮廓必须经常更新，而 且统计模型的门限值的确定一般比较困难。 2 ) 专家系统 专家系统用于入侵进行检测1 ，首先要对已知入侵特征进行抽取与表达并 建立一个完备的专家库系统，然后利用专家库来对当前的行为进行判断是否属 1 0 于正常行为。n i d e s ( ”1 就是一个具有专家系统模块的i d s 。基于专家系统的i d s 的缺点是要建立一个完备的专家库很困难，而且只能由专家才能完成正确的入 侵特征抽取与表达。另外基于专家系统的i d s 一般只能对己知的入侵方法才能 有效。 3 ) 神经网络 用于入侵检测的神经网络啪。”，首先搜集一定量的入侵信号数据集来训练固 定结构的神经网络，然后对入侵信号序列进行预测。神经网络在经过一定数量 的已知信号序列训练后，能够预报出下一时刻的信号。神经网络的结构是决定 神经网络的非线性映射( 包括动态与静态) 的关键，如果应用具有自动结构调整 的神经网络进行入侵检测，将会大大提高入侵检测的效率及准确性。但神经网 络的连接权系数难以确定，其输出准确性往往依赖于已知入侵信号集合的大小。 4 ) 状态转移分析 状态转移分析方法是将入侵方法转化成一系列从初始化的安全状态到危险 状态的模型。用状态转移图来代表入侵行为，而每一个状态代表入侵过程中必 须完成的关键事件。状态转移分析检测入侵的关键是要建立精确的状态转移模 型和正确识别关键事件。 5 ) 计算机免疫 生物免疫系统的自我保护机制对设计入侵检测系统具有很好的借鉴意义。 通过抽取生物免疫系统中所蕴涵的各种信息处理机制，将系统的行为分为正常 和异常行为，分别对应为系统的自我与非我。系统中蕴涵的生物免疫机制主要 有非我识别机制和免疫进化机制等。生物免疫的自我保护机制在入侵检测系统 方面具有很好的应用前景。 6 ) 其他检测技术 近年来，还有在i d s 中应用人工智能及其他技术的研究，如：遗传算法“”、 遗传编程、基因算法、数据挖掘和粗糙集理论等。 3 5 小结 本章介绍入侵检测的总体情况，回顾了入侵检测的发展历史，指出了入侵检 测技术的发展方向，并对当前常用的几种入侵检测技术做介绍。 第四章基于句法模式识别的入侵检测 4 1 句法模式识别 。 4 1 1 模式识别 模式识别又常称作模式分类，从处理问题的性质和解决问题的方法等角 度，模式识别分为有监督的分类( s u p e r v i s e dc l a s s i f i c a t i o n ) 和无监督的分 类( u n s u p e r v i s e dc l a s s i f i c a t i o n ) 两种。 模式识别( p a t t e r nr e c o g n i t i o n ) 是人类的一项基本智能，在日常生活中， 人们经常在进行“模式识别”。随着2 0 世纪4 0 年代计算机的出现以及5 0 年代 人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳 动。( 计算机) 模式识别在2 0 世纪6 0 年代初迅速发展并成为一门新学科。 模式识别( p a t t e r nr e c o g n i t i o n ) 是指对表征事物或现象的各种形式的( 数 值的、文字的和逻辑关系的) 信息进行处理和分析，以对事物或现象进行描述、 辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。 模式还可分成抽象的和具体的两种形式。前者如意识、思想、议论等，属于 概念识别研究的范畴，是人工智能的另一研究分支。我们所指的模式识别主要是 对语音波形、地震波、心电图、脑电图、图片、照片、文字、符号、生物的传 感器等对象进行测量的具体模式进行分类和辨识。 模式识别研究主要集中在两方面，一是研究生物体( 包括人) 是如何感知对 象的，属于认识科学的范畴，二是在给定的任务下，如何用计算机实现模式识别 的理论和方法。前者是生理学家、心理学家、生物学家和神经生理学家的研究 内容，后者通过数学家、信息学专家和计算机科学工作者近几十年来的努力，已 经取得了系统的研究成果。 应用计算机对一组事件或过程进行鉴别和分类。所识别的事件或过程可以 是文字、声音、图像等具体对象，也可以是状态、程度等抽象对象。这些对象 与数字形式的信息相区别，称为模式信息。 模式识别所分类的类别数目由特定的识别问题决定。有时，开始时无法得 知实际的类别数，需要识别系统反复观测被识别对象以后确定。 模式识别与统计学、心理学、语言学、计算机科学、生物学、控制论等 都有关系。它与人工智能、图像处理的研究有交叉关系。例如自适应或自 组织的模式识别系统包含了人工智能的学习机制；人工智能研究的景物理解、 自然语言理解也包含模式识别问题。又如模式识别中的预处理和特征抽取环节 应用图像处理的技术；图像处理中的图像分析也应用模式识别的技术。 模式识别分为两种：统计模式识别和句法模式识别。 1 2 4 1 2 统计模式识别 统计模式识别又称决策理论方法，是发展较早也比较成熟的一种方法。被 识别对象首先数字化，变换为适于计算机处理的数字信息。一个模式常常要用 很大的信息量来表示。许多模式识别系统在数字化环节之后还进行预处理，用 于除去混入的干扰信息并减少某些变形和失真。随后是进行特征抽取，即从数 字化后或预处理后的输入模式中抽取一组特征。所谓特征是选定的一种度量， 它对于一般的变形和失真保持不变或几乎不变，并且只含尽可能少的冗余信息。 特征抽取过程将输入模式从对象空间映射到特征空间。这时，模式可用特征空 间中的一个点或个特征矢量表示。这种映射不仅压缩了信息量，而且易于分 类。在决策理论方法中，特征抽取占有重要的地位，但尚无通用的理论指导， 只能通过分析具体识别对象决定选取何种特征。特征抽取后可进行分类，即从 特征空间再映射到决策空间。为此而引入鉴别函数，由特征矢量计算出相应于 各类