（计算机软件与理论专业论文）基于主机的入侵检测系统研究.pdf

摘要 x 7 4 1 4 4 0 摘+ 要 社会经济的发展对信息资源、信息技术和信息产业的依赖程度越来 越大，人们在得益于信息革命所带来的新的巨大机遇的同时，也不得不 面对信息安全问题的严峻考验。入侵检测是重要的网络安全技术之一， 是目前具有一定挑战性的研究热点，它能够及时发现并报告网络系统中 未授权或合法用户滥用特权等现象，并及时做出响应，主动保护自己免 受攻击，是对系统扫描器和防火墙这些被动策略的逻辑补充。 本文在分析了现有入侵检测技术基础上，主要对l i l l u x 下基于系统 调用序列的服务程序异常检测进行了研究，提出了用数据挖掘的方法建 立程序的正常调用序列模式库，在此基础上实现异常检测。 本文主要的研究内容和成果如下： 1 ) 入侵检测中使用的检测方法目前已经有很多种，山于在l i n u x 下 系统调用序列具有局部稳定性，用那些有特权进程的规则行为代替 建立用户的规则行为，可以不需要在程序代码中定义用户行为规范， 只要简单地通过跟踪程序的正常运行来积累数据就可以了，所以本 文研究的方法是基于程序运行时产生的系统调用序列。 2 ) 数据采集方法上，考虑到移植性等原因，当应用程序调用系统调 用时，修改内核为首先执行数据采集函数，然后再调用原始的处理 程序。这样在不影响系统正常功能的情况下，完成了数据采集。 3 ) 采用数据挖掘的方法建立正常调用序列库，只在训练期f a j 进行挖 掘，避免了对系统性能的过度影响。 关键词：入侵检测系统，滥用检测，异常检测，系统调用序列，数据挖 掘，关联规则 a b s t r a c l a b s t r a c t t h ed e v e l o p m e n to ft h es o c i a le c o n o m y d e p e n d so nt h ei n f o r m a t i o n r e s o u r c e 、t e c h n o l o g ya n di n f o r m a t i o ni n d u s t r yi n c r e a s i n g l y 。p e o p l eh a v e p r o f i t e df r o m t h et r e m e n d o u so p p o r t u n i t i e sl e db yi n f o r m a t i o nr e v o l u t i o n ， a tt h es a m et i m ew eh a v et of a c et h eb a p t i s mo ft h ei n f o r m a t i o ns e c u r i t y i n t r u s i o nd e t e c t i o n ，w h i c ht r i e st oi d e n t i f yi l l e g a li n t r u s i o na c t i v i t i e sf r o m d a t ac o l l e c t e df r o mc o m p u t e rs y s t e ma n dn e t w o r k ，i so n eo ft h em o s t i m p o r t a n ts e c u r i t yt e c h n o l o g i e sa n d s t i l lh a sm a n y c h a l l e n g e si nr e s e a r c h a n a l y s i s m e t h o da n da r c h i t e c ta r et w oi m p o r t a n t a s p e c t s i ni n t r u s i o n d e t e c t i o ns y s t e m ( i d s ) r e s e a r c ha n dt h ef o r m e rb e c o m et h em a i nf o c u so f t h i sp a p e r t h er e s e a r c hf i e l d si n c l u d ed e t e c t i n gs e r v i c ep r o g r a ma b n o r m a l i ni d s am e t h o di s p r o p o s e du s i n gt h e d a t am i n i n gt ob u i l dn o r m a l s y s t e mc a l ls e q u e n c ed a t a b a s e ，w h i c h i st h eb a s eo ft h ea b n o r m a l d e t e c t i o n 1 ) t h e r ea r em a n yd e t e c t m e t h o d si ni d s b e c a u s eo ft h e p a r t s t a b i l i t yo f t h es y s t e mc a l ls e q u e n c eu n d e rt h el i n u x ，b u i l d i n gt h er e g u l a r b e h a v i o ro ft h e p r e r o g a t i v ep r o c e s s i n s t e a do ft h eu s e r s j u s t n e e d a c c u m u l a t ed a t at h r o u g ht a i l i n ga f t e rt h en o r m a la c t i v i t yo ft h ep r o g r a m s ， t h u st h em e t e dt h a tt h i sp a p e rr e s e a r c hi sb a s e di nt h ea c t u a ls y s t e mc a l l s e q u e n c e 动c o n s i d e r i n gs o m e f a c t o r ss u c ha st h et r a n s p l a n t a t i o n ，t h ef i r s t o p e r a t i o n i st h ec o l l e c t i o no ft h ed a t aa n dt h es e c o n di st h eo r i g i n a l d i s p o s ew h e n t h es y s t e mc a l l i n g sa r ec a l l e db yt h ea p p l i c a t i o n 1 l i 北京交通大学硕士学位论文 3 、t h ed a t am i n i n gm e t h o di s u s e dt ob u i l dt h en o r m a ls y s t e mc a l l s e q u e n c ed a t a b a s e a n dt h em i n i n gp a r ti sl u l ld u r i n gt h et r a i n i n gp e r i o d t oa v o i dt h ei m p a c to nt h ew h o l e s y s t e m k e y w o r d s ：i n t r u s i o n d e t e c t i o n s y s t e m ( i d s ) ，m i s u s e d e t e c t i o n ， a b n o r m a ld e t e c t i o n ，s y s t e mc a l l s e q u e n c e ，d a t am i n i n g ， a s s o c i a t i o nr u l e s i v 绪论 1 绪论 1 1 网络安全技术的研究背景 随着计算机科学技术的飞速发展，人们生活在了信息时代，计算 机技术和网络技术已经深入到社会的各个领域，互联网把“地球村” 的居民紧紧地连在了一起。社会经济的发展对信息资源、信息技术和 信息产业的依赖程度越来越大，信息已经成为人类最为宝贵的资源之 然而，人们在得益于信息革命所带来的新的巨大机遇的同时，也 不得不面对信息安全问题的严峻考验。网络的开放性以及黑客的攻击 是造成网络不安全的主要原因：在设计i n t e r n e t 之初就缺乏对安全性的 总体构想和设计，例如，t c p i p1 办议是建立在可信的环境之下，酋+ 先 考虑的是网络互连，缺乏对安全方面的综合考虑。这种基于地址的协 议本身就会泄露口令，而且t c p i p 阱议是完全公开的，远程访问使许 多攻击者无须到现场就能够得手，连接的主机基于互相信任的原则等 等这一些性质使网络更加不安全。计算机操作系统以及应用程序的漏 洞使得每一台主机都有可能暴露在“黑客”的攻击之下。几乎所有的 信息安全专家都认为，绝对安全的系统是不可能获得的，因此我们必 须对计算机网络中各种攻击保持警惕“1 。 传统上，计算机网络和信息的安全注意力集中在：保密性( 对于 需要保密的数据、完整性( 系统、服务等) 和可用性( 信息、应用、 服务和网络等) ，即c o n f i d e n t i a l , i n t e g r i t y 、a v a i l a b i l i t y ( 保密性、完整 性和可用性) ，简称c i a 。保密性指保护文件的内容、网络传输、计算 北京交通大学硕士学位论文 机的存储等不被非法泄漏。完整性指防止系统和数据被非法篡改。可 用性指保证系统、网络服务、数据等获取的连续性，并且不会受到1 ： 扰。过去发牛的很多事件都很好地符合了c i a 模型。 近年来，网络攻击事件数量成指数形式上升，c e r t c c 对近年收 到的网络攻击事件数量的统计“1 如图1 1 所示： j 14 0 ，0 0 0 1 2 0 ，o o o 1 0 0 0 0 0 ； 8 0 0 0 0 6 0 ，0 0 0 4 0 0 0 0 2 0 ，0 0 0 0 1 9 9 81 9 9 9 2 0 0 02 0 0 l2 0 0 22 0 0 3 图i - ic e r t c c 统汁的网络攻击事件数晕 网络攻击事件数量迅速增加，从大型公司、机构，到政府部门、 军事组织，甚至个人系统，都无法避免受攻击的可能性。如2 0 0 4 年2 月，s c o 公司网站受到由蠕虫病毒“m y d o o m ”引发的分布式拒绝服 务( d i s t r i b u t e dd e n i a lo fs e r v i c e ，d d o s ) 攻击，以至在数天内无法访问， 严重影响该公司形象。需要说明的是，在此次攻击之前数月，各大安 全厂商就已经发现承载攻击代码的病毒在网上流传，并且发布了防范 工具，微软公司也已经发布了阻止病毒传播的补丁程序，但这些努力 仍然没有能够避免攻击的成功。而在此之前，包括美国唱片协会 ( r i a a ) 、阿拉伯半岛电台新闻网站、美围白宫网站、y a h o o 网站、e b a y 网站等重量级网站，都受到过类似的攻击。除了受到攻击无法访问， 还有许多公司网络被成功入侵，商业机密丢失。如著名的电脑游戏开 绪论 发商v a l v e 公司，在2 0 0 3 年9 月由于其一名高级技术人员电脑被入侵， 使得芷在开发的电脑游戏软件半条命2 的1 3 源代码被窃，并被在 网络上公开，给该公司造成重大经济损失。微软公司、c i s c o 等这些计 算机界著名的大公司，也都曾经因为黑客的入侵，丢失过产品的源代 码。 虽然我国互联网发展比较晚，但是存在的问题更应该引起我们的 警觉。公安部在2 0 0 4 年l o 月公布的( 2 0 0 4 年全国信息网络安全状况 调查结果显示n ，在被调查的7 0 7 2 家政府、金融证券、教育科研、 电信、广电、能源交通、国防和商贸企业等部门和行业的重要信息网 络、信息系统使用单位中，发生网络安全事件的比例为5 8 。其中， 发牛1 次的占总数的2 2 ，2 次的占1 3 ，3 次以上的占2 3 。发生 网络安全事件中，计算机病毒、蠕虫和木马程序造成的安全事件占发 生安全事件单位总数的7 9 ，拒绝服务、端口扫描和篡改网页等网络 攻击事件占4 3 ，大规模垃圾邮件传播造成的安全事件占3 6 。5 4 的被调查单位网络安全事件造成的损失比较轻微，损失严重和非常严 重的占发牛安全事件单位总数的1 0 。 近期较为典型的安全事件是：1 0 月1 6 号开始，国内著名的腾讯公 司深圳服务器遭到攻击，导致部分q q 用户长达近两天无法正常登录， 腾讯公司客服页面访问速度奇慢。之后国内著名的杀毒软件公司江民 公司网站再次被一名为河马史诗的黑客攻破，页面内容被篡改。数小 时后，国内著名的电子数码产品代理商神州数码的主页又被攻陷。调 查发现：其中一些网站受到了黑客的巨额敲诈勒索，这是国内首起网 络黑客勒索事件，且组织严密、技术高超、规模巨大。 公安部公共信息网络安全监察局有关负责人表示，造成网络安全事 件的主要原因是安全管理制度不落实和安全防范意识薄弱，其中因未 北京交通大学硕士学位论文 修补、防范软件漏洞等原因造成的安全事件占总数的6 6 。同时，调 查表明信息网络使用单位对安全管理工作的重视程度、落实安全管理 措施和采用安全专用技术产品等方面均有所提高和加强，但是用户安 全观念薄弱、安全管理人员缺乏培训，以及缺乏有效的安全信息通报 渠道、安全服务行业发展不能满足社会需要等问题仍然比较突出。 正是这些网络安全事件逐步加强了人们对计算机网络安全的不断 认识和重视，各种安全技术被提出来。这些技术有效遏制入侵攻击， 对互联网的蓬勃发展起到积极的推动作用。目前网络安全的解决，主 要采取的技术手段有防火墙、安全路由器、身份认证系统、v p n ( 虚拟 专用网) 设备和系统安全性分析系统等。 1 加密技术 加密型网络安全技术的基木思想是不依赖于网络中数据通道的安 全性来实现网络系统的安全，而是通过对网络数据的加密来保障网络 的安全可靠性。数据加密技术可以分为三类，即对称型加密、不对称 型加密和不可逆加密。其中不可逆加密算法不存在密钥保管和分发问 题，适用于分布式网络系统，但是其加密计算量相当可观，所以通常 用于数据量有限的情形下使用。计算机系统中的口令就是利用不可逆 加密算法加密的。近年来，随着计算机系统性能的不断提高，不可逆 加密算法的应用逐渐增加，常用的如r s a 公司的m d 5 和美国国家标准 局的s h s 。 2 v p n 技术 v p n ( 虚拟专网) 技术的核心是采用隧道技术，将企业专网的数据加 密封装后，透过虚拟的公网隧道进行传输，从而防止敏感数据的被窃。 v p n 可以在i n t e r n e t 、服务提供商的i p 、帧中继或a t m 网上建立。企 业通过公网建立v p n ，就如同通过自己的专用网建立内部网一样，享有 4 绪论 较高的安全性、优先性、可靠性和可管理性，而其建立周期、投入资 金和维护费用却大大降低，同时还为移动计算提供了可能。因此，v p n 技术一经推出，便红遍全球。 但应该指出的是，目前v p n 技术的许多核心协议，如l 2 t p 、i p s e c 等，都还未形成通用标准。这就使得不同的v p n 服务提供商之间、v p n 设备之间的互操作性成为问题。因此，企业在v p n 建网选型时， 一定 要慎重选择v p n 服务提供商和v p n 设备。 3 外部网安全 我们所说的外部网建设，通常指与i n t e r n e t 的互联及与外部企业 用户的互联两种。无论哪一种外部网，都普遍采用基于t c p i p 的 i n t e r n e t 协议族。i n t e r n e t 协议族自身的开放性极大地方便了各种计 算机的组网和互联，并直接推动了网络技术的迅猛发展。但是，由于 在早期网络协议设计上对安全问题的忽视，以及i n t e r n e t 在使用和管 理上的无政府状态，逐渐使i n t e r n e t 自身的安全受到威胁，黑客事件 频频发生。 对外部网安全的威胁丰要表现在：非授权访问、冒充合法用户、 破坏数据完整性、干扰系统正常运行、传播病毒、线路窃听等。 4 防火墙技术 防火墙技术是内部网最重要的安全技术之一，其主要功能就是控 制对受保护网络的非法访问，它通过监视、限制、更改通过网络的数 据流，一一方面尽可能屏蔽内部网的拓扑结构，另一方面对内屏蔽外部 危险站点，用以防范外对内、内对外的非法访问。但也有其明显的局 限性，如： 防火墙难于防内。 防火墙难于管理和配置，易造成安全漏洞。 北京交通大学硕士学位论文 防火墙的安全控制主要是基于i p 地址的，难于为用户在防火墙 内外提供一致的安全策略。 防火墙只实现了粗粒度的访阀控制。 以上介绍的几种传统的安全技术虽然在一定程度上可以有效地防 范外来攻击者的破坏行为，但它们对授权用户溢用权限的行为却无能 为力。可以采用防火墙包过滤、应用层网关以及虚拟网技术来防止诸 如协议漏洞、源路由和地址假冒等多种攻击手段，但却不能防止层出 不穷的应用设计缺陷和通过加密通道的攻击，不能完全阻止入侵者通 过蛮力攻击或利用计算机软硬件系统的缺陷闯入未授权的计算机或滥 用计算机及网络资源。因此仅仪有访问控制技术和防火墙技术是远远 不够的，需要一种能及时发现并报告系统非授权访问或异常现象的技 术，即入侵检测系统( i n t r u s i o nd e t e c t i o ns y s t e m ，t d s ) 。入侵检 测技术有效地弥补了上述安全按术的不足。入侵检测系统和众多的安 全产品共同协作。可以构成一个立体的安全体系。如果把整个网络比 成。个大厦，服务器是大厦的房间，连接服务器的网络是大厦的通道 和走廊。i d s 就是大厦中的监控系统，探测器就是摄像头，装在大厦的 各个位置，有的装在通道和走廊，是网络探测器，有的装在房间里， 是主机探测器。目的都是为了发现罪犯。控制台是大厦保安部门的监 视器，集中监控整个大厦的情况。而防火墙像大厦的大门，有保安判 断检查进入者的身份，如果被别人混进去，防火墙将无能为力，监视 进入者的行为就落到i d s 上“- 。 因此，一个安全的网络系统应该既要有防火墙等防御手段，也需 要有能够对网络安全进行实时监控、攻击与反攻击的入侵检测系统， 实现系统内外的联合安全防范，为网络系统提供良好的安全保障。 6 绪论 1 2 论文工作 在研究了大量的入侵检测系统以及其他相关的网络安全技术知识 并参考了一些现在市场上出现的入侵检测产品的基础上，本文认为， 对于i d s 的研究一般针对两个方面：不同的检测方法与不同的系统结 构。对于检测方法的研究，主要是采用不同的算法，对不同方法得到 的数据进行分析，试图将由入侵产生的数据从大量正常使用产生的数 据中识别出来。对于系统结构的研究，主要是分析针对不同的主机及 网络系统，入侵检测系统应该采用什么样的结构进行组织，以及采用 不同结构后，整个系统的进行、通讯、协作等方法。入侵检测研究的 这两个部分既有其独立性，也有其相关性。 针对一般网络内部入侵概率更高并且后果更为严重的特点，我丰 要针对基于丰机的入侵检测系统进行了研究。主要的工作有： 1 ，研究现有入侵检测的现状与发展，研究其发展的历史、当前的 发展的状况，以及它们的分类和采用的各种技术。同时，研究现有的 入侵检测产品，尤其是开源的s n o r t 一轻量级的入侵检测系统，以及国 内一些主要厂家的产品，例如联想、肩明星辰和天融信等公司的入侵 检测产品。 2 针对基于主机以及防范内部入侵的前提，选择了研究基于异常 的检测方法。 目前网络上存在的入侵手段，绝大部分是利用网络服务器操作系 统或服务软件的漏洞进行的。网络上的各种网络服务软件，几乎都存 在被攻击的漏洞，从w e b 服务软件、f t p 服务软件、e - m a i l 服务软件 到数据库软件、输入法软件等。 入侵检测中使用的检测方法目前已经有很多种，由于在l i n u x 下 北京交通大学硕士学位论文 系统调用序列具有局部稳定性，用那些有特权进程的规则行为代替建 立用户的规则行为，可以不需要在程序代码中定义用户行为规范，只 要简单地通过跟踪程序的正常运行来积累数据就可以了，所以本文研 究的方法是基于程序运行时产生的系统调用序列。 3 研究不同的数据挖掘算法在不同情况下的适用性，选用了关联 规则的数据挖掘a p r i o r i 算法来生成正常调用序列模式库。 4 响应方面采取主动响应与被动响应结合的方式，主动响应基于 系统调用，有效阻止了入侵行为的发生。 1 3 论文内容的组织 文章共分为下面几章： 第一章，绪论，介绍了网络安全技术的研究背景，以及对论文工 作、内容组织的描述。 第二章，入侵检测系统概述及其发展，介绍了现有入侵检测系统 的原理及组成结构、系统的分类方法、采用的技术途径以及现有系统 面l | 缶的挑战和将来入侵检测系统的发展方向。 第三章，数据挖掘技术及其在入侵检测中的应用，简单介绍了数 据挖掘技术并描述了将其应用于入侵检测中的必要性和可行性，并简 述了用以保证数据挖掘成功的要素。 第四章，基于丰机的入侵检测系统的设计，就开发平台、系统结 构、各模块设计等方面作了阐述，并详细介绍了正常序列模式库的生 成和异常检测算法的实现，最后强调了单点失效的处理方法并列出了 手要的接口函数。 第五章，实验，分别就滑动窗口长度和关联规则挖掘参数的不同 绪论 对实验结果产生的影响作了测试，根据测试结果给出了合适的参数取 值。最后给出综合实验结果并与f o r r e s t 等提出的检测方法进行了对 比。 第六章，论文工作总结与讨论，总结了本文的工作并指出了存在 的不足和未来需要改进之处。 9 北京交通大学硕十学位论文 2 入侵检测技术概述及其发展 2 1 入侵检测系统原理及其构成 入侵检测的研究是从离线日志分析开始“，最初使用统计方法分析 i b m 大型机的s m f ( s y s t e m m a n a g e m e n t f a c i l i t y ) 记录。1 9 8 7 年，d e n n i n g 首次提出入侵检测的概念，将它作为一种新型的计算机系统安全防御 措施：并提出一个通用的i d s 模型，首次提出进行实时检测n “。 定义2 1“入侵( i n t r u s i o n ) ”是个广义的概念，指任何试图危及 资源的完整性、机密性和可用性的行为。不仪包括被发起攻击的人( 如 恶意的黑客) 取得超出合法范围的系统控制权，也包括收集漏洞信息， 造成拒绝访问( d e n i a lo fs e r v i c e d o s ) 等对计算机系统造成危害的行 为。 定义2 2入侵检测( i n t r u s i o nd e t e c t i o n ) ，顾名思义，便是对 入侵行为的发觉。它是用于检测任何损害或企图损害系统的保密性、 完整性或可用性行为的一种网络安全技术。它通过监视受保护系统的 状态和活动，对计算机网络或计算机系统中的若干关键点收集信息并 对其进行分析，采用滥用检j ! i ! j ( m i s u s ed e t e c t i o n ) 或异常检测( a n o m a l y d e t e c t i o n ) 的方式，从中发现网络或系统中是否有非授权的或恶意的 系统及网络行为，是否是违反安全策略的行为和被攻击的迹象，为防 范入侵行为提供有效的手段。 定义2 3进行入侵检测的软件与硬件的组合便是入侵检测系统。 与其他安全产品不同的是，入侵检测系统需要更多的智能，它必 须可以将得到的数据进行分析，并得出有用的结果。一个合格的入侵 检测系统能大大简化管理员的工作，保证网络安全的运行。入侵检测 入侵检测技术概述及其发展 的基本原理图如图2 1 m 所示： 图2 一l入侵检测的基奉原理图 入侵检测提供了用于发现入侵攻击与台法用户滥用特权的一种方 法，它所基于的重要的前提是：非法行为和合法行为是可区分的，也 就是说，可以通过提取行为的模式特征来分析判断该行为的性质。一 个基本的入侵检测系统需要解决两个问题：一是如何充分并可靠地提 取描述行为特征的数据：二是如何根据特征数据，高效并准确地判定 行为的性质。 应用于不同的网络环境和不同的系统安全策略，入侵检测系统在 具体实现上也有所不同。 从系统构成上来看，入侵检测系统至少包括数据提取、入侵分析、 响应处理3 个部分，另外，还可能结合安全知识库、数据存储等功能 模块，提供更为完善的安全检测及数据分析功能。如图2 - 2 所示”。其 中，数据提取模块在入侵检测系统中居于基础地位，负责提取反映受 保护系统运行状态的运行数据，并完成数据的过滤及其他预处理工作， 北京交通大学硕士学位论文 为入侵分析模块和数据存储模块提供原始的安全审计“事件”数据， 是入侵检测系统的数据采集器。数据提取模块的功能和效率直接影响 l o s 系统的性能。如何选择正确的数据源，如何进行合适并高效的预处 理，是数据提取模块乃至整个入侵检测系统需要首先解决的问题。 图2 - 2 入侵检测系统构成 2 2入侵检测技术分类 如前所述，入侵检测需要解决的首要问题是数据源，或者说是审 计事件发牛器。数据源可以从多种方式进行分类。从入侵检测的角度 来看，最为直观的分类方法是按照数据源所处的位置进行分类。这种 分类方案通常把系统的监视角度分为2 种类型：主机和网络。或者说 按照检测的对象划分，入侵检测系统可以分为主机入侵检测和网络入 侵检测一i 。 2 2 1 按照检测对象分类 1 基于主机的入侵检测系统 在系统中授予权限本身就是一种安全威胁，基于主机的入侵检测 系统( h i d s ) 通常部署在权限被授予和跟踪的主机上，主要是对该主 1 2 入侵检测技术概述及其发展 机的网络实时连接以及系统审计日志进行智能分析和判断，如果其中 主体活动十分可疑( 特征行为或违反统计规律) ，入侵检测系统就会采 取相应措施。 早在2 0 世纪7 0 年代末，j i ma n d e r s o n 就指出通过日志文件的某 些信息，如多次登录失败的记录或访问机密文件的记录等，可以分析 出非法用户的登录企图以及冒充合法用户等简单入侵行为。在可靠计 算机评价标准( t c s e c ) 中规定了c 2 安全级以上的操作系统必须具备 审计功能，并记录相应的安全性目标。在标准u n i x 系统中，这些日志 文件可以根据系统管珲员的设置，记录用户何时注册、在何处注册、 要做什么以及系统调用、程序运行结果等与安全性相关的操作信息。 其中的审计数据包括可查事件和可查信息。可查事件是指从安全角度 应该注意的用，l 行为。例如认证和授权机制的使用、对象的增加和删 除、打印输出等。可查信息是与特定的可查事件相关的实际数据，包 括事件发牛的时间、产牛事件的丰体的唯一标识、事件的类型、事件 成功与否以及所增加、删除、访问的对象名称等等。 系 日志文件 急措施等) 图2 - 3 基于主机日志的检测 这种检测方法f i - 先要求系统根据配置信息中设定的需要审计事 件，这些事件一旦发牛，系统就将具体参数记录在日志文件中。检测 系统则依据一定的算法对日志文件中的审计数据进行分析，最后得出 北京交通大学硕士学位论文 结果报告。 基于主机的入侵检测具有基于网络的入侵检测系统无法比拟的优 点，这些优点包括： 能够深入检测系统内部的活动，确切掌握系统活动的细节，检 测在网络数据流中难以发现的活动： 可以检测操作系统级的事件( 例如，系统调用，系统c p u 资源， i 0 资源，内存资源，磁盘资源，系统对象访问情况等) ，也 可以检测应用级的事件( 例如，数据库应用，网络应用等各种 应用程序运行的情况) ； 不受网络拓扑环境和通信加密的限制，性能价格比高、适用于 被加密的以及切换的环境； 视野集中、易于用户定制： 对网络流量不敏感、确定攻击是否成功。 但是它的缺点是需要占用宝贵的主机资源，而且基于丰机的入侵 检测强烈地依赖操作系统木身的安全性，在环境适应性、可移植性方 面问题较多。但是在获取高层信息以及实现一些特殊功能( 例如针对 系统资源情况、系统调用情况的审计) 方面具有无法替代的作用。 2 网络入侵检测 n 1 d s 通过捕获并分析网络数据包来检测攻击。在关键的网段或交 换部位进行侦听，一个n i d s 可以监控影响多个流经此网段的主机的网 络通信流量，从而保护这些主机u ，。任何一个网络适配器都具有收听其 他数据包的功能，它首先检查每个数据包目的地的地址，只有符合本 地地址的包才向上一层传输。通过适当配置适配器，就可以捕获同一 子网上的所有数据包。而基于简单网管协议( s n m p ) 的这些数据包应 含有配置信息( 路由表、地址、名字等) 以及运行数据( 如用于不同 1 4 入侵检测技术概述及其发展 网络接口以及各层之间通信的计攀器等) ，这就为入侵检测提供了必要 的原始数据。 通常，将入侵检测系统放置在防火墙或者网关后，就像网络窥探 器一样捕获所有内传或者外传的数据包。但它并不延误数据包的传送 因为它对数据包来说仪仅是在进行监视。 图24 基于嘲络数据包的检测 网络入侵检测系统是通过分析网络数据流实现入侵检测，它运行 在需要保护的计算机网络| 二。 基于网络的入侵检测的优点是能够发现在系统层不易被发现的网 络活动，能够同时检测网络上的所有主机的网络活动，它独立于用，l i 的系统和网络，是一个完全独立的第三方检测，证据不易摧毁，不对 用广的系统增加额外的负担，而且可以检测到某些种类的攻击，如远 程缓冲区溢出、网络碎片攻击等大量针对协议栈或者特定网络服务的 攻击手段。但是缺点是系统协议分析比较复杂，有些系统活动很难从 网络数据流中发现，严重受到网络拓扑结构和高速网络以及通信加密 的影响。而且更容易受到基于网络的拒绝服务攻击等恶意攻击，在高 层信息的获取上更为困难，在实现技术上更加复杂等。 总的来说。基于丰机的i d s 一般是根据攻击对系统的影响来判断 攻击事件，比如用户是否多次使用错误的口令，文件状态是否发生非 北京交通大学硕士学位论文 法改变等，时间上相对滞后于攻击本身。而基于网络的 d s 强调通过 网络行为过程进行分析，不是依靠审计攻击事件对目标系统带来的实 际影响，而通过行为特征来发现攻击事件。比如，网络上一旦发生了 针对w i n d o w sn t 系统的攻击行为，即使其保护的网络中没有n t 系统， 基于网络的i d s 一样可以检测到该攻击。此类系统侧重于网络活动进 行检测因而得以实时地发现攻击企图，许多情况下可以做到防范于未 然。 由于基于网络监听方式的入侵检测系统直接从数据链路层获取信 息，因而从理论上它可以获取所有的网络信息，原始数据来源丰富， 只要传输数据不是底层加密的，就可以检测到一切通过网络发动的攻 击事件，包括一些高层应用的信息。如：可以完全通过网络监听的方 式对通过网络登陆到特定系统的用广1 名和口令进行审计，故也可分析 其他系统相关的高层事件。 3 混合分布式入侵检测 混合分布式入侵检测可以从不同的丰机系统、网络部件和通过网 络监听方式收集数据，这些系统可以利用网络数据，也可收集分析来 自主机系统的高层事件，发现可疑的行为。 虽然基于网络的入侵检测系统实现的功能可以很强大，如要适应 现代于兆比特的高速网络和交换机网络方面也有许多难以克服的困 难。而且基于丰机的入侵检测系统也有其独特性能，所以未来的入侵 检测系统要想取得成功必须将基于主机和基于网络的两种入侵检测系 统无缝地结合起来，成为混合分布式的入侵检测系统，它兼有两种入 侵检测系统各自的优点，但是实现的复杂度要更高。 1 6 入侵检测技术概述及其发展 2 2 2 按照检测方法分类 1 基于滥用的入侵检测 滥用检测( m i s u s ed e t e c t i o i l ) 又称为基于规则的入侵检测。在 滥用检测中，入侵过程模型以及它在被观察系统中留下的踪迹是决策 的基础，所以，可事先根据经验规则或者专家知识定义某些非法的特 征行为，然后将观察对象与之进行比较以做出系统是否具有此种非法 行为的判别。滥用检测基于已知的系统缺陷和入侵模式，它能够准确 地检测到某些特定的攻击，优点在于具有非常低的虚警率，同时检测 的匹配条件可以进行清楚的描述，从而有利于安全管理人员采取清晰 明确的预防保护措施。然而，滥用入侵检测系统过度依赖事先定义好 的安全策略，所以无法检测系统未知的攻击行为，因i 丽可能会产牛大 量漏警。另一个存在的问题是可移植性，因为关于网络攻击的绝大多 数是与丰机的操作系统、软件平台和应用类型密切相关的，因此带来 的后果是这样的入侵检测系统只能在某个特定的环境下牛效。最后， 检测内部用户的滥用权限的活动将变得相当嗣难，因为通常该种行为 并未利用任何系统缺陷。 在滥用入侵检测系统中，研究者们提出基于各种技术类型的检测 器，如专家系统技术、特征分析技术、p e t r i 网络技术、状态转移分析 技术等等。 2 基于异常的入侵检测 入侵检测系统通常关注的重点在于防范来自系统外部的攻击，然 而，内部攻击由于攻击者本身已具有合法性因而通常难以检测，许多 造成严重后果的系统入侵正是由内部攻击发起的，统计表明，有 7 0 8 0 的攻击属于此类m 。因此，对于内部用户行为模式的异常检测 北京交通大学硕士学位论文 已经成为我们需要关注的一个重要的方面。 异常检测( a b n o r m a ld e t e c t i o n ) 又称为基于行为的入侵检测、 非规则的入侵检测。与滥用检测不同的是，在异常检测中，观察到的 不是己知的入侵行为，而是所研究的正常通信过程中的异常现象。异 常检测通过检测系统的行为或者使用情况的变化来完成。在建立异常 检测的模型之前，首先必须建立统计概率模型，明确所观察对象的正 常情况，然后决定在何种程度上将一个行为标为“异常”，并给出相应 的其体决策。 异常检测只能识别出那些与正常的过程有较大偏差的行为，而无 法知道具体的入侵情况。由于对各种网络环境的适应性不强，且很难 获得精确的判定准则，异常检测经常会出现虚警( 误警) 情况。 在异常入侵检测中，最广泛使用的技术是统计分析( s t a r i s t i c s a n a l y s i s ) 。系统或者用户的当前行为通过按一定时1 n 间隔采样并计算 出的一系列参数变量来描述，如每个会话进程的登录和退出时间，占 用资源的时间长短。在最初的模型中，系统计算出所有的变量的平均 值，然后根据平均偏差检测当前行为是否超过了某一闽值，当然，这 样的模型是很简单和租糙的，无法准确检测异常活动。迸一步的算法 将单个用户的参数变量数值与积累起来的群体参数变量进行比较，但 是检测能力的提高还是不大。目前在几种非规则检测系统中使用了。 种更加复杂的模型，检测系统同时计算并比较每个用户的长期和短期 涌动状态，而状态信息随着用户行为的变化而不断更新。 另一种主要的非规则检测技术是神经网络技术。神经网络技术通 过学习已有输入输出矢量对集合，进而抽象出其内在的联系，然 后得到新的输入输出的关系；这种技术在理论上能够用来审计数 据流中检测入侵的痕迹，然而，目前尚无可靠的理论能够说明神经网 入侵检测技术概述及其发展 络是如何学习范例中的内在关系的。神经网络技术和统计分析技术的 某些相似之处已经被理论证明，而使用神经网络技术的优势在于它能 够以一种更加简洁快速的方式来表示各种状态变量之间的非线性关 系，同时，能够自动进行学习或重新训练的过程。 2 3 入侵检测的技术途径 2 3 1 数据源 什么样的数据源才是入侵检测的最佳数据源呢? 数据源的选择取 决于所想检测的内容。为了检测攻击，入侵检测系统必须能够发现攻 击的证据，必须能够获得攻击的“正确”数据( 即受害系统遭受攻击 时的反应) 。 1 基于主机的数据源 基于丰机的数据源丰要包括以下两种类型： 操作系统审计纪录由专门的操作系统机制产生的系统事件 纪录； 系统臼志由系统程序产牛的用于记录系统或应用程序事件 的文件，通常以文本文件的方式存放。 日志文件中记录了各种行为类型，每种类型又包含不同的信息， 例如纪录“用户活动”类型的日志，就包含登录、用户i d 改变、用广 对文件的访问、授权和认证信息等内容。很显然地，对用户活动来讲， 不正常的或者不期望的行为就是重复登陆失败、登陆到不期望的位置 以及非授权的企图访问重要文件等。 通常认为基于主机的数据收集更好用，出于以下原因： 1 ) 基于丰机的数据收集的数据能精确地反映主机上发牛的事情， 1 9 北京交通大学硕士学位论文 而不是基于通过网络传输的数据包来猜测发生了什么； 2 ) 在流量很高的网络中，网络监视器可能丢失数据包，然而合理 布署的主机监视器可以报告每一个发生在各台主机上的事件； 3 ) 基于网络的数据收集机制容易遭受插入和逃避攻击。基于主机 的数据收集不存在这些问题。因为它只对主机具有的数据起作 用。这些问题反映了直接和间接数据收集的差别。 2 基于网络的数据源 网络数据是目前商业入侵检测系统最为通用的信息来源。基本原理 是：当网络数据流在网段中传播时，采用特殊的数据提取技术，收集 网络中传播的数据，作为入侵检测系统的数据源。许多著名的入侵检 测系统，如r e a l s e c u r e 、n f r 、n e t r a n g e r 、s n o r t 等，都采用或者部 分采用了网络数据作为入侵分析的数据来源。网络数据的优势： 1 ) 通过网络监听的方式获取信息，由于监视器所作的工作仪仅是 铁网络中读取传输的数据包，因此对受保护系统的性能影响很 小或者几乎没有，并且无需改动原先的系统和网络结构： 2 ) 网络监视器( s n i f f e r ) 对网络中的用，l l 是透明的，降低了监 视器本身遭受入侵者攻击的可能性： 3 ) 网络监听相对于基于丰机的i d s 更容易检测到某些基于网络 协议的攻击方法，典型的是通过向目标主机发送畸形的大量的 网络包从而造成了d o s 攻击的方法： 4 ) 网络监听器可以针对一个网段的数据进行入侵分析，与受保护 丰机的操作系统无关。与之相比，基于主机的i d s 必须首先保 证操作系统的正常工作，并且需要针对不同的操作系统开发不 同的版本。 入侵检测技术概述及其发展 2 3 2 分析数据源 对收集到的有关系统、网络、数据以及用户活动的状态和行为的 数据源，一般通过三种技术手段进行分析：模式匹配，统计分析和完 整性分析。其中前两种方法用于实时的入侵检测，而完整性分析则用 于事后分析。 1 模式匹配 模式匹配就是将收集到的信息与已知的网络入侵和系统误用模式 数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单 ( 如通过字符串匹配以寻找一个简单的条目或指令) ，也可以很复杂 ( 如利用正规的数学表达式来表示安全状态的变化) 。一般来讲，一种 进攻模式可以用一个过程( 如执行一一条指令) 或一个输出( 如获得权 f 挺) 来表示。该方法的一大优点是只需要收集相关的数据集合，显著 减少系统负担，且技术已相当成熟。它与病毒防火墙采用的方法一样， 检测准确率和效率都相当高。但是，该方法存在的弱点是需要不断地 升级以对付不断出现的黑客攻击手法，不能检测到从未出现过的黑客 攻击手段。 2 统计分析 统计分析方法首先给系统对象( 如用广、文件、目录和设备等) 创建一个统计描述，统计正常使用时的一些测量属性( 如访问次数、 操作失败次数和延时等) 。测量属性的平均值将被用来与网络、系统的 行为进行比较，任何观察值在正常范围之外时，就认为有入侵发生。 例如，统计分析可能标识一个不正常行为，因为它发现一个在晚八点 至早六点从未登录的账户却在某日凌晨两点试图登录。它的优点是可 以检测到未知的入侵和更为复杂的入侵，缺点是误报、漏报率高，且 2 l 北京交通大学硕士学位论文 不适应用户正常行为的突然改变。具体的统计分析方法如基于专家系 统的，基于模型推理的和基于神经网络的分析方法，目前正处于研究 热点和迅速发展之中。 3 完整性分析 完整性分析主要关注某个文件或者对象是否被更改。这经常包括 文件和目录的内容及属性，他在发现被更改的、被特洛伊化的应用程 序方面特别有效。完整性分析利用强大的加密机制，成为消息摘要函 数，能够识别哪怕是微小的变化，其优点是不管模式匹配方法和统计 分析方法能否发现入侵，只要是成功的攻击导致了文件或者其他对象 的任何改变，它都能够发现。缺点是一般以批处理的方式实现，用于 事后相应，不用于实时响应。尽管如此，完整性检测方法还应该是网 络安全产品的必要手段之一。例如，可以在每一一天的某个特定时间内 开肩完整性分析模块，对网络系统进行全面地扫描检查。 2 4入侵检测系统的部署 对于丰机型i d s ，其数据采集部分当然应该位于所检测的丰机上。 基于网络的i d s 则需要有检测器才能工作，如果检测器的位置放置不 正确，入侵检测系统也不能够达到最佳状态工作。一般来说，检测器 放在防火墙附近比较好，如图2 5 所示，可以有以下几种选择： 1 防火墙之外( 嗍z ) d m z ( d e m i l i t a r i z e dz o n e ) ，中文译为“非军事区”或者“隔离区”， 是介于i s p 和最外端防火墙界面之间的区域，它是为了解决安装防火 墙后外部网络不能访问内部网络服务器的问题，而设立的一个非安全 系统与安全系统之间的缓冲区，这个缓冲区位于企业内部网络和外部 入侵检测技术概述及其发展 网络之间的小网络区域内，在这个小网络区域内可以放置一些必须公 开的服务器设施，如企业w e b 服务器、f t p 服务器和论坛等。另一方面， 通过这样一个d m z 区域更加有效地保护了内部网络，因为这种网络 部署。比起一般的防火墙方案，对攻击者来说又多了一道关卡。 将l o s 放景在d m z 可以使检测器可以看到所有来自i n t e r n e t 的攻 击，然而如果攻击类型是t c p 攻击，防火墙或者过滤路由器能封锁这 种攻击