（计算机应用技术专业论文）入侵检测系统数据流重组研究.pdf

入侵检测系统数据流重组研究 摘要 随着电子商务的发展，网络安全性得到空前重视。入侵检测系统( i d s ) 能够 捕获并分析网络中的所有数据包，发现其中的攻击企图，根据事先制订的策略 通知管理员或自行采取保护措施 传统入侵检测系统对出入子网的单个i p 包的内容进行检测。当入侵者将敏 感信息分成小包发送时，由于传输的数据流被分拆，因此在单个l p 包内失去了 信息特征，入侵检测系统对此类攻击将无能为力，不能进行正确判断。基于数 据流重组技术的入侵检测系统抛弃了传统入侵检测系统只检测单个i p 包的做 法，改为将多个孤立的i p 包重组后再进行检测。数据流重组恢复了完整的应用 层数据，为入侵检测系统进行完整的数据分析提供了基础。 本文对i p 分片重组进行了系统性的研究，分析了分片重组过程中的安全性 问题，详细的分析了几种i p 分片重组算法的主要思想和优缺点，并针对r f c 8 1 5 算法的效率和安全性做出了改进，提出了一种基于改进的r f c 8 1 5 和伸展树的 i p 分片重组算法。它能够高效的完成i p 分片重组，且具有很好的安全性。 t c p 流重组是数据流重组的关键，也是进行应用层分析的基础。本文详细 的分析了t c p 协议以及t c p 连接状态管理，并讨论了在t c p 流重组中存在的 一些问题。为了保证正确、高效的重组应用层数据，本文提出了一种基于伸展 树的t c p 流重组算法。 论文还对网络数据包截获原理和方法进行了深入的分析b p f 是基于内核 的过滤模块，基于b p f 过滤机制的包捕获工具包l i b p c a p 能够高效的捕获数据 包。论文使用l i b p e a p 工具包实现了数据流重组的原型系统，该系统能够跟踪 t c p 连接状态并能完整的对应用层数据进行重组，达到了预计的效果。 关键词：入侵检测系统 i p 分片流重组l i b p c a p数据采集 r e s e a r c ho l ld a t a f l o wr e a s s e m b l yi ni d s a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to fe - b u s i n e s s ，t h en e t w o r ks e c u r i t ) ，i sp a i d a t t e n t i o nt ou n p r e c e d e n t e d l y i n t r u s i o nd e t e c t i o ns y s t e m ( i d s ) a n a l y s et h ep a c k e t s t h r o u g ht h en e t w o r k , f i n dp o t e n t i a la t t a c k sa n di n f o r ma d m i n i s t r a t o r so rt a k et h e p r o t e c t i v em e a s u r eb yi t s e l fa c c o r d i n gt ot h et a c t i c sw h i c ha r em a d ei na d v a n c e t r a d i t i o n a li d ss c a nt h ec o n t e n to fs o l op a c k e t h o w e v e r , i n v a d e r so f t e n s e p a r a t et h es e n s i t i v ei n f o r m a t i o ni n t oan u m b e ro fs m a l li pp a c k e t st h e ns e n tt h e m i d sc a n n o tm a k ec o r r e c tj u d g m e n tf o rs u c ha t t a c k sd u et ot h ed a t a f l o wt r a n s m i t t e d b yt h e s ei pp a c k e t sl o s et h ei n f o r m a t i o nf e a t u r e i d sb a s e do nd a t a f l o wr e a s s e m b l y d i s c a r dt h em e t h o dt h a to n l ys c a ns o l op a c k e t ，b u ta d o p tt h em e t h o dt h a ts c a nt h e d a t aa f t e rd a t a f l o wr e a s s e m b l y i pf r a g m e n t sr e a s s e m b l ya n dt h es e c u r i t yp r o b l e m si ni pf r a g m e n t sr e a s s e m b l y a r er e s e a r c h e di nt h i st h e s i s ai pf r a g m e n t sr e a s s e m b l ya l g o r i t h mb a s e do n i m p r o v e dr f c 8 1 5a n ds p l a yt r e ei sp r o p o s e d i tc a l ls a t i s f yt h ee f f i c i e n c ya n dt h e s e c u r i t yt h a ti pf r a g m e n t sr e a s s e m b l yn e e d t c pr e a s s e m b l yi st h ek e yo fd a t a f l o wr e a s s e m b l y d e t a i l e da n a l y s i so ft c p p r o t o c o la n dt c pc o n n e c t i o ns t a t e sm a n a g e m e n ti sg i v e di n t h i st h e s i s s o m e s e c u r i t yp r o b l e m si nt c pr e a s s e m b l ya r ed i s c u s s e d 船w e l l t oe n s u r ep r o p e ra n d e f f i c i e n tr e a s s e m b l yo ft h ea p p l i c a t i o nl a y e rd a t a ，at c pr e a s s e m b l ya l g o r i t h m b a s e do ns p l a yt r e ei sp r e s e n t e d t h i st h e s i sa l s os h o w sa ni n - d e p t ha n a l y s i so nt h ep r i n c i p l ea n dm e t h o do f n e t w o r kp a c k e tc a p t u r e b p fi st h ef i l t e rm o d u l eb a s e do nt h ek e r n e l t h es o r w a r e d e v e l o p m e n tk i tl i b p c a p w h i c hi sb a s e do nb p fc a nc a p t u r en e t w o r kp a c k e t s e f f i c i e n t l y ad a t a f l o wr e a s s e m b l yp r o t o t y p es y s t e m i si m p l e m e n t e db yu s i n g i i b p c a p t h i ss y s t e mc a nt r a c kt c p c o n n e c t i o ns t a t e sa n dc o m p l e t e l yr e n e wt h e a p p l i c a t i o nl a y e rd a t a k e yw o r d s ：i d s ；i pf r a g m e n t ：d a t a f l o wr e a s s e m b l y ；l i b p c a p ：d a t ac o l l e c t i o n 插图清单 图2 一l误用检测模型7 图2 2 异常检测模型8 图2 3c i d f 体系结构9 图2 - 4 典型i d s 架构1 0 图3 1i p 首部分片信息1 2 图3 - 2 分片重叠1 5 图3 - 3l i n u x 分片重组结构1 7 图3 - 4 洞描述符链表2 0 图3 5 z i g 、z a g 操作2 l 图3 - 6 z i g - z i g 操作2 2 图3 7 z i g z a g 操作2 2 图3 8 基于伸展树分片重组2 4 图4 1t c p 报文段首部结构2 8 图4 2t c p 连接三个阶段2 9 图4 3t c p 收发端缓冲区3 1 图4 4t c p 状态变迁图一3 3 图4 5 基于伸展树的t c p 流重组3 8 图5 - lb p f 架构4 1 图5 2 数据包捕获流程4 3 图5 3 协议栈封装过程4 4 图5 - 4 连接状态测试4 6 图5 5 重组后应用层数据4 7 表格清单 表5 - 1 流重组算法效率比较4 8 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得 金胆3 ：些太堂 或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签字： 冲辄砷年 学位论文版权使用授权书 5 月f 日 本学位论文作者完全了解金鳇王些太堂 有关保留、使用学位论文的规定，有权 i 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阕。本人 授权金胆e 些盍堂 可以将学位论文的全部或部分论文内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) = 鬻t 日 签字日期：夕产占月铲日 工作单位： 通讯地址： 毒师躲f 2 易l 签字日期：矿( 砗石月午e l l 电话： 邮编： 致谢 本论文是在我的导师侯整风老师悉心指导下完成的，在论文的创作及撰写过程 中，侯老师给予了高度的关怀及帮助，使得论文能够顾利完成。侯老师治学严谨，平 易近人，言传身教，在我攻读研究生期间一直给予了我热心的帮助，在求学和做人方 面使我受益非浅，也让自己能够冷静深刻地去思考问题和自己未来的发展之路 同时也感谢实验室的兄弟姐妹，这是一个团结互助的集体在这里我度过了非常愉 快的时光 感谢我的家人，他们给予了我巨大的精神支持和物资支持，帮助我度过难关，顺 利地走到今天 最后，向合肥工业大学所有培养教育过我的老师们表示最诚挚的谢意。 作者：李玮 2 0 0 7 年5 月1 0 日 第一章绪论 入侵检测系统是新一代网络安全防范技术，它对计算机网络或系统中的若 干关键点收集信息并对其进行分析，从中发现是否有违反安全策略的行为和被 攻击的迹象。它是一种集检测、记录、报警、响应的动态安全技术，不仅能检 测来自外部的入侵行为，同时也监督内部用户的未授权活动 现有的入侵检测系统都主要对单个i p 数据包进行检测，由于一些敏感信息 或攻击字段可能被截断在多个i p 数据包中，使得原有的检测方法失效。进行完 整的应用层检测需要将属于同一应用的多个i p 包重组，即数据流重组。本论文 主要研究数据流重组以及重组的效率和安全性问题。本章介绍了网络安全现状 和主要的安全技术，阐述了论文提出的背景以及意义，并对全文研究的主要内 容进行了概括。 1 1网络安全现状 随着信息化进程的深入和互联网的迅速发展，人们的工作、学习和生活方 式正在发生巨大变化，效率大为提高，信息资源得到最大程度的共享。但必须 看到，紧随信息化发展而来的网络安全问题日渐凸出，如果不很好地解决这个 问题，必将阻碍信息化发展的进程。 在各领域的计算机犯罪和网络侵权方面，无论是数量、手段，还是性质、 规模，已经到了令人咋舌的地步。据有关方面统计，目前美国每年由于网络安 全问题而遭受的经济损失超过1 7 0 亿美元，德国、英国也均在数十亿美元以上， 法国为1 0 0 亿法郎，日本、新加坡问题也很严重。在国际刑法界列举的现代社 会新型犯罪排行榜上，计算机犯罪已名列榜首。2 0 0 3 年，c s i f b i 调查所接触 的5 2 4 个组织中，有5 6 遇到电脑安全事件，其中3 8 遇到1 5 起、1 6 以上 遇到l l 起以上。因与互联网连接而成为频繁攻击点的组织连续3 年不断增加： 遭受拒绝服务攻击( d o s ) 贝t j 从2 0 0 0 年的2 7 上升到2 0 0 3 年的4 2 。调查显示， 5 2 1 个接受调查的组织中9 6 有网站，其中3 0 提供电子商务服务，这些网站 在2 0 0 3 年1 年中有2 0 发现未经许可入侵或误用网站现象。更令人不安的是， 有3 3 的组织说他们不知道自己的网站是否受到损害。据统计，全球平均每2 0 s 就发生1 次网上入侵事件，黑客一旦找到系统的薄弱环节，所有用户均会遭殃。 网络安全问题已经成为影响世界各国经济和社会发展的问题之一，我国当 然也不能独善其身目前，我国网络安全问题日益突出的主要标志是： ( 1 ) 计算机系统遭受病毒感染和破坏的情况相当严重。从国家计算机病毒应 急处理中心日常监测结果看来，计算机病毒呈现出异常活跃的态势。据 2 0 0 1 年调查，我国约7 3 的计算机用户曾感染病毒，2 0 0 3 年上半年升 至8 3 。其中，感染3 次以上的用户高达5 9 ，而且病毒的破坏性较 大，被病毒破坏全部数据的占1 4 ，破坏部分数据的占5 7 ( 2 ) 电脑黑客活动己形成重要威胁。网络信息系统具有致命的脆弱性、易受 攻击性和开放性。从国内情况来看，目前我国9 5 与互联网相联的网 络管理中心都遭受过境内外黑客的攻击或侵入，其中银行、金融和证券 机构是黑客攻击的重点。 ( 3 ) 信息基础设施面临网络安全的挑战。面对信息安全的严竣形势，我国的 网络安全系统在预测、反应、防范和恢复能力方面存在许多薄弱环节 据英国简氏战略报告和其它网络组织对各国信息防护能力的评估， 我国被列入防护能力最低的国家之一，不仅大大低于美国、俄罗斯和以 色列等信息安全强国，而且捧在印度、韩国之后。近年来，国内与网络 有关的各类违法行为以每年3 0 的速度递增。 1 2 主要安全技术 由于网络安全问题的存在和日益突出，世界各国都在加强网络安全建设。 目前，主要的网络安全技术有身份识别与认证、访问控制、加密、防火墙、虚 拟专用网和入侵检测系统等【。下面简要介绍防火墙、虚拟专用网和入侵检测 系统。 1 防火墙 防火墙是指设置在不同网络( 如可信任的企业内部网和不可信的公共网) 或 网络安全域之间的一系列部件的组合。它是不同网络或网络安全域之闻信息的 唯一出入口，能根据企业的安全政策控制( 允许、拒绝、监测) 出入网络的信息 流，且本身具有较强的抗攻击能力。它是提供信息安全服务，实现网络和信息 安全的基础设施。在逻辑上，防火墙是一个分离器，一个限制器，也是一个分 析器，有效地监控了内部网和外部网之间的任何活动，保证了内部网络的安全。 2 虚拟专用网( v p n ) v p n 是通过私有的隧道技术在公共数据网络上仿真一条点到点的专线技 术。所谓虚拟，是指用户不再需要拥有实际的物理数据专线，而是使用i n t e r n e t 公共数据网络的长途数据线路。所谓专用网络，是指用户为自己定制一个最符 合自己要求的网络。v p n 是企业网在因特网等公共网络上的延伸。v p n 通过安 全的私有的数据通道将远程用户、公司分支机构内部网、公司业务伙伴的企业 网连接起来，构成一个扩展的企业网。在该网中的主机将不会觉察到公共网络 的存在，仿佛所有的主机都处于一个独立的网络之中。 3 入侵检测系统( i d s ) i d s 是近十多年发展起来的新一代安全防范技术，它通过对计算机网络或 系统中的若干关键点收集信息并对其进行分析，从中发现是否有违反安全策略 的行为和被攻击的迹象这是一种集检测、记录、报警、响应的动态安全技术， 2 不仅能检测来自外部的入侵行为，同时也监督内部用户的未授权活动 1 3论文提出的背景和意义 随着电子商务发展，网络的安全性得到空前重视传统防火墙系统虽然在 今天的网络安全体系中发挥着重要的作用，但随着黑客入侵技术的不断改变和 提高，基于静态保护的防火墙系统己经不能满足实际应用的需要。以智能和动 态分析为特征的入侵检测系统势必在今后的应用中发挥日益重要的作用 传统的入侵检测系统对出入予网的i p 包的内容进行扫描，根据特征字符串 进行敏感信息的匹配从而判断可能的攻击类型。然而，当入侵者将敏感信息分 成多个i p 包发送时，由于传输的数据流被分拆，因此在单个i p 包内失去了信 息特征，入侵检测系统对此类攻击将无能为力，不能进行正确判断。 因此，完整的对出入网的信息进行安全检测就成为网络安全性的需要。基 于数据流重组技术的入侵检测系统抛弃了传统的入侵检测系统只扫描单个i p 包的做法，改为将多个孤立的i p 包重组后再进行扫描的方法。数据流重组恢复 了完整的应用层数据。为入侵检测系统进行完整的数据分析提供了基础。 1 4 论文的主要内容 本文对入侵检测系统及其分类、基于误用的入侵检测系统和基于异常的入 侵检测系统的特点以及c i d f 标准化模型等进行了系统性的阐述。 本文对i p 分片重组进彳亍了研究，分析了分片攻击以及分片重组过程中的安 全性问题，详细的分析了几种i p 分片重组算法的主要思想和优缺点，并针对i p 分片重组算法的效率提出了一种基于改进的r f c 8 1 5 和伸展树的i p 分片重组算 法。该算法满足了分片重组对时间效率的要求且具有很好的安全性。 还原应用层数据涉及到t c p 流重组，t c p 流重组是为了对完整的会话进行 分析，它是数据流重组的关键，也是入侵检测系统对应用层数据进行分析的基 础。本文详细的分析了t c p 协议以及t c p 连接状态管理，并讨论了在t c p 流 重组中存在的一些问题。为了保证正确、高效的重组应用层数据，本文提出了 一种基于伸展树的t c p 流重组算法。 论文对网络数据包截获原理和方法进行了深入的分析。b p f 是基于内核的 过滤模块，使得基于b p f 过滤机制的包捕获工具包l i b p e a p 能够高效的捕获数 据包。论文采用l i b p c a p 工具包实现了数据流重组，该系统能够跟踪t c p 连接 状态并完整的重组应用层数据，达到了预计的效果。 1 5 论文的结构安捧 第一章阐述了网络安全的现状、主要的安全技术以及在入侵检测系统中数 据流重组的必要性。 第二章回顾了入侵检测系统的相关技术，包括入侵检测系统的分类、基于 误用的入侵检测系统和基于异常的入侵检测系统的特点以及c i d f 标准化模 型 第三章对i p 分片重组进行了系统性的研究，分析了分片攻击以及分片重组 的安全性问题，详细的分析了几种i p 分片重组算法的主要思想和优缺点，并针 对r f c 8 1 5 算法效率和安全性做出了改进，提出了一种基于改进的r f c 8 1 5 和 伸展树的i p 分片重组算法。 第四章分析了t c p 协议以及t c p 连接状态管理，并讨论了在t c p 流重组 中存在的一些问题为了保证正确、高效的重组应用层数据，本文提出了一种 基于伸展树的t c p 流重组算法。 第五章对网络数据包截获原理和方法进行了深入的分析。详细描述了数据 流重组的设计与实现，并对系统进行了测试 第六章总结了本文研究成果、创新点以及主要贡献，并对数据流重组的下 一步研究方向进行了展望。 4 第二章入侵检测系统概述 本章概要介绍入侵检测的概念，然后分别从数据源和检测方法两个不同角 度对入侵检测系统进行分类，接着介绍公共入侵检测框架c i d f ，最后给出了 一个典型的入侵检测架构 2 1 入侵检测的概念 入侵检测( i n t r u s i o nd e t e c t i o n ) 是对入侵行为的检测它通过收集和分析计 算机网络或计算机系统中若干关键点的信息，检查网络或系统中是否存在违反 安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合就是入侵 检测系统。 入侵行为主要是指对系统资源的非授权使用可以造成系统数据的丢失和破 坏、系统拒绝服务等危害。对于入侵检测而言的网络攻击可以分为4 类1 2 】： ( 1 ) 检查i p 包首部即可发觉的攻击如w i n n u k e 、p i n go fd e a t h 、l a n d c 部 分o sd e t e c t i o n 、f l o u r c er o u t i n g 等。 ( 2 ) 检查i p 包，但同时要检查数据段信息才能发觉的攻击，如利用c g i 漏 洞、缓存溢出攻击等。 ( 3 ) 通过检测发生频率才能发觉的攻击如端口扫描s y n f l o o d 、s m u f f 攻击 等。 ( 4 ) 利用分片进行的攻击如t e a r d r o p 、n e s t e a 、j o l t 等。此类攻击利用了分 片重组算法的种种漏洞。若要检查此类攻击，必须在i p 层接收或转发 时作重装尝试。分片不仅可用来攻击还可用来逃避未对分片进行重组 尝试的入侵检测系统的检测。 入侵检测系统的主要任务包括：监视、分析用户及系统活动；审计系统构 造和弱点；识别、反映已知进攻的活动模式，向相关人士报警；统计分析异常 行为模式；评估重要系统和数据文件的完整性；审计、跟踪管理操作系统；识 别用户违反安全策略的行为。 入侵检测一般分为3 个步骤依次为信息收集、数据分析、响应( 包括被动响 应和主动响应1 。 信息收集的内容包括系统、网络、数据及用户活动的状态和行为。入侵检 测利用的信息一般来自系统日志、目录以及文件中的异常改变、程序执行中的 异常行为及物理形式的入侵信息4 个方面。 数据分析是入侵检测的核心。它首先构建分析器，把收集到的信息经过预 处理，建立一个行为分析引擎或模型，然后向模型中植入时间数据，在知识库 中保存植入数据的模型。数据分析一般通过模式匹配、统计分析和完整性分析 3 种手段进行。前2 种方法用于实时入侵检测，而完整性分析则用于事后分析 可用5 种统计模型进行数据分析：操作模型、方差、多元模型马尔柯夫过程模 型、时间序列分析统计分析的最大优点是可以学习用户的使用习惯 入侵检测系统在发现入侵后会及时做出响应，包括切断网络连接、记录事 件和报警等响应一般分为主动响应和被动响应两种类型。主动响应由用户驱 动或系统本身自动执行，可对入侵者采取行动如断开连接修正系统环境或收集 有用信息：被动响应则包括警告和通知。另外还可以按策略配置响应，可分别 采取立即、紧急、适时、本地的长期和全局的长期等行动。 2 2 入侵检测系统的分类 2 2 1 根据数据来源分类【习 1 主机型 这类入侵检测系统一般称为主机入侵检测系统( h i d s ) 。它往往以系统日志、 应用程序日志等作为数据源，也可以通过其他手段( 如监视系统调用) 从所在的 主机收集信息进行分析。h i d s 保护的一般是所在的系统。 h i d s 的优点是可以检测到那些基于网络的系统察觉不到的攻击：花费更 加低廉；易于更准确的保护特定系统和攻击的定位。 h i d s 的缺点只能检测到自身的主机，不能监视到网络上的情况。如果全 面部署h i d s 的代价较大，企业中很难将所有主机用h i d s 保护，只能选择部 分主机保护。那些未安装h i d s 的机器将成为保护的盲点，入侵者可以利用这 些机器达到攻击目标。 2 网络型 这类入侵检测系统一般称为网络入侵检测系统( n i d s ) 它的数据源则是网 络上的数据包。一般情况下，将网卡设置成混杂模式，监听本网段内的所有数 据包并进行判断，担负着保护整个网段的任务。 在计算机网络中，局域网普遍采用的是基于广播机制的以太网协议。该协 议保证传输的数据包能被同一局域网内的所有主机接收。n i d s 就是利用以太 网这一特性。以太网卡通常有正常模式和混杂模式两种工作模式。在正常模式 下，网卡每接收到一个到达的数据包，就会检查该数据包的目的地址，如果是 本机地址或广播地址，则将数据包放入接收缓冲区：若是其它目的地址的数据， 则直接丢弃。在混杂模式下，网卡可以接收本网段内传输的所有数据包，无论 这些数据包的目的地址是否为本机 n i d s 的优点有： ( 1 ) 可以检测来自网络的攻击。 ( 2 ) n i d s 不需要改变服务器等主机的配置。它不会在被保护的主机中安装 额外的软件，所以不会影响主机的性能。 ( 3 ) 检测h i d s 漏掉的攻击h i d s 无法查看数据包的头部，所以它无法检 6 测到部分类型的攻击例如，d o s 攻击和分片攻击 ( 4 ) 相比h i d s 注重分析日志，n i d s 反应更加实时。 n i d s 的缺点是只检查它直接连接网段的通信，不能检测在不同网段的网 络数据包。在使用交换以太网的环境中就会出现监视范围的局限。而安装多台 n i d s 的传感器会使成本大大增加。另外n i d s 在网络数据量大时丢包率会比较 高。 3 分布式 在一个多主机的环境中。采用n i d s 和h i d s 相结合的混合方法。分布式 入侵检测系统一般采用分布监视，集中管理的结构，在每个网段里放置基于网 络的入侵检测引擎，同时对于重要的服务器放置h i d s 。再通过远程管理功能 在一台管理站点上实现统一的管理和监控。这种分布式的入侵检测结构，结合 了h i d s 和n i d s 这两种检测器的优点，弥补了彼此的不足。可进行更全面的 入侵检测。 2 2 2根据检测方法分类4 胴 1 误用检测 误用入侵检测技术收集非正常操作的行为特征。建立相关的特征库，当监 测的用户或系统行为与库中的记录相匹配时，系统就认为这种行为是入侵。 这种检测方法的特点是收集非正常操作即入侵行为的特征，建立相关的特 征库，在后续的检测过程中，将收集到的数据与特征库中的特征代码进行比较， 得出是否入侵的结论。这种方法与主流的病毒检涣0 方式基本一致。当前系统基 本上采用了这种模型。 图2 1 误用检测模型 误用检测需要对入侵的特征环境次序以及完成入侵的事件间的关系进行描 述，这样误用检测不仅可以检测出入侵行为，而且可以发现入侵的企图。 对于误用入侵检测系统来说最重要的技术问题有：如何全面描述攻击的特 征以及在此基础上的变种方式；如何排除其他带有干扰性质的行为减少误报率。 7 误用检测可分为专家系统、按键监视系统、模型推理系统、状态转换分析 系统、模式匹配系统等 2 异常检测 异常入侵检测方法主要来源于任何人的正常行为都是有一定规律的，并且 可以通过分析这些行为产生的日志信息，总结出这些规律，而入侵和滥用行为 通常情况下与正常行为存在严重的差异，通过检查出这些差异就可以检测出入 侵行为。 图2 - 2 异常检测模型 对于异常检铡，需要考虑以下几个问题：选择哪些数据来表现用户的规律 性；如何有效地表示用户的正常行为；使用何种方法反映用户正常行为；怎样 学习用户的新行为；怎样羯断用户行为的异常。 异常检测可分为基于统计学方法、神经网络、基于数据挖掘等。 3 误用检测和异常检测的对比 误用检测的核心问题是对入侵行为进行模式提取，并试图建立一个尽可能 包含更多入侵行为模式的特征库，之后对所捕获到的事件进行分析匹配，以发 现与入侵模式库里模式相匹配的入侵行为：异常检铡的核心闯题是正常模式的 建立和异常判定标准的建立，先建立起正常的模式，之后对所捕获的事件进行 分析判定，看其是否己经达到异常的标准。 由于误用入侵检测系统主要根据己有的入侵特征模式进行检测，因此，这 种系统只能检测已经发现的入侵行为，而对于未知的入侵则几乎无能为力：相 反，异常入侵检测系统则试图发现些未知的入侵行为。 异常入侵检测系统的误报率是很高的，尤其是在用户数目众多或工作行为 经常改变的环境中；而误用入侵检测系统根据具体特征库进行判断，准确度要 好得多。 这两种技术可以有效地结合起来，优势互补，以实现对入侵事件更准确的 检测。比如可以把异常检测的输出作为误用检测特征库的更新输入来源，而误 用检测对入侵行为的判定也可以作为异常检测对异常行为判定的一个参考 3 2 3 通用入侵检测框架 通用入侵检测框架( c i d f ) 是一套规范，它定义了i d s 表达信息的标准语言 以及i d s 组件之间的通信协议【6 】符合c i d f 规范的i d s 可以共享检测信息， 相互通信，协同工作，还可以与其它系统配合实施统一的配置响应和恢复策略。 c i d f 的主要作用在于集成各种i d s 使之协同工作，实现各i d s 之间的组件重 用，所以c i d f 也是构建分布式i d s 的基础。 c i d f 将i d s 分为四个基本部件：事件产生器、事件分析器、响应单元、 事件数据库，结构如图2 3 所示。 事件 息 图2 - 3c i d f 体系结构 在这个模型中，事件产生器、事件分析器和响应单元通常以应用程序的形 式出现，而事件数据库则往往是文件或数据流的形式，很多i d s 厂商都以数据 采集部分、数据分析部分和控制台部分分别代替事件产生器、事件分析器和响 应单元。 c i d f 将i d s 需要分析的数据统称为事件，它可以是网络中的数据包，也 可以是从系统曰志或其他途径得到的信息。上述四个组件只是逻辑实体，一个 组件可能是某台计算机上的一个进程甚至线程，也可能是多个计算机上的多个 进程，它们以统一入侵检测对象( g i d o ) 格式进行数据交换。g i d o 是对事件进 行编码的标准通用格式，由c i d f 描述语言c i s l 定义，它可以是发生在系统 中的审计事件，也可以是对审计事件的分析结果。 事件产生器的任务是从入侵检测系统之外的环境中收集事件，并将这些事 件转换成c i d f 的g i d o 格式传送给其他组件。例如，事件产生器可以是读取 c 2 级审计踪迹并将其转换成g i d o 格式的过滤器，也可以是被动地监视网络 并根据网络数据流产生事件的另一种过滤器，还可以是s q l 数据库中产生事 件的应用代码。 9 事件分析器从其他组件收到的g i d o 进行分析，并将产生的新g i d 0 再传 送给其他部件。分析器可以是一个轮廓描述工具，统计性检查现在的事件是否 可能与以前某个事件来自同一个事件序列，也可以是一个特征检测工具，用于 在一个事件序列中检查是否有己知的滥用攻击特征。此外，事件分析器还可以 观察事件之间的关系，将有联系的事件分类到一起，以利于以后的进一步分析。 响应单元处理收到的g i d o ，并采取相应的措施，它可以是终止进程、切 断连接、改变文件属性，也可以只是简单的报警 c i d f 中的事件数据库负责g i d o 的存储，它可以是复杂的数据库，也可 以是简单的文本文件。 由于c i d f 有标准格式g i d o ，所以这些组件也适用于其他环境，只需要将 典型的环境特征转换成g i d o 格式，这样就提高了组件之间的消息共享和互通。 2 4 入侵检测系统架构 图2 4 是一个典型的i d s 架构。 作 图2 4 典型i d s 架构 数据采集模块从网络抓取网络数据包，传给入侵检测器进行检测，入侵检 测模块根据配置系统库和攻击模式库来对数据包进行检测，再由应急措施模块 根据检测结果做出反应。 本文主要讨论数据采集模块的数据流重组。基于数据流重组的数据采集模 块能够完整的恢复应用层数据，这是网络入侵检测系统进行协议分析、应用层 入侵分析的基础。 2 5 本章小结 本章介绍了入侵检测的概念以及i d s 的分类。i d s 可以从不同的角度进行 分类。从数据采集的来源来看，可分为基于主机的和基于网络的，前者主要采 集系统的审计日志，后者主要采集网络数据包因此前者能更加精确的判断入 l o 侵事件，但是会消耗主机资源。相比而言，后者操作代价低，能实时响应从 数据采集方法来分，可分为异常检测和误用检测。前者收集的是系统正常行为 的特征，而后者是收集入侵行为特征目前大多数的入侵检测系统都是采用误 用检测方式。 然后简单的介绍了通用入侵检测框架它定义了i d s 表达检测信息的标准 语言以及i d s 组件之间的通信协议。 最后给出了一个典型i d s 架构本文主要讨论的就是该架构中的数据采集 模块。 第三章i p 分片重组 进行数据流重组的首先要将i p 分片重组成一个未分片的分组i p 分片重 组过程是数据流重组的主要的工作，因此需要进行重点研究本章介绍了分片 重组的原理和几种针对分片攻击的手段。分析了现有的i p 分片重组算法，最后 提出了一种高效、安全的i p 分片重组算法 3 1 分片重组原理 对数据包进行分片原因有两种1 7 】： ( 1 ) 如果i p 层数据包长度超过了链路层m t u ，那么i p 层要将其分片，把 数据包分成若干片，使每一片的长度都小于m t u 。 ( 2 ) 在发往目的主机的路途中，分片还可能被中间的路由器继续分片，使其 长度适合新的m t u 。 当i p 数据包被分片后，每个片的总长度值要改为该片的长度。 分片和重组所需的信息保存在i p 首部中，如图3 1 所示： i 标志( 3b i t ) l标识( 1 6b i t )分片偏移( 1 3b i t ) i 0 l d f 圈3 - 1i p 首部分片信息 标识字段：发送端i p 数据包标识字段是一个唯一值，该值在分片时被复制 到每个片中。 标志字段r ：保留未用。 标志字段d f ：不分片位，若置位，则i p 层将不对数据包分片。 标志字段m f ；更多的分片，除了最后一片外，其他每个组成数据包的分 片都要把该比特置位。 分片偏移字段：该分片偏移原始数据包开始处的位置。偏移的字节数是该 值乘以8 ，所以除最后一个分片外，其他分片的数据长度都是s 字节的倍数。 3 2 分片攻击 数据采集是进行入侵检测的第一步，其重要性是显而易见的，它直接影响 了入侵检测系统的准确性、可靠性和效率。如果采集数据的时延太大，系统很 可能在检测到攻击的时候就已经造成无法挽回的后果。如果数据不完整，系统 的检测能力就会大打折扣。如果数据本身不正确，系统就无法检测某些攻击 很可能造成不堪设想的后果。当前很多入侵者会利用i p 分片的技术来逃避单包 检测，并利用i p 分片对进行重组的i d s 进行攻击，所以分片重组技术已经成 1 2 为了i d s 中的关键技术之一但是由于分片重组算法过于复杂，其中也存在一 些安全问题，所以容易被黑客利用进行网络攻击而分片攻击是属于拒绝服务 攻击的一种，是最容易实施，并会造成可怕后果的一种攻击手段 3 2 1 拒绝服务攻击 9 1 【1 1 1 拒绝服务攻击( d o s ) 是指造成被攻击服务器或系统无法提供给合法用户服 务的攻击方式。随着攻击手段的不断升级，d o s 攻击方法也不断的在改进，目 前常用的拒绝服务攻击方式有以下几种： 1 一般拒绝服务攻击 其主要的攻击方式有： ( 1 ) i p 欺骗，迫使服务器把合法用户的连接复位，影响合法用户得连接。 ( 2 ) 使服务器的缓冲区溢满，无法接受新的请求。其攻击手法主要有利用 t c p i p 协议进行的t c pd o s 攻击，如s y nf l o o d 攻击、l a n d 攻击、 t e a r d r o p 攻击；利用u d p 服务进行的u d pd o s 攻击，如u d pf l o o dd o s 攻击：利用i c m p 协议进行的i c m pd o s 攻击，如p i n go f d e a t h 攻击、 s m u r f 攻击等。 2 分布式拒绝服务攻击( d d o s ) 基本原理与d o s 相同，只是这种攻击是从成百上千个不同的i p 地址发送 的，而不同与d o s 的仅仅只是从某个地址发出。因此那些建立在检测从单个地 址发出攻击数据包的入侵检测机制会失效，因为d d o s 的攻击是有可能来自于 四面八方。 3 分布式反射拒绝服务攻击( d r d o s ) 利用网上的无辜的主机作为攻击的跳板发送攻击数据流的一种d d o s ，这 种方式就称之为反射。d r d o s 攻击可以将攻击数据流放大，并且会使用多种攻 击方式来阻止过滤检测，因此提高了追踪源攻击地址的难度。 3 2 2l i n u x 分片重叠处理 i p 分片经常被用来作d o s 攻击，典型的例子便是t e a r d r o p 和j o l t 2 ，其原理 都是利用发送异常的分片，如果操作系统的内核在处理分片重组时没有考虑到 所有的异常情况，将可能引向异常的流程，造成拒绝服务。所以，在分片重组 中，正确的处理分片重叠非常重要。 我们首先研究一下l i n u x 在处理分片重叠时的办法。代码主要在i pd e f r a g 中，首先要遍历链表，定位此分片的位置，具体就是给p r e v 和n e x t 两指针赋 上正确数值，然后处理与前面的重合代码如下： w ef o u n dw h e r et op u tt h i so n e c h e c kf o ro v e r l a pw i t h + p r e c e d i n gf r a g m e n t ，a n d ，i fn e e d e d ，a l i g nt h i n g ss ot h a t a n yo v e r l a p sa r ee l i m i n a t e d ， i f ( ( p r e y1 2n u l l ) & & ( o f f s e t e n d ) ) i = p r e v - e n d - o f f s e t ； o f f s e t + = i ：p t ri n t od a t a g r a m p t r + 2i ：p t ri n t of r a g m e n td a t a 。 紧接着处理与后面分片重叠，代码如下： 严l o o kf o ro v e r l a pw i t hs u c c e e d i n gs e g m e n t s + i fw ec a nm e r g ef r a g m e n t s ，d oi t ， f o r ( t m p 2 n e x t ；t m p ! = n u l l ；t r a p = t f p ) ( t f p 2 t m p - n e x t ； i f ( t m p - o f f s e t = e n d ) b r e a k ；i n oo v e r l a p sa ta l l | i = e n d - n e x t - o f f s e t ；，o v e r l a pi s i b y t e s ， t m p - l e n 一= i ：，+ s or e d u c es i z eo f ， t r a p o f f s e t + = i ：pn