（系统工程专业论文）基于决策树的协议分析在入侵检测中的应用研究.pdf

大连理工大学硕士学位论文 摘要 随着网络的不断发展，安全问题越来越多，原有的防火墙已经难以单独保障网络的 安全，入侵检测系统( h 曲l s i o nd e t e l c t i s y s t e m ) 开始发挥出不可替代的作用。当前大多 数入侵检测产品使用的多是基于规则的简单模式匹配技术，它们存在着资源消耗量大， 误报率高以及随着网速的提高而出现丢包等问题。为了提高检测效率和降低误报率，本 论文提出了一种基于决策树的协议分析入侵检测系统。应用了协议分析技术，根据协议 的高度规则性，将检测空间降低为单个的域以减少搜索空间提高检测效率；同时利用决 策树能生成模型并具有预测能力的特点，用决策树算法进行检测模型的构建；将决策树 算法和协议分析技术有机地结合起来，用于入侵检测。本文研究了协议分析中比较前沿 的应用层协议分析方法，利用决策树构建入侵检测决策树模型，并通过将捕获的网络数 据在入侵检测决策树上进行遍历来实现入侵检测。最后通过实验证明系统具有较高的检 测率、检测效率和可用性。 论文共分四部分。首先是文献综述和问题提出。然后，建立了协议分析模块，主要 包括预处理和应用层协议分析两个部分。预处理阶段包括i p 分片重组和t c p 流重组。 对应用层协议，主要针对 r i v r p 、s m t p 、f t p 三种常用协议进行了分析。接下来，描 述了决策树算法的选择及决策树算法结合协议分析在入侵检测中应用，包括入侵检测决 策树的数据结构、决策树的建立过程、剪枝过程以及用决策树进行入侵检测的过程。最 后，是系统实现与测试。在对基于协议分析和决策树算法的入侵检测系统的系统结构设 计进行描述之后，利用k d dc u p 9 9 和m i td m 冲a 两种权威的专门用于入侵检测的测 试数据对检测准确率、效率、可用性及直观性进行了测试，记录了测试结果。实验证明 系统具有较高的检测准确率、效率和较好的可用性。 关键词：入侵检测；协议分析：决策树 基于决策树的协议分析在入侵检测中的应用研究 r e s e a r c ho np r o t o c o la n a l y s i sb 船e do nd e c i s i o nt r e ei i li n t m s i o n d e t e c t i o n a b s t r a c t w i 也t h ep r o g 陀s so fn e t w o r k 辩c l l r i t ) rp f o b l e m sb e c o m em o 他趾dm o i ci i 】1 p o i 僦 h o w e v e r ，t l l et r a d 避伽i a ls 钟嘶t yd e v i c e 丘地w a r ei s 吼曲l et 0d e 如1 c en e t w o f ka l o n e 姗i o nd e t e c t i o ns y s t e mp l a y s 趾i m p o r t a 呲r o l ei ns u p p o r t i n g 右r ew a l l t h es i m p kp a 壮e n m 砒c 】b i n g 妣h n o l o g yi sl l s e di 1 1m o s td s 删u c t s h o w m r i tl l a s 也ep i d b l e i i lo fl o w e 街c i c y 跹d h i 曲僦a l 蛳r 咖i no r d c rt os o l v el h ep m b l e m ，t l 弛a i t i d ep i i ff o r w a r dt h e i d e ao fu s i n gd e c i s i o n 仃e et or e a l i z ei n 打吣i d e t e c 廿o ns y s t 锄b 船e do np l 咖c o la n a l y s i s p r o t o c o la n a l y s i st e c b d m o g yi sl l s e dt or 。d l l t h es 疵hs p ei n t os i l l g l ea r c aa c c o r d i n gt 0 t h er e g u l a r i 辟o f t h ep m t o c o l s 1 1 1 ef b r e c a s ta b i l i 锣o f 也ed e c i s i o nn m o d e lt l 斌c o n s 咖础d b yd e c i s i o n 仃e em e t h o di su d i l lo t h e rw o r d s ，d i s i o n 协m 如o d 蛆dp i 0 t o c o la m d y s i s t e c h n 0 1 0 9 ya r ec o 1 b 血dt of e a l i z ei n t r 岫i o nd e t e c t i o n n em c 也o do fa p p l i c 撕o nl a y e r p r o t o c o la n a l y s i st e c h n o l o g y 趾du s i n gd e c i s i o n 仃e em 础0 d t 0c c 咀s t n l c ti n 协膪i d e t e c t i o n m o d e la r c 【p l o r e d t h ep r o c e s so fi n t n 塔i o nd e t e a 畦o ni s 陀a l i z e db y 仃孙7 e r s i n g 也ed i s i o n 心a tl a 瓯也et h e s i sp r o v e s 血eh i g h c ra c c u r a c ya n dh i g h 盯e m c i e n c yo ft h em 毹h o d t b r o u g he x p 钉i m e n t s t kt h c s i si sd e v i d e di n _ t of b l l rp a r t s t h eb a c kg r o u n go f 血e 咖i o nd e t e c t i o nr c s e a r c h ， t h ec a t e g o r y 锄dd 吼，c l o p m e n to ft h ei n 加l s i o nd e t e c t i o n ，f h cl a t e s tr 髓e a r c h e sa 士h 锄e 姐d a t ，0 a r d 姐dt h ee 】【i s 吐n gp m b i e m si ni i l 仃峙i o nd e t e c 6 0 na md i s c l l s s e di nt h e 丘r s tp 砒t h e n 恤 o b j e c d v e s 髓dm e 山o d sa r ed e d b e d i nt i l e c o n dp a n ，f h ei 皿l p l e m e n t a t i o no fp r o t o c o l 锄a l y s i si sd e 刚b e di nd “l _ f i 硎y ，也cp r e p f o s sm o 删ei s 砌d l 戍d t h e n 也e p 眦o c o l so fl h ea p p l k a t i o n1 a y e r 棚屯a n a l y z e ds p e c i f i c a u y a tl a s t ，s o m ea 蹦b u t e sb 黔o do n s 蜥s t i c sa r e 西v e no m i nt h et l l i 砸p a n t h ec o n c 嘶ep m c e s so f 璐i i 培d e c i s i o 心t or c a l 汝 i i l 臼m i o nd e t e c 石o nb 髂e do np r o t o c o l 姐a l y s i si sd e s c r i b e d i ti n c l u d e st 1 1 es 由l c t i l r e 姐d c o n s ：仃l 埘o np r o c e s so f i n 打岫i o nd e t e c 6 0 nd e c i s i o n 廿e e 柚dt h ed e t e l c 廿o np r o c e s so f l l s i i l g 也e d e c i s i o n 订e e i n t h e f o u r t h p a r t ，也e 鲫c b i t e c t u r e0 f t h e d s i s p i 删证m eb e g i d n i n g t h e n 廿l ec x p 豳c n t sp r o v et h a tt l l es y s t e mh 鹳h i g hd 武e 甜o ne 伍c 毋，t h ed e t e c t i o na c c u r a c y 姐d t l ：屺l l s a b i l 畸 k 呵w o r d s ：i n t m s i o nd e t e c t i o n ；p m t n ia n a b 僵i s ；d i s i o nt n e 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：盟日期：! 幽 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名： 导师签名： 礴桶 宇唧秋 堕年上月丑日 大连理工大学硕士学位论文 1 绪论 1 1 研究背景 随着计算机网络的不断普及以及相关技术的不断发展，越来越多的企业、政府和个 人在开放的互联网上开展业务、获取信息，得到了极大的方便。但是在给公众带来巨大 方便的同时，其安全问题带来的巨大损失已成为互联网发展的一个瓶颈问题。虽然近年 来网络安全越来越得到关注，但网络入侵的种类越来越多，技巧越来越复杂。始终在明 处抵挡外来攻击的防火墙难以抵挡黑客针对防火墙的防不胜防的手段翻新，以及很多来 源予网络内部攻击，使得原有的防火墙越来越难以单独保障网络的安全，构成了极大的 安全威胁。为更全面的保护网络不受攻击，入侵检测系统( h l 廿i o nd e t e c t i o ns y s t e m ) 已 经开始在信息安全领域发挥出不可替代的作用。 入侵检测技术是一种主动保护网络免受攻击的信息安全技术。作为防火墙的合理补 充，入侵检测技术能够帮助系统对付网络攻击，扩展了系统管理员的安全管理能力( 包 括安全审计、监视、攻击识别和响应) ，提高了信息安全基础结构的完整性，是目前信 息安全领域的一个重要研究内容。 入侵检测系统根据其检测数据来源分为两类：基于主机的入侵检测系统和基于网络 的入侵检测系统。基于主机的入侵检涮系统从单个主机上提取数据( 如审计记录) 作为 入侵分析的数据源，而基于网络的入侵检测系统从网络上提取数据( 如网络链路层的数 据帧) 作为入侵分析的数据源。基于网络的入侵检测系统是通过对网络进行监听来实现 数据提取，要进行实时监听和分析所有流经同一以太网网段的流量通常需要将网卡设置 为混杂c p r a r n i s c u o u s ) 模式。基于网络的入侵检测系统通过数据包捕获模块将数据帧捕获， 然后经过数据包分析模块决定是被丢弃还是传送给攻击识别模块。由于基于网络的入侵 检测方式具有较强的数据提取能力，因此目前很多入侵检测系统倾向于采用基予网络的 检测手段来实现。 在入侵检测系统的发展过程中，从基于单机日志分析l 】向基于网络的嗅探分析发 展，之后为了适应网络规模的伸缩性逐渐向分布式入侵检测发展，人们在不断的尝试将 各种技术用到入侵检测当中，如将免疫原理应用到分布式入侵检测领域以提高入侵检测 系统的适应能力1 2 j ；将信息检索技术引入到入侵检测系统中提高数据分析能力；近年来 的很多技术如智能代理、数据挖掘、机器学习等技术都在入侵检测中得到了很好的应用， 大大推动了对入侵检测系统的研究。 基于决策树的协议分析在入侵检测中的应用研究 1 2 入侵检测研究概况 1 2 1 入侵检测研究历史与现状 1 9 8 0 年，j a m e sp 加出r n 第一次系统阐述了入侵检测的概念，他将入侵行为分为 外部渗透、内部渗透和不法行为三种，还提出利用审计数据监视入侵活动的思想，从此 揭开了入侵检测的研究序幕【3 】。 1 9 8 7 年，d o r 0 也ye d 曲n i n g 首次将入侵检测的概念作为一种计算机系统安全防御 问题的措施提出f 4 j 。 1 9 8 8 年，t e r e s a l u n t 等改进了d 锄协g 的入侵检测模型，开发出实时入侵检测专家 系统i d e s m l t m s i o nd e t e c t i o ne x p e ns y s t e m ) ，并提出了与平台无关的检测思路，后来， 他们又在此基础上开发出了下一代入侵检测专家系统n d e s ( n ( t - g 叻c r a t i o n 舢i o n d e t e c t i o ne x p e r ts y s t c m ) ，在异常检测特征分析方面迈出了重要一步。 1 9 9 0 年是d s 发展史上的又一分水岭，加媸大学戴维斯分校的l t h e b e r l e m 等提 出了一个新的概念：基于网络的入侵检测n s m ( n 曲 ，o r ks e a u 衄m o n i t o r ) 。该系统第 一次直接将网络数据流作为数据来源，以前的i d s 都将主机记录文件作为审计来源，因 而可以在不将审计数据转换成统一格式的情况下监控主机，从此以后，i d s 形成两大阵 营：基于网络的d s 和基于主机的d s 。 自9 0 年代以来，d s 研发呈现出百家争鸣的繁荣局面，在智能化和分布式两个方 向取得了很大的进展。1 9 9 4 年，普渡大学的e u g ehs p a 偷r d 等推出了适用于大规模 网络的分布式入侵检测系统舢蟠m ( a u f o n o m o l l sa g e m sf o r 岫i o nd 咖c t i o n ) ；1 9 9 6 年， 加州大学藏维斯分校开发出g r d s ( g 硪p h - b a s e di 曲1 i s i o nd e t e c t i o ns 筘t e m ) ，将入侵检测 扩展到大型网络中：同年，m g o r yb w h i t e 等又提出了c s m ，解决了分布式环境下检 测代理之间的协同合作，从而均衡各实体的工作负荷；1 9 9 7 年，s r i ，c s l 继推出i d e s 和n i d e s 之后，又着手研发入侵检测系统e m e r a i ，d e n tm o n i t o 血ge n a b l i n g r e s p o n 船t oa j l o m a l o u sl i v e d i s t u r b 撇s ) 。在此期间，数据挖掘、人工免疫、信息检索、 容错等技术也渗透或融合到了d s 中，从而将1 d s 的发展推向了一个新的高度。 9 5 年以后开始出现一些入侵检测的产品，到目前入侵检测系统得到了长足的发展， 出现一些技术比较成熟的产品。其中比较有代表性的产品有i s s 公司的r e a i s e c u r e 【5 】， c i s c o 公司的n 甜h n g d 6 1 ，n a l 公司的c y b e r e o p 和s y m 锄t e c 公司的n 甜r o w l e 等。有 名的开放源代码的系统还有s n o r t _ l ，它是一个强大的轻量级的两络入侵检铡系统。国内 对入侵检测的研究与开发开始于9 0 年代末。比较有代表性的有天融信网络安全技术有 限公司的“冰之眼”网络入侵侦测系统，东软集团有限公司开发的n e t e y e i d s2 o 网络 大连理工大学硕士学位论文 入侵检测系统等。国内对入侵检测的研究起步晚但已认识到入侵检测的重要性，呈现蓬 勃发展的局面。 1 2 。2 网络入侵检测的分类及技术 网络入侵检测系统主要分为异常检测和误用检测两种。异常入侵检测系统的检测引 擎的常用技术有统计分析、预测模型生成、神经网络技术等。误用检测系统的检测引擎 的常用的技术有专家系统技术、特征分析技术、p 咖网分析技术、状态转移分析技术等 i 钔。 n ) 异常检测唧 异常检测的假设基础是任何入侵行为都能通过它偏离正常或所期望的系统和用户 的活动规律而被检测出来，其优点是完整性高，对合法用户越权行为的检测能力大大提 高，但有虚警性高的缺点。 异常检测的常用技术有： 统计方法 统计方法是产品化的入侵检测系统中常用的方法，是一种成熟的入侵检测方法，它 使入侵检测系统能够学习主体的日常行为，将那些与正常活动之间存在较大统计偏差的 活动标识称为异常活动。 预测模式生成 此技术试图基于己发生的事件来预测未来发生的事件1 1 0 1 。与纯粹的统计方法相比， 它增加了对事件顺序与相互关系的分析，从而能检测出统计方法所不能检测的异常事 件。这一方法首先根据已有的事件集合按时间顺序归纳出一系列规则，在归纳过程中， 随着新事件的加入，不断改变规则集合，最终得到的规则能够准确地预测下一步要发生 的事件。 神经网络法 神经网络法的基本思想是用给定的n 个动作训练神经网络，然后用训练好的神经网 络去预测用户的下一个命令。这个预测过程也就是神经网络将实际的用户命令与已出现 在网中的用户特征进行匹配，那些统计差异较大的事件则被标志为非法。使用神经网络 的优点是【1 1 j 它可以很好地处理噪声数据，因为它只与用户行为相关，而不依赖于对任何 低层数据特性的统计；但同样有入侵者能够在其学习阶段训练网络的问题。 ( 2 ) 误用检测f 1 2 】 误用检测建立在对过去各种已知入侵方法和系统缺陷的知识积累上，先建立一个包 含上述信息的数据库，然后在网络活动信息中找与数据库项目相匹配的网络数据。其优 基于决镱树的协议分析在入侵检测中的应用研究 点是有较低的虚警率和较高的准确性。误用入侵检测缺点是需要收集所有已知脆弱信息 及时更新数据库，而搜集所有脆弱信息并不容易；同时误用检测方法很难检测内部用户 滥用权限的行为，因为该行为并未利用任何系统缺陷。 误用检测的常用技术有： 简单模式匹配 基于模式匹配的检测模型将检测问题转化为模式匹配阀题，系统的审计记录被视为 抽象的事件流，入侵行为检测器被视为模式匹配器。 目前多数商业化的入侵检测产品都采用简单模式匹配，其特点是原理简单、扩展性 好、检测效率高、可以实时检测，但只能适用于比较简单的攻击方式，并且误报率高n 习。 该方法对己知行为特征敏感，而对未知入侵或攻击，由于缺乏相应的模式与之匹配而造 成漏报。简单模式匹配虽然性能上存在很大问题，但由于系统的实现、配置、维护都非 常方便，因此得到了广泛的应用。著名的网络人侵检测工具s n 矾就采用了这种检测方 式。 专家系统。 专家系统是最早的入侵检测方法之一。被许多经典的入侵检测模型所采用。它将有 关入侵的知识转化成删撇l 结构的规则，i f 部分为入侵特征，m e 部分是系统防范措施。 专家系统的建立依赖于知识库的完备性，知识库的完备性又取决于审计记录的完备性与 实时性【1 4 1 。入侵的特征抽取与表达是入侵检测专家系统的关键。 状态转移分析技术 状态转换分析最早由i 乙k 钮眦黜提出，状态转移分析是用高层状态转移图来表示 和检测已知攻击模式的误用检测技术。状态转移图中节点表示系统的状态，弧线代表每 一次状态的转变。所有人侵者的渗透过程都可以看作是从有限的特权开始，利用系统存 在的脆弱性f v 吐眙r a b i l m e s ) ，逐步提升自身的权限。正是这种共性使得攻击特征可以使 用系统状态转移的形式来表示，在每个步骤中，攻击者获得的权限或者攻击成功的结果 都可以表示为系统的状态。状态转移分析技术的典型代表是s n 汀及u s t a tf s ，r a t 的 u n i ) 【版本1 【”j 。 1 2 3 网络入侵检测发展方向 随着网络的规模、流量的扩大，复杂性的提高以及，入侵手段的越来越多元化和综 合化，网络入侵检测面临着更大的挑战。面对越来越多的问题，网络入侵检测的发展方 向主要有i l 州： 大连理工大学硕士学位论文 n ) 引进应用层入侵检测的研究。目前的d s 仅能检测很少的应用层协议，而许多 入侵的语义只有在应用层才能理解。 ( 2 ) 高速网络环境下的入侵检测。目前重点研究干兆网下的入侵检测技术，而在高 速网络环境下进行入侵检测是一个迫切需要解决的课题。 ( 3 ) 入侵检测新技术、新方法的研究。入侵方法越来越多样化与综合化，现有的入 侵检测技术已经远不能满足要求。目前，智能化检测的相关技术如神经网络、数据挖掘、 模糊技术和免疫原理等等已引起m s 学术界的广泛关注，相信智能入侵检测将是一个有 良好应用前景的领域。 ( 4 ) 分布式、协作式入侵检测技术和通用入侵检测体系结构的研究。 1 2 ，4 基于协议分析的入侵检测 f 1 ) 协议分析方法的引进 简单模式匹配技术因为其具有的易扩充、简单、符合c d f 规范等特点而被大多数 入侵检测系统所采用。国内送检的入侵检测产品中大多数是使用这种基于简单模式匹配 技术的网络入侵检测系统。但是采用简单模式匹配技术的入侵检测系统的检测计算量巨 大，漏报率和误报率都较高。随着网络的发展简单模式匹配检测技术的缺陷也越来越明 显 m 。其缺陷主要有以下三点： 支持这种算法的计算量巨大。对于满负载的1 0 0 m b p s 以太网，需要的计算量将 是攻击特征字节数数据包字节数每秒的数据包数x 数据库的攻击特征数。这是一个很 大的数字，随着网络的发展，流量的增加以及攻击种类的增多，将会导致丢包等问题， 带来了巨大的安全隐患。 简单模式匹配技术只能进行糖确匹配，因而导致漏报率高。模式匹配特征搜索 技术使用固定的特征模式来探测攻击，它只能探测出明确的、唯一的攻击特征，即便是 基于最轻微变换的攻击串都会被忽略。正因为它不能智能的判定这些模式的真正意图， 导致了对有变种的入侵行为的漏报。 简单模式匹配方法仅靠强力在整个数据包有效载荷内进行特征串匹配，会导致 误报率高。例如只有在某个特定域内出现某特征串时才是入侵，而在整个数据载荷内进 行匹配时，如果在特征串以外的地方匹配到此特征串，虽然这种情况下此数据包不是入 侵，但系统仍然会警报，因此造成较高的误报率。 协议分析方法可以有效解决简单模式匹配技术的上述缺点因而基于协议分析入侵 检测系统被称为是继模式匹配后的第三代入侵检测系统。 ( 2 ) 协议分析入侵检测的定义和优势 基于决策树的协议分析在入侵检测中的应用研究 协议分析技术是一种利用网络协议的高度规则性进行快速探测攻击的技术，简单来 说就是让i d s 能够读懂协议，知道在数据包的什么位置能够得到什么内容，并且判断出 这些内容的含义。 协议分析技术的优势在于： 高性能。协议分析技术因为依托网络协议的规则性，引导搜索数据包明确特定 的部分而不是整个有效载荷，减少了搜索空间，因而能对网络数据进行高速的分析处理。 减少正误判。协议分析技术将搜索空间由整个数据载荷降低为单个的域，确保 特征串的实际意义被真正理解，因而避免了在其它地方查找到特征串引发的正误报。例 如可以通过检测状态码中是否含有代表f o r b i d d e n 的“4 0 3 ”来发现是否有未授权访问网 页【l 剐，然而简单模式匹配方法则可能在非状态码的其他域内搜索到“4 0 3 ”，于是将正 常数据判断为入侵数据导致正误判。基于协议分析技术的入侵检测则只会在规定的域内 进行检测，解决了这个问题，降低了正误判率。 探测碎片攻击和协议确认。在基于协议分析的i d s 中，各种协议都被解析，如 果出现球分片设置，数据包将首先被重装，然后通过详细分析来了解潜在的攻击行为。 由于协议被完整解析，这还可以用来确认协议的完整性。 t 2 5 基于数据挖掘的入侵检测 ( 1 ) 基于数据挖掘的入侵检测研究现状 数据挖掘是一个从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘所需 知识的过程。它是知识发现概念的深化，是人工智能、机器学习与数据库相结合的产物。 它是一项通用的技术，其本身的技术含量完全体现在算法上。 到目前为止已经有一些研究将数据挖掘技术应用于入侵检测中，目的在于对海量的 安全审计数据进行智能化的处理，提取出入侵检测感兴趣的内客。目前将数据挖掘应用 于入侵检测主要有两个方向：一个是通过数据挖掘来发现入侵的规则、模式，然后与模 式匹配检测方法相结合利用这些挖掘出来的规则特征来进行入侵检测；另一个方向是用 于异常检测，用数据挖掘方法来找出用户的正常行为，创建用户的正常行为库。 在这些研究方中，比较有代表性的是美国哥伦比亚大学入侵检测研究小组提出的基 于数据挖掘的实时入侵检测技术。其主要思想是提取描述网络连接和主机会话的特征 值，用数据挖掘程序产生某些规则，利用它能准确捕捉到入侵模式或正常活动轮廓。这 些规则可以用于误用检测和异常检测。在实验部分，他们用使用“砌p p e r ”分类算法 研究了系统调用数据的采样，用一个较小的规则集合来描述正常数据的模式特征，在监 控时，违反这些特征的序列被视为异常【19 】【2 0 】。 大连理工大学硕士学位论文 国际上在这个方向的研究很活跃，多数得到了美国国防部高级研究计划p a j 冲a ) 、 国家自然科学基金( n s f ) 的支持。目前应用数据挖掘的滥用检测系统有：j a m ( j a v a a g e n t f o rm 晚a l 哪血曲，m a d a 缸d o 曲】i n ga u d i td 砒af o r 觚锄砒e dm o 酣s 蛔i n t 九l s i o n d 咖t i o n l 基于审计数据挖掘的智能入侵检测等：基于数据挖掘的异常检测系统主要有： a d a m ( a u d i td a 协a n a l y s i sa n dh l i n i n g ) ，i d d n 叼h 蜘塔i a nd e t 吐o nl l s i i 培d a t am 岫g ) 和e b a v e s 等。这些系统中大多应用关联规则、序列规则和分类算法。 决策树的发展现状及应用到入侵检测中的优势 决策树方法是数据挖掘中分类方法的一种。在现有的研究中将决策树方法引入入侵 检测的研究主要是用已有规则微为讽练数据来构造决策树口l l 。也就是利用决策树在效 率上的优势对原有规则进行优化的。将决策树方法引入入侵检测的研究中的比较有代表 性的有s n o r t n 产1 ，s n o m n g 的设计者打破传统恩想，在规则组织过程中首次放弃线性 链表的方法而采用决策树的方法，利用决策树来对规则集合进行组织分类。这种方法在 规则匹配过程中引入了芽行处理的机制，使得检测速度有所提高。因此，s r t n g 检测 引擎的设计者希望把它作为发展下一代s n o r t 技术的检测引擎。s n o m n g 中把所有的规 则组成一个大的规则集合，依据一些不同的规则选项属性对规则集合进行划分，在规则 选项属性的选择上采用信息熵的概念，具有相同属性值的规则被划分到同一规则子集 中，这种划分将在各子集中重复进行直到每个子集只包含一条规则或再没有可进行划分 的选项属性。对规则集进行划分获得规则子集的过程可以用一棵决策树来表示。 决策树方法应用到入侵检测中的优势有： 决策树是数据挖掘中分类算法的一种，它有数据挖掘的自动挖掘特征的特点， 能够减少人工消耗，并且有较商的准确率。 决策树算法中对测试节点的属性选择选用基于信息、熵等概念的选择标准，这 些标准在选择属性过程中会选择使决策树总体上更简单更有效率的属性放在离根更近 的位置上。确保了生成决策树是一个优化的模型。从而提高了决策树的检测效率。 根据决策树的树形特点，用生成的决策树模型进行分类预测的过程就是对决策 树中一条从根到叶节点的匹配过程，相对于对每条规则逐一进行搜索的规则匹配，减少 了运算量，提高了效率。 基于决策树的协议分析在入侵检测中的应用研究 1 3 课题研究的目的和内容 1 3 1 研究的内容 本文针对基于模式匹配的入侵检测方法中的运算量巨大，难处理高速网络，高误报 率和漏报率等问题，提出基于决策树和协议分析的入侵检测的设计和实现方案。本文主 要的研究内容是决策树方法和协议分析技术在入侵检测中的应用。 协议分析技术由于可以解决简单模式匹配技术所存在的问题而发展起来，被称为是 继模式匹配后的第三代入侵检测系统。目前对协议分析尤其是应用层协议分析实现和涉 及具体实现方法的文献很少。对协议分析技术和其具体实现方法的研究具有一定的应用 价值和理论意义。而决策树算法利用它效率较高等优点可以与协议分析技术相结合实现 一个高性能，低误报率的误用网络入侵检测系统。 本文具体的研究内容如下： ( 1 ) 对应用层的协议进行了分析。提出基于这些应用层协议的属性以及属性提取方 法。 ( 2 ) 由于决策树算法是对基于“属性值”格式的数据的挖掘，而预测过程与通常 入侵检测系统引擎还有很大的不同，如何将决策树应用于入侵检测中以及决策树在入侵 检测系统中的位置和作用都是需要研究的问题。 ( 3 ) 数据处理。将以二进制压缩格式的后缀为“t 叩d 啪p ”原始数据经过底层协议 解析，p 重组，t c p 流还原，应用层协议分析，最后转化为a s c 码的以“属性值” 形式的训练数据和测试数据。 ( 4 ) 基于决策树和协议分析的入侵检测系统的设计和实现。 1 3 2 要解决的问题及面对问题采用的方法 本论文要解决问题及解决办法为： ( 1 ) 由于模式匹配方法的持续所需的计算量巨大，随着高速网络的出现，基于模式 匹配的入侵检测往往不得不丢弃3 0 到7 5 的数据流量，这造成入侵检测系统的一个很 大漏洞。本文利用协议分析技术和决策树方法的结合来解决这个问题。协议分析技术通 过依托网络协议的高度规则性，引导搜索数据包中特定的部分而不用对整个数据载荷进 行搜索，减少了搜索空间；又由于用决策树模型进行检测的过程只是从根节点到叶节点 的匹配过程，而不用对整个决策树进行遍历，降低了匹配次数，运算量大大减少，有较 好的检测效率。因而基于决策树和协议分析的入侵检测能对网络数据进行高速处理。解 决了丢包等问题。 大连理工大学硕士学位论文 ( 2 ) 现有大部分模式匹配方法不具备智能判定模式的真正意图，因而不能处理变种 等问题，最终导致误报率高。针对入侵检测系统的误报问题，本文利用协议分析技术将 搜索空间降低为单个的域，确保特征串的实际意义被真正理解，降低了误判率。 ( 3 ) 目前入侵检测的只针对低层协议和极少数应用层协议的解码，本论文针对应用 层协议的理解和解码检测能力，将接收的网络通讯解码还原，进一步提高了准确率和效 率。 从系统总构架来看，本入侵检测系统属于误用入侵检测系统。它建立在对过去各种 己知入侵方法和系统缺陷的知识积累上，先建立一个包含上述信息的训练数据库，通过 训练建立决策树，再捕获数据包通过遍历匹配决策树实现对入侵和非入侵的预测，从而 达到入侵检测目的。 本入侵检测引擎所用的分析技术为数据挖掘中的决策树方法和协议分析的结合。首 先建立一个包含上述信息的训练数据库，通过对训练数据进行训练，生成入侵检测决策 树。决策树的作用相当于典型误用检测系统鼬o n 中的规则库。然后将捕获数据包在入 侵检测决策树上进行遍历匹配，根据到达的叶节点的所属分类将其预测为入侵或非入 侵，从而达到入侵检测目的。其中遍历决策树的过程在整个系统中的作用相当于s n o r t 中的简单模式匹配过程。 协议分析技术的应用是使用决策树方法创建检测模型和进行检测的前提。通过协议 分析才能形成生成决策树所需的“属性值”形式的数据。决策树方法是对协议分析后 的数据的进行检测的具体实现。协议分析技术和决策树方法的结合代替常用的简单模式 匹配技术，解决了简单模式匹配技术出现的问题，有较好的性能。 1 4 论文结构 本文共分五章，按以下结构进行论述： 第一章“绪论”。绪论部分首先在分析安全现状的情况下引入入侵检测，然后介绍 了入侵检测的历史与现状、分类、技术和发展方向；之后，在介绍应用最广的入侵检测 技术简单模式匹配技术及存在的问题时引入协议分析技术：然后详细的介绍协议分 析及数据挖掘应用到入侵检测中的优势及研究现状：最后提出了论文的研究内容，要解 决的问题及面向问题采用的方法。 第二章“协议分析”。介绍了协议分析模块中的预处理模块和应用层协议分析模块。 预处理阶段包括口分片重组和t c p 流重组；对应用层协议主要针对 r r r p 、s m t p 和 f t p 协议进行分析。 基于决策树的协议分析在入侵检测中的应用研究 第三章“入侵检测决策树”主要是决策树算法的选择及结合协议分析在入侵检铡中 应用，包括入侵检测决策树的数据结构、决策树的建立过程、剪枝过程以及用决策树进 行入侵检测的过程。 第四章“系统实现与测试”。首先，对基于协议分析与决策树算法的入侵检测系统 的结构设计进行了描述；然后论文利用了两种权威的专门用于入侵检测的测试数据对检 测准确率、效率、可用性及直观性进行了测试，记录测试结果。通过实验证明系统具有 较高的检测准确率、效率和较好的可用性。 第五章“结论与展望”是对整个论文的总结以及对以后工作的展望。 大连理工大学硕士学位论文 2 协议分析 协议分析是在数据包捕获之后和用决策树模型进行检测之前进行的数据处理过程。 本论文中协议分析分为低层协议解析、预处理和应用层协议分析三个部分。预处理包含 球分片重组和t c p 流还原两部分。图2 1 显示了整个协议分析的过程。 图2 1 协议分析过程 f g 2 1t h ep r o c e s s0 f p m l d c o l 蛳a l y s i s 基于决镱树的协议分析在入侵检澳忡的应用研究 2 1 t c p i p 协议模型 协议分析利用各层网络协议的高度规贝| j 性，根据检测钓具体需要直接提取需要的域 值，减少了搜索空间，可以大大减少匹配的数据萤，因而有较高的效率。对协议的结构 的理解是协议分析的基础。 t c m p 协议族是互联网的基础，它由应用层、传输层、网络层和链路层等四个层次 所组成【2 4 矧。通常将鼹络层称为谬层，作为网络中通信主机独立操作的第一层。传输 层为实现进程间的网络通信提供支持，它包含传输控制协议f r c p ) 和用户数据报协议 代d p i 两个协议。这两种协议各有特点，在计算机网络通信申郡缛到了广泛的应甩。 应用层协议中的帅、f 1 p 、t e i 小旺t 和s m t p 协议都运行在可靠的t c p 协议中； 1 p 、s n l 心、n f s 和d n s 等协议应用层协议采用了高效的叻p 协议作为传输层 协议。协议族分层如图2 2 如下所示闭。 图2 2h 、p ，伸协议蕨及分层 f i g 2 2t c p ，口p f 鼬d c o l 证筑dl a y e f s i 应用层 传输层 两络屡 链路层 在数据发送时，用户数据是从高层到低层逐层进行封装的；在数据接收时，接收的 数据按h ：p 口协议模型从低层向高层逐层进行分解【2 7 1 。如果我们要检测通信中是否存 在攻击，需要在了解协议封装过程及格式的基础上对嗅探器捕获的数据进行逐层分解。 首先，根据以太网的帧格式的定义可知在以太帧的第1 3 和1 4 字节处是网络层协议标识， 如果此标识的值为0 8 0 0 则表示网络层为口协议。然后，根据p 数据报格式的定义可知 第l o 个字节为传输层协议标识，它标识了该口数据报的上层协议，域值0 6 表示传输 大连理工大学硕士学位论文 层为t c p 协议、域值1 1 表示u d p 协议。之后，对t c p 或u d p 数据包进行解码，t c p 或u i ) p 头部的应用层协议域标识该数据包的应用层协议。t c p 数据包的第3 和4 字节 为应用层协议标识( 端口号) ，域值8 0 表示应用层协议为 r r r p 协议，域值2 1 表示 f r p 协议，域值2 3 为t e u 咂t 协议。最后，我们可以利用应用层协议的格式来实现应 用层协议的分析。以 r r r p 报文为例，数据的封装及分解过程如图2 3 所示。 j 用户数据 k 数据段_ - i l 矿r p 协议头 用户数据 l _ m u r p- 分 解 封 装 p 二2 0 以太网 | + 一 以太网一 图2 3 数据包的封装及分解过程 f i g 2 3d a t ap k c t 衄c a p 咖拍舡l dd e c o d ep r o c e s s 2 2 预处理 预处理作为整个协议分析的一部分是在低层协议解析之后，应用层协议分析之前进 行的。根据入侵检测的需要对已经低层协议解码过的数据包进行必要的预处理，以方便 对进一步进行应用层协议分析和解决入侵检测中的一些问题。 预处理模块主要由p 分片重组和t c p 流还原两个部分组成。数据包在传输过程中 受到网络最大传送单元m t l j ( m a ) 【i i n u m 吣矗暑r 岫i t ) 的限制，疋数据报可能会分为若干 个分片，正常的网络通信中系统的t c p m 软件会对皿分片进行重组。而入侵检测系统 捕获的是链路层数据，并未进行p 分片重组，有经验的攻击者就会利用网络的这一特 性，把一个攻击放在若干个分片中，绕开系统的检测，达到其攻击的目的。因此，有必 要对p 分片进行重组。攻击者还可以通过将攻击特征码分布在一个t c p 连接的多个t c p 基于决镱树的协议分析在入侵检测中的应用研究 报文中来逃避入侵检测系统的检测。另外攻击者还可以利用丁c p 协议的复杂性，例如 利用备种操作系统对t c p 报文段的重叠处理方式不同来逃避入侵检铡系统的检测- 因 此正确的实现t c p 流还原也十分重要。 2 2 1i p 分片重组 l p 协议是t c p 月p 协议族中最为重要的协议它提供了无连接数据包传输和网际路 由服务嘲。口数据层传送的数据单元叫做数据报口d a l a l 辩m ) ，格式如图2 4 所示。 l 啦版车4 位首部长度8 位罪番粪坠n o s )i 啦盖蕞) 鬻 i 1 6 扔陆识3 f i 销 1 墟片偏嚣 8 位生磊时闻( 竹l 】8 锄议 l 啦：首虢鞋和 椎崖谭i p 地址 固誉 f盘目舡p 地址 i 董顶曲果有) 璐 圈2 4i p 数据报的格式 f i 舀2 4 1 1 1 e f o m 娜o f l pd 日曲倒瑚 r 1 1i p 分片重组原理 由于数据报在传输过程中受到网络虽大传送单元m r u 的限制，当i p 层接收到一 份要发送的口数据报时，都要对此数据报进行路由选则并获得其m t u ，根据这个m r u 和教据报的长度，决定是否对数据报进行分片。在传输过程中，分片后的数据可能会再 进行分片，直到数据包到达目的地后才由口层完成重组。 发送口数据报的主机为每个数据报生成一个唯一的值来标识一个数据报。分片软 件在进行分片时，给同一个数据报的每个分片赋予这个唯一的标识值，让目标主机知道 每个到达的数据报分片属于哪一个数据报。目的主机通过数据报分片的标识字段及源地 址来识别数据报。 i p 数据报分片由标识( i d 衄d 6 h o n ) 、分片标志伊l a g s ) 和分片偏移口m 蛐to 缸c t ) 字段控制，如图2 5 所示。标识由1 6 位组成，分片标志由3 位组成，分片偏移由1 3 位 组成，其中d e n t i f l c a t l 0 n 标识从源主机发出的数据报。当数据报离开源主机时 这个标志与源i p 地址唯一的定义这个数据报。当数据报被分片时，标识字段就复制到 所有分片中，也就是所有分片具有相同的标识数即原始数据报的标识数。在目的端便将 大连理工大学硕士学位论文 具有相同标识数的分片组装成一个数据报。r f 是保留位。d 1 7 ( d on o t 细g m 肋t ) 是不分片 位，用于控制此数据报是否分片。m f o n 0 鹏姆删是还有分片位，此字段的值为1 时 表示本分片不是原始数据报分片中的最后一片，还有更多分片；若值为0 ，表示是最后 一个分片或是唯一的分片。f r a g m e n to f f s e t 是分片偏移量表示这个分片在整个 数据报中的相对位置，也就是在原始数据报中的数据的偏移量，以8 字节为度量单位。 比特：0 1 61 71 81 93 1 图2 5i p 分片控制 f i g - 2 5 i p s p l j t c o m h 蜘 ( 2 ) i p 分片重组的实现 i p 分片重组模块接收已到达最终目的地的数据报分片，对被分片的坤数据报进行 重组，其中未分片的数据报看作是仅有一个分片的数据报。球协议是无连接的协议，不 能保证分片都按顺序到达，而且一个数据报的分片可能与另一个数据报的分片混杂在一 起。为了分清这些任务并有效的将口分片重装起来，本文用重装链表和分片链表来实 现。 重装链表是一个双向链表。它的每一个节