（通信与信息系统专业论文）基于netfilter机制的智能协议识别技术研究与实现.pdf

武汉理工大学硕士学位论文 摘要 随着互联网的迅速发展，网络安全问题也日益严峻。黑客通过i m 网络协议 截取隐私、传播病毒，以p 2 p 技术为核心的网络应用占用了大量网络带宽。另外， 企业员工利用网络在工作时间进行大量与工作无关的网络访问，影响企业生产。 因此，识别以及封堵这些网络应用，是当前网络安全迫在眉睫的紧要任务。 传统的防火墙使用的协议识别方法主要是使用了基于端口识别协议和基于 静态特征识别协议两种方式。随着网络应用的发展，越来越多的网络协议使用 不确定端口并且使用安全加密技术等，使得特有的静态特征无法有效的提取。 这些都给协议的准确识别带来了困难。基于以上原因，本课题提出了一种能够 对端口不确定且无有效静态特征的协议进行准确识别的更为先进的协议识别技 术智能协议识别技术，并在此基础上设计并实现一个基于n e t f i l t e r 机制的智 能协议识别系统。本文的具体研究工作如下： ( 1 ) 提出了一种智能协议识别模型。该模型不仅针对那些进行安全加密的 协议能够准确识别，同时对于一般仅通过端口或静态协议识别就能够识别出来 的协议也使用，能够达到对网络应用协议全面覆盖的识别能力，具有很强的扩 展性能。 ( 2 ) 基于上面提出的模型，设计了一种智能协议识别算法，该算法针对端 口不确定且无明显静态特征的协议，结合使用端口特征、协议静态特征和协议 交互行为特征三种特征算法进行协议识别。 ( 3 ) 基于上面提出的模型与算法，设计并实现了一个基于l i n u x 平台下的 n e t f i l t e r 机制的智能协议识别系统，为了获得更高的效率，该系统在协议识别的 基础上对数据进行连线跟踪，并采用模块机制，使得该程序运行在内核空间便 于安装和卸载。 ( 4 ) 对该系统进行具体的试验验证，能够实现对特定的网络应用协议( 如： w e b m a i l 、s k y p e 等) 进行封堵控制，对目前难识别的网络协议s k y p e 应用， 能够通过前十个数据包就能够识别出来，有效防止了深度包检测，提高了防火 墙的性能。 通过实际测试，该系统运行效果显著，具有良好的使用和推广价值。 关键词：n e t f i l t e r 机制，协议识别，协议一般静态特征，协议行为特征， 协议识别状态机 武汉理工大学硕士学位论文 a b s t r a c t 助伤t h er a p i dd e v e l o p m e n to fi n t e r a c t ，n e t w o r ks e c u r i t yh a sb e c o m em o r ea n d m o r es e v e r e h a c k e r sg e tp r i v a c ya n ds p r e a dv i r u s e sb yi mp r o t o c o l sa n dn e t w o r k a p p l i c a t i o n sw h i c h u s ep 2 pt e c h n o l o g ya st h ec o r et a k eu pal o to fn e t w o r kb a l l d w i d t l l i na d d i t i o n , t h ee m p l o y e e si nt h ec o r p o r a t i o nt a k et o om u c ht i m et od oo t h e rt h i n g s d u r i n gw o r k i n gh o u r st h r o u g hi n t e m e t , w h i c h a f f e c t st h en o r m a lp r o d u c i n ga c t i v i t yo f c o r p o r a t i o n t h e r e f o r e ，i ti si m p o r t a n tt oi d e n t i f ya n db l o c k i n go fs u c hn e t w o r k p r o t o c o l s c o n v e n t i o n a lf i r e w a l li d e n t i f i e sp a c k e t sp r i m a r i l yb yu s i n gp o r tb a s e do r p a y l o a db a s e di d e n t i f i c a t i o n w i t ht h ed e v e l o p m e n to fn e t w o r ka p p l i c a t i o n s ，m o r e a n dm o r en e t w o r kp r o t o c o lu s e su n c e r t a i np o r ta n ds e c u r ee n c r y p t i o nt e c h n o l o g y , w h i c hm a k i n gu n i q u es t a t i cc h a r a c t e r i s t i cc a nn o tb ee f f e c t i v e l ye x t r a c t e d a l lt h e s e m a k ei td i f f i c u l tt oa c c u r a t e l yi d e n t i f y f o rt h ea b o v er e a s o n s ，t h i si s s u ep r e s e n t st h e m o l ea d v a n c e dp r o t o c o lr e c o g n i t i o nt e c h n o l o g y - i n t e l l i g e n tp r o t o c o lr e c o g n i t i o n t e c h n o l o g yt h a tc a ni d e n t i f yt h o s ep r o t o c o l sa c c u r a t e l y a n db a s e do nt h ea b o v e p r o p o s e dt e c h n o l o g y , t h ep a p e rd e s i g n sa n di m p l e m e n t sa ni n t e l l i g e n tp r o t o c o l r e c o g n i t i o ns y s t e mb a s e do nn e t f i l t e ri nl i n u xk e r n e l s p e c i f i cs t u d i e sa r ea sf o l l o w s ： ( 1 ) t h i sp a p e rp r e s e n t sa ni n t e l l i g e n tp r o t o c o li d e n t i f i c a t i o nm o d e l t h em o d e l c a l li d e n t i f yn e t w o r kp r o t o c o la c c u r a t e l y , n o to n l yi n c l u d i n gt h o s ew h i c hc a l t yo u t s e c u r i t ye n c r y p t i o n , b u ta l s oi n c l u d i n gt h o s ew h i c hc a l lb ei d e n t i f i e db yg e n e r a l i d e n t i f i c a t i o nm e t h o d s t h em o d e lh a sg r e a te x t e n s i o np e r f o r m a n c ea c h i e v i n gf u l l c o n v e r g eo fn e t w o r ka p p l i c a t i o np r o t o c o lr e c o g n i t i o nc a p a b i l i t y ( 动b a s e do nt h ea b o v ep r o p o s e dm o d e l ，t h i sp a p e rd e s i g n sa ni n t e l l i g e n t p r o t o c o lr e c o g n i t i o na l g o r i t h mf o rt h ep r o t o c o lu s i n gu n c e r t a i np o r ta n dm a k i n gn o u n i q u es t a t i cc h a r a c t e r i s t i c ，w h i c hi d e n t i f yp r o t o c o lc o m b i n e sp o r t ，p r o t o c o ls t a t i c c h a r a c t e r i s t i c sa n db e h a v i o r a lc h a r a c t e r i s t i c so ft h r e ek i n d so ff e a t u r e sa l g o r i t h m ( 3 ) b a s e do nt h ea b o v ep r o p o s e dm o d e la n da l g o r i t h m ，t h ep a p e rd e s i g n sa n d i m p l e m e n t sa ni n t e l l i g e n tp r o t o c o lr e c o g n i t i o ns y s t e mb a s e do nn e t f i l t e ri nl i n u x 武汉理工大学硕士学位论文 k e r n e l i no r d e rt oa c h i e v eg r e a t e re f f i c i e n c y , t h es y s t e mi d e n t i f e sp r o t o c o lb a s e do n t h ed a t ac o n n e c t i o nt r a c k i n g t h i ss y s t e mu s e st h em o d u l em e c h a n i s m ，s ot h a ti tc a l l m a k et h ep r o g r a mi n s t a l la n du n i n s t a ui nk e r n e ls p a c ee a s i l y ( 4 ) t h r o u g ht h es p e c i f i ct e s tv e r i f i c a t i o n ，t h es y s t e mi sa b l et oa c h i e v eb l o c ka n d c o n t r o las p e c i f i cn e t w o r ka p p l i c a t i o np r o t o c o l ( s u c h 嬲：w e b m a i l ，s k y p e ，e t c ) f o r t h ec u r r e n td i f f i c u l ti d e n t i f i e dn e t w o r kp r o t o c o l - s k y p ea p p l i c a t i o n , t h es y s t e mc a l l i d e n t i f yi tt h r o u g ht h ef i r s tt e np a c k a g e s ，w h i c he f f e c t i v e l yp r e v e n t st h ed e e pp a c k e t i n s p e c t i o ni no r d e rt oi m p r o v et h ep e r f o r m a n c eo ft h ef i r e w a l l a m _ r o u g ht h ea c t u a lt e s t , o p e r a t i n gr e s u l to f t h es y s t e mi so b v i o u s ，s oi t sw o r t ht o e m p l o ya n dp o p u l a r i z e k e yw o r d s ：n e t f i l t e r ；p r o t o c o lr e c o g n i t i o n ；p r o t o c o lg e n e r a lc h a r a c t e r i s t i c ； p r o t o c o lb e h a v i o rc h a r a c t e r i s t i c ；p r o t o c o lr e c o g n i t i o ns t a t em a c h i n e 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 武汉理工大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 签名：壹憋一一日期：竺竺羔l 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位论文的 全部内容编入有关数据库进行检索，可以采用影印、缩印或其他复制 手段保存或汇编本学位论文。同时授权经武汉理工大学认可的国家有 关机构或论文数据库使用或收录本学位论文，并向社会公众提供信息 服务。 ( 保密的论文在解密后应遵守此规定) 虢引鹤膨博一引獬卜嘴醐撕“川 武汉理工大学硕士学位论文 1 1 课题概述 1 1 1 课题的题目及来源 第1 章绪论 课题的题目：基于n e t f i l t e r 机制的智能协议识别技术研究与实现 课题来源：凹凸网络科技有限公司实习期间项目 1 1 2 课题研究的背景及目的 随着互联网的迅速发展和网络技术的日益成熟，全球范围内的网络互联， 给人们的生活和工作带来了极大方便，网络已经成为人们生活中不可缺少的部 分，它深深地渗透到人类社会的各个方面。由于i n t e m e t 的方便、快捷、交易成 本低等特点，通过网络信息系统在政治、军事、金融、文化、商业等进行的社 会活动带来了巨大的社会和经济效益，它成为了推动社会进步和经济发展的重 要因素。然而，在计算机网络在给用户带来了方便的同时，也带来了隐患。 互联网诞生之日起，网络中的病毒、入侵、欺骗、盗窃、抢劫就没有过片 刻的消停。伸向用户的黑手，正从电子邮件蔓延到m ( 即时通信) ，其类似于s a r s 的先隐蔽后爆炸的传播方式，使得脆弱的网络更是危机四伏。同电子邮件相比， i m 传播木马、蠕虫等病毒，更具隐蔽性，速度更快，受害面积更大【。一人中 招，在线的一群人都可能会跟着上当。随着i m 成为主流的通信工具，黑客通过 i m 截取隐私、传播病毒的犯罪行为愈演愈烈。据金山公司发布的( 2 0 0 9 年中国 电脑病毒疫情及互联网安全报告显示，2 0 0 9 年，计算机病毒和木马处于一个“低 调增长期”，虽然一些类似熊猫烧香的重大恶性病毒越来越少见，但一些小范围、 针对性强的新病毒、木马的数量依然在飞速增长。据金山毒霸“云安全”中心监测 数据显示，2 0 0 9 年，金山毒霸共截获新增病毒和木马2 0 6 8 4 2 2 3 个，与2 0 0 8 年 相比增加了4 9 4 o 【2 1 。因此必须立即开始着手建立正确的网络安全行为习惯，并 从源头上杜绝即时通讯的安全隐患。 与此同时，以p 2 p t 3 1 ( p e e r - t o p e e r ，端到端对等网络) 技术为核心的网络应用 已经深刻的影响了全球宽带服务的运营模式。据统计，目前p 2 p 应用流量已经 武汉理工大学硕士学位论文 占据了i n t e r n e t 总流量达8 0 以上，并且p 2 p 数据流量仍然在快速持续增长 4 1 。 p 2 p 技术的出现，带来网络带宽资源匮乏的问题，导致网络拥挤不堪。同时，还 可能会导致重大的网络安全问题，因为每个用户在p 2 p 交换中充当客户端获取 资源的同时又充当服务器向其它对等体提供服务，这样就可能在用户毫不知情 的情况下，产生网络安全问题。另外，网络盗版的主要方式就是对等网络共享 ( p 2 p ) 。而同时，p 2 p 应用范围不断扩大，对p 2 p 安全的要求不断提高，例如： e b a y 收购了s k y p e ，将p 2 p 应用到c 2 c ( c u s t o m e rt oc u s t o m e r ) 电了商务应用中。 这些问题都迫切要求我们在发展p 2 p 技术的同时，也能对其进行有效识别和控 制管理。 基于企业的需求，i n t e m e t 的接入的普及和带宽的增加，使得员工上网的条 件得到改善，然而同时也给企业带来更高的网络使用危险性、复杂性和混乱性。 在i d c ( i n t e r n e td a t ac e n t e r ) 对全世界企业网络使用情况的调查中发现，在上 班工作时间里非法使用邮件、浏览非法w e b 网站、进行音乐电影等b t 下载或 者在线收看流媒体的员工正在日益增加，令网络管理者头疼不已。据i d c 的数 据统计，企业中员工3 0 至4 0 的上网活动与工作无关，而来自色情网站访问 统计的分析表明：7 0 的色情网站访问量发生在工作时间。这些新时代的地下活 动正“高效率”地折损着企业的竞争力，正如理想中的企业网络化办公能高效率地 提升企业竞争力一样例。 综上所述，如何有效地解决这些问题，控制以及封堵此类协议，以便提高 员工的工作效率，降低企业的安全风险，减少企业的损失，已经成为中国企业 迫在眉睫的紧要任务。同时鉴于口网络面临十分严峻的网络安全形势，迫切需 要对网络中的“恶意”信息传播达到阻止甚至禁止。针对以上问题，能够准确地 识别i n t e m e t 上哪些数据包属于哪些网络协议对于网络管理员、研究员以及服务 提供商、用户都具有重要的意义，对网络协议识别技术的研究是解决这些问题 的关键。因此对该领域理论、方法和实现技术的探索，并开发相应的系统，是 一项具有重要理论意义和广泛应用前景的课题。本文所研究的基于n e t f i l t e r 机制 的智能协议识别技术正是基于这种背景下提出的。 1 2 国内外研究现状 自从互联网开始兴起时，国内外就对网络协议识别进行了大量的研究，已 经提出了多种网络协议识别算法。下面逐一作简单介绍： 2 武汉理工大学硕士学位论文 ( 1 ) 基于端口识别协议：在传统的网络协议识别中是基于端口号来进行协 议识别，其根据各个应用层协议在i a n a t 6 1 s h 注册的端u 1 号来标识协议，端口号 1 0 2 4 以前的端口都是在i a n a 中的标准端口，不允许随便更改。如h t t p 协议 使用8 0 端口，s s l 协议使用4 4 3 端口等等。 算法仅仅只能识别在i a n a 中注册端口号的协议，然而，现在新出现的协 议都不在i a n a 中注册端口。在某些情况下，服务器的端口是动态分配的。 例如目前流行的p 2 p 下载软件( b t 、e m u l e 等) 。目前还存在另外一种现象， 那就是p 2 p 应用开始使用一些其他常规服务的默认端口号，比如用8 0 端口来 伪装为自己的功能端口。这些都使得原有的基于端口识别协议的准确性已经 低于5 0 【j 7 1 ，算法的错误率高于正确率，使得基于端口识别协议的方式越来越 具有局限性。 ( 2 ) 基于静态特征识别协议【8 烈o 】：为了提高识别的准确性，出现了很多研 究利用协议静态特征匹配方式识别应用层协议，并且目前绝大部分厂商所研发 的协议识别的设备也均采用此类算法。这种方法依据于提取的该类协议在交互 过程中不同与其他任何协议字段的协议静态特征，并建立该协议的静态特征 库作为识别的依据。在识别的过程中，该类算法检查数据流中每个数据包t c p 首部之后或u d p 之后的负载部分，若匹配到某种协议的特征，则将该数据流 记录为相应的协议。 这种协议识别方式，能够识别出使用多个连接、动态端口进行通信的协 议。但它仅仅是针对于某些通用的具有明显静态特征的协议，女i b t 、f t p 等。 然而，随着网络应用技术的日渐成熟，越来越多的应用软件不再具备明显的 静态特征，如s k y p e 协议也会使用h 哪协议( 8 0 端口) ，这样仅从数据包当中 很难区分是s k y p e 应用还是普通的h t t p 服务。此外，很多的i m 软件使用了安 全加密技术，使得特有的静态特征无法有效的提取，如s k y p e 、q q 等等。这 些都给协议的准确识别带来了困难。并且，这种静态特征匹配的识别方式需 要对每个数据包进行检查匹配，从效率上来说是不可取的。 ( 3 ) 基于流统计特性识别协议 1 1 , 1 2 , 1 3 l ：当前，基于流统计特性识别协议的 各种算法己逐渐成为研究的热点。该类算法利用协议规范的不同所造成的流统 计的差异区别各个协议。例如，p 2 p 流一般为长流大报文，而w e b 流一般为短 流小报文。 该类算法要根据已知的标准答案和新计算的流统计特征来将各个协议进行 武汉理工大学硕士学位论文 分类集合，使用这种分类的数据包集合来设计协议识别器，并按照某种算法判 别得出当前流所属的协议类型。基于流统计特性识别协议的算法虽然有很多优 点。但是，该类算法的研究还是很不成熟，当前所研究的算法都只能将数据流 分成几大类( 如：s i n g l ea n dm u l t i p l et r a n s a c t i o n ，i n t e r a c t i v et r a f f i c ，b u l kt r a n s f e r 等) ，没有真正达到识别协议的最终目的。 1 3 本文的主要工作 l i n u x 内核自从2 4 x 开始，就采用了基于n e t f i l t e r 机制的防火墙，代替了原 来的i p c h a i l l 。n e t f i l t e r 是l i n u x 内核中的一个数据包过滤框架，默认地，它在这个 框架上实现了包过滤、状态检测、网络地址转换和包标记等多种功能。n e t f i l t e r 的最重要的优点是它提供了一些编程接口供用户扩展或者定制自己的防火墙。 因为它设计的开放性，任何有内核开发经验的开发人员，可以很容易地利用它 提供接1 2 1 ，在内核的数据链路层、网络层实现自己的功能模块【1 4 , 1 s , 1 6 l 。本文提出 了一个基于n e 伍l t e r 机制的智能协议识别模型，它用来分析识别不同的网络应用 协议，并且能够根据用户需要，对用户指定的协议进行封堵控制，整个系统运 行在内核空间。 当前的应用层协议的过滤一般都是基于网关，而这些过滤机制一般也是基于 抓包拆包的分析技术。我们通过在l i n u x 内核中的n e t f i l t e r 机制可以得到实时的协 议数据进行协议匹配和查找【1 7 l 。因为，无论是使用w i n d o w s 下的抓包软件，还 是使用l i n u x 下的抓包软件l i b c a p 进行抓包分析，其获取的数据包信息都仅仅只是 对原始数据包的拷贝，而通过在n e t f i l t e r 机制得到的数据包都是实时的数据包， ，这也使得数据包过滤更加快速以免影响用户的使用。连线跟踪机制实现了根据 数据包的状态来检测数据包，它是通过数据包的历史关联性进行的过滤，而不 是将数据包看成孤立的数据包，这种方式将给防火墙带来更高的效率、更有力 的访问控制和更强的安全能力【1 8 ，1 9 删。 本文首先提出了智能协议识别模型，其中针对那些进行安全加密的通过传统 方式难以识别的网络应用提出了一种智能协议识别算法，在该模型能够达到准 确高效地对网络应用层协议进行识别。为了验证该模型，本文设计并实现了一 个基于n e t f i l t e r 机制的智能协议识别系统，该系统能够对网络协议进行准确高效 的识别，并且具有很强的可扩展性。本系统采用l i n u x 下的c 语言【2 1 】编写，系统 实现采用了模块机制以便在l i n u x 系统上安装与卸载。 4 武汉理工大学硕士学位论文 具体的说，本文的工作主要包含以下内容： ( 1 ) 对当前网络协议识别算法进行了分析，并指出了当前网络协议识别的 解决方案的不足以及面临的挑战。 ( 2 ) 提出了种智能协议识别模型。该模型不仅针对那些进行安全加密的 协议能够准确识别，同时对于一般仅通过端口或静态协议识别就能够识别出来 的协议也使用，能够达到对网络应用协议全面覆盖的识别能力，具有很强的扩 展性能。 ( 3 ) 基于智能协议识别模型，设计一种智能协议识别算法，该算法针对端 口不确定且无明显静态特征的协议，结合使用端口特征、协议静态特征和协议 交互行为特征三种特征算法进行协议识别。 ( 4 ) 基于上面提出的算法和模型，设计并实现了一个基于l i n u x 平台下的 n e t f i l t e r 机制的智能协议识别系统，为了获得更高的效率，该系统在协议识别的 基础上对数据进行连线跟踪，并采用模块机制，使得该程序运行在内核空间便 于安装和卸载。 ( 5 ) 对该系统进行具体的试验验证，对特定的网络应用协议( 如：w e b m a i l 、 s k y p e 等) 进行封堵控制。 本系统在多方面具有创新，具体如下： ( 1 ) 提出了一种智能协议识别模型，该模型既能够对端口不确定且无明显 静态特征的协议进行识别，又能够兼顾仅通过端口或静态特征就能判别的协议 进行识别，能够达到对网络应用协议全面覆盖的识别能力，具有很强的扩展性 能。 ( 2 ) 设计了一种智能协议识别算法，该算法针对端口不确定且无明显静态 特征的协议，提出了一种结合端口特征、协议静态特征和协议交互行为特征三 种特征算法的协议识别方式。 ( 3 ) 对目前难识别的协议s k y p e 应用，能够通过前十个数据包就能够 识别出来，有效防止了深度包检测，提高了防火墙的性能。 1 4 本文的组织结构 本文的主要内容是实现一个智能协议识别算法模型， 络应用加以管理和控制。论文具体安排如下： 第一章，绪论。主要介绍了本文的研究背景及意义， 5 从而能够有效的对网 网络协议识别算法的 武汉理工大学硕士学位论文 国内外研究现状和本文的主要工作，以及论文的具体安排。 第二章，智能协议识别模型与算法研究。提出了一种智能协议识别模型， 并依据该模型设计了一种智能协议识别算法，将网络应用的协议特征分为两大 类：协议一般静态特征和协议行为特征。该模型根据不同的协议特点设定不同 的协议识别状态机，以便对后续数据包的识别。 第三章，基于智能协议识别算法的协议识别系统设计。主要分析系统的整 体设计思路，对基于l i n u x 平台下的n e t f i l t e r 机镯 的智能协议识别系统进行详细介 绍。 第四章，智能协议识别系统实现与测试。在l i n u x 环境下，以w e b m a i l ( 1 6 3 1 2 6 邮箱和g m a i l 由g 箱) 和s k y p e 应用为例，通过对三种不同类别的协议特征进行具 体的协议识别分析，达到对该系统的实验验证。 第五章，总结和展望。总结了本文的研究成果，并根据设计实现过程中所 进行的思考，提出了目前系统还存在的不足之处，以及进一步工作的想法。 6 武汉理工大学硕士学位论文 第2 章智能协议识别模型与算法研究 2 1 智能协议识别模型 本课题构建一种通用的协议识别模型智能协议识别模型，如图2 1 所 示。通过该模型进行协议识别，不仅能够识别具有协议静态特征的大多数协议， 同时也能够对那些进行安全加密的协议进行准确识别。该模型能够对网络中的 协议进行全面管理控制，具有较强的可扩展性。 内核空间 识别出是一般协议 识别出是特殊协议 l j l 是是 网 网 卡 j 。向1 。乒般窃谈、否一一与面议狰为、否。l 识别不出是何i 。 卡 i1 阳踣戳诣。巴卜 r 、遗堡垩萝一， 。 7 、遗堡垩萝 7 1种协议厂7 o u n t 萋于前两个效对后续数据包 据包的识别的识别 图2 - 1 智能协议识别模型 智能协议识别模型对于一般协议仅通过基于协议一般静态特征过滤就能识 别出来，而对于那些通过安全加密端口不确定且又无明显静态特征的协议则继 续通过基于协议行为特征过滤的方式进行识别。具体情况如下： 基于协议一般静态特征过滤：对于可以达到快速识别的大部分协议采用 基于协议一般静态特征过滤的方式，只识别前两个数据包。 基于协议行为特征过滤：对于不能快速识别的，需要对后继包进行分析 处理的基于加密的难识别协议( g m a i l 、s k y p e 等) ，通过建立协议运行期间行为 状态模型作为协议行为特征，使该协议数据包进入基于识别状态的处理，针对 各类协议特点的不同，设计不同的协议识别状态机，符合进入协议识别状态机 条件的，则对协议状态进行匹配，直至可以判定结果或者超过系统所设定的检 查数据包个数的范围为止，识别结束。 7 武汉理工大学硕士学位论文 该模型不仅针对那些进行安全加密的协议能够准确识别，同时也兼顾具有 协议静态特征的大多数协议，能够达到对网络应用协议全面覆盖的识别能力， 具有很强的扩展性能。 2 2 智能协议识别算法 本课题采用基于协议报文跟踪的数据分析方法来提取应用层数据包有效载 荷的特征字串，以及协议交互过程的协议行为特征。选择协议特征所遵循的原 则是：在数据传输过程中重复出现且具有稳定形态，优先选择出现概率大的特 征字符串，同时考虑对识别精度和识别效率的影响，要求特征字符串长度应适 中瞄l 。在协议识别具体实现过程中，利用网络包分析工具软件w i r e s h a r k ，监控 和记录单独运行网络应用软件时的网络数据包跟踪数据，然后对这些数据包跟 踪数据进行统计分析。 在网络协议特征建立阶段，对于u d p 前两个包和t c p 三次握手后两个包就 能够准确识别协议的静态特征集合，直接提取其静态标识字段进行过滤识别， 亦即基于协议一般静态特征过滤。对于无法准确提取静态匹配特征的协议，进 行协议行为特征识别1 2 3 , 2 4 1 ，通过建立协议运行期间行为状态模型作为协议的协议 行为特征，亦即基于协议行为特征过滤。 下面将对这两种过滤方式的具体实现进行详细分析。 2 2 1 基于协议一般静态特征过滤 对于大部分的协议，各种协议在互相交互的时候自己也需要尽快识别是不是 属于自己的协议，因此，一般在协议头部需要有一个简单明确的特征指示自己 是哪种协议。在传统的协议识别中是基于端口号来进行协议识别，其根据各个 应用层协议在i a n a 中注册的端口号来标识协议，端口号1 0 2 4 以前的端口都是 在i a n a 中的标准端口，不允许随便更改。然而，现在的趋势是基于静态特征 识别协议，即提取的该类协议在交互过程中不同与其他任何协议字段的协议静 态特征进行协议识别，这和以前的i a n a 中注册的标准协议也不相冲突，现在 网络应用软件中自己定义的协议( 如大多p 2 p 协议) 运行的端口号都在1 0 2 4 以 上，所以基于端口识别协议和基于静态特征识别协议可以同时采用。 对于需要进行识别的网络应用协议的u d p 前两个数据包和t c p 三次握手后 8 武汉理工大学硕士学位论文 两个数据包，通过使用基于端口识别和基于静态特征识别的方法就能够准确识 别该协议的静态特征集合( 每一类协议一般有多个静态特征) ，将直接提取静态 标识字段进行过滤识别，对于这种过滤方式统一归纳为基于协议一般静态特征 过滤。 大部分协议，可以通过对首个数据包进行识别的方法识别出来。如果首个 数据包识别不出来，则将协议状态设置为l 7 一c h e c k 即需要对第二个数据包进 行识别，如果对第二个包进行识别后仍然识别不出来，则将该协议识别结果置 为u n k n o w n ，并将协议状态设置为l 7e n d ，且向硬件a c c e p t ，以后此条 连接的数据包不会再上本模块进行检测。 2 2 2 基于协议行为特征过滤 对于某些具有显著静态特征的数据包，但该包出现的位置不固定，可能是 在一次连接中t c p 三次握手后第三个数据包的位置，也可能是t c p 三次握手后 的第几十个数据包。如果直接对该静态特征码的数据包进行封堵，就要深入检 查每个数据包及其有效负载，这样将直接影响到防火墙的性能。 为了避免对数据包有效负载进行大量检查匹配，本系统通过建立协议运行 期间行为状态模型作为协议行为特征。本系统中的协议行为状态模型主要是基 于以下两种状态加以区分开的，如果在以后的识别中，又有新的状态，可以基 于不同的状态可以加以扩展。 ( 1 ) 基于t c p 标志的过滤 对于难以识别的特殊p 2 p 类网络应用软件( 如b t 、s k y p e 等) 的加密报文， 无法用普通手段识别出来，需要利用其“贪婪对等传输”【2 5 】的特点，结合t c p 标 志 2 6 1 ，如a c k 、p u s h 、w i n s i z e 和d a t a l e n ( 数据包长度) 、以及d i r ( d i r = i pc td i ro r i g i n a l 表示客户端“请求”，d 口r j i pc td i rr e p l y 表 示服务器“应答”) 等综合考虑，需要进行至少两个包的识别。对于第一个数据 包，如果系统协议识别结果为u n k n o w n 的，进入对其它协议的处理。在对其 它协议的处理中，根据特殊p 2 p 软件的t c p 标志等特征识别，如果符合该类特 殊p 2 p 的特征，则将该条连接中的数据流状态置为l 7p 2 pc h e c k ，然后等待 下一个包的识别；如果第二个数据包的识别结果仍然为u n k n o w n ，进入对其 它协议的处理，在对其它协议的处理中，再根据不同网络应用协议的t c p 标志 等特征识别，如果仍然符合该协议的特征，则识别出来是该协议，将协议状态 9 武汉理工大学硕士学位论文 置为l 7e n d ，并将系统协议识别结果置为该协议。以后的识别方法，可以从 l 7p 2 pc h e c k 的状态继续往下进行更多步骤的识别，以逐步区分那些需要进 行t c p 标志字段特征识别的类似的该特殊p 2 p 类网络应用软件，并进行相应的 协议识别。 ( 2 ) 基于标准s s l 协议的过滤 s s l 协议的过滤比较难以实现，对于采用标准s s l 协议【2 7 1 的应用，如果没 有夹杂一些私有特征，就没有方法实现封堵控制。目前s s l 协议的各种方法正 在研究中，有利用“c l i e n th e l l o ”命令的“c i p h e rs u i t e 字段进行协议识别，有利 用 a p p l i c a t i o nd a t a 命令的前两个字节特征进行协议识别，但是这都有误识别的 风险，在本系统中不采纳。本系统中采用预留一种l 7s s lc h e c k 的协议识别 状态。首先识别一条连接中的第一个数据包，识别出来如果是s s l 协议，则将 该条连接中的数据流状态置为l 7s s lc h e c k ，在目前没有其他识别方法的情 况下，将第二个包也识别不出来的且状态为l 7s s lc h e c k 协议的协议识别结 果置为u n k n o w n ，然后将协议识别状态置为l 7e n d 。以后的识别办法，可 以从协议状态为l 7s s lc h e c k 里继续往下进行更多步骤的协议识别，以逐步 区分那些使用标准s s l 协议的网络应用软件，并进行相应的协议识别。 下面将针对基于协议行为特征过滤的协议识别算法进行协议识别状态机的 设定以及协议识别状态转换做详细介绍。 2 3 智能协议识别状态机 2 3 1 协议识别状态规定 根据2 2 节所描述的两种协议过滤方式，定义协议识别状态有以下几种： l 7s t a r t 描述未被识别的协议状态； l 7 c h e c k描述对于普通第一个数据包未识别出来，需要继续识别第二 个数据包的状态； l 7 _ p 2 p c h e c k描述对于第一个数据包识别未识别出特征，但是从t c p 标志特征识别出有可能是特殊p 2 p 类协议行为特征的协议，需要进一步确认的 状态； l 7 s l _ c h e c k描述识别出第一个数据包是s s l 数据包，等待识别第二 个数据包的状态： 1 0 武汉理工大学硕士学位论文 l 7e n d描述协议识别结束的状态。 2 3 2 协议识别状态转换 根据设定的协议识别状态，下面详细描述了在本系统中对第一个数据包、 第二个数据包以及第n 个数据包的协议识别状态转换处理流程。 ( 1 ) 第一个数据包协议识别状态转换 第一个数据包协议识别状态转换示意图如图2 2 所示： 图2 2 第一个数据包协议识别状态转换示意图 当第一个数据包开始进入系统进行协议识别时，协议初始识别状态为 l 7 一s t a r t ，经过协议识别，会有几个分支： 武汉理工大学硕士学位论文 识别出是非s s l 的协议 将协议识别状态置为l 7 e n d 。表示通过系统进行协议识别，识别出是某种 一般协议，并打上协议标志，识别结束。 识别不出是何种协议 将协议识别状态置为l 7 一c h e c k ，数据包计数加一，根据t c p 标志识别是 否符合特殊p 2 p 类型特征，如果不符合则返回a c c e p t ，并使后继数据包仍然 上软件处理；如果符合特殊p 2 p 类型特征，则将协议识别状态置为 l 7 一p 2 pc h e c k ，仍然返回a c c e p t ，并使后继数据包继续上软件处理。 识别出是s s l 协议 将协议识别状态置为l 7 _ s s l - c h e c k ，仍然返回a c c e p t ，并使后继数据 包继续上软件处理。 此外，如果第一个数据包的初始协议识别状态不是l 7，则认为初始 状态错误，置协议识别状态为 。_startl7e n d ( 2 ) 第二个数据包协议识别状态转换 当第二个数据包进入处理时，协议初始识别状态会有三种不同情况，其议 识别状态转换示意图如图2 3 、图2 - 4 和图2 5 所示，其中图2 3 表示初始状态 为基于标准s s l 特征过滤的协议识别状态转换示意图，图2 - 4 表示初始状态为 基于t c p 标志特征过滤的协议识别状态转换示意图，图2 5 表示初始状态为其 它状态的协议识别状态转换示意图。对这三种不同情况的协议状态转换具体介 绍如下： 图2 3 第二个数据包协议识别状态转换示意图i 1 2 武汉理工大学硕士学位论文 图2 - 4 第二个数据包协议识别状态转换示意图i i 图2 5 第二个数据包协议识别状态转换示意图i i i 初始识别状态是l 7c h e c k 或l 7s s lc h e c k ( 如图2 3 所示) 此种情况对第二个数据包进行协议识别，如果识别不出是某种协议，自定 义协议识别状态s t a t u s ，返回a c c e p t ，并使后继数据包仍然上软件，使得方便 进行后续协议行为特征匹配扩展；如果识别出是某种协议，则打上协议标志， 识别结束，协议识别状态置为l 7e n d 。 初始识别状态是l 7p 2 pc h e c k ( 如图2 _ 4 所示) 此种情况首先还是对第二个数据包进行协议识别，如果识别出是某种协议， 则走识别出来协议的流程；如果识别不出来是某种协议，则需要根据t c p 标志 识别是否符合特殊p 2 p 类型特征，如果符合该类型特征，自定义协议识别状态 s t a t u s ，返回a c c e p t ，并使后继数据包仍然上软件，使得方便进行后续协议行 为特征匹配扩展；如果不符合该类型特征，则认为是识别不出来的包，识别结 束，将协议标识为u n k n o w n ，表示该条连接不能被表示为某种协议特征。 武汉理工大学硕士学位论文 初始识别状态是其他状态( 如图2 5 所示) 对于其它异常状态，则认为协议识别不匹配，置协议识别状态为l 7e n d ， 并打上u n k n o w n 字段，识别结束。 ( 3 ) 第n 个数据包协议识别状态转换 对于具有协议行为特征的协议，均可以按照其协议行为特征设定其固有的 协议状态，该状态可能是基于状态l 7 一s s l c h e c k 转换之后的自定义状态，也 可能是基于状态l 7p 2 pc h e c k 转换之后的自定义状态，或者是自定义状态之 后的其它自定义状态，都可以按照设定的状态机一步一步的按照其协议行为特 征进行相应的转换，直到能够识别出协议，或者超过系统所设定的识别数据包 的个数为止，协议识别结束。 2 4 协议特征升级方式 智能协议识别模型中，由于网络协议的种类繁多及其特征多样化，系统将 升级协议特征文件和升级协议状态切换的控制代码编码到一个源文件中 ( i p r 可以从升级中更新协议特征库，而且可以增加新协议识别状态以扩展新的协议 识别方式。 智能协议识别系统中，对协议特征的升级，就是对这个i p rs t a t u s c 源文件 进行升级。对该源