（计算机科学与技术专业论文）非默认端口网络协议识别系统的研究与实现.pdf

北京邮电大学硕士论文摘要 非默认端口网络协议识别系统的研究与实现 摘要 随着i n t e r n e t 的高速发展，互联网已成为国际化商业合作、信 息交互和新技术发展的最为重要的组成部分。而随着越来越丰富多样 的应用不断涌现，大大改变了互联网的流量结构和流量模式，使得网 络应用的分析面临着严峻的挑战。这样，网络应用分析的准确性将大 大影响网络流量的分析与预测结果。 然而，目前业界对网络业务分类技术的研究还远远不能赶上业务 发展的步伐。第一代网络协议识别技术通常是采用基于端口号的方法 进行的，由于当时的业务都能严格遵守i a n a 分配的端口号，因此基 于端口的识别技术既准确，又能满足实时业务分类的需要。但是随着 新业务的不断涌现，这些业务开始呈现伪装性和动态性的特征，此外， 这些业务也会采用用户白定义业务或动态端口。这样，原先基于端口 的协议识别技术就无能为力了。 本文作者在查阅和学习了t c p i p 协议栈、网络协议识别技术、 网络流量管理技术以及l i n u x 网络编程技术后，在原有协议识别技术 的基础上，提出了一套行之有效的非默认端口网络协议识别方案。主 要的研究内容如下： ( 1 )介绍和论述了网络协议的发展背景、网络协议识别工具的 发展现状以及非默认端口网络协议识别的意义。 ( 2 )针对f t p 协议、h t t p 协议、t e l n e t 协议和s s h 协议，提出 北京邮电人学硕七论文摘要 了有效的非默认端口识别方案，其中采用了全新的初始条件表和扩展 条件表的概念。 ( 3 )综合多种应用层网络协议识别方案的特点，提出了一套适 用于多种网络协议的非默认端口网络协议识别框架。 ( 4 )为了实现负载均衡的目的，本系统采用了一种灵活度高的 调度策略作为流量调度机制的雏形，旨在提高系统运行的效率和稳定 性。 ( 5 )在上述成果基础上，设计并实现了非默认端口网络协议识 别系统，此套系统具有协议识别准确率高、支持负载均衡、协议识别 方案可扩展性强、应用前景广泛等特点。 关键词：网络协议，非默认端口，协议识别，流量分析，f t p 协议 北京邮电大学硕士论文a b s t r a c r r e s e a r c ha n di m p l e m e n t a t i o no f n o n d e f a u i jp o r tb a s e dn e t w o r kp r o t o c o l i d e n t i f i c a t i o ns y s t e m a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n t e r n e t ，t h ei n t e m e th a sb e c o m et h e m o s ti m p o r t a n tc o m p o n e n tf o ri n t e r n a t i o n a lc o m m e r c i a lc o o p e r a t i o n ， i n f o r m a t i o ne x c h a n g ea n dd e v e l o p m e n to fn e wt e c h n o l o g i e s h o w e v e r , w i t ht h ei n c r e a s i n g l yd i v e r s ea p p l i c a t i o ne m e r g i n g ，i th a sc h a n g e dt h e s t r u c t u r ea n dp a t t e r no fn e t w o r kt r a f f i cd r a m a t i c a l l y , m a k i n gt h ea n a l y s i s o fw e ba p p l i c a t i o n sa r ef a c e dw i t hs e v e r ec h a l l e n g e s t h e r e f o r e ，t h e a c c u r a c yo fn e t w o r ka p p l i c a t i o na n a l y s i sw i l ls i g n i f i c a n t l ya f f e c tt h e n e t w o r ka n a l y s i sa n dp r e d i c t i o nr e s u l t s h o w e v e r , t h ec u r r e n tr e s e a r c ho fn e t w o r ka p p l i c a t i o ni d e n t i f i c a t i o n t e c h n o l o g yc a n n o t c a t c hu pw i t ht h ep a c eo fd e v e l o p m e n t f i r s t g e n e r a t i o nn e t w o r kp r o t o c o li d e n t i f i c a t i o nt e c h n o l o g yi su s u a l l yb a s e do n d e f a u l tp o r tn u m b e r b e c a u s em o s to fa p p l i c a t i o n sa tt h a tt i m ew e r e s t r i c t l yc o m p l i e dw i t ht h ei a n ap o r t n u m b e ra l l o c a t i o n ，p o r t b a s e d i d e n t i f i c a t i o nt e c h n o l o g yi sn o to n l ya c c u r a t e ，b u ta l s oc a nm e e tt h en e e d s o fr e a l t i m e a p p l i c a t i o nc l a s s i f i c a t i o n h o w e v e r , w i t ht h ec o n t i n u o u s e m e r g e n c eo fn e wa p p l i c a t i o n s ，t h e s ea p p l i c a t i o n sb e g a nt os h o wt h e c a m o u f l a g ea n dd y n a m i cc h a r a c t e r i s t i co f i na d d i t i o n ，t h e s ea p p l i c a t i o n s i v 北京邮电大学硕十论文 a b s t r a c t w i l lb eu s i n gs e l f - d e f i n e da n dd y n a m i cp o r t s t h e r e f o r e ，p o r t b a s e d p r o t o c o li d e n t i f i c a t i o nt e c h n o l o g yb e c o m e sp o w e r l e s s i nt h i st h e s i s ，a f t e rb r o w s i n ga n ds t u d y i n gt c p i pp r o t o c o l ss t a c k ， n e t w o r kp r o t o c o li d e n t i f i c a t i o nt e c h n o l o g y , n e t w o r kt r a f f i cm a n a g e m e n t t e c h n o l o g y a n dl i n u xn e t w o r kp r o g r a m m i n gt e c h n o l o g y , as e to f e f f e c t i v en o n d e f a u l t p o r t b a s e dn e t w o r k p r o t o c o l i d e n t i f i c a t i o n m e c h a n i s mi sp r o p o s e db a s e do nt h eo r i g i n a l p r o t o c o l i d e n t i f i c a t i o n t e c h n o l o g y t h em a i nr e s e a r c hc o n t e n t sa r ea sf o l l o w s ： ( 1 ) i n t r o d u c ea n dd i s c u s st h eb a c k g r o u n do fn e t w o r kp r o t o c o l s ， d e v e l o p m e n t s t a t u so fn e t w o r kp r o t o c o li d e n t i f i c a t i o nt o o l sa n d s i g n i f i c a n c eo fn o n - d e f a u l tp o r tb a s e dn e t w o r kp r o t o c o li d e n t i f i c a t i o n ( 2 ) p r o p o s ee f f e c t i v ei d e n t i f i c a t i o nm e c h a n i s m sf o rf t p , h t t p , t e l n e ta n dss h ，w h i c hu s e sn e wc o n c e p t so fi n i t i a lc o n d i t i o nt a b l e a n de x t e n s i v ec o n d i t i o nt a b l e ( 3 ) p r o p o s eas e to fn o n d e f a u l tp o r tb a s e dn e t w o r kp r o t o c o l s i d e n t i f i c a t i o nf r a m e w o r kb yi n t e g r a t i n gt h ec h a r a c t e r i s t i c so fs e v e r a l a p p l i c a t i o nl a y e rn e t w o r kp r o t o c o li d e n t i f i c a t i o nm e c h a n i s m s ( 4 ) a d a p tah i g h l yf l e x i b l es c h e d u l es t r a t e g ya st h ee m b r y o n i cf o r m o ft h et r a f f i cs c h e d u l em e c h a n i s m ，t oa c h i e v el o a db a l a n c i n g ，w i t hw h i c h i tc a ni m p r o v e dt h ee f f i c i e n c ya n ds t a b i l i t yo ft h es y s t e m ( 5 ) o nt h e b a s i so fa b o v er e s u l t s ，d e s i g na n di m p l e m e n ta n o n - d e f a u l tp o r tb a s e dn e t w o r kp r o t o c o li d e n t i f i c a t i o ns y s t e m ，w h i c hh a s v 北京邮电大学硕士论文 t h ec h a r a c t e r i s t i c so fh i g hi d e n t i f i c a t i o n r a t e ，s u p p o r t o ft r a f f i cl o a d b a l a n c i n g ，p r o t o c o li d e n t i f i c a t i o ns c h e m es c a l a b i l i t y , b r o a da p p l i c a t i o n p r o s p e c t sa n ds oo n k e yw o r d s ：n e t w o r kp r o t o c o l ，n o n - d e f a u l t p o r t ，p r o t o c o l i d e n t i f i c a t i o n ，t r a f f i ca n a l y z i n g ，f t pp r o t o c o l v i 北京邮电大学硕十论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：堕丛生日期： 型翌：主：丝 i 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被 查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、 缩印或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守 此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 喜命篓囊；二一 导师签名： ：生掣 适用本授权书。 日期：型坦：兰! 丝 e l 期：2 亿翌z ：兰：丝 北京邮电大学硕士论文第一章绪论 1 1引言 第一章绪论 随着互联网技术的迅猛发展，网络带宽不断提高，大量的计算机联入i n t e r n e t 网络，而且提供i n t e r n e t 服务的运营商也越来越多。为了能从经济效益出发，以 较小的投资为用户提供最大的便利，网络运营商必须了解用户对网络的访问情 况，从而调整网络设备架构和业务架构。当前的网络流量分析工具直接从业务级 入手，以流量统计分析为主，配合系统的安全管理及简单的流量告警管理，直接 为运营商提供所需信息。 网络的流量反映了网络的运行状态，是判别网络运行是否正常的关键数据。 通过这些数据不仅能反映出网络中硬件设备工作是否正常，而且往往能反映出整 个网络营运的资源瓶颈，这样运营商就可以根据网络的运行状态及时采取故障补 救措施和进行相关的业务部署。有了完善的流量告警管理系统，对该类影响生产 和业务的网络故障就能够及时预报、响应和指导解决，并提高网络的管理质量。 然而，对于网络应用层协议，目前的绝大多数服务器软件都提供了自定义应 用层协议默认端口的功能，导致网络上出现了大量非默认端口的应用层协议数据 包，这就使得网络服务提供商、网络环境监管部门和网络信息调查者无法得到真 实的系统的网络流量分析报告，为网络管理、资源优化和有效监管带来了困难。 1 2 课题研究内容及创新点 本课题提出了“非默认端口网络协议识别 的概念，旨在解决上述问题。首 先，本系统不会只根据网络协议的默认端口来识别网络协议，而是设计了更加先 进和准确的识别方案，即结合网络协议的自身特点、流技术和网络数据包的净荷 侦测技术来分析识别网络协议。第二，本系统具有协议识别方案的可扩展功能， 用户可以自定义协议识别方案。第三，本系统提供流量缓冲机制，用于降低在超 大规模流量环境下的网络丢包现象。最后，本系统提供简单的自定义调度策略， 可以实现协议识别主机的规模扩展，达到主机协同工作、提高协议识别效率的目 的。 北京邮电人学硕十论文 第一章绪论 1 3 本文组织结构 本文将首先介绍“网络协议识别的研究”，包括流技术简介、网络协议发展 现状、网络协议特点、网络协议识别技术的发展现状以及非默认端口网络协议识 别的意义。其次，本文将介绍“非默认端口网络协议识别方案的设计”，其中包 括h t t p 协议、f t p 协议、t e l n e t 协议、s s h 协议，并由此引出集成了部分协 议识别功能的应用层网络协议识别框架。接着，本文将介绍“非默认端口网络协 议识别系统的设计 ，包括系统总体设计和模块设计。随后，本文将会结合设计 思路描述“非默认端口网络协议识别系统的实现 ，包括了开发平台和开发工具 介绍、各个模块的数据定义和实现方法。最后，本文将给出“非默认端口网络协 议识别系统的实验结果与分析”。 2 北京邮电大学硕士论文第二章网络协议识别的研究 第二章网络协议识别的研究 2 1 网络协议简介 网络协议是网络上所有设备( 网络服务器、计算机及交换机、路由器、防火 墙等) 之间通信规则的集合，它规定了通信时信息必须采用的格式和这些格式的 意义。大多数网络都采用分层的体系结构，每一层都建立在它的下层之上，向它 的上一层提供一定的服务，而把如何实现这一服务的细节对上一层加以屏蔽。一 台设备上的第1 1 层与另一台设备上的第1 1 层进行通信的规则就是第r l 层协议。 在网络的各层中存在着许多协议，接收方和发送方同层的协议必须一致，否则一 方将无法识别另一方发出的信息。网络协议使网络上各种设备能够相互交换信 息。 2 2 流技术及n e t f l o w 技术简介 流( f l o w ) 指的是两个节点之间数据包的单向序列( 也就是说，对每一个连 接会话都有两个流，从服务器到客户端的和从客户端到服务器的) ，流可以用下 面几个关键域进行标识：源i p 地址，目的p 地址、源端口、目的端口、协议类 型、服务类型、路由器输入接口等。无论什么时候路由器收到数据包，都要查找 这几个域，然后再做出决定：如果该数据包属于已经存在的“流 ，则相应流的 流量值增加；否则，将创建一个新的流。与“流相关的属性值( 如源目的地 址、包数、字节数等) 反映了在起止时间内发生的事件。一个流的起止时间是固 定的，终止时间随着流的延续而增长。通常我们关心的流记录分类依据由一个五 元组( 即源地址、目的地址、源端口、目的端口和协议类型) 所组成。 n e t f l o w 技术是c i s c o 公司开发的一套网络流量监测技术，它运行在路由器 中动态地收集经过路由器的流的信息，并向指定的目的端输出这些数据。n e t f l o w 的部署结构如图2 1 所示，支持n e t f l o w 的路由器发送n e t f l o w 数据到数据的接 收端，接收端对这些数据进行分析，而管理员则分析这些流的信息用于异常流量 检测、网络管理、网络规划、流量计费等方面。 3 北京邮电大学硕十论文第二章网络协议识别的研究 图2 一ln e t f l o w 部署图 在非默认端口网络协议识别系统中，本课题对流进行了改进，将五元组中的 协议类型设定为应用层协议类型，从而使其适应了本系统的工作需求。在本系统 中，“流”是分析模块和统计模块的桥梁，它起到了记录和汇总包信息的作用， 与此同时，流信息表也参与到了网络协议识别的工作中去，避免了每包必查的繁 琐流程，大大提高了协议识别的效率。 2 3 网络协议的发展现状 网络协议是整个互联网正常、有序和高效运行的基础，是互联网技术领域里 最为重要的部分。自互联网诞生至今，出现过成百上千种协议，它们分属于网络 分层结构的不同层次，服务于工业、军事、医学等各个领域。 从应用层网络协议工作机制的角度观察可知，网络协议大多采用单一端口工 作机制和端口动态分配工作机制，然而随着网络协议的多元化，p 2 p 协议工作机 制也得到了青睐。 h t t p 协议、f t p 协议和p 2 p 协议是占网络流量比例相当大的三种协议类别。 而且由于服务器端软件自定义服务端口情况的出现，使得网络运营、网络监管和 网络维护部门无法获取准确的互联网流量分析信息，由此导致了诸多对互联网监 管的不利情况。 2 4 网络协议的分类与特点 o s i ( o p e ns y s t e mi n t e r c o n n e c t ，开放式系统互连1 参考模型是i s o ( 国际标准 化组织) 和c c i t t ( 雪际电报电话咨询委员会) 联合制定的开放系统互连参考模型， 为开放式互连信息系统提供了一种功能结构的框架，它从低到高分别是：物理层、 数据链路层、网络层、传输层、会话层、表示层和应用层。 t c p i p 协议模型是目前i n t e r n e t 所采用的技术，其旨在将互联网合理分 层，达到超远距离、高安全性和高稳定性运行的目的。根据广泛应用的t c p i p 协议模型，可以将网络协议分为网络接口层协议、互连网络层协议、传输层协议 和应用层协议。 4 北京邮电大学硕十论文第二章网络协议识别的研究 4 3 2 1 臣困臣困 臣困巨圈 图2 - 20 s i 模型和t c p i p 模型的关系图 网络接口层是t c p i p 的最底层，常见的接口层协议包括e t h e r n e t8 0 2 3 、 t o k e nr i n g8 0 2 5 、x 2 5 、f r a m er e l a y 、h d l c 、p p p 等。 互连网络层包括了著名的i p ( i n t c r n c tp r o t o c 0 1 ) 协议、i c m p 协议、i g m p 协议、a r p 协议和r a r p 协议等等，其中口协议是互连网络层的核心，它为互 联网的路由机制提供了有力的支持。 传输层所包含的主要协议是t c p ( t r a n s m i s s i o nc o n t r o lp r o t o c 0 1 ) 传输控制 协议和u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) 用户数据报协议。t c p 协议是面向连接的 通信协议，通过著名的三次握手建立连接，t c p 协议的重传机制和滑动窗口机制 保证了通信传输的高稳定性和高可靠性。u d p 协议是面向无连接的通讯协议， 正是基于此特点，u d p 数据可被用于广播发送，而且还常常被用于实时语音视 频服务当中去。 应用层是t c p i p 协议模型当中的面向用户的服务，其中包括了众多网络协 议，诸如f t p 协议、h t t p 协议、t e l n e t 协议、s s h 协议、p o p 3 协议、s m t p 协议、d n s 协议、b i t t o r r e n t 协议等等。【1 】 2 5 网络协议识别技术的发展现状 随着网络技术的迅速发展和各种网络业务应用的普及，网络已成为人们日常 工作生活中不可或缺的信息承载工具，同时人们对网络性能的要求也越来越高， 在众多影响网络性能的因素中，网络流量是最为重要的因素之一。因此，对网络 协议的分析可以为网络的运行和维护提供重要信息，对于网络性能分析、异常监 测、链路状态监测、容量规划等发挥着重要作用。 随着互联网公司对于上述领域资会和科研的大量投入，使得网络协议识别技 雷一 7 6 5 圈 北京邮电大学硕十论文 第二章网络协议识别的研究 术得到了前所未有的迅猛发展。高效、稳定的识别技术层出不穷，其中主要包括 基于端口的网络协议识别技术、非默认端口网络协议识别技术和基于数据挖掘的 网络协议识别技术。 基于端口的网络协议识别技术是识别准确率较低的一种技术，但是由于其识 别思路清晰、程序实现简单的特点，使得很多协议识别和分析工具纷纷采用这种 识别技术，诸如e t h e r e a l ，w i r e s h a r k ，i r i s 等。【2 】 非默认端口网络协议识别技术，是基于网络数据包净荷的一种识别方法，旨 在通过网络数据包的数据部分来分析并识别出网络协议类型。但是由于网络协议 的多变性以及程序实现的复杂性，使得很多协议识别工具都未采用这种识别技 术，只有少数分析工具针对较简单的协议采用了此种识别技术，诸如l 7 一f i l t e r 网 络协议识别工具。【3 】 基于数据挖掘的网络协议识别技术是指在流量数据采集充分的前提下，通过 利用数据挖掘技术，针对网络数据包的流信息，来分析和提取网络协议的内在关 联特点，从而确定网络协议类型的方法。此种识别方法的特点是对于基于p 2 p 协议的网络协议的识别效果较好【4 】，但是由于其实现难度较大、实时流量识别的 能力较差，使得此种识别技术仍在科研研究阶段，并未被众多网络协议识别工具 采用。 2 6 网络协议识别工具的发展现状 协议识别工具依赖于一套捕捉网络数据包的函数库。这套函数库工作在网络 分析系统模块的最底层，作用是从网卡取得数据包或者根据过滤规则取出数据包 的子集，再转交给上层分析模块。从互联网分层角度来看，这套函数库从链路层 接收数据包，至少将其还原至传输层以上，以供上层分析。 协议识别工具通常需要一个底层的抓包平台，在l i n u x 中是采用l i b p c a p 函 数库抓包，在w i n d o w s 系统中采用w i n p c a p 函数库抓包。目前比较常用的协议 识别工具包括e t h e r e a l ，w i r e s h a r k ，i r i s ，t c p d u m p 等等。【5 】 在协议识别方面，上述协议识别工具针对大部分网络协议采用端口识别，只 针对少量协议采用净荷识别。这就使得一些非默认端口的协议数据无法正确解析 出来，比如f t p 协议，如果不是采用默认的2 1 服务端口的话，上述网络分析系 统是无法识别出f t p 协议的，只能作为t c p 数据处理，从而造成了网络流量分 析的失真。 6 北京邮电火学硕士论文 第二章阿络协议识别的研究 b i i i i t i i i _ i p i i p p p 9 p m m ”_ “ 曩- 一制舞口翟xa 击 4 ，下王匡瓶虱龟嚷诅臼曩囡晤 v 堕厂二：= 二= _ 一区蔓竺1 1 甄嚏照 目2 3 w ir 洲hr k 菰戚丽菇口f t p 数据包( 当使用藏文2 1 碡i 再薪面：磊谚三确识别f t p 协议) m # m o m ”，m 9 * 一一 摹一一g 舔曼望xi 3 盘 千王国国q 曼曼粤一回薯 堕竺 二二二二二二二二二二 三匝亟三圈匝亟 $ m h m， 盥譬鼍冒圈瞄圈圈置詈謦叠蟹翟圈暖圈嗣s m m m”b ，】 h 2 n 【叫j h i q k ；：嚣碧；嚣凳：；篇凳：；：盛：器；：嚣吕 嚣：；嚣 嚣! 嚣1 ：臻器= j = 鞫 7o 2 n2 5 ”：m* 2 5 研u i 聃1 q 啪咖叫h 2 ，m m2 2 ，m l 鲢麟擞塞篓黧瓣葛囊裂 | | 荔i 銎霸躺戮烈 。i i i i i i i i i i i i i i i i i i i i i i i i i i i i 一二。二z _ ：二= 0 图2 - - 4w ir e s h a r k 抓取非默认端口f t p 敷据包( 当使用非藏认2 2 3 4 5 端口传翰时，无法正确 m 别m 协_ i 望) 目前，主流的网络协议识别工具有如下几种： e t h e r e a l 是一个开放源码的网络分析系统，也是最好的开放源码的网络协议 分析器，支持l i n u x 和w i n d o w s 平台。e t h o w a l 起初由g e r a l dc o m b s 开发，随后 由e t h o r e a l 团队组织进行维护开发。它目前所提供的强大的协议分析功能完全可 以媲美商业的网络分析系统，自从1 9 9 8 年发布最早的0 2 版本咀来，大量的志 愿者为e t h 廿e a l 添加新的协议解析器，如今e t h e r e a l ( 已更名为w i r c s h a r k ) 已经 支持五百多种协议解析。 w i r e s h a r k 是一款非常流行的网络分析软件，他的前身便是e m 盯1 ，在2 0 0 6 年6 月，由于商标的问题，e t l l e r e a l 更名为w i r e s h a r k 。 n t o p ( 含n p r o b e ) 是开源的n e t f l o w 工具。n t o p 主要提供以下一些功能： 自动从网络中识别有用的信息；将截获的数据包转换成易于识别的格式：对网络 环境中通信失败的情况进行分析；探测网络环境中的通信瓶颈：记录网络通信的 时间和过程。n t o p 的优点在于统计的数据相当丰富，信息显示也非常直观，配置 简单：缺点是在混杂模式下，特别消耗c p u 资源和内存使用比较大。嗍 北京邮电人学硕+ 论文 第二章网络协议识别的研究 n e t d e t e c t o r 是n i k s u n 公司开发的为i p 网络提供实时、连续的流量记录和分 析的工具。n e t d e t e c t o r 可以实时、连续地将整个数据包捕捉并实时存储到内部 或外部存储器上，其存储容量达到t 字节。由于完全捕捉了链路的流量， n e t d e t e c t o r 可以回放经过某端口的流的过程，像一个摄像机，监视着网络资源 被使用的安全状况。另外，n e t d e t e c t o r 可以重建i p 流，可以将捕获到的w 曲、 e m a i l 、t e l n e t 、f t p 等应用数据还原为发送前的状态，因此非常适用于保障网 络安全。目前，n e t d e t e c t o r 已被用于美国i n t e m e t 骨干网，用于收集犯罪证据， 打击恐怖主义，维护国家安全。 随着网络应用的不断增加，网络带宽的不断扩展，当前的网络流量分析工具 已经呈现出诸多弊端。 首先，网络协议识别率不高，由于目前主流的网络流量分析工具大多是根据 固定端口来识别的，而越来越多的网络应用已经可以采用任意端口或者随机端 口，因此当前网络流量分析工具中，一部分流量是被无法准确识别出来的； 其次，分析效率不高，随着网络带宽的不断增加，网络流量分析工具将会面 对千兆、万兆甚至是万兆以上的流量，现有的单机识别已经不能够满足网络流量 分析的需求，因此对于大流量分析，现有的网络流量分析工具的效率略显低下； 第三，协议识别方案的扩展性差，大部分网络流量分析工具都无法实现用户 自定义协议识别方案，当有新的网络协议诞生时或者旧有协议更新后，网络流量 分析工具往往无法识别它们。【7 】 第四，识别单元规模的可扩展性差，由于网络流量分析工具经常出现在超大 流量分析工作中，因此协议分析系统在主机数量方面的可扩展性对于识别效率的 提高具有至关重要的作用。但是目前的大部分网络流量分析工具都不支持多台主 机的协同工作。 2 7 非默认端口网络协议识别的意义 对大部分网络协议提出一套完整的行之有效的协议识别方案，可以弥补目前 互联网协议识别技术的不足，为整个互联网的正常运行、安全监管和合理计费提 供优秀的解决方案。 2 8 网络协议识别的发展趋势 随着计算机硬件技术的迅猛发展，存储资源成本的大幅下降，使得超大流量 协议识别成为可能。数据挖掘技术的日趋成熟，很多基于数据挖掘技术的识别方 案大量涌现，也使得类似p 2 p 协议的网络协议的识别准确率不断提高。未来的 北京邮电大学硕士论文第二章网络协议识别的研究 互联网将更注重制度的建设，运行的安全，因此，网络协议识别技术必将成为这 一目标实现的有力保障和实现基础。 9 北京邮电大学硕十论文第二章非默认端口网络协议识别方案的设计 第三章非默认端口网络协议识别方案的设计 3 1f t p 协议 3 1 1f t p 协议简介 f t p ( f i l et r a n s f e rp r o t o c 0 1 ) ，是文件传输协议的简称。它是网络第七层应用 层协议中的一种，用于i n t e m e t 上文件的双向传输。 正如其名所示，f t p 的主要作用就是让用户连接上一个远程计算机( 这些计 算机上运行着f t p 服务器程序) 察看远程计算机有哪些文件，然后把文件从远 程计算机上拷贝到本地计算机，或把本地计算机的文件上传到远程计算机中去。 3 1 2l 丌p 协议的工作模式 f t p 协议采用c s 模式，其实现包括服务器端和客户端。服务器端内含f t p 协议控制模块和数据传输模块。f t p 协议控制模块用于和客户端进行控制指令的 交互，用于完成传输协商。而数据传输模块，则用于和客户端进行实际数据的传 输。 服务器端文件系统 c i - e n t l 一一一一一1 s e r v e r 0 岬i 崆涮指令i_ l - l 仝嗣佰5 专i l 整墨辈! 童竺! e i l i 避匐 i i - - - 一l 堆墨掣l l i i 广节一 i i i 巍叠盎叵陋巫 p i ：p r o t o c o li n t e r p r e t e r d 伊：d o t ot r o n s f e rp r o t o c o l 图3 - 1f t p 文件传输协议原理框架和实现机制 f t p 的服务器进程由主进程和从属进程两大部分组成。主进程负责接受来 自客户端的f t p 连接请求，其工作流程为： 1 打开f t p 服务监听端口( 默认为2 1 ) 。 2 等待客户连接请求。 l o 北京邮电大学硕士论文第三章非默认端口网络协议识别方案的设计 3 启动从属进程来处理客户进程发来的请求。( 主进程与从属进程的处理是 并发进行的) 4 从属进程对客户进程的请求处理完毕后即终止。 5 回到等待状态。 3 1 3f t p 协议的两个连接 f t p 协议的工作机制中包括两个重要的连接，即控制连接和数据连接。 f t p 客户发出的传送请求通过控制连接发送给服务器端的控制进程，从而 达到通信协商的目的，而且f t p 协议的控制连接不用来传送用户数据。 数据连接则是用来连接客户端和服务器端的数据传送进程，专门负责传输 f t p 协议数据，诸如文件、音乐、视频文件等等。 3 1 4 f t p 协议的两种工作方式 f t p 协议的工作机制中包含两种工作方式，即主动方式和被动方式。 主动方式被称为s t a n d a r d ( 或a c t i v e ) ，其设定方式是使用p o r t 命令。 f t p 客户端首先和f t ps e r v e r 的t c p2 1 服务端口( 默认f t p 协议服务监听 端口) 建立连接，通过这个通道发送命令，客户端需要接收数据的时候在这个通 道上发送p o r t 命令。p o r t 命令包含新分配的客户端接收数据端口的信息。在 传送数据的时候，服务器端通过自己的t c p2 0 传输端口发送数据给客户端新分 配的端口。f t p 服务器端必须和客户端建立一个这样的新连接才可以传送数据。 设定f t p 协议主动方式的命令举例： p o r t2 2 3 ，5 8 ，1 3 2 ，1 4 5 ，8 ，8 3 8 2 5 6 + 8 3 = 2 1 3 2 计算得到的端口就是f t p 客户端打开的接受数据的端口。 而另一种经常被采用的f t p 协议工作方式，即被动方式，被称为p a s s i v e ( 或 p a s v ) ，其设定方式是使用p a s v 命令。 当f t p 客户端发送p a s v 命令的时候，f t p 服务器端打开一个随机端口并 且通知客户端在这个端口上传送数据请求，然后f t p 服务器端将通过这个端口 进行数据的传送。此种工作方式的最大特点是f t p 服务器端不需要主动建立一 个新的和客户端之间的连接，而是等待着客户端发起连接请求。p a s v 命令要求 服务器d t p 在指定的数据端口侦听，进入被动接收请求的状态即可，此命令的 两个参数分别是主机i p 地址和端口地址。 设定f t p 协议被动方式的命令格式为： 2 2 7e n t e r i n gp a s s i v em o d e ( a ，b ，c ，d ，m ，n ) 北京邮电大学硕十论文第二章非默认端口网络协议识别方案的设计 m * 2 5 6 + n 计算得到的端口，就是服务器上打开的端口，是服务器计划使用的 p a s v 模式下的数据传输端口。 设定f t p 协议被动方式的命令举例： 2 2 7 e n t e r i n gp a s s i v em o d e ( 2 2 3 ，5 8 ，1 3 2 ，1 8 8 ，1 2 ，11 7 ) 1 2 2 5 6 + 1 1 7 = 3 1 8 9 计算得到的端口就是f t p 服务器端打开的接受数据的端 口。【8 】 3 1 5 初始条件表 初始条件表是本课题所提出的一个全新概念，在整个非默认端口网络协议识 别过程中，用于每种协议的初始识别，以帮助系统更好的识别网络协议。在专门 识别f t p 协议的方案中，初始条件表别进行功能拓展，其机动性和可扩展性更 强。 初始条件表用于识别一个网络数据包是否处于f t p 协议控制连接阶段，它 包含了所识别协议类型、所提供的方案数目、每种方案的识别策略等信息。 初始条件表以文本文件的形式存在： f t p 3 宰宰枣木枣木木 0 0 1 0 1 2 2 0 木f t p 木 宰宰母拳术半拳 0 0 2 0 3 2 2 0 宰f t e 木 u s e r * 3 3 1 木 宰宰宰木木木 0 0 3 0 1 2 2 0 幸 术木木，擘木木木 第一行代表所识别协议的名称。 第二行为初始条件中提供的识别方案的数量。 第三行及以下是识别方案的具体内容。每种方案由一个标识行和若干个识别 方案行组成。 标识行由5 位数字组成，前三位表示每一种识别方案在初始条件表中的序 1 2 北京邮电大学硕士论文第三章非默认端口网络协议识别方案的设计 号，后两位表示本识别方案的识别步骤数。例如，0 0 3 0 1 就表示 2 2 0 识别方案 是所有f t p 识别方案中的第3 种，此种识别方案包含了1 个步骤。 识别方案行是由若干行组成的，每行是一个由正则表达式表示的识别步骤。 其内容应该由f t p 协议控制连接阶段的特征字符组成。 3 1 6 扩展条件表 经过初始条件表识别后，符合识别条件的包的基本信息将写入扩展条件表， 并且还将随着其他相关数据包的初始条件表识别结果而作出相应调整。 扩展条件表应包含协议类型、源i p 、目的、剩余识别步骤数、源端口、 目的端口。此表以结构体链表形式存在于内存中。 圆3 2f t p 扩展条件袁( 前两礓为使用敢札2 1 端口的f t p 连接，后两项为使用2 2 3 4 5 端口 的f t p 连接) 3 1 7 非默认端口f r p 协议识别思路 f t p 服务器端和客户端在开始文件传输之前会有一个建立“控制连接”的过 程包括显示欢迎语、询问用户名密码、协商传输方式等等。在建立“控制连接” 的过程完成之后，f t p 服务器端和客户端就会通过协商的端口来进行数据的传 输。 由于f t p 协议的连接建立过程会包括登录信息的交互以及传输方式的协商 等信息，因此识别f t p 协议的设计重点和难点就是分析所抓取的各个包之间的 关系，来确定这是否是一个f t p 协议建立连接的过程。 我们需要抓取每个包，剥离掉其以太网头部信息、i p 头部信息、t c p 头部 信息，深入到包的数据部分，来研究其是否符合t c p 连接建立的特征。 经理论研究和实验论证，我们提出了一种准确率高且保证效率的非默认端口 f t p 协议识别方案，此种识别方案使用了之前提到的初始条件表概念和扩展条件 二 一一一一一 巴f 1 1 北京邮电大学硕十论文第三章1 f 默认端口网络协议识别方案的设计 表概念，具体设计如下： 步骤一：如果所抓取的包的数据部分包含2 2 0 字段，且此字段位于数据部分 的段首，则记录这个包的源l p 、源端口、目的i p 、目的端口四元组信息，并将 四元组信息添加到“扩展条件表中。 步骤二：如果所抓取的包的数据部分包含u s e r 字段，且此字段位于数据部 分的段首，则我们提取这个包的四元组信息，将其和“扩展条件表”的每一项进 行逐一比对，如果和某一项匹配成功，则再检查这一项是否是刚刚通过2 2 0 字段 的匹配，如果亦符合要求，则在扩展条件表中标识“已经通过了两项匹配 ( 标 识的方法是记录剩余识别步骤数) 步骤三：如果所抓取的包的数据部分包含3 31 字段，且此字段位于数据部分 的段首，则我们提取这个包的四元组信息，将其和“f t p 协议扩展表的每一项 进行比对，如果和某一项匹配成功，则再检查这一项是否刚刚通过了u s e r 字段 匹配，如果亦符合要求，则确认四元组所在连接是一个f t p 连接，并在“扩展 条件表”中进行标识( 标识方法是将剩余识别步骤数置为o ) 。 步骤四：如果所抓取的包的数据部分包含有2 2 7 字段或p o r t 字段，且字段 位于数据部分的段首，且经“扩展条件表 检查后确认这个包是f t p 包，则可 以认定这个包的作用是f t p 协商服务器和客户端数据传输的方式和端口，此时 我们做必要的字符串匹配处理工作，提取并