（信息与通信工程专业论文）基于通用平台的tcpip协议还原技术研究.pdf

摘要 摘要 随着科学技术的发展，各种各样的网络应用快速普及，协议还原技术变得非 常重要。协议还原技术是网络安全每个领域都需要的一种基础技术。协议还原技 术广泛的被各种应用程序和工具的使用。通过网络协议还原技术，我们可以迅速 的了解两个网络的数据传输和网络通信的交互过程，了解该网络中每个用户和每 台主机收发的数据类型，数据流量，数据内容。同时协议还原技术还可以为其它 系统和工具服务。协议还原技术可以为入侵检测系统提供上层接口，提供原始数 据包等供入侵检测系统使用。协议还原技术可以为防火墙和杀毒软件提供上层接 口，这样防火墙和杀毒软件就可以更好的阻止针对该网络和主机的恶意攻击，网 络管理员甚至还可以利用协议还原技术监控该网络的拥塞情况，合理的管理和保 护该网络。 协议还原系统就是捕获网络中的所有报文，根据标准的协议规定对报文进行 重组和还原。传统的协议还原技术有很多的的不足之处，很多工具和开发包提供 i p 分片重组、t c p 流重组以及应用层协议重组。在高速网络环境下，这些工具和 开发包的数据捕获和协议重组都存在效率问题。 本文以实现在通用平台下的数据捕获和协议还原为目标，从传统数据捕获原 理和协议分析的不足之处出发，在i p 分片重组、t c p 流重组以及应用层h t t p 协 议重组等几个方面进行相关分析、展开理论及其应用的研究工作。 首先，本文针对协议还原系统的不足之处，尤其是协议还原系统在i p 分片重 组、t c p 流重组中的不足之处，将通用平台的协议还原引入到重组过程中来，提出 了基于通用平台的协议还原系统设计思想。 其次，本文针对网络层i p 协议和传输层t c p 协议，对标准的i p 协议和t c p 协议各个字段的意义进行解释，分析了对i p 协议和t c p 协议进行重组的理论依据， 设计了i p 协议和t c p 协议重组数据结构和算法，以及i p 协议和t c p 协议重组的 具体流程和步骤。在i p 层分析了如何判定分片和如何重组数据包，在t c p 层分析 了如何根据s e q 序列号来重组t c p 段。并指出了如何利用下层重组好的t c p 流数 据进行应甩层h t t p 协议上下文内容特征匹配的重组。提出了基于不同i p 会话和 t c p 会话链的动态并行任务分配策略，充分利用了各个结点的还原能力，有效实现 摘要 了协议还原处理的并行化，并给出了今后研究的发展方向。 最后，本文对基于通用平台的协议还原系统和传统模式的协议栈进行了对比， 对基于通用平台的协议还原系统做出了全面的测试和性能评价，通过理论分析和 试验结果证明了基于通用平台的协议还原系统的优越性和可行性。 关键词：i p 分片重组、t c p 流重组、协议还原 a b s tr a c t p r o t o c o lr e a s s e m b l i n gi sv e r yi m p o r t a n ti nt h ei n c r e a s i n g l ys o p h i s t i c a t e dn e t w o r k t e c h n o l o g i e s t h r o u g ht h en e t w o r kp r o t o c o lr e a s s e m b l i n gt e c h n o l o g y , w ec a nq u i c k l y k n o wt h es t a t u so ft h en e t w o r kt r a f f i ca n dt h es e c u r i t ys t a t eo ft h en e t w o r k a tt h es a m e t i m e t h ep r o t o c o lr e a s s e m b l i n gt e c h n o l o g i e sc o u l da l s op r o v i d es e r v i c ef oo t h e rs y s t e m s a n dt o o l s ，s u c ha sp r o t o c o lr e d u c t i o nt e c h n i q u e sf o ri n t r u s i o nd e t e c t i o ns y s t e m i tc a n p r o v i d et h eu p p e ri n t e r f a c ea n do r i g i n a ld a t ap a c k e t s t ot h ei n t r u s i o nd e t e c t i o ns y s t e m n e t w o r ka d m i n i s t r a t o rc a l la l s ou s ei tt om o n i t o rt h en e t w o r kc o n g e s t i o ns i t u a t i o na n d p r o t e c tt h en e t w o r k p r o t o c o lr e a s s e m b l i n gs y s t e mc a nc a p t u r ea l ln e t w o r kp a c k e t s a c c o r d i n gt ot h e s t a n d a r dp r o t o c o l ，i tp r o v i d e st h ew a yf o rt h ep a c k e t sr e s t r u c t u r i n ga n dr e d u c t i o n t h e t r a d i t i o n a lp r o t o c o lr e a s s e m b l i n gt e c h n o l o g yh a sal o to ft h ei n a d e q u a c i e s s o m et o o l s a n dn e t w o r kd e v d o p m e mk i t sp r o v i d et h ei pf r a g m e n t sr e o r g a n i z a t i o n ，t c pf l o w r e s t r u c t u r i n g ，a n dt h ea p p l i c a t i o nl a y e rp r o t o c o lr e a s s e m b l i n g t h ep a c k e t sc a p t u r ea n d r e o r g a n i z a t i o ni nt h et r a d i t i o n a ls y s t e mb a s eo nc o m m o np l a t f o r ma r ei n e f f i c i e n t i nt h i sp a p e r , i no r d e rt os o l v et h ep r o b l e mo ft h et r a d i t i o n a ld a t ac a p t u r ea n d p r o t o c o la n a l y s i s ，w e r e s e a r c ht h ei pf r a g m e n t sa n dt c pf l o wr e s t r u c t u r i n ga n d a p p l i c a t i o nl a y e rp r o t o c o lr e o r g a n i z a t i o n ，s u c ha st h ed a t as t r u c t u r ew h i c h i su s e di nt h e t c p i pp r o t o c o lr e a s s e m b l i n gs y s t e m f i r s t l y , t h i sp a p e rr e s e a r c h e st h ed e f i c i e n c yo ft h ep r o t o c o lr e a s s e m b l i n gs y s t e m ， e s p e c i a l l yi nt h ei pp r o t o c o lr e a s s e m b l i n ga n dt c pf l o wr e o r g a n i z a t i o n w ei n t r o d u c e t h ep r o c e s so fp a c k e t sr e s t r u c t u r i n gb a s eo nt h eu n i v e r s a lp l a t f o r m s e c o n d l y , t h i sp a p e ri n t r o d u c e s t h es t a n d a r di pp r o t o c o la n dt c pp r o t o c o l d e s c r i p f i o no ft h ev a r i o u sf i e l d sa n da n a l y s e st h et h e o r e t i c a lb a s i so fi pa n dt c p p r o t o c o lr e o r g a n i z a t i o n t h e nw er e s e a r c ht h ed e s i g no fd a t as t r u c t u r e sa n da l g o r i t h m s i nt h e 口p r o t o c o la n dt c pp r o t o c o lr e o r g a n i z a t i o n a ti pl a y e r , w ea n a l y z eh o wt o d e t e r m i n et h ei ps e g m e n t sb e l o n gt ot h es a m eo r i g i n a l i t yi pp a c k e t a tt c pl a y e r , w e a n a l y z et h ew a yt h et c pf l o wr e o r g a n i z eb a s eo nt h et c ps e q n u m b e r w eu s et h e i i i 一兰些坚塑竺苎兰一 - _ _ _ _ _ - - - l _ _ - _ _ _ - _ - - _ _ - - _ - _ _ - - _ - - l _ _ _ _ _ - 一 w e l lr e s t r u c t u r i n gt c ps t r e a md a t at oa c h i e v ec o n t e x tf e a t u r em a t c h i n gr e o r g a n i z a t i o n i na p p l i c a t i o nl a y e r u s i n gd i f f e r e n ti pf r a g m e n t sa n dt c ps e s s i o n si np a r a l l e l c h a i n d y n a m i ct a s ka l l o c a t i o ns t r a t e g y , t h ep r o t o c o lr e a s s e m b l i n gs y s t e mt a k e sf u l la d v a n t a g e o ft h ev a r i o u sn o d e st or e s t o r et h ea b i l i t yw h i c he f f e c t i v e l yr e a l i z et h ep r o b l e mo f p a r a l l e l i s m f i n a l l y , t h i sp a p e rm a k eac o m p a r e b e t w e e nt c p i pp r o t o c o lr e a s s e m b l i n gs y s t e m s o nt l l eu n i v e r s a lp l a t f o r ma n dt h ec o m m o np r o t o c o lr e a s s e m b l i n gs y s t e mu s i n gt h e 仃i 耐i t i o n a lm o d e lo ft h ep r o t o c o ls t a c k w ea l s om a k eac o m p r e h e n s i v et e s t i n g a n d p e r f o r m a n c ee v a l u a t i o n t h r o u g ht h et h e o r e t i c a la n a l y s i sa n de x p e r i m e n t a lr e s u l t s ，w e k n o wt h es u p e r i o r i t ya n df e a s i b i l i t yo ft h et c p i pp r o t o c o lr e a s s e m b l i n gs y s t e mo n t h e u n i v e r s a lp l a t f o r m k e y w o r d s ：ds e g m e n t sr e o r g a n i z a t i o n ，t c pf l o wr e s t r u c t u r i n g ，p r o t o c o lr e a s s e m b l i n g i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：j 篓l 日期：年月 1 3 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：班导师签 日期：年月 日 第一章前言 1 1 研究背景和意义 第一章前言 科学技术日新月异，各种新的网络技术给整个人类的工作和生活方式带来了 巨大的变化。人们通过网络互相联系和沟通，通过使用各种新技术和工具处理生 活和工作中的问题，如各种网络聊天工具，电子邮件，远程网络视频会议系统等 等，这些新网络技术和工具的使用让人们之间的交流突破了空间的限制。随着互 联网的普及，世界上各个地方的人们通过互联网络，可以及时相互的分享各种信 息和网络资源。伴随着各种网络技术的广泛被人们使用，各种新的安全问题也随 之产生。 在享受互联网给我们带来便利的同时，也要求我们能及时的应对各种网络安 全事件，遏制网络犯罪行为的发生。因此，各种网络数据捕获和协议还原系统被 广泛的应用在每个领域。数据捕获系统可以捕获在网络中传输任意数据包，而不 管它的源地址和目的地址。捕获这些数据包之后，协议还原系统按标准的t c p i p 协议对这些数据进行相应的还原处理，可以了解该网络中的数据传输量，某种协 议的数据大小，预测和监控网络中病毒木马的大规模爆发等n ，。我们可以通过对捕 获的数据进行分析，发现网络中存在的漏洞，通过协议数据研究黑客的攻击行为， 对网络攻击做到防范于未然。同时要想在高速网络上完整的捕获数据，必须对大 量的网络连接做出及时的响应和处理即要求数据捕获和还原系统具有良好的处理 能力。般对系统有两个方面的要求：设备的数据捕获率和t c p i p 协议栈的分析 处理能力。 目前，主流的操作系统都实现了t c p i p 协议栈。种类繁多，各种各样的网络 应用都建立于t c p i p 协议之上。各种专用操作系统依据自身的需求，也实现了专 用协议栈或是采用传统的t c p i p 协议栈。t c p i p 协议还原主要是以了解数据包中 的内容和通信会话的过程为目的，通过设备捕获网络上的数据包，对网络捕获的 数据包进行t c p i p 协议重组的完整过程。t c p i p 协议还原系统是用途非常广泛， 我们可以通过t c p i p 协议还原系统获取网络中的某些服务器和用户的网络流量， 以及他们会话内容，还可以发现网络瘫痪的原因，分析造成网络拥塞晗1 的协议或用 户。通过协议还原系统的帮助限制非法的使用，从而改善整个网络的状况。t c p i p 电子科技大学硕学位论文 协议还原系统还可以使人们了解当前网络中使用的协议种类，以及每种协议所占 协议数据的比例。通过分析协议应用的合理性与有效性，从而正确的选择使用哪种 协议，节约有限的网络资源。此外t c p i p 协议还原系统还可以进一步帮助应用研 发人员对捕获到的数据进行上层协议还原，使用户能轻松地获得应用层的数据， 为应用软件的开发、研究提供必要的资料。 协议还原系统的应用场合很多。应用场景一：协议还原系统可毗用于分析网络 中垃圾邮件。它可以为上层的垃圾邮件过滤系统0 3 服务。为垃圾邮件过滤系统提供 应用层以下的数据和下面各层的接口，垃圾邮件系统只需要将重点放在应用层 p o p 3 协议和s m t p 协议处理，直接使用协议还原系统作为下层输入。如图卜l 所示。 曩| 螽藕魏、 ，乐一“。y ”麓癌姥：支 遂爹 月# 日崩# 日 图 i - l 垃圾邮件过滤 应用场景二：协议还原系统可以用于i p $ 入侵防御系统“1 。它可以为i p s 入侵 防御系统提供i p 层的各种信息和i p 报文内容，包含i p 地址和数据包长度等等。 为i p s 系统提供t c p 层的各种信息和t c p 报文内容包含t c p 地址和数据包长 度，s y n ，a c k 等等。i p s 可以在协议还原系统的基础上，进行各种入侵方式的防御 开发。例如，l a n d 攻击s y nf l o o d 攻击，t e a r d r o p 攻击，p i n go fd e a t h 攻击， 甚至可以用于新型的d d o s 防御系统中。协议还原系统为他们提供下层的各种接口 和数据，这些攻击防御系统不用再进行下层的开发，缩短了i p s 入侵防御系统开 发的周期。如图卜2 所示。 一2 i p s 系统 国 誓 第一章前言 1 2 国内外研究现状 1 2 1 现有的数据包捕获机制 数据包捕获机制和各种不同的操作系统紧密相连的，我们以l i n u x 操作系统 为例。在l i n u x 操作系统中，我们可以使用原始套接字捕获网络数据包。通过原 始套接字，可以从网卡驱动程序读取网络数据。在使用原始套接字时，应该首先 使用设备管理函数把网卡设置成混杂模式，这样用户就可以直接获取数据链路层 的数据包。在l i n u x 系统中使用这种原始套接字捕获数据包效率较低。不同的其 他操作系统上有不同的数据包捕获机制。其中b p f 是一种被广泛的使用，且处理 数据包效率较高的包捕获机制。网卡上如果有数据包到达，数据链路层的驱动将 该数据包传送到系统的协议栈。当使用b p f 对网络接口进行监听，链路层驱动首 先调用b p f 对数据包进行过滤，不符合规则的数据包丢弃。系统会创建一个过滤 缓冲区，将数据包放入这个缓冲区中，等待上层的处理。 各种系统数据包捕获机制如表1 - 1 所示。 表1 - 1 各种包捕获机制 包捕获机制系统平台备注 b p fb s d 系列 b e r k e l e yp a c k e tf i l t e r d l p is o l a r i sd a t al i n kp r o v i d e ri n t e r f a c e n i ts u n o s 3 n e t w o r ki n t e r f a c et a p s n i ts u no s 4s t r e a mn e t w o r ki n t e r f a c et a p s o c kp a c k e tl i n u xl i n u xs o c k e t 1 2 2 现有的数据包重组机制 l i b n i d s 网络安全开发包是基于网络入侵检测开发的专业编程接口。它提供基 于网络安全开发的基本框架，实现了数据包重组机制。l i b n i d s 提供了应用软件开 发人员使用的各种函数接口，可以快速地开发基于网络的入侵检测系统，并可以 进一步进行扩展开发，例如l i b n i d s 实现了入侵检测系统的底层功能，使开发者 可以专注于高层的功能开发。l i b n i d s 的主要功能包括捕获网络数据包、i p 碎片 3 电子科技大学硕士学位论文 重组、t c p 数据流重组、端口扫描攻击测试、异常数据包测试等。 l i b n i d s 实现了工p 碎片重组，它是根据l i n u x 内核中的i p 重组过程而实现的。 l i b n i d s 还提供了t c p 数据流重组功能，利用t c p 数据流重组的接口，可以分析基 于t c p 协议的各种应用层协议。1 i b n i d s 还提供了检测t c p 端口扫描攻击的功能， 检测异常数据包的功能。l i b n i d s 是作为入侵检测系统的一个部件来设计的，它实 现了入侵检测系统中需要的一些基本功能，如数据包捕获、协议分析接口等。另 外它还专门针对入侵检测系统的特性，实现了t c p 数据流重组功能，这对于分析 针对t c p 协议的各种攻击是很有效的。l i b n i d s 实现了i p 碎片重组功能、对异常 数据包的检测功能以及对t c p 端口扫描的检测功能。l i b n i d s 是在l i b p c a p 的基础 上开发的，所以它具备了1 i b p c a p 的功能。l i b n i d s 可以设定过滤规则，指定捕获 特定的数据包。可以实现各种协议的分析，并在l i b p c a p 的基础上开发了更多的 功能，如t c p 数据流重组。这样，在利用l i b n i d s 分析基于t c p 协议的各种协议 时，不仅可以分析各种单个t c p 数据报文，而且可以分析整个t c p 连接过程。这 对于分析f t p 协议，h t t p 协议，p o p 3 协议等基于t c p 的应用层协议是非常有帮助 的。利用l i b n i d s 可以进行网络监视，主要是指检测网络信息，查看网络内容。 针对不同的目的，它可以通过数据包还原技术来实现。对于网络非法攻击者来说， 为了获得敏感信息，也可以利用l i b n i d s 来获取所需要的内容，如密码、用户、 账号等。利用l i b n i d s 可以轻松获取很多协议传输的用户和密码。除此之外，利 用l i b n i d s 还可以重现网络内容和还原网络数据，如重现h t t p 协议中传输的网页， p o p 3 协议中传输的电子邮件等。 l i b n i d s 存在一些安全漏洞和问题，它在处理t c p 重组的时候缺少正确的缓冲 区边界检查，远程攻击者可以利用这个漏洞进行缓冲区溢出攻击。由于1 i b n i d s 提供i p 分片，t c p 流重组和端口扫描检测等功能，l i b n i d s 在处理过大的t c p 包 时存在问题，可导致发送恶意t c p 包使1 i b n i d s 的t c p 包重组功能的应用程序崩 溃，通过传送恶意数据可能使应用程序进程在系统上执行任意指令。同时由于 1 i b n i d s 系统设计和功能过于复杂。很多情况下对数据包进行t c p i p 重组还原存 在效率问题。在高速网络上的协议还原由于1 i b n i d s 的系统架构原因，不可能完 全适应大流量数据网络上完整的t c p i p 数据报的重组和还原。 另外很多数据包捕获和还原系统由于是商业软件，所以无法获得其关于协议 栈实现方面的任何具体信息，这些商业软件在处理t c p i p 协议还原的具体过程都 是保密的，因此了解这些产品的内在技术，掌握其发展状态是十分困难的。 4 第一章前言 1 3t c p lp 协议还原技术存在的问题和发展趋势 t c p i p 协议还原技术存在的关键问题是通用性，高效率和多样性，完整性和 应用的广泛性。首先协议分析要求能在通用平台上，对大流量网络上的数据包进 行捕获，在完整的捕获数据包的同时能高速和高效的对各种不同的协议进行处理 和还原。在还原系统重组数据包以后，能够分发或者储存到应用客户服务器。 在现在的越来越多的网络应用项目上，如i d s ，新型密网系统等都需要对网络 数据包进行捕获和还原，而对t c p i p 协议还原是必不可少的。我们有必要研究通 用平台的、高效和安全的t c p i p 数据报重组系统，实现对大量网络数据包的捕获 和还原，对上层应用层协议的具体实现提供一个实用和简单的接口。本论文研究 的课题是针对通用平台的t c p i p 数据包，我们希望开发一个安全、高效的、跨平 台的网络层及传输层数据报分析重组系统，能对网络层及传输层数据报分析重组， 同时系统能长时间、稳定、安全和高效的运行。同时可以利用高效的t c p i p 重组 系统完成对下层数据链路层数据的重组，为上层应用层h t t p 、f t p 、t e l n e t 协议 还原提供一个高效和通用的接口。通过对通用平台的研究，使之能应用到各种数 据捕获系统中，实现更高效的t c p i p 数据包重组和还原。 t c p i p 协议还原技术是采集网络上传输的所有数据报文，向上层的应用提供 数据接口，支持从链路层，i p 层，传输层，直到应用层的数据分析。通过协议还 原技术实现网络上传输数据的各层协议解析，为用户提供应用层数据监控、应用 层数据分析等功能。同时还可以提供数据存储功能，提供链路层、i p 层、传输层 到应用层各层的数据存储，向用户提供i p 层，t c p 传输层，传输层，应用层不同的 协议数据包的还原接口和数据储存接口。根据用户需求出发，发展更适合用户的 协议还原技术。例如应用在p 2 p 流量识别，i p s 开发，i d s 开发，垃圾邮件检测， 网络攻击防御系统，防火墙设计，监控管理系统等方向上。 另外，t c p i p 协议还原技术发展可以和神经网络相结合，以神经网络的聚类 分析为依托，开发更高效和智能化的协议还原设计。利用神经网络辅助协议还原 的基本思想是用一系列信息单元命令即训练神经单元啼1 ，在给定一组输入后，可以 预测输出。与统计理论相比，神经网络更好地表达了变量间的非线性关系，能自 动学习并更新。这种方法对用户行为具有学习和自适应功能，能够根据实际获得 的数据包信息有效地加以处理并做出更好的并行重组判断。利用神经网络所具有 的识别、分类和归纳能力，可以使协议还原系统系统适应各种协议特征的可变性。 从模式识别的角度来看，神经网络的聚类技术3 认为目标数据中相对同源的数据属 电子科技大学硕士学位论文 于同一组类。这种技术对于协议还原系统来说特别重要，尤其是在效率方面，使 用更好的聚类分流算法和重组算法，协议还原系统在完整性和并发处理方面的效 率会得到很大的提高。 1 4 本论文的主要研究工作和章节安排 本文首先研究了传统的协议还原技术存在的问题，然后从以实现在通用平台 下的数据捕获和协议重组和分析为目标，从解决传统数据捕获原理和协议分析的 不足之处出发，通过对现有数据捕获和还原系统模型、技术进行研究和归类分析， 以及对各种技术优缺点的详细描述。在指出了现有t c p i p 还原系统的缺陷的同时， 根据各种不同的网络协议标准在i p 分片重组、t c p 流重组以及应用层协议的重 组等过程进行分析和研究。根据标准的i p 协议，对i p 分片重组与实现过程进行 分析，提出了i p 分片重组过程的方法。根据标准的t c p 协议，对t c p 流重组与 实现过程进行分析，提出了t c p 流重组方法。对通用平台的t c p i p 协议还原系统 重组的应用层数据进行进一步的评估和测试。其中本论文的主要创新点如下。 1 协议还原系统提出并采用了分层并行的协议还原体系结构。系统上层协议与下 层某种协议的重组和还原分析都是无关的。系统处理协议多样化，可以对系统 中各种或者某几种协议进行还原。当用户需求发生变化时，可以随时将并行节 点上的协议还原主机替换，分析用户需要的协议和该协议的数据。 2 i p 并行处理和t c p 的并行处理。系统有任务分配器。任务分配器有各个处理 节点的负载状态表和数据分配表。根据一定的策略将任务分配给各个并行处理 节点。 3 实现了方便和统一的上层调用接口。提供用户和上层开发使用的数据和操作调 用。 4 i p 报文和t c p 报文的重组方法的设计和实现，包括i p 分片重组和t c p 流重组 过程使用的数据结构，算法等。 论文主要从五个方面展开论述： 第一章指出了协议捕获和协议还原的目的和意义，介绍国内外目前对协议捕 获和协议还原的研究现状。 第二章主要讨论了协议还原的相关的技术和原理。以及协议还原的理论基础 t c p i p 协议簇。 第三章讨论对基于通用平台的t c p i p 协议还原系统的架构。包含总体系统架 6 第一章前言 构和i p 重组、t c p 重组的方法。 第四章介绍通用平台下t c p i p 协议还原引擎的原理和设计。包含i p 还原模 块和t c p 还原模块的实现。 第五章分析了当前系统设计的性能和测试结果，包含功能性测试和性能测试 的结果以及对结果的分析。 7 电子科技大学硕士学位论文 第二章t c p ip 协议还原的相关理论技术 2 1 协议还原理论 网络协议将位于各个不同地点的，不同的操作系统和用户连接起来，并且规 定它们之间如何进行的相互通信的一系列正式的规则，协定和数据结构。通过网 络协议，两台不同网络的计算机相互之间，以及其它不同网络设备之间都可以进 行信息交互和信息传递。不同的计算机和计算机网络之间要相互通信，必须支持 相同的网络协议才能进行通信。通信协议规定了通信双方之间的通信过程，包括 通信过程中传输的数据，必须采用彼此能识别的特定格式。 国际标准组织i s o 制定了开放互联o s i 模型盯1 。o s i 模型只规定了本身并没有 提供通信双方的通信方式，具体的通讯方式是由各种网络协议来定义的。两个数 据通讯设备要想相互通信必须能够支持和使用某一种具体协议，否则通信的一方 无法识别另一方发出的消息。由于o s i 模型或其它的网络模型都是分层设计的， 通信协议也是分层设计的，各层都由若干协议组成。每一种协议规定了某层协议 的通信细节，完成本层相关的通信交互。分层协议通过一些明确的方式与其它协 议组合，为其他层提供服务。 o s i 模型分为七层。应用层，表示层，会话层，传输层，网络层，数据链路层， 物理层。o s i 模型每一层对应不同的通信协议，在计算机通信双方交互过程中完成 特定的工作。当收到网络数据时，首先由下层协议对收到的网络数据进行处理， 然后提交上层协议能识别的数据，上层协议接收到下层协议的数据，根据本层的 规定对数据进行相应处理，处理完毕可以继续提交更上层协议。在进行数据发送 的时候，与数据接收时处理过程恰好相反，本层协议为上层协议提供服务，通过 封装上层协议数据，将数据传到更下层。整个过程从通信数据被送入最上层开始， 经过由上到下的各层协议的封装过程，逐步通过每一层处理后在物理层被处理成 一系列比特流送入网络。每一层的处理过程中对收到的数据都要增加一些本层协 议首部信息，有的还要增加本层协议的尾部信息。两台网络主机o s i 模型通信过 程如下图2 - i 所示。 每一种网络协议都有它自己规定的，与其它网络协议不同的标准格式，而协 议还原技术就是通过利用不同的网络协议的高度规则性，从而识别出各种不同的 8 第二章t c p i p 协议还原的相关理论技术 网络协议数据包，并为上层网络协议提供服务。 协议还原技术是指当一个数据包从外部网络到达内部网络或者内部主机时， 以链路层协议，t c p i p 协议、应用层标准的协议基本原理为依据，系统依次对链 路层数据包，i p 层数据包，t c p 成数据包，应用层数据包进行的一系列数据包处 理过程。即当前捕获了网络数据包以后，为了解数据包中的内容和正在进行的服 务而对数据包进行详细分析的过程。 协议还原技术涉及数据包捕获，数据包重组，数据包存储，数据包分发等各 种技术。数据包捕获技术是指如何从特定网络或者主机环境中，快速和完成的获 得流经该网络或者该主机的数据。数据重组技术是根据各种协议的不同特性或者 规定，将每个网络协议的无序的，不完整的数据包分片，组织成完整的，有序的 一系列数据。数据包分发是指，系统为了达到一定效率或者用户需求，采用一定 的技术对数据包进行分发处理。 i ?i j 主机a 主机b 图2 - 1o s i 七层网络模型 协议还原技术一种重要的网络安全技术，其研究对象是计算机网络协议数据。 协议还原技术的理论基础是网络协议规范，根据各种不同网络协议格式化的特点， 并结合高速数据包捕获，数据解码，会话重组技术，从通信双方传输的协议数据 9 电子科技大学硕士学位论文 中分析通讯双方交互的过程，还原协议会话。它根据协议规范的规定，分析网络 上的数据流，将网络数据还原出原始数据语义哺1 。同时检查协议会话的内容，完成 对具体传输文件的重组，提供网络安全保证。 协议还原技术在网络技术日益成熟的今天显得异常的重要，通过网络协议还 原技术，我们可以通过协议还原技术迅速的了解一个网络的流量状态和安全状态。 协议还原技术还可以为其它系统和工具服务，例如协议还原技术可以为入侵检测 系统提供上层接口，提供原始数据包等供入侵检测系统服务。协议还原技术能为 各种应用开发提供数据捕获网络中每台用户和每台主机收发的数据类型，数据数 量，数据内容。可以利用协议还原技术监控该网络的安全情况，合理的管理和保 护该网络。 2 2t c p ip 协议 网络协议还原技术是指在获取网络数据后立即对网络数据进行协议分析，为 实际的应用功能提供相关的数据。网络协议还原技术的工作量大小是由具体的应 用目的决定的。对于各种上层应用来说，其协议分析的基础都是标准的t c p i p 协 议。假定我们使用的网络是以太网络，首先处理下层以太帧，然后交给i p 层对数 据进行处理。而后根据实际的需要进行进一步的分析处理得到t c p 或u d p 的数据 包，再根据具体的应用协议对于数据包的内容进行应用层的重组，才能得到应用 层的可用数据。以上简单叙述的是基于t c p i p 协议还原处理的基本过程。 t c p i p 模型由应用层、传输层、网络层和数据链路层，物理层构成，具体每 一层都包含很多不同的协议，由它们共同组成t c p i p 协议簇。协议还原技术主要 研究对象就是t c p i p 协议簇。t c p 传输控制协议和i p 互联网络协议是t c p i p 协 议中最主要的两个协议。t c p i p 协议簇具体组成如表2 - i 所示。下面简单介绍一 下t c p i p 协议簇中的主要协议： 表2 - it c p i p 协议簇 应用层 p o p 3h t t pd n sf t pt e l n e t 传输层 t c pu d p 网络层 i p ，a r p ，r a r p ，i c m p 数据链路层以太网令牌环网 io o b a s e - t 其它 1 i p 协议 1 0 第二章t c p 口协议还原的相关理论技术 所有的上层t c p ，u d p ，i c m p 及i g m p 数据都以为i p 网际协议的数据报格式传 输。每个i p 数据包都含有一个头部和一个正文部分，标准头部由一个2 0 个字节 的定长部分和一个可选的变长部分组成。i p 协议实现了两个重要的功能：寻址和 分片，i p 可以根据数据包头部中的目的地址将数据包送到不同网络中，在此过程 中，网关根据i p 地址来选择传输的路径。如果网络中只能传输小数据报，那么系 统会对数据会进行i p 分片处理。 i p 的数据报文是不可靠，无连接的，不保证每个i p 数据包都能成功的达到目 的地。同时i p 协议不维护任何关于后续数据报的状态信息。i p 协议使用几个关键 的域，服务类型，生存时间，选项和包头校验和。生存时间表示数据包可以生存 的时间上限，它由发送方设置，在经过路由时被重新设置，如果在未到达目的主 机的时候，生存时间为o ，则抛弃该数据包。因此，i p 的生存时间表示i p 数据通 过的路由跳数，一般被用来选路。i p 数据包的格式如表2 - 2 所示。 表2 2i p 报文格式 版首部长度服务类型总长度 本 位标识标志分片位移 生存时长协议类型校验和 源i p 地址 目的i p 地址 选项+ 填充 报文数据 2 t c p 协议 t c p 传输控制协议是一种面向连接的，提供可靠服务的协议。t c p 协议提供全 双工的端对端连接，面向数据流的连接管理服务。t c p 通信双方首先需要建立一个 连接。当一个t c p 连接建立起来并处于活动状态时，通信双方就可以接收或者发 送数据。当数据传输完毕后，传输双方都要关闭各自的连接。为了提供可靠的服 务，t c p 还具有滑动窗口，数据重传等很多功能。每个标准的t c p 数据报文头部一 般是2 0 字节。t c p 报文的格式如表2 - 3 所示。 电子科技大学硕士学位论文 表2 - 3t c p 数据包格式 源端口号 目的端口号 序列号 确认号 首部保留 ua pp sf 长度 位 rcssyi 滑动窗口大小 gkhtnn 校验和紧急指针 选项 填充 数据 协议还原系统中进行协议还原的基础就是t c p i p 协议，t c p i p 协议是分层实 现的，因此在协议还原系统中进行协议还原必然也是分层进行的。网络协议还原 技术的原理主要是根据标准协议协规定，采用先处理底层协议再处理高层协议的 方式对每个数据包进行处理。每一层只处理本层协议相关的工作，并提供数据接 口给上层协议。即每一层数据由它的下层提供，下层处理完毕以后将数据报文放 入已经处理数据包队列，再通知其上层的处理模块。 由于每一层协议负责不同的功能，在开发各种不同的网络应用的时候，就需 要根据具体应用需求在不同的层次进行处理。在网络协议还原系统的实现中，如 果需要对应用协议进行还原，必须要先对传输层的协议进行分析处理。在执行这 个工作的时候，就可以根据要具体协议类型来对传输层的数据进行处理，例如当 网络监控系统仅仅需要对于h t t p 数据进行处理的时候，在传输层协议分析的时候 就可以将多余的u d p 数据过滤掉，这样就减少了实际的数据处理量，只需要根据 t c p 协议，进行t c p 流的重组，将经过重组的t c p 流数据交给应用层，应用层负责 处理特定的应用程序的细节，为应用程序提供服务。应用层根据h t t p 协议标准对 t c p 层提交的数据进行解析，得到h t t p 会话数据哼1 。 当通信双方需要发送数据的时候，各层协议需要对数据包封装。如图2 - 2 所 示。假设是h t t p 协议会话，用户数据首先由应用层协议进行封装，h t t p 协议是 基于t c p 协议的。它就继续被t c p 协议封装，h t t p 报文作为t c p 数据包的有效数 1 2 第二章t c p ，口协议还原的相关理论技术 据载荷部分。而t c p 协议是基于i p 协议的，所以t c p 段就作为i p 协议的数据部 分，加上i p 协议头，就构成了i p 数据报，假设是以太网环境，而i p 数据报是基 于以太网的，所以这个时候就被封装成了以太网帧，最后数据就被转化为比特流， 通过物理介质进行传送。当接收网络数据时候，就要进行数据包的协议还原处理。 假设是以太网环境，协议还原的过程与封装的过程恰恰相反，首先从底层以太网 帧开始，一层一层地进行还原。先处理以太网头和以太尾部，再把剩下的部分传 递给i p 层进行处理去掉i p 头。然后把处理后的数据提交给传输层处理，如果是 t c p 协议，此时就去掉t c p 头，得到应用层协议的数据。如果h t t p 协议，此时应 用层协议模块就会进一步地进行处理，把用户数据给还原出来。如果是h t m l 代码， 这样应用程序就可以直接使用了。总的来说，协议解析就是一层一层处理下层网 络协议封装的头部和尾部的连续过程n 。 根据t c p i p 协议数据规范，协议还原主要是将一个完整的协议会话的数据作 为一个整体来考虑。对封装在t c p i p 协议各层的负载数据依次进行反向处理，来 理解并恢复协议数据流原来的语义。协议分析不仅仅是对单个数据包进行解析， 而且在每一层都会考虑上下文相关性。协议还原系统会依照标准协议规定，根据 各层通讯的状态改变，保存通讯有用的信息，进行基于状态的协议还原，最终还 原出应用数据。 封装 还原 臣固 tt ： ：- 一 口数据报斗； i 1 4 2 0 2 0 i i _ 一以太网帧叫i