（计算机应用技术专业论文）tcp宏观平衡性研究.pdf

中英文摘要 中文摘要 本论文通过对t c p 协议交互的过程分析，定义了评价t c p 宏观平衡性的测度体系， 这些测度集从t c p 的连接建立、拆除和数据传输三个过程对t c p 的宏观平衡性进行了 刻画。通过分析几种典型的t c p 宏观异常行为对测度的影响，证明了这些测度可以作 为评价t c p 宏观行为的有效工具。 论文通过对t c p 交互的长度分布模型和到达模型等的分析，得到了t c p 宏观平衡 性在不同时间粒度下的测量误差模型，发现时间粒度的选择与测量误差间近似符合对数 线性关系，另外误差模型还与网络里t c p 流的r 1 t 分布和流内报文到达延时有关。对 误差模型的理论分析、模拟、仿真表明，选择5 - 1 0 m i n 作为测量的时间粒度对于大多数 测量的精度而言是可以接受的。 根据上述测量误差模型，选择恰当的时间粒度，以t c p 协议标准规定的超时上限作 为正常t c p 交互的r t t 和流内报文到达延时的极限，可以得到各种t c p 宏观平衡性测 度的正常取值的极限，并以此可确定用于评价t c p 宏观平衡性的测度及其正常异常判 断的阈值。论文针对交互的次数一般不大于2 的短流情形，例如路由循环发生时t c p 的工作状态，基于t c p 的大规模扫描，d d o s 攻击和蠕虫扩散等，定义了对应的短流模 型来确定时间粒度和正常异常判断的标准。给出的实例分析表明，t c p 宏观平衡性能 够从t c p 连接建立到拆除的各个不同的阶段宏观地评价t c p 的工作状态，并能检测t c p 宏观异常行为的发生时间。 论文通过对h a s h 函数聚类特征的分析，给出了利用h a s h 函数聚类后t c p 宏观平衡 性，发现对不同的t c p 控制报文进行相同的聚类变换后，t c p 宏观平衡性保持不变。 特别地，在使用b l o o mf i l t e r 对t c p 五元组进行聚类后，不同t c p 控制报文在相同h a s h 函数的同一h a s h 串的命中率之间也应该遵循t c p 宏观平衡性，此即t c p 宏观平衡性的 聚类不变性。 论文通过对b l o o mf i l t e r 的误差分析，放宽h a s h 函数对映射均匀性的要求，使得h a s h 函数可以使用任意类型的映射。选择源串的部分比特位作为h a s h 函数的过程让h a s h 函 数带有源串的语义特征；这种直接比特映射的h a s h 函数( d b s m ) 由于其h a s h 串的比 特来自于源串的比特，从h a s h 串逆向推导源串的过程很直观。在确定两个由不同h a s h 函数产生的h a s h 串来自于同一个源串后，这两个h a s h 串可以组成更长的h a s h 串，反映 了源串更多的信息。利用d b s m 在h a s h 串间重复上面的过程，可得到源串的所有比特。 东南大学博十学位论文 论文建立了着色过程的概念，它利用两个h a s h 函数问具有相同着色的特点来确定两 个不同h a s h 函数产生的h a s h 串是否来自于同一个源串，即确定两个h a s h 串是否同源， 在商集映射的视角下发现其具有较高的精度。通过h a s h 函数的商集映射和着色过程的 分析，论文提出了自然着色的概念，在使用d b s m 的聚类过程中，保持两个h a s h 函数 间有一定的比特串直接来自于原始比特串，即让h a s h 函数保持源串的“自然色”，同时 也直观地反映了源串部分比特的聚类状态。在此基础上论文提出基于自然着色聚类还原 法的源串聚类信息还原，充分利用自然着色过程的聚类特性和自然着色过程同源性判断 的优势，把具有相同聚类特征的源串的比特串间的关系通过数量和自然色的桥梁，合并 为源串的聚类信息，完成从h a s h 串构成的存储空间对源串的聚类信息的还原。而把t c p 宏观平衡性的聚类模型使用自然着色聚类进行分析，利用活跃i p 报文的p a r e t o 分布特 性，只需对少量t o pn 的h a s h 串进行自然着色聚类，就可以还原出t c p 宏观平衡性中 占主导地位的各种成分的聚类信息。而这些主成份的聚类信息仍然满足t c p 宏观平衡 性的要求，因此对这些主成分的聚类后的t c p 宏观平衡性的分析将反映网络里主要t c p 流量的宏观平衡性。如果这些主成分被t c p 宏观平衡性测度断定为异常，则这些聚类 的信息就是异常活动主机的五元组的聚类，可以直接用来进行异常行为阻止。 在实例中进行的检验表明，使用自然着色聚类还原的t c p 宏观平衡性能够有效地揭 示出各种t c p 控制报文的聚类信息，间接反映网络里t c p 的宏观状态，可以用于网络 管理。对自然着色聚类还原算法的复杂度分析表明，这个算法的时间和空间复杂度都接 近于线性，并且由于只需分析t o pn 的数据，其规模非常小，适用于对时间和空间复杂 度要求非常高的场合。 给出t c p 宏观平衡性和自然着色聚类还原的综合应用表明，t c p 宏观平衡性的理论 和自然着色聚类还原工具对于检测t c p 宏观异常行为如d d o s 、扫描、蠕虫扩散、病态 路由等非常有效。这些t c p 宏观异常的不同行为特征使得他们在t c p 宏观平衡性和自 然着色聚类的框架下非常容易区分开来。而自然着色聚类还原得到的t c p 五元组的聚 类信息，在经过t c p 宏观平衡性的评估后，如果检测到宏观异常，可以直接用这些聚 类信息来进行异常行为阻止，为网络基础设施的监控和可用性管理提供了非常好的工 具。 关键词：t c p 连接，完整性，t c p 控制报文，数量，宏观平衡性，测度体系，测量模型， 测量误差模型，哈希函数，商集映射，聚类，自然着色，聚类信息还原，异常检测 l i 中英文摘要 英文摘要 t h eq u a n t i t yb a l a n c eo ft c pc o n u o l l i n gp a c k e tf o r t h ei n t a c tt c pf l o w sw a so b t a i n e db y t h ea n a l y s i so f t h et c pi n t e r a c t i v ep r o c e s s , w h i c hi st h eb a s e m e n to f m a e r o s c o p i e a lq u a n t i t y b a l a n c eo f t c pp a c k e t s n u m b e r ( m q b t p ) t h em q b t pd e f i n e sam e t r i cs y s t e mt oe v a l u a t e t h ec o n t r o l l i n gp a c k e t s a m o t m t so fi n t a c tt c pc o n n e c t i o n s 、 r i t l lt h r e es t e p so ft h eo p e n , t h e t r a n s m i t t i n ga n dt h ec l o s ep r o c e s s t h ee f f e c ta n a l y s i so v e rm e t r e sb y , s o m et y p i c a lt c p m a e r o s c o p i c a la b n o r m a lb e h a v i o r sv a l i d a t e dt h a tt h e s em e t r i c sc a nb ed e p l o y e d a sa l l e f f e c t u a lt o o lt oe v a l u a t et h et c p m a e r o s c o p i c a la b n o r m a lb e h a v i o r s t h es y s t e m i z e dm e t r i c sw e r ep r o p o s e db yt h ed e t a i l e da n a l y s i so ft h et c pi n t e r a c t i v e l e n g t ha n dt h e i ra r r i v a lm o d e l ，a n dt h e i rm e a s u r i n ge r r o rm o d e lu n d e rd i f f e r e n tt i m e g r a n u l a r i t yw a sd i s c u s s e d t h em e a s u r i n ge r r o ri sn o to n l yr e l a t e dt ot h et i m eg r a n u l a r i t yo f m e a s u r i n g ，b u ta l s oa f f e c t e db yt h er t t d i s t r i b u t i o no ft c pa n dt h ei n t e r n a lp a c k e td e l a yi n t h et c pf l o w t h et h e o r ya n a l y s i s ，s i m u l a t i o na n de m u l a t i o ns u g g e s t e dt h a tt h em e a s u r i n g t i m eg r a n u l a r i t yi n5 1 0 r a i ni sas u i t a b l em e a s u r i n gd u r a t i o nf o rm o s tm e a s u r i n gp r o c e s s t h em e t r i c s t h r e s h o l d so fm q b t pf o rn o r m a l a b n o r m a lt c pb e h a v i o rw e r ed e d u c t e db y t h em e a s u r i n gm i s m a t c h i n gm o d e lw h e nd e p l o y e d6 4 sa st h eu p p e rl i m i to fr t ta n ds u i t a b l e m e a s u r i n gt i m eg r a n u l a r i t y t h es h o r ti n t e r v a ls i t u a t i o n sw h i c hi n t e r a c tl e s st h a n2t i m e s ，s u c h a sd d o sa t t a c k s ，s c a n n i n g ，w o r md i s p e r s i n g ，f o r w a r d i n gl o o p ，w e l ed i s c u s s e di nt h i sp a p e r , a n dt h ed i f f e r e n tv a l u et h r e s h o l d so ft h em q b t pm e t r i c s w e r ed e f i n e dt oj u d g e n o r m a l a b n o r m a lb e h a v i o r s t h ev a r i a n c e so f m q b t pm e t r e su n d e rt y p i c a ll a r g es c a l e dt c p a b n o r m a lb e h a v i o r sw e r ed i s c u s s e dw i t hs o m ei n s t a n c e s ，t h ea n a l y s i ss u g g e s t st h a tt h e a p p e a r i n gt i m eo ft h et c pm a c r o s c o p i c a la b n o r m a lb e h a v i o r sc a nb ed e t e r m i n e db ym q b t p m e t r i e sa n dt h e i rt h r e s h o l d s t h ea g g r e g a t i o np r o p e r t yo fm q b t pw a sd i s c u s s e da f t e rt h ed i s c u s s i o no ft h eh a s h f u n c t i o n s a g g r e g a t i n gc h a r a c t e r , w h i c hi m p l i e st h a tt h em q b t pk e e p st e n a b l eu n d e rt h e s y n c h r o n i z e dh a s hf u n c t i o na g g r e g a t i n g m o r ei m p o r t a n t l y , a f t e rs y n c h r o n i z e dh a s h i n g ，t h e n u m b e r so ft h ec o u n t e r s ，w h i c ha r ea tt h es a m el o c a t i o n si nd i f f e r e n th a s hs p a c eo ft h et c p p a c k e t s h a s hf u n c t i o n ，a l s oo b e yt om q b t p i i i 东南大学博土学位论文 t h i sp a p e ra n a l y z e st h ef p r so fd i f f e r e n tb l o o mf i l t e r st oe n h a n c et h er a n d o m n e s s p r o p e r t yo ft h eh a s hf u n c t i o n st oa d o p tt h eh a s hf u n c t i o n sw h i c hd i r e c t l ys e l e c ts o m eb i t s f r o mt h eo r i g i n a ls t r i n g t h e s eh a s hf u n c t i o n s ，w h i c hw e r en a m e dd i r e c t l yb i ts e l e c t i n g m a p p i n g ( d b s m ) ，t a k et h er e v e r s i b l es e m a n t i c a li m p l i e sf r o mt h eo r i g i n a ls t r i n g s w h e nt h e t w oh a s hs t r i n g so fd i f f e r e n th a s hf u n c t i o n sa r ec o n f m n e dt ob ea f f i n a l ，t h et w oh a s hs t r i n g s g a nd i s c l o s em o r eb i t st h a nu n i q u ed b s mh a s hf u n c t i o nd o e si nt h eo r i g i n a ls t r i n g t oc o n f i r mt h ea f f i n a lh a s hs t r i n g sf r o mt h ed i f f e r e n th a s hf u n c t i o n s ，t h ec o l o r i n gp r o c e s s w a s p r o p o s e dt or e c o n s t r u c tt h ea g g r e g a t i o no f t h eo r i g i n a ls t r i n g s t h ec o l o r i n gp r o c e s su s e s t h es a m ec o l o rp r o p e r t ya m o n gt h ed i f f e r e n th a s hf u n c t i o n sa n dt h e i ra f f i n a lo r i g i n a ls t r i n gt o d e d u c et h a ti ft h et w od i f f e r e n th a s hs t r i n g sa r ea f f m a lo rn o lt h ep r e c i s i o ni sf o u n dh i g h e n o u g hu n d e rt h ev i e wp o i n to fq u o t i e n ts e tm a p p i n g t h ec o l o r i n gp r o c e s sw h i c hd e p l o y s d b s mw a sd e f i n e da sn a t u r a lc o l o r i n gp r o c e s s0 q c p l i ft h et c p m a c r o s c o p i c a la b n o r m a l b e h a v i o ri sd e t e r m i n e db yt h em q b t pm e t r i c sa n dt h e i rt h r e s h o l d s ，t h en a t u r a lc o l o r i n g p r o c e s s ( n c p li nt h ep r i n c i p a lc o m p o n e n ta n a l y s i ss h o u l dd i s c l o s et h em a i nc o m p o n e n to f a g g r e g a t i o ni n f o r m a t i o no ft c pp a c k e t sw i t l la c c e p t a b l et i m ea n ds p a t i a lc o m p l e x i t i e s t h e e x a m i n a t i o nr e s u l t ss u g g e s tt h a tt h ee f f i c i e n c ya n de f f e c to fa g g r e g a t i n gi n f o r m a t i o n c a p a b i l i t yw h i c hc o m b i n e dm q b t pa n dn c pi ss i g n i f i c a n ti n t h ed e t e c t i o no ft c p m a e r o s c o p i c a la b n o r m a l i t y t h es y n t h e t i c a l l yi m p l e m e n t so f m q b t pa n dn c p s u g g e s tt h a tt h et h e o r e mo f m q b t pa n d t h ea l g o r i t h mo fn c pi np r i n c i p a lc o m p o n e n ta n a l y s i sc a nd e t e c tt h et y p eo fa b n o r m a lt c p b e h a v i o r , d i s c l o s et h ep r i m a r ya g g r e g a t i n gi n f o r m a t i o n , s u c ha si pa d d r e s s e s i pp r e f i x e sa n d p o w h i c hi sn e c e s s a r yf o rt h ea b n o r m a lb e h a v i o rd e f e n d i n g t h ed i f f e r e n ta g g r e g a t i n g c h a r a c t e ro ft h e s ea b n o r m a lb e h a v i o r si ni pa d d r e s sa n dp o r tc a l lb er e c o n s t r u c t e de a s i l yb y t h em q b t pa n dn c pi np r i n c i p a lc o m p o n e n ta n a l y s i s k e y w o r d ： t c pc o n n e c t i o n ，c o m p l e t e n e s s ，t c pc o n t r o l l i n gp a c k e t ，a m o u n t ，m a c r o s c o p i c a lb a l a n c e ， m o d e l sf o rm e a s u r e m e n t ，m o d e l sf o rp r e c i s i o n ，m e t r i cs c h e m a , h a s hf u n c t i o n , q u o t i e n ts e t m a p p i n g ，a g g r e g a t i o n , n a t u r a lc o l o r i n gp r o c e s s ，o r i g i n a la g g r e g a t i o n i n f o r m a t i o n r e p r o d u c t i o n ，a b n o r m a ld e t e c t i o n i v 东南大学博士学位论文 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：彭勉 日期：兰型：墨：笪 东南大学学位论使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：一劐勉一导师签名：一缸一日 期：兰2 苎：3 第1 章绪论 1 1 概述 第1 章绪论 网络行为学探索的是报文在网络里传播的规律。它以报文的交互规律为基本出发点，以提高网 络性能和基础设施的稳定性、优化网络结构和服务品质、提高网络监管能力为目的，为报文的传播 时间、空间属性和各种网络应用的交互规律进行数学建模，以模拟、仿真为手段，以经验观察为佐 证，希望为网络里的报文传播规律建立性能、稳定性等的评价体系，为服务品质优化提供理论依据， 为网络测量和试验研究提供工具和方法，为网络监管和安全保障提供新的手段和视角。 由于i p 载荷的主要成分是t c p ，t c p 流的部分特性也涉及到部分i p 的属性，本论文将以t c p 报文和 t c p 连接为主要研究内容。t c p 报文在网络里传播的规律是网络动态行为理论研究的核心问题之一， 对其深入的研究一直是计算机网络体系理论研究的一个重点；它为设计、规划、部署、维护下一代 网络提供理论基础，为现有网络的可持续稳定地运营提供技术保障。 t c p 的宏观动态行为是指从宏观角度观察到的t c p 报文在网络里传播的规律，它反映了t c p i p 协议的本原行为，反映网络体系结构、各种应用的参与对t c p 行为规律的影响，这些行为规律可以 应用到网络管理、协议设计、q o s 控制等方面。通过对t c p 协议及其各种改进的归纳与演绎，它能 给出t c p 报文的基准行为，而以这些基准行为定义的测度，可以刻画在不同尺度下都通用的t c p 基本行为。 本论文探讨的是网络行为学的一个问题：t c p 交互过程中各类t c p 报文间的数晕平衡关系。即t c p 连接的控制报文数量上的宏观平衡性，以时间维和空间维的关系来讨论这种数量上的约束，并建立相应的 评价指标和评价体系，为系统地评价网络里t c p 流量的健康状态、检测大规模t c p 异常行为提供理论基础， 并研究其在t c p 五元组标识上的扩展和应用。以此来探讨阻止宏观异常的快捷手段。本章将会对t c p 宏观平衡性所涉及到的相关背景、研究范畴、意义和目标进行阐述。 理想情况下完整的t c p 连接应该包括t c p 连接建立过程中的三次握手报文，t c p 结束过程中 的拆链报文，涉及到码元字段带有s y n 或者f i n 标志的t c p 报文，而且在正常情况下。按照t c p 协议的要求，它们的数量是相关的，因此有 定义1 1 ：完整的t c p 连接 遵从t c p 协议定义而正常建立和正常终止的t c p 连接。 所有不满足完整t c p 连接定义的t c p 成分相应地表述为非完整t c p 连接，它们通常表现为t c p 协议交互过程的不完整。由一般不符合t c p 协议的规定而导致，或出于异常的目的和起因而产生的 不完整的t c p 连接，在报文数量关联关系上表现出异于完整t c p 连接的特征，当其在全部t c p 流 里所占比例比较大的时候，通常会反映出网络本身或者网络应用的异常。比如d d o s 攻击发生的时 候，没有完成三次握手的短t c p 连接的比重会明显增加。还有扫描、蠕虫扩散等例子。 众多t c p 连接中，每个t c p 连接的标识可以认为是唯一的。根据r f c7 9 3 l ij ，这些t c p 连接一 般由源i p 地址、宿i p 地址、源端口、宿端口、i p 协议号( 1 e p r o t o c o l = 6 ，即表示i p 承载的是t c p ) 构成的五元组来进行标识，因而大于2 ”个t c p 连接里才可能存在唯一性的冲突，意即任意两条t c p 连接标示冲突的概率为2 。如果考虑到双方的顺序号和接收窗口，这个冲突概率会更小，基本可以 忽略。因此在实际的网络环境里，一个t c p 连接的相关交互报文是可测量的。 定义1 2 ：t c p 宏观平衡性 各类t c p 报文数量间彼此的约束 东南大学博士学位论文 这种报文数量的约束表现为t c p 报文数餐的各种控制报文数茸间的关系是恒定的。完整t c p 连接与非完整t c p 连接共存的情况下，各种t c p 控制报文数荦的平衡性存在差异。因此t c p 宏观 平衡性所研究的是宏观状态下t c p 连接的完整性，通过研究其各种控制报文数量间的平衡性来体现。 一个正常的，完整的t c p 流对应一个t c p 连接，其报文交互过程必须遵循t c p 协议的定义， 因此在t c p 协议机制的约束。f ，t c p 流两端的交互过程是有规律的。t c p 流的完整性表现为t c p 流的控制报文应答过程是否符合协议要求，这体现在t c p 连接的建立与拆除过程中t c p 不同类型报 文的数量间存在一定的约束关系，以及交互过程中异常到达报文的数量约束关系，本论文把这种约 束关系称为t c p 报文数量的宏观平衡性。或简称为t c p 的宏观平衡性。有时候也把关于t c p 宏观 平衡性的研究叫做t c p 的完整性研究。 本论文提出的理论方法可以评估网络里t c p 工作行为是否健康，并且能够在发生异常的时候检 测它，并捕捉异常的详细信息如异常行为的发起者和受害者等，能够利用这些信息进行异常阻止， 为网络管理提供新的思路。 如果网络管理能够引入流的概念，那么网络管理将根据具体，而不再仅仅以接入网的设备端口 作为检测对象，反映出更多的高层协议行为，监管到更多的状态。但是流概念的引入，不能简单地 选择接入网络里的某个代表作为监测对象，而应该以整个网络为对象，特别是非对称路由的存在， 使得监管单个接入网会存在对网络行为断章取义的可能性，研究的观察点至少应该涵盖交互双方的 必经之路。而为了体现微观行为的管理，则需要细化到某种类型的应用流，但过分地细化可能会给 宏观监控带来太多的资源负担。t c p 流的宏观状态正是能够反映网络管理中流状态的好实例，因为 网络里主要流量是t c p 流，在这个级别上的资源和效率，细节的平衡会更有代表性。 下面介绍一下t c p 宏观平衡性相关的背景。 1 2t c p 宏观平衡性的研究背景 t c p i p 的复杂性使得基于t c p i p 的网络尤其是互联网成为了一个复杂的系统，而分形的流量 模型、拥塞、蠕虫扩散等现象，p 2 p 文件共享、流媒体等新应用的出现，都展示了一些令人迷惑的 行为【2 j 。vp a x s o n l 3 1 说：“与其他领域的研究不一样的是，i n t e m e t 的成功的灾难是这个领域的研 究者必须忍受的问题：很多i n t e m e t 功能在还没有设计和充分调试的时候就开始大规模地应用，” 而传统电话业务网里的泊淞模型在i n t e r n e t 里失效。使得t c p i p 的建模更加复杂1 4 j 州。自从t c p 诞 生之日起，对于t c p 的研究就没有停止过，并且对t c p 的改进一直在进行，但是这些改进的推广和 应用却一直难以大规模展开。 t c p i p 本身不太完善，特别是当初设计它的时候的应用环境已经和现在的应用环境大相径庭， 因此对于t c p i p 的改进也一直没有停止过1 7 “。特别是t c p 有很多不同的实现，分别对应于不同环 境下的改进，因而对于t c p i p 的研究需要考虑这些实现。 t c p i p 设计得过于复杂，使得计算机网络这个复杂系统在t c p 作用下更加复杂，而人的因素 的引入使得计算机网络和社会网络相互影响，加深了各自的复杂性。t c p 协议设计的天生弱点也使 得它们在实际应用过程中非常容易受到攻击，使得网络的设计需要考虑保障稳定的要素；而庞大的 覆盖网络里大量的不确定因素，以及人的主观，客观行为使得基于t c p 的计算机网络的行为更加复 杂 1 9 9 1 年，c e r n ( e u r o p e a np a r t i c l ep h y s i c sl a b o r a t o r y ) 正式发布了w e b 技术标准”，浏览器 出现使得互联网蓬勃发展。主干链路带宽每3 年翻一番，规模日益庞大，接入主机日益增多，新型 应用层出不穷，互联网变得日益复杂。同时研究者发现，带宽和拥塞成为互联网的瓶颈，互联网为 社会、经济、生活等诸多方面带来便利的同时，各种安全隐患如雨后春笋般呈现，各种d o s 攻击、 蠕虫等逐步成为互联网作为基础设施的稳定的杀手i l 6 1 7 1 。 由于上述各种行为威胁作为基础设施的i n t e m e t 的安全性与稳定性，其研究的重要性也日益受到 重视，特别是d d o s 攻击和蠕虫爆发，已经威胁到i n t e m e t 可用性，因此如何监视异常行为，制止威 胁i n t e m e t 可用性的异常行为，是现代网络管理的必修课程。但是由于互联结构的复杂性，应用的复 2 第1 章绪论 杂性，网络管理、研究和发展还需要面对不同利益集体在i n t e r a c t 里的扭斗( t u s s l e ) 【”】，也使得网 络管理日益复杂。 由于本论文主要研究代p 的宏观平衡性，其所涉及到的完整性研究的背景，将在本节给出。 1 2 1t c p 完整性的研究 在i n t e r n e t 中，t c p 流的比重占了所有网络流量中的大部分p ，使得t c p 流的行为在很大程度 主导了网络流量的行为，因此研究t c p 流的报文交互过程是一件有意义工作，并多见于网络入侵检 测方面。 在宏观尺度上评价t c p 流行为的问题一个重要的研究方面是无状态的异常检测，其在检测过程 中不维护t c p 连接和五元组的详细状态，使用报文统计来研究网络里是否存在攻击或者扫描已经有 很多结论【1 9 , z o l ，基于统计的i d s 甚至已经开始使用【”】，但是还没有关于t c p 流宏观动态行为的基础 理论描述。 m a r i n ab y k o v a 等人1 2 l , z z l 基于网络中变形报文的统计来检测是否存在异常和入侵，其中使用了关 于t c p 异常报文的数量统计，但是其模型太粗糙，他们只分析了一些异常的t c p 报文，使得该方法 只能发现少数的恶意报文，如t c p 源端口与宿端口号相同、不该出现在i n t e r n a t 上的i p 地址等这样 的变形报文。 h a i n i n gw a n g 等i 玎1 使用基于t c p 的s y n f i n ( r s t ) 报文对的比例来检测s y nf l o o d i n g 攻击， 使用了简单的协议交互自动机l ，但是这个自动机的模型还太简单。这类对t c p 流报文交互过程的 研究是针对特定目的，主要集中在对t c p 的s y n 报文的行为研究，并不是从t c p 流的全部行为特 性角度来研究，因此缺乏系统性和通用性。 y u i e h io h s i t a 等口”仅仅使用了三次握手的信息，和各类t c p 报文的统计信息来推断d d o s 的存 在，但其需要使用五元组来获得全部流的数量，并且其检测的d d o s 攻击存在着较大的误差率，同 时，由于对时间粒度的选取，没有进行相关的文献讨论和探索，使得他们的研究易被t c p 的分形行 为的噪声所误导，其结论的正确性还值得探讨。 h a i n i n gw a n g 等1 2 6 也使用叶节点路由器来监视网络里的s y n 报文与s y n + a c k 报文的比例， 以此推断网络的s y nf l o o d i n gd d o s 攻击的源。上述文献同样没有揭示s y n 报文与s y n + a c k 报 文、f i n 报文、r s t 报文间的关系，不能从一个统一的t c p 行为理论去审视这些报文数每间的联系， 因而只能揭示出少量的异常行为，其模型由于不能解决病态网络配置的问题使得它们只能应用于叶 节点路由器。 s e u n g - w o ns h i n 等人田】研究了一个t r a c e 里的s y n 报文的规律，在l o i n s 的粒度下，s y n 报文 的数量和t c p 流的数量的比值的均值在0 1 5 附近，比较稳定。如果超时结束的流的数最比例不大的 话，这个结果和该论文中的数据矛盾，以这个比例算出来的流的数量将会使缛该文的t a b l e1 中的 f i n 和r s t 报文的和有较大的出入。 m a r t i na r l i t t 等人p l 以h t t p 为依托，研究了r s t 报文产生的机理和行为，r s t 报文是t c p 协 议里用于标志异常条件的，并给出了r s t 发生的三个场景。他们指出，各种不同的浏览器和服务器 的行为会导致各种t c p 报文数鼍的不一致，i e5 5 浏览器在m a co s 上甚至使得s y n f i n 的比例达 到5 2 ，由r s t 中止的连接比例高达9 3 3 。而主流的操作系统w i n d o w s x p 和其所集成的i e 6 0 ， 其r s t 中止连接的比例也高达6 0 4 。因此在考虑t c p 连接的完整性的时候，需要同时考虑这种因 为浏览器的异常行为导致的t c p 连接的非正常结束。 根据文献l ”, 3 0 3 1 1 的研究，可以总结出一个规律。基于t c p 的d d o s 攻击，利用了t c p 协议的漏 洞，使得目的主机疲于对攻击进行响应，从而达到使目的主机资源拒绝服务的目的，其t c p 连接过 程是不完整的口q ；利用t c p 进行扫描的过程中，t c p 连接过程也是不完罄的l 驯。蠕虫扩散的初期， 有些也会利用t c p 协议的漏洞和系统的漏洞对易受感染的主机进行扫描“。 h a i n i n gw a n g 等【玎】使用基于s y n f i n ( r s t ) 报文对的比例来检测s y nf l o o d i n g 攻击，但是他 们还不能解释s y n f i n r s t 三种报文间的内在联系，也就不能从理论的高度来解释这三种报文间的 东南大学博士学位论文 联系对于t c p 流宏观动态行为的意义，使得他们的讨论不能更加深入，只能局限于揭示在叶节点路 由器与内部网间的少量的t c p 异常行为。另外，他们忽视了时间粒度的选择对评估这些比例行为的 影响，使得其研究缺乏准确性，因为时间粒度的选择对于异常检测的精度的影响较大。 上述文献表明这些异常所表现出来的不完整t c p 连接是短流，交互的次数为一个r t t 。上述研 究还表明，t c p 各种控制报文的数量间是存在一定的约束的，表现为数量上的平衡性。这些t c p 报 文数量比例的监视模型由于没有系统的理论分析，使得其分析太过于随意和武断。本论文着手去解 决这个系统的理论分析方面的欠缺，并试图为行为阻止提供有效的对象信息。 1 2 2 现有t c p 完整性研究的不足 前面关于t c p 完整性的研究存在较多不足的地方： 首先，没有系统的理论指导，所有的研究都出于初期的探索阶段。理论上讲s y n 和s y n + a c k 报文间存在数量的关系，可以用来检测d d o s 攻击，但是没有一个测量模氆来表达这个看似简单的 问题。s y n ，s l r n + a c l t s l 仵i n + a c k 间也存在数量上的关系，但现有研究模型都太简单，忽略了 很多关键问题。 其次。测量的准确性需要探讨，尽管这些报文间的确存在数犀的平衡性，但是并不是任何时间 粒度下都是成立的，特别由于t c p 流量行为是服从多重分形的，不同时间粒度下t c p 的行为具有类 似的规律，但是并不意味着报文数量间的平衡关系也是如此相似。因此选择时间粒度的大小对报文 计数后的测量准确性需要进行探讨。 。 再次，各种报文间的平衡关系不明确，s y n s y n + a c k 的报文比例并不是超过1 就是有异常发 生。没有一个正常异常的取值范围和理论模型来引导研究者进行判断。根据文献【3 9 】，t c p 流量是 分形的，这种分形会对网络的测量产生影响，如何把这种影响排除，并建立一个正常，异常阈值的取 值模型，是这里研究迫切需要解决的问题，也是本文将要解决的问题之一。 再次，没有参考点。如果使用各种t c p 报文的比例来对t c p 异常行为进行检测，需要找到一个 参考点，这种检测的机制实际上是检测不完整的t c p 流的变化，那么需要以完整的流的数量作为参 考点。文献 2 3 】中只是使用s y no n l y 报文作为参考点，没有使用更加接近实际的流的数量的 s q 十a c k 报文。而即使选定了参考的报文，参考报文自身的变化如何排除或者检测异常，在上述 文献中也没有解决。 还有，这些初步的方法只能检测d d o s 攻击，其实这种方法还能够用在其他t c p 宏观异常行为 检测方面，比如路由循环会使得s y no n l y 报文循环，而s y n + a c k 报文不会循环，这就使得 s 1 州+ a c k 报文的数量在发生路由循环的时候比s y no n l y 的数量少多倍。扩充t c p 完整性研究 的用途也是一个很重要的方面。 最后，这种初步的完整性检测方法，只能探测到各种异常发生的时间段，对于异常检测和d d o s 检测来说，一切才刚刚开始。而对异常发生的参数，例如行为发起者、受害者、事件类型、规模、 持续时间等，都没有办法直接用这个完整性来检测。因此需要把完整性和其他工具结合起来，研究 各种聚类情况下t c p 的完整性，给出聚类特征。 在研究t c p 宏观平衡性的过程中用到了t c p 的行为模型，而t c p 宏观平衡性的测量涉及到测 量模型，下面对t c p 行为建模、测量的相关背景进行概述。 1 3 与 r c p 宏观平衡性建模相关的背景 1 3 1t c p 行为建模 上世纪9 0 年代初，关于t c p 流量的研究还只局限于各种服务的成份、突发流量的研究，如r a m 6 n c c e r e s 等人p 6 l 研究的t c p i p 的会话特性，揭示了t c p i p 会话的双向特性和不对称特性，并且短的 4 第1 章绪论 会话比重很大，指出9 0 的t c p 会话长度不超过1 0 k b ，持续时间不超过几秒。1 9 9 1 年b e l l c o r e 的 w i l le l e l a n d 第一个提出研究网络流量长度分布符合p a r e t o 分布，并且是自相似和长程相关的i ， 开启了t c p 行为研究的新篇章。 m a r k 等人”1 分析了w o r l d w i d e w e b 的流量特性，