（计算机应用技术专业论文）互联网骨干网络voip监控系统的设计与实现.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 近年来，互联网中的v o i p 业务得到广泛应用，通话模式已由p ct op c 的方 式逐渐发展为p ct op h o n e 或者p h o n et op h o n e ，给电信运营企业的传统电信 话音业务带来了新的市场的同时，也带来了巨大的冲击和挑战。电信运营商在迎 接这些业务和挑战的同时，希望能够清楚地知道自己网络上有哪些v o i p 话务并 且能对这些v o i p 话务进行适当的良性控制。然而由于互联网业务繁多，v o i p 协 议不统一，并且多采用加密技术，因此，急需对v o i p 监控技术进行深入研究， 根据电信运营商的实际需要，我们成功地开发了适用于互联网骨干网络的v o i p 监控系统。 互联网骨干网络是指电信运营企业互联网骨干链路网络，具有规模大、传输 速率高、业务类型繁多等特点，从而不便于监测和管理。本文针对互联网v o i p 业务多协议的特点，通过对网络业务识别及控制技术的研究，重点开发了v o i p 业务的识别与控制技术，并设计出适用于多种v o i p 协议的可扩展的v o i p 监控系 统。通过对协议流程特征的分析，来实现对基于标准协议s i p 、h 3 2 3 等v o i p 业 务的核心协议解析，通过结合t c p u d p 端口、协议分析、特征码识别等多种识别 方法来实现对非标准协议v o i p 业务的识别，通过伪装拆线信令、语音干扰等技 术实现v o i p 业务的控制。 本文通过互联网骨干网络v o i p 监控系统的设计与实现，深入研究了标准协 议与非标准协议v o i p 业务识别与监控技术，深入讲解了标准协议v o i p 识别的整 个流程，包括协议解析、信令解码、信令组成、c d r 生成等，以s k y p e 为例深入 探讨了非标准协议v o i p 的识别与控制技术。并给出了v o i p 监控系统的实际运行 效果和测试结论，以及对v o i p 业务控制所起到的作用。 关键词：v o i p ；业务识别；协议分析：h 3 2 3 ；s i p 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，v o l ps e r v i c e sg e te x t e n s i v eu s ei nt h ei n t e r a c t , a n dt h ec a l lp a t t e r ng r a d u a l l y d e v e l o p sf r o mp ct op ct op ct op h o n e o rp h o n et op h o n e a l t h o u g hi tb r i n g sn e w m a r k e tt ot r a d i t i o n a lt e l e c o m m u n i c a t i o nv o i c es e r v i c e so ft e l e c o mo p e r a t o r s ，i ta l s or e s u l t si n g i g a n t i ci m p i n g e m e n ta n dc h a l l e n g e s t e l e c o mo p e r a t o r sh o p et ob ea b l et ok n o wc l e a r l yw h i c h v o i ps e r v i c e sr u n o nt h e i rn e t w o r ka n dt oc o n t r o lt h e s ev o i ps e r v i c e sb yt h e m s e l v e st of a c et h e s e s e r v i c e sa n dc h a l l e n g e s a si n t e r a c ts e r v i c e sa r en u m e r o u s ，v o i pp r o t o c o l sa r en o tu n i f i e da n d e n c r y p t e d s ot h e r ei sa ne m e r g e n tn e e df o rd e e pr e s e a r c hi nv o i pm o n i t o r i n ga n dc o n t r o l t e c h n o l o g y a c c o r d i n gt ot h ea c t u a lr e q u i r e m e n to ft e l e c o mo p e r a t o r s ，w es u c c e s s f u l l y d e v e l o p e dv o l pm o n i t o r i n ga n dc o n t r o ls y s t e mf o rb a c k b o n en e t w o r ko fi n t e r n e t b a c k b o n en e t w o r ko fi n t e r n e tr e f e r st ot e l e c o mo p e r a t o r s b a c k b o n el i n k sn e t w o r ko f i n t e r n e t i th a sc h a r a c t e r i s t i c so fl a r g es c a l e ，h i g hs p e e d ，v a r i o u ss e r v i c e sa n de t c s oi ti sp o s e d h u g ed i f f i c u l t ya n di n c o n v e n i e n c ef o rm o n i t o r i n ga n dm a n a g e m e n t b a s e do nt h ec h a r a c t e r i s t i c s t h a tn u m e r o u ss e r v i c e sr u no ni n t e r a c t ，i nt h i sa r t i c l e ，t h ea u t h o rd e v e l o p e dn e t w o r ks e r v i c e i d e n t i f i c a t i o na n dc o n t r o lt e c h n o l o g y , m a i n l ym a d es t u d yi nv o i ps e r v i c ei d e n t i f i c a t i o na n d c o n t r o lt e c h n o l o g ya n dd e s i g n e de x t e n s i b l ev o i pm o n i t o r i n ga n dc o n t r o ls y s t e mf o rv a r i o u sv o i p p r o t o c o l s b ya n a l y s i n gc h a r a c t e r i s t i c so fp r o t o c o lp r o c e s st oi m p l e m e n ts t a n d a r dv o i pp r o t o c o l a n a l y s i s ，s u c h a ss i p , h 3 2 3a n de t c b yi n t e g r a t e d l ya n a l y s i n gt c p u d pp o r t ，p r o t o c o l ，p a y l o a d s t r i n ga n de t c t oi m p l e m e n tn o n - s t a n d a r dv 0 i pp r o t o c o ls e r v i c e si d e n t i f i c a t i o n b yd i s g u i s i n g d i s c o n n e c t i o ns i g n a l l i n g ，v o i c ed i s t u r b i n g ，t oi m p l e m e n tv o l ps e r v i c ec o n t r 0 1 i nt h i sa r c i c l e ，b yd e s i g n i n ga n dd e v e l o p i n go fv o i pm o n i t o r i n ga n dc o n t r o ls y s t e mf o r b a c k b o n ei n t e m e t ，t h ea u t h o rd i dd e e p l yr e s e a r c hi ns t a n d a r da n dn o n - s t a n d a r dv o i ps e r v i c e i d e n t i f i c a t i o na n dc o n t r o lt e c h n o l o g y d e t a i l e d l ye x p l a i n e dt h ew h o l ep r o c e s so fs t a n d a r d p r o t o c o lv o i pi d e n t i f i c a t i o n ，i n c l u d i n gp r o t o c o la n a l y s i s ，s i g n a l l i n gd e c o d e ，s i g n a l l i n gr e b u i l d ， c d rc o n s t r u c t i o na n de t c t o o ks k y p e 鹤e x a m p l e ，d e t a i l e d l yd i s c u s s e dn o n - s t a n d a r dv o i p i d e n t i f i c a t i o na n dc o n t r o lt e c h n o l o g y a tl a s tp a s t e ds o m er e s u l tp i c t u r e so fo u rs y s t e m ，t os h o w t h ep r o d u c t i o na n dc o n c l u s i o no fv o l pm o n i t o r i n ga n dc o n t r o ls y s t e m ，a n di n d i c a t e di t se f f e c t st o v 0 i ps e r v i c ec o n t r 0 1 k e yw o r d s ：v o l p ；s e r v i c ei d e n t i f i c a t i o n ；p r o t o c o la n a l y s i s ；h 3 2 3 ；s i p n 南京邮电大学硕士研究生学位论文 缩略语 c d r c s f t p g k g w m c u m g c p p s t n p 2 p l 违d i 盯c p r 1 1 p r t s p s p s m t p s s l t c p 舫4 u a c u a s u d p v o i p 缩略语 c a l ld e t a i lr e c o r d c l i e n t s e r v e r f i l et r a n s f e rp r o t o c o l g a t e k e e p e r g a t e w a y m u l t i p o i n tc o n t r o lu n i t m e d i ag a t e w a yc o n t r o lp r o t o c o l p u b l i cs w i t c h e dt e l e p h o n en e t w o r k p e e r - t o - p e e r r a n d o me a r l yd e t e c t i o n r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l r e a l - t i m et r a n s p o r tp r o t o c o l r e a l t i m es t r e a m i n gp r o t o c o l s e s s i o ni n i t i a t i o np r o t o c o l s i m p l em a i lt r a n s f e rp r o t o c o l s e c u r i t ys o c k e tl a y e r t r a n s f e rc o n t r o lp r o t o c o l u s e ra g e n t u s e ra g e n tc l i e n t u s e ra g e n ts e r v e r u s e rd a t a g r a mp r o t o c o l v o i c eo v e ri p 6 3 呼叫详细记录 客户端朋艮务器 文件传输协议 关守 网关 多点控制单元 媒体网关控制协议 公共交换电话网 端到端 随机早期检测 实时传输控制协议 实时传输协议 实时流协议 会话初始协议 简单邮件传输协议 安全套接层 传输控制协议 用户代理 用户代理客户端 用户代理服务器 用户数据报协议 i p 电话 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特蔓j i j j n 以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：兰立墼! 1 1 星- 日期：兰塑：! ：! z ， 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：王竖生 导师签名 南京邮电入学硕l ：研究生学位论文 第一章绪论 1 1论文背景 第一章绪论 互联网自对公众开放以来，发展速度惊人，目前已经成为一个支持多业务的全球性的 网络。随着互联网技术的飞速发展，v o i p ( v o i c eo v e ri p ，i p 电话) 业务的广泛部署和 v o l p 技术的不断革新，互联网出现了多种基于不同协议的v o i p 业务，包括常规v o i p 协议的 h 3 2 3 、s i p ( s e s s i o ni n i t i a t i o np r o t o c o l ，会话初始协议) 业务，以及私有协议的s k y p e 、 u u c a l l 、万人迷等v o i p 业务，通话模式已由p ct 0p c 的方式逐渐发展为p ct op h o n e 或者 p h o n et op c ，互联网的应用已经由常见的数据通信大规模、大踏步地向话音通信挺进。 与传统电话网相比，互联网传送话音具有成本低、价格便宜、利润高、易推出新业务等很 多优势，所以v o i p 最大的优势在于能广泛地采用全球互联网环境，提供比传统业务更多、 更快、更便捷的服务。v o i p 可以通过互联网支撑话音、传真、视频和数据等业务，如统一 消息、虚拟电话、虚拟语音传真邮箱、查号业务、i n t e r n e t 呼叫中心、i n t e r n e t 呼叫管 理、i p 视频会议业务、电子商务、语音汇接业务、传真存储转发和各种信息的存储转发等。 在巨额利益的吸引下大量新兴v o l p 运营商充斥着正规的电信市场，不仅导致传统运营商话 务量流失，更打破了原有电信市场的竞争格局，给传统的话音业务带来了巨大的冲击，也 给电信行业的监管带来了很大的困难，电信运营商j 下遭受新兴v o l p 带来的巨大挑战，因此 非常有必要将互联网上v o l p 业务纳入良性控制的范畴。目前各运营商都陆续丌展了针对互 联网的v o l p 监测和控制。 由于互联网v o l p 技术也是近年来才兴起，尤其是s k y p e 这一突破性和革命性的v o l p 软 件的出现，更是加速了宽带互联网上v o i p 的应用，因此国外针对互联网v o i p 检测和控制的 技术研究也刚刚起步。s k y p e 的出现一度影响了国内外运营商的原有利益，因此国内外的 研究机构更多的是针对s k y p e 本身进行识别和封堵，完全意义上的、支持多种标准和非标 准v o l p 业务的检测和控制模型和体系结构方面的研究和开发在国内外还比较少。 互联网中的业务繁杂，且目前普及的i p v 4 网络无法区分业务，必须从纷繁杂乱的i p 分 组中提取出v o i p 业务的分组，才能真正对互联网中的业务，特别是其中的话音业务进行监 管。由于v o l p 的种类众多，有基于标准协议的( 如s i p h 3 2 3 m g c p ) ，也有基于私有协议 的( 女n q q s k y p e 等) ，有基于标准端口的，也有基于非标准端口的，因此给从互联网中对 v o i p 的业务识别带来了很大难度。随着v o i p 技术的不断发展，越来越多的v o i p 软件使用加 i 南京邮电人学顾：i ：研究生学位论文 第一章绪论 密技术，加大了v o l p 检测与控制的难度。 由于互联网骨干网络v o l p 监控系统需要在复杂的多业务互联网中智能地识别和感知 出v o l p 业务，并按照灵活的策略进行控制，因此采用传统的业务识别方法是行不通的。 根据这一需求我们综合使用静荷深度检测、模式匹配、流统计特性、协议分析等多种方法 来检测v o l p 业务。 1 2作者所做工作及论文组织结构 在本论文“互联网骨干网络v o l p 监控系统的设计与实现的研究课题中，笔者作为 主要研发人员，参与设计并开发了用于互联网骨干网络的v o l p 监控系统，对网络识别与 控制技术进行了研究，综合使用静荷深度检测、模式匹配、流统计特性、协议分析等多种 方法来检测v o l p 业务，制定了对当前流行的s k y p e 的业务识别与控制策略，实现了对 h 3 2 3 、s i p 、m g c p ( m e d i ag a t e w a yc o n t r o lp r o t o c o l ，媒体网关控制协议) 、q q 、u u c a l l 等多种协议的v o l p 业务的准确识别和有效控制。在此基础上，以论文作者为主要研究人 员，在导师的指导、支持下，根据本项目的研究成果，申请了国家专利，目前该系统已经 开发完成，并在广西电信骨干互联网测试运行。 本论文共分为六章。 第一章首先介绍了论文背景和作者所作的工作及论文组织结构。 第二章介绍了网络业务识别与控制技术。网络业务识别技术包括流识别技术和基于 t c p 会话的识别技术。网络业务控制技术介绍了两种主要网络业务控制模式下的控制技术， 包括串联网络控制技术和并联网络控制技术。 第三章对当前互联网中发展迅速的p 2 p ( p e e r - t o p e e r ，端到端) 业务及其控制技术、 基于第三代p 2 p 的新兴v o l p 业务s k y p e 的识别策略、控制技术进行了深入研究与讨论。 研究了p 2 p 业务的识别方法，针对s k y p e 业务提出了基于综合统计特征的s k y p e 识别策略， 并从超级节点、l 7 、协议三个角度研究了s k y p e 流量控制方法。 第四章根据各种v o l p 业务识别与控制技术，设计出针对多种协议的互联网骨干网络 v o i p 监控系统。首先介绍了互联网骨干网络v o l p 监控系统的应用环境；接着明确v o l p 监 控系统的主要功能，研究了系统主要技术原理，给出系统功能结构设计、整体架构设计及 系统组成；最后针对系统关键功能给出各功能模块的详细设计。 第五章是系统关键功能的具体实现和系统部署与应用。对两套不同的标准v o l p 体系 h 3 2 3 和s i p 做了介绍；以s i p 为代表介绍了标准v o l p 业务识别的具体实现，包括s i p 协 2 塑室! ! ! ! ! 生叁兰! 塑：! 型! 塑竺兰篁丝兰 笙二至堕笙 议检测流程、s i p 协议识别u m l 图及关键函数和接口等；以s k y p e 为例给出了非标准v o l p 业务识别的具体实现，包括s k y p e 流量识别使用的主要数据表的创建等：设计出系统具体 部署方案并演示了系统具体应用示例；最后为了验证系统的准确性与可靠性提供了系统测 试方案及测试结果。 第六章对本课题所做工作进行了归纳，并对下一步研究方向做了展望。 南京邮i 【三人学颂i ：研究生学位论文 第_ 二章网络业务识别o j 控制技术 第二章网络业务识别与控制技术 对于互联网骨干网络v o i p 监控系统，在众多的互联网业务中进行y o i p 业务识别与控 制，是系统核心功能，也是系统关键技术所在，因此首先研究网络业务识别与控制技术。 2 1网络业务识别技术 网络业务识别即流识别，通过采集网络数据，分析数据特征，从而识别出网络传输的 业务类型和特征。 2 1 1 流识别技术 流识别含有三方面的概念：识别对象、识别方式以及识别结果。识别对象即网络中的 流量；识别方式即识别方法，比如端口特征、协议解析、统计特征或者这些方法的结合： 识别结果即识别后根据不同的需求，采取相应的分类措施。 莘手手 图2 1 流识别的概念 流识别分为静念识别和动态识别两种类型。静态识别是根据协议类型、源目的端口、 4 南京邮l u 人学顾t - r o f 究生学位论义 第_ 二章嘲络业务识别与控制技术 源目的地址进行识别。动态识别分成模式匹配识别和协议解析识别两种类型。 1 静态流识别 静态流识别是根据流的五元组特征进行流量识别的方法，即根据协议类型、源目的端 口和源目的地址进行识别。静态流识别能够实现对以太网接入的用户进行区分，将来自某 些i p 地址的用户提供高优先级控制，某些用户提供低优先级控制。同时，对关键应用的 协议类型提供高优先级，对普通业务提供低优先级。业务类型可根据协议类型，也可以按 照固定端口来实现。 在网络技术中，端口( p o r t ) 大致有两种意思：一是物理意义上的端口，比如，a d s l m o d e m 、集线器、交换机、路由器用于连接其他网络设备的接口，如r j - 4 5 端口、s c 端口 等：二是逻辑意义上的端口，一般是指t c p i p 协议中的端口，端口号范围从0 到6 5 5 3 5 ， 比如用于浏览网页服务的8 0 端口，用于f t p ( f i l et r a n s f e rp r o t o c o l ，文件传输协议) 服务的2 l 端口等。我们这里用的是逻辑意义上的端口。对于有专用端口或者有预定义端 口的流量，可以直接根据端口号来确定流量类型，端口号即可作为流量的特征。 表2 1 常见应用的端口信息 ! 穿c p u d p 类戮缓缀薹覆缀!鬻口籀纛毯霾獗缀毳鬻 f t pd a t a2 0 f t p2 1 s s h2 2 t e l n e t2 3 s m t p2 5 t a c a c s4 9 d n s5 3 b o o t p s 6 7 b o o t p c 6 8 t f t p6 9 f i n g e r 7 9 h t t p8 0 p o p 31 1 0 p o r t m a p p e r 1 1l n n t p1 1 9 n t p1 2 3 n e t b l o sn a m es e r v i c e1 3 7 n e t bl o sd a t a g r a m 1 3 8 n e t b i o ss e s s i o ns e r v i c e1 3 9 i m a p 21 4 3 s n m p1 6 l i m a p 21 4 3 l d a p3 8 9 南京邮r 乜大学硕：【：研究生学位论文 第_ 二章 网络业务识别与控制技术 h t t p s4 4 3 r e x e c5 1 2 r s h e l l5 1 4 l p r5 1 5 s o c k s1 0 8 0 c i t r i xi c a 1 4 9 4 r a d i u s1 8 1 2 r a d i u sa c c o u n t i n g18 1 3 n f s2 0 4 9 s i p5 0 6 0 静态流识别技术优点在于高效、简洁，实现技术简单：缺点在于灵活性差，无法应对 网络变化。对于以太网用户进行i p 盗用，或者采用代理技术绕开常见端口，或者进行端 口欺骗，即在高优先级端口上传送低优先级业务，这些情况下静态流识别技术都很难灵活 应对，难以实施。 静态流识别能够完成绝大多数的应用的优先级控制。凡是具有固定协议类型、地址、 端口的业务均能够被适配到相应的容器中，接受优先级调度。 2 动态流识别 动态流识别是通过静荷特征匹配、协议分析等进行流量识别的方法。动态流识别技术 能够对绝大多数网络应用进行详细的分析，能够识别出网络中存在的安全隐患，能够在应 用层进行差分服务，能够根据统计特征将未知的可能危害网络s l a 协议的业务进行主动控 制，灵活应对各种网络变化。 动态流识别技术分成两个大的分支，一种是采用模式匹配的方法对已知的应用进行识 别，根据识别结果确定优先级：另一种是采用协议解析的方法对途经的流进行协议分析， 获取应用类型，确定优先级。 模式匹配针对单个报文，不需要进行流重装，耗费资源较少，实现技术简单。 协议解析需要缓冲大量数据流，才能获取上下文信息，对绝大多数应用业务来说都需 要结合上下文才能确定其具体的应用。但是协议解析具有精度高、控制粒度细、优先级控 制较为完美等优点。 2 1 2 基于t c p 会话的业务识别技术 网络业务识别主要是通过对采集到的数据报文进行分析，从而确定当前网络上传输的 业务。根据t c p ( t r a n s f e rc o n t r o lp r o t o c o l ，传输控制协议) 数据传输的特点，一般网 络传输首先要进行t c p 连接，然后传输业务数据，传输结束之后再拆除连接，因此对于基 6 南京邮电人学硕i j 研究生学位论文 第二章网络业务识别j 控制技术 于t c p 的网络业务识别的基础是进行连接跟踪。 t c p 使用三次握手i l 】( t h r e e - w a yh a n d s h a k e ) 来建立连接。握手的第一个报文段可以 通过码元字段的s y n 比特置l 来识别。第二个报文的码元字段的s y n 和a c k 比特均置为1 ， 指出这是对第一个s y n 报文段的确认并继续握手操作。最后一次握手报文仅仅是一个确认 信息，通知目的主机已经成功建立了双方所同意的这个连接。在最简单的情况下，握手过 程如下图所示： 网点i 的事件网络报文网点2 的事件 ? ? 发送s y ns e q xl 、 ：、。q 、- 、+ 。 ； 、接收s y n 报文段 一一。一“发送s y ns e q = y ，a c kx + l 接收s y n + a c k 报文段- 一一一一一一 发送a c ky + l ；“、 、一i 接收a c k 报文段 i蚀i t h ，、t ，m r l ；b 0工 图2 2 三次握手的报文序列 使用t c p 通信的两个程序可以使用关闭操作来结束会话。t c p 协议内部使用改进的三 次握手来关闭连接。t c p 连接是全双工的，可以看作两个不同方向数据流的独立传输。当 一个应用程序通知t c p 数据已发送完毕时，t c p 将单向地关闭这个连接。为了关闭自己一 方的连接，发送方的t c p 送完剩下的数据段之后等待确认，然后再发送一个将码元字段的 f i n 比特黄1 的报文段。接收方的t c p 软件对f i n 报文段进行确认，并通知本端的应用程 序：整个通信已结束，后面再也没有数据了( 例如使用操作系统的文件结束符) 。下图描 述了这个过程： 网点i 的事件网络报文网点2 的事件 - ( 应用程序关闭连接l； 发送f 烈s e q = x 、 、一接收f 烈报文段 一一“。! 发送a c kx + l ； 一，一一7 “ ( 通知应用穰序) 接收a c k 撤文段t “。 ：， ( 应用程序关闭连接) ，一7 “ ：发送f 附s e q = y ，a c kx + l ，- f f 。 | 接收f i n + a c k 报文段一 发送a c k y + 一一、 “r 一接收a c k 报文段 图2 3 用于关闭连接的改进的三次握手操作 7 南京邮电人学硕i j 研究生学位论文 基于上述t c p 会话建立过程， 第二章嘲络业务识别j 控制技术 t c p 业务的识别流程如下所示： f 一一+ 收到报文 懈妊报文标击位盛行年 同的赴理嘏程 | v j 结柬撖文 i 处理流程 图2 4t c p 业务的识别流程图 1 报文哈希计算 为了提高报文处理速度，同时，为了防止由于动态内存分配造成的系统内存碎片太多 而导致系统稳定性下降，在业务识别过程中，采用数组作为会话存储的数据结构，将下标 作为会话定位参数，这样就能够依据数组下标，完成对报文的会话定位。我们可以采用流 行的哈希算法，利用报文的既有信息，通过哈希函数，计算出对应的数组下标。 一个实用的哈希函数h 应当满足下列条件：能快速计算、具有均匀性。目前比较通用 的哈希函数有下列几种【2 】： ( 1 ) 除留余数法 除留余数法的哈希函数的形式如下： h ( k e y ) = k e y m 其中，k e y 是关键字，m 是哈希表的大小。m 的选择十分重要，如果m 选择不当，在某 些选择关键字值的方式下，会造成严重冲突。多数情况下，选择一个不超过m 的素数p ， 会收到好的效果。 ( 2 ) 平方取中法 r 南京邮电大学倾一| ：研究生学位论文 第二章网络业务识别与控制技术 在符号表应用中广泛采用平方取中哈希函数。该方法首先将k e y 平方，然后( k e y ) 2 中 间部分作为h ( k e y ) 的值。中间部分的长度取决于m 的大小。 ( 3 ) 折叠法 折叠法是把关键字自左到右分成位数相等的几部分，每一部分的位数应与哈希表地址 位数相同，只有最后一部分的位数可以短一些。把这些部分的数叠加起来，就可以得到该 关键字值的哈希值。 有以下两种折叠方法： - 移位法：把各部分的最后一位对齐相加。 一分界法：沿各部分的分界来回折叠，然后对齐相加。 传统上采用五元组定义流：协议( p r o ) 、源i p ( 3 2 b i t ) ( s i p ) 、目的i p ( 3 2 b i t ) ( d i p ) 、 源端口( 1 6 b i t ) ( s p o r t ) 、目的端口( 1 6 b i t ) ( d p o r t ) ，因此可以简单地采用如下方法计算哈 希值： i 密e s s i o n h a s h = ( p r o f s i p + d i p + s p o r t + d p o r t ) m a x _ s e s s i o nc n t ： 该方法能够最快地实现哈希计算，但精确度不高，对于精度要求较高的系统，需要使 用精确的哈希算法。 2 t c ps y n 报文处理 当一个t c ps y n 报文到达的时候，首先检查是否已经有一条会话建立在会话缓冲区中， 如果是，清除该会话的相关时戳，更新统计信息。然后重新更新会话统计信息以及会话起 始时戳。 3 t c ps y n a c k 报文处理 当t c ps y n a c k 报文到达的时候，首先更新会话的统计信息，然后更新服务器的响应 时间，结束业务识别。 4 t c pa c k 报文处理 当t c pa c k 报文到达的时候，首先更新会话的统计信息，然后更新客户端的响应时间， 结束业务识别。 5 t c p 会话报文处理 当完成了t c p 会话的连接建立跟踪之后，就开始传输静荷数据了。对于需要进行协议 解析或者需要特征码检测的业务识别方式来说，此时即可进行业务识别。 6 t c pf i n r s t 报文处理 当收到f i n r s t 之后，表明一次会话已经结束，因此，需要在收到这个报文之后，拆 9 南京邮电人学硕i ：研究生学位论文 第二章网络业务识别0 挡制技术 除会话连接。 在业务识别中，收到会话结束请求报文之后，首先，将这个会话的统计结果传送到控 制台端；然后，将存储该会话的内存( 一个数组节点) 清零，完成一次会话的完整跟踪。 2 2网络业务控制技术研究 网络业务控制技术可以分成两个大的流派，一种是结合协议本身的设计机制，巧妙利 用协议本身提供的一些机制，实现流量控制；一种是采取缓冲、队列控制的办法，强制性 的实现流量控制。 对于t c p i p 协议来说，t c p 是面向连接的协议，提供了很多反馈控制的机制，能够端 到端的控制业务的速率。而u d p ( u s e rd a t a g r a mp r o t o c o l ，用户数据报协议) 只是一种 尽力而为的协议，没有端到端的反馈控制能力，因此，结合协议进行流量控制将局限于t c p 。 对于u d p 只能采取缓冲、队列控制进行流量控制。 根据网络管理设备在网络中部署位置不同，可以将网络业务控制分为串联网络控制和 并联网络控制。 2 2 1 串联网络控制技术 串联网络控制是将网络管理设备串联部署在网络出口，所有网络流量都流经该设备， 网络管理设备可以对流经的流量进行任何处理，因此便于对网络业务进行有效管理与控 制，但缺点是易于对j 下常网络业务造成不利影响。 1 串联设备流量控制主要算法 对于串联接入设备，流控的主要作用是限制最大带宽，保证最小可用带宽，其实现算 法最根本的是滑动窗口算法和令牌桶算法。 ( 1 ) 滑动窗口算法【3 】 按照滑动窗口的原理，收、发双方各有一个窗口分别是发送窗口和接收窗口。发送窗 口用来对发送端进行流量控制，而发送窗口的大小代表着在还没有收到对方确认的条件下 发送最多可以发送多少个数据( w ，) ；接收窗口是为了控制哪些数据可以接收而哪些数据 不可以接收。在接收端只有当收到的数据的发送序号落入接收窗口( w ，) 内才允许将该数 据收下。 滑动窗口是指只要当接收窗口保持不动时，发送窗口无论如何也不会向前滑动，只有 l n 南京邮i 乜人学颀i ：研究生学位论义 第一二章嘲络业务识别j 控制技术 在接收窗口发生滑动时，发送窗口才有了向前滑动的可能，如下图所示。 爵衢 艄 w t 后衿 弋 仄磷 汐l 糟 图2 5 发送窗口和接收窗口 对用户或用户群设定一定的窗口大小n ，在每隔一段时间将允许的流量p 重置为n ，而 在每段时间内，到来一定的流量，对p 进行减计数，对减计数后p 依然为正的报文判断为通 过，而减计数后p 为零或小于零的报文判断为丢弃。 这种算法的优点是实现简单，每个窗口只需要两个参数。缺点是可能会造成网络流量 的不稳定，在p 大于零的情况下，报文全部通过，而小于零时，报文全部被丢弃，不利于 实时业务的提供。对其进一步的改进：一是可以在平时进行随机丢弃，以推迟p 变为零的 时间；另外可以设定窗口大小可变，每个时间段根据上一个时间段的处理结果，调整窗口 的大小。 ( 2 ) 令牌桶算法【4 】 令牌桶( t o k e nb u c k e t ，t b ) 是网络设备的内部存储池，而令牌( t o k e n ) 则是以给 定速率填充令牌桶的虚拟信息包。每个到达的令牌都会从数据队列领出相应的数据包进行 发送，发送完数据后令牌被删除。由此，将令牌流和数据流进行了紧密的关联。 令牌桶有令牌桶尺寸( b u c k e ts i z e ) 、令牌流入速率( i n b o u n dr a t e ) 、峰值速率 ( p e a k r a t e ) 和缓冲队列尺寸( b u f f e rq u e u es i z e ) 几个相关参数。令牌桶尺寸，即瞬 间可用的最大令牌数量；令牌流入速率，即令牌进入令牌桶的设定速率：峰值速率，即令 牌流出令牌桶的最大速率，也就是令牌耗尽速率；缓冲队列尺寸，等待可用令牌到达前， 允许数据包缓冲存储的字节数。 令牌桶算法的基本过程描述如下： a 设置令牌桶。假设令牌桶的尺寸为a ( 以字节b y t e 计，即每个b y t e 表示一个令牌) ， 令牌流入速率为r 1 ，峰值速率( 令牌耗尽速率) 为r 2 ( r 2 r 1 ) ，缓冲队列长度为l ( 以字 节b y t e 计) 。 b 令牌流入令牌桶的过程。每隔i r 1 秒一个令牌被加入到令牌桶中，如果令牌到达 时令牌桶已经满了，那么这个令牌将被丢弃。 南京邮电人学硕l ：研究生学位论文 第_ 二章网络业务识别与挖制技术 c 令牌流出令牌桶的过程。假设令牌桶中现有t ( t = a ) 个令牌，则当一个n 个字节 的数据包到达时，考虑下面三种情况： a 如果n l ，数据包也将被丢 弃；三是它们可以继续发送，但需要做特殊标记，比如设置较低的优先级。 令牌桶算法描述示意图如下： 令牌j 丰入速率 ( r 1 ) 图2 6 令牌桶算法描述示意图 令牌桶算法的优点是其流量控制效果较好，能很好地完成流量整形：其桶深保证了一 定的突发速率，其令牌注入速率决定了稳定的最大流量，使流量曲线的起伏较小。缺点是 在基于多个控制目标时，其令牌更新时间的选择是个需要解决的问题。更新时间太长，会 造成类似于滑动窗口算法的问题，即流量不稳定，其流量整形功能效果不明显，太短会造 成对系统处理速度要求高，所以需要综合考虑，以确定较优的更新时间。 在实际应用中，通过窗口与令牌桶的结合，并行实现多种流控策略。 2 串联设备流量控制技术 ( 1 ) 基于i p 协议的流量控制 i p 协议中由i p 头部的t o s 字段来表示报文的优先级。但是在现有的互联网设备中只有 1 2 南京邮电人学硕i j 研究生学位论文第一二章网络业务识别。j 控制技术 少量设备支持t o s 字段，绝大多数设备干脆忽略了t o s 字段。因此，要利用i pt o s 实现c o s ， 需要在通信链路的两端均串联入一台设备，用于打标签和根据标签来控制报文转发。 ( 2 ) 基于t c p 协议的流量控制 t c p 协议采用滑动窗口技术来实现端到端的流量控制，因此可以利用t c p 的窗口通告信 息，对连接的两端进行流量控制。在需要抑制业务带宽的时候，根据当前网络带宽负载情 况，适当的调整报文的窗口值，减小窗口值将会导致对端减缓报文的发送，从源上抑制了 流入网络的数据，是一种较为有效的提高网络带宽利用率的技术。它与普通流量控制的r e d ( r a n d o me a r l yd e t e c t i o n ，随机早期检测) 算法不同的是，r e d 算法强制性的丢弃一些 报文，而这种情况必然导致用户端的重复传送，不恰当的报文丢弃算法必然造成网络中的 大量报文的重复传送，反而加重了网络负担，降低了网络带宽利用率。 ( 3 ) 基于队列调度算法的流量控制 队列调度算法是通过将进入端口数据进行排队，赋予每一个队列一定的调度优先级， 高优先级的队列较容易获得队列调度，低优先级的队列将延长其缓冲在队列的时间，甚至 被强制丢弃。 队列调度算法目前应用最为广泛的是漏桶、令牌桶算法和预测丢弃算法r e d 。 令牌桶算法综合考虑了报文长度、优先级，同时增加了队列环回机制( 低优先级的报 文在需要发送的时候如果仍然不能获取令牌，则自动重新从队列尾部开始重新排队) ，避 免了报文丢弃造成的网络重传，因此是较为完善的一种算法。但是令牌桶算法实现较为复 杂，需要占用大量的缓冲区资源，调度算法本身也要占用大量的c p u 时间，因此，在轻负 载网络环境中，推荐使用令牌桶。 r e d 算法是根据一定的调度策略，对于低优先级的队列在调度过程中如果没有可用的 网络资源发送数据，则简单地丢弃报文。这样当用户端发现报文被丢弃，一般都会放缓数 据的发送，从另一个角度抑制了数据传送。但是用户端必然需要重传丢弃的报文，造成了 网络资源浪费。r e d 算法较为简单，适合在高速网络中实现，同时尽量用延缓报文发送时 间的方法而不是直接丢弃，这样能够用一定的设备资源占用换取网络传送时延增大效应， 抑制用户端数据的发送。 2 2 2 并联网络控制技术 并联网络控制是将网络管理设备并联在网络中，网络实际流量并不流经该设备，仅仅 是通过分光或端口映射等方式采集网络数