（计算机科学与技术专业论文）基于网格的网络流量分析及性能监控系统的设计与实现.pdf

北京邮电大学硕士论文 摘要 基于网格的网络流量分析及性能监控系统的设计与实现 摘要 随着网络的不断发展，网络流量分析在网络管理中具有重要作 用，它为网管人员提供网络流量数据，方便其维护、优化、管理网络。 但是随着网络流量的加大，由于性能的限制网络流量分析系统并不能 处理大的数据流量。而网格技术可以最大限度的利用分布资源，实现 资源共享，是当前并行和分布处理技术的一个发展方向。如何恰当地 利用网格技术对网络流量进行高效准确的分析识别成为计算机界的 一个热点。 目前的网格技术对于普通用户来说常常是难以学习和使用的，为 此网格门户应运而生，网格门户是指对网格资源和服务的内容进行整 合显示的一种w e b 应用。网格门户屏蔽了网格资源复杂的内部细节， 使用户能通过一个熟悉的用户界面、一致的操作方式和高效方便的访 问机制来使用网格系统和获取网格服务，从而解决网格系统资源使用 复杂的问题。 本文在查阅了网格门户领域及网络流量分析等相关文献的基础 上，在“基于网格技术的网络流量分析平台”科研建设项目的研究 背景下，具体做了如下一些工作： ( 1 ) 论述了网格门户出现的背景、网格门户的基本概念、网格门 户的国内外研究和发展现状。 ( 2 ) 建立了基于g r i d s p h e r e 的网格门户，介绍了使用 i 北京邮电大学硕士论文摘要 g r i d s p h e r e 构建网格门户的搭建过程，并对其整体结构及 相关技术进行了分析。 ( 3 ) 对网络流量分析的背景、网络流量分析的发展状况进行了论 述。 ( 4 ) 编程实现了网络流量分析部分，完成了对网络流量进行聚 合、查询等基本功能，并使用三种方法对异常流量进行了分 析。 ( 5 ) 编程实现了网格系统性能监控部分，实现了对网格节点的性 能监控。 关键词：网格门户，g r i d s p h e r e ，p o r t l e t s ，流量分析，异常流量 北京邮电大学硕士论文摘要 d es i g na n di m p l e m e n t a t i o no fn e t w o r k t r a f f i ca n a l y s i sa n dp e r f o r m a n c em o n i t o r s y s t e mb a s e do ng r i d a b s t r a c t w i t ht h ec o n t i n u o u s d e v e l o p m e n to fn e t w o r k , n e t w o r kt r a f f i c a n a l y s i sp l a y sa l li m p o r t a n tr o l eo nn e t w o r km a n a g e m e n tw h i c hp r o v i d e s n e t w o r kt r a f f i cd a t at on e t w o r ka d m i n i s t r a t o r s f a c i l i t a t i n gn e t w o r k m a i n t e n a n c e ，o p t i m i z a t i o na n dm a n a g e m e n t h o w e v e r , a sn e t w o r kt r a f f i c i n c r e a s e d ，t h en e t w o r kt r a f f i ca n a l y s i ss y s t e mc a nn o td e a lw i t hl a r g e n e t w o r kt r a f f i cd u et op e r f o r m a n c ec o n s t r a i n t s a n dg r i ds y s t e mi s d e s i g n e dt om a x i m i z et h eu t i l i z a t i o no fd i s t r i b u t e dr e s o u r c e sa n da c h i e v e r e s o u r c es h a r i n g g r i dt e c h n o l o g yi sad e v e l o p m e n td i r e c t i o ni nt h ef i e l d o fp a r a l l e la n dd i s t r i b u t e dp r o c e s s i n gt e c h n o l o g y h o wt ou t i l i z eg r i d t e c h n o l o g yf o re f f i c i e n ta n da c c u r a t en e t w o r kt r a f f i ca n a l y s i sh a sb e c o m e ah o ti s s u ei nc o m p u t e ri n d u s t r y t h ec u r r e n tg r i dt e c h n o l o g yi so f t e nd i f f i c u l tt os t u d ya n du s ef o r o r d i n a r yu s e r s ，s og r i dp o r t a lc o m e si n t oe x i s t e n c e g r i dp o r t a li saw e b a p p l i c a t i o n t h a t i n t e g r a t e sg 打d r e s o u r c e sa n ds e r v i c e s i ts h i e l d s c o m p l i c a t e di n t e r n a ld e t a i l sf o r 酣dr e s o u r c e s ，a l l o w i n gu s e r st ou s eg r i d s y s t e m a n da c c e s s 鲥ds e r v i c e s t h r o u g h af a m i l i a ru s e ri n t e r f a c e ， c o n s i s t e n to p e r a t i o nm e c h a n i s ma n de f f i c i e n ta c c e s sm e c h a n i s m ，s oa st o 北京邮电大学硕士论文摘要 s o l v et h e c o m p l e x i t yi nu s i n gg 打dc o m p u t i n g r e s o u r c e s i nt h i st h e s i s ，e x t e n s i v er e s e a r c hh a sb e e nd o n eo nr e v i e w i n gt h e r e l a t e dd o c u m e n t si nt h ef i l e do fg r i dp o r t a la n dn e t w o r kt r a f f i ca n a l y s i s a n db a s e do nt h ep r o j e c to f g r i d b a s e dt r a f f i ca n a l y s i sp l a t f o r m ”， s o m ew o r kh a sb e e n d o n ea sf o l l o w s ( 1 ) d i s c u s st h eb a c k g r o u n d ，b a s i cc o n c e p ta n dt h er e s e a r c hs t a t u sa t h o m ea n da b r o a do f g r i dp o r t a l ( 2 ) s e tu pt h eg r i dp o r t a lb a s e do ng r i d s p h e r et e c h n o l o g y , a n d i n t r o d u c et h ep r o c e s so fb u i l d i n gt h eg r i dp o r t a lu s i n gg r i d s p h e r e ，a n d a n a l y z et h eo v e r a l ls t r u c t u r ea n dr e l a t e dt e c h n o l o g yo fg r i d s p h e r e ( 3 ) d i s c u s st h eb a c k g r o u n do fn e t w o r kt r a f f i ca n a l y s i sa n dt h e d e v e l o p m e n ts t a t u so f n e t w o r kt r a f f i ca n a l y s i s ( 4 ) i m p l e m e n tt h ef u n c t i o no fn e t w o r kt r a f f i ca n a l y s i s ，a n dr e a l i z et h e b a s i cf u n c t i o n so fn e t w o r kt r a f f i ca g g r e g a t i o n ，q u e r ya n ds oo n ， m e a n w h i l e ，t h r e em e t h o d sa r ed e s i g n e dt oa n a l y z et h ea b n o r m a ln e t w o r k t r a f i l e ( 5 ) i m p l e m e n tt h eg i r ds y s t e mp e r f o r m a n c em o n i t o r i n gf u n c t i o n ， t h r o u g hw h i c h t h ep e r f o r m a n c em o n i t o r i n go fg r i dn o d e si nt h eg r i d s y s t e ma r er e a l i z e d k e yw o r d s ：g r i dp o r t a l ，g r i d s p h e r e ，p o r t l e t s ，n e t w o r kt r a f f i c a n a l y s i s ，a b n o r m a ln e t w o r kt r a f f i c l v 北京邮电大学硕士论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：2 兰垄要：日期： 圭旦丝乞星：么笸 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 耋堡宜 导师签名： 日期：圭丝2 ：主：丝 日期：主丝z 兰：丝 北京邮电大学硕士论文 第一章绪论 1 1 课题背景及研究现状 第一章绪论 随着网络的应用越来越广泛，规模也随之日渐增长，网络中承载的业务也越 来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征， 以便使网络带宽配置最优化，及时解决网络性能问题。另外随着计算机对数据处 理能力日益增加，超高速的机器处理能力、复杂的数据存储方法、下一代远程通 信、新一代操作系统和服务以及非常高级的网络服务能力标志着我们正在向一个 计算新纪元迈进。与此同时，为了能从经济效益出发，以较小的投资为用户提供 最大的便利，网络营运商必须了解用户对网络的访问情况，从而调整网络设备架 构和业务架构。网络流量分析系统直接从业务级入手，以流量统计分析为主，直 接为运营商提供所需信息。但是，当今的超级计算机已经不能高效解决千兆、万 兆以上的网络流量分析的问题。“网格计算 ( g r i dc o m p u t i n g ) 【1 】就是为了解决 这样的难题而产生的。本课题的工作是基于网格的流量分析系统中的一部分，主 要关注于两方面，一是通过网格门户来对底层网格进行系统调用，二是对网络流 量及异常流量进行分析。 1 1 1 网格门户背景及研究现状 网格是利用互联网把地理上广泛分布的各种资源( 包括计算资源、存储资源、 带宽资源、软件资源、数据资源、信息资源、知识资源等) 连成一个逻辑整体， 就像一台超级计算机一样，为用户提供一体化信息和应用服务( 计算、存储、访 问等) ，网格技术对各种资源的集成简化了用户对分布式数据的访问，使高效的 调度任务成为可能，最终实现在这个虚拟环境下进行资源共享和协同工作，彻底 消除资源“孤岛，实现信息共享。随着网格技术和服务网格理念的逐步成熟， 以“服务”的方式来封装网格资源已经成为了一种趋势，并得到了网格界的一致 认同，服务网格是一种通用的网格，是面向服务的。它的基本构架是一个提供跨 资源分布的服务与功能的公共集，通过虚拟组织的手段，将网格中的一切资源都 抽象成为服务，更好地满足复杂、多变用户的应用需求。其目的就是为服务资源 提供一个统一的访问接口，同时又保持了网格的动态性，其核心就是把网格中一 切异构的资源表示成面向服务架构s o a 的服务。 北京邮电大学硕士论文 第一章绪论 目前的网格技术对于非专业人员来说常常难以学习和使用。因此，需要在这 些网格技术基础上开发一个易用的门户界面允许使用网格的门户，为用户提供了 一个惯用的、一致的方法，使用标准的w e b 浏览器与复杂的底层网格工具和服 务进行交互，建立网格门户是上述问题很好的解决办法。网格门户【2 1 不需要安装 客户机软件，基于p o r t l e t 的服务网格门户作为网格使用者的用户界面，屏蔽了 网格环境的各种复杂特性，方便透明地为用户提供一个网格访问入口，帮助用户 操纵网格资源。 早期的网格门户系统基本上是面向w e b 的，针对特定领域的应用，使用g p d k 等编程语言，这些门户系统在特定应用中能够解决本领域大量问题，但是也存在 以下不足：( 1 ) 面向特定应用领域，缺乏一个统一的网格门户开发和运行平台， 使得网格门户各组件的可重用度极低；( 2 ) 开发过程比较复杂，网格门户系统软 件可维护性降低；( 3 ) 用户无法根据使用习惯较灵活地定制网格门户组件，以上 这些不足，不但给网格门户的开发和使用带来不便，而且直接导致网格门户开发 技术和使用模式长期缺乏统一的标准，制约了网格技术的发展。随着j s r l 6 8 3 l 规范的提出，出现了基于p o r t l e t 4 的网格门户系统的设计，不仅很好的解决了上 述问题，而且还提供了如用户帐号管理和p o r t l e t 部署支持之类的功能，极大地 减轻了门户开发人员的负担，开发人员可主要集中于p o r t l e t 开发，特别是业务 逻辑层的开发。 1 1 2 网络流量分析背景及研究现状 随着网络技术的迅速发展和各种网络业务应用的普及，计算机网络的应用己 经渗透到人们生活的每一个角落，网络已成为人们日常工作生活中不可或缺的信 息承载工具，与此同时网络犯罪同时也不断蔓延，相应的安全自然随着应用的不 断扩展而变得越来越重要，尤其是电子政务应用的发展，对网络安全提出了更高 的要求。人们对网络性能的要求也越来越高，在众多影响网络性能的因素中，网络 流量是最为重要的因素之一。因此，对网络流量的分析可以为网络的运行和维护 提供重要信息，对于网络性能分析、异常监测、链路状态监测、容量规划等发挥 着重要作用。 随着网络应用的不断增加，网络带宽的不断扩展，当前的网络流量分析工具 已经呈现出越来越多的弊端。首先，协议识别率不高，由于目前主流的网络流量 分析工具是根据固定端口来识别的，而越来越多的网络应用已经可以采用任意端 口或者随机端口，因此当前网络流量分析工具中，协议识别5 0 以上的流量都不 能够识别出来；其次，分析效率不高，随着网络带宽的不断增加，网络流量分析 工具将会面对千兆、万兆甚至是万兆以上的流量，现有的单机或者集群已经不能 2 北京邮电大学硕士论文 第一章绪论 够满足网络流量分析的工具，因此对于大流量，现有的网络流量分析工具的效率 将非常低；再次，异构性差，当前的网络流量分析工具只能在一种平台上使用， 要么w i n d o w s 平台，要么u n i x 平台，而不能够同时使用两种平台，这样对于流 量分析工具的扩展产生了不利的影响，从而影响到了网络流量分析的性能；最后， 扩展性差，由于当前网络流量分析工具多数都是单机运行的，不能够实现多处理 器并行处理网络流量，因此对于网络流量分析工具的扩展性有很大的限制。 另外随着人们对计算机网络的依赖不断增强，网络的重要性对社会的影响也 越来越大。与此同时，网络上形形色色的异常流量i s 】也随之而来，影响了网络的 正常运行，威胁用户主机的安全和正常使用。因此网络管理人员也需要对网络流 量中的异常流量进行分析和监控。 1 2 研究内容及创新点 针对上述对网格门户及网络流量分析的背景研究，分析了其中存在的问题， 并结合当前最新技术的发展，本文所做的工作是网络流量分析及网格技术结合系 统中的一部分，两者相结合发挥网格技术的长处，解决了网络流量分析中的有关 问题。本系统主要由三个部分组成，( 1 ) 网格门户部分，使用该部分来对底层网 格系统进行调度，屏蔽网格系统的复杂性，实现了能够通过w e b 界面来对底层 网格系统相关功能的调度，便于用户的操作。( 2 ) 网络流量分析部分，该部分的 基本功能是对网络流量数据进行分析，二次聚合，使用户能够通过相关查询来对 网络流量数据进行分析，同时使用相关a p i 将流量以报表的形式呈现给用户，便 于用户分析。同时使用三种不同的方法对网络中的异常流量进行了分析。( 3 ) 网 格系统性能监控部分，该部分主要是对底层网格系统进行监测，以便于观察底层 网格系统的性能，以及不同节点的任务分配情况，及各个节点的性能，以便于网 格任务分发的平衡性。本文的侧重点在于网格门户部分和网络流量分析部分，研 究了其如何对底层网格系统的复杂性进行屏蔽，以及网络流量分析中异常流量的 分析部分。 该论文的主要研究内容和关键的问题如下： ( 1 ) 网格门户部分，重点研究关于如何通过网格门户来对底层的网格系统进行 调用部分，主要包括在安装，配置完成g r i dp o r t l e t 后能够实现对底层网格调用 之后，对其调用技术的分析及研究，如何通过浏览器实现了对网格底层基础设施 的访问，提高了服务质量，屏蔽了网格底层的复杂性，并能够完成相关网格功能。 ( 2 ) 网络流量分析部分，其中的研究内容及关键点在于异常流量分析部分， 即如果识别出网络中的异常流量，在本论文中主要使用三种方法来分析异常流量 1 流量基线2 特征匹配3 基于t o p n 的方法。这三种方法是通过不同的方面来对 3 北京邮电大学硕士论文 第一章绪论 网络中的异常流量进行分析和发现。 1 3 本文的组织结构 论文的主要内容包括：技术背景，网格门户平台g r i d s p h e r e 及g r i d p o r t l e t l 6 】 的介绍及其开发调用过程，网络流量分析系统的设计与实现，监控系统的设计与 实现，整体试验结果与分析，系统的不足及进一步的工作等。论文将以如下结构 组织： 第一章为绪论，简单介绍课题背景，现在的研究现状，从网格门户和网络流 量分析两部分分析了网格门户、网络流量分析系统的特点、特征。并介绍了该论 文的主要研究内容以及创新点。 第二章主要介绍了整个系统整体设计及模块设计，以及系统的开发平台及开 发语言。 第三章重点介绍了网格门户g r i d s p h e r e 的概念、特点、体系结构，就 g r i d s p h e r e 安装及配置进行了介绍，并深入的研究分析了如何通过g r i d s p h e r 调 用底层网格，并对如何通过调用g r i d s p h e r e 的a p i 来编写网格门户进行了介绍。 第四章详细介绍了网络流量分析系统的设计需求，模块的划分及各个模块的 设计思想，介绍了系统的开发平台和开发工具，并给出了数据库设计，除了对基 本功能进行了分析之外，对异常流量分析部分进行了重点的分析。 第五章详细介绍了性能监控系统，详细阐述了该系统的实现过程，s n m pa p i 的调用，并给出了数据库设计。 第六章重点介绍了该系统的实验结果及实验分析。 第七章总结了开发本系统时所做的研究工作，并对将来的工作做了展望。 4 北京邮电大学硕士论文第二章系统的整体设计及模块 第二章系统的整体设计及模块 随着互联网技术的迅猛发展，网络带宽的不断扩展和更多的计算机联入 i n t e r n e t 网络，提供i n t e r n e t 服务的运营商也越来越多为了能从经济效益出发， 以较小的投资为用户提供最大的便利，网络营运商必须了解用户对网络的访问情 况，从而调整网络设备架构和业务架构。网络流量分析系统直接从业务级入手， 以流量统计分析为主，配合系统的安全管理及简单的流量告警管理，直接为运营 商提供所需信息。 网络的流量反映了网络( 物理链路) 的运行状态，是判别网络( 物理链路) 运行是否正常的关键数据。通过这些数据不仅能反应出网络中生产设备( 如路由 器、交换机等) 工作是否正常，而且往往能反映出整个网络营运的资源瓶颈，这 样营运商就可以根据网络的运行状态及时采取故障补救措施和进行相关的业务 部署。有了完善的流量告警管理系统，对该类影响生产和业务的网络故障就能够 及时预报、响应和指导解决，并提高网络的管理质量。 通常网络流量分析在以下两种典型的网络应用环境下进行：核心网的骨干节 点和局域网的网络出口。网络流量分析系统是网络管理的一个重要的辅助决策系 统，其定位的重点在于帮助营运商了解网络上何时、何人、做何事的应用状况， 即对网络流量的大小、流向、协议细节的监控和分析；对网络安全流量的监控； 依据网络流量使用量的计费等。然而现有的网络流量分析系统由于存在协议识别 率不高、分析效率不高、异构性差等缺点已不能适应当前网络发展的需要，解决 这一问题的途径就在于充分利用网格的特点，并分析网络中异常流量的特征，来 开发一套基于网格技术的网络流量分析系统。 2 1 系统的整体设计 该系统的整个体系结构如下图所示。 s 北京电大学顿论文第= 章系境的整体设计及模块 f o n t a l沮盈分析月格p 响l 嚣嚣勇网网网阍 m 一” f m 】一篇学 心别 麓环境 7、7、 凇艇襄毯 。圈啊_ 譬_ 】 _ 啊曩_ i ；鬻萋l 围2 - 1 基于同格的流量分析系统体系结构田 该系统自下而上分为资源层、通用网格服务层、网格应用开发环境、流量分 析服务层和网格门户l p o r t a l ) 。 网格门户( g r i dp o r t a l l 用户通过p o r t a l 可登录流量分析网格门户，进行安全性认证。只有通过认证 的用户，方可使用流量分析系统的各项功能。p o r t a l 还提供各种服务的组合，用 户可根据需求选择不同的服务。 _ 流量分析服务层 流量分析服务层包括流量分发、流量识别、流量分析以及性能监控。流量分 发用于将流量采集所获得的流量按照分析节点的处理能力分送到合适的节点。流 量识别用于通过不同应用的特征码对应用进行分类，根据收到的数据，对流量进 行分析，并将分析结果存储于数据库。性能监控服务主要用于将分析服务所得的 结果以图表的形式呈现出来目的使用户可实时监控网络中的流量。 同格应用开发环境层 应用开发环境层包括资源封装、服务包装与部署、数据访问接口和并行编程 接口，主要用于流量分析服务层的服务包装以及部署，同时，提供并行编程接口， 以实现流量分析功能的并行化。 通用网格服务 包括了g l o b u s 的大部分功能，例如信息管理功能、作业管理功能、服务容器、 资源管理功能、数据管理功能、安全管理功能和用户管理系统监控功能。 资源层 北京邮电大学硕士论文第二章系统的整体设计及模块 主要包括该平台所需的各种资源，如计算资源、网络资源、采集设备资源、 数据库以及文件。流量分析服务启动之后，以并行计算方式运行在多个计算节点 上。计算过程所需各类数据可由数据资源节点获得。计算的最终结果将以图表的 形式呈现给用户 2 2 系统的模块划分 上节讲到了整个系统的设计，本文所做的工作是整体系统中的一部分，主要 工作是网格门户层和流量分析服务层，即在图2 - 1 中最上面的两个层。 在本文中我们主要整体系统中如下三个方面 ( 1 ) 网格门户部分。( 2 ) 网络流量分析部分。( 3 ) 网格系统性能监控部分。 其中网格门户部分位于整体系统的最上层，有它来对底层网格进行系统调用。而 网络流量分析部分以及网格系统性能监控部分，处于流量分析服务层。这三个部 分都是基于g r i d s p h e r e 平台的。关于g r i d s p h e r e ，我们将在后续章节进行介绍。 在这里我们并没有对网格系统进行分析，因为它对上述三个部分是透明的。 2 2 1 网格门户部分 构建于网格中间件之上的网格门户担当着网格大门的角色，它们使人们能更 顺利地学习使用网格。网格门户不需要安装客户机软件，只需一个w e b 浏览器 即可。由于不再限制用户必须使用带有网格中间件的计算机，因而使普适访问成 为可能。通过w e b 门户透明访问的网格系统应用程序吸引了越来越多的网格用 户。 主要功能是实现对底层网格的相关调用，为用户提供了一个灵活易用的接 口，屏蔽了网格环境的各种复杂特性，方便透明地为用户提供一个网格访问入口， 帮助用户操纵网格资源。通过使用该门户系统，用户可以透明的调用底层的网格 资源，并进行相应的管理，方便了用户的操作，屏蔽了网格的复杂性。 网格门户通过浏览器实现了对网格底层基础设施的访问，提高了服务质量， 屏蔽了网格底层的复杂性。网格门户为网格系统的注册、配置提供了一个w e b 界面，能够便于操作，它所提供的功能主要包括：( 1 ) 证书的颁发、认证。( 2 ) 资源注册、获取。( 3 ) 提交作业。( 4 ) 管理远程文件。 2 2 2 网络流量分析部分 该部分是对网格系统中收集、处理完成的网络流量数据进行分析。该部分的 7 北京邮电大学硕士论文第二章系统的整体设计及模块 网络流量信息全部基于f l o w 格式，即流数据格式，流( f l o w ) 指的是两个节点之 间数据包的单向序列( 也就是说，对每一个连接会话都有两个流，从服务器到客 户端的和从客户端到服务器的) ，用起止时间分隔开，可以用下面7 个关键域进 行标识问：源i p 地址、目的i p 地址、源端口、目的端口、协议类型、服务类型、 路由器输入接口。在这里我们只关心五个部分( 即源地址、目的地址、源端口、 目的端口和协议类型该部分) 。 该部分的基本功能主要是与数据库建立连接，并根据相关条件来对存储的网 络流量数据进行查询，并进行聚合，同时通过使用j r o b i n 和j f r e e c h a r t 等a p i 将 数据生成图形的形式，并在页面上将数据以图形和表格的形式呈现给用户。 网管人员可按照系统提供的参数来设定监控条件，系统根据设定的监控条件 过滤得来的流量纪录( f l o wr e c o r d ) ，并将符合监控条件的统计资料存入系统数 据库中，最后，系统便可以从数据库里读取数据做成各种图表( r e p o r t ) 。因此，网 络管理员可针对网络的重要链路进行流量监控，掌握不同链路的流量基线，及时 了解链路的负载和发现问题。 随着i p 网络应用范围的不断扩大，网络中也经常会出现黑客攻击、病毒泛滥 的情况，而这些网络突发事件从设备和网管的角度看却很难发现问题，经常也让网 络管理员感到棘手。因此，针对网络中突发性的异常流量分析将有助于网络管理 员发现和解决问题 在进行异常流量分析方面使用了三种方法：1 基于基线的方法：分析日常采 集到的统计数据，掌握网络的流量分布状况以及全网通信的正常基线，以此为依 据对可能出现的通信异常进行评估2 基于特征的方法：根据网络的吞吐量，某 些主机之间的流量、某些i p 协议的使用、端口号的使用、t c pf l a g 分布等各种属 性，分析出某些异常流量的特征，再将当前流量与之进行匹配。3 基于t o p n 的 方法根据：协议分布、源地址、目的地址、会话等属性进行排序，从中发现异常 流量。 该部分的基础功能主要是对数据进行二次聚合、统计分析，分析的结果以非 常直观的图表、表格等形式展示给用户，通过这些分析结果，用户可以监控网络 使用状况、应用使用状况、用户网络访问行为，并可以监控到流量异常状况以便 用户进一步做分析。，网络管理员可针对网络的重要链路进行流量监控，掌握不同 链路的流量基线，及时了解链路的负载和发现问题。可以开启实时监控功能，针对 所设定的范围做流量数据的收集与分析。在同一时间里，还可以开启多个实时监 控窗口，每一窗口独立监控一项设定，并根据搜集得来的资料自动排序，做成各种 报表。便于网络管理员对网络使用情况的了解。 8 北京邮电大学硕士论文第二章系统的整体设计及模块 2 2 3 网管系统性能监控 该部分是通过w e b 界面来对网格系统中各个节点的计算机的性能进行监 控。可以在w e b 页面上显示各个节点的计算机的软硬件性能，并进行监控。以 便于对网格中各个节点的机器使用情况，任务分配情况是否均衡，具有直观的观 察，并做出相应的处理。 在后台部分使用s n m p 协议，循环的采集各个节点的性能数据，主要包括c p u 利用率，内存使用情况，接收及发送的t c p 报文数量等数据，并对节点进行监控， 并将监控的结果及时的呈现到w e b 界面上。该部分主要是对网格中各个节点的 性能进行观察比较，能够发现网格中各个节点所运行的任务的不同，从而所占有 的c p u 、内存使用率则不同，通过该部分可以观察出网格系统中各个节点的运算 量是否负载均衡，任务分配是否平衡。 2 - 3 系统的开发平台及开发工具 该系统的开发是基于g r i d s p h e r 平台的，是用j a v a 编程语言来进行开发。 g r i d s p h e r e 是一个开发可重用、标准组件的体系框架，这些组件被称为p o r t l e t 。 g r i d s p h e r e 框架可看作一个应用程序包，它提供了一组核心p o r t l e t 以及p o r t l e t 应用的开发环境和一个p o r t l e t 容器来管理p o r t l e t 。其目标是尽可能方便地开发 新的p o r t a l 接口、提供新的功能。 主要任务是首先安装并调试g r i d s p h e r e ，并将其部署在t o m c a t 容器中，然后 使用j a v a 并根据g r i ds p h e r e 所提供的p o r t l e ta p i 以及其他相关a p i ，来进行开 发，并将这些p o r t l e t 添加到g r i ds p h e r e 中来运行。 在实习该系统是所用到的开发平台及工具如下： e c l i p s e3 4 、m y s q l s 0 、j r o b i n 、g r i d s p h e r e2 2 1 0 、g r i d p o r t l e t s1 4 、j a v aj 2 s d k 、 a p a c h e a n t - 1 6 2 、j a k a r t a - t o m c a t - 5 0 2 8 等。 9 北京邮电大学硕士论文第三章网格门户的设计与实现 3 1 网格门户 第三章网格门户的设计与实现 门户技术及网格门户技术都是随着互联网的发展而提出的，下面我们将对网 格门户技术进行简介并介绍了网格门户中g r i d s p h e r e ，并其基本结构进行了分 析。 3 1 1 网格门户简介 在互联网时代，门户是一个很流行的概念，并非为网格所专用。它是指为用 户提供一组资源集合的集中接入。门户将多种资源的个性化信息显示在一个页面 中，从而使用户可以高效的获得资源接入而不需要分别单独访问多个站点去获得 资源。简单的说，门户就是一个信息集成网站。早期的门户主要是企业门户，实 现企业的信息发布和内容管理。企业门户的主要目的是代替传统的方式来发布和 共享企业信息，这其中没有涉及到服务的提供功能，用户只能浏览各种信息，一 般不能参与到其中。 网格技术的出现是为了解决系统功能层的连接，突破了w e b 技术所提供的 内容层的连接。但是网格技术包括各种复杂的实现部分：任务调度，安全管理， 资源分配，性能监控等等，所以网格技术对网格用户的要求非常高，早期的网格 只能为精通计算机的用户所使用，采用基于命令行的复杂人机界面，这样就限制 了网格的大规模使用。相比较，w e b 对用户的要求非常底，使得w e b 技术飞速 发展，赢得了大量的用户群，正是w e b 技术推动了企业门户的快速发展。为了 推广网格的使用，改变网格使用率低下的状况，网格界借鉴企业门户技术，提出 了网格门户技术。网格门户技术本质上是使用w e b 技术调用网格服务，提高了 网格的易用性，便于用户使用。在充分理解网格计算的基础上，网格门户技术还 要借鉴传统的门户技术，提高网格门户技术的开发效率。 网格门户通过浏览器实现了对网格底层基础设施的访问，提高了服务质量， 屏蔽了网格底层的复杂性。网格门户技术作为网格计算的访问层技术的实现，它 同时融合了网格计算和门户技术的力量。随着网格计算和门户技术的发展，网格 门户技术也在不断的发展，在提供网格易用性的同时，也逐渐提出了对网格门户 开发的可扩展性、可移植性等方面的要求。网格门户技术的发展就是不断的从传 北京邮电大学硕士论文 第三章网格门户的设计与实现 统门户技术的发展中汲取经验和教训，适应网格计算的自身特点，结合网格技术 的最新发展，充分挖掘网格计算的潜力，为网格用户提供高质量的服务。 随着网格技术的发展，尤其是对网格中间件系统的大量研发之后，相应标准 的网格中间件系统的实现技术渐渐成熟，对网格门户的开发和使用提出了新的需 求，出现了专门针对网格门户技术的研究，主要是推出了网格门户开发工具包。 3 1 2g r i d s p h e r e 简介 g r i d s p h e r e 是专门为网格门户的开发提供了一个框架，g r i d s p h e r e 采用了 p o r t l e t 技术，主要是开发p o r t l e t 运行库，为网格门户的开发提供运行时环境， 用户可以采用g r i d s p h e r e 提供的开发框架开发网格门户和w e b 门户，所以该项 目是比较通用的开发框架，并非完全针对网格门户的开发。 本课题使用g r i d s p h e r e 来作为网格门户的平台，g r i d s p h e r e 是开放的源代码， 它提供对基于p o r t l e t 的门户的支持，它是第一个支持j s r l 6 8 规范的开源p o r t a l 框架。它是在欧盟提供基金的g r i d l a b 项目下开发的，提供了一个非常复杂的门 户，该门户为各种终端用户提供高度定制的环境，它能够使开发人员快速开发和 包装第三方p o r t l e tw e b 应用程序，可以在g r i d s p h e r ep o r t l e t 容器内运行这些应 用程序并对其进行管理。 g r i d s p h e r e 采用了p o r t l e t 7 技术，主要提高了是开发p o r t l e t 运行库，为网格 门户的开发提供运行时环境，用户可以采用g r i d s p h e r e 提供的开发框架开发网格 门户和w e b 门户，所以该项目是比较通用的开发框架，并非完全针对网格门户 的开发。通过使用g r i d s p h e r e 所提供的p o r t l e ta p i ，也可以开发与网格无关的门户， 本课题中网络流量分析部分就使用了该p o r t l e ta p i g r i d s p h e r e 是一个开发可重用、标准组件的体系框架，这些组件被称为 p o r t l e t 。g r i d s p h e r e 框架可看作一个应用程序包，它提供了一组核心p o r t l e t 以 及p o r t l e t 应用的开发环境和一个p o r t l e t 容器来管理p o r t l e t 。其目标是尽可能方 便地开发新的p o r t a l 接口、提供新的功能。g r i d s p h e r e 框架包含一组核心的 p o r t l e t ，以提供启动网格门户所必需的功能。核心p o r t l e t 的功能包括登录、注销、 位置选择、用户申请，用户管理、布局配置、p o r t l e t 描述、p o r t l e t 定制、本地文 件管理、记事本、消息传递和访问控制管理。另外，为了更好的支持网格服务的 开发，g r i d s p h e r e 还提供了一些基本的网格服务：认证管理服务，作业管理服务， 作业监控服务，文件传输服务，数据管理服务等，开发人员可以基于这些服务开 发自己的网格服务。其中，一些关键组件和j 2 e e 中s e r v l e t 8 1 容器一起构成w e b 应用程序服务器。一旦w e b 浏览器上的用户对门户发出请求便可触发 g r i d s p h e r es e r v l e t ，然后g r i d s p h e r e 负责把对应的输出发送给用户浏览器，对 t l 北京邮电大学硕士论文第三章网格门户的设计与实现 l a y o u t 引擎起着控制转发的作用。g r i d s p h e r es e r v l e t 和l a y o u t 引擎均通过核心 服务( 包括p o r t l e t 注册服务) 调用门户页面中相应的p o k l e t 。 3 1 3g r i d s p h e r e 的体系结构 g r i d s p h e r e 的体系结构【9 l 中包含一个p o r t l e t 应用的实现、一个p o r t l e t 容器、 一组核心服务和一组p o r t l e t ，如图1 所示。其中，一些关键组件和s e r v l e t 容器 一起构成w e b 应用程序服务器。一旦w e b 浏览器上的用户对门户发出请求便 可触发g r i d s p h e r es e r v l e t ，然后g r i d s p h e r e 负责把对应的输出发送给用户浏览 器，对l a y o u t 引擎起着控制转发的作用。g r i d s p h e r es e r v l e t 和l a y o u t 引擎均通 过核心服务( 包括p o r t l e t 注册服务) 调用门户页面中相应的p o r t l e t 。 l c l i e n tb r o w s e r 土 g r i ds p h e r es e r v l e t p o r t a ll a y o u te n g i n e p o r t i e ta p ic o r ep o r t i e t c o r es e r v i c e s s e r v l e tc o n t a i n e r 图3 - 1g r i d s p h e r e 体系结构图 其中l a y o u t 在门户中被定义为x m l 描述文件，其嵌套结构可以很方便地构 造一个模板的布局，并且很容易修改，它是底层表示技术( 通常为h t m l ) 的一 个抽象层。x m l 描述文件是一个嵌套的树型结构( 称为l a y o u t 树) ，它采用合 成设计模式来表现l a y o u t 组件。g r i d s p h e r e 中的每个l a y o u t 组件如p o r t l e t - f r a m e ，p o r t l e t t a b b e d p a n e ，p o r t l e t t a b 及p o r t l e t c o n t e n t 等都有一个 p o r t l e t c o m p o n e n t 接口，这个接口定义了一系列有关生命周期的方法，类似于 p o r t l e t 生命周期的方法。有些l a y o u t 组件又可以作为其他组件的容器，点击一 个l a y o u t 组件将触发一个事件。在这个l a y o u t 树中，每个组件看作一个节点， 那么事件只会从一个节点传给其父节点，并不会传给其兄弟或子节点，直到传给 l a y o u t 树根。树根会调用相应的事件处理原路返回，即并不是所有的l a y o u t 组 件都参与进来了。l a y o u t 引擎有很好的灵活性并且完全可以定制。通过创建一 北京邮电大学硕士论文第三章网格门户的设计与实现 个x m l 描述元素和一个