基于校园网的网络性能测量与评价技术的研究.doc

基于校园网的网络性能测量与评价技术的研究重庆大学硕士学位论文（学术学位）学生姓名：赵华琼指导教师：唐学文高工专业：计算机系统结构学科门类：工学重庆大学计算机学院二O一四年四月 Research on Network Performance Measurement and Evaluation Technology Based on Campus Network A Thesis Submitted to Chongqing Universityin Partial Fulfillment of the Requirement for theMasters Degree of EngineeringByZhao HuaqiongSupervised by Senior Engineer Tang XuewenSpecialty：Computer System ArchitectureCollege of Computer Science of Chongqing University, Chongqing, China April 2014 重庆大学硕士学位论文中文摘要摘要随着网络技术的迅速发展和网络应用业务的逐渐丰富，网络影响到生活的各个领域，用户对网络的稳定性、可用性和响应时间的要求逐渐变高。为了提高网络服务质量（Quality of Service，QoS）以确保网络能够承载各种网络应用业务，网络测量和网络评价技术显得尤为重要。网络测量以网络设备为主要被管对象，采集相关网络性能数据；网络评价以这些性能数据为基础，建立QoS的评价模型，对网络上不同的网络业务的运行情况进行分析和评估。本文针对重庆大学校园网络管理系统，从具体的网络应用业务的用户体验质量（Quality of Experience，QoE）的角度对网络测量和评价技术进行了相关的研究。研究的内容主要有以下几点：研究网络性能的测量指标及测量方法，提出一种自适应的流量数据采集算法。该方法通过计算在一段时间Dt内，流量数据大小的浮动值DD相对于测量平滑区间 n内的平均测量值 Dn的平均变化幅度以及变化速率，来调整下一次流量数据采集的时间间隔，从而获取更多流量数据变化的细节信息，减少了数据采集次数。提出一种改进的SNMP性能数据采集方法。采用SNMPv2中的GetBulk操作与SNMP Get操作相结合的方式，通过区分标量对象、一次“下一个对象操作”的列对象和多次“下一个对象操作”的列对象，最大程度地增加每个 Response数据包中返回的信息量，从而降低了网络管理站与代理设备的通讯次数，提高了代理设备处理Request报文的响应速度，大大减少了数据采集的冗余数据量。针对不同厂商网络设备的Trap数据格式和数据项的差异，设计了一种通用的SNMP Trap数据采集方法，可以很及时地对网络中的故障和告警信息进行展示和统计，以方便网络管理者进行网络维护。从网络业务质量的角度出发，提出一种面向网络业务的基于模糊层次分析法的质量评估模型。该模型考虑到网络中各个QoS性能指标参数之间的相互影响作用以及具体的网络应用业务对不同性能指标参数的敏感程度，结合统计学方法，对校园网中两条网络路径的业务质量进行了评估和分析。在重庆大学校园网络管理系统上进行具体的实践。通过结合ICMP与SNMP中轮询及Trap的测量方式，对校园网内网络路径的性能状况进行测量和评价。关键词：网络测量，网络性能，SNMP，校园网，QoSI 重庆大学硕士学位论文英文摘要ABSTRACT With the rapid development of network technology and the enrichment of networkapplication businesses, network gradually has penetrated into all aspects of life. Theusers requirements on the stability, availability and response time of network isbecoming increasingly high. In order to improve the QoS and ensure that the network iscapable of providing various network application businesses, network measurement andevaluation of technology become especially important.Network measurement takes network equipments as the mainly managed objects tocollect related performance data. Based on these performance data, some QoSevaluation models are established for network evaluation to assess the networkoperation conditions of different network businesses. In this paper, the networkmeasurement and evaluation technology are studied from the angle of QoE on theplatform of Chongqing university campus network management system. The mainworks are presented as follows: Research on the network performance metrics and measuring methods, anadaptive flow data collection method was proposed. This method firstly calculated thevariable flow value in a period of time, and then compared it to the averagemeasurement values. The range and rate of the change were used to determine whetherto adjust the time interval of the next data acquisition, so as to obtain more details of thevariation flow data, and to reduce the number of data acquisition. An improved SNMP performance data collection method was raised. Bycombining the SNMPv2 GetBulk operation with the SNMP Get operation anddistinguishing three types of variables: simple objects, one“get-next operation”column objects and repeatedly“get-next operation” column objects, this methodmaximum increased the amount of return information in each response packet, thusreduced the number of communications between network management system andagent, and enhanced the response speed of agent to handle the request packet, andgreatly decreased the redundancy data of data acquisition. For the difference in trap data format and data items of various networkequipment from different vendors，a general SNMP Trap data acquisition method isdesigned in order to display and statistic the network fault and alarm informationimmediately so as to facilitate the network maintenance for network managers.II 重庆大学硕士学位论文英文摘要From the point view of network application business quality, abusiness-objected quality evaluation model based on fuzzy analytic hierarchy processwas put forward. Considering about the mutual influence of each QoS networkperformance merit and the variation sensitive degree of performance merits betweenspecific network application business, this model evaluated and analyzed the networkbusiness quality of two campus links by statistical methods. Specific practice was experimented in Chongqing university campus networkmanagement system. Combined the ICMP mode with SNMP polling and traps mode,the performance of network paths were measured and evaluated.Keywords: Network Measurement, Network Performance, SNMP, Campus Network,QoSIII 重庆大学硕士学位论文目录目录中文摘要.I英文摘要. II1绪论. 11.1课题背景及意义 . 11.2研究现状 . 21.3本文研究内容 . 41.4本文组织结构 . 52网络性能测量研究概述. 62.1网络性能指标 . 62.1.1连通性和可用性 . 62.1.2准确度和利用率 . 62.1.3时延 . 72.1.4丢包率 . 82.1.5带宽 . 82.2网络性能测量方法 . 92.2.1测量方法的基本分类 . 92.2.2常用的测量工具 . 102.3简单网络管理协议 . 102.4网络测量面临的挑战 . 122.5本章小结 . 133基于测量的网络性能数据采集. 143.1测量技术基础概述 . 143.1.1网络测量原理 . 143.1.2数据采集方法 . 173.1.3主要测量指标 . 193.2自适应的变长周期网络流量采集算法 . 203.2.1传统的网络流量采集 . 203.2.2自适应的网络流量采集 . 213.3改进的SNMP轮询网络性能数据采集方法. 233.3.1数据采集轮询周期 . 243.3.2测量对象标识符 . 24IV 重庆大学硕士学位论文目录3.3.3算法及分析 . 253.4基于SNMP Trap的网络性能数据采集方法. 283.5实验分析 . 323.6本章小结 . 364基于模糊层次分析法的网络性能评估模型 . 374.1基本概念概述 . 374.2网络性能评估现状 . 384.3网络性能评估模型 . 394.3.1建立网络应用业务评价的层次结构 . 394.3.2确定方案权重和准则权重 . 404.3.3对各项指标进行规范化处理 . 424.3.4计算业务性能评估值 . 424.4实验分析 . 434.5本章小结 . 455基于重庆大学校园网的实践与分析 . 465.1系统实验环境 . 465.2系统设计实现 . 465.2.1系统架构 . 465.2.2数据采集 . 475.2.3数据存储 . 475.2.4分析展示 . 485.3系统运行图 . 485.4本章小结 . 516总结与展望 . 526.1本文总结 . 526.2下一步的工作 . 52致谢. 54参考文献. 55附录. 58A.作者在攻读学位期间发表的论文目录 . 58B.作者在攻读学位期间取得的科研成果目录 . 58V 重庆大学硕士学位论文1绪论1 绪论1.1课题背景及意义随着互联网网络应用技术的快速发展，网络的规模日趋庞大，复杂度越来越高，网络应用业务逐渐丰富。网络技术在给我们生活带来便捷的同时，网络的稳定性和安全性能变得更加重要。根据中国互联网信息中心在 2013年 7月公布的第32次中国互联网络发展状况统计报告1显示，截至 2013年 6月底，我国互联网普及率提升至 44.1%，网民人数相对于 2012年底增加 2656万人，达到了 5.91亿。中国的国际出口带宽在半年内增长至 2098150Mbps，增长率达到了 10.4%。网站数量和IP地址数量都有一定的增长率。国内网络用户对各类应用业务的使用越加频繁，电子商务和即时通信类业务继续保持快速发展，截至 2013年 6月底，网购率上升至 45.9%，网购用户达 2.71亿人。虽然网络容量和网络资源不断增加，但资源的增长并不能保证网络性能达到用户的期望。网络用户还是会经常遇到网速慢、不稳定，图片无法显示，网络应用无法使用等问题。而这些问题随时都有可能造成巨大的影响和损失。由于互联网和Web技术的商业化，不同的网络用户群对于不同的应用业务的服务质量有着不同的要求，传统的 TCP/IP网络所采用的“尽力转发”的机制，并不能按照用户的需求合理的调整网络结构和网络资源，故而不能很好的满足用户对于高质量高性能网络的要求。越来越多的电子商务类型网站需要实时处理用户的请求，网络的访问速度变得尤为重要。如果用户链接速度缓慢，用户不满意，就很容易使用户失去耐心，选择中断操作或是直接离开，这样会直接或间接地给网络服务提供商带来经济损失。如果大量用户认为网络所提供的服务质量较差，他们就会去选择其它网络接入商，给网络接入商带来损失。网络测量是指运用软硬件工具，依据一定的方法和技术对网络性能指标进行监测，从而监控网络运行状态好坏的过程。它是一种技术，通过追踪数据或分组在网络中的活动情况来分析各网络业务的状态。网络测量是对 Internet进行管理和维护的基础，通过网络测量可以指导帮助找到网络性能瓶颈，从而实现网络性能的最优化；网络性能评价是指在网络测量的基础上，针对各种测量指标对网络运行状况进行评价，通过量化分析网络性能数据，从而更直接反映网络的性能情况。准确的测量和评估网络当前运行状况，分析网络性能参数，监控网络性能，快速定位和排除网络故障尤为重要。对于网络运营商和网络用户而言，通过研究网络测量和评价技术可以实现对网络实际运行状态的模拟和评估，从而排除网络故障，调整网络资源，优化网络1 重庆大学硕士学位论文1绪论架构，提升网络服务质量及用户满意度。对学术研究者而言，研究网络测量和评价技术，可以建立互联网运行状态的模型，更好更彻底的研究互联网各项特征和规律，从而推动互联网快速高效准确的运行和扩容。网络测量和评价技术是了解互联网本质特征和网络行为的基本手段。研究网络性能测量技术不仅具有重要的理论价值，还能够产生积极良好的经济效益和社会效益。随着校园网内信息化技术的发展，校园网络的管理维护变得越来越困难，而目前国内并没有专门针对校园网的网络性能管理监测平台。然而由于校园网相对其它类型网络来说，自身的特点比较明显：上网环境开放；校园网用户群体特别；网络使用频率高、网络用途广。因此更需要加强对校园网络性能的监测，通过分析网络运行参数状况，合理分配网络流量和网络资源，提高网络使用效率。1.2研究现状网络测量是计算机网络的一个较活跃的研究领域，最初开始于二十世纪八十年代。1985年成立了互联网工程任务组（简称IETF），是全球互联网技术的权威核心组织，负责制定互联网的相关技术标准和规范。国际上已经有许多针对网络性能监测的研究项目和研究成果，它们主要集中研究主动式和被动式两种测量方式的网络性能监控，重点强调提供高速率、高服务质量和高可用性的网络，注重互联网应用技术的发展趋势2。1992年，伯克利分校科学家们开始对Internet性能进行研究。Vern.Paxson等人等开发实现了一个通用的大规模网络性能测量基础设施，即后来的NIMI（NationalInternet Measurement Infrastructure）3。NIMI项目最开始是由美国国家科学基金会NFS资助的，后来得到了美国国防部高级研究计划局DARPA的支持。NIMI提出了一个分布式的基于探针的可扩展的大规模网络性能测量框架，采用层次化的系统结构，利用主动测量的方式在网络中部署大量探针，通过探针之间的相互合作来实现对互联网路径的性能状况的监控。NIMI具有良好的灵活性和扩展性，它可以根据网络性能测量的需要在构建好的测量平台上添加其它测量工具。 Vern.Paxson在其发表的文献 45中运用NIMI全面地研究了端到端传输过程中网络数据包动态性和数据包传输过程中的路由行为特征，对 Internet测量领域的发展起到了非常大的推动作用，网路测量从那之后被广泛的实践和研究在计算机网络的发展之中。为了进一步的研究互联网测量技术，美国在NSF的支持下成立了网络应用研究国家实验室NLANR6。NLANR下研究的项目主要有AMP工程（Active MeasurementProject）7、PMA工程（Passive Measurement Project）8和NAI工程（Network Analysis2 重庆大学硕士学位论文1绪论Infrastructure）9。AMP通过使用主动测量的方式获取网络性能指标，主要包括往返时间网络RTT、丢包率、流量和拓扑等； PMA则是使用被动测量方式的网络性能测量工程，着重于研究数据包包头的追踪和分析。NAI是一个全面性的网络分析框架，它致力于互联网流测量和性能测量技术，其主要研究超高带宽网络服务，并扩展到其它高可用性连接网络。NAI能够对大量的测量数据进行包括主动、被动和监控等多种测量形式的采集和分析，然后对网络路由状态和稳定性进行评估。1997年，美国加州大学圣地亚哥分校超级计算中心SDSC的互联网数据分析合作组织CAIDA研发了性能测量工具Skitter10，Skitter是一种利用主动测量方式通过许多个源端向被测端发送探测包来探测路径的性能的工具，主要分析拓扑差异和RTT性能差异。Surveyor11是一个网络性能测试基础框架，是由Advanced Network & Services联合其他非盈利性国际学术研究组织提出的。它是一个基于已经定义好的IP网络性能指标工作组（IPPM-WG）标准的网络测试框架，可以使用主动测量的方式获得两个测量机器之间的端到端的网络路径之间的单向延时和丢包率。它采用了标准的测量方式，具有更高的准确率和可比性。互联网端到端性能测量项目 IEPM（ Internet End-to-End PerformanceMonitoring）是由世界上顶级的研究中心之一SLAC于 1995年开始研究的，它测量的是高能核物理网络性能。其开发的端到端的网络测量工具PingER（PingEnd-to-End Reporting）12采用ICMP的响应报文机制，即使用ping命令对Internet端到端的网络路径性能的监控，主要测量的是RTT、时延抖动、丢包率等性能指标。RIPE TTM项目13是由欧洲互联网服务提供商及其用户组织形成的团体建立的一个大规模互联网性能监测项目。它实现了对互联网连通性、单向延时、抖动、丢包率、带宽和路由等性能指标的测量。国外其它比较有名的网络性能监测项目还有由IBM和伯克利分校开发的基于被动共享式测量项目SPAND（Shared Passive Network Discovery）14，它通过向客户端发送数据分组，让客户端向服务端汇报网络的运行状况，同时它还在网关处部署了一个PC机来辅助数据的捕获。从事互联网性能测量的知名企业也有许多，例如Ixia、Fluke、Spirent、Keynote、BMC、Freshwater等15。在我国，由于受到互联网普及率和网络带宽等环境的影响，网络性能测量行业发展相对较晚，与国外存在一定的差距。但是，随着软硬件环境的不断完善，网络性能意识的提高，网络测量的重要性已经得到认可，网络测量技术逐渐受到了很多组织的关注，其研究工作也渐渐开展。国内的互联网性能研究项目一般作为国家“973”和“863”课题，主要集中在国内的研究所和某些高校重点实验室。中科院计算技术研究所（简称计算所）于20世纪末构建了网络测量实验室，主要3 重庆大学硕士学位论文1绪论集中于对网络测量的相关技术和相关理论知识的研究，并诞生了许多可观的研究成果，其中以毕经平等人提出的网络测量与分析系统 16（可简称NIPMAS）和谢高岗等人提出的流量监测系统17（简称为Net Turbo）最为著名。清华大学的网络协议测试实验室，在中国教育科研网CERNET2上部署了端到端的测量与分析系统，对网络时延、丢包和抖动等网络性能参数进行监控和分析。其中杨家海等人 18-19对网络管理和网络测量技术进行了大量研究。东南大学的程光等 20对网络流测量模型、网络流量行为分析和抽样技术等Internet流量测量技术进行了深入研究。1.3本文研究内容传统的网络性能检测和评价系统大多以网络设备为被管对象，主要通过流量、带宽、延时、丢包率等QoS性能参数采集的数据，来评估网络性能。这种单纯地通过QoS数据来评估网络性能的方法，没有考虑到用户使用过程中对网络应用业务的主观感受，即用户体验质量QoE。而实际生活中，用户往往对一些网络性能QoS参数不那么感兴趣，他们直接关心的是：当前使用的某个具体的网络应用能否正常使用？某个网络应用正常使用的可行度等。因此，本文以重庆大学IPv4/IPv6校园网络管理系统为主要监测工具，结合网络性能测量数据和用户业务感知的网络质量进行相关研究。研究的主要内容包括：分析研究现有的网络测量技术、网络测量工具和测量方法、网络性能参数以及网络性能评价方法。提出一种自适应的变长周期实时流量数据采集算法。传统的基于等时间间隔周期进行抽样的数据采集算法在一定程度上给被测设备带来了负担，造成了网络带宽的浪费。本文根据实时流量数据的变化规律，提出一种自适应的变长周期数据采集算法。改进了基于SNMP的网络性能指标参数采集方法。本文采取基于 SNMP陷阱和轮询、ICMP相结合的测量模型，对于sysDescr等标量对象采用getResponse操作一次读取；对于ifTable表中列对象采用SNMPv2中提供的getBulkResponse操作交互。通过设置getBulkRequest请求PDU中的non-repeaters和max-repetitions参数值，区分只需一次“下一个对象操作”的对象和需要多次“下一个对象操作”的数据，最大程度的增加每个Response数据包中返回的信息量，从而减少采集的数据量、降低管理站与代理通讯次数、节省网络带宽。并设计实现了一种通用的SNMP Trap数据采集方法，方便收集网络故障和告警信息。提出一种面向网络应用业务的多指标网络性能评价模型。本文研究的网络性能评价模型，通过建立一个网络承载业务的应用评价 KPI(Key PerformanceIndex，关键性能指标集)，克服了单个性能评价指标的片面性，实现多指标融合的4 重庆大学硕士学位论文1绪论信息评价。将研究成果在校园网中进行运用实践。重庆大学校园网有 1000余台来自不同厂商不同型号的网络设备，通过获取这些设备的特定性能参数数据，结合基于模糊层次分析法的性能评估模型，对校园网内网络的性能状况进行测量和评价。1.4本文组织结构本文共分为六章，内容组织结构和安排如下：第一章是全文的绪论，简要的介绍了本文的选题背景和意义、主要研究内容和组织结构。第二章对网络性能测量的相关技术进行了简单的研究。主要包括简单网络管理协议、性能测量指标、测量方法及测量所面临的挑战。第三章介绍了基于测量的网络性能测量数据采集方法。其中包括基于 SNMP和ICMP两种网络协议方式的数据采集方式。基于 SNMP的数据采集方式又分为基于SNMP轮询和SNMP陷阱的两种采集方式。并提出了一种自适应的网络流量采集算法和一种通用的基于SNMP Trap的网络性能数据采集方法，还改进了SNMP轮询数据采集方法。第四章讨论了面向网络应用业务的性能评估模型。首先简单的介绍了模糊层次分析法的概念和网络性能评估现状，然后详细地描述了本文提出的性能评估模型，最后