（机械设计及理论专业论文）网络教学平台的系统性能测试与分析.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处， 本人签名：盘生：k 盛 本人承担一切相关责任。 日期：! 塑堡兰旦兰g 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校 攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部 门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论 文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 丧苎小妯 酶鲻缸 2 日期：型6 堡墨旦型旦 日期： 2 4 伞雄弛蝗 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 网络教学平台的系统性能测试与分析 摘要 现在世界范围内远程教育和网上大学正在蓬勃兴起，网上教育支 撑系统也层出不穷。作业和考试是保证大学教学质量的重要一环。近 年来，授课、答疑等教学环节在网络教育技术的推动下发生了很大变 化，但是作业和考试依旧没有大的变化。实现无纸化网上考试是教学 现代化的一个勇敢尝试。 作业与考试管理工具是“十五”国家科技攻关计划一一网络教育 关键技术及示范工程项目组下的一个课题，该课题是开发一个与课件 联系紧密和基于w e b 的多媒体作业管理工具和考试管理工具，将支持 大规模的在线学习和考试。作业与考试系统将主要面对使用者不同的 需求，力争在提高远程教育系统，提高学生的积极性，加快教学信息 的反馈，推动教育质量的提高等方面发挥重要的作用。但在我国现有 和可预见未来网络条件下，作业与考试管理工具如何能够支持大规模 密集并发访问的、在线多媒体考试与作业传输方案? 这就需要通过性 能测试技术来评估和优化，达到预期的性能指标。 论文主要从五个方面进行了论述和分析，包括性能测试目标主体 的选择，软件性能测试的理论基础，目标主体的实际性能状况的分析 与测试，对目标主体性能的优化和回归测试，软件测试管理的理论基 础和重要性。在性能测试目标主体部分的选择方面，将现代软件测试 技术和作业与考试管理工具对性能的高度要求结合起来，作为本文的 研究重点；在软件性能测试的理论基础方面，详细说明了性能测试的 概念、目的、分类、方法和步骤以及性能测试工具的选择，为以后网 络教学平台的性能测试打好基础；在目标主题的性能需求分析和测试 中，从目标主体的系统架构出发，选择交互性强的在线作业模块作为 测试和优化系统整体运行环境的研究主体，设计出详细的性能测试用 例，并搭建出合适的性能测试环境；在实际性能测试时，详细介绍了 性能测试的每一个步骤，并对测试数据进行深入的分析，找出性能瓶 颈，并对影响性能的因素做出假设，利用性能优化技术对目标主体的 性能进行调整。在做适当调优后进行回归测试，从而达到提高系统性 能的目的。为了更好的进行网络教学平台的性能测试工作，性能测试 管理理论基础部分从四个方面进行了详细的分析，包括测试模型的选 网络教学平台的系统性能测试与分析 择，测试小组人员的配置，测试管理工具的选择和使用，测试经验的 总结。 作者对网络教学平台的性能进行了实际的测试，并利用论文中研 究的结果对其进行了评测。最终提出了一种比较科学的软件测试管理 的方式方法。 关键词：性能测试网络教学平台作业与考试软件测试管理 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 p e r f o r m a n c et e s ta n da n a l y s i so fn e t w o r k e d u c a t i o ns y s t e m a b s t r a c t n o w a d a y sw i t hl o n g d i s t a n c ee d u c a t i o na n dn e t w o r kc o l l a g e s p r i n g i n gu pa l lo v e rt h ew o r l d ，n e t w o r ke d u c a t i o ns y s t e ma r ee m e r g i n g i ne n d l e s s l y h o m e w o r ka n dt e s tp l a y sa ni m p o r t a n tp a r ti ne n s u r i n gt h e q u a l i t yo fc o l l a g ee d u c a t i o n a tp r e s e n t ，t e a c h i n g 、s o l u t i o na n ds oo n e d u c a t i o n a lp a r t sh a v ec h a n g e dal o tb yt h ei m p u l s eo fn e t w o r ke d u c a t i o n t e c h n o ! o g y _ , b u th o m e _ w o _ r _ _ k a n dt e s th a sn o t _ t g _ i m p l e m e n tt h e j _ e c h n o l o g y o fh o m e w o r ka n dt e s tw i t h o u tp a p e ri sab r a v et r v ”o n l i n eh o m e w o r ka n de x a m1 b o l ”i so n eo ft h em o s t i m p o r t a n tt e c h n o l o g i c a lp r o j e c t i nt h en a t i o n a l ”t e n t hf i v e y e a r s ”，i s s u b p r o i e c t so fk e vt e c ha n dm o d e lp r o j e c to fi n t e r a c t - b a s e de d u c a t i o n h o m e w o r ka n de x a ms y s t e mi sa i m e da td e v e l o p i n ga ni n s t r u m e n to f h o m e w o r ka n de x a mt h a tb a s e do nw e b h o m e w o r ka n de x a ms y s t e m s h o u l ds u p p o r to n l i n es t u d ya n de x a mi nl a r g e s c a l e ”o n l i n eh o m e w o r k a n de x a mt o o l ”w i l lp l a ya ni m p o r t a n tr o l ei nm e e t i n ga l lk i n d s o fu s e r s n e e d s ，i m p r o v i n gt h eq u a l i t yo fl o n g d i s t a n c ee d u c a t i o ns y s t e ma n d p o s i t i v i t y o fs t u d e n t sa n d q u i c k e n i n g t h ef e e d b a c k so f t e a c h i n g i n f o r m a t i o n b u th o wd o e st h et o o lt os u s t a i na b o v e1 0 0 0i n t e r c u r r e n t u s e r st ol o g i ni na n du s e ? t h i sc a nb ed o n eo n l yb yp e r f o r m a n c et e s t i n g t oi d e n t i f ya n di m p r o v et h ew h o l ep e r f o r m a n c e t h ee s s a yn a r r a t e sa n da n a l y z e sf r o mf i v ea s p e c t si n c l u d i n gt h e c h o i c eo ft h er e a c ht a r g e t ，t h ef u n d a m e n t a lt h e o r yo fs o f t w a r e p e r f o r m a n c et e s t t h et e s ta n da n a l y s i so fi n i t i a lt a r g e tc o n f o r m a n c ea n dt h ei m p r o v e m e n to ft h ep e r f o r m a n c eo ft h et a r 2 e ta n dr e c u r s i v et e s t ，t h ef u n d a m e n t a lt h e o r ya n di m p o r t a n c eo ft h em a n a g e m e n to fs o f t w a r et e s t i nt h ec h o i c e o ft h er e a c ht a r 2 e ta s p e c t ，t h e c o m b i n eo fm o d e ms o f l w a r et e s tt e c h n o l o g ya n dt h eh i g hd e m a n d 5 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 o f ”o n l i n eh o m e w o r ka n de x a mt o o l ”w a sr e g a r d sa st h er e s e a t c hk e y s t o n e i nt h ea s p e c to ft h ef u n d a m e n t a lt h e o r yo fs o f t w a r e i t e x p l a i n st h ec o n c e p t ，a i m ，s p e c i e s 、m e t h o d s 、s t e p sa n dt h ec h o i c eo ft e s tt o o li n p e r f o r m a n c e ，w h i c hc a nb eb a s e do ni nt h ef o l l o w i n gt e s t t on e t w o r ke d u c a t i o np l a t f o r m ；i nt h er e q u i r e m e n ta n a l y s i s a n dt e s tt ot h et a r g e t t h ea u t h o rc h o o s et h ef r e q u e n tt r a d em o d e l o n l i n eh o m e w o r ka st h et e s tt a r g e tt ot e s ta n da d j u s t m e n to ft h es o f t w a r ee n v i r o n m e n tf r o mt h es y s t e ma r c h i t e c t u r eo ft h et a r g e t ，a n d d e s i g nt h ed e t a i lt e s t c a s e ，a n db u i l dt h ec o n d i g nt e s te n v i r o n m e n t ；d u r i n gt h et e s tp r a c t i c e ，i n t r o d u c ee v e r yt e s ts t e pi nd e t a i l ，a n dm a k e d e e pa n a l y s i so ft h et e s td a t a ，a n df i n dt h eb o t t l e n e c k s ，m a k es o m es u p p o s eo ft h ee l e m e n t sw h i c ha f f e c t st h ep e r f o r m a n c ea n dm a k e s o m ea d j u s t m e n t so ft h ep e r f o r m a n c eo ft h et a r g e t i no r d e rt o p r a c t i c et h ep e r f o r m a n c et e s to ft h en e t w o r ke d u c a t i o ns y s t e me f f e c t i v e t y ；t h ep a r t o ft h ef u n d a m e n t a lt h e o r yo fi 司翮托1 6 9 ti n a n a g e m e n t a n a l y s i si n d e t a i lf r o mf o u ra s p e c t s ，w h i c hc o n t a i a st h ec h o i c eo f t e s tm o d e l ，t h ed e p l o yo ft e s t t e a m ，t h e c h o i c ea n dm a n a g e m e n to f t e s t m a n a g e m e n tt o o la n dt h es u m m a r i z a t i o no ft e s te x p e r i e n c e t h ea u t h o rl e s tt h ep e r f o r m a n c eo fn e t w o r ke d u c a t i o ns y s t e m ，a n d m a k ee v a l u a t i o no nt h er e s u l t so ft h er e s e a r c h ，a n da tl a s tp u tf o r w a r da s c i e n t i f i cm e t h o d so fm a n a g e m e n to fs o f t w a r et e s t k e yw o r d s ：p e r f o r m a n c et e s t ，n e t w o r ke d u c a t i o ns y s t e m ，h o m e w o r ka n dt e s t ，s o f t w a r et e s t m a n a g e m e n t 6 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 1 1 论文选题背景 第一章绪论 随着多媒体网络技术在教育领域的不断渗透，支持种种教学目的的网络教学 平台便应孕而生。网络教学平台在教育资源和学生之间架起沟通的桥梁，这样学 生就可以实时或非实时地接受教育。网络教学平台是一种根据教学目标设计的表 现特定的教学内容、反映一定教学策略的教学软件程序。它是可以用来存储、传 递和处理教学信息能让学生进行交互操作，并对用户的学习作出评价的教学媒 体。它整合了各种以文字、图形、图像、视频图像、动画和声音及其间的交互机 制为基本元素的多媒体教学课件，有效地进行知识表达和提高教学效果。 作为网络教育中的重要环节，通过网络进行作业和考试也是一个非常重要的 研究课题。作业与考试管理平台可以提供学生在线作业和考试的功能，提供教师 在线发布作业和自动组卷，网上批改作业和阅卷的功能，从而大大简化远程教育 中的作业和集中考试的问题。然而，根据常规，学生提交作业的业务一般会在最 后期限的前两天进行，而提交试卷更集中在某天的同一时闻进行。因此，作业与 考试系统的性能是否能够满足不断增加的负载需求，直接影响到教学中心对学生 提供的作业和考试服务的质量。在保证业务逻辑功能正确性的基础上，系统性能 作为软件质量的一个重要指标，开始受到更多的关注。 1 1 1 “作业与考试管理工具”项目简介 “作业和考试管理工具”是国家“十五”科技攻关计划网络教育关键技 术及示范工程项目组下的一个子系统。它是一套基于w e b 的多媒体作业管理工具 和考试管理工具，提供灵活的用户权限管理功能，可根据客户需求对系统用户权 限管理进行设置。具有系统管理、课程管理、题库管理、试卷管理、考试管理、 答卷管理、考试成绩、作业管理、评价分析、考场管理、在线考试等功能模块。 能够完成试题录入、组卷、安排考试、安排考场、下载试卷、在线考试、上传答 卷、批改答卷、成绩查询、评价分析等一系列考试流程管理及系统参数的配置， 能够支持1 2 0 0 人以内大规模的在线学习和考试，满足当前教育机构在线考试和 作业的全过程需要。该系统采用j 2 e e 技术架构，资源层采用o r a c l e9 i 数据库 系统，核心逻辑采用e j b 开发，w e b 容器采用j s p 和s e r v l e t ，客户端采用v c 开 发。 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 1 1 2 软件系统性能测试的必要性 随着软件系统的规模日益庞大，结构日趋复杂，对软件系统的性能测试已经 成为必须和趋势。尤其大型的分布式软件系统更要在正式运行前进行性能测试， 因为这样的系统在投入生产之后，往往要接受大批量的业务量，这对应用程序本 身，操作系统，中心数据库服务器，中间件服务器，网络设备的承受力都是一个 严峻的考验。在其中任意一个环节出现的问题都可能给用户带来巨大的商业损 失。预见软件系统的并发承受能力以避免商业风险，这是在软件测试阶段就应该 解决的。性能测试的重要性由用户的需求来决定，进而制定不同的测试策略来开 展性能测试工作。如果用户对软件的性能要求较高，这将意味着不但要从硬件方 面来提供性能，还要从数据库、w e b s e r v e r 、操作系统配置等方面入手来提高性 能，同时开发的软件系统本身也要进行优化，以便全面提高性能。 1 1 3 “作业与考试管理工具”性能测试及优化的重要性 叶乍业和考试管理工具”需要在我国现有和可预见未来两络条件下，支持夫 规模密集并发访问的、在线多媒体考试与作业传输方案。为了确保完成这些要求， 确定系统的性能特点，就需要通过系统测试中的性能测试，对作业与考试管理工 具进行性能测试和评价，确定影响其性能的关键因素，进而进行分析和改进，提 高系统的整体性能。 。 1 2 软件性能测试技术在国内外的发展现状 性能测试是一个混合了黑盒测试和白盒测试的方法。从黑盒测试角度来看， 性能分析技术师不需要知道系统内部的工作原理。根据实际的工作负荷或者基准 来比较一个系统版本与另一个系统版本在性能上的改进或降低。从白盒测试观点 来看，性能分析师需要知道系统的内部工作原理并且定义特殊的系统资源来进行 检查，例如指令，模块和任务等。 一些感兴趣的性能信息包括： * c p u 的使用情况； * 1 0 使用情况； 每个指令的i o 数量： 信道使用情况； 幸每个主要存储内存使用情况； 木每个模块执行时间百分比； 北京邮电大学硕士论文 屑络教学平台的系统性能* 6 试与分析 半一个模块等待i o 完工的百分比时间： 模块使用在主存储器上的时间百分比； 指令随时间的跟踪路径； 控制从一个模块到另一个模块的次数； 遇到每一组指令等待的次数； 术每一组指令等待的次数 术每一组指令页换出和换入的次数； 术系统反应时间； 牢系统吞吐量，即，每个时间单元的处理数量； 术所有主要指令的单元执行时间； 软件测试技术的发展与软件技术的发展是密切相关的。随着软件和软件技术 的复杂程度越来越高，人们对于软件测试的认识也随之提高到个新的水平。2 0 世纪7 0 年代以来，国内外许多学者和组织在软件测试方面进行了大量的研究工 作，形成许多经典的软件测试技术和软件测试流程管理规范。随着我国国民经济 信息化迅速发展，软件产品质量己成为开发商和用户关注阿焦点j 我国软件产品 测试技术研究起步于“六五”期间，但人力、物力投入不足，因此与国际先进水 平差距较大，难以满足现代化要求。根据软件工程原理和国内外实践中成功企业 和项目经验，软件产品测试的经济规模至少占软件产业项目的3 0 5 0 ，面目前 我国只占3 - 1 0 左右。我国专门从事软件测试技术研究的单位只有中国软件评测 中心、北京航空航天大学软件工程研究所、国防科工委系统所和西北工业大学等 几家，研制了一系列的程序理解工具和测试工具，比较具有代表性的工具有 s a f e p r oc c + + ，s a f e p r o j a v a 航空计算机研究所、南京大学在嵌入式系统测试 方面迸行较多工作，开发了一些静态分析工具和测试用例自动生成工具。西北工 业大学在航空软件仿真测试、并行软件综合测试平台以及c s 系统的测试方面进 行许多研究工作并取得了一系列成果。国外的软件测试发展迅速，市场繁荣。美 国的i e e e ，a c m 等组织制定了一系列软件测试规范，国外的许多大学( 如c a r n e g i e m e l l o n g e o r g em o s a n 等) 、研究机构( 如：n a t i o n a ls o f t w a r et e s t i n gl a b 等) 和公司( 如：s o f t w a r er e s e a r c h ，r a t i o n a lc o r p o r a t i o n ，l d r a 以及a u t o t e s t e r 等) 进行了大量软件测试的研究和应用工作。其中c a r n e g i em e l l o n 大学侧重于 回归测试和c l i e n t s e r v e r 测试技术的研究，g e o r g em o s a n 侧重于基于规范的 测试自动生成和面向对象测试技术的研究，n s t l 主要从事测试规范和标准的制 定。比较流行的软件测试工具集有s o f t w a r e r e s e a r c h 的t e s t w o r k s ，r a t i o n a l 的r a t i o n a l r o s e 9 8 ，m e r c u r y i n t e r a c t i v e 的w i n r u n n e r x r u n n e r ， l d r a 的 t e s t b e d 等。 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 1 3 作者的研究内容及主要工作 作者的主要工作包括四个方面： 第一：介绍软件测试的基本理论知识，软件测试方法和技术； 第二：在系统分析作业与考试管理工具，以及对测试方法、技术研究的基础 上设计了作业与考试系统的性能测试方案： 第三：实施了网上作业与考试管理系统的性能测试。该系统于2 0 0 5 年1 月7 日的顺利通过专家组的验收，验证了该测试方案的有效性； 第四：根据测试的工作经验，为有效地进行网络教学平台的性能测试，对软 件测试管理方面进行了深入的研究。 1 4 论文组织安捧 第一章是论文选题背景和软件测试技术在国内外的发展现状； 第二章是对论文的目标主题的系统分析； 第三章是软件性能澍试的相关理论。主要内容包括性能测试概念和目的、性 能测试的分类、性能测试的方法和步骤、性能测试工具介绍； 第四章在对作业与考试管理工具进行系统分析的基础上做出系统性能测试 的总体设计和具体实施。内容包括作业与考试管理工具的性能需求分析，根据对 系统的性能分析设计出作业与考试管理工具的性能测试用例，搭建系统的性能测 试环境，进行实际性能测试，对测试结果进行分析并调优及进行回归测试； 第五章是对软件测试管理理论的研究和在网络教学管理系统中的应用。内容 包括测试管理模型，测试模型在网络教学平台中的应用，测试小组的组建：测试 管理工具的使用和以往测试经验的总结。 第六章是论文的总结部分。对该论文的创新点和不足进行的小结。 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 第二章目标系统分析 2 1 “作业与考试管理工具”总体方案 作业和考试管理系统是开发一个与远程教育多媒体课件联系紧密，基于w e b 的多媒体作业管理工具和考试管理工具，提供灵活的教师管理功能和学生访问功 能，支持大规模的在线学习和考试。系统的功能和管理程度总体上达到国内领先 水平，部分功能达到国际先进水平。 系统具有以下特点： 特点” u一 毒。譬i ：l 豢= 毒 + 倚羹说明誊o ? ： l 多媒体编辑环境提供专用的针对作业和考试的多媒体编辑环境 _ j 篡? + 强供基于我国现有和采来随珞零辟簿曩毒搏炎规 一一- 2 莨好的暑溉访阎容参譬i 模密集并爱葫何的翟线爹薅律考试与砟亚籀输雳案， 一一 ，矗u 蔓_ “ i 、j ：- 、 ， ，j i 。 。 支挎1 0 0 0 八以生同酵在线学习 一 ， “、 。 提供一个基于我国教育技术规范的，标准化多媒 符合我国教育技术规 体题库管理系统，提供基于标准结构题库并且和其它 3 范的多媒体题库、试卷库 教育资源库联系紧密的试卷自动生成工具和作业自动 和其他教育资源库 生成工具、 5 灵活的多媒体作业系 统? 在线多媒体考试系统 6 一。基于础l 的数据交换 7 b 人工智能技术的应用 作弊行为的判定 _ i _ j 。： 。蓦t ：。t 提砖萼置蔓嗲的在线骞器掺作蔓! 搭布i ：黉两提交 - j 。蛹鹫篓j - ? _ 提供基于w e b 的在线多媒体考试系统，同时保证 试卷、答卷的安全保存、传输，保证考试的公正、安 全实施。 系统采甩x 2 a l 技术来存储和交换数据，充分耐用 。 一 了强也县育简单性、可扩羼性和垮准壬匕性等特点，使 数据奄缈：j = = 同鞠系绩翔黪寥姆翎e 提供答卷和作业的智能批改工具： 提供学生的作业样本的智能选取功能。 提供相同、近似作业自动判别功能，肪止抄袭 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 9 评价系统 提供对作业考试结果的总体分析点评和个性分析 点评的工具，既能对学生、教师等教学元素给出评价， 也能对试题参数等信息做出合理的反馈。 系统总椒舔得够咎的可爹植性驾篡鍪皋用肇鳄琴鲫覃 表2 - 1 “作业与考试管理工具”系统特点 2 2 “作业与考试管理工具”系统架构 “作业与考试管理工具”分为两个部分：管理部分和考场部分，下面是这两 个部分的拓扑结构。 如图2 _ _ 1 所示系统的企业级架构包括以下凡伞主要构件； 1 ) 一个w e b 浏览器客户端，可能在也可能不在客户端组织的防火墙 2 ) 一个h t t p 服务器，是一个对公众开放的w e b 服务器。 3 ) w e b 容器用于部署表示层和可能的业务逻辑构件。 4 ) 应用程序容器用于部署业务逻辑构件。 5 ) 关系数据库管理系统( r d b m s ) 和数据库主数据、数据逻辑。 矗 蔓 一 、 n j 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 图2 - t 系统管理部分企业级架构 系统考场部分企业级架构如下图所示： 考场考务监控设备考生考生 监控设备 图2 - 2 考场部分企业级架构 考场服务器端为考场考务和考生终端提供服务，负责考场考务和考生的登录 验证、收集客户端环境信息、接收考生的答题信息等，客户端用于考生或考场考 务进行考生终端环境设置，考生登录考试并进行考试。 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 第三章软件性能测试的理论基础 3 1 性能测试概念和目的 性能测试( p e r f o r m a n c et e s t i n g ) 主要是通过自动化的测试工具模拟多种正 常、峰值以及异常负载条件来对系统的各项性能指标进行测试。通过模拟上千万 用户的实施并发负载及实时性能监测的方式来确认和查找问题。 性能评测标准依赖于所测试的应用程序类型 2 。基于j 2 e e 平台的应用程序 一般分为两个基本类别：交互式的一即终端用户与应用程序同步交互；批处理或 后端应用程序一即不需要直接与终端用户交互。对于交互式应用程序，性能一般 是通过大小和规划问题的容量来定义，评测标准可以为同时发生的用户数量和响 应时间：对于后者，性能统计量是吞吐量，评测标准之一是每秒的事务处理，而 事务处理在具体的场合定义可能有所不同。比如对于s e r v l e t ，事务处理可能为 一个请求。而对j i s ，吞吐量可能就是消息。性能评测标准的参数定义如下： 请求响应时间：请求响应时间指的是客户端发出请求到得到响应的整个过程 的时间，这个过程从客户端发起一个请求开始计时，到客户端接收到从服务器端 返回的响应结果计时结束。在某些工具中，请求响应时间通常会称为“1 v r l b ”， 即“t i m et ol a s tb y t e ”，意思是从发起一个请求开始，到客户端收到最后一个 字节的响应所耗费的时间。请求响应时间的单位一般为“秒”或者“毫秒”。请 求响应时间的分解如图3 - 1 所示。 0 ，尊口 d a t a b a s e 鬻h ；鞭t 囊 i n t e m e t 宕o r v a rs 日九，e r i 蘩囊籀鬻l 鬻荽萋蓼餮攀n ，震熬 a 1n 2 2 瑟i 鞲裂域搿女 。隧嚣熬一 r 一) 3n 3 、：j ， 图3 - 1 请求响应时f 目的分解图 从上图可以看出请求响应时间为“网络响应时间”和“应用程序响应时间” 的和，具体由七个部分组成：( n 1 + n 2 + n 3 + n 4 ) + ( a i + a 2 + a 3 ) 。 事务响应时间：事务可能由一系列请求组成，事务的响应时间主要是针对用 户而言，属于宏观上的概念，主要为了向用户说明业务的响应时间。例如：跨行 取款的响应时间就是由一系列的请求组成。事务响应时间和后面的业务吞吐量都 是直接衡量系统性能的参数。 业务吞吐量：通常的吞吐量指的是单位时问内处理的客户端请求数量。通常 情况下，吞吐量用“请求数秒”或者“页面数秒”来衡量。 但是从业务角度看，吞吐量也可以用“业务数小时或天”、“访问人数天”、 北京虹电大学硕士论文网络教学平台的系统性能测试与分柝 “页面访问量天”来衡量。例如在银行卡审批系统中，可以用“1 0 0 0 件每小 时”来衡量系统的业务处理能力。业务吞吐量主要从宏观上来表现系统性能，也 是用户最常提出的性能指标，因此要认真在测试中采集数据。 资源利用率：资源利用率指的是对不同系统资源的使用程度，例如服务器的 c p u 年用率，磁盘利用率等。资源利用率是分析系统性能指标进而改善性能的主 要依据，因此是w e b 性能测试工作的重点。 资源利用率主要分为w e b 服务器、操作系统、数据库服务器、网络四个方面， 是我们测试和分析瓶颈的主要对象。w e b 性能测试中要根据需要采集参数进行分 析。 点击率：在测试w e b 应用程序时，会有点击率这个指标，点击率主要是单位 时间内指所有的客户端的点击次数之和。容易看出点击率越大，对服务器的压力 也越大。点击率只是一个性能参考指标，决定因素是点击产生的影响，例如一个 提交操作可能发生很多请求。 性能测试的目的主要体现在三个方面：以真实的业务为依据，选择有代表性 的、关键盼监务操作设计测试案例。以评价系统前当前性能；彗扩展应用程序的 功能或者新的应用程序将要被部署时，负载测试会帮助确定系统是否还能够处理 期望的用户负载，以预测系统的未来性能；通过模拟成百上千个用户，重复执行 和运行测试，可以确认性能瓶颈并优化和调整应用，目的在于寻找到瓶颈问题。 3 2 性能测试分类 性能测试包含很多内容，性能测试的种类主要有：压力测试、负载测试、强 度测试、并发测试、可靠性测试、配置测试，以及狭义范围的性能测试等。这些 种类的性能测试或者单独实旅，或者结合起来实旌，下面介绍一下各类测试的主 要内容和特点： 压力测试：对系统不断施加压力的测试，是通过确定一个系统的瓶颈或者不 能接收的性能点，来获得系统能提供的最大服务级别的测试。例如测试一个w e b 站点在大量的负荷下，何时系统的响应会退化或失败。 压力测试是为了发现在什么条件下应用程序的性能会变得不可接受。主要通 过改变应用程序的输入以对应用程序施加越来越大的负载，并铡量在这些不同输 入时性能的改变来实现的。这种操作也称为负载测试，但是负载测试通常描述一 种特定类型的压力澳4 试一一例如增加用户数量以对应用程序进行压力测试。 负载测试：通过在被测系统上不断增加压力，直到性能指标例如响应时间超 过预定指标或者某种资源已经达到饱和状态。这种测试可以找到系统的处理极 北京邮电大学硕士论文 网络教学平台的系统性能测试与分析 限，为系统调优提供数据。负载测试一般压力要大些。 强度测试：强度测试主要是为了检查程序对异常情况的抵抗能力。强度测试 总是迫使系统在异常的资源配置下运行。例如： 当正常的用户点击率为每秒1 0 0 0 次，运行每秒2 0 0 0 次的测试用例； 运行需要最大存储空间( 或其他资源) 的测试用例； 运行可能导致操作系统崩溃或磁盘数据剧烈抖动的测试用例，等等。 强度测试是一种特别重要的测试，对测试系统的稳定性、以及系统未来的扩 展空间均具有重要的意义，因为在这种异常条件下进行的测试，更容易发现系统 是否稳定以及使用空间范围的大小。 大数据量测试：大数据量测试分为两种：一个是针对某些系统存储、传输、 统计查询等业务进行大数据量的测试；另一个是与前面并发测试相结合的极限状 态下的综合数据测试。编写用例时主要编写前一部分，后一部分尽量放在并发测 试中。 配置测试：配置测试主要是通过测试找到系统各项资源的最优分配原则。配 置测试是系统调优的重要依据，例如我们可欧幂停的漪整研莉醇前丙存来决定 c p u 和内存的匹配情况。 并发测试：测试多个用户同时访问同一个应用、同一个模块或者数据记录时 是否存在死锁或者其他性能问题，几乎所有的性能测试都会涉及一些并发测试。 可靠性测试：通过给系统加载一定的业务压力( 例如使c p u 资源在7 0 - 9 0 的使用率) 的情况下，运行一段时间，检测系统是否稳定。 狭义性能测试：在交替进行负荷和强迫测试时常用的术语。通过模拟生产运 行的业务压力和使用场景组合来测试系统的性能是否满足生产性能要求。例如以 实际投产环境来测试，求出最大的吞吐量与最佳回应时间以保证上线的平稳，安 全等。性能测试是一种“正常”的测试，主要是测试正常使用时，系统是否满足 要求，同时可能为了保留系统的扩展空间进行一些稍稍超出“正常”范围的测试。 这么多类型的性能测试看起来很费劲，实际上大多是密切相关的。例如我们 运行8 个小时来测试系统是否可靠，这个测试极有可能包含了可靠性测试、强度 测试、并发测试、性能测试、负载测试等等。因此我们实施性能测试决不能割裂 他们内部联系去进行，而是分析他们之间的关系，以一种高效率的方式来设计性 能测试。 3 3 性能测试方法和步骤 性能测试的方法一般是通过使用负载测试工具进行，虚拟一定数量的用户测 试系统的性能指标是否满足。在各种极限情况下对产品进行测试( 如很多人同时 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 使用该软件，或者反复运行该软件) ，以检查产品的长期稳定性。例如，使用压 力测试工具对w e b 服务器进行压力测试本项测试可以帮助找到一些大型的问 题，如死机、崩损、内存泄漏等，因为有些存在内存泄漏问题的程序，在运行一 两次时可能不会出现问题，但是如果运行了成千上万次，内存泄漏得越来越多， 就会导致系统崩滑。用j 2 e e 实现的系统很少但是并不是没有内存问题。 软件性能测试主要有下面几个步骤：搭建测试环境、定义性能测试标准、通 过性能测试工具录制测试脚本、实际执行测试、分析测试结果并编写测试报告。 性能问题应当在观看各个部件之前从监视整个系统开始。准确地说，某个特 殊部件的限制阻止了整个系统更快地执行时才存在瓶颈。因此，即使系统中的一 个或多个部件使用负荷重，但如果其他部件或系统作为一个整体并未受到不利影 响，则不存在瓶颈。 例如，假设一个进程有10 个线程，每个线程每隔10 秒使用一次处理器时 间为0 999 秒。如果每个线程以完全顺序在前一个请求后1 秒发出自己的请求， 则处理器99 99 为忙，但却没有队列，线程间互不干扰，从技术上说没有瓶 颈，尽管此时系统可能不能支持任何附加负载或任务请求调度变化。 。 涉及瓶颈产生的因素是请求服务的数量、请求发生的频率和每次请求的持续 时间。只要这些请求严格同步，就不会有队列，也不会引起瓶颈。有最小吞吐率 的设备可能是瓶颈的主要根源。 在系统中检测多个瓶颈是困难的。很可能花了几天时间反复测试以识别和消。 除了一个瓶颈，却发现又出现了另一个。只有彻底而融【) 地测试所有元素才能保 证发现所有问题。跟踪多个来源的一个性能问题非同寻常。工作站的长响应时间 最可能是由内存和处理器问题导致的。服务器更易受磁盘和网络问题影响。 另外，一个部件的问题也可能是其他部件问题的结果，而非原因。比如，当 内存较少时，系统开始在磁盘和物理内存间移动代码和数据页。随着不断增长的 磁盘和处理器的使用，内存短缺更加明显，但问题出在内存，而非处理器或磁盘。 如果要识别一个超出基准范围的资源或基于前节所讨论的建议阀值来识别， 需要更详细地调查该资源的活动。这包括如下步骤： + 分析软硬件配置。用户的配置与操作系统的微软建议和用户支持的服务相 匹配吗? + 当开始观看超出范围的计数器值时，回顾一下一段时期的事件记录条目； 这些条目可以提供关于导致较低系统性能的问题信息。 + 检查运行应用的种类及其需要的资源，以决定其充足性。 t 考虑工作负载的变量，如在不同时间处理不同工作。当在寻找某个特定问 题时，为更有效地分析，可将图表和报告限制为发生在己知时间的特定事件。 北京邮电丈学硕士论文网络教学平台的系统性能飘i 试与分析 t 对于如关机和登录失败等情况下问题的解决和即时诊断，只记录和监视很 短时间。当监视较短时间时，采样必须频繁。同理，对于长期的规划和分析，记 录较长时间并设置相应的更新间隔期。 在看到不断增长的资源利用时，考虑网络或磁盘利用或此时发生的其他活 动。尝试弄明白使用模式，它们是否与特定的协议或计算机相关? 以科学的方式修正瓶颈。比如，不要在同一时刻做多于一处的改变，一个 改变之后要不断重复监视以验证结果，消除可疑的结果，保持关于已做过和已学 到的东西的良好记录。当调查特定资源的瓶颈时，应着重于那些与易于成为瓶颈 的资源相关的性能对象和计数器。 测试时务必要： 检查用于测试的应用程序的正确性和性能，查找内存泄漏和不正常的客户 端请求响应延迟。 确保所有测试都正常进行。 确保可以使用相同的事务混合和相同的客户端生成相同的负载来重复所 有测试。 + 文档更改和结果。 在每遍测试中，运行一系列完全相同的性能测试；否则，无法分辨不同的结 果是由于测试中的改动还是应用程序更改造成的。使尽可能多的性能测试操作自 动进行有助于消除因操作者造成的差异。 3 4 性能测试工具介绍 随着软件测试的地位逐步提高，测试的重要性逐步显现，测试工具的应用已 经成为了普遍的趋势。目前用于测试的工具已经比较多了，这些测试工具一般可 分为：白盒测试工具、黑盒测试工具、性能测试工具，另外还有用于测试管理( 测 试流程管理、缺陷跟踪管理、测试用例管理) 的工具。 目前有代表性的性能测试的工具包括有m e r c u r yi n t e r a c t i v e 公司的 l o a d r u n n e r ，r a d v i e w 公司的w e b l o a d 、m i c r o s o f t 公司的w c b s 自r e s s 等工具。针 对数据库测试的t e s t b y t e s ，对应用性能进行优化的e c 0 s c o p c 等工具。这些测试 工具都是企业范围的负载测试工具，可视的用户化界面、实时的性能监控和强大 的管理报告可以帮助企业迅速的解决问题。商业软件的优势主要表现在其售后服 务和工具本身的强大和易用性上，而作为技术基础相对较好的测试入员，也可考 虑使用开源的软件，这将为公司节省一大笔开支，必要时也有更好的扩展自由度。 比如像g r i n d e r , j m e t e r 、d b m o n s t e r 、o p e n s t a l o a d s i m 等开源性能测试工具，它 2 0 北京邮电大学硕士论文网络教学平台的系统性能测试与分析 们也同样可以模拟大量的服务器负载、网络负载、软件对象负载，通过不同的加 载类型全面测试软件的性能，提供图形化的性能分析。 下面主要介绍t h eg r i n d e r 。t h eg r i n d e r 是个开源的负载生成数据收集工 具，它本身是j a v a 应用程序，需要在安装j v m ( 版本不能低于1 3 ) 的平台上 运行，可以在h t t p ：g r i n d e r s o u r c e f o r g e n e t 下载。它能提供响应时间、吞吐量等 性能测度。它有三种进程：工人进程，是由g r i n d e r 代理进程创建的，负责执行