（计算机科学与技术专业论文）基于客户端的网络服务性能测试模型研究与系统支持.pdf

国防科学技术大学研究生院学位论文 摘要 当前，网络服务提供商通过w e b 站点向各类用户提供了大量种类齐全、功能各异的网 络服务；为保证广大用户得到完美的服务体验，同时也为了保障服务提供商的商业利益， 这些网络服务必须具备很强的服务处理能力和很大的服务容量，能够支持大量用户的并发 服务请求：要确定网络服务的性能是否达到了提供商的预期目标，必须运用基于客户端的 网络服务性能自动测试工具对其进行全面有效的性能测试，准确地评价出服务性能的优 劣，揭示并定位服务中可能存在的性能瓶颈，从而有针对性地进行性能优化，进而达到提 高服务性能的目的。 在进行基于客户端的网络服务性能测试过程中，良好的测试模型是整个测试过程能否 达到预期目标的前提和基础；测试模型对整个性能测试过程中起着方向性和指导性的作 用，它是对整个测试体系的刻画，是对测试目标系统的描述，是对整个应测内容的编排， 故测试模型的选用在很大程度上决定了测试过程的有效性；而良好的测试模型来源于正确 的模型建立策略。 本文详细分析和研究了现阶段已有的基于客户端的各类性能测试模型所具有的优点 和存在的不足，并从中提取好的测试建模思想加以利用；同时细致分析了当前在建立测试 模型过程中所使用的相关建模技术。 本文在详尽分析了服务体系中三个组成部分( 客户端、网络部分、服务端) 对整个服 务性能测试模型建立过程所构成的各种影响因素和模型建立过程中所面临的主要问题的 基础上，根据各部分所具有的不同特性以及在体系中所起的作用和所占有的地位，将它们 区别对待，对不同层次的问题使用不同的抽象方法，提出一种新的服务性能测试模型建立 策略一一层次化的测试模型建立策略，它是一种可变粒度的事务级建模策略：该策略将测 试模型的建立分为两部分，一部分是建立用户访问服务模型，一部分是建立访问流量模型； 用户访问服务模型模拟真实用户使用网络服务的方式，而访问流量模型则模拟真实的w e b 数据流量，使依据该模型所产生的w e b 负载流量符合真实w e b 数据流量的各种统计特性， 使其具有骤变的、重尾的特性以及相互关联的到达模式；同时详细阐述了该建模策略包含 的这两部分模型的具体建立步骤，充分体现了层次化建模的特点，即：层次明了，过程清 晰；该建模策略在整体上具有良好的扩展性和灵活性。 依据层次化测试模型建立策略的核心思想，使用j a v a 语言实现了一个性能自动测试工 具原型系统的测试建模部分；该测试建模部分通过其与测试执行部分间的接口最终以x m l 文档的形式为测试执行部分提供完整而详细的目标系统的测试模型信息。 关键词：网络服务性能测试测试模型模型建立镱略w e b 流量特性 国防科学技术大学研究生院学位论文 a b s t r a c t m a n yd i f f e r e n tk i n do fw e b s i t es e r v i c e sa r ep r o v i d e dt on e t w o r ku s e r sb ys e r v i c ep r o v i d e r t h r o u g ht h eu s e r sa c c e s s i n gw e b s i t e ，t h ew e b s i t es e r v i c e sa f f o r dm a n yd i f f e r e n tf u n c t i o n st ot h e n e t w o r ku s e r s f o rg u a r a n t e e i n gt h en e t w o r ku s e r sg e t t i n gp e r f e c te x p e r i e n c eb yu s i n gt h e w e b s i t es e r v i c e sa n da tt h es a m et i m eg u a r a n t e e i n gt h es e r v i c e sp r o v i d e rg e t t i n gg o o dp r o f i t ， t h e s ew e b s i t es e r v i c e sm u s th a v ep e r f e c th i 曲p e r f o r m a n c et os u p p o r t i n gal o to fn e t w o r ku s e r s a c c e s s i n gt h e ms u b s e q u e n t l y i ft h es e r v i c e sp r o v i d e r sw a n tt od e t e r m i n ei ft h ep e r f o r m a n c e so f p r o v i d e dw e b s i t es e r v i c e sr e a c ha n t i c i p a t i n gl e v e la n di ft h e s ew e b s i t es e r v i c e sc a ng i v eg o o d s e r v i c ep r o c e s st ot h en e t w o r k u s e r s ，t h e ym u s tu s ec l i e n t e n da u t o m a t e dp e r f o r m a n c et e s tt o o l t of u l l s c a l et e s t i n gp e r f o r m a n c e so ft h ew e b s i t es e r v i c e s ，i no r d e rt oa c c u r a t ee v a l u a t i n gt h e l e v e lo fp e r f o r m a n c ef o rt h e s ew e b s i t es e r v i c e s a tt h es a m et i m e ，t h ep r o c e s so ft e s t i n gc a n d e t e r m i n ei fh a v i n gb o t t l e n e c k so fp e r f o r m a n c ei nt h e s ew e b s i t es e r v i c e sa n dl o c a t ew h e r et h e b o t t l e n e c k si nt h e s ew e b s i t es e r v i c e s ，s e r v i c e sp r o v i d e rc a ni m p r o v et h ep e r f o r m a n c eo ft h e s e s e r v i c e sb ys o l v i n gt h eb o t t l e n e c k so fp e r f o r m a n c ei nt h e m d u r i n gt h ep r o c e s so fc l i e n t - e n dp e r f o r m a n c et e s t i n gf o rt h e s ew e b s i t es e r v i c e s ，p r e c i s e m o d e lf o rt e s t i n gi sf o u n d a t i o na n dp i e c o n d i t i o no fr e a c h i n gt h ea n t i c i p a t e dt e s t i n gi n t e n t i o n ； m o d e lf o rt e s t i n ga c ta sd i r e c t i o no ft h ew h o l ep r o c e s so ft e s t i n g ，s oi ti sv e r yi m p o r t a n t ；i ti s a r c h i t e c t u r eo ft h ew h o l et e s t i n gp r o c e s s ，i sd e s c r i p t i o no ft a r g e ts y s t e mo ft e s t i n g ，i sl a y o u to f t h ew h o l et e s t i n gc o n t e n t ；s oc h o o s i n gw h a tk i n do fm o d e lf o rt e s t i n gw i l lm a k ei ft h ep r o c e s so f t e s t i n gr e a c h i n gt e s tg o a l ；t h ep r e c i s em o d e lf o rt e s t i n gc o m e sf r o mr i g h tt e s tm o d e l i n gs t r a t e g y t h i sp a p e ra n a l y s e sa n dr e s e a r c h e so ns t r o n g p o i n ta n dl i m i t a t i o no fa l r e a d ye x i s t i n gt e s t m o d e l s ，a tt h es a r r l et i m eg e te x c e l l e n tt h o u i g h to fm o d e l i n gf r o mt h e ma n du t i l i z et h et h o u g h t ； t h ep a p e ra l s oa l l s c a l ea n a l y s e sc u 玎e n tt h et e c h n i q u e so ft e s tm o d e l i n g t h i sp a p e rp a r t i c u l a ra n a l y s e sa l lk i n d so ff a c t o r si m p a c t i n gt h ew h o l em o d e l i n gp r o c e s so f p e r f o r m a n c et e s t i n g f o rt h e s es e r v i c e s c o m i n g f r o mt h r e e p a r t s o fw e b s i t es e r v i c e a r c h i t e c t u r e ( c l i e n t e n d ，n e t w o r k - p a r t ，s e r v i c e e n d ) a n dm a i np r o b l e m sc o n f r o n t e dd u r i n gt h e m o d e l i n gp r o c e s so fp e r f o r m a n c et e s t ；o nf o u n d a t i o no ft h ed e t a i l e da n a l y s e ，a l s ob a s i n gt h e t h r e ep a r t sh a v i n gd i f f e r e n tc h a r a c t e r i s t i c sa n df u n c t i o ni nt h ew h o l es e r v i c ea r c h i t e c t u r e ，u s i n g d i f f e r e n tm e t h o d sf o ra b s t r a c t i n gf o rd i f f e r e n tp a r t s ，an e wk i n do fm o d e l i n gs t r a t e g yf o r p e r f o r m a n c et e s t i n go fw e b s i t es e r v i c e - - l a y e r e dm o d e l i n gs t r a t e g yi sp r o p o s e d ；t h i sm o d e l i n g s t r a t e g yd i v i d e st h em o d e lo ft e s t i n gi n t ot o wp a r t s ，o n ei su s e ra c c e s s i n gs e r v i c e sm o d e l ，t h e o t h e ri sn e t w o r kt r a f f i cm o d e l ；u s e ra c c e s s i n gs e r v i c e sm o d e li su s e ds i m u l a t e sm a n n e ro fr e a l n e t w o r ku s e r su s i n gw e b s i t es e r v i c e s ，n e t w o r kt r a f f i cm o d e ls i m u l a t e sr e a lw e bt r a f f i ci n n e t w o r k e n a b l e sa l lk i n d so fs t a t i s t i c a lc h a r a c t e r i s t i c sg e n e r a t e du s i n gt h i sm o d e la c c o r d i n gw i t h a l lk i n d so fs t a t i s t i c a lc h a r a c t e r i s t i c sr e a lw e bt r a f f i ci nn e t w o r k ，m a k e st h eg e n e r a t e dt r a f f i ch a s c h a n g i n gs u d d e n l ya n dh e a v y t a i l e ds t a t i s t i c a lc h a r a c t e r i s t i c s t h ep a p e rd e t a i l e dd e s c r i b e sa p p r o a c h e so fe s t a b l i s h i n gt h et w op a r t sm o d e li nt h el a y e r e d m o d e l i n gs t r a t e g y ，i ts u f f i c i e n tr e p r e s e n t st h ee x c e l l e n tc h a r a c t e r i s t i c so ft h i sm o d e l i n gs t r a t e g y , t h ee x c e l l e n tc h a r a c t e r i s t i c so ft h em o d e l i n gs t r a t e g ya r et h ev e r yp e r s p i c u o u sl a y e ra n dc l e a r i i 国防科学技术大学研究生院学位论文 e x p a n s i b i l i t y a c c o r d i n gt ot h em a i nt h o u g h to ft h el a y e r e dm o d e l i n gs t r a t e g y , u s i n gj a v ap r o g r a m m i n g l a n g u a g et oi m p l e m e n tap r o t o t y p es y s t e mo fam o d e l i n gp a r ts y s t e mf o r an e wc l i e n t e n d a u t o m a t e dp e r f o r m a n c et e s t i n gt o o l ；t h em o d e l i n gp a r ts y s t e mg i v e sa l ld e t a i l e di n f o r m a t i o no f p e r f o r m a n c et e s t i n gm o d e lf o rt e s t i n gt a r g e ts y s t e mt o t h ep e r f o r m i n gp a r ts y s t e mo ft h e c l i e n t e n da u t o m a t e dp e r f o r m a n c et e s t i n gt o o lb yi n t e r f a c eb e t w e e nt h em o d e l i n gp a r ta n dt h e p e r f o r m i n gp a r t ，t h ea l ld e t a i l e di n f o r m a t i o nc o n t a i n e di np e r f o r m a n c et e s t i n gm o d e li ss a v e di n o n ex m ld o c u m e n t ，i se x p r e s s e da sx m lf o r m a t k e y w o r d s ：w e b s i t es e r v i c e s ，p e r f o r m a n c et e s t ，m o d e lo ft e s t i n g , m o d e l i n gs t r a t e g y , x m l ， c h a r a e t e r i s t i e so fw e bd a t at r a m c i i i 国防科学技术大学研究生院学位论文 图目录 图2 1 一个简单的有限状态机 图22 网络服务体系 图2 3w e b s t o n e 性能测试软件的结构 图2 4 $ p e o w e b 9 9 性能自动测试工具的测试体系结构 图2 5l o a d r u n n e r 工作示意图 图3 1w e b 挖掘的分类 图3 2w e b 访问模式挖掘过程 图4 1 被测站点服务树( 每个节点代表一个服务) 图4 2 某服务所对应的页面图 图5 1 将测试建模部分融入到测试执行部分中 图5 2 测试执行部分与测试建模部分相分离 图5 3 原型系统的基本组成 图5 4 原型系统测试建模部分的u m l 用例图 图5 5 原型系统建模部分的u m l 总体包图一 图5 6 包一一建立测试目标系统模型的子包图 图5 7 包一一建立和编辑测试脚本的子包图一 图5 8 包一一建立w e b 负载流量模型的子包图 图5 9 包一一测试模型的最终表示的子包图一 图5 1 0 原型系统测试建模部分的模块结构和相应的信息流程 图5 1 1 单页面测试模型响应时间直方图 图5 1 2 事务级模型下页面平均响应时间 n挖埔坞撕船盯鼹伯叭跳盯罟昌明眈 表2 i 自动测试工具精确性和可测量性的一些关键特征 表5 1 单页面测试模型下相关页面响应时间 表5 2 事务级的测试模型相关页面的响应时间 2 6 9 2 9 3 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教青机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王空生遄曲圆络月区叠性能趔这搓型盟窒生歪统塞挂 学位论文作者签名：盔漫杰日期：，中年z 月2 ，7 曰 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基王垄庄遄垃圜垒a 匿叠性能型遮搓型珏巍当歪氢塞挂 学位论文作者签名：盒主日期：2 研年月2 7 日 作者指导教师签名 墨馥杉 日期：2 弘年，) 月2 c ) 日 国防科学技术大学研究生院学位论文 第1 章绪论 1 1课题研究的背景和意义 近几年，互联网规模以超乎想象的速度快速增长【1 1 ，应用于其上的技术也得到了长足 的发展。随着w e b 技术的出现和广泛应用，互联网本身的易用性也不断得到加强，从而吸 引了越来越多的网络用户使用浏览器浏览w e b 页面来获取各种信息。但是用户并不满足于 此，他们要求通过使用i n t e m e t 来满足其日益增长的、更高层次的服务需求；这就给电子 商务提供了广阔的发展空间，促使了电子商务得到了蓬勃的发展。面对众多网络用户( 个 人用户和商业用户) 所形成的巨大网络服务需求商机，网路服务提供商通过b 2 b 、b 2 c 等 方式尽其所能向网络用户提供了大量的、种类多样的服务，以求最大限度地吸引网络用户， 在巨大的商业市场中占有一定的份额。 由于基于w e b 的应用服务较通过其它技术实现的服务更具直观性和易用性，用户界面 更为友好，故更能被绝大多数网络用户所接纳，所以这烘商业服务基本上都转化为依托于 w e b 站点的各类网络服务( 如：网络搜索引擎、网上银行、网上购物、在线游戏、视频点 播等) ，并通过用户使用浏览器对w e b 站点进行浏览访问来将这些服务展示出来。 网络服务正逐步在许多关键性业务和复杂的事务密集型应用中发挥着越来越重要的作 用( 例如：网上银行所包含的诸多业务，象网上转帐、网上支付、在线查询帐户等) ，极 大地促进了整个社会的信息化发展，提升了社会信息化的整体水平。 一个w e b 站点是否拥有易用的、高性能的网络服务直接决定了它对用户的吸引度和用 户对该站点的忠诚度，哈佛大学一个专项研究揭示，消费者的忠诚度是决定市场份额的关 键因素；这是该站点能否在众多提供同类服务的站点中脱颖而出的关键，同时也决定了服 务提供商所提供的网路服务能否在同类服务中得到用户的认同，能否在市场中占有一定的 份额，先期投资能否得到回报，并取得更大的收益。所阻，可以说w e b 站点上容纳的网络 服务的性能决定了服务提供商是能够盈利还是在网络服务发布后面临的是亏损的局面。 为了快速发布服务以抢占市场，服务的开发基本上本着快速、高效的原则，但是由于 技术水平、资金背景等诸多因素的限制，一些服务提供商在服务发布时比较仓促，对服务 的整体性能没有进行全面、有效的测试；或虽然进行了测试，但是由于没有制定和规划一 套完整详细的测试方案，采用的测试方法不够得当，手段不够科学，所得到的性能测试结 果不够完备和详细，一些重要的性能指标没有掌握清楚，例如：在保证一定服务质量的前 提下，该服务所能支持的最大并发用户数；单位时间内服务所接受的请求数，单位时间内 服务所处理的用户请求数，服务( 表示层面) 所根植的w e b 服务器的实时吞吐量，在非峰 值使用的情况下，服务处理完一个完整的业务流程所消耗的时间( 从用户的角度) ：在用 第1 页 国防科学技术大学研究生院学位论文 户连接峰值的情况下，服务处理一个完整的业务流程所需要的时间等一些重要性能指标： 服务中是否存在瓶颈也没有得到明确，假设存在性能瓶颈，由于性能数据获得的不够完整 全面，对瓶颈的定位也无法做到准确；以致于当服务处理请求的能力接近极限、服务容量 达到饱和，服务将要过载( o v e r l o a d ) 时( 对服务请求的响应速度变得极其缓慢，以致于 用户无法接受) ，面临随时可能导致整个服务中断和崩溃的危险时，服务提供商却茫然不 知所措，不知应该如何处理；欲进行性能优化却也无从下手，因为整个服务的性能瓶颈并 没有通过性能测试得到有效的定位，无法做到有针对性的性能优化。 用户无法忍受超过其忍耐限度的等待时间，从而促使其重新选择其它提供商的同类服 务，这对用户来说只是一个非常简单的操作，但对服务提供商来说却是一个很大的损失； 而且用户有可能再也不会选择使用该站点的这个服务，甚至对整个站点所容纳的服务的性 能都产生了怀疑，这在激烈的市场竞争中会使该服务提供商受到很大的经济损失。以下是 z o n a 一份研究报告【2 j 的数据统计：页面的下载时间减少1 s ，用户的放弃率从3 0 下降到6 8 ：由于性能问题，超过3 4 的用户没有从最初访问的网站购买商品，而其中的2 1 后来从别的网站购买了商品。据估计，性能问题造成全球商务网站每年损失4 3 5 亿美元， 占总损失的1 5 【3 j 。从经济学角度讲，失去用户就失去了市场、失去了商机。所以说在 某些情况下，性能比功能更为重要。 如何确定要发布的网络服务的性能是否达到了提供商的预期目标，在保证一定服务质 量的前提下，能否满足大量用户的并发服务请求；如何根据现有服务的性能和用户使用情 况来对服务容量进行长远规划，这是摆在服务提供商面前的一大难题。 要解决这一难题，必须在网路服务开发过程中和最后发布前夕，对其进行全面、细致、 有效的性能测试，以掌握大量的、必要的服务性能指标和服务性能数据，为服务提供商提 供作出决策的可靠依据。 测试的方式有多种选择，其中一种测试方式就是通过手工进行测试。通过建立好相应 的测试环境，由一定数量的测试人员组成测试团队，在专业测试人员的指导下，在真实的 使用环境中，依据测试方案，按照真实的服务使用方式实施测试：在测试的过程中，由专 业测试人员在服务器端使用性能监测工具观察服务性能的变化，并进行必要的记录。这种 方式优点是真实性比较高，缺点是测试过程的可重复性和可控制性比较差，产生的性能测 试数据相对较少；而且由于人力资源比较昂贵，所以测试所耗费的代价就比较高；同时由 于获得大量的人力资源非常困难，所以就无法产生大量的、并发的服务请求，也就无法产 生有代表性的w e b 负载流量；这样以来，就无法真正对服务形成压力测试和容量测试，就 无法测得服务的最大容量。不进行压力测试就无法观察到当服务承受巨大负载的情形下所 展现出来的行为样式，揭示并定位服务的性能瓶颈就无从谈起，也就无法做到有针对性地 进行服务性能优化；故这种手工作坊式的性能测试方式不具各有可行性。 另一种测试方式是使用性能测试工具进行自动化测试。按照在开发阶段就已经设计好 第2 页 国防科学技术大学研究生院学位论文 的测试方案，依据测试计划，自动执行测试脚本中包含的各个测试用例；在服务真实的使 用环境中，自动产生大量的虚拟网络服务用户。每个虚拟网络用户模拟真实用户对各种服 务的访问行为，发出服务请求，使服务端构成的服务系统有如在真实情形下对大量的服务 请求进行处理，从而形成真正意义上的压力测试、负载测试；由于测试过程所产生的测试 结果数据量是巨大的，通过利用测试软件的分析模块进行快速、准确、有效地分析，从而 可以更容易揭示出服务中存在的性能问题，更准确地定位出性能的瓶颈点，更有针对性地 进行服务性能优化，提出合理化的性能优化建议。这种测试方式的优点是测试过程的可重 复性和可控制性都很好，测试的效率比较高，而且测试的成本相对比较低；该性能测试方 式的难点在于测试模型的建立，测试用例集合的设置以及高效的测试引擎的设计。使用测 试软件进行自动测试这种测试方式是网络服务性能测试的首选，同时也是必然的选择。 性能自动测试工具有基于客户端的和基于服务端的这两种样式，由于网络服务是面向 网络用户提供服务的，用户评判服务性能的高低并不是依据查看针对服务端的测试报告， 而是通过其切身体验，观察服务对其发送的服务请求的响应速度；而服务端对用户请求的 反馈要通过网络来传递，故网络作为整个服务系统的组成部分必然要被考虑到测试过程 中，因为一切的性能问题都要从用户的角度来考虑，所以必须选择基于客户端的网络服务 性能测试工具来完成测试过程。 要达到详细掌握被测w e b 站点上容纳的各种网络服务性能的目的，必须使用基于客户 端的网络服务性能测试工具在该w e b 站点正式投入商业运行前，对其上提供的各种网络服 务的性能进行全面、有效地测试，获得这些网络服务在保证一定服务质量的前提下所能支 持的最大并发用户数，也就是服务的最大容量；监控并获得它们在真实使用环境中，在各 种复杂负载条件下对用户服务请求的响应时间、w e b 服务器实时吞吐量、服务端单位时问 内接受的请求数、单位时间内处理的请求数、单位时间内完成的事务数等关键数据。依据 科学的评测标准，客观地评价服务的性能，揭示并定位服务中存在的性能瓶颈，提出性能 优化建议和相应的优化方法。 一个服务性能测试工具能否真正客观准确地评测出服务性能的优劣，提出性能优化建 议，在很大程度上取决于测试模型的好坏一一即能否准确刻画出根植在w e b 站点上的各类 服务的组织结构、业务流程以及服务的业务逻辑，模拟真实使用环境中网络用户对各类服 务的使用方式，从而引导测试引擎产生有代表性的w e b 负载流量，使各种服务有如在真实 情况下对各种复杂的使用方式进行响应；采用正确的测试模型是整个性能测试过程能否达 到预期效果的前提和基础。 测试模型对整个测试过程起到了方向性和指导性的作用，是对测试过程中应测内容测 试顺序的安排，也就是说对测试的相应内容所对应的测试用例按照测试方案和测试计划进 行编排，以期快速、有效地达到测试的预期目标。在测试的具体实施过程中，它通过测试 用例的确定、测试用例顺序的编排，以及测试用例中包含的各种测试信息来体现。_ i _ f 确的 第3 页 国防科学技术大学研究生院学位论文 测试模型决定了性能测试过程能否得到准确的测试结果，而准确的测试结果是测试评价阶 段利用性能度量标准对被测服务进行性能评价的依据；在模型建立后，还可以对模型的一 致性和性质进行分析，这样可以在末进行实测之前就可能发现服务可能存在的某些性能问 题，可以说测试模型的建立对整个测试过程起着举足轻重的作用。 测试模型是依据建模策略采用一定的建模技术来得到的，所以建模策略的选择在很大 程度上决定了所建模型的好坏；同时采用何种建模技术也非常重要，业界领先的建模技术 可以加快建模速度，能更好地体现模型的准确性和有效性，使所建模型更加清晰和明了， 更能体现建模策略的优越性和先进性。 如何建立正确的测试模型，如何依据所建测试模型有效地指导测试过程的进行，从而 使性能测试达到预期的效果；并真正掌握网络服务在各种复杂的应用环境中，在各种复杂 的负载条件下所体现出的性能指标，并对网络服务的性能作出系统、全面、有效的评价； 在建立测试模型的过程中要考虑哪些因素，如何将这些因素在模型中很好地体现，这都是 测试模型研究需要重点研究的问题。本文对这些方面进行了深入研究，并提出了以被测站 点上容纳( 表示层面上) 的网络服务为基本测试建模粒度，层次化的网络服务性能测试模 型建立策略，它是一种可变粒度的事务级建模策略；将性能测试模型分为两部分，一部分 是用户访问服务模型，一部分是访问流量模型，每部分都给出了相应的建模步骤；并以该 策略的核心建模思想为理论基础，实现了一个自动测试工具原型系统的测试建模部分。 1 。2 国内外相关研究 网络服务性能测试和其测试模型理论是随着整个i n t e r n e t 的发展而兴起的一个新的研 究领域，它包含于整个软件自动测试的理论之中，是它的一个分支。国外一些公司和组织 于9 0 年代中期随着w w w 服务的产生和逐步发展渐渐开始对这一领域进行研究，主要是 开发性能或负载测试工具，作为其一系列w e b 应用解决方案的组成部分，但并没有建立自 己十分成熟的理论体系。其主要理论都是依据软件性能测试相关理论以及长期对i n t e r n e t 性能和流量的研究成果，并经过进一步细化、补充、拓展发展而来。 测试模型作为性能测试理论的一部分，在整个测试过程中起着方向性和指导性的作 用。经过一段时间的发展和完善，现阶段基于客户端的服务性能测试模型的类型主要有以 下几种：基于单页面的测试模型、基于简单访问记录的测试模型、基于用户使用方式的测 试模型、基于访问流量的测试模型；这些模型都有各自的优势，具有不同的侧重点，体现 了不同的建模思想；但同时从整体上看，还都不是很完善，在不同程度上存在着缺陷，需 要在它们各自的理论基础上进行不同程度的补充和完善；同时在建模技术上还要不断进行 更新，以达到更有效地指导测试过程执行的效果。 随着市场对网络服务性能自动测试工具需求的不断增长，性能自动测试工具的种类也 第4 页 国防科学技术大学研究生院学位论文 不断增多；而且随着w e b 新技术的逐步应用，各个测试工具所支持的特性也不断在拓展。 比较成熟工具有w e b s t o n e 、s p e c w e b 9 9 、w e b b e a c h 等；其中最著名的是s p e c w e b 9 9 这个 测试工具，它是一个w e b 系统性能基准测试软件，由s p e c ( s t a n d a r dp e r f o r m a n c ee v a l u a t i o n c o r p o r a t i o n ) 这个组织开发，它有能力度量对w e b 系统的动态页面和静态页面的请求。 s p e c w e b 9 9 是s p e c w e b 9 6 的后继产品，它给出了很多客观的、有代表性的基准来度量网络 服务的性能；它所产生的负载流量是对应于当前的w e b 实际使用模式( w e bu s a g ep a t t e r n ) 的，例如：大量使用动态内容和持久性连接【4 j 。 在巨大的商业利益的驱动下，很多其他的研发组织和商业公司也投身到服务性能自动 测试工具的开发之中，些新产品也相继问世。其中有m e r c u r yi n t e r a c t i v e 的l o a d r u n n e r ， r a d v i e w 的w e b l o a d 等，其特点是功能逐渐强大，使用比较方便，所支持的测试协议逐渐 增多，适用的范围也比较广泛，代表了自动测试工具的新的发展方向。 虽然现阶段基于客户端的网络服务性能自动测试工具有很多，各种工具的功能、性能 有所差异，实现方法和性能度量标准也不尽相同，但总体设计思想基本相似，即：通过软 件方式来产生大量的虚拟用户，每个虚拟用户尽量依据真实用户对被测站点上各种网络服 务的使用方式，模拟真实用户来访问被测站点，从而产生有代表性的w e b 访问流量，并实 时监测从服务端反馈的各种响应数据，使用一定的度量标准对各类服务的性能进行相应的 评价。他们的很多思想都是借鉴于软件自动测试理论，其实现方法和模型理论都有很好的 借鉴意义。 但是，在有些工具中，完整的测试模型理念体现还不是很明显，评价性能的度量标准 也不是非常的全面：有些则是选用的模型建立策略不是很正确，模型建立方法过于简单， 建模思想缺乏服务整体性的概念，没有把被测服务看作一个有机整体，而是把服务的各功 能部分割裂开来单独进行测试，所得到的各部分的性能指标当然无法用来评价服务的整体 性能，同时也无法体现出测试过程的事务性的特点( 一次测试过程要么正常完成整个服务 业务流程一个分支情况的测试，要么发生异常退出) ；有些工具只是一味快速地产生大量 的虚拟用户去访问静态页面或嵌入在某个页面中的服务对象( 使用某种特定编程语言编写 的( 如j a v a 语言) 、在w e b 服务器上执行的代码段或者各类c g i 程序) ，无法真正模仿在 i n t e m e t 环境下用户使用各类服务的真实行为，也就不可能产生真正有代表性的负载流量， 测试的结果肯定值得商榷。 国内一些科研单位也在相关领域进行研究，也有一些成型的产品，如：w e b m a r k 等。 但有些是针对w e b 服务器软件的性能测试，而不是针对w e b 站点上网络服务性能的，产 品的定位与本文所讨论的测试目标和方向存在一定的差异。这些产品为了使w e b 服务器性 能测试的结果更具说服力，需要使与请求负载相关的w e b 特征( 这是指w e b 系统或者它 的某些组成部分在完成w e b 事务过程中表现出来的特点) 应当服从实验测得的分布模型， 这些增加的额七h 限定使其失去了针对整个w e b 站点上各类网络服务而进行性能测试的适 第5 页 国防科学技术大学研究生院学位论文 应性和灵活性。它们中大部分是在国外经典的w e b 服务器性能测试工具的基础上，随着 w e b 技术的发展而进行的一些技术改进，理论创新点并不是很多，尤其是在测试模型的建 立方面。w e b 服务器性能测试建模过程与本文讨论的网络服务性能测试模型的建立过程有 很多类似的地方，但由于测试的目标不同，还是存在一定的差别，不过其中的方法和思想 对基于客户端的服务性能测试模型建立策略还是有非常大的启示作用。 1 。3 本文的主要工作 本文在全面分析研究了基于客户端的网络服务性能测试整体过程的基础上，着重研究 了基于客户端的服务性能测试模型的相关理论以及测试模型的建立策略，并用一个原型系 统实现了作者提出的层次化的性能测试模型建立策略。本文的主要工作集中体现在以下几 个方面： 1 、详细地研究了基于客户端的服务性能测试的整个过程及相应的测试步骤； 2 、详细地分析了现有各类基于客户端的服务性能测试模型的优缺点，并对相关建模 技术进行了完整的研究； 3 、在详细分析了基于客户端的服务性能测试模型建立过程中所面临的主要问题和影 响因素的基础上；提出一种全新的测试模型建立策略一一层次化的测试模型建立策略 ( l a y e r e dm o d e i i n gs t r a t e g y ) ，简写为l m s ；该建模策略将测试模型分为两部分，一部分 是用户访问服务模型，一部分是访问流量模型，并详尽地给出了各部分的具体建模步骤： 4 、根据层次化的测试模型建立策略的理论，依据其建模的具体步骤，实现了一个测 试建模原型系统，并将其作为一个新设计的自动测试工具的重要组成部分；该原型系统具 有以下四大部分功能：建立测试目标系统模型、建立和编辑测试脚本、建立w e b 负载流量 模型以及测试模型的最终表示。 1 4 论文的结构 论文共分六章。 第一章强调了服务性能测试的重要性，简要介绍了基于客户端的服务性能测试的一般 过程和测试模型在整个测试过程中的重要地位，回顾了国内外关于基于客户端的服务性能 测试的相关研究，分析并提出了本文研究的主要问题。 第二章主要介绍了与服务性能测试相关的基本概念和现阶段服务性能自动测试工具 的现状及自动测试工具所面临的挑战。 第三章主要介绍了当前服务性能测试的模型现状和相关建模技术。 第四章在详细分析测试模型建立过程中所面临的主要问题和相关影响因素的基础上， 第6 页 国防科学技术大学研究生院学位论文 提出了一种新的服务性能测试模型建立策略一一层次化的建模策略( l - m s ) ，并给出了详 细的建模步骤。 第五章对新设计的性能自动测试工具的总体设计和该工具原型系统测试建模部分的 功能设计、系统分层结构以及测试建模部分的系统模块结构进行了比较详细地阐述。 第六章对全文的工作进行了总结，明晰了各部分所做工作的主要内容，并明确了在今 后的工作中需要进一步加强研究和探讨的相关问题。 第7 页 国防科学技术大学研究生院学位论文 第2 章网络服务性能测试 基于客户端的网络服务性能测试需要通过驻留在客户机上的客户端向被测w e b 站点 上容纳( 表示层面上) 的网络服务发送瑚广r p 请求，并在客户端上观察被测站点上的服务 对这些请求的响应，故h t t p 协议的请求和应答是客户端与服务端进行交互的主要方式， 下面对h t t p 协议作以简述。 2 1h t t p 协议简介 2 1 - 1h t t p 协议概述 w w w 服务使用的是瑚r r p ( h y p t e r t e x t t r a n s f e rp r o t o c 0 1 ) 协议，h 1 t r p 协议是基于t c p 协议提供的可靠的数据流服务的基础上的。h t t p 协议是从1 9 9 0 年开始使用的，最初的版 本是h t r p 0 9 ，h r r p 1 0 是从第一个版本 r 丌p o 9 发展而来的，对于最初的版本一直没 有形成过一个真正的文档，第一个可用的文档出现在1 9 9 3 年( 此文档描述了h 1 t r p 协议 的1 0 版本) ，h t r p 协议是由i e t f 小组于r f c l 9 4 5 中正式提出命名为h t t p 1 0 。后来 又经过四年的发展，进一步生成的h 1 盯p 1 1 【6 】。目前正在使用的是h t r p 1 1 ( 其正式文 档在1 9 9 7 年的r f c 2 0 6 8 中给出) 。虽然h r r p 协议的推出时间要比f r p 和t e l n e t 晚，但 h t t p 协议的增长速度是令人吃惊的。据统计，通过h 丌p 协议所产生的数据流量在1 9 9 5 年5 月份首次超过了传统的n r p 协议所产生的数据流量