Spirent-Abacus100性能及功能测试培训

Abacus100性能及功能测试培训,唐im.tang,议题,性能测试语音质量测试Modem/fax测试回声测试补充业务测试,性能测试,PSTN/VOIP网络性能,网络（包括一个或多个网络单元）性能网络性能是指网络或网络单元能够承受的最大能力，通常表现为BHCA(Busy-Hour-Call-Attempt)或CPS(CallPerSecond)，以及呼叫完成率或呼损率等指标网络性能受网络单元设备的软硬件性能和网络传输损伤等多方面因素影响，因此测试应考虑网络损伤情况网络性能测试方法同步呼叫、异步呼叫、长保持呼叫纯信令呼叫、加载媒体流（语音/视频）呼叫PSTN网络、VOIP网络、IMS网络、承载网络。本地呼叫测试、异地分布式呼叫测试,负荷压力呼叫测试,负荷压力呼叫测试，一般分为同步呼叫和异步呼叫两种，有纯信令呼叫和带媒体流呼叫两种模式，分别测试系统对信令和媒体流的在峰值压力下和恒定压力下的呼叫处理能力。需要测试仪表仿真大量的用户发起呼叫，来精确验证VOIP系统的最大呼叫处理能力，得到“平衡点”的BHCA（每小时的呼叫处理次数）或者CPS（每秒钟的呼叫处理次数），呼损一般不能超过万分之一。“平衡点”是符合以下条件的网络最大呼叫处理能力(BHCA/CPS)呼损率不能超过万分之一（各个国家规范有所不同）语音质量要符合国家规范（中国规范：PESQ=4.0）语音单向延迟要符合ITU的规范（ITU：OneWayDelay150ms）呼叫建立时间符合国家规范（中国规范：轻载1s/重载2s）拨号音延迟符合ITU规范（ITU：DailToneDelay500ms）回声、抖动、丢包等指标处于正常范围,PSTN/VOIP网络性能同步呼叫,同步呼叫一般分为纯信令和带媒体流的两种，分别测试系统对信令和媒体流的处理能力同步呼叫一般采用几十到几千个用户同时发起呼叫，使用二分法，精确验证出PSTN/VOIP系统同时能够处理多少路呼叫并发，是一种峰值压力的测试同步呼叫测试时间一般不超过1小时；呼损不能超过万分之一,PSTN/VOIP网络性能异步呼叫,异步呼叫一般分为纯信令和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力异步呼叫一般由足够多的用户采用异步方式发起呼叫（例如间隔一秒发呼一个用户），通过更改呼叫保持时间和呼叫间隔时间来调整压力，精确验证出PSTN/VOIP系统的呼叫性能，通常体现在BHCA和CPS数值上，即系统每小时或每秒处理呼叫的能力测试时间一般超过1小时，甚至达到24小时或48小时或更长时间；呼损不能超过万分之一,PSTN/VOIP网络性能长保持呼叫,长保持呼叫一般分为纯信令和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力长保持呼叫一般由足够多的用户采用同步或异步方式发起呼叫，呼叫保持时间一般不低于8小时，精确验证出PSTN/VOIP系统的对于长呼叫的处理能力，即在规定时间内有无“掉话”通常体现在呼损数值上，不能超过万分之一或者不允许有呼损发生,网络性能的其他参数呼叫过程音,呼叫过程音由网络提供，用来提示网络状况或呼叫过程DialTone拨号音，代表网络资源可用，准备接受用户拨号BusyTone忙音，表示被叫资源忙CongestionTone拥塞音，表示网络拥塞，资源不足RingbackTone回铃音，表示被叫振铃，资源可用网络用户对于这些呼叫音都很熟悉网络用户只是期待这些呼叫音，并不关心网络类型听到这些音表明网络正常听不到这些音就认为网络设备或终端设备异常,网络性能的其他参数呼叫过程音（续）,呼叫过程音的检测是确保网络性能的有效方法之一这种方法主要检测呼叫过程音的时延Dialtonedelay（摘机到听到拨号音）DialToneDelay500msAcknowledgementdelay（拨号完毕到被叫应答）Postdialdelay（拨号完毕到听到回铃音）One-wayDelay（被叫应答到主叫听到被叫的应答）根据ITU-T建议,One-waydelay400ms（卫星电路除外）,用户感受的呼叫过程音之间的延迟,网络性能的其他参数信令时延,PSTNSignalingSS7,ISDN,GR-303,V5VoIPSignalingSIP,H.323,MGCP,MEGACO,SIGTRAN,SCCP信令时延取决于消息发送到接受的时间多数情况下是传输过程中产生的但是也不完全是网络引起的这种时延有时候是由于设备/终端内部引起的高呼叫量会对信令时延产生影响网络时延往往被忽略，尤其网络对信令包采取优先策略时高呼较量产生的延迟，可以通过改善网络设备软硬件处理技术来得到缓解,网络性能的其他参数信令时延（续）,ResponseTime=(t1t0)PostDialDelay=(t2t0)CallSetupTime=(t3t0)TeardownTime=(t5t4),信令时延PostDialDelay,POSTDialDelaySS7PDD=time(ACMreceived)time(IAMSent)PRIPDD=time(Alertingreceived)time(SetupSent)SIP/SIP-TPDD=time(180RingingReceived)time(INVITESent)H.323PDD=time(Q.931AlertingReceived)time(Q.931SetupSent)MGCP(MGW)PDD=time(RQNTReceivedIndicatingG/rt)time(NTFYsentw/Digits)MEGACO(MGW)PDD=time(MODIFYReceivedIndicatingal/rt)time(NOTIFYsentw/DigitString),信令时延SIP,ResponseTime=(timefirstResponseRxtimeINVITETx)PostDialDelay=(time180RingingRxtimeINVITETx)CallSetupTime=(time200OKRxtimeINVITETx)TeardownTime=(time200OKRxtimeBYETx),PSTN/VOIP网络性能的进一步分析,网络性能测试结果BHCA/CPS未达到设计要求，我们要找原因我们使用二分法很快测出网络的最大BHCA/CPS，此时还要记录信令延迟（例如，PostDialDelay)，数值可能很大；然后，我们降低话务量，再记录此时的信令延迟；如果信令延迟与话务量成正比，而且话务量较低时信令延迟很小，这说明网络已经达到极限，出现大量呼叫排队，我们应该通过改善软硬件配置来提高性能；如果信令延迟基本不随话务量变化而变化，那么可以肯定问题在网络上，我们要分析网络上为什么存在这么大的延迟。单向延迟的变化分析方法相同。只不过它是对媒体流的分析。用户使用模拟呼叫器进行网络性能测试我们可以使用拨号音延迟（DialToneDelay)来帮助我们查找问题。如果DialToneDelay超过500ms甚至1s，那就说明VOIP呼叫处理设备的拨号音发送器资源不足，话务量增大导致排队时间过长，很可能这是制约VOIP网络性能的最大瓶颈！,VOIP测试结果分析举例,DUT：AG（设计性能15,000BHCA）测试方案：通过模拟analog终端和SS来验证MG性能结果：BHCA=15000，CallErrorRate(24hours)=0通常客户会认为：DUT达到设计指标BHCA=15000时DialToneDelay=1500msPESQ=3.0BHCA=10000时DialToneDelay=450msPESQ=4.1最后结论DUT的最大性能是BHCA=10000!而不应该是15000,性能测试问题解答,Q1：如何计算CPS/BHCA?我们的测试例需要多少用户仿真?仪表仿真的用户数应该至少大于测试例中要求的最大并发呼叫数目的两倍；Cps=总用户数/一个呼叫周期(呼叫时长+空闲时长)并发呼叫数=CPS*呼叫保持时长；Abacus目前支持CPS设定；根据需要仿真的用户数目来估算需要多少测试资源（例如：需要多少板卡）Q2:如何去寻找“平衡点”?第一次测试按照被测系统的设计容量(BHCA/CPS)来进行;；然后使用二分法寻找“无差错点”；如果其他参数也满足“平衡点”条件，那么“无差错点”=“平衡点”；否则，降低呼叫话务量，直到其他参数也满足条件。,如何在abacus100上查看信令时延指标?,配置abacus100统计postdialdelay,统计前需正确配置ringbacktone的频率,如配置不当，可能会导致abacus100无法正确检测ringbacktone而报“noringbacktone”错误,语音质量测试,PSTN网络参数对于语音质量的影响,通话回声语音压缩A/D&D/A转换噪声电路噪声/外部噪声（造成声音衰减与失真变形）单向时延随机误码(BER10-6)语音间断与滑码话务量,VOIP网络参数对于语音质量的影响,网络架构接入连接的类型QoS控制下的边缘路由MTU大小包丢失包乱序单向延迟（延迟）可变延迟（抖动）时钟漂移流量负载大小,路由翻动信令/协议不匹配网络及链路故障,语音质量影响因素示意图,信号失真SignalDistortions,祯丢失FrameLoss,延迟Latency,抖动Jitter,语音质量VoiceQuality,编解码（Codec）,传输线路Transmission,网络拥塞NetworkCongestion,交换与路由Switching&Routing,语音的频率范围对语音质量的影响,人能够听得见的声音范围：20HZ20000HZ人能够说得出的语音范围：300HZ3400HZ通常我们所说的语音质量是指300HZ-3400HZ的通话质量不同频段对于语音处理设备的敏感度不同，通常男声/女声的语音质量不同,话务量对语音质量的影响,此图中，Media可以是语音、视频或者数据，一般理解为呼叫承载量，或者成为呼叫负荷，当这个承载量超过或接近系统最大能力时，语音质量就会明显下降。,QOS控制对语音质量的影响,ITU-TY.1541定义了不同的QOS等级网络节点对QOS等级的控制是否合理，将导致网络损伤产生的程度，间接影响网络的语音质量,VOIP中常用语音编码,=80msSpeech,=40msSpeech,=20msSpeech,80Bytes,40Bytes,20Bytes,包大小对语音质量的影响（G.729为例）,注释:包长度越小，语音质量越好,VOIP正常包长度,语音编解码对语音质量的影响,MOSScoresbyAudioCODEC,1,2,3,4,5,G.711PCM(64Kbps),G.726ADPCM(32Kbps)G.728LD-CELP(16Kbps)G.729CS-ACELP(8Kbps),EVRCG.723.1MPMLQ(6.3Kbps),G.723.1(5.3Kbps),AMR,MOSbyCODEC:Coder/Decoder,丢包对于语音质量的影响,丢包的来源网络拥塞包延迟到达乱序错包丢包会严重影响语音质量丢包对于语音质量的影响程度还取决于编码算法不同的编码算法对于丢包的处理并不相同例如G.711带有一个额外的丢包补偿机制(packetlossConcealment),丢包对于语音质量的影响(续),G.113附录I定义了一个Ie参数用于反映丢包对于语音质量的影响Ie是一个数值，代表设备层面引入的损伤Ie值越大，表明损伤越大。0表示没有损伤。由下面公式可以看到语音质量RFactor和Ie成反向的关系,R=Ro-Is-Id-Ie+ARTransmissionratingfactorRoBasicsignal-to-noiseratioIsAllsimultaneousimpairmentsIdAlldelaysIeEquipmentImpairmentfactorAExpectationfactor,丢包对语音质量的影响,丢包对R-Factor影响十分明显,TotalPacketssent,R-FactorScore,Packetsloss%,VoiceCodecs,Jitter的来源,不同节点上的处理时间不同例如，流量比较大的路由器可能会花更长的时间去查看路由表传输队列延迟不同例如，网络壅塞的出现,语音包,语音蓄水池,连续平滑语音流,抖动缓冲（JitterBuffer）,JitterBuffer可以平滑语音流,50ms,抖动(Jitter)对语音质量的影响,包到达时间不可预知抖动(Jitter)越小，语音质量越好,20Bytes,1,500Bytes,Voice,Data,长包vs.短包,端对端延迟来源,算法延迟串行延迟传输延迟节点延迟,影响语音质量的固定延迟,固定编码缓冲VAD压缩算法,固定交换可变语音争用数据争用视频争用,固定串行广域网,固定交换传输串行可变语音争用数据争用视频争用,固定交换可变语音争用数据争用视频争用,固定解码可变去抖动缓冲包丢失隐藏,源发局域网,核心网络,终结局域网,源发网关,边缘路由器,核心网络路由器,终结网关,边缘路由器,固定串行广域网,影响语音质量的可变延迟,语音/数据/视频争用抖动缓冲丢包补偿,延迟对语音质量的影响,PSTN,ITU-TG.114建议,延时对于语音质量的影响,ITUG.114相关建议如果单向时延大于25ms,则需要启用回声抑制器大多数用户都能接受带回声抑制的单向时延小于150ms的环境150-400ms:对于语音应用，用户满意度开始下降。其他应用尚可以接受。400ms以上：大多数的应用都无法接受。,主动测试（介入式）发送、接收和对比波形文件，对语音质量进行端到端的客观评估MOSPSQM、PSQM+PESQ被动测试（非介入式）R-Value测量RTP包上的语音质量基于E-Model模式(ITU-G.107)日本J-MOSP.563（ITU-T推荐）根据音频信号测量语音流量的语音质量提供PSQM估计值,语音质量测试方法,人的主观评价(MOS),MeanOpinionScore(MOS)ITU-TP.800分值从1到54以上认为语音质量很好取决于人的听觉问题测试比较昂贵难以重复主观性太强,PSQM(ITU-TP.861),PSQM(PerceptualSpeechQualityMeasurement)由荷兰的KPN组织发明1996年8月，得到ITU-T认可，成为标准主动介入式语音质量测试技术范围从0到6.5:0最好,6.5最差,小于4勉强可以接受算法比较简单，对处理器硬件要求不高目前已经被多数机构抛弃，改为采用ITU-TP.862(PESQ),PESQ(ITU-TP.862),PerceptualEvaluationofSpeechQuality(PESQ)荷兰的KPN与英国BT联合发明2001年2月，得到ITU-T认可,成为语音质量测试标准经实践检验，可以替代PSQM和PAMS主动介入式语音质量测试技术范围从0.5到4.53.5以上认为可以接受问题算法复杂对于处理器硬件的要求较高,PESQ(ITU-TP.862)续。,PESQ具有附加诊断信息查找更多的语音质量问题PESQ可以在多数应用场合，精确的预报/转换人体主观评价指标，MOS-LQOPESQ在用户话机侧和网络侧都有过滤补偿机制PESQ基于PAMS技术,易于识别和计算延迟变化,主动（介入式）语音质量测试方法,DUT,发送波形文件,接收波形文件,通过对比发送和接收的Wave文件来评估语音质量,MOS、PSQM、PSQM+、PESQ,发送（绿色）和接收（橙色）波形文件,扩展后的发送（绿色）和接收（橙色）波形文件,PESQ得分与PESQ评估次数,E-Model（G.107）（被动式语音质量）,ITUG.107由ETSI发明与PESQ不同，强调网络损伤的存在主要应用于传输层面与MOS,PSQM,PESQ,PAMS不同，属于非介入式测试结果更加取决于网络结构和性能,R=Ro-Is-Id-Ie+ARTransmissionratingfactorRoBasicsignal-to-noiseratioIsAllsimultaneousimpairmentsIdAlldelaysIeEquipmentImpairmentfactorAExpectationfactor,E-Model（G.107）（续）,E-Model在Abacus上的输出值为R-Factor,各种语音质量指标之间的转换关系,P.861PSQM/PSQM+,P.862PESQ,0,6.5,-0.5,4.5,端到端的语音质量测试,端到端性能测试发起带有RTP媒体流的真实呼叫，检验网络性能和功能检验语音质量单向延迟(OneWayDelay)精度达到+/-2ms,思博伦语音质量的测试工具,Abacus(5000,100,50)主动式语音质量测试，输出参数包括：MOS,PSQM,PESQ,MOS-LQ0,J-MOS,R-Factor(P.834)被动式语音质量测试(端点分析)，输出参数包括：R-Factor(G.107)支持网络损伤统计：丢包、时延、抖动、乱序、语音间断/滑码、回声支持各种呼叫延迟(Timer)统计，包括：DialToneDelay,PostDialDelay,RingTimeDelay,OneWayDelay,RoundTripDelay,AckowledgementDelay,CallSetupDealy,ResponseTimeDelay,TearDownDelay,。支持本地测试和异地分布式测试ClearSight被动式语音质量测试(监控分析)，输出参数包括：R-Factor,MOS支持本地测试和异地分布式测试,配置abacus100进行语音质量测试,Advanced配置窗口,Channels通道配置,Advanced菜单用于配置话音质量或者传真、Modem测试,选择语音测试标准,选择语音测试文件,视频质量测试,传真、Modem测试,语音质量测试,语音质量测试RealMeasurementovertime,对每一次的语音质量进行monitor,对抓到的语音波形进行回放和对比分析,Modem/Fax测试,Abacus100=32个V.34模拟数据modem,最多支持32路V.34AnalogDataModem,V.34模拟数据modem,Abacus100支持V.34模拟数据ModemV.34定义2.4kbps到33.6kbps传送数据的调制方法Abacus100支持用户自定义各种modem协议，来支持各种收发数据的传输参数V34:abacus支持从2.4Kbps到26.4K各种速率V32bis:从4.8kbps到14.4KbpsV23V22bisV21用户在Protocol-Development窗口中进行自定义，并在PartitionandTiming|Protocolspanel窗口中来选择Abacus100支持最多32路V.34模拟数据Modem,96个T.30Fax=Abacus100,T.30FaxuptoV.17,Abacus100支持T.30FaxuptoV.17T.30定义两台传真机间的数据交换能力的协商过程调制方法:支持不同速率的各种协议V17:7.2kbps,9.6kbps,12.0kbps,and14.4kbpsV29:7.2Kbpsand9.6KbpsV27：2.4Kbpsand4.8KbpsAbacus100支持最多96路T.30FaxResolution(dpi):200*100(normal),200*200(fine),T30FAX协商过程,Modem/fax测试统计指标,FAXConnectionspeedThroughputspeedConnectiontimeReceivedFaxpagesFaxlineerrorrateModemConnectionspeed(Tx/Rx)Throughputspeed(Tx/Rx)ModembiterrorrateCallcompletionsErrors,Faxmonitorandcapture,Fax消息观察窗口,可监控收到的传真并回放,相关配置(1),配置fax/modem相关的协议,相关配置(2),配置fax/modem相关的pathconfirm的内容如果是fax，可以选择simple和complex两种模式，并可以选择标准的图片如果是modem,则选择data选项,其他无须设置,回声测试,PSTN/VOIP中回声的来源不同,T1连接,MG中的回声消除器可降低回声水平,NGN网络,ERL,ERLE,