Spirent Abacus100性能及功能测试培训

1、Abacus100性能及性能及功能测试培训功能测试培训唐君唐Page 2议题议题 性能测试 语音质量测试 Modem/fax测试 回声测试 补充业务测试性能测试性能测试Page 4PSTN/VOIP网络性能网络性能网络（包括一个或多个网络单元）性能 网络性能是指网络或网络单元能够承受的最大能力，通常表现为BHCA (Busy-Hour-Call-Attempt) 或 CPS (Call Per Second)，以及呼叫完成率或呼损率等指标 网络性能受网络单元设备的软硬件性能和网络传输损伤等多方面因素影响，因此测试应考虑网络损伤情况网络性能测试方法 同步呼叫、异步呼叫、

2、长保持呼叫 纯信令呼叫、加载媒体流（语音/视频）呼叫 PSTN网络、VOIP网络、IMS网络、承载网络。 本地呼叫测试、异地分布式呼叫测试Page 5 负荷压力呼叫测试负荷压力呼叫测试 负荷压力呼叫测试，一般分为同步呼叫和异步呼叫两种，有纯信令呼叫和带媒体流呼叫两种模式，分别测试系统对信令和媒体流的在峰值压力下和恒定压力下的呼叫处理能力。 需要测试仪表仿真大量的用户发起呼叫，来精确验证VOIP系统的最大呼叫处理能力，得到“平衡点”的BHCA（每小时的呼叫处理次数）或者CPS（每秒钟的呼叫处理次数），呼损一般不能超过万分之一。 “平衡点”是符合以下条件的网络最大呼叫处理能力(BHCA/CPS)

3、呼损率不能超过万分之一（各个国家规范有所不同） 语音质量要符合国家规范（中国规范：PESQ=4.0） 语音单向延迟要符合ITU的规范（ITU：OneWayDelay150ms） 呼叫建立时间符合国家规范（中国规范：轻载1s / 重载2s） 拨号音延迟符合ITU规范（ITU：DailToneDelay500ms） 回声、抖动、丢包等指标处于正常范围 Page 6PSTN/VOIP网络性能网络性能 同步呼叫同步呼叫 同步呼叫一般分为纯信令和带媒体流的两种，分别测试系统对信令和媒体流的处理能力 同步呼叫一般采用几十到几千个用户同时发起呼叫，使用二分法，精确验证出PSTN/VOIP系统同时能够处理多少

4、路呼叫并发，是一种峰值压力的测试 同步呼叫测试时间一般不超过1小时；呼损不能超过万分之一 Page 7PSTN/VOIP网络性能网络性能 异步呼叫异步呼叫 异步呼叫一般分为纯信令和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力 异步呼叫一般由足够多的用户采用异步方式发起呼叫（例如间隔一秒发呼一个用户），通过更改呼叫保持时间和呼叫间隔时间来调整压力，精确验证出PSTN/VOIP系统的呼叫性能，通常体现在BHCA和CPS数值上，即系统每小时或每秒处理呼叫的能力 测试时间一般超过1小时，甚至达到24小时或48小时或更长时间；呼损不能超过万分之一 Page 8PSTN/VOIP

5、网络性能网络性能 长保持呼叫长保持呼叫 长保持呼叫一般分为纯信令和带媒体流的两种，分别测试软交换对信令处理能力和媒体网关对媒体流处理能力 长保持呼叫一般由足够多的用户采用同步或异步方式发起呼叫，呼叫保持时间一般不低于8小时，精确验证出PSTN/VOIP系统的对于长呼叫的处理能力，即在规定时间内有无“掉话” 通常体现在呼损数值上，不能超过万分之一 或者不允许有呼损发生Page 9网络性能的其他参数网络性能的其他参数 呼叫过程音呼叫过程音 呼叫过程音由网络提供，用来提示网络状况或呼叫过程 Dial Tone 拨号音，代表网络资源可用，准备接受用户拨号 Busy Tone 忙音，表示被叫资源忙 Co

6、ngestion Tone 拥塞音，表示网络拥塞，资源不足 Ring back Tone 回铃音，表示被叫振铃，资源可用 网络用户对于这些呼叫音都很熟悉 网络用户只是期待这些呼叫音，并不关心网络类型 听到这些音表明网络正常 听不到这些音就认为网络设备或终端设备异常Page 10网络性能的其他参数网络性能的其他参数 呼叫过程音（续）呼叫过程音（续） 呼叫过程音的检测是确保网络性能的有效方法之一 这种方法主要检测呼叫过程音的时延 Dial tone delay （摘机到听到拨号音） Dial Tone Delay 500ms Acknowledgement delay （拨号完毕到被叫应答） Po

7、st dial delay （拨号完毕到听到回铃音） One-way Delay （被叫应答到主叫听到被叫的应答） 根据ITU-T建议, One-way delay 400ms （卫星电路除外） Page 11用户感受的呼叫过程音之间的延迟用户感受的呼叫过程音之间的延迟Page 12网络性能的其他参数网络性能的其他参数 信令时延信令时延 PSTN Signaling SS7, ISDN, GR-303, V5 VoIP Signaling SIP, H.323, MGCP, MEGACO, SIGTRAN, SCCP 信令时延取决于消息发送到接受的时间 多数情况下是传输过程中产生的 但是也不完

8、全是网络引起的 这种时延有时候是由于设备/终端内部引起的 高呼叫量会对信令时延产生影响 网络时延往往被忽略，尤其网络对信令包采取优先策略时 高呼较量产生的延迟，可以通过改善网络设备软硬件处理技术来得到缓解Page 13网络性能的其他参数网络性能的其他参数 信令时延（续）信令时延（续） Response Time = (t1 t0) Post Dial Delay = (t2 t0) Call Setup Time = (t3 t0) Tear down Time = (t5 t4)Page 14信令时延信令时延 Post Dial Delay POST Dial Delay SS7 PDD =

9、 time (ACM received) time (IAM Sent) PRI PDD = time (Alerting received) time (Setup Sent) SIP/SIP-T PDD = time (180 Ringing Received) time (INVITE Sent) H.323 PDD = time (Q.931 Alerting Received) time (Q.931 Setup Sent) MGCP (MGW) PDD = time (RQNT Received Indicating G/rt) time (NTFY sent w/ Digits)

10、 MEGACO (MGW) PDD = time (MODIFY Received Indicating al/rt) time (NOTIFY sent w/ DigitString)Page 15信令时延信令时延 SIP Response Time = (time first Response Rx time INVITE Tx) Post Dial Delay = (time 180 Ringing Rx time INVITE Tx) Call Setup Time = (time 200 OK Rx time INVITE Tx) Tear down Time = (time 200

11、 OK Rx time BYE Tx)Page 16PSTN/VOIP 网络性能的进一步分析网络性能的进一步分析 网络性能测试结果BHCA/CPS未达到设计要求，我们要找原因 我们使用二分法很快测出网络的最大BHCA/CPS，此时还要记录信令延迟（例如，PostDialDelay)，数值可能很大； 然后，我们降低话务量，再记录此时的信令延迟； 如果信令延迟与话务量成正比，而且话务量较低时信令延迟很小，这说明网络已经达到极限，出现大量呼叫排队，我们应该通过改善软硬件配置来提高性能； 如果信令延迟基本不随话务量变化而变化，那么可以肯定问题在网络上，我们要分析网络上为什么存在这么大的延迟。 单向延迟

12、的变化分析方法相同。只不过它是对媒体流的分析。 用户使用模拟呼叫器进行网络性能测试 我们可以使用拨号音延迟（DialToneDelay)来帮助我们查找问题。 如果DialToneDelay超过500ms甚至1s，那就说明VOIP呼叫处理设备的拨号音发送器资源不足，话务量增大导致排队时间过长，很可能这是制约VOIP网络性能的最大瓶颈！Page 17VOIP测试结果分析举例测试结果分析举例 DUT：AG （设计性能 15,000 BHCA） 测试方案：通过模拟analog终端和SS来验证MG性能 结果：BHCA=15000，Call Error Rate (24 hours) = 0 通常客户会认

13、为：DUT达到设计指标 BHCA=15000时 Dial Tone Delay = 1500ms PESQ = 3.0 BHCA=10000时 Dial Tone Delay = 450ms PESQ = 4.1 最后结论 DUT的最大性能是 BHCA=10000!而不应该是15000Page 18性能测试问题解答性能测试问题解答 Q1：如何计算 CPS / BHCA? 我们的测试例需要多少用户仿真? 仪表仿真的用户数应该至少大于测试例中要求的最大并发呼叫数目的两倍； Cps=总用户数/一个呼叫周期(呼叫时长+空闲时长) 并发呼叫数 = CPS * 呼叫保持时长； Abacus目前支持CPS设

14、定； 根据需要仿真的用户数目来估算需要多少测试资源（例如：需要多少板卡） Q2: 如何去寻找 “平衡点”? 第一次测试按照被测系统的设计容量(BHCA/CPS)来进行;； 然后使用二分法寻找 “无差错点”； 如果其他参数也满足“平衡点”条件，那么“无差错点”= “平衡点”； 否则，降低呼叫话务量，直到其他参数也满足条件。Page 19如何在如何在abacus100上查看信令时延指标上查看信令时延指标?Page 20配置配置abacus100统计统计post dial delayPage 21统计前需正确配置统计前需正确配置ringback tone的频率的频率 如配置不当，可能会导致abacu

15、s100无法正确检测ringback tone而报“no ringback tone”错误语音质量测试语音质量测试Page 23PSTN网络参数对于语音质量的影响网络参数对于语音质量的影响 通话回声 语音压缩 A/D & D/A 转换 噪声 电路噪声/外部噪声 （造成声音衰减与失真变形） 单向时延 随机误码 (BER 10-6) 语音间断与滑码 话务量Page 24VOIP网络参数对于语音质量的影响网络参数对于语音质量的影响 网络架构 接入连接的类型 QoS控制下的边缘路由 MTU大小 包丢失 包乱序 单向延迟（延迟） 可变延迟（抖动） 时钟漂移 流量负载大小 路由翻动 信令/协议不匹

16、配 网络及链路故障Page 25语音质量影响因素示意图语音质量影响因素示意图信号失真信号失真SignalDistortions祯丢失祯丢失Frame Loss延迟延迟Latency抖动抖动Jitter语音质量语音质量VoiceQuality编解码编解码（Codec）传输线路传输线路Transmission网络拥塞网络拥塞NetworkCongestion交换与路由交换与路由Switching &RoutingPage 26语音的频率范围对语音质量的影响语音的频率范围对语音质量的影响 人能够听得见的声音范围：20HZ 20000HZ 人能够说得出的语音范围：300HZ 3400HZ 通常

17、我们所说的语音质量是指 300HZ-3400HZ 的通话质量 不同频段对于语音处理设备的敏感度不同，通常男声/女声的语音质量不同Page 27话务量对语音质量的影响话务量对语音质量的影响此图中，Media可以是语音、视频或者数据，一般理解为呼叫承载量，或者成为呼叫负荷，当这个承载量超过或接近系统最大能力时，语音质量就会明显下降。Page 28QOS控制对语音质量的影响控制对语音质量的影响ITU-T Y.1541 定义了不同的QOS等级网络节点对QOS等级的控制是否合理，将导致网络损伤产生的程度，间接影响网络的语音质量QoS(Y.1541)应用（示例）应用（示例）节点机制节点机制网络技术网络技术

18、0高质量视频和VoIP、VTC（实时应用、对丢失敏感、对抖动敏感、互动水平高）严格的 QoS，确保无过载受限制的路由和距离，用于专网1VoIP、 VTC （实时应用、对丢失敏感、对抖动敏感、互动水平高）具有服务流量优先权的独立队列限制较少的路由和距离2较低的视频和VoIP质量、信令、事务数据（高互动水平）独立的队列，可丢弃的优先级受限制的路由和距离3事务数据、互动独立的队列，可丢弃的优先级受限制较少的路由和距离4事务较少、主要是数据（损失较低）长队列、可丢弃的优先级任意路由/路径5传统的 Internet应用（默认IP网络）独立的队列（最低优先级）任意路由/路径Page 29VOIP中常用语音

19、编码中常用语音编码Codec & Bit Rate (Kbps) Codec Sample Size (Bytes) Codec Sample Interval (ms) Mean Opinion Score (MOS) Voice Payload Size (Bytes) Voice Payload Size (ms) Packets Per Second (PPS) Bandwidth Ethernet (Kbps) G.711 (64)80104.1160205087.2G.729 (8)10103.9220205031.2G.723.1 (6.3)24303.924303421

20、.9G.723.1 (5.3)20303.820303420.8G.726 (32)2053.8580205055.2G.726 (242G.728 (16)1053.6160303431.5Page 30包大小对语音质量的影响（包大小对语音质量的影响（G.729为例）为例） 注释: 包长度越小，语音质量越好VOIP正常包长度正常包长度Page 31语音编解码对语音质量的影响语音编解码对语音质量的影响Page 32MOS Scores by Audio CODEC(64 Kbps)(32 Kbps)(16 Kbps)(8 Kbps)(6.3 Kbps)(5.3 Kbp

21、s)PCM = Pulse Code ModulationADPCM = Adaptive Differential Pulse Code ModulationCS-ACELP = Conjugate-Structure Algebraic-Code-Excited Linear-PredictionLD-CELP = Low-Delay Code Excited Linear PredictionAMR = adaptive multi-rate. Used for GSM wireless.EVRC = Enhanced Variable Rate CODEC. Used for CDMA

22、 (Code Division Multiple Access) 2000MPMLQ = Multi-pulse Maximum Likelihood QuantizationPage 33丢包对于语音质量的影响丢包对于语音质量的影响 丢包的来源 网络拥塞 包延迟到达 乱序 错包 丢包会严重影响语音质量 丢包对于语音质量的影响程度还取决于编码算法 不同的编码算法对于丢包的处理并不相同 例如G.711带有一个额外的丢包补偿机制(packet loss Concealment)Page 34丢包对于语音质量的影响丢包对于语音质量的影响(续续) G.113附录I定义了一个Ie参数用于反映丢包对于语音

23、质量的影响 Ie是一个数值，代表设备层面引入的损伤 Ie值越大，表明损伤越大。0表示没有损伤。 由下面公式可以看到语音质量R Factor和Ie成反向的关系R = Ro - Is - Id - Ie + AR Transmission rating factorRoBasic signal-to-noise ratioIsAll simultaneous impairmentsIdAll delaysIeEquipment Impairment factorAExpectation factorPage 35丢包对语音质量的影响丢包对语音质量的影响Page 36丢包对丢包对R-Factor 影

24、响十分明显影响十分明显Total Packets sentR-Factor ScorePackets loss %Voice CodecsPage 37Jitter的来源的来源 不同节点上的处理时间不同 例如，流量比较大的路由器可能会花更长的时间去查看路由表 传输队列延迟不同 例如，网络壅塞的出现Page 38抖动缓冲（抖动缓冲（Jitter Buffer） Jitter Buffer 可以平滑语音流 Page 39抖动抖动(Jitter)对语音质量的影响对语音质量的影响 包到达时间不可预知 抖动(Jitter)越小，语音质量越好 长包 vs. 短包Page 40端对端延迟来源端对端延迟来源算

25、法延迟串行延迟传输延迟节点延迟影响语音质量的固定延迟固定固定 编码编码 缓冲缓冲 VAD 压缩算法压缩算法固定固定 交换交换可变可变 语音争用语音争用 数据争用数据争用 视频争用视频争用固定固定 串行广域网串行广域网固定固定 交换交换 传输传输 串行串行可变可变 语音争用语音争用 数据争用数据争用 视频争用视频争用固定固定 交换交换可变可变 语音争用语音争用 数据争用数据争用 视频争用视频争用固定固定 解码解码可变可变 去抖动缓冲去抖动缓冲 包丢失隐藏包丢失隐藏源发局域网源发局域网核心网络核心网络终结局域网终结局域网源发网关源发网关边缘路由器边缘路由器核心网络路由器核心网络路由器终结网关终结网

26、关边缘路由器边缘路由器固定固定 串行广域网串行广域网影响语音质量的可变延迟语音/数据/视频争用抖动缓冲丢包补偿Page 41延迟对语音质量的影响延迟对语音质量的影响PSTNITU-T G.114建议建议Page 42延时对于语音质量的影响延时对于语音质量的影响 ITU G.114 相关建议 如果单向时延大于25ms,则需要启用回声抑制器 大多数用户都能接受带回声抑制的单向时延小于150ms的环境 150-400ms: 对于语音应用，用户满意度开始下降。其他应用尚可以接受。 400ms以上：大多数的应用都无法接受。Page 43 主动测试（介入式） 发送、接收和对比波形文件，对语音质量进行端到端

27、的客观评估 MOS PSQM、PSQM+ PESQ 被动测试（非介入式） R-Value 测量RTP包上的语音质量 基于E-Model模式 (ITU-G.107) 日本 J-MOS P.563（ITU-T推荐） 根据音频信号测量语音流量的语音质量 提供PSQM估计值语音质量测试方法语音质量测试方法Page 44人的主观评价人的主观评价 (MOS) Mean Opinion Score (MOS) ITU-T P.800 分值从 1 到 5 4 以上认为语音质量很好 取决于人的听觉 问题 测试比较昂贵 难以重复 主观性太强Page 45PSQM (ITU-T P.861)PSQM (Percep

28、tual Speech Quality Measurement) 由荷兰的 KPN 组织发明 1996年8月，得到ITU-T认可，成为标准 主动介入式语音质量测试技术 范围从 0 到 6.5: 0 最好, 6.5 最差, 小于4 勉强可以接受 算法比较简单，对处理器硬件要求不高 目前已经被多数机构抛弃，改为采用 ITU-T P.862 (PESQ)Page 46PESQ (ITU-T P.862)Perceptual Evaluation of Speech Quality (PESQ) 荷兰的KPN与英国BT联合发明 2001年2月，得到ITU-T认可, 成为语音质量测试标准 经实践检验，可

29、以替代 PSQM 和 PAMS 主动介入式语音质量测试技术 范围从 0.5 到 4.5 3.5以上认为可以接受 问题 算法复杂 对于处理器硬件的要求较高Page 47PESQ (ITU-T P.862) 续。续。 PESQ具有附加诊断信息查找更多的语音质量问题 PESQ可以在多数应用场合，精确的预报/转换人体主观评价指标，MOS-LQO PESQ在用户话机侧和网络侧都有过滤补偿机制 PESQ基于 PAMS 技术, 易于识别和计算延迟变化 Page 48主动（介入式）语音质量测试方法主动（介入式）语音质量测试方法DUT发送波形文件发送波形文件接收波形文件接收波形文件通过对比发送和接收的Wave文

30、件来评估语音质量MOS、PSQM、PSQM+、PESQ发送（绿色）和接收（橙色）波形文件扩展后的发送（绿色）和接收（橙色）波形文件PESQ得分与 PESQ评估次数Page 49E-Model（G.107）（被动式语音质量）（被动式语音质量） ITU G.107 由ETSI发明 与PESQ不同，强调网络损伤的存在 主要应用于传输层面 与MOS, PSQM, PESQ, PAMS 不同，属于非介入式 测试结果更加取决于网络结构和性能R = Ro - Is - Id - Ie + AR Transmission rating factorRoBasic signal-to-noise ratioIs

31、All simultaneous impairmentsIdAll delaysIeEquipment Impairment factorAExpectation factorPage 50E-Model（G.107）（续）（续）Range of E-Model Rating R Speech transmission quality category User satisfaction 90 R 100 Best Very satisfied 80 R 90 High Satisfied 70 R 80 Medium Some users dissatisfied 60 R 70 Low M

32、any users dissatisfied 50 R 60 Poor Nearly all users dissatisfied NOTE 1 Connections with E-Model Ratings R below 50 are not recommended. NOTE 2 Although the trend in transmission planning is to use E-Model Ratings R, equations to convert E Model Ratings R into other metrics, e.g. %MOS, %GoB, PoW ca

33、n be found in ITU-T Rec. G.107 Annex B 1. E-Model在Abacus上的输出值为R-FactorPage 51各种语音质量指标之间的转换关系各种语音质量指标之间的转换关系 P.861P.861PSQM/PSQM+PSQM/PSQM+P.862P.862PESQPESQ06.5-0.54.5Page 52端到端的语音质量测试端到端的语音质量测试 端到端性能测试 发起带有RTP媒体流的真实呼叫，检验网络性能和功能 检验语音质量 单向延迟 (One Way Delay) 精度达到 +/- 2 msPage 53思博伦语音质量的测试工具思博伦语音质量的测试工

34、具 Abacus(5000,100,50) 主动式语音质量测试，输出参数包括：MOS,PSQM,PESQ,MOS-LQ0,J-MOS,R-Factor(P.834) 被动式语音质量测试(端点分析)，输出参数包括：R-Factor(G.107) 支持网络损伤统计：丢包、时延、抖动、乱序、语音间断/滑码、回声 支持各种呼叫延迟(Timer)统计，包括：DialToneDelay, PostDialDelay, RingTimeDelay, OneWayDelay, RoundTripDelay, AckowledgementDelay, CallSetupDealy, ResponseTimeDe

35、lay, TearDownDelay, 。 支持本地测试和异地分布式测试 ClearSight 被动式语音质量测试(监控分析)，输出参数包括：R-Factor, MOS 支持本地测试和异地分布式测试Page 54配置配置abacus100进行语音质量测试进行语音质量测试Advanced配置窗口Channels通道配置Advanced 菜单用于配置话音质量或者传真、Modem测试选择语音测试标准选择语音测试文件视频质量测试传真、Modem测试Page 55语音质量测试语音质量测试Page 56语音质量测试语音质量测试 Real Measurement over timePage 57对每一次的语

36、音质量进行对每一次的语音质量进行monitorPage 58对抓到的语音波形进行回放和对比分析对抓到的语音波形进行回放和对比分析Modem/Fax测试测试Page 60Abacus100 = 32个个V.34 模拟数据模拟数据modem最多支持32路 V.34 Analog Data ModemPage 61V.34模拟数据模拟数据modem Abacus100支持V.34模拟数据Modem V.34 定义2.4 kbps到33.6 kbps传送数据的调制方法 Abacus100支持用户自定义各种modem协议，来支持各种收发数据的传输参数 V34: abacus支持从2.4Kbps到26.4

37、K各种速率 V32bis: 从4.8kbps到14.4Kbps V23 V22bis V21 用户在Protocol-Development窗口中进行自定义，并在Partition and Timing | Protocols panel窗口中来选择 Abacus100支持最多32路V.34模拟数据Modem Page 6296个个 T.30 Fax = Abacus 100Page 63T.30 Fax up to V.17 Abacus 100 支持 T.30 Fax up to V.17 T.30 定义两台传真机间的数据交换能力的协商过程 调制方法:支持不同速率的各种协议 V17: 7.

38、2 kbps, 9.6 kbps, 12.0 kbps, and 14.4 kbps V29: 7.2Kbps and 9.6Kbps V27：2.4Kbps and 4.8Kbps Abacus100 支持最多96路T.30 Fax Resolution(dpi): 200*100(normal), 200*200(fine)Page 64T30 FAX协商过程协商过程Page 65Modem/fax测试统计指标测试统计指标 FAX Connection speed Throughput speed Connection time Received Fax pages Fax line error rate Modem Connection speed(Tx/Rx) Throughput speed(Tx/Rx) Modem bit error rate Call completions ErrorsPage 66Fax monitor and captureFax 消息观察窗口可监控收到的传真并回放Page 67相关配置相关配置(1) 配置fax/modem相关的协议Page 68相关配置相关配置(2) 配置fax/modem相关的path confi