CM-IMS用户感知评测系统.doc

CM-IMS用户感知评测系统应用成果版本号：1.0.0目 录1项目背景31.1为什么要引入CM-IMS用户感知评测系统31.2CM-IMS用户感知评测系统建设的意义42北京CM-IMS用户感知评测系统52.1IMS用户感知评测系统配置52.2IMS主动拨测模块52.3IMS被动监听模块82.4IMS终端反向拨测模块92.4.1终端反向探测的诞生背景92.4.2IMS终端反向探测应用102.5CM-IMS用户感知评测系统现网应用示例123CM-IMS用户感知评测系统较其他拨测系统的优势173.1系统采用针对VOIP业务量身定做的语音质量评价标准E-model173.2传统IMS拨测系统采用的PESQ语音质量评估算法173.3两种语音质量评估算法的对比184CM-IMS用户感知评测系统在2012年集团测试中发现的隐患204.1企业飞信语音因codec原因导致语音质量偏低204.2企业飞信从他网接入双向呼叫语音质量差异较大225可应用性、创新性及效益245.1实用性245.2创新性245.3经济效益及社会效益245.4易推广性241 项目背景1.1 为什么要引入CM-IMS用户感知评测系统2010年集团在全国27+1个省份引入了CM-IMS网络，虽然当前已有18个省公司正式商用或试商用，但CM-IMS网络存在全生命周期管理机制不完善、维护优化能力弱、网络安全隐患多等问题。为了提升CM-IMS网络质量，总部在2012年开展了CM-IMS运维能力提升专项工作，并作为下半年重点网络工作。其中业务感知提升为重要工作，为准确获取客户对于业务的感知，提升集团客户对于CM-IMS业务的使用体验，提高产品竞争力，总部组织全国所有省份进行了用户感知测试。主要是对IMS网络中的所有关键业务进行遍历测试，评估KQI指标，不仅关注业务使用成功率，更关注用户感知KQI指标，比如话音质量MOS值、接续时延等，并详细记录分析，查找降质原因，制定整改措施，组织第二轮测试验证业务提升效果。具体集团测试记录的项目如下表所示，其中KQI指标：呼叫时延和语音质量，靠人工主观去记录或打分存在很大困难，且每人所评分标准差异较大、不具备参考价值，网络中真正的用户感知问题获取不到，致使网络中是否有隐患很难界定、影响客户体验。主叫号码A被叫号码B拨号音是否正常呼叫时延（主叫完成拨号至听到回铃音的时长：秒）来电显示是否正确呼叫是否接通（被叫空闲情况下是否听正常回铃音）通话语音质量（MOS）语音质量得分及问题说明(5分到1分，5分最好)但目前现网还没有客观评估的系统对这次测试的KQI指标（语音MOS等）打分，各省在集团测试中基本都是靠主观打分，随机性较强，没有太多的参考价值。因此，北京作为NSN IMS和企业飞信的牵头省，在这次集团CM-IMS业务感知提升测试中建设了这套CM-IMS用户感知评测系统，收集全网信令和媒体数据进行分析呈现，客观评估网络质量，有效地将进行安全层面和业务层面双重管控，在集团CM-IMS运维能力提升和北京IMS端到端QOS提升工作中发挥了重要作用。1.2 CM-IMS用户感知评测系统建设的意义IMS业务ALL IN IP，是运营商严格意义上第一次运营VOIP业务，对业务质量的保障和监控提出了前所未有的挑战，给运维工作增加了难度。 IP网络中常见的语音压缩编码、延迟、分组丢失和抖动，给语音质量带来了恶劣的影响，如下图所示：维护部门再也不能通过以往在电路交换网络中环回的方式，逐跳监测排查段到段的问题。另外，传统电路交换域采用的语音质量感知评估标准PESQ，并不适合于VOIP的业务场景。首先其采用的主动方式，只是通过拨测感知预估网络质量，不能客观评价记录网络中每一个真实通话的质量；其次该测量方法并不是基于分组数据网络设计的，没有考虑、反映IP网络中常见的影响语音质量的时延、抖动、丢包等因素对于客户感知造成的影响。集团大客户对业务质量的承诺，有着高于公众客户的需求。抢占大客户的市场，业务质量的保证和实时测量、及时报警，先于客户投诉发现解决问题，在IMS业务中十分重要。最后，北京部分IMS集团客户对语音质量有定量的要求，签署协议中明确要求MOS值在4以上，但现有拨测系统只能支持信令协议仿真，无法对媒体面进行监测，即网络中用户使用业务的真实感知获取不到。因此，在现网IMS业务运维过程中缺乏一套客观评价全网任意实际通话的语音质量、客户感知的系统。2 北京CM-IMS用户感知评测系统2.1 IMS用户感知评测系统配置基于E-model的CM-IMS用户感知评测系统硬件就为一台PC服务器即可，北京使用的是IBM X3755服务器。具体软件版本和操作系统如下表：厂家名称设备类型产品型号硬件平台支持操作系统EXFO爱斯福IMS用户感知评测系统BrixIMS BV4104PC服务器Linux、Solaris按照应用场景和需求的不同，基于E-model的IMS用户感知评测系统对于IMS网络和业务提供主动拨测、被动监听和终端反向拨测三个功能模块（综合测试方法），从而提供业务管理、测量、排障的全面手段。其中主动探测模块在企业侧部署，被动监听模块部署在IMS核心网上。终端反向拨测模块在企业和运营商侧都可以部署。2.2 IMS主动拨测模块主动拨测通过IMS探针模拟SIP终端等发起SIP呼叫，呼叫到网络中远端部署的另一台探针，或是网络中真实部署的SIP终端，借此测量出整个呼叫的信令质量和媒体流质量，为VOIP网络和业务质量的实时测量提供了良好的依据。两种实现方式： 通过探针发起呼叫，模拟客户行为，体验业务质量。 可以部署在IMS核心网络，拨测用户SIP终端；也可以部署在大客户侧，拨测网络侧设备。针对IMS这种VoIP类业务，基于E-model的IMS用户感知评测系统通过建立SIP信令和RTP媒体流之间的关联，以及主被叫多个监测节点之间的关联，针对每个呼叫生成CDR话单和实时KPI报告，用于故障回溯，评价信令、媒体流质量，以及原始呼叫信令的查询跟踪。实时报告包括多项KPI内容，以MOS值和注册响应时长2个指标为例，可显示如下报表内容：基于E-model的CM-IMS用户感知评测系统除了IMS语音业务拨测外，可以探测网络质量，拨测大客户接入网络质量，VPN质量，以及用户使用互联网业务质量，故障清晰定界。主要包括： 7x24小时测量网络、业务质量，针对质量下降时间，触发告警，提前预警。 可以用于大客户IMS业务开通、试运行阶段，测量业务质量，提供业务开通报告。 主动测试是事前或事中维护模式，能够根据网络语音质量参数的变化，及时发现两个或多个测试探针之间的故障，发出预警，并找到故障点。即使在用户投诉后，也可以通过主动测试还原故障并加以排除。如下图所示，主动探针为手掌大小，部署在企业内网；服务质量综合分析BrixWorx设备为HP DL380服务器，部署在IMS核心网络：主动拨测通过探针发起呼叫，呼叫到网络中远端部署的另一台探针、政企大客户的网关、终端等，借此测量出整个呼叫的信令和媒体面的质量。通过7x24小时的不间断拨测，任意测试结果KPI突破预先设置的门限值都可以触发告警，可以在用户业务受到影响、业务质量下降之前，预先预警运维人员，指出故障产生的原因、排障，提升客户满意度。现网集团客户主动探测模块每隔5min自动从企业内网轮询一遍拨测用例，提供IMS信令和媒体质量KPI，针对业务质量、网络质量KPI劣化事件，及时感知、触发告警，维护人员根据各项KPI报告进行故障定位排除。主动探针多部署在政企大客户侧，除了IMS语音业务拨测外，还可以测量大客户接入网络的质量，对于接入网络和IMS业务质量分别测量，故障清晰定界。另外，大客户访问互联网应用、企业VPN网络质量等多方面也可以借助该测试系统，进行承载网络质量的测试。2.3 IMS被动监听模块基于E-model评估标准的IMS被动监听模块通过端口镜像、TAP方式等将VOIP网络中的信令（SIP）和媒体流（RTP、RTCP）进行捕获，进行全网业务性能质量的分析总结，并且可以通过多种过滤条件寻找到每一个具体的通话、对其进行信令、媒体流质量的评价，还原其呼叫流程，甚至每条信令消息。对于故障分析、定位和全网性能的走势分析，提供了重要的依据。 将网络中真实发生的呼叫捕获下来，进行全网业务质量的分析。 可以对全网的呼叫量，呼叫质量等进行总体评估，提供领导浏览，或对业务网络扩容提供依据。 针对每个呼叫产生呼叫记录，详细记载信令质量和媒体流质量，还原呼叫流程。 针对客户投诉的某路通话，可以找出CDR，进行回溯。被动监听模块可以将网络中真实发生的信令（SIP、H.248、SIGTRAN）和媒体流（RTP、RTCP）捕获下来，进行全网业务性能质量的实时分析总结。并且查询每个具体的通话、对其信令和媒体流的质量分别评价，还原其呼叫流程，甚至每条信令消息。对于故障分析、定位和全网性能的走势分析，提供了重要的依据。监测系统还可以通过开放的API接口，把网络中的KPI和KQI数据输送给专业网管，由专业网管进行主动性能监控。如下图：2.4 IMS终端反向拨测模块2.4.1 终端反向探测的诞生背景IMS等VOIP的技术的出现和应用，实现了语音等多媒体业务的分布式、分层式部署。IMS的接入无关特质使得终端的接入和IMS核心交换层面不再相关，解藕的过程使得IMS用户可以从任何网络接入IMS核心网络，享用IMS业务，无论是WIFI、宽带、2G、3G还是4G技术。面对多样的接入技术、面对不在自己运维管理范围内的多种接入网络，如何使运营商最快、最大范围的掌握全部IMS终端设备的可用性、健康性，能在客户投诉之前、业务质量下降之前，及时定位发现众多分布式部署的某个终端，是运营商面临的问题。因此，IMS大规模的、在不干扰用户前提下的定期拨测需求应运而生，终端的可用性、接入网络的性能指标，IMS媒体流的质量、IMS信令流的质量都是运营商希望实时获取的指标，同时也是政企大客户关注的SLA承诺。2.4.2 IMS终端反向探测应用基于E-model的CM-IMS用户感知评测系统支持SIP媒体流环回测试方法，探针发起呼叫到被测SIP终端，终端不需振铃既可以完成呼叫测试，测量信令、媒体流质量，完成大规模SIP GW，IAD，IPPBX等IMS用户的定期健康监测。如下图所示：IMS终端的拨测功能通过主动探针发起呼叫，呼叫到网络中远端部署的SIP AG/IAD/PBX等终端，借此测量出整个呼叫的信令平面和媒体平面的质量。7x24小时的不间断拨测，任意测试结果KPI突破预先设置的门限值都可以触发告警，可以在用户业务受到影响、业务质量下降之前，预先预警运维人员，指出故障产生的原因、排障，提升客户满意度。IMS终端的拨测在实施方面可以提供如下拨测场景：IMS业务终端拨测可以提供大量的信令层面和媒体层面的KPI。例如呼叫建链时间、拆链时间、拨号后时延、摘机后时延等多种衡量信令质量的KPI，以及双向语音MOS值、时延、抖动、丢包等语音质量KPI，以及关于语音质量下降的原因分布。提供IMS业务测试的同时，可以提供接入网络质量的拨测，清晰定位故障点。2.5 CM-IMS用户感知评测系统现网应用示例基于E-model的CM-IMS用户感知评测系统在北京应用后，有效提升了集团客户融合通信业务的QOS监控分析能力，特别针对服务质量有要求的大客户、提高了用户满意度。八大功能现网应用效果如下图所示： 被动监听系统采集IMS网络中的信令消息，进行解码、多点关联和质量分析。与此同时采集语音、视频媒体流，进行双向的质量分析，并且和信令关联，生成与现在每个呼叫唯一对应的呼叫记录CDR，如下图所示： 针对每个呼叫记录可以呈现完成的信令、媒体流的质量，及该呼叫的完整呼叫流程，及信令原始详细，如下图所示： 每个呼叫的CDR展现关联后的完整呼叫流程，以及原始信令消息的重现，如下图所示： 支持针对全网呼叫状态的实时仪表盘，实时统计全网呼叫类型、接通率、占用率、平均语音质量MOS值等全网实时变化，如下图所示： 支持强大的呼叫记录查询功能，关注感兴趣的呼叫记录。可以基于主被叫号码、区号、IP地址、呼叫时长、呼叫状态、MOS值、信令协议类型、呼叫结果类型、IMSI等： 定制报告，针对大客户或是特定呼叫群体、长途通话、网内通话、飞信业务、IPCentrex业务等业务类型，定制呼叫质量分析报告，如下图所示： 定制呼叫门限值，针对呼叫质量下降、呼叫异常等业务质量降级、网络拥塞等异常现象，及时预警处理。系统对于网络中的任意KPI、KQI指标均可以设置门限值（包括静态门限或动态梯度告警门限，动态门限如当前5min探测的MOS值比过去5min下降了70%，触发动态性能告警），探测或捕获结果若突破门限值产生SNMP告警，上报省级话务网管、根据用户SLA保障级别触发相应的派单规则。KPI/KQI指标设置性能告警门限如下图所示：3 CM-IMS用户感知评测系统较其他拨测系统的优势3.1 系统采用针对VOIP业务量身定做的语音质量评价标准E-model针对VOIP业务语音质量客户感知和评价，IMS业务监测系统应用了ITU-T定义的专门针对IP网络语音质量测量的标准G.701 E-model。E-model模型考虑了时延、抖动、丢包、回音、编码器性能等网络损伤因素对有噪语音质量的影响，是最适合IP网络语音质量测量的方法。通过被动抓包，我们获取RTP包提供的信息，在计算出时延、抖动、丢包等参数后，根据E-model模型提供的算法就可以求出相应的R值。R值的范围是0100，0是最差的，100是最好的。另外E-model算法会考虑通话双向的感知，而不是单指考虑一个方向。以下就是网络因素对R值和MOS的影响。 3.2 传统IMS拨测系统使用的PESQ语音质量评估算法PESQ (Perceptual Evaluation of Speech Quality，定义于ITU-T P.862)感知评估通话质量测量，采用的是主动方式，需要发送一个语音参考信号通过电话网络，在网络的另一端采用数字信号处理的方式比较样本信号和接收到的信号，进而估算出网络的语音质量。该算法目前被大部分支持媒体面检测的IMS拨测系统采用。PESQ算法的主要缺陷是，该方法原本不是基于数据网络的测量，是基于传统的电路交换网络。它依靠单纯的从收发信号差异的角度分析网络语音问题，不能反映网络质量变化，诸如延时、抖动和丢包等数据网络特有的问题对用户感觉造成的影响。另外PESQ只是针对测试通话的单个呼叫进行语音质量评价，并不能记录评价网络中每个真实呼叫。3.3 两种语音质量评估算法的对比从以上对比我们可以看到，传统的PESQ评估测试的是单向业务，类似于Listening MOS，并不会考虑双向通话交互感知，也就是Conversational MOS（两种MOS定义于ITU-P.800.1）。两种MOS最大区别在于Listening MOS不会考虑网络时延对于语音质量的影响，也就是说如果时延过大，PESQ算法不会对信号波形对比有任何影响，但是用户的感知就大不相同了。比如用户A问了个问题，5秒钟后才听到B的回答，感觉像长途，但PESQ仍打分很高。这些影响在Conversational MOS 里面予以解决。这些问题在E-Model模型中都得到考虑，可以更加客观全面的体现网络中每一路通话的质量。IMS用户感知监测系统针对语音质量客户感知和评价，应用了ITU-T定义的专门针对IP网络语音质量测量的标准E-model。这种模型考虑了时延、抖动、丢包、回音、编码器性能等网络损伤因素对有噪语音质量的影响，是适合IP网络语音质量测量的方法。对比于传统的应用于电路交换域的PESQ语音质量评价标准，E-mode更适合IP网络语音质量的评价，并且可以测量和记录现网全部发生的每一路真实通话的双向语音质量、并进行评价，对于IMS网络故障排查和指定大客户的服务质量保障，具有无法比拟的技术优势。因此，EXFO IMS用户感知评测系统与传统的IMS拨测系统相比，可以记录现网发生的每一次双向通话的真实质量，使用E-mode标准、更适合对VOIP业务服务质量的评价。4 IMS用户感知评测系统在2012年集团测试中典型案例4.1 企业飞信语音因codec原因导致语音质量偏低企业飞信用户感知测试时，发现在本网接入丢包率0%的网络环境下，飞信语音质量MOS值在1-3.6之间徘徊，不能满足集团规范对服务质量的要求。集团规范要求如下：丢包率企业飞信语音MOS值0%3.95%3.310%3.0通过CM-IMS用户感知评测系统的呼叫报告，我们查到企业飞信使用的是比G.729传输带宽更低的IPMR语音编码，导致MOS值偏低。从下图企业飞信的呼叫CDR中可以得知 ，前向和后向语音通话的MOS值分别是3.6和3.7，从语音质量下降原因分布的分析中，可以看到Codec编解码的选择占语音质量评价不高的主要原因（服务质量降质的96%以上因素）：从IMS监测系统CDR采集的原始SIP信令消息中，可知该呼叫的首选语音编码是IPMR：由于北京同一地点和网络环境还在进行MMTel的用户感知测试，我们使用IMS用户感知评测系统对MMTEL业务QOS进行评估，发现MMTel呼叫的通话报告中，采用的是G.711的语音编码，双向MOS值的评价可以达到4.4分，可以和电路域的语音呼叫的质量媲美。如下图，MMTel前向和反向语音采用的语音编码都是G.711，双向的MOS值都可以达到4.4分（与企业飞信在同一网络环境下）：联系企业飞信研发，将软终端编码改为AMR、G.729、EVRC均无效，改为优选G.711编码MOS也只能达到3.7，部分场景测试人员也反映话音质量不好。如下图所示，企业飞信之间互拨改为使用EVRC编码后，MOS评价也不尽满意：企业飞信厂家研发怀疑为软终端所使用的第三方codec库有问题，已要求厂家采用IMS编解码优选方案，厂商正在实施中。4.2 企业飞信从他网接入双向呼叫语音质量差异较大集团用户感知测试时发现企业飞信用户从电信宽带接入，呼叫移动本网手机、联通手机或是网外固话，双向语音质量差异较大（移动侧MOS值4.4，而他网用户侧MOS值只有1.0）。 通过CM-IMS用户感知评测系统的话音质量报告分析，这些通讯行为降质的主要影响