外场volte测试报告之鼎利volte-mos产品使用总结.doc

外场优化项目组VoLTE测试总结外场VoLTE测试报告 鼎利VoLTE-MOS产品使用总结2015年8月外场优化专项组目 录写在前面31.测试说明41.1测试区域说明41.2测试设备说明41.3POLQA算分说明51.4测试数据说明52.数据统计62.1业务指标统计62.2覆盖指标统计62.3干扰指标统计82.4调度指标统计102.5MOS详情统计103.数据分析思路113.1VoLTE数据分析流程113.2VoLTE未接通分析143.3VoLTE掉话分析143.4MOS低分值分析164.VoLTE测试异常处理184.1算分异常处理184.2呼叫异常处理194.3终端异常处理204.4GPS异常处理205.VoLTE测试软件操作说明215.1软件安装说明215.2终端端口开启说明225.3驱动安装说明235.4设备配置说明255.5业务配置说明265.6测试记录说明285.7测试界面观察29写在前面本次测试主要是针对鼎利VoLTE-MOS产品的测试使用总结，由于之前项目一直分的是CDS软件，存在一定习惯性。本次测试上手，虽然有鼎利工程师现场支持，不过基本都是自己操作测试，鼎利工程师只有在操作错误情况下指出问题。整体而言，操作简单，入手快，测试比较稳定。先写几点直观感受：1、 软件上手比较容易，语音选择汉语后，基本功能分布一目了然。直接选择VoLTE场景，对应需要查看的界面就配置好了。2、 设备配置就更简单方便了，直接点击了自动配置，GPS、测试手机就配置好了，都不用去记忆端口端口，想着如何设置。【个人觉得这个比CDS方便，必须给个赞！】3、 MOS测试设备连接简单，一端USB连接电脑，另外两个耳机线插入测试手机耳机口就行了。个人觉得这里比CDS要方便的在于，耳机线和MOS盒是一体，减少了MOS测试异常问题的排查点，也不会出现中途耳机线和MOS盒连接松动导致MOS算分异常或者过低的问题。【相比较而言，CDS的耳机线和MOS盒是独立的，测试过程容易出现松动，测试人员需要加以注意】4、 VoLTE场景功能。直接根据测试任务选择对应场景，方便用户直接观察对应的测试信息，方便快捷，【这个必须给个赞了！】5、 对于写报告而言，基本Pioneer软件现在将相关要素都提供了，比如：渲染图、分段统计、PDF图、CDF图、指标统计、异常事件、MOS打分异常告警等等。基本上报告90%工作都直接用软件完成，确实挺强大。1. 测试说明1.1 测试区域说明本次测试由于网络侧原因，测试去程时从上桥到省公司这段路由于呼叫都是CSFB，这段路没有发起呼叫，回程网络侧处理好后，从省公司一直沿原路返回市公司测试均正常。测试路线如下：从哈尔滨分公司门口为起点进乡街三大动力路和兴路康安路前进路松北大道新湾路天元街世贸大道世贸大道与三环路交叉口掉头世贸大道原路返回哈尔滨分公司。1.2 测试设备说明本次VoLTE测试，同时测试了POLQA的语音质量算分（MOS），使用设备如下：软 件：鼎利Pioneer 9.6.0 【说明：本来鄙人的电脑第一次自己安装的不是鼎利工程师提供的版本，在测试现场鼎利工程师指导下直接使用的在线升级功能，快速便捷。这个必须得赞一下！】终 端：HTC M8（两部）语音评估：DingLicom MOS Box 4.0 （一个）。【说明：鼎利MOS盒比较小巧，长度不到中性笔长度的3/4，宽度只有中性笔长度一半】G P S：环天GPS1.3 POLQA算分说明本次测试VoLTE语音质量，使用POLQA算分标准，相关说明如下：语料说明：语料采用集团统一规定的48K语料。【说明：鼎利软件支持默认集团语料，也支持根据测试任务需要进行指定语料测试】算法说明：POLQA SWB 【说明：鼎利软件支持PESQ NB、PESQ WB、POLQA NB、POLQA WB及POLQA SWB多种算法，测试者可以根据测试场景设置】播录方式：双向交替（集团规定）【说明：鼎利软件支持单向、双向设置，测试者可以根据需要进行设置】1.4 测试数据说明本次测试共记录2个log，去程和回程各一个。其中去程时由于网络侧原因，从上桥到省公司这段路由于呼叫都是CSFB，这段路没有发起呼叫，并且去程log里面会有部分CSFB呼叫；回程一切测试正常。2. 数据统计2.1 业务指标统计1.业务指标由于本次测试包含部分CSFB呼叫，故统计分总体和分别统计两种：【说明：鼎利这点比较完善、将呼叫直接区分了VoLTE和CSFB，并提供了汇总一起的统计结果】语音业务总指标主叫呼叫次数主叫接通次数主叫掉话次数被叫掉话次数呼叫成功率接通率掉话率26262194.23%100.00%5.77%VoLTE业务指标主叫呼叫次数主叫接通次数主叫掉话次数被叫掉话次数呼叫成功率接通率掉话率呼叫建立时延（s）20202192.50%100.00%7.50%4.39 CS域业务指标主叫呼叫次数主叫接通次数主叫掉话次数被叫掉话次数呼叫成功率接通率掉话率呼叫建立时延（s）6600100.00%100.00%0.00%12.08 2.VoLTE性能指标VOLTE平均MOS码字0初始BLER(%)码字0残留BLER(%)码字1初始BLER(%)码字1残留BLER(%)RTP丢包率RTP抖动(ms)RTP端到端时延(ms)LTE HO控制面时延(ms)LTE HO用户面时延(ms)LTE HO成功率3.62 3.05 0.00 4.61 0.00 3.95%8.6571 20.16 80.46 99.50%2.2 覆盖指标统计1. 覆盖指标统计平均RSRP边缘RSRPLTE覆盖率(RSRP-110 and SINR-3)RSRP连续弱覆盖里程占比RSRP连续无覆盖里程占比连续UE高发射功率里程占比测试总里程(m)测试总时长(秒)脱网里程(m)-87.00 -105.43 96.55%3.80%0.72%2.39%51721 3958 17 TDL驻网里程(m)TDS驻网里程(m)GSM驻网里程(m)测试总时长(秒)脱网时长(秒)TDL驻网时长(秒)TDS驻网时长(秒)GSM驻网时长(秒)平均车速(km/h)45737 966 5001 3958 3 3594 44 317 47.04 2. 覆盖渲染3. 覆盖分段占比RangeCountPDFCDF(-INF,-1101372.19%2.19%(-110,-1052073.30%5.49%(-105,-1004236.75%12.24%(-100,-955839.31%21.55%(-95,-85187429.92%51.47%(-85,-70286645.75%97.22%(-70,-501742.78%100%(-50,+INF)00.00%100%2.3 干扰指标统计1. 干扰指标统计平均SINR边缘SINRSINR -3以上占比SINR 0以上占比平均RSRQ连续SINR质差里程占比(SINR小于-3)(%)PDSCH BLER平均值下行初始HARQ重传比率重叠覆盖率(重叠覆盖度=3)(%)15.45 1.10 98.23%95.99%-8.02 0.00%3.91 3.81 1.05%2. 干扰渲染图3. 干扰分段占比 RangeCountPDFCDF(-INF,-31111.77%1.77%(-3,01402.23%4.01%(0,54787.63%11.64%(5,1080712.88%24.52%(10,15122219.51%44.03%(15,20167726.77%70.80%(20,25112517.96%88.76%(25,+INF)70411.24%100%2.4 调度指标统计上行平均RB下行平均RB下行平均MCS上行平均MCS码字0码字12.57 6.29 8.75 11.19 19.58 2.5 MOS详情统计1、 MOS地图分布说明：灰色部分为业务空闲，江北区域连续灰色为去程时江北区域呼叫CSFB，故未发起呼叫。2、 MOS分段占比RangeCountPDFCDF(-INF,100.00%0.00%(1,2114.03%4.03%(2,33010.99%15.02%(3,419772.16%87.18%(4,+INF)3512.82%100%3. 数据分析思路3.1 VoLTE数据分析流程VoLTE语音业务是承载在LTE网络的基于IMS语音控制的PS域语音实现方案，当前的LTE网络已经经历了一轮数据业务的优化过程，无线基础比较好，因此对于VoLTE语音业务的分析我们需要重点区分无线侧问题和非无线侧问题。根据本次测试数据，结合鼎利Pioneer软件，建议分析思路：一、指标概况统计，了解本次测试整体指标，确定分析重点鼎利Pioneer软件有专门针对VoLTE语音测试的VoLTE主被叫联合报表，该报表统计了VoLTE业务的详细信息，包括：KPI汇总、主被叫联合分析、VoLTE统计指标、CS域语音统计指标、覆盖统计、干扰统计、调度统计和MOS统计。统计方式如下，在菜单“报表”-“语音业务报表”-“ VoLTE主被叫联合报表”，如下图：弹出如下界面，点击“工程文件”会显示已经在Pioneer打开的log（点击“本地文件”，则可打开目录选择文件），然后根据主被叫，通过勾选对应log，点击“向右箭头”，分别对应添加到右边的“MO”和“MT”下面，log对应加载完成后，即可点击“生成”按钮，开始生成统计报表。统计结果即见第二章节。根据第二章节指标，我们发现本次测试没有未接通，掉话3次，同时MOS分值存在4.07%的比例低于2，因此掉话和MOS是本次分析重点。二、根据需要分析的重点问题，按如下思路展开分析。要区分无线问题与非无线问题，目前只能根据IMS的原因码进行定界，如果是无线问题，要么引起了VoLTE的掉话，要么导致VoLTE接入时的RRC建立失败、拒绝等，要么MOS值偏低；否则均会有IMS原因码下发（见附件1），毕竟IMS是VoLTE呼叫的最上层。根据前期的数据分析经验，大致可以分为。无线侧问题：1、 影响业务接入或保持的 Rrc reject导致初始接入失败 随机接入失败 RRC重建失败导致的掉话 网内切换失败（Mod3、邻区切入异常、邻区禁止接入等） eSRVCC切换失败 2、 影响用户感知的（MOS低） IBLER过高，无法收敛 语音承载强制配置为非保障的QCI9 MCS阶数波动太大 路损过高（高于118120一般认为会影响MOS） 半持续调度功控目标bler不合理 非无线问题：1、 终端问题 终端invite请求里面的被叫号码格式编码错误 终端注册请求的域名地址位数不对 主被叫媒体协商不统一（非入网手机） 呼叫请求和注册请求的用户端口不一致 2、 网络侧问题 DNS未正确配置域名解析地址，路由失败 AS鉴权失败，鉴权算法漏配 IMS-HSS的签约数据不全。 ATCF路由锚定的IP配置错误，导致esrvcc失败。 3.2 VoLTE未接通分析本次测试数据未产生未接通。3.3 VoLTE掉话分析1. 主叫掉话1时间：14:15:40.666路段：和兴路中段问题描述：从下面截图可以看出，掉话发现在从市公司去省公司方向的和兴路中段，从掉话前后看本次掉话是由于弱覆盖导致，同时由于现网还没开通eSRVCC切换，所以导致掉话。处理建议：增强覆盖或者开通eSRVCC切换。2. 主叫掉话2时间：14:15:40.666路段：前进路问题描述：本次呼叫在14:19:39.478发起，于14:19:44.042接通，并在14:21:55.313发起挂机请求，而此时呼叫并未保持3分钟，从信令回看，在终端发起sip bye request前，网络侧下发了一个承载去激活的命令，从释放的EPSID 看是默认承载，而从释放原因看：ESMCause = (39)protocol error, unspecified。建议网络侧核查。3. 被叫掉话1时间：14:15:33.201路段：和兴路中段问题描述：同主叫掉话1.3.4 MOS低分值分析注意：MOS分析时，需要回看前810s的相关覆盖、信令情况，因为MOS评分的预料是8s时长，从放音8s结束到算分出结果至少要8s。1. MOS低值路段一：分公司附近天桥下面从下面截图可以看出该处覆盖属于差点，并且从邻区窗口可以看出属于重叠覆盖区域，导致SINR较差，从而导致上下行的bler都太高，上行无法收敛，从而导致语音质量较差。处理建议：加强覆盖，并增强主导频覆盖。2. MOS低值路段二：三大动力路中段从下面截图可以看出该处覆盖属于中点，但是从邻区窗口看428和248Mod3干扰，并且此处上行bler太高，可能存在上行干扰，从而导致语音质量较差。处理建议：排查上行干扰，查下对应小区及附近小区底噪情况。3. MOS低值路段三：世茂大道中段从下面截图可以看出此处存在切换失败（302小区切换到454小区，且属于跨TA）引起的RRC重建，并且重建失败，同时此处属于覆盖弱场，SINR较差，信道质量无保障。处理建议：加强覆盖，并明确主导频。4. VoLTE测试异常处理【说明：针对本次测试过程出现的问题，以及鼎利工程师的指导，本人将测试可能出现的异常做了个汇总，方便参考。本次往返两次测试，第一次测试由于一些细节未注意，出现过异常，在鼎利工程师指导下解决后，同时注意鼎利工程师提示的细节，基本后面的测试非常稳定，未出现任何异常】4.1 算分异常处理1. MOS分值较低（这里指持续低于2）出现MOS分值较低时，进行如下检查：1、 检查是否有终端在G网或者TDS网络进行呼叫，一般在23G网络使用POLQA算分会相对VoLTE低一些（比如VoLTE在3.5左右时，如果在23G可能会在3.0左右）；如果不是，则：2、 检查网络环境是否正常，比如RSRP是否过低（低于-110），SINR是否较差（低于-5）。如果这些都正常，则：3、 检查手机音量，是否静音了或者音量没有正确设置，正确音量是“手机通话状态下，将音量调节至最大后减一”，如果这些都正确设置，则：4、 检查耳机口是否插紧，是否有漏音（可以耳朵贴近手机听下，是否有声音），或者插拔下耳机，如果这些都无法解决，则：5、 插拔一下MOS盒的USB接口，重新连接再次测试，如果还无法解决，则：6、 直接在当前环境，两个人用测试手机呼叫说话，检查是否正常通话的声音就不正常。2. MOS算分失败出现MOS算分失败时，进行如下检查：1、 检查算分环境“vcredist_x86”是否安装，直接重新安装一遍即可（如果该电脑之前测试正常，则跳过该步骤排查）。如果算分环境正常安装，则：2、 检查算分权限文件PolqaLicenseFile是否复制到了正确的目录（有时候重新安装了软件或者安装了新版本会忽略这个）。正确操作是：复制该权限文件到pioneer安装目录下的PESQ文件夹下。如果权限文件正确放置了，则：3、 检查算分权限文件是否过期。双击打开PolqaLicenseFile，查看其中的“ExpirationDate”是否过期，如果权限正常，则：. Polqa: 0-2StartDate: 2015-5-18ExpirationDate: 2015-11-19Platform: Windows,LinuxMacAddress: 5c260a68f2444、 检查MOS盒是否正常驱动，在设备管理器里面检查如下端口是否正常（异常时要么不存在该端口，要么提示黄色感叹号），如果MOS盒正常驱动，则：5、 插拔MOS盒，重新连接测试。4.2 呼叫异常处理1.连续呼叫失败出现连续呼叫失败时，建议检查：1、 直接拔掉手机，不连接软件，进行对呼，检查是否网络问题，如果正常，则：2、 检查业务脚本的“连接时长”是否设置过短，导致时间超时时还未接通而释放。集团规范是30s。2.被叫无法自动接听出现被叫不自动接听时，建议检查：1、 检查是否给主叫配置了呼叫对象（被叫），如下“Dialed MS”需要配置为被叫终端。如果配置正常，则：2、 断开设备连接，重新连接后重新尝试，如果还无法自动接听，则：3、 插拔终端，重新连接测试。4.3 终端异常处理1. HTC工具HTC SSD Test tool里面无法找到打开端口的四个菜单这种一般是应用程序异常，请联系支持进行重新刷机。2. 测试过程设备丢失正常测试过程中，出现设备丢失（如下图），排查步骤：1、 请检查手机是否因电量不足在测试过程中自动关机；2、 请检查手机的数据线是否松脱，可以重新插拔试试；3、 在Graph窗口查看当前网络信号强度（若没有信号或信号太差也可能会导致掉设备）；4、 检查手机端口是否驱动异常，可以在设备管理器里面查看对应端口是否正常驱动；5、 检查手机端口是否关闭了，打开HTC SSD Test tool工具进行检查；6、 检查设备温度是否过高（不要让阳光直晒设备）。4.4 GPS异常处理1. 测试过程中GPS出现无采样点测试过程如出现GPS无采样点，建议检查：1、 测试所在位置是否高楼阻挡，导致GPS无法搜到卫星；2、 是否车速过快；3、 是否GPS异常，查看GPS的指示灯是否常亮4、 如果都正常，则插拔GPS重新尝试。2. 测试过程出现GPS丢失测试过程过程如果出现GPS丢失，建议插拔GPS尝试。5. VoLTE测试软件操作说明【说明：由于本人电脑之前未安装过鼎利的软件，对本次测需要安装的程序也做了个总结，方便后续同事参考。基本上除了主应用程序Pioneer后续如果更新版本，需要安装（或者直接在线升级），其他的程序都属于环境或驱动类程序，安装一次就OK了。】5.1 软件安装说明对于一个未安装过世纪鼎利Pioneer测试软件的笔记本电脑，如要测试VoLTE，需要安装如下软件：1. 运行环境软件dotNetFx40_Client_x86_x64安装方式：双击一直下一步即可，提示已经存在的，则不用安装。vcredist_x86安装方式：双击运行，一直下一步即可，安装完成后重启电脑。PioneerDriverSetup安装方式：双击运行，一直下一步即可。安装完成后插上加密狗，看狗指示灯是否常亮；不是，则直接双击HASPUserSetup_5.10.1.17163单独安装狗驱动。2. 测试软件PioneerSetup9.6.0.0安装方式：双击运行，一直下一步即可。安装目录可自行调整。PolqaLicenseFile安装方式：复制该权限文件到pioneer安装目录下的PESQ文件夹下，否则无法进行POLQA算分。3. 驱动软件PL2303_Prolific_DriverInstaller_v10518GPS驱动安装方式：双击运行，一直下一步即可4.0驱动MOS盒安驱动安装方式：双击运行，一直下一步即可HTC_M8_USB_driver_20131104_signedHTC手机驱动安装方式：在手机上HTC工具里面打开对应端口，插上电脑后，在设备管理器里面在端口上右键更新驱动，选择到该驱动进行安装。说明1：运行环境软件安装一次即可，只要系统不重装或者恢复，永久生效。说明2：测试软件则需要根据实际版本情况安装对应版本5.2 终端端口开启说明1. 端口打开方式：HTC工具HTC SSD Test tool打开，找到如下项并修改为表格要求值。配置项修改为（操作后界面显示值）Control Diag PortDisabledControl ModemDisabledControl RemNetDisabledQXDM LoggerEnable操作界面如下： a、打开HTC SSD Trail Tool工具 b、找到三个Control开头的选项 c、打开三个选项后点击Enable即切换为disable d、打开QXDM Logger选项点击Disable切换为Enable2. 手机需要进行的设置：l 在“设置”-“数据连接”里面最后勾上“增强语音IMS”l USB调试必须关闭l 网络共享必须关闭，不管是热点还是USB共享，都不能开启。l 手机通话状态下，将音量调节至最大后减一格。注意这个直接影响MOS分值高低。5.3 驱动安装说明1. MOS盒驱动安装成功标识MOS盒驱动安装完成后在设备管理器可以看到设备名称：ASTRI DingLi Driver，如图：2. GPS驱动安装成功标识GPS驱动安装完成后在设备管理器可以看到如下端口：3. HTC终端驱动安装成功标识HTC终端驱动安装完成后在设备管理器可以看到如下端口：当前HTC