TD-LTE网络测试评估体系

TD-LTE网络测试评估体系及研发进展,中国移动网络部2013.09,目录,1,2,3,TD-LTE测试评估体系,LTE自动测试研发进展,LTE现网测试情况分析,4,人工仪表相关功能介绍,TD-LTE测试评估体系(1),1、多场景评估分析，更贴近客户感知。,3、多网对比，有针对性开展优化提升。,城区县城农村室内场景交通干线普通商用终端,GSMTD-SCDMACDMAWCDMAWLANTD-LTE,TD-LTE网络质量评估体系包含网络测试评估、网管指标评估，信令监测评估等。其中网络测试评估依托现有“自动测试系统”，面向TD-LTE网络的特点，开展多场景、多网络、多业务的综合质量评价。通过“竞对指标分析”、“TDL、TDS、GSM对比分析”、“业务与网络承载关联分析”等多种方法，分析定位TD-LTE网络在语音及数据业务、各级网络、业务平台方面存在的短板，挖掘TD-LTE网络在规划、建设、维护、优化方面存在的不足，进而更好的提升TD-LTE网络品质！,2、多业务并存，端到端定位网络质量问题。,语音业务数据业务其它热点业务,测试方法：DT测试：驱车进行语音、数据（FTP及其它热点业务）测试，其中语音采用互拨方式，数据业务采用FTP不间断下载，依照客户方式使用热点业务等方式开展，测试过程中仪表记录经纬度、参数、信令等信息，测试路线应尽可能遍历测试区域内的主干道、次主干道、支路等道路。CQT测试：选取热点楼宇，测试人员携带终端进行语音及数据业务（包括WLAN）测试，测试范围涵盖窗边、走廊、办公室、楼梯口、电梯间等环境，每个测试点选高低楼层。,TD-LTE测试评估体系(2),调度类指标,平均每时隙PRB每秒PRB个数平均MCS单双流占比传输模式分布,移动类指标,Attach成功率服务请求建立成功率无线承载建立成功率,切换成功率切换时延TA更新成功率TA更新时延,指标体系：1、TD_LTE测试指标体系可分为业务类、覆盖类、干扰类、调度类、接入类、移动类6大类别指标，各类指标相互影响，最终能够反映用户客观感知。2、业务类指标与原有TDS评估保持一致，本次将重点介绍其余5类数据业务指标。,覆盖类指标,业务类指标,FTP下载速率FTP上速速率FTP掉线率低速率占比,业务覆盖率边缘RSRPRSRP分段占比,干扰类指标,低SINR占比边缘SINR重叠覆盖度误块率,接入类指标,TD-LTE测试评估体系-覆盖类指标,CRS的定义：,天线端口种类P=0P=0,1P=0,1,2,3,P=4MBSFNP=5波束赋形,排列方法由哪些决定？,注：RSRP测量值范围-141,-44dBm,1、业务覆盖率（%）,TDL条件采样点：CRS_RSRP=-110dBm由上表看出，网络对用户的调度策略与用户反馈给网络的信道质量CQI和信道相关性RI有关；用户的信道质量CQI与RS-SINR呈对应关系。,TD-LTE测试评估体系-调度类指标,下行调度相关,TD-LTE测试评估体系-调度类指标,资源调度指标：反映网络对用户资源的分配情况,下行平均每时隙PRB数已分配给用户的PRB总数/(已调度子帧数*2)；,频域调度：上述指标最大值100，较直观，但不能反映子帧的调度情况,时域调度：上述指标最大值与资源配比有关系，3:1（3:9:2）最大值600,下行每秒调度子帧个数=已分配给用户的子帧总数/业务下载时长,说明：1秒包含1000个子帧，每个子帧含2个时隙且各时隙调度的PRB个数相等，对于20M带宽，每时隙最多包含100个PRB1个无线帧（10ms）包含10个子帧，对应1帧来说，以下配置最多6个子帧传递下行数据，故1秒是6*100=600个每秒PRB个数=前两项指标相乘再*2,下行每秒PRB个数=已分配给用户的PRB总数/业务下载时长,上述指标最大值与资源配比有关系，3:1（3:9:2）最大值120000,F频段3:1，特殊子帧3:9:2,D频段2:2，特殊子帧10:2:2,TD-LTE测试评估体系-调度类指标,常用的资源调度算法,TD-LTE测试评估体系-调度类指标,下行平均MCS各下行子帧MCS求和/下行MCS上报次数,编码调制指标：反映信息传输的编码速率和调制方式,全带宽平均CQI全带宽CQI求和/全带宽CQI上报次数,在LTE中，MCS有32个等级（0-31），等级越高，编码速率越快，吞吐量越高，但误码的几率也相对增大。,调制方式占比统计64QAM,16QAM,QPSK的调用次数占比,在LTE中，CQI有16个等级（0-15)，等级越高,表示下行信道质量越好，期望得到更高的编码速率,TD-LTE测试评估体系-调度类指标,RANK=2占比：终端上报RANK=2个数/RANK上报总个数,双流时长占比：使用双流下载时长/业务下载总时长,双流流量占比：使用双流下载的数据流量/业务下载总数据量,终端根据对信道相关性的检测，反馈秩指示RI(Rank_Indicator)给eNB，当空间独立性较好时，反馈RANK=2eNB根据RI的值决策是否使用双流发送，终端根据芯片上报的TB_Number来判断单双流的情况,单双流相关指标,天线传输模式TM2/3/7/8的占用时长统计,TD-LTE测试评估体系-调度类指标,TD-LTE测试评估体系-调度类指标,MCS与各指标关系,随着干扰的增加，CQI降低，网络会考虑降低MCS以及调制方式。注：CQI包含16等级【0-15】，描述UE反馈给网络的信道质量指示，CQI与SINR相关性强；,PRB与各指标关系,同小区多用户并行业务场景下：在相同SINR下，随着用户数增加，MCS变化不明显，各用户每秒PRB调度个数会减少；从而吞吐量降低在不同SINR下，网络给高SINR用户分配更多PRB几率较大，此处与设备厂商的调度算法也有关系,下降,下降,下降,64QAM下降，QPSK上升,下降,TD-LTE测试评估体系-调度类指标,利用调度指标分析低吞吐量的方法,当吞吐量较低时，首先分析MCS是否过低，MCS低往往是因为SINR过低或者不稳定引起，需要分析干扰的问题当用户所占小区负荷过大时，引起PRB偏低，即使MCS较高，也会因为资源不足影响吞吐量，此时应该引入容量吸收的策略，如果用户很少，PRB仍然低，需核查主设备、传输、或者核心网的问题如果用户在SINR较高时，仍然占用单流（如TM7)情况，需检测UE的Rank值，其次检查eNB参数设置是否存在问题,调度指标能从信道质量、小区负荷、空间相关性等多个维度综合反映网络分配给用户的编码速率、信道资源和空间传输模式情况，基于调度指标对吞吐量的分析方法如下：,切换成功率（%）：切换成功次数/切换尝试次数,网内,网间,切换平均时延（s）：首次切换尝试到切换成功的间隔,频段内切换/重选,频段间切换/重选,TDL-TDS切换/重选,TDS-TDL切换/重选,指标要求需根据切换的类型来制定，对于网内切换，TDL在切换流程上与TDS相似，包含测量控制、测量报告、切换命令、切换执行、切换完成五个阶段。在路测指标体系中，以UE收到切换命令作为切换尝试，UE完成切换作为切换成功。,切换/重选类统计指标,TA更新统计指标,TA更新成功率（%）：TA更新成功次数/TA更新尝试次数,TA更新平均时延（s）：首次TA更新尝试到TA更新成功的间隔时间,重选成功率（%）：重选成功次数/重选尝试次数,重选平均时延（s）：重选成功次数/重选尝试次数,TD-LTE测试评估体系-移动类指标,TD-LTE测试评估体系-移动类指标,切换对网络性能的影响,切换失败案例分析,切换失败后，引起18秒吞吐量为零；,切换失败UE在移动过程中收到切换命令后，如果切换到目标小区不成功，将尝试重建到源小区，极易造成指标恶化甚至脱网，此时吞吐量将陡降并持续较长时间，严重影响用户体验频繁切换由于LTE采用硬切换方式，切换中业务会有短暂中断，如果过于频繁切换，同样会影响吞吐量和用户体验，需要避免不必要的切换,如右图所示：由于干扰原因，UE无法与目标小区建立同步，致使切换失败；,TD-LTE测试评估体系-接入类指标,Attach流程,1、随即接入、RRC建立2、Attach请求3、无线承载建立4、建立缺省的EPS承载5、Attach建立完成,条件：处于非注册状态步骤：,Attach成功率（%）：,Attach平均时延（s）：,无线承载建立成功率（%）：,无线承载建立平均时延（s）：,服务请求建立成功率（%）：,服务请求建立平均时延（s）：,TDL与TDS接入性指标异同对比,TDL的Attach包含了上下文的激活，即TDL的Attach=TDS的“Attach+PDP”过程；TDL的Attach过程一定伴随默认承载的建立，而在TDS中，是先Attach再建立无线承载；TDL的用户在空闲态需要发起业务时，仅通过ServiceRequest流程来进行业务连接；,相似,差异,接入类指标名称,接入网络必须首先建立RRC连接；接入的本质都是信道的分配和承载的建立,结论：根据TDL与TDS在接入性指标的对比可以看出，TDL进一步简化了接入流程，使得用户接入时延进一步缩短；,TD-LTE测试评估体系-接入类指标,目录,自动测试LTE研发进展,2,1,3,TD_LTE测试评估体系,LTE现网测试情况分析,4,人工仪表相关功能介绍,TD-LTE自动测试功能研发整体情况,搭建评估体系,反映业务质量定位网络问题,指标体系落地平台解码完成人工仪表及外接卡测试杭州外场验证,12年底联芯模块开发测试完成13年6月高通模块开发测试完成13年以来前端设备稳定性、准确性快速提升,后台开发完成,规模外场测试,2010,2013,2014,梳理75项评估指标,开发量3000人日新增功能节点5个功能模块升级38个,在实验室环境开展规模测试40余次，测试时长70小时在外场经过了5轮的多终端对比验证测试，测试总时长120小时，测试总里程200公里,自动测试系统TD_LTE测试功能研发工作自2012年6月启动，历经“搭建评估体系”、“后台开发”、“前端设备成熟”、“规模外场测试”四个关键里程碑，实现了多芯片、多场景、多应用，基于客户感知、面向规划建设、网络优化的TD-LTE网络质量评估功能。,里程碑,ATU高通模块参与2013年8月全国15城市评估测试中，测试时长700小时，测试里程达13000公里。严格遍历1-4级道路。,12.07,12.08,12.09,12.06,12.10,12.11,12.12,13.01,13.02,13.03,13.04,13.05,13.06-09,13年6月ATU联芯模块参与4城市规模测试13年8月ATU高通模块参与全国15城市评估测试,评估体系内容,借鉴网络部既有指标体系，根据TD-LTE网络质量评估、问题分析的要求，完成TD_LTE空口评估体系搭建和开发。共包括核心KPI指标37个，网络性能指标48个；将网络指标进行分层分类梳理、涵盖业务指标性能、覆盖及干扰性能、移动及接入性、网络资源调度特性等；面向现阶段网络规划建设和未来优化提升的需要，系统还需提供大量复合性指标，目前系统已进行了“指标重组预留”和“指标阀值自定义”功能开发。,后台规范制定,TD_LTE自动测试后台规范,该规范规定了自动测试后台整体LTE部分的数据格式要求,TD_LTE自动测试前端设备规范,该规范规定了ATU前端在LTE方面的设备功能和性能要求,TD_LTE自动测试前后台交互规范,该规范规定了前端ATU与后台进行命令交互的指令规范。,TD_LTE人工仪表与后台交互规范,该规范使自动测试平台能够管理传统测试仪表，并与路测软件交互。,TD_LTE前端外接卡测试规范,该规范实现各厂商前端设备能通过USB外接测试数据卡完成测试,规范制定保证了行业快速推动，相关规范正在申请企业标准，其中ATU外接卡的识别技术，以及人工数据卡交互技术已在申请专利！,在LTE建设阶段，针对产业链不成熟现状，我们创造性提出5类规范弥补行业空缺,单机版测试软件将长期存在，现有软件无法接入平台,自动测试前端设备与平台需要更高效对接，并根据网络环境自适应数据回传方式,为基于客户感知开展测试，解决应用数据卡、商用手机开展测试的问题,解决方案,制定人工仪表交互平台规范,制定ATU前后台接口规范,引入ATU前端外接数据卡,初期问题,后台功能框架,TD_LTE后台功能在现有2/3G系统架构上开发完成，包含从数据采集、数据存储管理、数据解码生成、数据统计分析多个节点；TD_LTE后台已具备从测试计划驱动、监控管理、数据统计与定位、GIS分析多方面应用。,预统计模块,后台解码及统计,RRC解码器,高通底层参数解码器,联芯底层参数解码器,数据采集单元,中间配置层,报表呈现模块,NAS解码器,总计完成高通720个，联芯480个底层参数解析、完成3GPPTs36.331、24.301协议信令信元解析；在报表展现层面，高通和联芯指标完全一致，在底层解码，高通和联芯分开解码实现，在中间层汇聚；,头标志,帧号,消息种类,时间戳,对等层消息,参数消息,校验位,尾标志,芯片Trace口一般结构,目前支持高通和联芯log，预统计模块根据注册行识别芯片类型，调用芯片所对应解码器进行底层参数解码，分离出高层信令进行RRC和NAS解析，最终通过算法统计成指标,前端功能开发,电器特性要求,功能要求,性能要求,对TD_LTE前端设备ATU在功能、性能、电器特性方面提出开发要求，通过设备规范量化约束条件，推动各厂商准确性和稳定性接近并真实反映网络情况。,支持TDL/TDS/HSPA+/EVDO多模块做数据业务测试，预留4个模块做语音业务，后续支持CSFB、双待机测试数据暗码传递支持外接卡测试支持WIFI测试,故障率：小于3%天线增益：0dB接收功率电平准确度在3dB以内读写速度大于9Mbps,工作电流：小于5A工作时最大功耗：小于60W抗震：1.93ms/S3冲击：400m/S3电压：10-30VDC,LTE自动路测平台呈现,自动与人工LTE指标呈现,TD-LTE自动测试功能情况,与已采购的测试软件对比，验证平台数据解码、指标统计的准确性,后台一致性测试,将同芯片的自动测试ATU与测试卡进行对比，验证前端设备性能及模块性能,人工自动对比测试,通过对高通、海思、联芯等不同厂商芯片进行对比测试，验证不同芯片之间的性能差异,多芯片对比测试,在相同芯片条件下，对比不同前端厂商ATU的性能，定位芯片级、设备级、功能级问题并督促解决,多ATU对比测试,通过现网海量测试，验证后台、前端、数据解码、统计报表、监控等整体测试功能,现网规模测试,测试流程及方法,1、后台准确性测试,DT-LOG,ATU输出DT_LOG采用暗码传递，格式简单透明规范化；,VS,结论：通过对海量数据的统计对比，自动测试后台纠正统计算法问题12个。目前平台75个指标中，45个指标与CDS统计完全一致，29个指标接近一致（误差在1%以内，存在统计时间点差异，目前已经统一），仅1个指标结果存在差异（原因为参数继承算法不一致引起，已修正），TD-LTE自动测试后台数据采集和统计功能准确！,2、TD-LTE测试前端ATU与数据卡对比测试,CQT速率测试,DT测试,结论：自动测试前端设备ATU整体性能已接近甚至优于同芯片数据卡,注：目前高通手机均为Cat3,ATU高通模块Cat4,故L1峰值较低,图1：联芯数据卡RSRP,图2：ATU联芯模块RSRP,3、多芯片对比测试,表1：DT同车测试结果,表2：CQT并行测试结果,注：同车和并行测试中，参与终端较多，因此每用户吞吐量都相对较低，重点在于对比吞吐量之间差异,结论：DT同车测试，ATU高通模块已在各项指标与海思MiFi接近一致；CQT并行测试，在各个频段下好、中、差点ATU高通和联芯模块均能接近海思的水平,大部分测试点吞吐量接近一致,4、ATU之间对比测试,结论1：联芯和高通CQT并行测试表明，各厂商设备间业务指标差距不大，整体性能较好；,结论2：通过对调天线测试，发现ATU之间接收电平存在差异与天线性能有较大关系，后续需要进一步强化LTE天线性能规范；,5、规模测试分析（1）,联芯模块参与了南京、杭州、深圳的拉网测试（红圈为ATU测试部分），整体表现较为稳定，无设备异常，指标与海思差距较小。,杭州,深圳,南京,5、规模测试分析（2）,ATU高通模块已在杭州、青岛进行拉网测试，设备无故障，测试指标接近表现较好的数据卡,图1：青岛ATU高通拉网,注：青岛7月爱立信区域网络时隙配比为（3:1）且为异频组网，故下行吞吐量较5月相对较高,图2：杭州ATU高通拉网图,青岛,杭州,LTE自动测试研发小结,目前成果,后续计划,搭建了基于空口的TD_LTE评估体系，自动测试后台能够准确的统计各项指标，反映TD_LTE业务和网络性能情况,LTE自动测试前端ATU联芯和高通模块逐步成熟，进行了多轮的对比测试，目前性能已较为接近目前表现较好的数据卡（如海思MiFi），ATU已具备了LTE及多网络测试的能力。,进一步完善评估体系，加强分析功能，分析TD_LTE存在的问题，,研发新的测试业务以及相关指标,通过目前15城市的大规模测试，自动路测系统的测试计划配置与下发、监控管理、数据回传、数据统计等功能全部表现正常，可以支持未来LTE大规模运营后的网络质量考核。,LTE自动测试研发进展,2,1,3,TD_LTE测试评估体系,LTE现网测试情况分析,目录,4,人工仪表相关功能介绍,网络质量分析,全网覆盖情况,各项数据表明该网格区域覆盖情况较差，连续弱覆盖和无覆盖占比较高。,全网RSRP分布图,网络质量分析,全网干扰情况,各项数据表明该区域干扰情况较差。,全国SINR分布图,网络质量分析,全网业务速率,全网速率分布图,网络业务速率分析,APPTHrDL5.7Mbps,网络业务速率分析,覆盖率为85.3%，平均SINR为10.5dB，业务速率15.7Mbps，目前网络质量在15城市中仍然较差。低速率占比过高，速率为0的占比达到8.39%，速率大于20M的占比仅为28.6%，大于50M的高速率仅为0.67%,在低速率区域中，由于RSRP低于-105dBm引起低速率的占比近40%。过低的RSRP无法保证网络的有效性。在极弱覆盖场景下，SINR恶化几率增加，极容易造成业务掉线。高干扰也是引起低速率的主要因素。信道质量差直接影响网络调度的相关指标，造成业务速率降低。,全网下行低速率分布图呈现,剔除弱覆盖后，网络指标分析,从指标上看，剔除弱覆盖后，各指标均有不同程度提升，其中边缘RSRP、平均下载速率，低吞吐量占比有明显提升。剔除弱覆盖后，仍然存在6.90%的低速率占比，从低速率在GIS上分布看，整体分布零散，部分存在连续低吞吐量现象，主要原因由干扰引起。,为了分析在覆盖良好区域的网络性能，我们将RSRP-105dBm&吞吐量低于1Mbps的分布,RSRP-105dBm,但SINR连续低于-3dB,网络干扰分析,全网SINR=2)有关系；由图所示：全网重叠覆盖度=3占比10.41%；伴随重叠覆盖度增加，平均SINR呈下降趋势。重叠覆盖是同频组网中影响干扰的主要因素。,重叠覆盖定义：与最强小区差距6dB的电平数，且最强小区-110dBm,干扰性能分析,下图为密集城区域网络情况，该区域平均站间距300米，平均RSRP-88dBm，整体覆盖很好比较得到：SINR较高区域，其重叠覆盖度也较低，重叠覆盖严重区域（红圈内），SINR相对较差,网格11密集区域SINR分布图,同区域重叠覆盖度分布图,如上表：红圈内由于重叠覆盖，导致SINR、MCS、吞吐量均偏低，且平均RSRP和边缘RSRP高于红圈外，建议优化网络结构，减少重叠覆盖，控制边缘RSRP，以提升网络SINR,密集区域重叠覆盖对干扰性能分析,网络调度类分析,调度类指标,全网平均MCS仅14.63，同时平均UE每秒调度下行PRB仅为75082个，理论上在2:2|10:2:2配比下每秒最高120000个，PRB资源占用和编码速率整体偏低；,在SINR很高区域，MCS明显提升，但eNB调度给UE的PRB反而略有下降，引起极好点路段速率上不去,下图为一段时间内MCS，PRB、速率的关系，MCS和PRB同时高，才能达到较高速率,PRB高，MCS低,PRB高，MCS高,PRB低，MCS高,切换的性能分析,全网切换指标,切换成功率与覆盖干扰的关系统计,切换分析：全网宏站均为D频段建设，无频段间切换，网内切换成功率仅95.88%，在极弱覆盖（RSRP-115dB）区域，切换成功率为91%，在覆盖好区域，切换成功率达到97.49%，共有42次切换失败，其中有15次切换由于SINR-3dB造成切换失败，其余27次切换失败原因待分析,引起全网切换成功率低的主要因素仍然是覆盖问题，建议增加站点解决,接入的性能分析,图：弱覆盖造成连续的接入失败案例,接入相关指标,接入指标分析全网服务请求次数达到了1548次，原因为在业务过程中，由于无线环境原因UE回到空闲状态，之后一直尝试重新接入网络，但由于覆盖很弱，无法接入,图：弱覆盖区域内连续接入不成功,后续工作安排,1、继续加快自动测试系统LTE测试功能研发：（1）继续完善自动测试系统LTE后台统计、报表、主要指标分析、测试结果回放等功能。（2）继续完善TD-LTE前端功能，加快前端采购工作。重点解决前端ota射频性能问题。（3）组织TD-LTE仪表厂商，完善lte仪表对自动测试系统的支撑，同时完成自动测试外接卡测试功能。（4）组织开展技术攻关，为后续基于业务的测试、csfb测试、双待测试奠定基础。（