TD-LTE规模技术试验测试细则-无线网络性能

1、TD-LTE规模技术试验无线网络性能与网络质量测试测试细则版本号:0.0.42011-07-21目录总体问题 (3特定测试例问题 (45.1.1 单小区覆盖测试 (45.1.2 全网覆盖测试 (45.2 容量(用户数测试 (55.3.1 小区吞吐量(FTP (55.3.2 小区吞吐量(GBR (55.4.1 单用户峰值吞吐量 (55.4.2 单用户多点吞吐量 (55.5.1 单用户ping包时延 (65.5.2 多用户ping包时延 (65.6 控制面时延 (65.7 切换时延 (66.1.1 空载开机附着成功率 (66.1.2 加载开机附着成功率 (76.2.1 空载连接建立成功率 (76.

2、2.2加载连接建立成功率 (86.2.3多用户连接建立成功率 (86.3.1空载下寻呼成功率 (86.3.2加载下寻呼成功率 (86.4.1空载下掉线率 (96.4.2加载下掉线率 (96.5.1空载下切换成功率 (96.5.2加载下切换成功率 (106.6.1空载下业务长时间保持能力与平均吞吐量 (106.6.2加载下业务长时间保持能力与平均吞吐量 (10编制历史 (10总体问题1规范中部分GPS写为GSP,是笔误。2测试例中的遍历路径,需要测试组监督制定或进行确认。需要考虑当地的地形地貌,不能在路径的制定中有意规避特定区域。在遍历路径制定之后应尽快进行“全网普查”。3选点的原则是:在70%

3、加扰情况下选点,其他加扰情况下和空扰情况下均使用这些点测试,以便比较同一点上不同加扰情况的差异,具体见下图。 4实际测试点需要与选点(极好/好/中/差严格保持一致。如,在车内选点,测试时不能选在车外;选点时车门关闭,则测试时不能开启。5KPI测试中,实际操作中车速3050km/h,在保证安全的前提下,尽量开快一些。6判断“掉线”的准则:应用层10s没有数据率则视为掉线。7测试过程中,测试组测试人员在记录测试数据之外,应注意记录“异常现象”,如频繁掉线、死机、重启、终端发热等各种异常现象。8选择上行加扰点时,有一个省时省力的方法:用一个终端在加扰小区1做业务,记录在此位置上1个终端对上行IOT的

4、抬升程度。然后再去第2个小区/点,记录第2个点对IOT的抬升程度。如法炮制选取7,8个点,并记录每个点对IOT的抬升能力。这样,以后不论需要多大的IOT水平(如12 dB IOT,都可以靠这些点的线性叠加来轻易实现。9测试规范中对上行干扰水平要求原定为5/8/11 dB IOT,由主测小区干扰朝向方向的两层小区内的22个加扰UE(共11个小区,每小区2个UE实现。经过一段时间的现场测试积累,现将上行加扰要求更新如下:a上行干扰IOT级别调整为只有1个级别:12 dB IOT。此要求仅涉及单小区加扰测试的测试例(如单小区覆盖,单用户吞吐量,小区吞吐量,ping包时延等,不涉及KPI测试;b加扰U

5、E需分布在围绕主测小区的第一圈邻区。至少需要有5个小区10个UE参与加扰,5个小区中,必须包括和主测小区同基站的其他小区;c加扰UE必须进行满buffer TCP(如FTP传输或UDP业务。不能进行诸如ping包等占用RB数较少的业务特定测试例问题5.1.1 单小区覆盖测试1步骤8:60度方向拉远,可能在主测小区不一定能找到完全符合的测试路线,可以测试找一个尽可能接近60度的2由于TD-LTE数据率较高,测试数据率较低的点(64kbps,128kbps比较困难,在1Mbps以下即波动较大,有时吞吐量会突然降到零或掉线,如果出现此情况,可重新呼起再向更远处拉,直到无法接入。3测试目的3要求记录各

6、种速率的距离(上行:500kbps、1Mbps、2Mbps、5Mbps、10Mbps;下行:1Mbps、2.8Mbps、5Mbps、10Mbps、20Mbps,并不是要直接测试这些速率点,测试速率阶梯可以自行选择,画出曲线后再从图上读出上述各速率点的距离。4步骤4的目的是测试PRACH信道的覆盖,因此选择测试点只要能满足此目的即可。5拉远过程中RB数量应自适应调度,通过路测软件绘制“RB数量-距离”的图。6此测试例可用不支持TM7的终端先行测试。7测试数据记录与处理里,PUSCH ber改为PUSCH BLER。8PDCCH BLER改为“上下行环回信令质量”。5.1.2 全网覆盖测试1根据测

7、试规范的要求,测试区域的环境应该是干扰受限的系统。根据全网普查或路测遍历的结果,如果判断弱覆盖的场景(RSRP较低较多,厂家应继续进行网络优化,直到达到网络覆盖达到基本要求,并形成干扰受限的场景。有效的覆盖是构成干扰受限场景的前提。2测试目的2中的下行干扰余量,指的是不同加扰比例下的RSSI之差,主要为了测试不同加扰比例下的干扰提升水平。3测试数据记录与处理:1. 根据RSRP、RSRQ、RSSI、SINR的打点图绘制以上参数随距离变化的曲线。需要绘制两种图,一种是基于电子地图的打点图,一种是各参数和距基站距离的曲线,注意这个距离是与终端连接的那个基站的距离,当切换到新的基站时,就开始计算和新

8、的基站的距离,测试完成后,对所有小区的同一距离上的数值进行平均,粒度建议为1m,如:所有小区距离99.5-100.5m的数值都算作100m的数值,这些数值平均后绘制在曲线的100m位置上。4此测试例可用不支持TM7的终端先行测试。5.2 容量(用户数测试1在200个用户接入时,不应人为约定接入顺序,如:好点UE先接入,差点UE后接入。而应该在各点同时尝试接入,接入不成功者可反复尝试,直到全部接入。2在3分钟计时过程中,如果有UE掉话或出故障,可能会影响UE数量不足200,因此UE数量应配置一定余量,如220-240台,保证3分钟内按照规范要求传输数据的终端数量不少于200台。5.3.1 小区吞

9、吐量(FTP5.3.2 小区吞吐量(GBR5.4.1 单用户峰值吞吐量1峰值速率的测试点可随意选择随适合测试达到峰值的点,不同TM可以选择不同的点。2此测试例可用不支持TM7的终端先行测试。5.4.2 单用户多点吞吐量1整个小区内选择10个测试点,均匀分布即可,室内室外均可,不再要求10个室外点、10个室内点。2找完10个测试点后,应该始终在这10个点测试,不同TM都应在这10个点测试,SINR有一定波动是正常的。3采用MIMO自适应。4拉远测试小区需要有一条拉远路径,符合该要求的测试小区,未必适合执行定点测试,因此在保证属于同一基站的前提下,拉远小区可以和其他测试例,采用不同的扇区。5.5.

10、1 单用户ping包时延1测试不能采用预调度算法,应采用自适应调度。2此测试例可用不支持TM7的终端先行测试。5.5.2 多用户ping包时延1此测试例可用不支持TM7的终端先行测试。5.6 控制面时延1此测试例可用不支持TM7的终端先行测试。5.7 切换时延1统计控制面切换时延时,规范中统计方法为从Measurement Report到用户向目标小区发送RRC Connection Reconfiguration Complete的时延。现改为从Measurement Report 后的第一个RRC Connection Reconfiguration(内包含源小区向UE发送的Handove

11、r Command消息到RRC Connection Reconfiguration Complete(内包含UE向目标小区发送的Handover Complete时延作为正式测试结果,但从Measurement Report到RRC Connection Reconfiguration Complete的时延也应统计作为参考记录值。2用户面时延在路测软件无法自动统计之前,只能逐次在每次小区切换完成后,统计TCP包传输时延后排序,找最大时延。3若采用海思终端和惠捷朗路测软件统计切换控制面时延,只有在全网实现了帧号同步(即每个小区的帧号都是一样的而且同步变化时,路测软件上显示的切换控制面时延才是

12、准确的。如果测试网络无法实现帧号同步,则应以路测软件上显示的MAC层切换中断时延做为切换控制面时延。6.1.1 空载开机附着成功率1目前应采用数据卡插拔实现开关机,如果未来第三方路测软件可实现软开关机,也可考虑采用此方法,但要先行对此功能的可靠性进行验证。2此测试例可用不支持TM7的终端先行测试,但后续要使用支持TM7的终端做回归测试。3KPI定义:附着成功率=成功完成附着与缺省EPS承载建立次数/开机总次数成功完成附着与缺省EPS承载建立:UE给eNB反馈ULinformationTransfer消息确认AttachComplete和Activate Default EPS Bear Con

13、text Accept4操作说明:步骤4:如果从开机起,两分钟内未完成附着与EPS缺省承载建立,则判做一次失败。统计方式澄清:两分钟主要是为了解决“未显示失败,但长时间停在那里,也不能成功附着”这种情况而设定的时间期限,如果路测软件已经明确显示“失败”,当然要按照失败处理。也就是说:1. 进行一次开机操作,2分钟内附着成功,则视为一次成功。2. 进行一次开机操作,显示附着失败,则视为一次失败,不能再次尝试。3. 进行一次开机操作,2分钟内既未显示失败,也未显示成功,则视为一次失败6.1.2 加载开机附着成功率同.1 空载连接建立成功率1KPI定义:连接建立成功率=成功完成连接建

14、立次数/终端发起分组数据连接建立请求总次数终端发起分组数据连接建立请求:RRC IDLE 状态的终端由于有数据需传送(比如发起Ping而发起SERVICE REQUEST 过程。成功完成连接建立:RRC IDLE 状态的终端通过“随机接入-RRC连接建立-DRB建立”空口过程完成与无线网的连接并开始上、下行数据传送,视作成功完成连接建立。2操作说明:测试该用例时测试电脑由于系统中存在自动上传请求的后台程序不能进入IDLE态,没有进入IDLE态就不能发起SERVICE REQUEST。因此测试过程中我们使用DETACH后再ATTACH的方式进行测试,相应的计算公式中“终端发起分组数据连接建立请求

15、”采用ATTACH REQUEST次数来计算。使用ATTACH REQUEST作为分母。连接建立成功后按照规范要求保持90s,再进行DETTACH操作。过20s后,重新ATTACH,并建立连接,重复上述操作。除了采用DETACH后再ATTACH的方式,另一种操作方法是将连接建立成功率和寻呼成功率、掉线率在一次测试中同时完成。即:在核心网侧通过ping终端的方式触发对终端的寻呼,触发寻呼的行为。终端收到寻呼后发起连接建立,触发了连接建立。连接建立后保持90秒,触发对掉线率的考察。6.2.2 加载连接建立成功率同.3 多用户连接建立成功率6.3.1 空载下寻呼成功率1EPC应关闭寻

16、呼的重发功能(即只发送一次S1 接口Paging 消息,以免影响测试结果。2为保证不因DRX的原因影响寻呼成功率,在做此测试时系统侧应关闭DRX。3寻呼失败的定义:EPC 发起寻呼起,2 秒内未收到S1 接口相应的INITIAL UE MESSAGE,则判做一次寻呼失败。4测试步骤4:与终端的连接建立后,保持40秒改为保持90秒。以便和连接建立成功率/掉线率的测试步骤保持一致,为同时测试上述KPI提供可能。5此测试例可用不支持TM7的终端先行测试,但后续要使用支持TM7的终端做回归测试。6KPI定义:寻呼成功率=成功完成寻呼次数/EPC发起寻呼请求总次数EPC发起寻呼请求:指EPC发起寻呼(S

17、1接口发送Paing消息寻呼成功:EPC发起寻呼(S1接口发送Paing消息后收到S1接口相应的INITIAL UE MESSAGE(NAS: Service Request,则判做寻呼成功寻呼失败:EPC发起寻呼起,2秒内未收到S1接口相应的INITIAL UE MESSAGE,则判做一次寻呼失败7操作说明:全部统计需要在网络侧进行,空口log作分析使用。6.3.2 加载下寻呼成功率同.1 空载下掉线率1KPI定义:掉线率=掉线次数/成功完成连接建立次数掉线:空口RRC连接释放,和/或10s 以上应用层速率为0 均视作掉线。成功完成连接建立:RRC IDLE态终端通过“随机接

18、入-RRC连接建立-DRB建立”空口接入过程完成并开始上、下行数据传送,视作成功完成连接建立。2操作说明:由于存在因为用户发起去附着请求引起的RRC释放,因此统计空口掉线连接释放次数建议只统计DRB建立后到发起detach之间的RRC释放,同时去除因为TAU引起的RRC去附着导致的释放6.4.2 加载下掉线率6.5.1 空载下切换成功率1考虑测试实际条件限制,将同时切换终端的数量减少到2个,遍历所有50个测试小区,一个UE只做上行FTP业务,另一个UE只做下行FTP业务。此测试可以和长保测试(6.6.1、6.6.2合并实施。另增加一个步骤,测试10个终端同时切换的成功率,但只要求在不少于5个连

19、续覆盖的扇区实施。2KPI定义:切换成功率=切换成功次数/切换尝试次数切换尝试:指在预期的切换区(如从小区A覆盖区向小区B覆盖区移动预期发生的切换。切换成功:以信令交互完成(RRC层UE向源小区发送测量报告信令后,UE收到切换指令RRC Connection Reconfiguration,随后UE向目标小区发送RRC Connection Reconfiguration Complete切换失败次数=切换尝试次数-切换成功次数(注意:切换信令交互完成后立即掉线只视作掉线,不视作切换失败3操作说明:由于覆盖原因造成的乒乓切换也计入切换成功率统计6.5.2 加载下切换成功率同上6.6.1 空载下业务长时间保持能力与平均吞吐量1判断“掉线”的准则:应用层10s没有数据率则视为掉线。2步骤4:每分钟整分整秒时用Dumeter记录一次平均吞吐量”中记录的应该是每分钟里面的平均吞吐量,而不是从开始建立到掉线的平均吞吐量。也就是:每分钟0秒时点击Stop&Watch中的“开始”键,约50秒时点击“停止”键并记录数据,0秒时再点击“开始”键.,