网络质量测试评估规范

1、NB-IoT网络质量测试评估规范中国移动通信有限公司2017年8月目录1目标32总体原则33NB-IOT网络性能测试规范43.1室外道路测试规范43.2定点测试规范54NB-IOT指标分析规范74.1NB-IoT网络性能评估指标74.2NB-IoT遍历小区及基站的统计141 目标本测试评估规范用于网络建设初期，评估和分析各省、市的NB-IoT网络性能和网络质量。2 总体原则 1. 评估应包括室外、室内多个场景，场景选择应和客户实际业务发生一致。 2. 评估应充分考虑数据质量和采集效率，使用自动化手段进行，评估期间最大限度降低人为干预。 3. 测试评估体系根据目标，主要从“网络性能评估”维度考虑

2、。 其核心内容、指导方向、测试手段和主要指标如下：ü 核心内容 由于NB-IoT网络不支持切换，主要通过室外道路遍历测试和定点测试两种方式对网络性能进行评估。网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力，不代表客户的真实感知。 ü 指导方向 a) 反映网络覆盖、干扰、资源等方面的问题，指导网络规划建设； b) 指导网络层面的性能和质量优化。 ü 测试手段 自动测试平台、自动测试前端ATU、扫频仪。 ü 主要指标 a) 覆盖、干扰、重叠覆盖度等网络指标； b) 速率、时延、成功率等主要业务指标； c) 基站、小区遍历性指标。 3 NB-

3、IoT网络性能测试规范3.1 室外道路测试规范NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试，主要测试方法及要求如下：1. 测试区域 按照网格划分（建设区域）区域进行测试； 2. 测试道路 城区范围：包含背街小巷在内的所有1-4级道路；交通干线：铁路（重点是高速铁路和动车组）、高速公路、国道省道等；县城城区：县城城区范围内的主要道路；农村及旅游景点：乡镇、行政村、旅游景点及连接道路。 3. 测试路线 按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试； 4. 测试轨迹记录 测试仪表需配备相应GPS设备进行测试轨迹记录。 5. 测试仪表及数据处理 必

4、须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计； 6. 测试速度 城区保持正常行驶速度，不设置最高限速，平均车速需达到20Km/h；高速测试按照高速公路实际限速正常行驶； 7. 渗透率、重复率 不考虑实际交通情况，渗透率需达到85%以上、重复率不得高于30%。8. 测试条件：全网下行模拟50%加扰9. 测试方法和步骤1) 步骤1：采用测试业务1,遍历事先选择的道路行驶路线。遍历过程中，如果有脱网、掉线，则停车重新恢复业务。2) 步骤2：采用测试业务2，重复步骤13) 步骤3：采用测试业务3，重复步骤14) 步骤4：采用测试业务4，重复步骤1序号测试业务测试内容概要1

5、NB-IoT空闲态测试（1）测试终端：处于Idle态，不做任何业务（2）扫频仪：对服务小区和邻区进行扫频 若测试终端和扫频仪的测试结果相当（覆盖、干扰、重叠覆盖度等），则使用测试终端测试即可。2Ping小包业务ping包大小：20byte每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s3Ping大包业务ping包大小：200byte每次从空闲态发起ping包业务，ping响应超时时延设置为30s，ping周期设置60s4终端开关机测试终端开机、关机操作：（1） 开机：终端开机，发起Attach Request到Attach Complete（2） 关机：

6、终端从空闲态发出Detach Request开机到关机的时间间隔60s；关机到开机的时间间隔60s。3.2 定点测试规范NB-IoT定点测试主要采用ATU设备进行网络性能测试，主要测试方法及要求如下： 1. 测试楼宇 根据城市的规模，测试楼宇的数量可不同。楼宇数量至少需满足：（1）一线城市及省会城市：40个楼宇（2）二线城市： 30个楼宇（3）其他城市：20个楼宇所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。2. 测试选点从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包含

7、的所有业务类型。场景包括但不仅限于：a) 物联网典型应用场景：弱电井、车库、地下室、水电气表间、管道井等b) 公众用户所及区域：走廊、过道、办公区、会议室、楼梯、电梯厅等· 室内选点要求： n 低层楼宇：五层以下楼宇选取低层，共一层，每层选择2个测试点n 中层楼宇：二十层以下楼宇选取低层、高层各一层，每层选择2个测试点 n 高层楼宇：二十层以上楼宇选取低层、中间层、高层各一层，每层选择2个测试点n 若楼宇有地下室场景，则地下室也作为测试楼层，选择2个测试点。· 室外选点：n 在每个楼宇外围选择2个室外测试点，测试点尽量为物联网典型应用场景，如室外停车位3. GPS定位：测试

8、人员进入楼宇前需首先进入GPS定位、上报测试点。 4. 测试仪表及数据处理：必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统计。 5. 测试步骤a) 步骤1：在选定的测试定点上，ATU设备进行测试业务1 b) 步骤2：更换为测试业务2，重复步骤1c) 步骤3：更换为测试业务3，重复步骤1d) 步骤4：更换为测试业务4，重复步骤1序号测试业务测试内容概要1UDP大数据量上传业务文件大小：1MByte；定点测试，连续发包，定点持续发送3分钟以上的业务；每个点测试1次2UDP大数据量下载业务文件大小：1M Byte；定点测试，连续发包，定点持续发送3分钟以上的业务

9、；每个点测试1次3Ping小包业务 ping包大小：20byte定点测试，每次从空闲态发起ping包业务，每个点ping包10次4Ping大包业务ping包大小：200byte定点测试，每次从空闲态发起ping包业务，每个点ping包10次4 NB-IoT指标分析规范4.1 NB-IoT网络性能评估指标1. 覆盖类指标该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。序号 指标 定义 说明 单位 统计log来源1 覆盖率 覆盖率=条件采样点/总采样点*100；NB-IoT条件采样点： RSRP >= -94dB

10、m（密集城区）、 RSRP >= -97dBm（一般城区）； 综合接收场强和信干比，描述全网的覆盖情况 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果2 平均RSRP 参考信号平均接收电平 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 dBm 3.1的步骤1，包括扫频仪和ATU设备的测试结果3 边缘RSRP 取RSRP中CDF等于5%的值 如果边缘RSRP太低，不能达到网络最低覆盖要求。如果边缘RSRP过高，小区间干扰也会严重。故NB-IoT更加重视利用边缘覆盖电平，来评估小区边缘的覆盖dBm 3.1的步骤1，包括扫频仪和ATU设备的测试结果4 RSRP连续弱覆盖

11、比例 NB-IoT连续弱覆盖里程/NB-IoT测试里程*100% 评估路测中参考信号RSRP接收功率情况，反映服务小区覆盖的主要指标。 其中：弱覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 89 dBm（密集城区）、-92dBm（一般城区）。 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果5 RSRP连续无覆盖比例 NB-IoT连续无覆盖里程/NB-IoT测试里程*100% 评估路测中参考信号RSRP接收功率情况，反映服务小区无覆盖的情况。连续无覆盖里程的定义为持续10秒70%的采样点路段满足RSRP< - 99 dBm（密集城区）、-102dBm（一般城区

12、） % 3.1的步骤1，包括扫频仪和ATU设备的测试结果注1：覆盖率RSRP门限为，NB-IoT的验收指标（规划指标-OTA损耗-车体损耗）。2. 干扰类指标该部分指标来源于3.1“室外道路测试规范”步骤1的测试结果，扫频仪和ATU空闲态终端分别给出。全部网格及各网格分别给出统计结果。序号 指标 定义 说明 单位 统计log来源1平均RS-SINR 参考信号平均接收信号与干扰噪声比 从参考信号平均接收信号与干扰噪声比角度，评估全网的平均干扰强度 dB 3.1的步骤1，包括扫频仪和ATU设备的测试结果2 边缘RS-SINR 参考信号平均接收信号与干扰噪声比取CDF （累计概率分布）5%对应的值

13、从参考信号平均接收信号与干扰噪声比角度，评估全网各小区边缘的干扰强度 dB 3.1的步骤1，包括扫频仪和ATU设备的测试结果3 连续SINR质差里程占比 连续SINR质差里程/NB-IoT测试里程*100% 评估RS-SINR质差里程；其中：SINR质差里程定义为持续10秒且70%的采样点CRS-SINR< 0dB的连续路段。 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果4重叠覆盖率 道路重叠覆盖率 = 重叠覆盖度>=4的采样点 / 总采样点 * 100%；重叠覆盖度指与最强信号电平差距在6dB范围内的电平数量，且最强信号RSRP -89（密集城区）或92dBm（一般城区）

14、； 重叠覆盖度>=4，即认为存在较严重的重叠覆盖情况；从参考信号平均接收信号电平角度，评估服务小区覆盖范围内强信号邻区叠加的程度 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果5 重叠覆盖里程占比 道路重叠覆里程占比 = 连续重叠覆盖度>=4的里程 / 总测试里程 * 100% 评估全网内重叠覆盖里程占比，一定程度上反映网络建设合理性 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果6 Mod3冲突比例 Mod3冲突比例=Mod3冲突小区数量/测量到的邻区数量总数*100% PCI = 3* Group ID ( S-SS)+ Sector ID (P-SS)，如果PCI

15、 mod 3值相同的话，就会造成P-SS的干扰；实际网络必然中存在两邻区PCI模3无法错开的情况。模3会造成CRS信号相互干扰，使SINR降低；重叠覆盖和模3干扰同时存在，以重叠覆盖影响为主 % 3.1的步骤1，包括扫频仪和ATU设备的测试结果3. 调度类指标指标来源：根据一个城市所有的定点测试结果统计（含室外和室内）下述指标，统计时需对不同的ping包大小进行区分统计。序号 指标 定义 说明 单位 统计log的来源1 上行物理层速率（含掉线）物理层总上传量（含掉线）/上传总时长（含掉线），每个点分别计算再求平均。评估NB-IoT网络上行传输性能的重要指标Kbps3.2的步骤12 上行物理层速

16、率（不含掉线）物理层总上传量（不含掉线）/上传总时长（不含掉线），每个点分别计算再求平均。评估NB-IoT网络上行传输性能的重要指标Kbps3.2的步骤13 下行物理层速率（含掉线）物理层总下载量（含掉线）/下载总时长（含掉线），每个点分别计算再求平均。评估NB-IoT网络下行传输性能的重要指标Kbps3.2的步骤24下行物理层速率（不含掉线）物理层总下载量（不含掉线）/下载总时长（不含掉线），每个点分别计算再求平均。评估NB-IoT网络下行传输性能的重要指标Kbps3.2的步骤25 MAC层上行平均BLERMAC层上行BLER=上行总错误TB数/上行传输总TB数*100% ，每个点分别计算再

17、求平均。评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量 %3.2的步骤16 MAC层下行平均BLERMAC层下行BLER=下行总错误TB数/下行传输总TB数*100% ，每个点分别计算再求平均。评估数据传输的误码程度，反映系统保证传输数据的准确性和稳定性，间接反映空口的质量 % 3.2的步骤2 7下行NPDSCH平均重复次数每次调度下行NPDSCH重复次数总和/调度次数，每个点分别计算再求平均。评估下行业务信道的重复次数，反映空口的质量次3.2的步骤28上行NPUSCH Format 1平均重复次数每次调度上行NPUSCH重复次数总和/调度次数，每个点分别计算

18、再求平均。评估上行业务信道的重复次数，反映空口的质量次3.2的步骤19上行MCS统计上行MCS平均值=上行码字MCS值总和/上行码字MCS上报次数，最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ，每个点分别计算再求平均。评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小3.2的步骤110下行MCS统计下行MCS平均值=下行码字MCS值总和/下行码字MCS上报次数，最高频率MCS占比=max(每种MCS上报个数/MCS上报个数总和) ，每个点分别计算再求平均。评估采用的平均调制编码方式统计，可以间接反映了当前数据传输速率的大小3.2的步骤2 11上行NP

19、USCH Format 1平均调度的子载波个数每次调度上行NPUSCH子载波数总和/调度次数，每个点分别计算再求平均。评估上行信道的调度情况个3.2的步骤112上行NPUSCH Format 1 3.75KHz的比例上行3.75KHz子载波的调度次数/总调度次数，每个点分别计算再求平均。评估上行信道的调度情况个3.2的步骤113上行NPUSCH Format 1 3.75KHz ST的比例上行3.75KHz ST子载波的调度次数/总调度次数，每个点分别计算再求平均。评估上行信道的调度情况个3.2的步骤114上行NPUSCH Format 1 15KHz ST的比例上行15KHz ST子载波的调

20、度次数/总调度次数，每个点分别计算再求平均。评估上行信道的调度情况个3.2的步骤115上行NPUSCH Format 1 15KHz MT的比例上行15KHz MT子载波的调度次数/总调度次数，每个点分别计算再求平均。评估上行信道的调度情况个3.2的步骤118定点测试的Ping包成功率Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。评估室内外定点测试情况下的业务性能%3.2的步骤3和步骤4，两种ping包大小区分统计19定点测试的Ping包时延Ping包总时延/ping包总次数，每个点分别计算再求平均。评估室内外定点测试情况下的业务性能秒3.2的步骤3和步骤4，两种ping包

21、大小区分统计20遍历测试的ping包成功率Ping包成功的总次数/ping包总次数，每个点分别计算再求平均。评估室外遍历测试情况下的业务性能%3.1的步骤2和步骤3，两种ping包大小区分统计21遍历测试的ping包时延Ping包总时延/ping包总次数，每个点分别计算再求平均。评估室外遍历测试情况下的业务性能秒3.1的步骤2和步骤,3，两种ping包大小区分统计22定点测试的上行掉线率上行掉线总次数/发起上行UDP业务的总次数。所有样本一起计算。评估NB-IoT网络的稳定程度%3.2的步骤123定点测试的下行掉线率下行掉线总次数/发起下行UDP业务的总次数。所有样本一起计算。评估NB-IoT

22、网络的稳定程度%3.2的步骤24. 移动类指标序号 指标 定义 说明 单位 统计log的来源1 NB-IoT网内异频重选成功率 NB-IoT网内异频重选成功次数/NB-IoT网内重选尝试次数*100% 评估NB-IoT网内异频重选的连续性、稳定性 % 3.1的步骤1，只涉及ATU设备2 NB-IoT网内异频重选时延 NB-IoT网内异频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数 评估NB-IoT网内异频重选的连续性、稳定性 秒 3.1的步骤1，只涉及ATU设备3 NB-IoT网内同频重选成功率 NB-IoT网内同频重选成功次数/NB-IoT网内重选尝试次数*100%

23、评估NB-IoT网内同频重选的连续性、稳定性 % 3.1的步骤1，只涉及ATU设备4NB-IoT网内同频重选时延 NB-IoT网内同频重选平均时延=NB-IoT网内重选时延总和/NB-IoT网内重选次数 评估NB-IoT网内同频重选的连续性、稳定性 秒 3.1的步骤1，只涉及ATU设备5 TA区更新成功率 TA区更新成功次数/TA区更新尝试次数*100% 评估：NB-IoT跨TA List重选情况下业务和状态的连续性、移动性 % 3.1的步骤1，只涉及ATU设备6 TA更新平均时延 TA更新平均时延=TA更新时延总和/TA更新次数 评估NB-IoT网络位置区更新时延 秒 3.1的步骤1，只涉及

24、ATU设备7NB-IoT连接态脱网重搜平均时延NB-IoT连接态脱网重搜平均时延=脱网重搜时延总和/脱网重搜次数评估NB-IoT脱网重搜时延秒3.1的步骤1，只涉及ATU设备说明1：重选时延定义，重选开始->SIB1（不跨TA List）或TAU Complete（跨TA List）说明2：TA更新时延定义，TAU Request->TAU Complete说明3：道路测试中如有脱网则统计7，没有就不需要统计5. 接入类指标序号 指标 定义 说明 单位 统计log的来源1 RRC连接建立成功率RRC连接建立成功率=RRC连接建立成功次数/RRC连接建立尝试次数*100% 评估系统接

25、入性能的重要指标；其中：以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功 % 3.1的步骤2,3,42 RRC连接建立平均时延RRC连接建立平均时延=RRC连接建立时延总和/RRC连接建立成功次数 评估NB-IoT系统接入性能的重要指标；其中：以终端发起RRCConnectionRequest作为一次 RRC连接建立尝试，到终端发送RRCConnectionSetupComplete作为一次 RRC连接建立成功秒 3.1的步骤2,3,43 ATTACH成功率 ATTACH成功率=ATTACH 成功次数/ATTACH尝试次数*100% 评估NB-IoT系统接入性能的重要指标；其中：以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试，到终端发送ATTACH COMPLETE作为一次 ATTACH 成功 % 3.1的步骤44ATTACH平均时延 ATTACH平均时延=ATTACH时延总和/ATTACH成功次数 评估NB-IoT系统接入性能的重要指标；其中：以终端发起ATTACH REQUEST 作为一次 ATTACH 尝试，到终端发送ATTACH COMPLETE作为一次 ATTACH 成功 秒 3.1的