NB-IoT网络质量测试评估规范

. . NB-IoT网络质量测试评估规范网络质量测试评估规范 中国移动通信有限公司中国移动通信有限公司 2017年年8月月 . . 目录 1目标目标 .3 2总体原则总体原则.3 3NB-IOT 网络性能测试规范网络性能测试规范.4 3.1室外道路测试规范 .4 3.2定点测试规范 .5 4NB-IOT 指标分析规范指标分析规范.7 4.1NB-IOT 网络性能评估指标.7 4.2NB-IOT 遍历小区及基站的统计.14 . . 1目标目标 本测试评估规范用于网络建设初期，评估和分析各省、市的NB-IoT网络性能和网络质 量。 2总体原则总体原则 1.评估应包括室外、室内多个场景，场景选择应和客户实际业务发生一致。 2.评估应充分考虑数据质量和采集效率，使用自动化手段进行，评估期间最大限度降低 人为干预。 3.测试评估体系根据目标，主要从“网络性能评估”维度考虑。 其核心内容、指导方向、 测试手段和主要指标如下： 核心内容 由于NB-IoT网络不支持切换，主要通过室外道路遍历测试和定点测试两种方式对网络 性能进行评估。网络性能指标排除了数据源、网间互联等因素，反映的是网络的极限能力， 不代表客户的真实感知。 指导方向 a)反映网络覆盖、干扰、资源等方面的问题，指导网络规划建设； b)指导网络层面的性能和质量优化。 测试手段 自动测试平台、自动测试前端ATU、扫频仪。 主要指标 a)覆盖、干扰、重叠覆盖度等网络指标； b)速率、时延、成功率等主要业务指标； c)基站、小区遍历性指标。 . . 3NB-IoT 网络性能测试规范网络性能测试规范 3.1室外道路测试规范室外道路测试规范 NB-IoT室外道路测试主要采用NB-IoT扫频仪和ATU设备进行网络性能测试，主要测试 方法及要求如下： 1.测试区域 按照网格划分（建设区域）区域进行测试； 2.测试道路 城区范围：包含背街小巷在内的所有1-4级道路；交通干线：铁路（重点是高速铁路和 动车组）、高速公路、国道省道等；县城城区：县城城区范围内的主要道路；农村及旅游 景点：乡镇、行政村、旅游景点及连接道路。 3.测试路线 按照指定路线进行道路遍历性测试，合理规划路线尽量减少重复道路测试； 4.测试轨迹记录 测试仪表需配备相应 GPS 设备进行测试轨迹记录。 5.测试仪表及数据处理 必须使用集团集采的测试仪器仪表，数据处理采用集团自动路测平台进行统一汇总统 计； 6.测试速度 城区保持正常行驶速度，不设置最高限速，平均车速需达到20Km/h；高速测试按照高 速公路实际限速正常行驶； 7.渗透率、重复率 不考虑实际交通情况，渗透率需达到 85%以上、重复率不得高于 30%。 8.测试条件： 全网下行模拟50%加扰 9.测试方法和步骤 1)步骤1：采用测试业务1,遍历事先选择的道路行驶路线。遍历过程中，如果有脱网、 掉线，则停车重新恢复业务。 2)步骤2：采用测试业务2，重复步骤1 . . 3)步骤3：采用测试业务3，重复步骤1 4)步骤4：采用测试业务4，重复步骤1 序号测试业务测试内容概要 1NB-IoT空闲态测试（1）测试终端：处于Idle态，不做任何业务 （2）扫频仪：对服务小区和邻区进行扫频 若测试终端和扫频仪的测试结果相当（覆盖、干扰、重 叠覆盖度等），则使用测试终端测试即可。 2Ping小包业务ping包大小：20byte 每次从空闲态发起ping包业务，ping响应超时时延设置为 30s，ping周期设置60s 3Ping大包业务ping包大小：200byte 每次从空闲态发起ping包业务，ping响应超时时延设置为 30s，ping周期设置60s 4终端开关机测试终端开机、关机操作： （1）开机：终端开机，发起Attach Request到Attach Complete （2）关机：终端从空闲态发出Detach Request 开机到关机的时间间隔60s； 关机到开机的时间间隔60s。 3.2定点测试规范定点测试规范 NB-IoT定点测试主要采用ATU设备进行网络性能测试，主要测试方法及要求如下： 1.测试楼宇 根据城市的规模，测试楼宇的数量可不同。楼宇数量至少需满足： （1）一线城市及省会城市：40个楼宇 （2）二线城市： 30个楼宇 （3）其他城市：20个楼宇 所选取的测试楼宇均匀分布于城市的不同网格中，测试楼宇类型包括但不仅限于党政 . . 军机关、写字楼、居民楼、宾馆酒店、餐饮娱乐、交通枢纽、学校、大型商超。 2.测试选点 从物联网典型应用场景选择测试点，且一个城市所选取的定点场景需遍历到此城市包 含的所有业务类型。场景包括但不仅限于： a)物联网典型应用场景：弱电井、车库、地下室、水电气表间、管道井等 b)公众用户所及区域：走廊、过道、办公区、会议室、楼梯、电梯厅等 室内选点要求： 低层楼宇：五层以下楼宇选取低层，共一层，每层选择2个测试点 中层楼宇：二十层以下楼宇选取低层、高层各一层，每层选择2个测试点 高层楼宇：二十层以上楼宇选取低层、中间层、高层各一层，每层选择2个测 试点 若楼宇有地下室场景，则地下室也作为测试楼层，选择2个测试点。 室外选点： 在每个楼宇外围选择2个室外测试点，测试点尽量为物联网典型应用场景，如 室外停车位 3.GPS定位：测试人员进入楼宇前需首先进入GPS定位、上报测试点。 4.测试仪表及数据处理：必须使用集团集采或业内成熟的测试仪器仪表，数据处理采用 集团自动路测平台进行统一汇总统计。 5.测试步骤 a)步骤1：在选定的测试定点上，ATU设备进行测试业务1 b)步骤2：更换为测试业务2，重复步骤1 c)步骤3：更换为测试业务3，重复步骤1 d)步骤4：更换为测试业务4，重复步骤1 序号测试业务测试内容概要 1UDP大数据量上传业务文件大小：1MByte； 定点测试，连续发包，定点持续发送3分钟以上的 . . 业务；每个点测试1次 2UDP大数据量下载业务文件大小：1M Byte； 定点测试，连续发包，定点持续发送3分钟以上的 业务；每个点测试1次 3Ping小包业务 ping包大小：20byte 定点测试，每次从空闲态发起ping包业务，每个点 ping包10次 4Ping大包业务ping包大小：200byte 定点测试，每次从空闲态发起ping包业务，每个点 ping包10次 4NB-IoT 指标分析规范指标分析规范 4.1NB-IoT 网络性能评估指标网络性能评估指标 1.覆盖类指标覆盖类指标 该部分指标来源于 3.1“室外道路测试规范”步骤 1 的测试结果，扫频仪和 ATU 空闲态终 端分别给出。全部网格及各网格分别给出统计结果。 序号 指标 定义 说明 单位 统计log来源 1 覆盖率 覆盖率=条件采样点/总采 样点*100；NB-IoT条件采 样点： RSRP = - 94dBm（密集城区） 、 RSRP = -97dBm（一般 城区） ； 综合接收场强和信干比，描述 全网的覆盖情况 % 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 2 平均RSRP 参考信号平均接收电平 从参考信号平均接收信号与干 扰噪声比角度，评估全网的平 均干扰强度 dBm 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 3 边缘RSRP 取RSRP中CDF等于5%的 值 如果边缘RSRP太低，不能达到 网络最低覆盖要求。如果边缘 RSRP过高，小区间干扰也会严 重。故NB-IoT更加重视利用边 缘覆盖电平，来评估小区边缘 dBm 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 . . 的覆盖 4 RSRP连续 弱覆盖比 例 NB-IoT连续弱覆盖里程 /NB-IoT测试里程*100% 评估路测中参考信号RSRP接收 功率情况，反映服务小区覆盖 的主要指标。 其中：弱覆盖里 程的定义为持续10秒70%的采 样点路段满足RSRP - 89 dBm（密集城区）、- 92dBm（一般城区）。 % 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 5 RSRP连续 无覆盖比 例 NB-IoT连续无覆盖里程 /NB-IoT测试里程*100% 评估路测中参考信号RSRP接收 功率情况，反映服务小区无覆 盖的情况。连续无覆盖里程的 定义为持续10秒70%的采样点 路段满足RSRP=4，即认为存在较 严重的重叠覆盖情况；从参考信 号平均接收信号电平角度，评估 服务小区覆盖范围内强信号邻区 叠加的程度 % 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 . . 89（密集城区）或 92dBm（一般城区） ； 5 重叠覆盖里程 占比 道路重叠覆里程占 比 = 连续重叠覆盖 度=4的里程 / 总 测试里程 * 100% 评估全网内重叠覆盖里程占比， 一定程度上反映网络建设合理性 % 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 6 Mod3冲突比 例 Mod3冲突比例 =Mod3冲突小区数 量/测量到的邻区数 量总数*100% PCI = 3* Group ID ( S-SS)+ Sector ID (P-SS)，如果PCI mod 3值相同 的话，就会造成P-SS的干扰；实 际网络必然中存在两邻区PCI模3 无法错开的情况。模3会造成 CRS信号相互干扰，使SINR降低； 重叠覆盖和模3干扰同时存在， 以重叠覆盖影响为主 % 3.1的步骤1，包 括扫频仪和ATU 设备的测试结果 3.调度类指标调度类指标 指标来源：根据一个城市所有的定点测试结果统计（含室外和室内）下述指标，统计 时需对不同的 ping 包大小进行区分统计。 序号 指标 定义 说明 单位 统计log的来源 1 上行物理层速率 （含掉线） 物理层总上传量 （含掉线）/上传总 时长（含掉线）， 每个点分别计算再 求平均。 评估NB-IoT网络上行传输 性能的重要指标 Kbps3.2的步骤1 2 上行物理层速率 （不含掉线） 物理层总上传量 （不含掉线）/上传 总时长（不含掉线） ，每个点分别计算 再求平均。 评估NB-IoT网络上行传输 性能的重要指标 Kbps3.2的步骤1 3 下行物理层速率 （含掉线） 物理层总下载量 （含掉线）/下载总 时长（含掉线）， 每个点分别计算再 求平均。 评估NB-IoT网络下行传输 性能的重要指标 Kbps3.2的步骤2 4下行物理层速率 （不含掉线） 物理层总下载量 （不含掉线）/下载 总时长（不含掉线） ，每个点分别计算 再求平均。 评估NB-IoT网络下行传输 性能的重要指标 Kbps3.2的步骤2 . . 5 MAC层上行平均 BLER MAC层上行 BLER=上行总错误 TB数/上行传输总 TB数*100% ，每个 点分别计算再求平 均。 评估数据传输的误码程度， 反映系统保证传输数据的准 确性和稳定性，间接反映空 口的质量 %3.2的步骤1 6 MAC层下行平 均BLER MAC层下行BLER= 下行总错误TB数/下 行传输总TB数 *100% ，每个点分 别计算再求平均。 评估数据传输的误码程度， 反映系统保证传输数据的准 确性和稳定性，间接反映空 口的质量 % 3.2的步骤2 7下行NPDSCH平 均重复次数 每次调度下行 NPDSCH重复次数 总和/调度次数，每 个点分别计算再求 平均。 评估下行业务信道的重复次 数，反映空口的质量 次3.2的步骤2 8上行NPUSCH Format 1平均重 复次数 每次调度上行 NPUSCH重复次数 总和/调度次数，每 个点分别计算再求 平均。 评估上行业务信道的重复次 数，反映空口的质量 次3.2的步骤1 9上行MCS统计上行MCS平均值=上 行码字MCS值总和/ 上行码字MCS上报 次数，最高频率 MCS占比=max(每种 MCS上报个数/MCS 上报个数总和) ， 每个点分别计算再 求平均。 评估采用的平均调制编码方 式统计，可以间接反映了当 前数据传输速率的大小 3.2的步骤1 10下行MCS统计下行MCS平均值=下 行码字MCS值总和/ 下行码字MCS上报 次数，最高频率 MCS占比=max(每种 MCS上报个数/MCS 上报个数总和) ， 每个点分别计算再 求平均。 评估采用的平均调制编码方 式统计，可以间接反映了当 前数据传输速率的大小 3.2的步骤2 11上行NPUSCH Format 1平均调 度的子载波个数 每次调度上行 NPUSCH子载波数 总和/调度次数，每 个点分别计算再求 平均。 评估上行信道的调度情况个3.2的步骤1 . . 12上行NPUSCH Format 1 3.75KHz的比例 上行3.75KHz子载波 的调度次数/总调度 次数，每个点分别 计算再求平均。 评估上行信道的调度情况个3.2的步骤1 13上行NPUSCH Format 1 3.75KHz ST的比 例 上行3.75KHz ST子载 波的调度次数/总调 度次数，每个点分 别计算再求平均。 评估上行信道的调度情况个3.2的步骤1 14上行NPUSCH Format 1 15KHz ST的比例 上行15KHz ST子载 波的调度次数/总调 度次数，每个点分 别计算再求平均。 评估上行信道的调度情况个3.2的步骤1 15上行NPUSCH Format 1 15KHz MT的比例 上行15KHz MT子载 波的调度次数/总调 度次数，每个点分 别计算再求平均。 评估上行信道的调度情况个3.2的步骤1 18定点测试的Ping 包成功率 Ping包成功的总次 数/ping包总次数， 每个点分别计算再 求平均。 评估室内外定点测试情况下 的业务性能 %3.2的步骤3和步 骤4，两种ping 包大小区分统计 19定点测试的Ping 包时延 Ping包总时延/ping 包总次数，每个点 分别计算再求平均。 评估室内外定点测试情况下 的业务性能 秒3.2的步骤3和步 骤4，两种ping 包大小区分统计 20遍历测试的ping 包成功率 Ping包成功的总次 数/ping包总次数， 每个点分别计算再 求平均。 评估室外遍历测试情况下的 业务性能 %3.1的步骤2和步 骤3，两种ping 包大小区分统计 21遍历测试的ping 包时延 Ping包总时延/ping 包总次数，每个点 分别计算再求平均。 评估室外遍历测试情况下的 业务性能 秒3.1的步骤2和步 骤,3，两种ping 包大小区分统计 22定点测试的上行 掉线率 上行掉线总次数/发 起上行UDP业务的 总次数。所有样本 一起计算。 评估NB-IoT网络的稳定程度%3.2的步骤1 23定点测试的下行 掉线率 下行掉线总次数/发 起下行UDP业务的 总次数。所有样本 一起计算。 评估NB-IoT网络的稳定程度%3.2的步骤2 4.移动类指标移动类指标 序号 指标 定义 说明 单位 统计log的来源 . . 1 NB-IoT网 内异频重 选成功率 NB-IoT网内异频重 选成功次数/NB-IoT 网内重选尝试次数 *100% 评估NB-IoT网内异频重选 的连续性、稳定性 % 3.1的步骤1，只 涉及ATU设备 2 NB-IoT网 内异频重 选时延 NB-IoT网内异频重 选平均时延=NB- IoT网内重选时延总 和/NB-IoT网内重选 次数 评估NB-IoT网内异频重选 的连续性、稳定性 秒 3.1的步骤1，只 涉及ATU设备 3 NB-IoT网 内同频重 选成功率 NB-IoT网内同频重 选成功次数/NB-IoT 网内重选尝试次数 *100% 评估NB-IoT网内同频重选 的连续性、稳定性 % 3.1的步骤1，只 涉及ATU设备 4NB-IoT网 内同频重 选时延 NB-IoT网内同频重 选平均时延=NB- IoT网内重选时延总 和/NB-IoT网内重选 次数 评估NB-IoT网内同频重选 的连续性、稳定性 秒 3.1的步骤1，只 涉及ATU设备 5 TA区更新 成功率 TA区更新成功次数 /TA区更新尝试次数 *100% 评估：NB-IoT跨TA List重 选情况下业务和状态的连续 性、移动性 % 3.1的步骤1，只 涉及ATU设备 6 TA更新平 均时延 TA更新平均时延 =TA更新时延总和 /TA更新次数 评估NB-IoT网络位置区更 新时延 秒 3.1的步骤1，只 涉及ATU设备 7NB-IoT连接 态脱网重 搜平均时 延 NB-IoT连接态脱网 重搜平均时延=脱网 重搜时延总和/脱网 重搜次数 评估NB-IoT脱网重搜时延秒3.1的步骤1，只 涉及ATU设备 说明 1：重选时延定义，重选开始-SIB1（不跨 TA List）或 TAU Complete（跨 TA List） 说明 2：TA 更新时延定义，TAU Request-TAU Complete 说明 3：道路测试中如有脱网则统计 7，没有就不需要统计 5.接入类指标接入类指标 序号 指标 定义 说明 单位 统计log的来源 1 RRC连接 建立成功 率 RRC连接建立成功率 =RRC连接建立成功次 数/RRC连接建立尝试 次数*100% 评估系统接入性能的重要指 标；其中：以终端发起 RRCConnectionRequest作为一 次 RRC连接建立尝试，到终 端发送 RRCConnectionSetupComplete 作为一次 RRC连接建立成功 % 3.1的步骤2,3,4 . . 2 RRC连接 建立平均 时延 RRC连接建立平均时 延=RRC连接建立时延 总和/RRC连接建立成 功次数 评估NB-IoT系统接入性能的 重要指标；其中：以终端发 起RRCConnectionRequest作为 一次 RRC连接建立尝试，到 终端发送 RRCConnectionSetupComplete 作为一次 RRC连接建立成功 秒 3.1的步骤2,3,4 3 ATTACH 成功率 ATTACH成功率 =ATTACH 成功次数 /ATTACH尝试次数 *100% 评估NB-IoT系统接入性能的 重要指标；其中：以终端发 起ATTACH REQUEST 作为 一次 ATTACH 尝试，到终 端发送ATTACH COMPLETE 作为一次 ATTACH 成功 % 3.1的步骤4 4ATTACH 平均时延 ATTACH平均时延 =ATTACH时延总和 /ATTACH成功次数 评估NB-IoT系统接入性能的 重要指标；其中：以终端发 起ATTACH REQUEST 作为 一次 ATTACH 尝试，到终 端发送ATTACH COMPLETE 作为一次 ATTACH 成功 秒 3.1的步骤4 5 DETACH 成功率 DETACH成功率 =DETACH 成功次数 /DETACH尝试次数 *100% 评估NB-I