NB-IoT网络质量测试评估规范

第 1 页 NB IoT网络质量测试评估规范网络质量测试评估规范 中国移动通信有限公司中国移动通信有限公司 2017年年8月月 第 2 页 目录 1目标目标 3 2总体原则总体原则 3 3NB IOT 网络性能测试规范网络性能测试规范 4 3 1室外道路测试规范 4 3 2定点测试规范 5 4NB IOT 指标分析规范指标分析规范 7 4 1NB IOT 网络性能评估指标 7 4 2NB IOT 遍历小区及基站的统计 14 第 3 页 1目标目标 本测试评估规范用于网络建设初期 评估和分析各省 市的NB IoT网络性能和网络质 量 2总体原则总体原则 1 评估应包括室外 室内多个场景 场景选择应和客户实际业务发生一致 2 评估应充分考虑数据质量和采集效率 使用自动化手段进行 评估期间最大限度降低 人为干预 3 测试评估体系根据目标 主要从 网络性能评估 维度考虑 其核心内容 指导方向 测试手段和主要指标如下 核心内容 由于NB IoT网络不支持切换 主要通过室外道路遍历测试和定点测试两种方式对网络 性能进行评估 网络性能指标排除了数据源 网间互联等因素 反映的是网络的极限能力 不代表客户的真实感知 指导方向 a 反映网络覆盖 干扰 资源等方面的问题 指导网络规划建设 b 指导网络层面的性能和质量优化 测试手段 自动测试平台 自动测试前端ATU 扫频仪 主要指标 a 覆盖 干扰 重叠覆盖度等网络指标 b 速率 时延 成功率等主要业务指标 c 基站 小区遍历性指标 第 4 页 3NB IoT 网络性能测试规范网络性能测试规范 3 1室外道路测试规范室外道路测试规范 NB IoT室外道路测试主要采用NB IoT扫频仪和ATU设备进行网络性能测试 主要测试 方法及要求如下 1 测试区域 按照网格划分 建设区域 区域进行测试 2 测试道路 城区范围 包含背街小巷在内的所有1 4级道路 交通干线 铁路 重点是高速铁路和 动车组 高速公路 国道省道等 县城城区 县城城区范围内的主要道路 农村及旅游 景点 乡镇 行政村 旅游景点及连接道路 3 测试路线 按照指定路线进行道路遍历性测试 合理规划路线尽量减少重复道路测试 4 测试轨迹记录 测试仪表需配备相应 GPS 设备进行测试轨迹记录 5 测试仪表及数据处理 必须使用集团集采的测试仪器仪表 数据处理采用集团自动路测平台进行统一汇总统 计 6 测试速度 城区保持正常行驶速度 不设置最高限速 平均车速需达到20Km h 高速测试按照高 速公路实际限速正常行驶 7 渗透率 重复率 不考虑实际交通情况 渗透率需达到 85 以上 重复率不得高于 30 8 测试条件 全网下行模拟50 加扰 9 测试方法和步骤 1 步骤1 采用测试业务1 遍历事先选择的道路行驶路线 遍历过程中 如果有脱网 掉线 则停车重新恢复业务 2 步骤2 采用测试业务2 重复步骤1 第 5 页 3 步骤3 采用测试业务3 重复步骤1 4 步骤4 采用测试业务4 重复步骤1 序号测试业务测试内容概要 1NB IoT空闲态测试 1 测试终端 处于Idle态 不做任何业务 2 扫频仪 对服务小区和邻区进行扫频 若测试终端和扫频仪的测试结果相当 覆盖 干扰 重 叠覆盖度等 则使用测试终端测试即可 2Ping小包业务ping包大小 20byte 每次从空闲态发起ping包业务 ping响应超时时延设置为 30s ping周期设置60s 3Ping大包业务ping包大小 200byte 每次从空闲态发起ping包业务 ping响应超时时延设置为 30s ping周期设置60s 4终端开关机测试终端开机 关机操作 1 开机 终端开机 发起Attach Request到Attach Complete 2 关机 终端从空闲态发出Detach Request 开机到关机的时间间隔60s 关机到开机的时间间隔60s 3 2定点测试规范定点测试规范 NB IoT定点测试主要采用ATU设备进行网络性能测试 主要测试方法及要求如下 1 测试楼宇 根据城市的规模 测试楼宇的数量可不同 楼宇数量至少需满足 1 一线城市及省会城市 40个楼宇 2 二线城市 30个楼宇 3 其他城市 20个楼宇 所选取的测试楼宇均匀分布于城市的不同网格中 测试楼宇类型包括但不仅限于党政 第 6 页 军机关 写字楼 居民楼 宾馆酒店 餐饮娱乐 交通枢纽 学校 大型商超 2 测试选点 从物联网典型应用场景选择测试点 且一个城市所选取的定点场景需遍历到此城市包 含的所有业务类型 场景包括但不仅限于 a 物联网典型应用场景 弱电井 车库 地下室 水电气表间 管道井等 b 公众用户所及区域 走廊 过道 办公区 会议室 楼梯 电梯厅等 室内选点要求 低层楼宇 五层以下楼宇选取低层 共一层 每层选择2个测试点 中层楼宇 二十层以下楼宇选取低层 高层各一层 每层选择2个测试点 高层楼宇 二十层以上楼宇选取低层 中间层 高层各一层 每层选择2个 测试点 若楼宇有地下室场景 则地下室也作为测试楼层 选择2个测试点 室外选点 在每个楼宇外围选择2个室外测试点 测试点尽量为物联网典型应用场景 如室外停车位 3 GPS定位 测试人员进入楼宇前需首先进入GPS定位 上报测试点 4 测试仪表及数据处理 必须使用集团集采或业内成熟的测试仪器仪表 数据处理采用 集团自动路测平台进行统一汇总统计 5 测试步骤 a 步骤1 在选定的测试定点上 ATU设备进行测试业务1 b 步骤2 更换为测试业务2 重复步骤1 c 步骤3 更换为测试业务3 重复步骤1 d 步骤4 更换为测试业务4 重复步骤1 序号测试业务测试内容概要 1UDP大数据量上传业务文件大小 1MByte 定点测试 连续发包 定点持续发送3分钟以上的 第 7 页 业务 每个点测试1次 2UDP大数据量下载业务文件大小 1M Byte 定点测试 连续发包 定点持续发送3分钟以上的 业务 每个点测试1次 3Ping小包业务 ping包大小 20byte 定点测试 每次从空闲态发起ping包业务 每个点 ping包10次 4Ping大包业务ping包大小 200byte 定点测试 每次从空闲态发起ping包业务 每个点 ping包10次 4NB IoT 指标分析规范指标分析规范 4 1NB IoT 网络性能评估指标网络性能评估指标 1 覆盖类指标覆盖类指标 该部分指标来源于 3 1 室外道路测试规范 步骤 1 的测试结果 扫频仪和 ATU 空闲态终 端分别给出 全部网格及各网格分别给出统计结果 序号 指标 定义 说明 单位 统计log来源 1 覆盖率 覆盖率 条件采样点 总采 样点 100 NB IoT条件采 样点 RSRP 94dBm 密集城区 RSRP 97dBm 一般 城区 综合接收场强和信干比 描述 全网的覆盖情况 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 2 平均RSRP 参考信号平均接收电平 从参考信号平均接收信号与干 扰噪声比角度 评估全网的平 均干扰强度 dBm 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 3 边缘RSRP 取RSRP中CDF等于5 的 值 如果边缘RSRP太低 不能达到 网络最低覆盖要求 如果边缘 RSRP过高 小区间干扰也会严 重 故NB IoT更加重视利用边 缘覆盖电平 来评估小区边缘 dBm 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 第 8 页 的覆盖 4 RSRP连续 弱覆盖比 例 NB IoT连续弱覆盖里程 NB IoT测试里程 100 评估路测中参考信号RSRP接收 功率情况 反映服务小区覆盖 的主要指标 其中 弱覆盖里 程的定义为持续10秒70 的采 样点路段满足RSRP 89 dBm 密集城区 92dBm 一般城区 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 5 RSRP连续 无覆盖比 例 NB IoT连续无覆盖里程 NB IoT测试里程 100 评估路测中参考信号RSRP接收 功率情况 反映服务小区无覆 盖的情况 连续无覆盖里程的 定义为持续10秒70 的采样点 路段满足RSRP 99 dBm 密 集城区 102dBm 一般城 区 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 注 1 覆盖率 RSRP 门限为 NB IoT 的验收指标 规划指标 OTA 损耗 车体损耗 2 干扰类指标干扰类指标 该部分指标来源于 3 1 室外道路测试规范 步骤 1 的测试结果 扫频仪和 ATU 空闲态终 端分别给出 全部网格及各网格分别给出统计结果 序号 指标 定义 说明 单位 统计log来源 1平均RS SINR 参考信号平均接收 信号与干扰噪声比 从参考信号平均接收信号与干扰 噪声比角度 评估全网的平均干 扰强度 dB 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 2 边缘RS SINR 参考信号平均接收 信号与干扰噪声比 取CDF 累计概率 分布 5 对应的值 从参考信号平均接收信号与干扰 噪声比角度 评估全网各小区边 缘的干扰强度 dB 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 3 连续SINR质 差里程占比 连续SINR质差里程 NB IoT测试里程 100 评估RS SINR质差里程 其中 SINR质差里程定义为持续10秒且 70 的采样点CRS SINR 4的采 样点 总采样点 100 重叠覆盖度 指与最强信号电平 差距在6dB范围内的 电平数量 且最强 信号RSRP 重叠覆盖度 4 即认为存在较 严重的重叠覆盖情况 从参考信 号平均接收信号电平角度 评估 服务小区覆盖范围内强信号邻区 叠加的程度 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 第 9 页 89 密集城区 或 92dBm 一般城区 5 重叠覆盖里程 占比 道路重叠覆里程占 比 连续重叠覆盖 度 4的里程 总 测试里程 100 评估全网内重叠覆盖里程占比 一定程度上反映网络建设合理性 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 6 Mod3冲突比 例 Mod3冲突比例 Mod3冲突小区数 量 测量到的邻区数 量总数 100 PCI 3 Group ID S SS Sector ID P SS 如果PCI mod 3值相同 的话 就会造成P SS的干扰 实 际网络必然中存在两邻区PCI模3 无法错开的情况 模3会造成 CRS信号相互干扰 使SINR降低 重叠覆盖和模3干扰同时存在 以重叠覆盖影响为主 3 1的步骤1 包 括扫频仪和ATU 设备的测试结果 3 调度类指标调度类指标 指标来源 根据一个城市所有的定点测试结果统计 含室外和室内 下述指标 统计 时需对不同的 ping 包大小进行区分统计 序号 指标 定义 说明 单位 统计log的来源 1 上行物理层速率 含掉线 物理层总上传量 含掉线 上传总 时长 含掉线 每个点分别计算再 求平均 评估NB IoT网络上行传输 性能的重要指标 Kbps3 2的步骤1 2 上行物理层速率 不含掉线 物理层总上传量 不含掉线 上传 总时长 不含掉线 每个点分别计算 再求平均 评估NB IoT网络上行传输 性能的重要指标 Kbps3 2的步骤1 3 下行物理层速率 含掉线 物理层总下载量 含掉线 下载总 时长 含掉线 每个点分别计算再 求平均 评估NB IoT网络下行传输 性能的重要指标 Kbps3 2的步骤2 4下行物理层速率 不含掉线 物理层总下载量 不含掉线 下载 总时长 不含掉线 每个点分别计算 再求平均 评估NB IoT网络下行传输 性能的重要指标 Kbps3 2的步骤2 第 10 页 5 MAC层上行平均 BLER MAC层上行 BLER 上行总错误 TB数 上行传输总 TB数 100 每个 点分别计算再求平 均 评估数据传输的误码程度 反映系统保证传输数据的准 确性和稳定性 间接反映空 口的质量 3 2的步骤1 6 MAC层下行平 均BLER MAC层下行BLER 下行总错误TB数 下 行传输总TB数 100 每个点分 别计算再求平均 评估数据传输的误码程度 反映系统保证传输数据的准 确性和稳定性 间接反映空 口的质量 3 2的步骤2 7下行NPDSCH平 均重复次数 每次调度下行 NPDSCH重复次数 总和 调度次数 每 个点分别计算再求 平均 评估下行业务信道的重复次 数 反映空口的质量 次3 2的步骤2 8上行NPUSCH Format 1平均重 复次数 每次调度上行 NPUSCH重复次数 总和 调度次数 每 个点分别计算再求 平均 评估上行业务信道的重复次 数 反映空口的质量 次3 2的步骤1 9上行MCS统计上行MCS平均值 上 行码字MCS值总和 上行码字MCS上报 次数 最高频率 MCS占比 max 每种 MCS上报个数 MCS 上报个数总和 每个点分别计算再 求平均 评估采用的平均调制编码方 式统计 可以间接反映了当 前数据传输速率的大小 3 2的步骤1 10下行MCS统计下行MCS平均值 下 行码字MCS值总和 下行码字MCS上报 次数 最高频率 MCS占比 max 每种 MCS上报个数 MCS 上报个数总和 每个点分别计算再 求平均 评估采用的平均调制编码方 式统计 可以间接反映了当 前数据传输速率的大小 3 2的步骤2 11上行NPUSCH Format 1平均调 度的子载波个数 每次调度上行 NPUSCH子载波数 总和 调度次数 每 个点分别计算再求 平均 评估上行信道的调度情况个3 2的步骤1 第 11 页 12上行NPUSCH Format 1 3 75KHz的比例 上行3 75KHz子载波 的调度次数 总调度 次数 每个点分别 计算再求平均 评估上行信道的调度情况个3 2的步骤1 13上行NPUSCH Format 1 3 75KHz ST的比 例 上行3 75KHz ST子载 波的调度次数 总调 度次数 每个点分 别计算再求平均 评估上行信道的调度情况个3 2的步骤1 14上行NPUSCH Format 1 15KHz ST的比例 上行15KHz ST子载 波的调度次数 总调 度次数 每个点分 别计算再求平均 评估上行信道的调度情况个3 2的步骤1 15上行NPUSCH Format 1 15KHz MT的比例 上行15KHz MT子载 波的调度次数 总调 度次数 每个点分 别计算再求平均 评估上行信道的调度情况个3 2的步骤1 18定点测试的Ping 包成功率 Ping包成功的总次 数 ping包总次数 每个点分别计算再 求平均 评估室内外定点测试情况下 的业务性能 3 2的步骤3和步 骤4 两种ping 包大小区分统计 19定点测试的Ping 包时延 Ping包总时延 ping 包总次数 每个点 分别计算再求平均 评估室内外定点测试情况下 的业务性能 秒3 2的步骤3和步 骤4 两种ping 包大小区分统计 20遍历测试的ping 包成功率 Ping包成功的总次 数 ping包总次数 每个点分别计算再 求平均 评估室外遍历测试情况下的 业务性能 3 1的步骤2和步 骤3 两种ping 包大小区分统计 21遍历测试的ping 包时延 Ping包总时延 ping 包总次数 每个点 分别计算再求平均 评估室外遍历测试情况下的 业务性能 秒3 1的步骤2和步 骤 3 两种ping 包大小区分统计 22定点测试的上行 掉线率 上行掉线总次数 发 起上行UDP业务的 总次数 所有样本 一起计算 评估NB IoT网络的稳定程度 3 2的步骤1 23定点测试的下行 掉线率 下行掉线总次数 发 起下行UDP业务的 总次数 所有样本 一起计算 评估NB IoT网络的稳定程度 3 2的步骤2 4 移动类指标移动类指标 序号 指标 定义 说明 单位 统计log的来源 第 12 页 1 NB IoT网 内异频重 选成功率 NB IoT网内异频重 选成功次数 NB IoT 网内重选尝试次数 100 评估NB IoT网内异频重选 的连续性 稳定性 3 1的步骤1 只 涉及ATU设备 2 NB IoT网 内异频重 选时延 NB IoT网内异频重 选平均时延 NB IoT网内重选时延总 和 NB IoT网内重选 次数 评估NB IoT网内异频重选 的连续性 稳定性 秒 3 1的步骤1 只 涉及ATU设备 3 NB IoT网 内同频重 选成功率 NB IoT网内同频重 选成功次数 NB IoT 网内重选尝试次数 100 评估NB IoT网内同频重选 的连续性 稳定性 3 1的步骤1 只 涉及ATU设备 4NB IoT网 内同频重 选时延 NB IoT网内同频重 选平均时延 NB IoT网内重选时延总 和 NB IoT网内重选 次数 评估NB IoT网内同频重选 的连续性 稳定性 秒 3 1的步骤1 只 涉及ATU设备 5 TA区更新 成功率 TA区更新成功次数 TA区更新尝试次数 100 评估 NB IoT跨TA List重 选情况下业务和状态的连续 性 移动性 3 1的步骤1 只 涉及ATU设备 6 TA更新平 均时延 TA更新平均时延 TA更新时延总和 TA更新次数 评估NB IoT网络位置区更 新时延 秒 3 1的步骤1 只 涉及ATU设备 7NB IoT连接 态脱网重 搜平均时 延 NB IoT连接态脱网 重搜平均时延 脱网 重搜时延总和 脱网 重搜次数 评估NB IoT脱网重搜时延秒3 1的步骤1 只 涉及ATU设备 说明 1 重选时延定义 重选开始 SIB1 不跨 TA List 或 TAU Complete 跨 TA List 说明 2 TA 更新时延定义 TAU Request TAU Complete 说明 3 道路测试中如有脱网则统计 7 没有就不需要统计 5 接入类指标接入类指标 序号 指标 定义 说明 单位 统计log的来源 1 RRC连接 建立成功 率 RRC连接建立成功率 RRC连接建立成功次 数 RRC连接建立尝试 次数 100 评估系统接入性能的重要指 标 其中 以终端发起 RRCConnectionRequest作为一 次 RRC连接建立尝试 到终 端发送 RRCConnectionSetupComplete 作为一次 RRC连接建立成功 3 1的步骤2 3 4 第 13 页 2 RRC连接 建立平均 时延 RRC连接建立平均时 延 RRC连接建立时延 总和 RRC连接建立成 功次数 评估NB IoT系统接入性能的 重要指标 其中 以终端发 起RRCConnectionRequest作为 一次 RRC连接建立尝试 到 终端发送 RRCConnectionSetupComplete 作为一次 RRC连接建立成功 秒 3 1的步骤2 3 4 3 ATTACH 成功率 ATTACH成功率 ATTACH 成功次数 ATTACH尝试次数 100 评估NB IoT系统接入性能的 重要指标 其中 以终端发 起ATTACH REQUEST 作为 一次 ATTACH 尝试 到终 端发送ATTACH COMPLETE 作为一次 ATTACH 成功 3 1的步骤4 4ATTACH 平均时延 ATTACH平均时延 ATTACH时延总和 ATTACH成功次数 评估NB IoT系统接入性能的 重要指标 其中 以终端发 起ATTACH REQUEST 作为 一次 ATTACH 尝试 到终 端发送ATTACH COMPLETE 作为一次 ATTACH 成功 秒 3 1的步骤4 5