4G用户体验质量QoE体系原理及优化指导书V1

1、4G 用户体验质量 QoE 体 系原理及优化指导书 1 2016 年 4G 网络 QOE算法简介和考核目标 1.1指标简介： 4G 时代已经来临，网络建设持续发力、客户挖掘和发展加之各类新兴 APP 业务的多样性（智能终 端的快速普及和微信、视频、证券、云盘等新兴移动互联网业务应用的日趋丰富） ，用户对移动数据 业务使用体验的要求愈来愈高。因此，需要进行对用户使用的主流业务进行科学的量化和评价，以便 进一步进行客户感知量化管理和端到端短板问题挖掘及精准优化。 为了紧密贴近用户上网实际感知，必须要转变网络质量管理方式，不仅关注网络性能，更要关注 业务质量与用户感知的量化评价。 本次基于单用户单次

2、会话控制面和业务面 （S1 接口、S11 接口、S6A 接口信令）全流程事件构成感知评价要素，从接入性（ Accessibility ）、完整性（Integrity ）和保 持性（Retainability ）三个部分的用户感知关键指标 KQI来构建 4G 客户 QoE （用户的体验质量）评 估体系，以通过 QoE 的量化的形式来评估用户感知的好坏程度，并对评估出感知差的用户、站点 /小 区、SP 进行全程全网端到端的分析优化，从而提升用户的上网感知，即让用户上网时获得“上得去， 不中断，速率快”的良好体验。 2016 年 4G 网络客户业务 QOE 评价算法变化情况描述：本次主要根据浏览、视

3、频、应用下载和即 时通信业务实际特性，主要基于各类业务 QOS 要求特性，例如：交互类时延要求低、会话类时延要求 高、视频类速率码率和清晰度速率差异要求。 针对接入性能、完整性能和保持性能进行门限重新定义， 更加适合现有客户满意度需求，通过无线、核心网络和业务层面优化，达到进一步提升客户满意度和 业务感知的目的。 （1） 浏览业务小包时延和大包感知权重进行优化，根据小包流量和大包流量、小包次数和大包 次数比例和流量贡献情况，适当增加大包速率感知权重，由前期小包：大包 =65% 35%优化为小包： 大包=20% 80% （2） 视频业务四大 APP（乐视、优酷、爱奇艺、腾讯）进行标清、高清、超清

4、、 1080P 测试验证， 15 年以标清视频为基准进行视频感知制定，由于客户使用高清视频比例达到 65%左右，因此 2016 年 以高清视频感知需求为基准，制定了贴近业务需求的速率感知门限，更加准确的评价视频客户使用业 务感知高低。 （3）应用下载大流量业务速率感知提升，为了进一步保障和提升 包数据感知门限，例如 8M 应用下载业务优秀门限由 S 提升为 4Mbit/S 。 1.2考核目标： 4G 业务 QOE 1 月 QOE 百分制得分为基准，各地市每个月目标为在一月份基础上， 百分制得分增加 1%为达到考核目标（举例：2 月份为在 1 月份基础上增加 1%三月份基 础上增加 2%以此类推

5、，如果改月 QOE 寻分增加比例达到 1 月基础的百分比例，即为考 核达标）；如果按照一月份基础上，某月增加的百分制数值达到 90 分，默认为达到考核 目标） 2 4G 客户业务体验 QoE实施背景 传统的 KPI只能集中反映网络设备的性能（控制面） ，很多时候存在 KPI很好但业务质量不佳的 情况。而 KQI聚焦用户面和控制面，更能贴近用户的业务质量和用户体验， 而 QoE 则是由各类业务（如 浏览类、视频类、下载类等）的主要 KQI构建而成，即相对传统的 KPI更能贴近用户的真实上网感知。 即 KPI主要评估的是网络管道的质量，而 QoE/KQI 则是评估网络管道内的业务质量。 如网页浏览

6、的 KQI模型： 4G 存量客户感知，适当提升大 用户上网的主要信令流程： 3 QoE体系建立思路描述 一套体系：本次的 QoE （用户的体验质量， Quality of Experienee ， QoE）主要针对浏览类业务、 视频业务、应用下载业务、即时通信业务进行基于上网业务全流程 KQI （关键质量指标）感知评估。 QoE 体系的建立思路主要各类业务接入、完整、保持性能的 KQI指标选取及定义、各类业务的 KQI 指标门限及权重的选择、QoE 体系的计算。 两级定界：在 QOE 莫型建立中，全面引入表征 QI （业务指标），基于 IUPS 接口进行 KQI质量问题 分析，一级问题定位界：

7、针对网络、客户、终端和 SP 等维度 QOE 评价差的网元、客户、终端和 SP 进 行 S1 接口以上和以下质量问题定位， S1 接口以上问题表征 QI为：上行 SYN 时延、上行 RTT 时延、上 行重置率；S2 接口以下问题表征 QI为：下行重传率、下行 RTT 时延、下行重置率和单位流量切换次 数，鉴权失败 S6A接口指标关联，短信、语音被叫感知 SGS 接口指标关联，；二级问题定界：S1 接口 ATTACH PDN 默认承载建立、承载修改和业务请求失败 CAUS 茨联细分，结合设备 KPI进行感知具 体影响因素分析，业务质量侧 SP 失败代码关联分析确定服务器侧具体问题， 无线侧基于网

8、络接入 KPI （关键性能指标）保持 KPI和完整性能 KPI，关联无线侧容量、编码配置、功能参数、无线质量和移 动性能相关表征 PI （性能指标）进行具体问题核查和优化。 三个层面： 基于端、管、云优化思路，在 QOE 模型基础之上，业务维度与端（ VIP 客户维度，热 门终端维度）管（网络、小区、 ENODEBMME SGW PGW APN 维度、3GNET 路由维度、SP 落地维度） 云（热门业务 SP 维度、服务器参数设置维度、分布式服务器落地性能分析） 。进行 QOE 评价和 QI关 联输出 QOE 感知差客户和终端、小区和设备、业务和服务器，进一步进行各专业协作分析和优化。 备注：

9、在有资源条件下，基于各类业务主流终端主流业务测试 QOE 感知常态工作，在后期体现， 力求做到全网评估 QOE 与测试 QOE 基本吻合。 3.1 QOE 百分制算法介绍 4G 客户 QOE 百分制按照四类业务感知评价分值进行聚合计算， 计算地市维度、小区维度、终端维 度和 SP 维度 QOE 得分，浏览业务、视频业务、应用下载和即时通信四类业务权重占比为：浏览业务 30% 视频业务 30% 应用下载 30 呀口即时通信 10% QOE 得分=浏览业务 QOE 得分*30%+视频业务 QOE 得分*30%+应用下载 QOE 得分*30%+即时通信 QOE 得分*10%。 3.2 浏览类业务 Q

10、oE 模型构建 浏览业务 QOE 感知评价模型介绍 基于 S1/SGS/S6A 接口平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面 指标和指标对用户感知不敏感等问题， 将用户主观层面的感知转化成可量化移的动互联网业务各阶段 信令流程指标性能进行评估，主要信令指标按照一般上网流程划分三类，包括业务接入 KQI指标 (ATTACH PDR DNS SYN GET)业务完整性能 KQI指标(GET 和 POST 感知速率和时延)和保持性能 KQI指标(TCP 重传率、TCP 重置率和 IU-RELEASE 掉线率)，上述三类指标量化后系数加权值作为数据 业务上网感知性能(QOE 的

11、最终数值。 表 1浏览业务 Q0即估体系一考核 KQI子项权重和感知门限 KQI 子项 KQI 子项权重 QI 门限 QI 权重 优秀 良好 正常 差 接入性 KQI 30% E-RAB建立成功 率(%) % % 99% 93% 90%-93% 88%-93% 98% 97%-98% 95%-97% % % 99% % % 99% % % 99% 97% 96%-97% 94%-96% % % 99% 92% 90%-92% 85%-90% 95% 93%-95% 90%-93% 95% 93%-95% 90%-93% 90% 10% (% 100K 数据包时 延(小包) 380 20% 20

12、0K 速率 2200 1800-2200 1500-1800 3000 2500-3000 1500-2500 4000 3500-4000 2500-3500 4000 3500-4000 2500-3500 4000 3500-4000 2500-3500 4000 3500-4000 2500-3500 2048K 速率 6000 5000-6000 3000-5000 3000 随即计算 TCP 下行重置率 % % 保持性 KQI 20% TCP 下行重传率 % % UE异常掉线率 5% % 浏览业务 Q0 救学模型介绍 QOE = QOEa + QOEb 卜 00 此 浏览业务 QO

13、E 十算模型中 QOEb QUEL和 QOEc 分别是指业务接入性能子项 QOE 直、业务完整性能 子项 QOE直和业务保持性能子项 QOE 直，其中：|m=X*业务保持性 KQI值、：I?业务完整性 KQI 值、C 出:.=Z*业务接入性 KQI值，X、Y、Z 值为各子项业务 KQI值系数权重因子，X+Y+Z=1。 浏览业务 QO 罰 KQI 等级划分 根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义 X=30% Y=50% Z=20% (1) 浏览业务 QOE 感知等级门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分； (2) 浏览业务 QOE

14、 由接入 KQI、完整 KQI和保持 KQI构成，权重为：30% 50% 20% (3) 接入 KQI、完整 KQI 和保持 KQI感知等级门限如下。 接入 KQI感知门限: 优秀值门限为 90分， 良好值门限为 80 分，差值门限为 70分; 完整 KQI感知门限: 优秀值门限为 90分， 良好值门限为 80 分，差值门限为 70分; 保持 KQI感知门限: 优秀值门限为 90分， 良好值门限为 80 分，差值门限为 70分。 KQI感知门限划分原则：定义 KQI得分小于差值门限为“感知差”等级， KQI得分大于差值小于 良好值定义为“达标”等级， KQI得分大于良好值门限小于优秀值门限定义

15、为感知“良好”等级， KQI 得分大于优秀值门限定义为感知“优秀”等级。 浏览业务 KQI 计算模型描述 （1） 接入性能 KQI 评估简介 如下表所示，通过 S1 接口平台统计对应维度（本次统计为全网区域和小区级别）子项 KQI指标 值，在制定 KQI对应业务流量子项 KQI感知门限后，根据 QOE 十算模型计算公式对业务感知进行评估 打分（百分制），各子项 KQI权重加权获得接入性能 KQI感知得分，输出接入性能 KQI感知等级。 业 务 接 入 性 KQI 值 Rl * ERAB咸功率+ R2 *寻呼成功率+ R3 * TAU/S功率i R4 * ATTACHE功率+ E5 * PDN成

16、功率 + R6 +默认承載成功率* R7 *业务诸求成功R7 *承戴修改成功誕 + T . .I ； ： - o 其中：ERAB 建立成功率、寻呼成 功率、TAU 成功率、ATTACH 成功率、PDN 成功率、默认承载建立成功率、业务请求成功率、承载修改 成功率、SYN连接成功率、DNS 成功率和 GET 成功率作为各自单项 KQI量化值，表达式如下： R1+R2+R3+R4+R5+R6+ R11=1（R1,R2,R3 .为 ATTCH 业务 PDNDNS 等 KQI 的权重因子）。 本次加大 ERAB ATTACH 成功率、默认承载建立成功率和 GET 功率权重（RAB 无无线侧表征、GET

17、 为 SP 侧）,11 类接入事件权重分别为： 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10% （2） 完整性能 KQI 评估简介 浏览业务完整性 KQI评估计算：主要评估用户在进行数据业务过程中业务感知好坏情况，用户数 据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，依据小包时延和大包速率 制定的感知门限，由于实际网络各区间包时延和速率与满足感知差别较大，部分门限进行调整。 浏 览 业 务 QOE 完 整 性 KQI 值 二匚：，川 1 匸 r，七丨+ ： I :。 评估各包大小业务时延感知性能门限指标值如下：以下小包时延门限根据前期感限

18、速测试获得， 门限研究部分阐述小包校正后良好感知速率为 400KBIT./S，换算时延为 1 秒。大包业务速率门限根据 业务时延 QOS 十算获得。 表 2完整性能 KQI时延感知门限速率转换表 包区间 优秀 1 良好门限 Q 达标门限 T 3GPP 换算速率 I门限换算时 延（S） 小包完成时延（MS） 330 350 380 （校正） 400 200K 速率 300K 速率 2 500K 速率 2 800K 速率 3 1024K 速率 3 2048K 速率 3 2048K 速率 3 其中：Q 值对应 8 个区间速率感知得分，为浏览业务想数据流大小区间对应的感知得分值。 W 为 8 个区间权

19、重因子。 W1+W2+W3+W4+W5+W6V8=1（W1,W2,W3。为不同业务包区间权重因子 ）。 浏览业务小包和大包业务权重计算表： 根据流量和业务次数 40%:60%：匕例计算获得。 包区间次数 600KB 次数占比 % % % % % % % % 流量占比 % % % % % % % % 业务权重 % % % % % % % % (W1-W8 W1 W2 W3 W4 W5 W6 W7 W8 （3）保持性能 KQI 评估简介 保持性能 KQI门限和权重： 保持性能 KQI主要以 TCP 重传率、TCP 重置率和 IU-RELEASE 释放率， 作为表征 KQI来衡量，KQI分项权重为

20、40% 30% 30%优秀值、良好值和差值门限感知如下： 用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情 况，用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（ TCP 重置 率）和 TCP 包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能 KQI 综合 感知指标。 定义浏览业务保持性 KQI值= KI * TCP 童传率+ K2 * TCP 玺置垂+ K3 水 UE 异常 RELEA 旺掉线率，K1+K2+K3=1（K1 重传率权重 40%,K2 重置率权重 30%,K3 为 IU-RELEASE 掉线率权重

21、 30%）。 3.3 视频类业务 QoE 模型构建 视频业务 QOE 感知评价模型介绍 基于 IUPS 平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标 对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指 标性能进行评估，主要信令指标按照一般上网流程划分三类， 包括业务接入 KQI指标（ERAB 建立成功 率、寻呼成功率、TAU 成功率、ATTACH 成功率、PDN 成功率、默认承载建立成功率、业务请求成功率、 承载修改成功率、SYN 连接成功率、DNS 成功率和 GET 成功率）业务完整性能 KQI指标（GET 和 POST 感

22、知速率和时延）和保持性能 KQI指标（TCP 重传率、TCP 重置率），上述三类指标量化后系数加权值 作为数据业务上网感知性能（ QOE 的最终数值。 表 3:视频业务 QOS估体系一考核 KQI 子项权重和感知门限 KQI 子项 KQI 子项权重 QI 门限 QI 权重 优秀 良好 正常 差 接入性 KQI 30% E-RAB建立成功 率（%） % % 99% 93% 90%-93% 88%-93% 98% 97%-98% 95%-97% % % 99% % % 99% % % 99% 97% 96%-97% 94%-96% % % 99% 92% 90%-92% 85%-90% 95% 9

23、3%-95% 90%-93% 96% 94%-96% 90%-94% 90% 10% V100K 数据包时 延(小包) 380 0% 200K 速率 3000 2200-3000 1200-2200 3000 2200-3000 1600-2200 3500 2500-3500 1800-2500 4000 2500-4000 1800-2500 4000 2500-4000 1800-2500 2600 2000-2600 1800-2000 16384K 速率 3000 2500-3000 1600-2500 1600 随即计算 视频业务 QO 救学模型介绍 结合主流视频的播放原理、信令流

24、程、业务特征、播放卡顿现象、播放下载速率等，基于 IUPS 口信令对视频播放 KQI建模如图 6 所示。 图 6视频感知 KQI建模 视频业务 QOB 数学公式如下： Q0E - QOEa 卜 00虬 + 00氐 QOEa、和 QOEc 分别是指业务接入性能子项 QOE 直、业务完整性能子项 QOE 直和业务保持性 能子项 QOE 直，其中：Cd4=x*业务保持性 KQI 值、|m=Y*业务完整性 KQI值、U_/= Z*业务接入性 KQI值，X、Y、Z 值为各子项业务 KQI 值系数权重因子，X+Y+Z=1 根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求， 定义 X=30%,

25、Y=50%,Z=20% 视频业务 QO 罰 KQI 等级划分 (1) 视频业务 QOE 感知等级门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分； (2) 视频业务 QOE 由接入 KQI、完整 KQI和保持 KQI构成，权重为：30% 50% 20% (3) 接入 KQI、完整 KQI和保持 KQI感知等级门限如下： 接入 KQI感知门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分； 完整 KQI感知门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分； 保持 KQI感知门限：优秀值门限为 90 分，良好值门限为 80

26、 分，差值门限为 70 分。 KQI感知门限划分原则：定义 KQI得分小于差值门限为“感知差”等级， KQI得分大于差值小于 得分大于优秀值门限定义为感知“优秀”等级。 保持性 KQI 20% TCP 下行重置率 3% % TCP 下行重传率 % % UE异常掉线率 4% % 良好值定义为“达标”等级， KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级, KQI 视频业务 KQI 计算模型描述 （1） 接入性能 KQI 评估 由于三类感知 KQI分别由多项业务事件表征 KQI组合构成，因此，需要针对每项 KQI具体信令统 计指标值进行感知高低研究，对投诉客户聚合小区分析，定义 KQ

27、I衡量差值，根据感知研究经验和其 他运营商平均指标，不同业务根据小包时延和大业务速率结合用户体验回访结果制定感知门限。 业 务 接 入 性 KQI 值 Rl * ERAB咸功率+ R2 *寻呼威功率+吧* TAIT成功率i R4 * ATTACHE功率+ B5 * PDN成功率 + R6 +默认承載成功率* R7 *业务诸菠成功R7 *承戴修改成功躍 +空 - 宀町弋 m.i 宁- F r门严：応；。其中:ERAB 建立成功率、寻呼成 功率、TAU 成功率、ATTACH 成功率、PDN 成功率、默认承载建立成功率、业务请求成功率、承载修改 成功率、SYN 连接成功率、DNS 成功率和 GET

28、成功率作为各自单项 KQI量化值；表达式如下： R1+R2+R3+R4+R5+R6+ R11=1（R1,R2,R3 .为 ATTCH 业务 PDPDNS 等 KQI 的权重因子）。 本次加大 ERAB ATTACH 成功率、默认承载建立成功率和 GET 功率权重（RAB 无无线侧表征、GET 为 SP 侧）,11 类接入事件权重分别为： 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10% 接入性能计算：如下表所示，通过 S1 接口平台统计对应维度（本次统计为全网区域和小区级别） 子项 KQI指标值，在制定 KQI 对应业务流量子项 KQI感知门限后，根据 QOE

29、 十算模型计算公式对业务 感知进行评估打分（百分制），各子项 KQI权重加权获得接入性能 KQI感知得分，依据根据客户投诉 和业务实际感知（小包时延、大业务速率）制定的感知门限，输出接入性能 KQI感知等级。 （2） 完整性能 KQI 评估 视频完整性能感知门限和权重定义：主要以各类业务客户感知为主要评价标注，不同业务，客户 感知指标评价有所不同，视频业务完整性能感知评估，结合数据传送慢启动原因，按照业务请求数据 以小包时延和大包速率进行感知门限制定和评估，小包以业务感知时延为衡量标准，定义感知时延 16834KB 速率 3000 2500 1600 表 4 完整性能 KQI 时延感知门限速率

30、转换表 视频业务完整性 KQI评估计算：主要评估用户在进行数据业务过程中业务感知好坏情况，用户数 据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，业务时延为用户真实感知 重要因素，对统计指标按照每次业务不同包大小区间进行组合运算，结合不同业务感知门限值进行业 务保持性 KQI值评估。 完整性能 KQI=小包时延得分*20%+大包速率感知得分*80%（权重根据业务次数和流量加权获得 ）。 小包权重 20% 大包权重 80%由小包（50KB）和大包（50KB）,根据流量和业务次数 60%:40%:匕 例计算获得。 大 包 速 率 感 知 完 整 性 KQI 值 =川 让朴W八八+

31、 1+ 谚 . 其中：Q 值对应 8 个区间，为视频业务想数据流大小区间对应的得分值。 W1+W2+W3+W4+W5+W6W8=1（W1,W2,W3。为不同业务包区间权重因子 ），根据流量和业务 次数 60%:40%：匕例计算获得。 备注：小区级别完整性能计算模型中，小包和大包占比为差异计算获得。 （3）保持性能 KQI 评估 保持性能 KQI门限和权重：保持性能 KQI主要以 TCP 重传率和 TCP 重置率，作为表征 KQI来衡量， KQI分项权重为 50%和 50%优秀值、良好值和差值门限感知如下： 用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情 况，

32、用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（ TCP 重置 率）和 TCP 包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能 KQI 综合 感知指标。 定义视频业务保持性 KQI值=J 丨.-丨 ： - - ，K1+K2=1（K1 重传率权重为 50%,K2 重置率权重为 50%）。 视频业务播放“卡顿”问题研究 为了能从信令上找出移动视频播放“卡顿”的特征，通过在无线信号质量差的环境 （RSCP-105dbm,Ec/lo-80dbm,Ec/lo-6dB），从大 量的测试分析得知：下载速率大于 1300kbps 时，观看视频流畅，偶尔有卡顿

33、问题，而速率低于 1300kbps 时，均出现不同程度的卡顿和初始缓冲严重现象。因此初步确定搜狐视频点播基准速率为 1300kbps 左右，低于该基准速率时用户感知相对较差，如表 1 所示。 表 7主流 APP标清视频点播基准速率与卡顿门限关系 表 8主流 APP高清视频点播基准速率与卡顿门限关系 表 9主流 APP超清视频点播基准速率与卡顿门限关系 备注：以上只针对普通标清移动搜狐视频业务进行分析，未考虑终端性能影响，乐视超清视频基准速 率约为 3300kbps 左右。本次区分码流类型，以视频 APP 类超清视频为基准。 3.4 应用下载类业务 QoE 模型构建 应用下载 QOE感知评价模型

34、介绍 应用下载业务 QOE 总体评估方法和视频业务类似，基于 IUPS 平台的数据业务感知评估方法解决 传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知 转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估， 主要信令指标按照一般上网流程 划分三类，包括业务接入 KQI指标（ATTACH PDP DNS SYN GET 业务完整性能 KQI指标（GET 和 POST 感知速率和时延）和保持性能 KQI指标（TCP 重传率、TCP 重置率），上述三类指标量化后系数加 权值作为数据业务上网感知性能（ QOE 的最终数值。 表 4:应用下载业务 Q0 科

35、估体系一考核 KQI 子项权重和感知门限 KQI 子项 KQI 子 项权重 QI 门限 QI 权重 优秀 良好 正常 差 接入性 KQI 30% E-RAB建立成功率（） % % 99% 93% 90%-93% 88%-93% 98% 97%-98% 95%-97% % % 99% % % 99% % % 99% 97% 96%-97% 94%-96% % % 99% 98% 95%-98% 90%-95% 97% 95%-97% 90%-95% 99% 95%-99% 90%-95% 90% 10% 完整性 KQI 50% V100K 数据包时延（小 包） 380 0% 200K 速率 30

36、00 2000-3000 1000-2000 3000 2000-3000 1000-2000 4000 3000-4000 2000-3000 5000 4000-5000 3000-4000 5000 4000-5000 3000-4000 6000 5000-6000 4000-5000 16384K 速率 12000 9000-12000 6000-9000 6000 随即计 算 保持性 KQI TCP 下行重置率 3% % 20% TCP 下行重传率 % % UE异常掉线率 4% % 应用下载 QOE数学模型介绍 应用下载 QOE 十算公式如下： QOE - QOEa 卜 00虬 +

37、 00氐 QOEa、-L 和 QOEc 分别是指业务接入性能子项 QOE 直、业务完整性能子项 QOE 直和业务保持性 能子项QOE 直，其中：U 爲=X*业务保持性 KQI值、卜二.=Y*业务完整性 KQI值、叢匸範=Z*业务接入性 KQI值，X、Y、Z 值为各子项业务 KQI值系数权重因子，X+Y+Z=1 根据前期客户投诉在接入、完整和 保持方面权重以及业务感知实际需求，定义 X=30%,Y=50%,Z=20% 应用下载 QOE和 KQI等级划分 (1) 应用下载业务 QOE 感知等级门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分; (2) 应用下载业务 QOE

38、 由接入 KQI、完整 KQI 和保持 KQI构成，权重为：30% 50% 20% （3）接入 KQI、完整 KQI和保持 KQI感知等级门限如下: KQI感知门限划分原则：定义 KQI得分小于差值门限为“感知差”等级， KQI得分大于差值小于 良好值定义为“达标”等级， KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级， KQI 得分大于优秀值门限定义为感知“优秀”等级。 应用下载 KQI计算模型描述 （1）接入性能KQI评估 通过 S1 接口平台统计对应维度 （本次统计为全网区域和小区级别） 子项 KQI指标值，在制定 KQI 对应业务流量子项 KQI感知门限后，根据 QOE

39、十算模型计算公式对业务感知进行评估打分（百分制） ， 各子项 KQI权重加权获得接入性能 KQI感知得分，输出接入性能 KQI感知等级。 业 务 接 入 性 KQI 值 Rl * ERAB咸功率+ R2 *寻呼咸功率+吧* TAUS功率功率i R4 * ATTACHE功率+ B5 * PDN成功率 + R6 +默认承載成功率* R7 *业务诸菠成功R7 *承戴修改成功躍 + | -o 其中：ERAB 建立成功率、寻呼成 功率、TAU 成功率、ATTACH 成功率、PDN 成功率、默认承载建立成功率、业务请求成功率、承载修改 成功率、SYN 连接成功率、DNS 成功率和 GET 成功率作为各自单

40、项 KQI量化值； R1+R2+R3+R4+R5+R6+ R11=1（R1,R2,R3 .为 ATTCH 业务 PDPDNS 等 KQI 的权重因子）。 本次加大 ERAB ATTACH 成功率、默认承载建立成功率和 GET 功率权重（RAB 无无线侧表征、GET 为 SP 侧）,11 类接入事件权重分别为： 10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10% 接入性能计算：如下表所示，通过 S1 接口平台统计对应维度（本次统计为全网区域和小区级别） 子项 KQI指标值，在制定 KQI对应业务流量子项 KQI感知门限后，根据 QOE 十算模型计算公式对业务 接入

41、 KQI感知门限：优秀值门限为 90 分, 完整 KQI感知门限：优秀值门限为 90 分, 保持 KQI感知门限：优秀值门限为 90 分, 良好值门限为 80分, 差值门限为 70分; 良好值门限为 80分, 差值门限为 70分; 良好值门限为 80分， 差值门限为 70分。 感知进行评估打分（百分制），各子项 KQI权重加权获得接入性能 KQI感知得分，依据根据客户投诉 和业务实际感知（小包时延、大业务速率）制定的感知门限，输出接入性能 （2）完整性能 KQI 评估 应用下载完整性能感知门限和权重定义：主要以各类业务客户感知为主要评价标注，不同业务， 客户感知指标评价有所不同，应用下载业务完

42、整性能感知评估，结合数据传送慢启动原因，按照客户 请求数据以小包时延和大包速率进行感知门限制定和评估，小包以业务感知时延为衡量标准，定义感 知时延350 毫秒为优秀值，应用下载时延大于 350 毫秒小于 370 毫秒为良好值，定义大于 370 毫秒小 于 450 毫秒为达标值，时延大于 450 毫秒为差值。大于 50K 字节数据按照速率区间进行感知门限制定 （以前期应用下载业务速率感知验证为依据） 。 完整性能 KQI=小包时延得分*20%+大包速率感知得分*80%（权重根据业务次数和流量加权获得 ）。 小包权重 10% 大包权权 90%由小包（50KB）和大包（50KB）,根据流量和业务次数

43、 60%:40%:匕 例计算获得。 大 包 速 率 感 知 完 整 性 KQI 值 其中：Q 值对应 8 个区间，为视频业务想数据流大小区间对应的得分值。 W1+W2+W3+W4+W5+W6W7=1（W1,W2,W3。为不同业务包区间权重因子 ），根据流量和业务 次数 60%:40%:匕例计算获得。 备注：小区级别完整性能计算模型中，小包和大包占比为差异计算获得。 评估各包大小业务时延感知性能门限指标值如下： 应用下载业务数据 “包区间” 优秀值 1 良好值 Q 达标值 T 200K 速率 3000 2000 1000 500K 速率 3000 2000 1000 1024K 速率 4000

44、3000 2000 KQI感知等级。 4096K 速率 5000 4000 3000 8192K 速率 5000 4000 3000 加权值作为数据业务上网感知性能（ QOE 的最终数值。 16384K 速率 6000 5000 4000 16384K 速率 12000 9000 6000 表 9 完整性能 KQI 时延感知门限速率转换表 （3）保持性能 KQI 评估 保持性能 KQI门限和权重：保持性能 KQI主要以 TCP 重传率和 TCP 重置率，作为表征 KQI来衡量， KQI分项权重为 50%和 50%优秀值、良好值和差值门限感知如下： 用户业务保持性能评估，主要评估用户在进行数据业

45、务过程中信令流程完整及业务可靠感知情 况，用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（ TCP 重置 率）和 TCP 包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能 KQI 综合 感知指标。 定义应用下载业务保持性 KQI值= I ，K1+K2=1（K1 重传率权重 为 50%,K2 重置率权重 50%）。 3.5 即时通信业务 QoE 模型构建 即时通信业务 QOE 感知评价模型介绍 基于 LTE 平台的数据业务感知评估方法解决传统无线指标单纯面向设备、 无用户面指标和指标对 用户感知不敏感等问题， 将用户主观层面的感知转化成可量化的移

46、动互联网业务各阶段信令流程指标 性能进行评估，基于即时通信业务特点，主要为接入和保持方面客户可以正常使用，完整性能 KQI方 面不做研究（即时通信下行数据包小于 100K 字节占比 93%根据 4G 小包时延分析，小于 100K 时延小 于 500 毫秒，因此即时通信大包速率没有研究价值。浏览、视频、应用三类大包业务已经强化了速率 完整性能 KQI评估）。主要信令指标按照即时通信接入和保持性能流程划分两类， 包括即时通信业务 全流程业务接入 KQI指标（ERAB 建立成功率、寻呼成功率、TAU 成功率、ATTACH 成功率、PDN 成功率、 默认承载建立成功率、业务请求成功率、 POST 成功

47、率、SYN 连接成功率、DNS 成功率和 GET 成功率） 和即时业务保持性能 KQI指标（TCP 重置率、TCP 重传率、UE 异常释放率），上述两类指标量化后系数 表 3:即时通信业务 Q0 科估体系一考核 KQI 子项权重和感知门限 KQI 子项 KQI 子项权重 QI 门限 QI 权重 优秀 良好 正常 差 接入性 KQI 30% E-RAB建立成功 率(%) % % 99% 93% 90%-93% 88%-93% 98% 97%-98% 95%-97% % % 99% % % 99% % % 99% % % 98% % % 99% 98% 95%-98% 90%-95% 97% 95

48、%-97% 90%-95% 99% 98%-99% 95%-98% 95% 10% 保持性 KQI 20% TCP 下行重置率 3% % TCP 下行重传率 % % UE异常掉线率 5% % 即时通信业务 QOE 数学模型介绍 结合微信业务使用特征，信令流程、业务特征、推送和接收数据等，基于 IUPS 口信令对即时通 信业务主要流程研究，主要包括软件登陆、更新、刷新、发表和接收。主要涉及到业务接入 KQI研究 和业务保持性能 KQI研究。 即时通信业务 QOB 数学公式如下： QOE - QOU 卜 QOEb QOEa、可习分别是指业务接入性能子项 QOE 直、业务保持性能子项 QOE 直，其

49、中：=X*业务 接入性 KQI值、， =Y*业务保持性 KQI值，X、Y 值为各子项业务 KQI值系数权重因子，X+Y=1。 根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义 X=60%,Y=40% 即时通信业务 QOEffi KQI 等级划分 (1) 即时通信业务 QOE 感知等级门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分； (2) 即时通信业务 QOE 由接入 KQI、和保持 KQI 构成，权重为：60% 40% (3) 接入 KQI和保持 KQI感知等级门限如下： 接入 KQI感知门限：优秀值门限为 90 分，良好值门限为 80 分，差

50、值门限为 70 分； 保持 KQI感知门限：优秀值门限为 90 分，良好值门限为 80 分，差值门限为 70 分。 KQI感知门限划分原则：定义 KQI得分小于差值门限为“感知差”等级， KQI得分大于差值小于 良好值定义为“达标”等级， KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级， KQI 得分大于优秀值门限定义为感知“优秀”等级。 即时通信业务 KQI 计算模型描述 (1) 接入性能 KQI 由于三类感知 KQI分别由多项业务事件表征 KQI组合构成，因此，需要针对每项 KQI具体信令统 计指标值进行感知高低研究，对投诉客户聚合小区分析，定义 KQI衡量差值，根据感知研究

51、经验和其 他运营商平均指标(领先 于友商)，不同业务根据小包时延和大业务速率结合用户体验回访结果制定 感知门限。 接入性性能 KQI评估：主要评估用户是否能够正常发起和接入数据业务过程，其信令过程主要体 现为用户 RAB 成功率、DNS 激活成功率、SYN 成功率、GET 成功率和业务 post 成功率、网络下发信息 寻呼成功率，选取以上六个业务流程事件做为接入性能 KQI值的统计指标，对统计指标按照各业务流 程加权平均值作为接入性能 KQI综合感知指标。 业 务 接 入 性 KQI 值 R1 + ERAB咸功率+ R2 *寻呼咸功率+ R3 + TAU/S功率i R4 * ATTACHE功率

52、+ B5 * PDN成功率 + RG +默认承戴成功率* R7 *业务诸菠感功+ POST成功率 + : I .；.。其中：ERAB 建立成功率、寻呼成 功率、TAU 成功率、ATTACH 成功率、PDN 成功率、POST 成功率、业务请求成功率、承载修改成功率、 SYN 连接成功率、DNS 成功率和 GET 成功率作为各自单项 KQI量化值； R1+R2+R3+R4+R5+R=1（R1,R2,R3.为 ERAB 事件 DNSSYNGETPS 寻呼 POST 等 KQI 的权重 因子）。 接入性能计算：如下表所示，通过 S1 接口平台统计对应维度（本次统计为全网区域和小区级别） 子项 KQI指

53、标值，在制定 KQI对应业务流量子项 KQI感知门限后，根据 QOE 十算模型计算公式、对业 务感知进行评估打分 （百分制），各子项 KQI权重加权获得接入性能 KQI感知得分，输出接入性能 KQI 感知等级。 （2）完整性能 KQI 即时通信业务完整性能感知门限和权重定义：主要以各类业务客户感知为主要评价标注，不同业 务，客户感知指标评价有所不同，即时通信业务完整性能感知评估，通过分析即时通信业务下行平均 数据大小，发现下行数据较小，小于 1K 字节，由于浏览业务和视频业务充分针对速率进行充分考虑， 本次针对即时通信业务暂不做讨论。 评估各包大小业务时延感知性能门限指标值如下： 四大功能 I

54、P 地址 下行包平均大小 Byte 软件背景功能 即时信息交互 朋友圈、大众平台 表 4 即时通信业务下行数据量分析表 (3) 保持性能 KQI 评估 即时通信业务保持性能 KQI门限和权重：保持性能 KQI 主要以 TCP 重传率、TCP 重置率和 IU 口释 放率，作为表征 KQI来衡量，KQI分项权重为 40% 30%和 30%优秀值、良好值和差值门限感知如下： 用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况， 用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为 断率（TCP 重置率）和 UE 接口异常释放率 等情况，对统计指标按照各业务流

55、程加权平均值作为业务完 整性能 KQI综合感知指标。 定义即时通信业务保持性 KQI值= 门 I wm-. K1+K2+K3=1（K1 重传率权重为 30%,K2 重置率权重为 40%,iu异常释放率权重为 30%）。 3.6 QoE 的公式选取及计算过程 通过信令与话统聚类计算建立的 KQI对应各子项 QoE 现为了使 KQI的测量结果在得分上有一个 较为统一基准（根据业务质量关键 KQI客户感知门限和关键 KQI权重定义），从而得出各子项 QoE 分 值，且其所反映的网络质量具有较好的一致性（前期经验） ，根据以下模型将 KQI测量结果转换为百 分制值。 其中： Xtest表示 KQI测量

56、值； X表示 KQI百分制值； I表示理想值，为该指标的用户满意值，当测量结果等于或优于该值时，其百分制得分为 100 分。（感知优秀门限 分值） Q 表示合格值，对应百分制得分中的 60 分。（感知达标门限分值） T 表示最差值，对应百分制得分中的 0 分，即当指标比边界线差时，得分均为 0,表示此时用户已无法容忍。（感 知最差门限分值） I、Q 和 T 值从用户感知实际岀发，可以通过无线实测模拟用户行为进行校正，从而确定各个参数的取值。 3.7 QoE 模型应用 3.7.1 1 月 QOB价结果 四类业务 QOS价结果合计方法： （1）、网络浏览、视频类满分均为 3 分，QoE 达到 “优

57、”得 3 分，“良”得 2 分，“中”得 1 分，“差”不得分；（2）、即时消息、下载类满 分均为 2 分，QoE 达到“优”得 2 分，“良”得 1 分，“中”得分，“差”不得分 评价结果概述 TCP 包重传率丢包、业务过程中 Q0 时价总体结果：统计分析 1 月 17 号、18 号、19 号三天四类业务的 QOE 1 月末 全区浏览、视频、应用下载和即时通信业务 QOE 评价结果为分，客户感知评价较低，感 知低的主要原因：（1）视频业务大包速率普遍较低，未达到超清速率感知要求； （2）应 用下载业务大包速率感知评价较低；（3）接入性能中寻呼成功率、承载修改成功率和默 认承载建立成功率较低。

58、 4G 客户 1 月四类业务 QOE 总体评价结果排名靠前的地市为：崇左、贵港和来宾。 1 月 QOE名靠后的地市为：百色、北海、桂林、河池、梧州和与玉林。 附件： QOE总体 2.XISX 1 月四类业务 QOE. xlsx QOE 评价差地市问题 1 月 QOE名靠后的地市为： 百色、北海、桂林、河池、梧州和与玉林。主要冋题为: 北海 4G 用户 QO 科价低主要为接入性能 KQI 评价差导致，完整性能评价达到优秀区间， 北海接入性能差，具体指标为默认承载建立成功率 %更新承载成功率为 28%寻呼成功 率为% DNS 成功率为 91%低于指标健康门限和全网均值。 后续需要进行重点分析。 百

59、色 QOE 整体评价低，主要为接入性能 KQI： Service_request 成功率为（达标门限 99%、默认承载建立成功率为（达标门限 98%;完整性能整体评价为达标，未达到优秀 目标，核查主要为大包速率感知评价低，百色 S1 接口定界三类业务上行时延过为 159 毫 秒，而全区 S1 接口上行 RT 时延均值为 83 毫秒，后续需要进行重点分析。 桂林和河池浏览业务、视频业务和应用下载接入性能差，具体指标为 ATTACH 和承载 修改成功率低，更新承载成功率为 85%系统间互操作原因导致失败比例过高 。桂林浏 览业务和视频业务大包感知评价低，主要为无线侧下行时延大 （49 毫秒），远远大于其他 地市 33 毫秒，核查桂林和河池下行 RTT 时延大结果为贝尔业务区大包速率感知差，下行 RTT