4G用户体验质量QoE体系原理及优化指导书V1

中国联通广西分公司 4G用户体验质量QoE体系原理及优化指导书 1 2016年4G网络QOE算法简介和考核目标1.1 指标简介：4G时代已经来临，网络建设持续发力、客户挖掘和发展加之各类新兴APP业务的多样性（智能终端的快速普及和微信、视频、证券、云盘等新兴移动互联网业务应用的日趋丰富），用户对移动数据业务使用体验的要求愈来愈高。因此，需要进行对用户使用的主流业务进行科学的量化和评价，以便进一步进行客户感知量化管理和端到端短板问题挖掘及精准优化。为了紧密贴近用户上网实际感知，必须要转变网络质量管理方式，不仅关注网络性能，更要关注业务质量与用户感知的量化评价。本次基于单用户单次会话控制面和业务面（S1接口、S11接口、S6A接口信令）全流程事件构成感知评价要素，从接入性（Accessibility）、完整性（Integrity）和保持性（Retainability）三个部分的用户感知关键指标KQI来构建4G客户QoE（用户的体验质量）评估体系，以通过QoE的量化的形式来评估用户感知的好坏程度，并对评估出感知差的用户、站点/小区、SP进行全程全网端到端的分析优化，从而提升用户的上网感知，即让用户上网时获得“上得去，不中断，速率快”的良好体验。2016年4G网络客户业务QOE评价算法变化情况描述：本次主要根据浏览、视频、应用下载和即时通信业务实际特性，主要基于各类业务QOS要求特性，例如：交互类时延要求低、会话类时延要求高、视频类速率码率和清晰度速率差异要求。针对接入性能、完整性能和保持性能进行门限重新定义，更加适合现有客户满意度需求，通过无线、核心网络和业务层面优化，达到进一步提升客户满意度和业务感知的目的。（1）浏览业务小包时延和大包感知权重进行优化，根据小包流量和大包流量、小包次数和大包次数比例和流量贡献情况，适当增加大包速率感知权重，由前期小包：大包=65%：35%优化为小包：大包=20%：80%；（2）视频业务四大APP（乐视、优酷、爱奇艺、腾讯）进行标清、高清、超清、1080P测试验证，15年以标清视频为基准进行视频感知制定，由于客户使用高清视频比例达到65%左右，因此2016年以高清视频感知需求为基准，制定了贴近业务需求的速率感知门限，更加准确的评价视频客户使用业务感知高低。（3）应用下载大流量业务速率感知提升，为了进一步保障和提升4G存量客户感知，适当提升大包数据感知门限，例如8M应用下载业务优秀门限由2.6Mbit/S提升为4Mbit/S。1.2 考核目标：4G业务QOE以1月QOE百分制得分为基准，各地市每个月目标为在一月份基础上，百分制得分增加1%为达到考核目标（举例：2月份为在1月份基础上增加1%，三月份基础上增加2%，以此类推，如果改月QOE得分增加比例达到1月基础的百分比例，即为考核达标）；如果按照一月份基础上，某月增加的百分制数值达到90分，默认为达到考核目标）2 4G客户业务体验QoE实施背景传统的KPI只能集中反映网络设备的性能（控制面），很多时候存在KPI很好但业务质量不佳的情况。而KQI 聚焦用户面和控制面，更能贴近用户的业务质量和用户体验，而QoE则是由各类业务（如浏览类、视频类、下载类等）的主要KQI构建而成，即相对传统的KPI更能贴近用户的真实上网感知。即KPI主要评估的是网络管道的质量，而QoE/KQI则是评估网络管道内的业务质量。如网页浏览的KQI模型：用户上网的主要信令流程：3 QoE体系建立思路描述一套体系：本次的QoE（用户的体验质量，Quality of Experience，QoE）主要针对浏览类业务、视频业务、应用下载业务、即时通信业务进行基于上网业务全流程KQI（关键质量指标）感知评估。QoE体系的建立思路主要为：各类业务接入、完整、保持性能的KQI指标选取及定义、各类业务的KQI指标门限及权重的选择、QoE体系的计算。两级定界：在QOE模型建立中，全面引入表征QI（业务指标），基于IUPS接口进行KQI质量问题分析，一级问题定位界：针对网络、客户、终端和SP等维度QOE评价差的网元、客户、终端和SP进行S1接口以上和以下质量问题定位，S1接口以上问题表征QI为：上行SYN时延、上行RTT时延、上行重置率；S2接口以下问题表征QI为：下行重传率、下行RTT时延、下行重置率和单位流量切换次数，鉴权失败S6A接口指标关联，短信、语音被叫感知SGS接口指标关联,；二级问题定界：S1接口ATTACH、PDN、默认承载建立、承载修改和业务请求失败CAUSE关联细分，结合设备KPI进行感知具体影响因素分析，业务质量侧SP失败代码关联分析确定服务器侧具体问题，无线侧基于网络接入KPI（关键性能指标）保持KPI和完整性能KPI，关联无线侧容量、编码配置、功能参数、无线质量和移动性能相关表征PI（性能指标）进行具体问题核查和优化。三个层面： 基于端、管、云优化思路，在QOE模型基础之上，业务维度与端（VIP客户维度，热门终端维度）管（网络、小区、ENODEB、MME、SGW、PGW、APN维度、3GNET路由维度、SP落地维度）云（热门业务SP维度、服务器参数设置维度、分布式服务器落地性能分析）。进行QOE评价和QI关联输出QOE感知差客户和终端、小区和设备、业务和服务器，进一步进行各专业协作分析和优化。备注：在有资源条件下，基于各类业务主流终端主流业务测试QOE感知常态工作，在后期体现，力求做到全网评估QOE与测试QOE基本吻合。3.1 QOE百分制算法介绍4G客户QOE百分制按照四类业务感知评价分值进行聚合计算，计算地市维度、小区维度、终端维度和SP维度QOE得分，浏览业务、视频业务、应用下载和即时通信四类业务权重占比为：浏览业务30%、视频业务30%、应用下载30%和即时通信10%。QOE得分=浏览业务QOE得分*30%+视频业务QOE得分*30%+应用下载QOE得分*30%+即时通信QOE得分*10%。3.2 浏览类业务QoE模型构建3.2.1浏览业务QOE感知评价模型介绍基于S1/SGS/S6A接口平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，主要信令指标按照一般上网流程划分三类，包括业务接入KQI指标（ATTACH、PDP、DNS、SYN、GET）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率和IU-RELEASE掉线率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。表1：浏览业务QOE评估体系考核KQI子项权重和感知门限KQI子项KQI子项权重QI门限QI权重优秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%92%90%-92%85%-90%95%93%-95%90%-93%95%93%-95%90%-93%90%10%完整性KQI50%100K数据包时延（小包）38020%200K速率22001800-22001500-180030002500-30001500-250040003500-40002500-350040003500-40002500-350040003500-40002500-350040003500-40002500-35002048K速率60005000-60003000-50003000随即计算保持性KQI20%TCP下行重置率0.5%40.00%TCP下行重传率1.5%30.00%UE异常掉线率5%30.00%3.2.2浏览业务QOE数学模型介绍QOE=QOEa+QOEb+QOEc浏览业务QOE计算模型中QOEb、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEc=X* 业务保持性KQI值、QOEb=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。3.2.3浏览业务QOE和KQI等级划分根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%，Y=50%，Z=20%。（1）浏览业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；（2）浏览业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等级门限如下。接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。3.2.4浏览业务KQI计算模型描述（1）接入性能KQI评估简介如下表所示，通过S1接口平台统计对应维度（本次统计为全网区域和小区级别）子项KQI指标值，在制定KQI对应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，输出接入性能KQI感知等级。业务接入性KQI值=R1*ERAB成功率+R2*寻呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默认承载成功率+R7*业务请求成功R7+承载修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值，表达式如下：R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.为ATTCH业务PDNDNS 等KQI的权重因子)。本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB无无线侧表征、GET为SP侧），11类接入事件权重分别为：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。（2）完整性能KQI评估简介浏览业务完整性KQI评估计算：主要评估用户在进行数据业务过程中业务感知好坏情况，用户数据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，依据小包时延和大包速率制定的感知门限，由于实际网络各区间包时延和速率与满足感知差别较大，部分门限进行调整。浏览业务QOE完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8。评估各包大小业务时延感知性能门限指标值如下：以下小包时延门限根据前期感限速测试获得，门限研究部分阐述小包校正后良好感知速率为400KBIT./S，换算时延为1秒。大包业务速率门限根据业务时延QOS计算获得。表2 完整性能KQI时延感知门限速率转换表包区间优秀I良好门限Q达标门限T3GPP换算速率I门限换算时延（S）小包完成时延(MS)330350380（校正）4000.5200K速率2200.001800.001066.67142.221.5300K速率3000.002500.001200.00266.672500K速率4000.003500.002000.00444.442800K速率4000.003500.002133.33622.2231024K速率4000.003500.002730.67800.0032048K速率4000.003500.003000.00977.7832048K速率6000.005000.003000.001066.673其中: Q值对应8个区间速率感知得分，为浏览业务想数据流大小区间对应的感知得分值。 W为8个区间权重因子。W1+W2+W3+W4+W5+W6.+W8=1(W1,W2,W3。为不同业务包区间权重因子)。浏览业务小包和大包业务权重计算表：根据流量和业务次数40%:60%比例计算获得。包区间次数600KB次数占比81.44%16.99%1.00%0.22%0.10%0.05%0.04%0.16%流量占比42.17%15.73%10.01%4.14%3.24%2.09%1.72%20.91%业务权重（W1-W8）65.73%W116.48%W24.61%W31.79%W41.36%W50.87%W60.71%W78.46%W8（3）保持性能KQI评估简介保持性能KQI门限和权重：保持性能KQI主要以TCP重传率、TCP重置率和IU-RELEASE释放率，作为表征KQI来衡量，KQI分项权重为40%、30%、30%。优秀值、良好值和差值门限感知如下：用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况，用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（TCP重置率）和TCP包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能KQI综合感知指标。定义浏览业务保持性KQI值= K1*TCP重传率+K2*TCP重置率+K3*UE异常RELEASE掉线率，K1+K2+K3=1(K1重传率权重40%,K2重置率权重30%,K3为IU-RELEASE掉线率权重30%)。3.3 视频类业务QoE模型构建3.3.1视频业务QOE感知评价模型介绍基于IUPS平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，主要信令指标按照一般上网流程划分三类，包括业务接入KQI指标（ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。表3：视频业务QOE评估体系考核KQI子项权重和感知门限KQI子项KQI子项权重QI门限QI权重优秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%92%90%-92%85%-90%95%93%-95%90%-93%96%94%-96%90%-94%90%10%完整性KQI50%100K数据包时延（小包）3800%200K速率30002200-30001200-220030002200-30001600-220035002500-35001800-250040002500-40001800-250040002500-40001800-250026002000-26001800-200016384K速率30002500-30001600-25001600随即计算保持性KQI20%TCP下行重置率3%50.00%TCP下行重传率1.4%50.00%UE异常掉线率4%00.00%3.3.2视频业务QOE数学模型介绍结合主流视频的播放原理、信令流程、业务特征、播放卡顿现象、播放下载速率等，基于IUPS口信令对视频播放KQI建模如图6所示。图6 视频感知KQI建模视频业务QOE数学公式如下：QOE=QOEa+QOEb+QOEcQOE a、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEb=X* 业务保持性KQI值、QOEe=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%,Y=50%,Z=20%。3.3.3视频业务QOE和KQI等级划分（1）视频业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；（2）视频业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等级门限如下：接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。3.3.4视频业务KQI计算模型描述（1）接入性能KQI评估由于三类感知KQI分别由多项业务事件表征KQI组合构成，因此，需要针对每项KQI具体信令统计指标值进行感知高低研究，对投诉客户聚合小区分析，定义KQI衡量差值，根据感知研究经验和其他运营商平均指标，不同业务根据小包时延和大业务速率结合用户体验回访结果制定感知门限。业务接入性KQI值=R1*ERAB成功率+R2*寻呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默认承载成功率+R7*业务请求成功R7+承载修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值；表达式如下：R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.为ATTCH业务PDPDNS 等KQI的权重因子)。本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB无无线侧表征、GET为SP侧），11类接入事件权重分别为：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。接入性能计算：如下表所示，通过S1接口平台统计对应维度（本次统计为全网区域和小区级别）子项KQI指标值，在制定KQI对应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，依据根据客户投诉和业务实际感知（小包时延、大业务速率）制定的感知门限，输出接入性能KQI感知等级。（2）完整性能KQI评估视频完整性能感知门限和权重定义：主要以各类业务客户感知为主要评价标注，不同业务，客户感知指标评价有所不同，视频业务完整性能感知评估，结合数据传送慢启动原因，按照业务请求数据以小包时延和大包速率进行感知门限制定和评估，小包以业务感知时延为衡量标准，定义感知时延16834KB速率300025001600 表4 完整性能KQI时延感知门限速率转换表视频业务完整性KQI评估计算:主要评估用户在进行数据业务过程中业务感知好坏情况，用户数据业务真实感知性能情况，从用户真实感知及业务性能感知参数本质出发，业务时延为用户真实感知重要因素，对统计指标按照每次业务不同包大小区间进行组合运算，结合不同业务感知门限值进行业务保持性KQI值评估。完整性能KQI=小包时延得分*20%+大包速率感知得分*80%(权重根据业务次数和流量加权获得)。小包权重20%，大包权重80%由小包（50KB），根据流量和业务次数60%:40%比例计算获得。大包速率感知完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7+Q8*W8其中: Q值对应8个区间，为视频业务想数据流大小区间对应的得分值。 W1+W2+W3+W4+W5+W6.+W8=1(W1,W2,W3。为不同业务包区间权重因子)，根据流量和业务次数60%:40%比例计算获得。备注：小区级别完整性能计算模型中，小包和大包占比为差异计算获得。（3）保持性能KQI评估保持性能KQI门限和权重：保持性能KQI主要以TCP重传率和TCP重置率，作为表征KQI来衡量，KQI分项权重为50%和50%。优秀值、良好值和差值门限感知如下：用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况，用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（TCP重置率）和TCP包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能KQI综合感知指标。定义视频业务保持性KQI值= K1*TCP重置率+K2*TCP重传率，K1+K2=1(K1重传率权重为50%,K2重置率权重为50%)。3.3.5视频业务播放“卡顿”问题研究为了能从信令上找出移动视频播放“卡顿”的特征，通过在无线信号质量差的环境（RSCP-105dbm,Ec/Io-80dbm,Ec/Io-6dB），从大量的测试分析得知：下载速率大于1300kbps时，观看视频流畅，偶尔有卡顿问题，而速率低于1300kbps时，均出现不同程度的卡顿和初始缓冲严重现象。因此初步确定搜狐视频点播基准速率为1300kbps左右，低于该基准速率时用户感知相对较差，如表1所示。表7 主流APP标清视频点播基准速率与卡顿门限关系表8 主流APP高清视频点播基准速率与卡顿门限关系表9 主流APP超清视频点播基准速率与卡顿门限关系备注：以上只针对普通标清移动搜狐视频业务进行分析，未考虑终端性能影响，乐视超清视频基准速率约为3300kbps左右。本次区分码流类型，以视频APP类超清视频为基准。3.4 应用下载类业务QoE模型构建3.3.1应用下载QOE感知评价模型介绍应用下载业务QOE总体评估方法和视频业务类似，基于IUPS平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化移的动互联网业务各阶段信令流程指标性能进行评估，主要信令指标按照一般上网流程划分三类，包括业务接入KQI指标（ATTACH、PDP、DNS、SYN、GET）业务完整性能KQI指标（GET和POST感知速率和时延）和保持性能KQI指标（TCP重传率、TCP重置率），上述三类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。表4：应用下载业务QOE评估体系考核KQI子项权重和感知门限KQI子项KQI子项权重QI门限QI权重优秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%97%96%-97%94%-96%99.5%99.3%-99.5%99%-99.3%98%95%-98%90%-95%97%95%-97%90%-95%99%95%-99%90%-95%90%10%完整性KQI50%100K数据包时延（小包）3800%200K速率30002000-30001000-200030002000-30001000-200040003000-40002000-300050004000-50003000-400050004000-50003000-400060005000-60004000-500016384K速率120009000-120006000-90006000随即计算保持性KQI20%TCP下行重置率3%50.00%TCP下行重传率1.2%50.00%UE异常掉线率4%0.00%3.3.2应用下载QOE数学模型介绍应用下载QOE计算公式如下：QOE=QOEa+QOEb+QOEcQOE a、QOEb和QOE c分别是指业务接入性能子项QOE值、业务完整性能子项QOE值和业务保持性能子项QOE值，其中：QOEb=X* 业务保持性KQI值、QOEe=Y*业务完整性KQI值、QOEa= Z*业务接入性KQI值，X、Y、Z值为各子项业务KQI值系数权重因子，X+Y+Z=1。根据前期客户投诉在接入、完整和保持方面权重以及业务感知实际需求，定义X=30%,Y=50%,Z=20%。3.3.3应用下载QOE和KQI等级划分（1）应用下载业务QOE感知等级门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；（2）应用下载业务QOE由接入KQI、完整KQI和保持KQI构成，权重为：30%、50%、20%；（3）接入KQI、完整KQI和保持KQI感知等级门限如下：接入KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；完整KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分；保持KQI感知门限：优秀值门限为90分，良好值门限为80分，差值门限为70分。KQI感知门限划分原则：定义KQI得分小于差值门限为“感知差”等级，KQI得分大于差值小于良好值定义为“达标”等级，KQI得分大于良好值门限小于优秀值门限定义为感知“良好”等级，KQI得分大于优秀值门限定义为感知“优秀”等级。3.1.4应用下载KQI计算模型描述（1）接入性能KQI评估通过S1接口平台统计对应维度（本次统计为全网区域和小区级别）子项KQI指标值，在制定KQI对应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，输出接入性能KQI感知等级。业务接入性KQI值=R1*ERAB成功率+R2*寻呼成功率+R3*TAU成功率+R4*ATTACH成功率+R5*PDN成功率+R6*默认承载成功率+R7*业务请求成功R7+承载修改成功率+ R8+R9*DNS成功率+R10*SYN成功率+R11*GET成功率。其中: ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、承载修改成功率、SYN连接成功率、DNS成功率和GET成功率作为各自单项KQI量化值；R1+R2+R3+R4+R5+R6+R11=1(R1,R2,R3.为ATTCH业务PDPDNS 等KQI的权重因子)。本次加大ERAB、ATTACH成功率、默认承载建立成功率和GET功率权重（RAB无无线侧表征、GET为SP侧），11类接入事件权重分别为：10%,5%,10%,10%,10%,10%,10%,10%,10%,5%,10%。接入性能计算：如下表所示，通过S1接口平台统计对应维度（本次统计为全网区域和小区级别）子项KQI指标值，在制定KQI对应业务流量子项KQI感知门限后，根据QOE计算模型计算公式对业务感知进行评估打分（百分制），各子项KQI权重加权获得接入性能KQI感知得分，依据根据客户投诉和业务实际感知（小包时延、大业务速率）制定的感知门限，输出接入性能KQI感知等级。（2）完整性能KQI评估应用下载完整性能感知门限和权重定义：主要以各类业务客户感知为主要评价标注，不同业务，客户感知指标评价有所不同，应用下载业务完整性能感知评估，结合数据传送慢启动原因，按照客户请求数据以小包时延和大包速率进行感知门限制定和评估，小包以业务感知时延为衡量标准，定义感知时延350毫秒为优秀值，应用下载时延大于350毫秒小于370毫秒为良好值，定义大于370毫秒小于450毫秒为达标值，时延大于450毫秒为差值。大于50K字节数据按照速率区间进行感知门限制定（以前期应用下载业务速率感知验证为依据）。完整性能KQI=小包时延得分*20%+大包速率感知得分*80%(权重根据业务次数和流量加权获得)。小包权重10%，大包权权90%由小包（50KB），根据流量和业务次数60%:40%比例计算获得。大包速率感知完整性KQI值= Q1*W1+Q2*W2+Q3*W3+ Q4*W4+ Q5*W5+Q6*W6+Q7*W7其中: Q值对应8个区间，为视频业务想数据流大小区间对应的得分值。 W1+W2+W3+W4+W5+W6.+W7=1(W1,W2,W3。为不同业务包区间权重因子)，根据流量和业务次数60%:40%比例计算获得。备注：小区级别完整性能计算模型中，小包和大包占比为差异计算获得。评估各包大小业务时延感知性能门限指标值如下：应用下载业务数据“包区间”优秀值I良好值Q达标值T200K速率300020001000500K速率3000200010001024K速率4000300020004096K速率5000400030008192K速率50004000300016384K速率60005000400016384K速率1200090006000 表9 完整性能KQI时延感知门限速率转换表（3）保持性能KQI评估保持性能KQI门限和权重：保持性能KQI主要以TCP重传率和TCP重置率，作为表征KQI来衡量，KQI分项权重为50%和50%。优秀值、良好值和差值门限感知如下：用户业务保持性能评估，主要评估用户在进行数据业务过程中信令流程完整及业务可靠感知情况，用户是否有正常数据业务行为及其成功率感知情况，其中主要体现为业务过程中断率（TCP重置率）和TCP包重传率丢包等情况，对统计指标按照各业务流程加权平均值作为业务完整性能KQI综合感知指标。定义应用下载业务保持性KQI值= K1*TCP重置率+K2*TCP重传率，K1+K2=1(K1重传率权重为50%,K2重置率权重50%)。3.5 即时通信业务QoE模型构建3.4.1即时通信业务QOE感知评价模型介绍基于LTE平台的数据业务感知评估方法解决传统无线指标单纯面向设备、无用户面指标和指标对用户感知不敏感等问题，将用户主观层面的感知转化成可量化的移动互联网业务各阶段信令流程指标性能进行评估，基于即时通信业务特点，主要为接入和保持方面客户可以正常使用，完整性能KQI方面不做研究（即时通信下行数据包小于100K字节占比93%，根据4G小包时延分析，小于100K时延小于500毫秒，因此即时通信大包速率没有研究价值。浏览、视频、应用三类大包业务已经强化了速率完整性能KQI评估）。主要信令指标按照即时通信接入和保持性能流程划分两类，包括即时通信业务全流程业务接入KQI指标（ERAB建立成功率、寻呼成功率、TAU成功率、ATTACH成功率、PDN成功率、默认承载建立成功率、业务请求成功率、POST成功率、SYN连接成功率、DNS成功率和GET成功率）和即时业务保持性能KQI指标（TCP重置率、TCP重传率、UE异常释放率），上述两类指标量化后系数加权值作为数据业务上网感知性能（QOE）的最终数值。表3：即时通信业务QOE评估体系考核KQI子项权重和感知门限KQI子项KQI子项权重QI门限QI权重优秀良好正常差接入性KQI30%E-RAB建立成功率(%)99.5%99.3%-99.5%99%-99.3%93%90%-93%88%-93%98%97%-98%95%-97%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.5%99.3%-99.5%99%-99.3%99.8%99.5%-99.8%98%-99.5%99.5%99.3%-99.5%99%-99.3%98%95%-98%90%-95%97%95%-97%90%-95%99%98%-99%95%-98%95%10%保持性KQI20%TCP下行重置率3%30.00%TCP下行重传率0.6%40.00%UE异常掉线率5%30.00%3.4.2即时通信业务QOE数学模型介绍结合微信业务使用特征，信令流程、业务特征、推送和接收数据等，基于IUPS口信令对即时通信业务主要流程研究，主要包括软件登陆、更新、刷新、发表和接收。主要涉及到业务接入KQI研究和业务保持性能KQI研究。即时通信业务QOE数学公式如下：QOE=QOEa+QOEbQOE a、QOEb分别是指业务接入性能子项QOE值、业务保持性能子项QOE值，其中：QOEa=X* 业务接入性KQI值、QOEb= Y*业务保持性KQI值，X、Y值