面向业务的端到端客户感知评价监控分析系统

1、成果上报申请书成果名称面向业务的端到端客户感知评估监控分析系统成果申报单位北京省（自治区/直辖市）公司成果承担部门/分公司网络部、网络优化中心、网络运行支撑中心 部门/北京 分公司项目负责人姓名项目负责人联系电话和Email项目参与人姓名成果专业类别*无线&核心网所属专业部门*网络线条成果研究类别*相关网络解决方案省内评审结果*关键词索引（35 个）客户感知导向、端到端业务质量管理、用户级场景级评估、 深层问题原因定位、叫可系统应用投资万元（指别的省引入应用大致需要的投资金额）产品版权归属单位北京公司对企业现有标准规范的符合度： 符合现有企业标准规范如果该成果来源于研发项目，请填写研发项目的年

2、度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个：无成果简介：本课题以网络质量管理工作从传统的基于网元的以KPI为中心的管理向以客户感知为导向的端到端的业务管理转变为根本思想，创建J面向2G语音业务和数据业务的端到端客户感知评估方法和模型，有效建立了网络指标与用户感知之间的有机联系，解决了 “网元好w端到端质量好，均值好w局部地区好，测试好w单用户好，统计好w感受好”的评估难题，并提供了向向业务、向向场景、向向用户、向向网络的客户感知监控分析能力，实现了多维度的深入的客户感知综合分析和追溯功能，快速准确的定位用户感知的问题原因，更好地

3、指导了网络的优化工作，同时提升了工作效率，为改善客户感知，提升客户保有率和公司口碑发挥了巨大作用，是保证网络质量这一企业生命线的导航仪和推进器。省内试运行效果:针对语音和数据业务分别定制的端到端客户感知评估监控分析系统上线后，已经在多项重要的网络专项优化工作中发挥了积极的作用，如1） EDGE加宽加厚：已在现网近 3500小区的EDGE加宽加厚改造中引入了 QoE体系评估，用于改造方案的修正；2） PDCH承载效率提升：在CBD等区域的PDCH承载效率提升专项优化中引入了QoE体系，修正了优化算法，使得提升资源利用率的同时确保了用户感知的稳定；3） TFD/TFU参数优化：有效评估了参数优化的

4、QoE指标变化，为最优参数选择提供了准确参照系；4）外部SP评估：TOP20访问量网站的时延及其规律分析，为数据业务的用户感知提升明确了方向；5）利用自定义场景的客户感知监控分析，灵活地为各种通信保障活动提供了有效的评估和网络质量保障；6）面向用户的监控分析为集团客户和VIP客户提供了端到端的业务保障，为打造一流的客户感知奠定了基础；7）系统有效缩短了用户投诉的处理时长，即提升了用户满意度，又节省了优化人员的宝贵时间；8）有力的指导了网络优化工作的开展，提升了优化工作对用户感知和资源利用率的贡献度，加强优 化工作的精准度和均衡性。该系统的引入从根本上转变了网络质量评估和管理的思维模式，是当前复

5、杂的网络环境和 日益激烈的市场竞争形式下，为保证网络优势和客户满意度的必要转变，是网络评估优化工作 中更精确的导航。该系统在提高工作精准度的同时还大大提升了工作效率，压缩了问题持续时 间，是网络优化工作的推进器。因此本成果具有突出的现实意义和实用价值，推广价值和效益 明显，建议推广。文章主体（ 3000字以上，可附在表格后）：见下文。面向业务的端到端客户感知评估监控分析系统一、背景情况随着移动通信网络的日益复杂化，网络中逐渐出现了“网元好w端到端质量好，均值好w局部地区好，测试好W单用户好，统计好W感受好”的脱节现象，客户满意度的提升不再与单纯的网络KPI的提升成正比，网络质量的评估优化等一系

6、列管理工作迫切需要从传统的基于网元的以 KPI为中心的管理向以客户感知为导向的端到端的业务管理转变！在此背景下，本成果的主要意义在于：i.建立面向业务的端到端客户感知评估体系，实现了从基于网元的 KPI管理到基于客户感i.知的端到端业务管理的转变，解决“网元好W端到端质量好，统计好W感受好”的问题；实现了分场景，且最低粒度为小区级的用户感知评估和监控，解决“均值好w局部地区好”的问题；实现了对集团客户，甚至是单用户的感知评估和监控， 解决“测试好w单用户好”的问题；设计大量的分析型 KPI,实现对造成不良感知或用户投诉真正原因的快速定位，提高问题的发现速度和优化效率，提升用户感知；以用户感知的

7、评估指导网络优化调整工作的开展，保证资源受限的情况下一切调整不以 牺牲用户感知为代价；实现了 “可视、可管、可分析、可溯源” 的“四可”客户感知监控分析系统，支撑 “面 向用户、面向业务、面向网络、面向场景”的客户感知评估管理工作开展。二、技术方案1、概述从面向业务的端到端客户感知的评估、监控、分析工作的实际需求出发，本成果的技术方案主要包括以下技术点：设计层次丰富、结构清晰的客户感知模型，既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性；针对不同业务，通过业务矩阵分解，建立端到端的客户感知评估体系；挖掘丰富的数据源，实现全面完整的客户感知评价；深入分析问题原因与症状之间的映射关

8、系，实现问题原因的快速定位；采取专家问卷调查等多种手段制定评分规则，保证评估体系是客户感知的真实反映；设计开发满足“四可”、“四面向”的客户感知监控分析系统。2、层次丰富、结构清晰的客户感知模型设计为达到既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性的目的，客户感知的模型从上至下共设计了 5个层次：指标名称说明要求主要用途KQI依据ITU E800规范框架，结合实际评 估经验，将端到端用户感知分为覆盖 性、接入性、完整性和保持性4大项，由逻辑KPI汇聚运算得出有05评分标准网络质里评估逻辑KPI构成KQI指标的子项，根据需要而构 建，由评估型KPI汇聚运算得出有05评分标准评估

9、型KPI构成逻辑KPI的指标，可直接使用已 有的厂家KPI,也可根据需要而 counter 构建有05评分标准分析型KPI在为某项评估性 KPI指标确定问题所 在的时候，用来细分原因定位Root位置。可以来自各种数据 counter或者某 种判断逻辑有告警门限原因分析 与定位Raw Counter用于计算评估KPI和分析型KPI的原始测量数据（Raw data）客户感知评估体系中用于评估网络质量的指标包括KQI、逻辑KPI、评估型KPI ,三者之间有逐级对应的汇聚计算关系。当上层指标不好时，可以量化计算每个下层指标所造成的影响。从网络层级上看，KQI、逻辑KPI和评估型KPI的构建都是从小区级

10、开始的。更高层级（包括场 景、BSC、MSS、行政区域等）的指标都是以下一层网络的指标经汇聚运算得出。QoE体系中的分析型 KPI则用于当某项评估型 KPI不良时，细分问题的根源位置。通常某项评 估型KPI的好坏，与其所关联的分析型 KPI的好坏有直接或间接的关系，但二者之间并没有直接的汇聚计算关系。对于语音业务，共设计了网络覆盖、接入性、保持性、完整性 4项KQI, 7项逻辑KPI, 12项评 估型KPI,对于数据业务，共设计了接入性、保持性、完整性 3项KQI , 9项逻辑KPI, 38项评估型 KPI ,而两项业务均设计了百余项分析型KPI ,各层次KPI的繁简程度直接体现了一方面满足客

11、户感知评估的简明性，另一方面满足问题原因分析定位的复杂性的要求。3、面向业务的端到端客户感知评估体系建立针对不同的业务，遵循以下六个步骤实现端到端客户感知评估体系的建立：分析业务场景分析用户体验时间轴确定业务拓扑图开发业务矩阵KQI/KPI模型确定KQI测量方法及其所流经的服务资源。 下图即为其中业务矩阵是把业务生命周期分解成底层技术相关的动作,及其所流经的服务资源。 下图即为分解得到的语音和数据业务的业务矩阵。怛括称功上被叫（同一阈内）的业务也阵EZEMiflNubileSGSN网8 NN In。可册5祖j.HTTP Danin Inq哼yTCP Comect&i JeupHTTP 烟M.

12、nd EMi TrinaJw怛括称功上被叫（同一阈内）的业务也阵EZEMiflNubileSGSN网8 NN In。可册5祖j.HTTP Danin Inq哼yTCP Comect&i JeupHTTP 烟M. nd EMi TrinaJw4、丰富数据源的挖掘利用得到各业务的业务矩阵，确定所需的counter和测量点后，还要根据数据源状况，采选合适的测量数据进行关键指标的构建，因此数据源对于所得评估体系最终与客户感知的相符程度也起着至关重要的作用。本成果中不仅利用了 OMC提供的大量统计作为数据源，还深度挖掘了设备厂家的统计工具及第三方的监测统计手段，并采用了诺西的Traffica系统和中创的

13、信令监测系统分别作为语音和数据业务的数据源之一。除此之外，还结合实际的工作经验和需求，定制了寻呼黑洞，异常短呼的分析结果作为数据源，同时还纳入了用户投诉数据来帮助进行用户感知的评估和问题分析。丰富的数据源奠定了全面准确反映用户感知的基础。5、问题原因的快速定位为使客户感知评估体系能够在发现问题的同时帮助快速的定位问题原因，提高网络优化效率，-方面设计并定义了丰富的分析型指标，利用分析型KPI构成分析问题库，包括覆盖、负荷、干扰、移动性和RTT clear code等类型的指标。每个评估型KPI都会和分析问题库中的相应内容进行关联，对每一项评估型 KPI,进行分析型KPI的归类和收集，及关联关系

14、的建立，使其与评估型 KPI形成合理因此分析问题的映射关系，集成在一起可以便在发现问题后很方便地进行优化上的原因分析和查找。因此分析问题库就是一个优化的经验库。另一方面专题深入分析了Traffica clear code与掉话等问题原因的细分映射关系，利用 Traffica clear code准确快速的定位至问题原因。R6阳糖/诂）短川期分：DIjTJUm组石小2!而旧也已题值三匚7比1%日.新士咕相曷后，无好J挣鼎匚1 . trt r bdi : Lis.-; ar fakra xa txt CwUub.l# 目后 J 工!叫釉F 有叵走M&iW1Mt.主叫二小H I. T L 巾 iTi

15、gffE 2tli11rhIftlS用我王叫SUSiSiSlfieiEM： request-ndjLrletlajCr fsilurruvum/汕W 4tdbMJHL 主叫f A4MSI. r 4 inLarf4CA fulur a15龄鼠用TllH 侵除与天蝇式诰IHynrl Hn in If ti lr遹旃命蚀W叫，氏瞪枇苣曰强：1网中i二t研工次i扭_1=0 右科S9核叫天洲控京二 cl 呼 srrealio i-nt*-ff srt f ii Itt遢话而比战近谱:.出qq-3.尸修口，mgt 1“电上lif留段!便则Hi切切阳剪启岫1 加乳无雌H： dev叱61壮丁 * i&tffi

16、ee* F外1修电6、评分规则的科学制定如何将评估体系中的KPI科学的映射到客户感知一直是相关研究的重点和难点所在，在本成果中，为准确把握客户感知，采用了设定门限的0-5分的归一化评分方式，即对各评估型 KPI,根据其所处的不同区间评价为 0-5分六档，其中5分为客户感知优秀，3-4分为客户感知良好，1-2分为客户 感知不良，0分代表客户感知差。为使评分门限能够准确的反映客户感知，本成果中采用了多种方式方法，综合制定了评分门限，主要采取的方法有：i.ii.i.ii.iii.iv.份；各评彳t型KPI现网情况的统计和分布分析；利用典型案例对客户感知评估体系的验证；150利用用户投诉中预估覆盖小区

17、与客户感知的评估结果对照1507、四可”、四面向”系统的设计开发设计了系统功能和界面，部署并开发了基于成果中建立的面向业务的端到端客户感知评估体系,相应的硬软件，实现了 “可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统， 支撑“面 向用户、面向业务、面向网络、面向场景”的客户感知评估、监控、分析等一系列管理工作的开展。设计了系统功能和界面，部署并开发了该系统实现了对客户感知的监控和评估，还可以方便的实现从客户感知KQI一逻辑KPI一评估型KPI一分析型KPI-Raw counter逐级的钻取和分析，快速的定位问题原因，及时的改善网络环境，第 一时间回复用户投诉，切实提升用户感知。同

18、时，还可以自定义的开展集团客户或单个用户的感知评 估，自定义场景的评估，更有利于通信保障等专项工作中的客户感知保证。三、效果面向业务的端到端客户感知评估监控分析系统上线后，一举突破了当前语音和数据业务网络质量评估单纯依靠路测和无线侧 KPI、与用户感知脱节的初级优化阶段，实现了端到端、用户级的业务感 知评估、监控与原因深度定位分析：1）实现了语音和数据业务用户感知的实时端到端量化评估与监控：系统上线后，可以分别从用户、场景、业务和网元维度，准实时（最小 15分钟粒度）地量化评估不同业务的用户感知， 对影响感知的网络质量变化监控更及时、更准确。2）实现了语音和数据业务用户投诉相关的端到端网络分析

19、：通过Gn信令、Traffica数据、WAP网关日志、OMC统计的自动关联，实现了投诉问题原因的快速定位，以往需要23天的VIP投诉处理时长可以缩短到 4小时以内，同时问题定位的准确度也提升明显，以往复测无 法复现的问题也可以通过 QoE系统进行准确的信令回溯和原因定位。3）客户感知评估体系指导下的网络优化更有效：与传统KPI导向的网络优化相比，以客户感知为导向的网络优化使得网络调整更加精确。以EGPRS信道配置优化为例，在 QoE体系指导下，改变了以往单纯依靠 PDCH复用度等KPI进行调整的方法，充分考虑了每个小区的用户感知度得分，使得 EGPRS信道资源更多的向感知差小区倾斜。在 CBD

20、区域试用结果显示，PDCH承载效率提升达16%,而用户感知的接入性、完整性、保持性指标保持稳定，达到了 即提高资源利用率同时又尽量减少对客户感知的影响的目的。1、分场景、分用户的端到端客户感知量化评估A.分场景的 QOE评估本成果能够提供灵活的自定义场景的客户感知监控分析，在对不同场景分析的同时，还可以通过多个场景的比较发现短板，集中力量优化。如下图所示，就是对北京东城区和朝阳区核心区域内各场景的评估，该地区域人口密度较高，覆 盖场景较多，如娱乐场所、商务区、住宅等。本文分别针对娱乐场所、商务区、高端住宅和道路四个场景进行了接入性、保持性、完整性和网络覆盖等方面的 QOE的评估，通过评估可得这

21、几类场景的整体客户感知均处于良好水平，即各场景 的各项KQI得分都在3分以上，说明整体状况良好。场景KQI_ 网络覆盖逻辑KPI_ 覆盖率逻辑KPI_ 覆盖投品KQI_ 接入，逻辑KPI_ 端到端接通率逻车t KPI_端到端 呼叫建立时延KQI_完整，逻辑KPI_话音质量逻车t KPI_ 单/回/席KQI_ 保持，逻辑KPI_ 异常中原道路4.304.225.003.954.003.773.974.023.704.004.00商务区4.154.065.004.184.263.844.224.264.014.374.37高端住宅3.613.464.913.843.943.463.984.093.

22、333.853.85娱乐场所04.344.404.144.444.494.164.474.47同时，通过各场景间的比较可以看出:离境住宅3育岩住宅A.5O k离常佳韦高卓性堂离境住宅3育岩住宅A.5O k离常佳韦高卓性堂高端住宅的客户感知水平较其他场景为差，这主要是由于区域内的高端住宅覆盖不足造成。道路的覆盖水平虽然与商务区和娱乐场所一样，但其他各项客户感知水平相对低一些。通过发现各种场景的短板，可以开展更针对性地优化。B.分用户日常监控该系统能够针对单个 VIP用户，或用户团体进行用户感知的评估和监控，并可以设置告警。通过系统界面可以很方便清晰地查看和分析集团客户和VIP客户对不同业务的客户

23、感知情况。系统界面将用户的感知评分通过不同的颜色进行标识，红色表示用户感知差，处于用户不可接受状态，黄色表示 用户感知较差，需要关注，绿色则表示用户感知良好。?集团用户的客户感知监控通过该界面，首先可以将集团用户进行分级，针对不同的级别分别查看分析各用户的接入性、保 持性、完整性和覆盖方面的感知问题。Lj i Lin-Zl i oA 2AYE宫户展却乐统uMfTTP相承t加！MACN柱Lj i Lin-Zl i oA 2AYE宫户展却乐统uMfTTP相承t加！MACN柱 KJ三口014MLf JUUIp录寄演算团才Hi，F4 16中,3.atrp 方正施团 方正团 三座，的1书用片卜巾，its

24、u-UCE河玷叼主2品TOCETH Oil 1B4JDjDl-.D3.3il itQDHi- H 1 IS !? VIP用户的客户感知监控通过用户号码定义 VIP客户或VAP （敏感用户），进行客户感知的监控和评估。同时，可以方便的查看VIP用户的感知单项告警,便的查看VIP用户的感知单项告警,通过对VIP用户的感知进行监控和告警,有望在投诉之前进行针对性的改善，从而减少 VIP投诉的概率，极大的改善用户感知。戛那的电户看尸与码T期刎 C =l-TTPVOICEHTTPir erf-报或性关SUIM-1WAft阚钳132125*4l必158*12?*njat.454.(J 234J24.331

25、 3721 3*24 744 454 G4 22fi.?24.31135*1 石一*4 274 1434号j 734.J31M31 124”，n4 J1131 354 3”,抬A，4 234 72 33IM-e4?3，金抬4，24 2分4 J2mv13MlMIMq ?u1454 G匕4 n4.3113Ml 蜡4：q ?d31 lfl：M13361TU-VOICESAIS? 131-： - hi*1 MEHTQi1HTTP疝人佳i D320111-031 WM*2、实现对感知不良、用户投诉等问题的快速分析定位KPI进行原因钻取，因此利用本评估本成果在设计客户感知评估体系时就提供了大量的底层原始

26、体系可以快速定位造成用户感知不良或投诉的真正原因。KPI进行原因钻取，因此利用本评估本系统可以实现问题的监控和发现、逐步深入的问题原因分析、以及在问题处理后的总体回溯, 大大提高了问题发现及处理的及时率和处理效率，提升了客户的感知。举例说明:?发现问题1443（日坛北路3）覆盖KQI尚可，但其1443（日坛北路3）覆盖KQI尚可，但其阿，芾击 接入，保特，”11T./M猛品制油何叫J. 04 /M猛品制油何叫J. 04 J I -* 诫H监室?分析原因沿着该体系逐步向下钻取，从逻辑KPI到评估型KPI的分析可以看出，造成 KQI不佳的主要恶劣指标是上行误码率和掉话，其他指标也普遍不太好。进一步

27、查找分析型 KPI发现，上行干扰非常严重，导致各方面的客户感知都不好。通过逐层深入的分析最终定位了该小区客户感知不好的真正原因是上行干扰严重。?关联投诉通过对该小区对应时段投诉的检索，发现了确实出现了投诉，说明了 QOE是可以提前对投诉做 出预期的：投诉工单流水号：EOMS24297033 ,手机号：135*1027位置：朝阳区朝外大街 99号2层3层，描述：接打电话都不行。?处理问题通过对用户感知的全面评估，找出短板，迅速定位原因，则能很快针对上行外部干扰的现象进行 处理：对该站所在的 900/1800小区进行合理的话务分流，并适当控制功率。?总体回溯通过系统的回溯可以看到，优化调整后，该小

28、区的QOE感知有了快速明显的回升。通过对用户感知的全面监控，可以发现单个/几个KPI监控难以发现的问题，较早的定位可能发 生投诉的地点，在发生投诉之前改善网络，从而保证良好的用户感知。下面的应用是随意选取北京网内的2155个小区某个时段的数据，套用QoE模型计算各项指标值和评分，检查这些小区当天及前3天的话音业务投诉数据，与 QoE指标进行比较，进行 QOE指标与投诉的关联性验证。如下图所示，选取位于东城区和朝阳区的2155个小区的2011年3月31日19: 00的数据，计算这些小区的QOE评分。从计算结果可以看出，大部分小区的客户感知良好，但是图中的红色和黄色 标识的小区，客户感知存在某些方

29、面的问题，需要重点关注。按照投诉信息中的预估覆盖小区统计,所选取的区域内有投诉的小区共62个，且并未即时解决。按照投诉信息中的预估覆盖小区统计,建单已同宜曲则侬投诉拙读处建措施凝结果闷忧址建指融及玷果9/29/20U2276?；见三耳口不己“收侬九曲） 皿密；北京搦乱网忧东北区8-31/2011 1l:53巴工佶弓厂也丈P：l-YL,3k7Lin；之趋.力工王；厂12:05造语质量227B7事项注有信弓询?:1-YQ73ETL1检网催M北京建动,网m至；3/31/2X1 13:56227V员铺营”-软iEETL/EQFJ港;凯叔密丽即霹阖痛S/31/2O1L 05:33因融蒂生22923信告差

30、短曲片：】-YJEETLin:同溶；北将动，网优.评估中8/31/2011 U：2o221信若不好百宜国话，曾迹匚模以 13 /:让；通七克勒凯司TK物史0!封页单3/31/2011 心:四屈寄223看依嗡三；1阿乾北芸去乱同怔.排不3/31/2011 09:2屣官菁奇快 Of碗樽根编.向学.北式读凯阿m主北悭3 31/3Q11 09.S5磔三自W2加4宜编引1-KT5EFLB脂网落。7 =：-r,-rT. -i1800 话务推移（HCS）25是优化后的效果评估:实施多项优化调整措施后，回龙观网格整体的上行话音误码率KPI得分较之前提高约 19.04%,下行话音误码率 KPI得分3较之前提高约

31、11.16%,客户感知提升明显。完整性：指用户对语音业务使用过程中“声音不连续”、“听不清”等现象的感知类指标。每个 时间片的语音质量基于系统采集的测量报告、切换事件等信息，经过语音质量评估算法得到。分为5分，4分以上优秀，3分良好，2分以下较差）TfUfflWufliiBSiBTTHi T-Util .f-3*H从小区的分分布来看，上行提升较下行明显，上行各得分区间的小区数量都有明显改善。回北现小区上行当质质量完整性客户既知优化前月：4日至3月M日）代化后心月5日名月在日）改善得分区间通宙完整性感知区样本兼刁西样本急藏百曲比小区样本奴_小区样本总数百甘比,X3-L0 ： 441401174：

32、404 2型52 74%铤71?4 NDt 1727%103414084上飞14.41%3一股IE0141创* 北13144MQ寸31妆J 20%3-4艮好：Q【B414(。241473丸4。行15巾34-170%4-5附0324】虹* 23.1010504L4。仃因1报；2G 55%回旋观小区下行通话质量优化-垸整性客户感知改善优化前C月14日至3月17日）优化后浦月汨日至4月绵日）得分区间通舌保持卷口小工样本数小区栏本总数百分比小区栏本教小区样本总数百分比0-1差2234L40r $39%?0：臬40372强34 53%1-2较差1054140 k 2完，抑41401) 4 86%69 62%2-3一船E844：4诉 21 35%L1134：40- 25斑%25 90%3-1良好11654L40- 23 14%14H414。怆 35 58%26 44%4-5优秀L7624L40 42 56%：C5:4140 U 25 43%40 24%优化调整后，从上行的得分等级来看，“优秀”、“良好”的小区比例明显增加，“差”的小区明显