依托客户投诉与关键kpi的关联分析研究，搭建以客户感知为主导的投诉预警体系

成果上报申请书成果名称依托客户投诉与关键KPI关联分析研究，搭建以客户感知为主导的投诉预警体系成果申报单位成果承担部门/分公司项目负责人姓名项目负责人联系电话和EMAIL成果专业类别网管所属专业部门网络线条成果研究类别相关网络解决方案省内评审结果优秀关键词索引（35个）投诉、KPI、关联、数据挖潜应用投资产品版权归属单位对企业现有标准规范的符合度满足如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个成果简介一、项目研究目的与意义用户投诉是当前网络质量客户感知最直接，也是最关键的表现。在基础通信类投诉管理的环节中，面临最大的挑战在于现网的网络质量KPI不断提升，而同期用户投诉却没有得到相应的改善，甚至是出现逐年攀升的趋势。用户投诉所呈现出日趋复杂化的严峻形势，正是由于在预防投诉和解决投诉方面还缺乏高效的方法和机制来关联网络质量与用户投诉（感知）。所以，在当前注重客户感知为导向的网络质量管理的转变工作中，研究用户投诉与网络关键指标的关联性是非常具有创新和现实意义的。本项目的研究有着以下两个显著特点方法创新推动成果创新用户投诉的管理和监控是众多网络业务质量监控项目中唯一取决于终端客户反馈的，而且用户投诉工单与其他的测量项目在测量原理上缺乏直接的相关性。因此，在这一类具有概率意义的网络质量问题分析上，本项目将数据挖掘建模技术创新性地引入了本课题的研究，来分析深层次用户投诉与网络质量之间的关联规则。该方法论在现网的实际应用是集团内的首次应用；研究输出成果是基础通信类用户投诉与网络质量KPI及其他因素之间的量化关联规则模型曁投诉预警体系，在集团内也是首次呈现。理论研究与网络实际相承接用户投诉与网络质量的分析，除了选取科学的挖掘分析算法之外，依托了普遍的现网历史数据（100,000条以上的投诉工单量），结合丰富的网络优化经验，得到了符合我省用户投诉与网络质量关联规则模型。同时，在现网中开展了严谨的验证，模型推广有效指导了与投诉相关的网络日常工作。二、项目解决的问题1、引入和实践的反复论证，找出了适合本课题中各阶段、各类型类研究的不同方法论，填补用户投诉与网络质量KPI研究的技术空白。2、本项目还开创性的利用非网络质量因素的方法来量化地域，经济，文化，认可等对用户投诉的影响，提出了按照我省各地市用户主观特性开展分级用户投诉管理的建议与实施方案。3、输出的关键成果在区别认识地市投诉水平的基础上，本课题对三类地市分别开展了用户投诉与网络质量KPI管理关联分析的工作。之前，用户投诉与网络质量KPI存在着模糊的关联关系，集团内部只有个别各省公司涉及过该类课题的探讨，但是仅限于理论层面的关联研究，至今无基于现网海量数据得出的量化关系结论。我省为此创新性的采用了数据挖掘的方法来发现不同地市、不同投诉类型所对应的敏感性KPI（统计相关性算法），并建立引发不同地市、不同投诉类型的KPI触发门限规则模型（数据挖掘决策树算法）。这一成果完全依托现网普遍的投诉数据与网络质量KPI，首次建立起用户投诉与网络质量KPI进行了量化的关联的桥梁这将在本质上破解用户感知与网络质量相对孤立的网络质量管理局限。同时我们对本课题的模型结果进行了二次验证，模型的数学统计精度普遍达到约80，并在投诉的预测实践中，准确性达到5070。三、项目的社会与经济效益本课题的研究成果可以被广泛深入的应用到日常网络工作中。1网络质量管理工作从根本上建立起客户感知与网络质量的关联，真正从用户角度触发来管理网络质量水平，加速网络质量从网络KPI到客户感知的转变步伐。2客户服务工作由于发现了诱发用户投诉的网络质量KPI及其门限，可以提高用户投诉的处理效率，并提前预警用户投诉的发生（局部现网验证投诉预测准确性5070），将网络工作预防提前，有助于降低用户投诉的发生，提高用户服务水平，减少客户流失率。3网络发展规划工作规划是网络质量的基础。以往的网络规划主要从宏观角度出发，以满足网络级的容量需求为目标。根据用户投诉对网络质量的需求，可以结合用户类型，小区价值，业务分布来精细的分场景的提出资源规划方案，提高经济投资产出比。4网管支撑系统融合正是由于本课题所建立的用户投诉与网络质量KPI关联规则，在投诉录入，全量分析以及投诉处理优化等环节上得到了统一。本方案的成果可以指导各相关网管支撑系统的融合，来提高工作效率。省内试运行效果正是基于用户投诉这一综合课题的研究基础，需要逐步梳理和完善现有的用户投诉管理体系进行。本课题的成果可以应用于数据流管理标准化、投诉分析条理化、优化与预防精确化，资源投放合理化，用户分级管理等多个应用领域。A数据流管理稽核质检这是用户投诉管理体系的基础，是我们获取客户投诉数据和网络质量数据的数据库，为了后面的分析和研究，基础数据的准确性和标准化是非常重要的，只有高质量的数据才可能输出具有参考意义的结果，才能引导我们做出正确的决策。所以，要想建立好的用户投诉管理体系，前提是建立完整、科学、规范的数据流管理系统。本课题提出了投诉工单记录稽核质检方案，修正各地市话音基本业务网络覆盖中错误分类32的投诉项，进一步证实了业务分类方面需要进一步完善，见下图。该方案可以大大的纠正用户投诉对网络工作重点的判断与后续关联分析的准确性。B投诉分析条理化有了良好的数据基础，这些数据怎么用呢到底哪些KPI与投诉相关这就需要关联分析，利用统计学的关联分析原理，我们在大量的KPI中寻找与每类投诉相关的KPI，这些KPI有可能包括我们从业务上就认为是与投诉相关的KPI，也可能包括我们不重视的一些信息。通过交叉的分析可以发现很多深入的用户投诉工作建议。C优化与预防精确化基于投诉与网络指标的关联关系，从客户感知的角度出发，把投诉问题转换为特定指标优化，同时依据KPI及其他指标的综合现状，预估未来的投诉情况，这样可以在投诉处理与预防方面做到有的放矢，实现高效精确地网络优化。在现网中，利用触发用户投诉的网络质量KPI及其门限，可以提高用户投诉的处理效率，并提前预警用户投诉的发生（局部现网验证投诉预测准确性5070），将网络工作预防提前，有助于降低用户投诉的发生，提高用户服务水平，减少客户流失率。D资源投放合理化投诉的预防是投诉管理的理想目标，而资源投放的前瞻性、合理性对用户投诉至关重要，基于性能分析指导资源投放，并预防投诉是实现这一目标可能的途径。E用户投诉的分级管理对我省各地市用户投诉统计分析，万人投诉比的日常波动形成了统计上的差异，可以考虑分类分级差异化管理。地域区块差异建议各地市统一投诉录入与受理信息。在此前提下，确认地市的万人投诉比差异，为不同的管理行政区划分投诉管理等级与考核要求。以此来科学的对待投诉问题主观因素的影响。文章主体（3000字以上，可附在表格后）根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明6”。附文章主体（3000字以上）客户投诉与关键KPI关联分析研究搭建以客户感知为主导的投诉预警体系一、背景情况根据西方营销专家的研究和企业运营的经验，吸引一个新用户所耗费的成本远远超过保留现有用户的成本。同时，一个公司如果将其顾客流失率降低5，利润就能增加25至85。在竞争激烈的电信市场的环境下，如何争取新增用户，保留现有用户成为市场竞争焦点。其中一个重要的举措就是提高顾客满意程度，这是保持顾客的根本办法。客户满意度通常通过主动的客户感知调查与客服部门受理的用户投诉两个方面体现。其中，用户投诉是对影响客户感知的具体网络及服务问题的反馈，直接影响了用户满意度和忠诚度，需要更为高效和针对性的应对和加以解决。因此，我们启动了此次用户投诉专题分析创新研究课题，服务的目标旨在基于大量的历史基础通信类用户投诉和网络性能的统计数据，利用数据挖掘分析方法，量化分析影响用户投诉的网络质量及非网络质量因素，建立用户投诉与网络性能指标之间的关联模型，指导针对用户投诉的网络日常工作。二、项目研究思路与框架什么情况下用户会因网络KPI问题发生投诉如何从网络质量着手管理用户投诉首先将用户投诉行为以及与之相关的网络质量进行了象限归类投诉兼具主观性和客观性，需区别对待；网络质量问题类投诉是研究重点，通过现网投诉用户与正常用户的挖掘，发现KPI诱发投诉的规则，并推广发现沉默用户。基于用户投诉管理的实际流程，本次研究主要分为两个部分。第一部分是投诉概况分析，包括从各个维度分析投诉现状、对投诉进行重新分类和梳理、利用数据挖掘的聚类算法对全省地市进行分类，从而为投诉分级标准、差异化管理提供重要依据。第二个部分，也是项目的核心，即投诉与网络质量常用KPI的关联分析，我们将基于历史用户投诉和网络性能的统计数据，利用数据挖掘的决策树方法，分析和建立用户投诉与网络性能指标之间的关联模型，指导针对用户投诉的投诉管理与优化工作。三、项目研究的主要成果31全网用户投诉综合分析全网用户投诉数据是本课题研究的重要信息源，通过从宏观与微观，静态与动态的全息分析，可以对网络的投诉问题进行全方位的分析与透视，并为后续的投诉与网络质量关联研究奠定基础。本课题分析的内容包括以下内容研究发现一为了后续的用户投诉与网络质量关联对应，以“独立性与完备性”为梳理的原则，将现在的投诉分类进行重新梳理，同时兼容了客户感知的维度也可匹配到基础的网络指标项目。具体如下图所示。该建议方案可以推广到全网来标准化投诉信息。研究发现二用户投诉是通过终端用户的直接表述与客服人员的记录来得到的。在内容表述记录的准确度上都存在着不确定性。例如，在现网原始投诉记录的统计中，网络覆盖投诉占比约96，主要为室内外网络覆盖，通话质量占比约3，主要集中在串线。这在网络优化和客户感知层面的先验信息角度来看，是有些出入的。例如，网络中覆盖与干扰并存，某些区域实际上是干扰型的网络，但在投诉中无法体现。另外，在用户投诉过程中，往往最直接的触发投诉的是拨打失败，话音质量差，非常长掉话等现象，而这些问题在投诉记录中比例反而是微乎其微。因此，本课题提出了投诉工单记录稽核质检方案建议。各地市话音基本业务网络覆盖中，最低的错误分类也有32，进一步证实了业务分类方面需要进一步完善，见下图。该方案可以大大的纠正用户投诉对网络工作重点的判断与后续关联分析的准确性。研究发现三对我省各地市用户投诉统计分析，万人投诉比的日常波动形成了统计上的差异，可以考虑分类分级差异化管理。地域区块差异建议各地市统一投诉录入与受理信息。在此前提下，确认地市的万人投诉比差异，为不同的管理行政区划分投诉管理等级与考核要求。以此来科学的对待投诉问题主观因素的影响。关键点，即投诉录入要严格统一规范；管理分级规则建议每年进行核准与调整。这以方案可以量化的衡量投诉的非网络质量因素影响，为科学合理的开创差异化用户投诉管理提供了实践依据，并可以开展试点与推广。以下是差异化管理分析建议方案对比参与聚类的静态属性因素，分类1是典型省会城市，投诉显著区分于其他地市；分类2是以山区丘陵为主的地市，人口密度小，投诉比例最低；分类3是以平原为主的地市，人口密度较高，投诉比例也处于中等水平；分类2由于人口密度小，整网的话务密度，小区密度和载频密度都较小，因此从频率复用，系统内干扰等因素来考虑，分类2相对来说2G的网络的部署是比较有弹性的，这也在客观上提供了良好质量的基础。从基础通信的占比看，分类2与3基本相当，表明总体而言，分类2的投诉习惯相对较低。影响投诉差异的静态数据最关键因素地方的经济发展水平；人口密度；地形地貌；用户群品牌分布等河南地市万人投诉比统计分布说明上图为箱线图，是一种用来描述数据分布的统计图形，利用箱图可以直观地反映观测数据的中位数、4分位数和极值等描述性统计量，从视觉的角度观测变量值的分布情况。依据单个变量，即万人投诉比的统计均值，我们可将河南全省各地市分为四个类别，那么从数据挖掘的角度进行分类，是否能进一步证明我们这样的分类是有意义的呢本文采用数据挖掘里常用的聚类方法进行研究，得到了明确的结论。以下是对聚类算法的介绍说明。聚类分析又称群分析，是依据研究对象的个体特征，对其进行分类的方法。聚类分析是一种建立分类的多元统计分析方法，它能够将一批样本（或变量）数据根据其诸多特征，按照在性质上的亲疏程度在没有先验知识的情况下进行自动分类，产生多个分类结果。类内部个体特征之间具有相似性，不同类间个体特征的差异性较大。本次聚类分析的数据都为连续的数值型，所以选择的K均值聚类方法建立模型。K均值算法给定N个对象或数据元组的数据库，划分方法构建数据的K个划分，分个划分表示一簇。K均值算法是比较常用的划分方法，而K众数算法和K中心点算法是K均值算法的扩展。K均值算法以K为输入参数，把N个对象的集合分为K个簇，使得结果簇内的相似度高，而簇之间的相似度低，如下图所示32分地域用户投诉与网络质量关联研究本课题研究的重要目的之一就是发现影响用户投诉的敏感性指标以及触发门限，并以之为基础指导优化与投诉预防。因此关联性规则建模可以分为两部分，一是客户发生投诉时，如何从客户感知的角度给出需要优化的KPI及门限值，二是如何根据KPI情况来预测小区未来投诉发生的情况。本课题以现网的投诉与网络质量为基础，通过完整的数据挖掘过程，发现符合现网的用户投诉与网络质量KPI关联规则模型。建模流程如下所示第一步数据采集，依据研究目的确定数据源；1、网络开封、郑州、驻马店2、内容投诉数据、网络KPI数据；第二步数据梳理，保证基础数据的质量，包括投诉类型重新分类、投诉类型重新梳理、投诉类型的初步及逐条纠正；第二步数据准备，包括投诉与KPI的映射关系、不同系统数据间的关联、模型的样本数据选取；第三步统计分析，从相关性等统计角度分析投诉与KPI的关系；第四步模型选取，依据研究目的、数据特点、模型精度等方面选取模型；第五步模型建立，确定进入模型的变量，进行建模；第六步结果评估，验证模型结果；第七步优化建议，依据模型结果提出优化建议；关键成果之投诉敏感性指标的发现下表为用户投诉与网络质量相关性指标的设计，它主要源于日常丰富的网络优化与投诉受理经验。本课题在这一基础上，通过现网数据样本的相关性分析来发现和过滤其中敏感性关键指标。投诉分类划分主要KPI辅助KPI投诉分类划分主要KPI辅助KPI半速率比例全速率ERLAVE_DL_LEVMSPOWEROUT_BAND1切换失败率AVE_UL_LEVBSPOWERUQ05RUQ0RAVG_TAPK_TADQ05RDQ0R网络覆盖切换次数每呼叫半速率ERLTRF236通信质量切换次数每呼叫TBF38C掉话率DCR_3J切换失败率TBF_34OUT_BAND1AVG_TABLCK_33AVE_DL_LEVULQ0_5TBF_15AVE_UL_LEVDLQ0_5TBF_16TCH掉话数DAP_13A切换次数每呼叫TBF_FALL_DL掉话SDCCH可用率BLERTCH拥塞率TCH拥塞次数数据业务（EGPRS）RTO_DL_MCS69接通SD拥塞率TCHERLGSM网接通率OUT_BAND1SDCCH可用率AVE_DL_LEVAVE_UL_LEVAVG_TASD拥塞次数变量间的关系分为确定性和非确定性关系两类确定性关系即通常所说的函数关系，非确定性关系即相关关系。相关分析用于描述两个变量之间关系的密切程度，它反映的是当控制了其中一个变量的取值后，另一个变量的变异程度。其显著特点是变量不分主次，被置于同等地位。数据度量不同，相关分析的方法也不同，需要根据数据的特点选择不同的相关系数。若两个变量都是数值型变量，我们常用PEARSON简单相关系数，若两个都是分类变量，我们常用SPEARMAN等级相关系数和KENDALL相关系数或通过列联表进行独立性检验，当一个是数值连续变量，另一个是分类变量时，常用ETA统计量。ETA统计量表明等间隔测度的因变量和具有一定数量分类值的自变量关联性，0表示行列变量之间没有关联性，1表示行列变量之间存在很高的关联性。2ETA，即相关比率，还可用于分析两个定比变量之间的非线性关系，但需要将其中一个（视为自变量）降低为定类层次，然后，计算其相关比率2ETA。比较2T的值与R的值，两值相差越大，表明两变量之间的关系越是非线性关系。ETA统计量的具体公式如下TSRTSETAINJIJMIYS12INJIIJMIT12其中，M为分类变量值个数，NI为分类变量取某值的情况下的连续变量个数。此次研究中，各KPI及告警数据均为连续的数值变量，而投诉变量为二值分类变量（即要么发生此类型投诉，要么不发生），所以我们用ETA统计量计算相关性。通过相关性的统计分析，结合相关性和业务理解，将相关性排在前列、业务上认为重要的KPI作为关键的敏感指标。模型会将所有输入变量按重要性排序，然后再依据重要性不断调试输入变量，这样循序渐进，并结合业务理解，选取最合理的结果，同时确定最终输入模型的变量，如下图所示关键成果之触发投诉的指标门限规则完成各地域不同类型投诉关键指标的发现之后，接下来就是需要通过数据挖掘算法了得到触发用户投诉的目标门限。数据挖掘有很多类别，如回归、分类、聚类、神经网络等，我们此次研究属于二元分类问题，能够解决此类问题的算法较多，可用的算法有CART、QUEST、C50、神经网络、逻辑回归、贝叶斯、决策列表、GRI、APRI、CARMA等，以开封数据第一阶段数据为例（此数据为阶段性研究里最先得到的数据），将各模型参数设为常用值即默认值，初步分析后，发现决策树尤其是C50和CR算法的总体精度最高，所以选择决策树算法做为我们的研究模型，如下图各投诉类别适用模型的精度排名（前七名）决策树DECISIONTREE是一种基于贪心算法的分类方法，采用自顶向下递归的思想进行构造。其中每个内部结点代表一个属性上的测试，每个分支代表一个测试输出，而每个树叶结点代表一个类或类分布。以使用条件属性I和条件属性J来预测决策属性的取值是否为真为例，其简单的决策树模型如下图简单的决策树模型对训练集数据进行学习后构造判定树，并使用判定树对类别未知的数据样本进行分类，因此分类的过程就是样本属性在判定树上进行测试的过程。当某个类别未知的样本的测试路径满足判定树中从根结点到某个叶结点的路径时，此样本被划入该叶结点所表征的类中，从而实现类别未知的样本从条件属性到决策属性的映射。因此判定树的路径实际就是分类规则，可以用IFTHEN的形式表示，故具有较好的可解释性。在决策树算法中，对数据进行分类最常用的方法是信息增益法，它通过选择能够导致熵函数下降最大的属性，对节点进行分支。所谓熵函数就是假定S节点中有S个对象，对象中M有JC个不同类中的样本数，则对于给定节点的熵函数是121,LNMIIKSIS由信息增益生成的基于属性JX的分支公式可以表示如下111LNLNVVVCVCWKKWKKJKKKNNGX其中JX是信息增益值，WK是父节点中类的对象数，是父节点中的对象数，VN是子节点V中的对象数，VKN是子节点V中类K的对象数，1LNCWKKKN表示父节点的熵，11LNVCWVVKK表示的是子节点的加权熵函数，父节点的熵函数值与子节点的加权熵函数值之间的差值，反映的是属性JX的信息增益。在分支中选择的最终属性是信息增益最大的悟性。此外，GINI系数法也是常用的一种，其公式表示如下2211VCRCWKWKJKVNDX使用GINI系数法的是为了增加子节点中的纯度，理想状态是当节点中只包含一个对象的时候，那么，此时节点的纯度就最高。GINI系数法中使用杂质的减少量来确定分支属性，最优分支属性在这里选择的是杂质减少量最大的那一个。关键成果之模型的结果模型结果将给出每类投诉发生时，大多投诉记录符合的KPI规则。此外，还将给出每个规则的精度及概率，其中精度即投诉数据中，某规则下，预测的投诉数量与实际投诉数量的比值；概率，即某规则下，可能发生投诉的概率。以郑州为例，详细结果如下郑州1、数据业务规则TBF38C25或TBF38C87DBPK_TA4400M精度及概率27975/40587，863、通信质量规则DLQ0_50795精度及概率42/4986，455、接通规则GSM接通率25或TBF38C87DBPK_TA4400M精度（第一阶段数据、第二阶段数据）87，903、通信质量规则DLQ0_50795精度（第一阶段数据、第二阶段数据）86，835、接通规则GSM接通率998精度（第一阶段数据、第二阶段数据）78，92对比第一阶段数据与第二阶段数据的模型精度，差别不大。说明本课题依据第一阶段数据建立的模型是比较稳定的，结果是可以应用的，即当客户发生投诉时，规则给出的指标以及门限值是值得信赖的。关键成果之模型的应用实践利用触发投诉的规则模型，基于敏感性网络质量KPI与历史投诉记录开展投诉的预测。根据排名先后，靠前的小区就是最有可能发生投诉且KPI指标较差的小区，需要重点监控。由于每个月的输入都是持续的，所以整个逻辑图是动态运转。本项目在实践中提取了郑州201011242010128的KPI及投诉数据为输入，预测201012920101223的投诉，并依据201012920101223实际发生的投诉检验预测的效果。这里以郑州数据业务投诉为例。通过对上半个月数据业务投诉的综合排名，可以看到TOP10小区里有7个小区在下半个月再次发生投诉，占比70，而且部分小区依然是投诉的热点。TOP100小区里下半月投诉50，占比50。四、项目效果总结投诉是反映客户感知的重要途径，也是我们去了解用户对我们所提供的网络业务质量的重要评价。作为网络运营服务企业，要建立畅通的渠道准确的倾听用户的所反应的问题，及时准确的加以解决和回复。所以对于投诉问题，可以分为三个阶段。第一阶段建设和维护好优质的通信业务服务网络，从基础上服务好终端用户，减少用户投诉；第二阶段对于用户投诉，做好投诉的投诉受理和标准化管理，正确的将投诉问题落实到网络业务质量支撑部门；第