客户感知评估体系的建立和应用

1 客户感知评估体系的建立和应用 一、 项目背景 随着移动通信的迅速发展和市场竞争的不断加剧，网络质量成为增强企业竞争力的关键因素。各个移动通信运营商更加重视从客户的角度去衡量全网的质量水平，借此有效提升客户感知价值，而目前的网络质量评估工作主要存在以下不足。 1、产业竞争日益激烈，网络运维分析需发挥最大效用，为市场发展提供强有力支撑。而目前的网络运维分析对象主要面对网元自身，与市场行为、用户行为不挂钩，不能体现业务端到端质量，无法有效 体现客户真实感知价值、 支撑市场竞争。 2、传统网络指标滞后于用户感知 ，甚至与用户感知相背离，时常出现网络、设备并无任何异常，但用户感知业务质量已出现劣化 。单通、串话、噪声、上网速度慢、业务开通成功率低等影响业务感知的现象，无法用故障和传统的 KPI 表征。甚至，时常会出现网络、设备并无任何异常，但用户感知业务质量已出现劣化。因此， 网络 评估 分析工作需要面向客户感知转变。 3、客户对网络质量的感知受主、客观多种因素的影响。网元好不代表端到端质量好、均值好不代表局部地区好、测试好不代表单用户好、统计好不代表感受好。真实的端到端客户感知度无法有效评估！ 4、传统话统指标基于网元设备 的处理过程，没有面向客户感知设计，指标的统计点不对应实际客户感知，更加不能实现对用户客户感知的端到端管理。尤其是发展迅速的 手机 上网业务和 WLAN 业务，缺乏有效的分析掌控点，客户感知度较差。 5、网管系统以常规报表为主，每日质量分析、异常问题分析，必须提取、查看多张报表， 进行手工分析，效率低下，且分析经验都存在分析人员的脑子里，得不到有 效固化和传递。 本项目的研究是 为了解决上述问题，也为了更好的从客户角度衡量全网的质量水平，让网络维护优化工作更加面向客户，以提升客户对网络的感知， 提高公司竞争力。 2 二 、 实现方案 或方案优选过程 一、 参考 TMF GB923， 以客户感知为导向，从端到端业务流程和服务流程入手，找到关键业务体验点 ， 结合业务遍历环节， 建立 从 QOE KQI KPI 评估模型 ，见下图。 层层剖析到需要监控 分析 的 末端 KPI，据此 构建一套涵盖 QOEKQIKPI 的客户感知评估体系。 本项目建立的客户感知模型，以客户体验感知价值为目标， 以关键的端到端业务质量为评估控制的关键所在。通过 各项网元性能为纽带，将日常运维的网元保障工作和业务质量进行 贯通 ，通过评估控制业务质量指标，促进运维水平和客户感知价 值的双向提升 。 在该客户感知模型中，客户感知（ QoE）是面向最终用户的体验。 KQI 是决定电信业务QoE 的关键质量指标， KPI 是网元设备测量的性能指标。 KQI 与 KPI 都来自于客观性能测量数据。 KPI 和 KQI 最大的区别，就是 KPI 从网元设备的角度出发关注过程，而 KQI 则从终端用户角度出发关注的业务质量的结果。 KQI 可以由几个 KPI 聚合而成，或者由某个 KPI 通过一定的算法模型进行表征，也有可能与某个 KPI 相同。 二、从全业务运营角度出发，多 维度拓展分析数据源，研究拨测信息、信令监测信息、话单信息、 traffica 呼叫记录等信息，从中抽取客户感知相关 KQI 和 KPI， 按照QOE KQI KPI 评估模型 ，进行数据挖掘、关联， 逐步 建立 涵盖 GSM 网络语音、TD 网络语音 、视频 、 GPRS 数据上网 、 WLAN 等各项业务用例客户感知评估指标体系 。 （一 ）借鉴 TMF 无线业务测量 (WSMT， Wireless Service Measurement 3 Team)，提出的业务质量设计流程，由上至下将业务逐层分析 ，最终把用户对业务的质量体验分解成组成产品的各个服务的质量，并将服务与网络、非网络数据进行 映射 ，最终由这些数据 聚合成可供测量 的 KQl。具体过程如下： 业 务 场 景 分 析业 务 流 程 分 析业 务 使 用 资 源 分 析使 用 群 体 、 质 量 特 性 、 地 域 特征 、 外 界 影 响 。 。 。关 键 业 务 体 验 点 ：登 记 、 寻 呼 接 入 、 附 着 、 通话 、 切 换 、 挂 机 。 。 。资 源 要 素 ：终 端 、 无 线 接 入 网 、 核 心 网 、承 载 传 输 网 。 。 。关 键 业 务 体 验 点 和资 源 要 素 矩 阵 分 析资 源 1 资 源 2 资 源 3流 程 3流 程 2流 程 1设 计 K Q I 集 合（二）按照上述设计思路，我们以语音业务为例，设计的语音业务集合。 首先通过业务场景、业务流程和业务资源分析，建立关键业务体验点和资源要素的矩阵分析。 4 再通过矩阵分析结果，从客户感知的大维度，设计业务集合。 维度 QoE指标 KQI 接入性 网络信号覆盖 覆盖率 接通性 端到端（）主叫接通率 端到端被叫接通率 端到端主叫接通时长 保持性 通话连续性 掉话率 完整性 语 音质量 MOS 单通比率 串话比率 回声比率 三、 从结果向过程寻找量化关系，科学计算感知要素占比，运用加权算法进行客户感知度量化评估，引入相对价值评估模型对感知度进行对比校正。同时，研究建立 自动钻取式挖掘分析 模型 ， 实现端到端业务 QOEKQI的自动评估和劣化原因智能分析。 （一）运用关联规则、趋势、聚类等数据挖掘手段计算出影响用户感知的要素占比，根据 加权定义各个 KPI对业务的影响程度，运算得到最终的业务 KQI和 QOE评估结果情况。 1、 根据业务特征， 基于评估模型， 从结果向程寻找量化关系 ， 运用关联规则、趋势、聚类等数据挖掘手段进行跟踪评估，对 影响用户感知的主要因素进行排序，计算各类感知要素占比，确定各项 KPI、 KQI的权重。 5 2、根据业务特征，数据挖掘结果，确定各类别指标的权重，运用加权算法进行客户感知度量化评估。预先加权定义各个 KPI对业务的影响程度，运算得到最终的业务 KQI 评估结果情况。 客 户 感 知 （ Q O E ）整 网 K Q I 各 K Q I V A P 比 例整 体局 部总体 QOE 算法如下： 1NnnnQ O E R X ，其中：nR表示分项 QOE 权重，nX表示 KQI 所对应的 QOE。 KQI 和 KPI 之间的评估算法与此类似。 可以 通过每一项 KPI 的完成值计算 得出 各项 KQI的指数得分。具体各类 业务 场景例如 彩信业务、短信业务、 TD 视频等数据业务，分区域的场景如高校区域、商业区域也可以 按照此 方法得出 评估 结果 。 （二）在本网自身价值评估模型的基础上，引入 相对价值评估法，进行客户感知度对比校正 。 相对价值评估法就是，在评估本网客户感知价值的同时，将评估体系应用到竞争对手的网络中，评估相同时间、空间 和业务用例条件下本网和他网客户感知价值的差异。并用此评估结果对最终客户感知度进行校正。当比较评估的结果显示本网客户感知价值低于他网时，将立即给予该地域下被评估业务客户感知问题警示，快速进行网络优化。 （三） 研究从整体到局部的钻取关联分析模型，实现 客户感知劣化 的逐层智能分析。 从时间、空间、资源、关联关系、外部因素等多个维度，总结日常分析方法和经验，梳理研究分析规则。 总体思路如下： 6 分析模型举例如下： 无线接入性是否达标未达标地区分公司下钻至 BSC是否达标未达标的 BSC下钻至小区是否达标未达标的小区TCH 分配成功率影响SDCCH 分配成功率影响载频配置是否超过预警门限信道配置是否超过预警门限关联指标结论（ 配置资源充足 ，与资源无关 ）否否结论（ 配置资源不足 ，与资源有关 ）是是结论（ TCH 分配成功率低或者 SDCCH 分配成功率低导致无线接入性未达标 ）天气是否异常否是否有市场活动与外部因素无关否由于天气或者市场活动导致是是将自动分析规则在系统固化，实现系统根据自动分 析触发条件和分析规则，进行自动钻取式挖掘分析，并呈现分析结论 ， 从而实现业务的 QOEKQI 自动评估和劣化原因智能分析。 （四） 研究用户群体、区域特征、时间变化等 外部因素对客户感知的影响 ， 将 用户 使用行为，感知需求、感知体验的差异 、 资源使用情况 进行 关联 分析 ， 建立 差异化场景客户感知评估 模板 。 四、 将体系研究成果和市场支撑、客户服务紧密联系起来， 对当前热点的上网业务和 WLAN 业务进行重点评估应用，对 VIP 客户进行分时段和分区域的差异化评估 。让客户感知评估成为支撑市场发展、提升客户满意度的有力武器。 7 （一） GPRS 数 据上网业务 客户感知评估应用 ： 根据影响客户感知的现象，从接入能力、有效能力、完整能力、速度能力、 服务能力五个维度入手 ，进行上网业务客户感知评估。 、按照手机 GPRS 上网端到端流程，见下图。从网元侧分段梳理出贴近客户感知的 KPI 指标全集。 手机 GPRS 上网（ WAP业务）主要有以下几个过程： PDP激活（ PDP context setup） WAP网关连接过程（ WAP GATEWAY connect） WAP GET/POST过程（ WAP GET/POST） 每个过程的连接情况和涉及网元为 具体 PDP激活 PDP激活主要是为了建立终端与 GGSN之间的 IP连接。涉及到通过 APN查询 SGSN 地址， RADIUS认证等。涉及的网元包括： SGSN、 DNS、 GGSN、 RADIUS SERVER、 WAP网关 WAP网关连接 WAP网关连接过程是终端向 WAP网关发送申请，及 WAP网关的响应过程。 涉及的网元包括： SGSN、 GGSN、 WAP网关 WAP GET/POST过程 在 WAP网关连接建立后，终端会向 WAP网关发送 GET/POST申请，请求获取某个 URI的内容或发布内容。 WAP网关在收到请求后会检查自己的 DB，以确认此连接是否被允许。检查通过后，WAP网关会向 DNS SERVER请求 URI的 IP地址，然后根据 IP 地址发出 HTTP get 请求。此过程涉及的网元包括： SGSN、 GGSN、 WAP网关、 DNS SERVER 因此从网元侧得到手机 GPRS 上网（ WAP 业务）所有 KPI指标，包括性能、告警、投诉、业务8 测试等，如下。 KPI1: PDP context activate successful rate （ PDP激活成功率） KPI2: PDP context activate delay KPI3: WAP connect successful rate KPI4: WAP connect delay KPI5: WAP GET/POST successful rate KPI6: WAP GET/POST response delay KPI7: Server response delay KPI8: WAP GW process time delay KPI9: WAP DL/UL throughput KPI10: WAP DL/UL packets lost ratio GGSN 中断时长 （告警指标） 整理这些 KPI 指标，再按照接入能力、有效能力、完整能力、速度能力、服务能力的维度，确定和上述 QOE 相关的 KPI 指标。这些 KPI 和 KQI 是贴近客户感知的真正核心内容，是需要进行重点监控和评估分析的。 2、根据业务特征和数据挖掘结果，确定各类别指标的权重。预先加权定义各个 KPI对业务的影响程度，运算得到最终的业务 KQI评估结果情况。 总体客户感知指数也可以由各类 KQI 客户感知指数均衡 获得。具体各类 业务 场景例如 彩信业务、短信业务、 TD 视频等数据业务，分区域的场景如高校区域、商业区域也可以 按照此 方法得出 评估 结果 。 手机上网业务质量 QOE ATTACH成功率 PDP激活成功率 TBF建立成功率 SGSN负荷 GGSN负荷 WAP网关负荷 Gb Gn Gi接口负荷 GGSNSGSNWAP 中断时长 EDGE覆盖率 弱覆盖比率 上下行电平值 KPI 接入 能力 覆盖能力 完整能力 速度能力 开通服务能力 WAP GW连接成功率 Radius成功率 DNS查询成功率 WAP GET成功率 WAP POST成功率 TBF Drop rate ATTACH延迟 PDP激活时延 WAP GW连接时延 WAP GET 时延 WAP POST时延 WAP GW处理时延 DL/UL throughput WAP DL/UL丢包率 APN设置错误 域名错误 用户无 GPRS功能 投诉工单处理及时率 问题解决时长 GPRS上网万人投诉诉比 KQI 9 （二）业务客户感知分析评估应用 WLAN 业务是近期发展迅速、用户使用的一个热点。我们遵循 WSMT 业务质量设计流程， 从用户使用业务类型、业务流向两个方面入手 ，研究 WLAN业端到端务客户感知评估体系，并通过 WLAN自动拨测和巡检卫士进行体系的系统固化。 1、从用户主要业务需求 游戏、视频以及 WEB浏览业务 入手，梳理客户感知指标，进行感知门限普查，确定客户感知差异化等级标准。 2、根据 WLAN 业务现网路由 情况，研究业务在 不同 的路由方向上，客户感知度的差异 ，解决网络资源瓶颈问题。 3、通过自动拨测和移动业务监测系统 对客户感知评估体系进行系统固化和应用 。自动拨测系统可模拟用户行为对热点区域的 WLAN 业务的客户感知进行自动拨测，主动实时监控 WLAN 系统运行状态，及时发现并处理影响客户感知的事件。系统流量走向如下图： 10 A C 1A C 2S E 8 0 0 - 2 S E 8 0 0 - 1C M N E TA P A PA 热 点 W L A N 接 入交 换 机B 热 点 W L A N 接 入交 换 机创 新 试 点 热 点 普 通 热 点T r u n k 链 路A c e s s 链 路支 持 U W D S 模 式 的 无线 路 由 器W L A N 监 控 、 巡 检 系 统S 8 5 0 5（三） 量化 VIP客户每次通话质量 VIP客户的通信质量是客户感知评估关注的一个重点。通过跟踪高端客户的通话质量、通信行为、网络感知、手机性能等，时刻掌握高端客 户通信质量，可以发现网络的潜在问题，优先及时地解决客户遇到的问题或者隐患。 本项目评估体系中的话单数据及相关统计数据可以为 VIP 客户的每次通话质量给出一个感知评估 。感知评估全面考察客户每一次从起呼到接通以及完成通话的通信质量，通过对每次通话质量的感知评估判断重要客户对网络的满意情况，做到在客户没有投诉之前就处理、解决好网络问题，提升客户对移动网络服务的感知。 感知评估的思路如下：当一个客户在网络质量良好的情况下完成通话，感知度为 100，当出现不同的网络异常情况时减去相应的权值，最后得到客户对于网络的感知度。 例如以天为单位，关联重要客户级别（钻石 VIP、金牌 VIP 等），查询时间区间内的掉话次数、掉话率与通话时长来，用相关算法计算保持性 QOE评估。 三、 主要成果 和应用情况 （一） 制定客户感知网络质量评估体系 梳理上述研究成果， 同时收集涵盖各个场景评估案例，从评估手段、评估方法、评估结果等多角度总结和固化评估经验，制定了 客户感知网络质量评估体系 技术文档。成为指导全省运维人员提高运维水平、支撑市场客服、提升客户满意度的有力武器。 （二） 应用情况 1、 经过对于网络质量评估体系的研究，特别是围绕客户感知对原来 的质量指标和评估模型进行了较大程度的更新后，新的网络质量评估体系越来越贴近实际客户感知，更能将客户急需解决的问题逐渐显性化。 在提升优化水平、做好市场支撑、疑难问题处理等方面取得显11 著成效。 （ 1） 用户感知网络优化能力提升 使网络优化真正从网元层面转向用户层面，网优工作真正面向用户服务； 细致到一对一的用户感知性能的管理； 先于用户发现突发的问题，切实提升用户的满意度。 及时发现并杜绝各类安全隐患问题 41 起，隐患解决时长缩短一半。先于客户发现业务降质问题 40 余件，定位时间从 10分钟缩短到 1分钟 。 全网 E2E接通率、掉话率、彩信 E2E接收成功率、数据业务下载速率等重要指标明显提升，网络质量明显改善。 （ 2） 市场营销支撑： 针对性的用户感知评估，可以作为很好的营销铺垫； 掌握重要用户群的分布和移动规律，提升营销效果； 重要用户的“呼叫社会性”，争取重要客户掌握主动； 手机终端能力分析，利于新业务的有效推广； 识别特定的区域内的重要用户群，对于营销和网络设备资源投入很有指导意义。 体系成果能评估特定区域、特定用户群的行为特点，用来协助市场部门开展 GPRS手机上网提升专项活动，对客户开展针对性的营销工作，取得了良好效果。 疑难问题处理支撑： 为突发小概率事件提供详实的分析数据； 对包括信令监测、业务监测等信息源的全方位整合，利于快速准确解决疑难问题。 利用评估体系的不同场景评估成果，在 高校开学 、春节、世博 等通信保障工作中排查出业务高峰时存在 严重影响客户感知的的网元设备 16起，用户接入安全隐患 2起 。顺利度过业务高峰的冲击。 及时发现解决单通、串话、无声音等业务质量问题 36 起，终端设置不当影响业务使用问题 25起，山寨机干扰网络问题 9起，第三方业务平台故障 7起。 2、 通过 流程优化 ， 扩展到客户感知服务体系，致力于提高网络服务能力，支撑市场和客服，以提高客户满意度为最终目标。 对解决影响客户感知的网络隐患， 提升客户满意度方面取得显著成效。 1分钟 10分钟 09年 11月 10年 5月 12 四、 效益分析 （一） 经济效益分析 1、项目直接收益：（ 541.2+91.3） *2=1265 万元 该项目研究的客户感知评估分析体系，有助于快速发现、定位和处理业务降质情况，挖掘网络故障、隐患，降低业务影响，有效吸收话务量。 （ 1） 网元数 15130故障率（ 0.07次 /月 /网元 -0.02次 /月 /网）平均每次故障影响业务量123爱尔兰优惠后量 收比 9.7