基于客户感知的网络质量评估系统

中国移动集团重点 /联合研发项目结题汇报报告 2010年 12月 14日 项目名称： 基于客户感知的网络质量评估系统 项目编号： 2010_ 2页 一 . 开题计划完成情况 目 录 二、主要研究成果 三、研究成果应用 第 3页 究背景及目标 传统的网络评估体系，主要分为网管指标、现场测试和客户调查三大类。 现场测试 网管指标 客户调查 优点 缺点 采集便利，分析手段成熟，指标内容丰富。 真实模拟客户行为、贴近客户感知。 直接反映各类客户感知，反映客户对网络的需求。 现行考核体系组成 不同厂家设备存在差异，指标变化与参数设置关系较大，无法完全客观反映客户感知，不能按照客户品牌、终端品牌分类统计。 采集样本少、模拟客户行为场景少、仅限于专用终端测试，不能反映在网终端客户的真实感知。 样本少、主观性强，调查问卷存在导向性，回答问题因人而异，地域文化或其他主观因素对结果影响明显。 第 4页 究背景及目标 各类移动增值业务快速发展、客户需求凸显多样性，网络质量同质化趋势明显，市场竞争决定了移动网络运营成功的关键是用户感知的好坏，运营商必须主动监测和管理用户在使用业务时的感知，能够客观、准确、及时、全面的评估网络质量。 安徽公司提出建立基于客户感知的移动全业务网络质量评估系统的研究课题。在充分整合现有网络质量评估体系的基础上，通过对各类网元接口信令的深度挖掘，全面分析用户行为、研究以客户群分类的质量评估方法，建立提升客户感知的优化手段，为后续工程规划建设提供依据，为自主网络优化提供指导，为市场营销提供决策依据。 第 5页 究背景及目标 建设基于客户感知的全面评估系统 研究以客户群分类的质量评估方法 建立提升客户感知的优化手段 基于多接口信令采集和分析，对 类增值业务等，实现移动全业务的性能统计和流程跟踪；以全量信息的采集统计实现全面客观的评估； 实现对全网用户的全程监控，并各客户品牌、终端品牌分类的网络质量性能统计，为精确营销提供支撑，提高网络优化的针对性； 跟踪定位各类影响客户感知的问题，提供客户疑难投诉问题快速回追分析手段、专题优化和深度优化的技术手段，高效便捷的提高客户感知。 第 6页 要研究内容及分工 制定不同场景下各种业务端到端评估规范 研究不同业务对网络服务的差异化需求，制定端到端的质量评估规范，作为与客户感知相关的评价依据。 2010年，结合集团“增值业务大会战”工作，安徽公司已制定各场景下业务测试办法及相关指标规范。为在全业务运营环境下服务提高客户感知提供支撑。 第 7页 要研究内容及分工 用户行为分析模型的建立 基于信令信息的详细记录与回溯。分析影响客户感知的异常行为信令流程，建立用户行为模型，分析其行为特征。 实现按用户品牌、区域、特定行为特征的分类，按用户分类，细化各类基础指标，对于异常的指标，能够深入分析，助力提升特征用户服务质量。 第 8页 要研究内容及分工 通过信令监测多维指标、设备性能指标、结合部分网管化的现场测试指标、构建网络质量多维度评估分析方法。 通过增加网络质量分析维度，设计评估方法，弥补性能指标和现场测试中的不足，全面衡量网络质量。 网络质量 多维度评估分析方法的固化 第 9页 要研究内容及分工 实现上述 目标 的手段及支撑系统的建设 根据需求重点研究建设信令监测分析系统，实现可定制的分析功能，支持条件化的信令智能提取、自动分析与预警，实现自动派单功能。 为服务市场部门，本系统将实现与经分系统的信息共享与交互，为市场提供更为精确的用户行为信息、感知信息，同时获得用户品牌等相关业务反馈信息。 第 10页 题计划完成情况总结 工作完成时间段： 2010年 3月 2010年 10月 任务一：需求建模 任务二：设计优化方案 任务三：性能评估 任务四：成果固化 梳理端到端业务质量规范、完善基于客户感知的日常质量评估体系、明确信令监测及分析平台的功能需求。 完成用户行为与质量评估的映射关系，建立面向网络质量评估的用户行为分析模型；完成低层信令采集的设计、完成软件的功能设计开发。 通过客户反馈，分析检验并修正质量评估体系，建立可靠的网络质量评估体系。 完善客户感知分析模型，建立网络质量评估系统，并实现固化。 任务一：需求建模 任务二：结合全业务特点，完成行为分析模型，设计优化方案 任务三：通过客户反馈，分析检验并修正质量评估体系，实现客户感知与系统分析的完全匹配 任务四：标准化固化工作，将本项目产生的业务模型，优化方案等成果输出企业端到端业务流程优化工作中 务一：需求建模 任务二：结合全业务特点，完成模型建设，设计系统优化方案 任务三：建立并修正质量评估体系，建立可靠的网络质量评估体系。 任务四：成果固化工作，实现质量评估和端到端业务流程优化的固化与应用 第 11页 题计划完成情况总结 开题计划完成情况 目前，已经按照前期开题计划完成各项任务，达到了既定目标。各研究内容实现情况如下： 不同场景下端到端的全业务网络质量评估规范 网络质量多维度评估分析方法固化 研究用户群体、区域、时域等外部因素影响，着重体现端到端的各种因素对感知指数的影响，实现客户感知评估的量化。 通过多角度、跨平台、分布式的系统架构来实现多维度数据源的收集，对海量数据来源统一采集入库、呈现，实现影响网络质量的各指标多维度呈现，建立逐级下钻分析的方法。 第 12页 题计划完成情况总结 用户行为分析模型的建立 基于信令监测和研究内容的支撑系统的建设 基于信令信息的详细记录与回溯。分析影响客户感知的异常行为信令流程，建立用户行为模型，分析其行为特征。目前已实现按用户分类，细化各类基础指标，对于异常的指标，能够深入分析。 通过上述关键技术的研究，并建设了信令分析应用系统。实现了可定制的分析功能，支持条件化的信令智能提取、自动分析与预警，实现自动派单功能。 第 13页 题计划完成情况总结 本课题研究的不足 通过本课题的研究，实现对单用户行为的精细分析，构建了网络用户行为、网络运行情况、端到端信令关联情况的数据库 ,为评估网络质量提供了更丰富的维度；并在此基础上建立了基于 但由于时间较为仓促，本课题对现有资源未充分使用，例如对通过客户感知的模型中权重优化，使网络质量评估方法更贴近客户感知；建立小区级用户数据关联，为小区精确营销提供支撑数据等，可以作为下一阶段研究内容。 第 14页 一 . 开题计划完成情况 目 录 二、主要研究成果 三、研究成果应用 第 15页 到端业务网络质量评估方法 通过对 对影响用户感知的端到端业务进行分析，分析主被叫建立时各个阶段的时延分布情况，分阶段的评估网络用户端到端的感知情况。 评估分析方法见附件： 第 16页 定不同场景下各种业务端到端评估规范 根据对个接口信令采集分析，并关联基础数据，制定不同场景下的端到端评估重要指标体系： 农村小区保证：掉话率、拥塞率 县城小区保证：掉话率、拥塞率、寻呼成功率、 城区小区保证：掉话率、拥塞率、寻呼成功率、主被叫建立时延、爱尔兰切换 话率，感知掉话率、拥塞率、寻呼成功率、主被叫建立时延、短信发送时延、爱尔兰切换、挂机成功率、寻呼时延分析 第 17页 定不同场景下各种业务端到端评估规范 通过关联基础数据找出网络中的 些小区组成 再关联分析经分数据，找出网络重点用户，这些用户组成 结合网络中六忙时。定义 这样就建立针对不同用户，不用区域、不同时段分别进行统计分析。 D B C A 接入性 保持性 完整性 接入性 保持性 接入性 保持性 完整性 接入性 保持性 完整性 第 18页 络质量评估因子需求 通过对网络 立对网络质量评估因子如下： 接入性（单用户）：感知拥塞率、主被叫建立时延 、寻呼成功率。 保持性（单用户） ：掉话率、信令掉话次数、感知掉话次数 、爱尔兰切换、 2/3 用户感知其他指标（单用户）：短信发送时延 、挂机成功率 第 19页 维度基于客户感知的网络质量评估体系 根据对网络给接口采集数据的关联分析，建立基于客户感知的网络质量评估体系。课题实现了对重点用户用户感知的考核体系和对网络质量网络 体评估体系见附件： 第 20页 向网络质量评估的用户行为分析方法 通过对用户行为的分析，筛选出沿道路移动的用户特征，根据设定覆盖道路的小区集合，实现了可以随时对设定的道路进行模拟测试，弥补了现场测试采样有限，终端类型受限的弊端，提升道路沿线网络质量。 第 21页 向网络质量评估的用户行为分析方法 种依据用户行为的网络质量分析方法 基于信令信息的详细记录与回溯，分析用户感知的网络事件，建立用户行为的分析模型： 用户短信发送数量统计 通过对网络中每个用户短信的统计，找出网络中短信发送异常的用户，并能够找出网络非法短信来源，净化网络提升用户感知 。 用户品牌分布情况 通过对网络中异常用户手机品牌的统计，找出各个品牌的网络性能情况，为用户感知提升提供新思路，协助处理网络投诉问题。 重点用户移动性分析模型 通过对网络重点用户的持续追踪，找出重点用户移动规律，为保障重点用户的网络质量提供方法。 重点用户社会性分析模型 通过对网络重点用户信令关联分析，找出重点用户的主叫电话分布、被叫电话分布、网络业务分布情况，为制定市场营销策略以及保障重点用户的满意度提供数据支撑。 第 22页 接口全量 用户 信令采集 的实现 及 海量信息分析方法 根据集团即将建设的网络各接口采集、共享、分析的三层监测系统。实现了对海量数据分析： 通过对个接口实时关联，记录用户全业务的 通过对用户信令过程的挖掘分析，从用户感知出发，建议一套区别于信令掉话的感知掉话判断方法。两种掉话全面体现了用户的网络保持性。 对信令数据进行关联分析，找出网络中重点用户的网络指标。通过对重点用户的保障，提升用户感知。 第 23页 络质量 多维度评估分析方法的固化 通过该项目的研究与现场工程验证，实现相关研究的支撑系统建设： 在时间上：实现 5分钟、 15分钟、 30分钟等维度的网络指标统计。 在对象上：不仅可以对网元进行统计，还可以按照小区集合、用户集合、终端集合进行网络指标的统计。 该系统能够实现以上功能。 第 24页 维度评估分析方法的固化 基于对个接口信令的全程解析、分场景端到端评估规范、用户行为分析模型建立、网络质量多维度评估方法固化等内容研究，建立了一套基于客户感知的网络质量评估系统。具体界面如下： 标题栏 功能栏 导航窗口 数据呈现窗口 第 25页 于客户感知的网络质量评估系统建设情况 用户感知的全面评估 用户感知的接入性、保持性、完整性指标体系，深入挖掘用户感知的问题 丰富的用户感知指标维度 时间维度：目前系统支持十五分钟、半小时、小时、日、周、月选择数据。 网元维度：按照 区、小区集合进行选择。 用户维度：按照客户群进行选择。（ 话号码） 丰富灵活、实用的监控功能 设置指标：操作人员可以将性能评估指标加载成监控指标，可以自定义监控不同的网元和用户组。 设置扫描周期：系统可根据操作人员设定，最小支持十五分钟的监控力度。 监控功能的作用：通过监控重点用户组或者重要区域，提前了解网络问题，快速做出响应。 趋势图和环比：系统还可以对监控指标进行趋势分析和与上一天同时段情况进行环比，方便用户问题判断。 第 26页 于客户感知的网络质量评估系统建设情况 客户感知与网络质量映射关系 基于客户感知的网络质量评估系统实现了客户感知与网络质量的映射，具体实现方式： 系统可以呈现各网元的网络质量指标，分析出网络指标的好坏，并且可以直接下钻至用户级别，找出该网络指标的异常事件主要分布在哪些用户上，是集中分布在个别用户上还是均匀分布在每个用户上。这样实现了网络指标和用户感知的对应。 系统实现了网元和用户集合的维度的提取，选择网元和相同事件可以提取网元指标和该网元下重点用户的指标情况，这样把网元指标和重点用户的感知情况对应在一起。 系统通过对信令的深层挖掘，针对用户感知建立一整套指标体系：包括：感知掉话、感知拥塞、感知话务量、用户主被叫接入时延、感寻呼成功率、爱尔兰切换、挂机成功率、短信发送时延等。这些指标从影响用户感知的接入性、保持性等方面评估用户感知。将用户感知和网络指标联系在一起！ 第 27页 信令查询和回溯功能 通过对信令采集解析、关联分析，可以及时的查询到用详细通话过程以及通话信令流程图。为处理投诉和分析异常用户提供帮助。 第 28页 于客户感知的网络质量评估系统功能介绍 通过对信令采集解析、关联分析，根据特定的条件过滤出道路用户，可以随时根据设定的道路，对道路实行模拟测试，代替日常 第 29页 于客户感知的网络质量评估系统功能介绍 网络优化深度分析模块相关介绍 通过对信令的采集解析，深层次对信令进行关联处理，使其能够为网络问题的深度分析提供支撑。 实现了单通分析、乒乓切换分析、寻呼黑洞分析、位置区更新分析等网络难点问题，直接定位分析。 实现了针对不同覆盖区域各网络指标的汇总分析，并能够通过图例直观呈现。 第 30页 一 . 开题计划完成情况 目 录 二、主要研究成果 三、研究成果应用 第 31页 于客户感知的网络质量评估系统的应用 农村弱覆盖问题的辅助分析 将各农村主要用户分别定义客户群，通过对这些客户群的感知性能评估衡量农村网络覆盖情况 比传统的话务统计和 样更全面、衡量更客观、效率更高，主动性更强 结合话务统计智能分析、 户群移动规律分析，对定位农村弱覆盖区域具有很好的应用 先于客户发现网络问题，主动定位问题区域，加快问题发现和解决速度，避免用户投诉或转网 第 32页 于客户感知的网络质量评估系统的应用 位置区更新不合理问题的辅助分析 通过位置去更新的排查，可以找出网络中位置去更新不合理的网元，还可以找出网络中位置区更新较差的用户，实现端到端的优化处理。 为该地市边界小区 自动位置区划分的评估，可以极大地 改善接通率和用户感知！ 该小区的 位置区归属需优化 第 33页 于客户感知的网络质量评估系统的应用 高端用户群的社会性分析 通过对全网用户信令的关联分析统计高端用户群相关网络习惯的，找出高端用户群体相关规律，为市场营销和用户保障提供支撑。 第 34页 统的经济效益分析 网络优化人力成本 传统的优化分析数据主要来源于性能统计和路测数据。针对疑难问题的分析，需要事后