电信企业市场监控告警系统

如何建立电信运营商市场监控告警系统耿强、王勇、李泉摘 要 本文针对电信运营商之间激烈的市场竞争，提出了深挖企业内部资源，建立电信运营商市场监控告警系统的必要性。文章提出了建立电信企业市场发展指标体系，重点介绍了如何针对指标的发展变化进行跟踪监控，并利用基于偏差的异常数据检测方法设置指标告警门限，对异常情况进行告警。最后介绍了电信运营商市场监控告警系统的架构和主要功能模块。 关键词：市场发展指标体系；监控告警；基于偏差的异常数据检测方法1.市场背景近些年，国内电信市场的竞争日趋激烈，电信运营商之间在各个业务领域内已形成多元化的竞争局面。由于市场竞争的发展具有很大的不确定性，各种新技术、新产品层出不穷，如何及时的掌握市场动态，对市场变化进行快速的反应，从而能在激烈的市场竞争中，获得先机，占据有利地位。这是每一个电信运营商必须要面对的一个重要课题。在这种情况下，电信运营商应该建立一套对市场发展变化进行跟踪监控，并在出现异常情况时进行告警的系统，即电信运营商市场监控告警系统。电信运营商市场监控告警系统主要是对电信运营商企业内部BSS/OSS系统中的信息资源进行深层次开发利用，建立一套针对市场变化的监控告警体系。该系统主要针对电信运营商用户使用各种业务、产品和服务的情况以及对竞争对手的发展情况进行跟踪监控，对于异常情况能够及时发现并提出告警，以便电信运营商迅速采取相关措施，保障本企业的利益，避免企业收入流失。电信运营商经营的业务、产品和服务（以下简称业务产品）种类繁多，数目巨大，各种业务产品之间又有着非常密切的依存关系。如何对这么多业务产品的发展变化情况进行跟踪监控和告警呢？这就必须整合电信运营商内部的各种相关信息和数据，建立一套科学规范的关于业务产品发展的市场发展指标体系。市场发展指标体系必须涵盖了电信运营商经营的主要业务产品发展变化情况，同时又要包括竞争对手的相关情况。针对这些市场发展指标的变化，进行跟踪告警，就可以把握市场动态，制订相应的市场政策。2.市场发展指标体系与告警门限电信运营商市场发展指标体系的数据主要包括两部分：企业经营情况和市场竞争情况。企业经营情况主要是指用户发展、营业受理、计费账务、话务量、欠费情况和缴费情况等内容；市场竞争情况主要是指从互联互通数据中提取到的关于竞争对手的信息情况，主要包含竞争对手用户发展情况、长途业务情况、数据上网业务情况等内容。电信运营商的市场发展指标主要分为五类，业务产品发展类指标、业务产品使用量类指标、业务产品收入类指标、收入回收类指标、竞争类指标。业务产品发展类指标主要是指使用业务产品的用户变化情况，包含新使用、正在使用和停止使用的用户情况；业务产品使用量类指标主要是指用户使用相关业务产品发生量的情况，例如用户拨打市话的通话次数和通话时长情况；业务产品收入类指标是指用户使用相关业务产品而产生的费用情况，这类指标不仅仅体现了用户的消费情况，还包含用户使用各种套餐信息情况；收入回收类指标主要包含用户欠费和缴费情况，体现电信运营商的资金回笼和用户信用情况；竞争类指标主要包含其他电信运营商的用户发展情况，其他运营商具有的与本企业相同和相近的各类业务产品情况，例如竞争对手的过网用户数，长途业务竞争情况等。无论哪一类市场发展指标，都会由于电信运营商经营的业务产品数量的繁多，而可能包含成百上千项的指标，不利于前台展现，因此必须根据指标的相关性和重要程度对指标进行分组分层。例如业务产品发展类指标可以分为基础业务、数据业务和增值业务等指标组，但是每组指标包含的内容不宜太多，否则不利于决策和市场分析人员发现问题，这是建立市场发展指标体系必须注意的一个问题。市场发展指标体系建立后，对体系内的指标变化情况进行跟踪和监控，设置每个指标的告警门限，对超过告警门限的指标进行告警提示，这就是电信运营商市场监控告警系统的主要目的。市场发展指标的变化是具有一定周期性和季节性的，所以一般的时候，市场监控主要是指对周期性和季节性以外因素产生的市场变化进行监视，并在异常情况出现时能够及时的进行告警。异常情况出现时，通常会有数据发生突变的情况，因此指标监控和告警主要关心的是指标的增长量和增长幅度(增长百分比)的变化。各类指标的数值由于各种业务产品发展情况不同，在数据级上可能会有很大的差别，而且相同的指标在不同地理范围内数据差距也可能较大，因此增长量作为系统监控对象时，无法对同类指标的增长量进行统一的告警门限设置，所以监控对象只能以增长幅度为主，增长量作为具体的数量参考。增长幅度设置告警门限时，通常将增长幅度划分为三个区域，负增长告警区域、正常区域和正增长告警区域，正常区域主要是指指标由于周期性和季节性因素在一定范围内的合理波动；负增长告警区域主要是指指标超过周期性和季节性因素合理波动范围的负增长，这种情况可能是由于竞争对手的竞争导致的，或者是企业内部出现了问题，或者是相关业务产品处于生命周期的衰退期；正增长告警区域主要是指指标超过周期性和季节性因素合理波动范围的正增长，这种情况可能是由于企业相关营销活动引起的，或者是由于该业务产品处于生命周期的成长期，但是值得注意的是一些正增长告警可能隐含一些非常严重的问题，例如套取话费的问题，所以对正增长的告警与负增长的告警是等同重要的。3.告警门限的设置如何科学的、准确的设置指标告警门限成为了系统应用价值体现的核心与关键。指标门限的设置必须根据指标的类型特征进行。指标类型主要分为到达型指标和累计型指标。到达型指标是指截至某一时刻，所存在的量值，例如用户到达数。累计型指标是指在一段时间范围内所发生的量值，例如收入，话务量等。这两种指标在设置监控告警门限时要采用不同的方法对待。对于到达型指标，相同指标按不同周期设置门限时，告警门限的大小与监控周期的长短有着密切关系。例如400万用户群，每天用户增长3000户，每月用户增长户，则它按日和按月正常增长幅度分别为0.075%，2.5%，按日设置增长幅度门限时，可以为+0.1%或者-0.1% ，而按月设置增长幅度门限时，可以为5%或者-5%。累计性指标设置告警门限时与监控周期无关，即按日、按周以及按月监控时，告警门限是一样的。无论是到达性指标还是累计型指标，告警门限的设置必须建立在对历史数据科学、客观和准确的分析研究基础上。为了确保告警门限设定的科学性和准确性，避免主观性，必须建立一套告警门限设定模型，并根据市场的变化发展和一定周期对模型进行修改。图1模型的建立过程建立指标告警门限的设定模型是一个循环往复的过程，如图1所示，整个过程通常涉及数据准备，建立模型，评估、解释模式模型，运用和巩固模型等步骤。 1）数据准备数据准备是模型的建立基础，数据准备的好坏将影响到模型的效率和准确度以及最终的有效性。数据准备工作一般包括数据的选择（主要是指对指标数据的增幅比例）、探索（详细了解指标数据的特性，如了解分布情况和时间周期性）、修正（包括缺失数据的插值等）、变换（数据的分组分类，数据周期性的分类等）。2）建立模型该步骤为告警门限设定的关键的步骤，选取通用的数据挖掘工具提供的算法应用于准备好的数据，设定相应参数，生成模型。通常采用异常数据检测和时间序列分析相结合的方法确定告警范围，并根据相应结果设定告警门限。异常数据检测方法主要是通过一组对象的特征进行检查来识别异常数据。偏离特征描述的对象就认定为异常数据，并确定异常数据范围。异常数据检测方法主要有三种：基于统计的异常检测方法、基于距离的异常检测方法和基于偏差的异常数据检测方法。在具体应用中我们主要应用基于偏差的异常数据检测方法。基于偏差的异常数据检测方法主要是从指标的一段时间的增长幅度中识别出不寻常的增长幅度。该方法利用了潜在的数据冗余。给定包含n个时间周期的指标增长幅度数据集S，构造一系列子集，, ，其中2mn，并有S。依次对对象空间的差异进行评估，其中涉及以下概念：意外集合：该集合就是偏差或异常数据集合。它是根据将其移去所剩（对象构成）集合的差异的最大减少，而得到的最小移去（子）集合。差异函数：差异函数无须计算对象间的距离。它可以为任何函数，只要给定一组对象集，在对象彼此相似时能够返回较小值即可。对象间差异性越大，函数返回的值就应越大。一个子集的差异性是根据前一个子集的计算结果（增量）计算所获得的。给定一组对象 ，, ，一个差异函数可以是集合中数目的变化，也就是： 这里为集合中n个数值的均值。当模式包括中所有对象却不包括中任何不在出现的串，这时差异性就要增加。集合的势函数，这是典型累计一个给定集合中对象数目的方法。平滑因子，这是一个依次计算每个子集的函数。它对从当前集合中移去一个子集所减少的差异性进行评估。所得到的值可以利用集合的势进行缩放。那些平滑因子最大的子集就是意外集合。发现一个意外集合的普通任务就是一个NP问题。顺序方法是一个计算可行的方法，它可以实现线性处理时间。为避免对根据其补集来评估当前子集的差异性，算法选择从集合中选择出一些系列子集进行分析。对于每个子集，它根据序列前一个子集来确定其差异性。为帮助减轻输入顺序对结果的影响，上述过程需要重复若干次，每次都随机产生一个子集的顺序。在所有循环中，具有最大平滑因子的子集就成为意外集合。上述方法依赖所使用的差异性计算函数。然而定义差异性计算函数，将由于事先无法知道意外的规律而变得较为困难。根据实际数据库应用已经排除了寻找统一差异性计算函数的可能。在循环次数不多的情况下，算法的时间复杂度为O(n),n为输入对象的数目。这一复杂度是建立在差异性计算是增量进行的，即是根据（序列中）前一子集计算获得后一个（给定）子集的差异性。通过异常数据检测方法可以确定异常数据的范围，从而根据异常数据的边界制定告警门限，但是由于预测指标的时间周期分为按日、按周和按月三种，其中按日和按月指标的时间周期性非常强。例如话务量指标在工作日与非工作日的数量差距较大，增幅比例超过工作日之间或者非工作之间的正常增幅比例，还有各月之间的天数和节假日情况不同，因此指标的增长幅度变化情况必须还要与指标的周期变化紧密的结合起来，这样分析起来才比较客观和准确。3）评估、解释模型对应用于上面数据的模型利用一段时间未参加模型建立的数据进行比较和评估，生成一个相对最佳模型。再对此模型用业务的语言加以解释。如果没有问题，可以对模型加以应用。如果有问题，再重复上面的数据准备和建立模型的过程，直到建立满意的模型为止。4）运用和巩固模型由于市场的变化，产品生命周期和竞争的因素的影响，模型在应用一定时间后必须进行相应调整，以适应发生变化的市场情况，通常1年或者1年半左右时间 模型需要进行一次调整。通过以上过程建立了一套有效的指标告警门限的设定模型，利用该模型可以准确的进行告警门限的设定，实现指标的异常情况告警。4.系统架构与功能整个市场监控告警系统分为三层结构，即数据获取、数据存储、数据访问，具体结构如图2所示。数据获取主要是从企业内部各种生产系统中提取相关数据，并根据市场发展指标体系进行数据的整理；数据储存层主要根据监控及告警的需要对市场指标体系进行数据的组织和存储；数据访问层是根据使用人员的角色的特点进行有针对性的访问监控内容并查询告警。监控仪表盘监视器政策制订人员数据整理数据来源1数据访问层数据存储层数据获取层第1类指标监控告警监视器告警查询监视器决策人员分析人员营销人员第2类指标第n类指标数据来源2数据来源n数据抽取图2市场监控告警系统架构 市场发展指标体系的内容涵盖了电信企业中BSS/ OSS系统中的各个平台。数据来源包括了营业受理平台、计费平台、结算平台、各种增值业务等平台。抽取数据的内容主要以各种平台中的统计汇总数据为主，数据抽取的周期一般以日为单位，部分业务支撑平台的数据不能按日产生汇总数据，则可以根据处理数据的重要性和数据量情况采集详细数据按天处理。如果电信运营商建立了自己的企业级数据仓库，则指标数据最好来源于数据仓库，因为这样可以简化数据抽取的复杂性，并且可补充更多信息，有利于对异常情况的分析和定位。对市场发展指标的监控主要是关注指标发展变化情况和波动情况，因此监控告警系统的核心分析变量是各种变化量和变化幅度，这是市场监控告警系统与其他各种业务平台和运营分析系统最大的区别。该系统的数据存储及结构是以指标增长量和增长幅度的分类和特征为基础的。指标的增长量和增长幅度通常分为与上一周期比较的增长量、增长幅度和与去年同期的增长量、增长幅度。 对市场监控必须与企业的市场经营以及营销活动紧密的结合起来。根据企业中与经营活动相关人员的不同角色情况，市场监控告警系统的数据访问分为四个层面，即面向决策层、面向市场政策制定层、面向市场营销层和面向专业市场分析研究人员的。不同层面的人员数据访问的方式会有很大的区别，例如面向决策人员的访问的内容必须是企业核心指标，展现要直观；面向市场政策制定人员的信息内容必须全面，操作灵活简单；面向市场营销人员的数据内容必须有针对性，信息内容不能过多；面向专业分析研究人员的信息必须全面而且信息内容要尽量详细。整个系统主要包括六个功能：监控仪表盘功能、指标监控告警功能、告警查询功能、指标管理、指标生成管理、权限管理。监控仪表盘功能主要是面向经营决策者和市场政策制定人员。它的功能类似于飞机的仪表盘，主要是将企业核心的市场发展指标以趋势图的形式在同一窗口内进行展现。一般监控仪表盘上的内容有：用户发展情况、计费收入、市话量、长途话务量、宽带业务量、使用竞争对手长途业务的用户及话务量、其他运营商过网用户量、营业受理、缴费及欠费等情况。决策者通过各种指标的趋势图可以一目了然的了解到企业的市场经营状况，从而有利于经营决策的制定。市场指标监控告警功能主要是根据电信运营商的市场发展指标的分类分组情况，对各指标的变化使用图形和报表的形势进行展现，并根据设置的门限用不同的颜色进行告警提示。每一个指标与其上一周期和去年同期进行比较，对指标进行分析时以与上一周期增长幅度为主，与去年同期的增长幅度为辅。每类指标分析角度还可以由几个相关分析维度组合进行监控，所以每类指标又可以分解为几十个甚至更多的指标，这样无论市场上发生任何细小的异常变化，都能通过监控告警的方式反映给市场分析人员。告警查询功能主要是按监控周期，对超过增长幅度门限而产生告警的各类市场发展指标进行查询。查询时可以按照一定的条件进行过滤，展现特定的告警。这个功能可以很方便的对市场经营异常情况进行定位，并通过市场指标监控告警功能查找异常的原因。指标管理功能主要是对各种类型的市场发展指标进行定义、分类、设置门限和设置展现方式等。对于指标的定义和分类是为了方便指标管理。设置门限时必须以门限设定模型的结果为依据，否则将不能准确