数据挖掘在通信行业中遭遇的瓶颈.doc

数据挖掘在通信行业中遭遇的瓶颈近年来数据挖掘的概念被热炒,各通信企业也纷纷展开了应用尝试,但却鲜见成功的案例,数据挖掘似乎还只是水中花、镜中月。本文作者结合多年的应用实践,将制约数据挖掘在通信行业持续高效规模产生效益的瓶颈,归结为营销衔接、数据基础、系统支撑等三个主要方面,并探索了如何去突破这些障碍。相信只要通信企业渴望从数据中发现价值,渴望更深刻地理解客户的需求存在,数据挖掘就一定能找到它的英雄用武之地。国际知名调查机构Gartner Group在高级技术调查报告中,将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首,还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。Gartner的调查报告预计:到2010年,数据挖掘在相关市场的应用将从目前少于5%增加到超过80%。随着数据挖掘概念的热炒,国内越来越多的行业和企业开始关注这项据说可以带来极高投资回报率的技术,通信行业由于技术基础好,数据量丰富成为最先吃螃蟹之一。特别是在通信行业垄断格局被打破,市场竞争日益激烈,客户需求更加挑剔的情形下,以客户为中心的经营理念成为企业生存的必然选择。如何更深刻地理解客户,如何实现存量客户的流失保有,如何挖掘增量潜在客户,如何进行交叉销售提升客户价值,如何进行欺诈识别防范经营风险,如何推出适合客户消费特点的产品及套餐,这些成为经营必须面对的问题,而数据挖掘技术在解决这些问题方面有其它方法无与伦比的优势。然而,虽然各通信运营商都不甘落后,纷纷启动了数据仓库、经营分析系统、CRM的建设,并依托这些系统进行了数据挖掘应用的尝试,但却鲜见成功的案例,即使有也是昙花一现,难以持继长效规模产生效益,数据挖掘似乎还只是水中花、镜中月,停留在纸上谈兵阶段。那么数据挖掘在当前通信行业的应用遭遇了什么样的瓶颈呢?有人认为,数据挖掘工具不够完善,算法单一,难以适应复杂多变的商业数据状况;实施流程复杂,需要有专业的实施人员,难以被一般的企业所掌握;工程周期长,效果不确定,一些急功近利的企业不愿大力投入;数据挖掘是科学和艺术的完美结合,需要业务和技术部门密切配合,而涉及到部门协作的问题都是最难的;数据产生价值的观念才刚被人接受,企业数据基础差,数据挖掘要找到英雄用武之地还为时过早。这些也许都是制约数据挖掘充分发挥效益的因素,但我认为当前最主要的瓶颈在以下三个方面。营销衔接的问题在通信行业的应用中,一个完整的数据挖掘项目常由数据整合、数据挖掘分析、营销策划、营销执行、营销评估改进等环节构成一个闭环流程。数据挖掘项目往往由技术部门主导实施,由于在技术实现上有相当的工作量和难度,容易让人将工作重点放在技术实现环节,而忽略了后期的营销衔接,使得闭环流程在某些环节上断裂。然而数据的挖掘分析只能产生一个分析结果,要将结果转化成能产生良好经济效益的成果,必须要通过精细的营销执行。一个成功的数据挖掘项目需要技术部门、市场部门、渠道部门密切配合,在各环节无缝衔接,而目前一些通信企业各部门条块分割,需要协调多部门协同工作的项目往往难取得很好效果。而且由于数据挖掘技术要求较高,技术支撑团队往往放在省公司,而市场营销的前线又在各分公司,因此还要涉及一个省市协作的问题。另一方面,数据挖掘还在导入阶段,各通信企业还没有一个专职的部门或专职的团队来执行这项工作,往往由各相关部门抽调兼职人员组成一个临时的虚拟团队来进行项目实施,然而数据挖掘是项精细的工作,各实施环节对技能要求都非常高,虚拟团队在业务技能和组织管理上都难以适应项目的要求。可以说,在营销策划、执行和评估阶段没有及时跟进是数据挖掘在各通信企业一直没有取得突破性成绩的一个最关键的原因。要突破这个瓶颈,需要将数据挖掘作为一个咨询项目而非技术项目来实施,项目的重心要由前期的技术实现转到后期的营销环节,通过项目理顺整个闭环业务流程,给出一个系统完整的解决方案。数据挖掘项目要取得成功必须要获得业务部门的认同和支持。通信行业数据挖掘的分析结果往往通过针对营销的模式投入市场。以客户为中心、精确营销的理念虽已为业务部门普遍认同,但要改变拍脑袋决策的工作风格,培训用数据说话的习惯还需要一个过程。而且市场部门还仍然迷恋于大众营销的规模效益,对需要依靠精耕细作的方式才能取得成效的针对营销模式敬而远之,觉得成效甚微,杯水车薪难以缓减经营指标的根本压力。观念的转变是最困难的,然而必须要让业务部门明白:在当前市场形势下针对营销是对大众营销必要的补充;用数据说话、精确化精细化的工作方式对提高整个市场经营能力是大有裨益的;要有成本观念,讲究投入回报率,在这方面针对营销是有明显优势的,而且针对营销也是可以集腋成裘带来巨大效益的。可以考虑让业务部门来主导数据挖掘项目的实施,如果在业务需求上理解更透彻,在营销执行上配合更到位,项目成效将得到更可靠的保证。如果由技术部门来主导项目的实施,那么其职责不能只限于得到一个数据分析结果,还必须主动介入后期各环节的工作,去寻求业务部门和渠道部门的协作,实现共创价值。总之,技术部门需要再往前迈进一步,主动参与到营销策划、营销执行、营销评估等环节,促进闭环流程的顺畅,同时结合营销实践改进技术方法,使分析结果更贴近需求、更易获得、更易理解、更易使用,并最终配合业务部门用IT系统来固化方法流程。前面提到营销衔接还涉及到省市分工协作的问题,市分公司是营销的一线,是数据挖掘分析结果的最终用户,虽然数据挖掘的分析系统可由省公司统一构建,技术支撑团队可由省公司管理,但分公司必须在技术支撑、营销策划、营销执行、营销评估的各个环节配备专职的工作人员。省公司可主要负责解决方案和支撑系统的提供,并选择分公司进行试点,形成各项数据挖掘专题完善的解决方案后就可在各分公司推广。省公司做好试点总结、系统支撑和培训指导的工作,由分公司接应,将数据挖掘的分析结果投入市场,并在分公司形成针对营销日常化的工作体系。据基础问题目前大部分通信企业都建设了数据仓库或经营分析系统,为数据整合、提高数据质量做了大量有价值的工作。然而由于通信企业的业务系统非常繁多复杂,且不断在更新建设,即便构建了数据仓库,其数据质量离我们的应用要求仍然存在相当大的差距,数据的完整性、及时性、准确性等多方面问题造成我们的应用处处是漏洞,GIGO(Garbage In Garbage Out,无法获得用户的信任和认可。另外,由于以客户为中心的意识才确立不久,企业还无法建立完整的客户统一数据视图。这些给数据挖掘带来极大困难,甚至举步维艰。然而数据基础问题的解决不是一蹴而就的,如何为数据挖掘找到用武之地,将这个矛盾化解到最小呢?可以从以下方面去努力。数据质量是根本,必须重视数据质量提升等基础工作,但数据质量、数据加载、数据维护管理工作的开展都必须以有效支撑应用为目标。对应用需求迫切的数据要优先支持,数据仓库不求大而全,但对要用的数据一定要有,一定要准。对于暂时没有应用规划的数据可以先不进数据仓库,不做重点维护,否则有限的资源都浪费在呵护没用的数据,而要用的数据却又因为数据质量问题没法用。即使有了数据仓库还需要构建数据挖掘集市,在集市中对客户数据做进一步整合,每个客户每月汇总一条记录,记录中全面包含客户各方面的信息数据。数据集市至少要保存客户最近6个月的信息数据,对时效性较强的数据,如在网状态等需要准实时更新,其它如消费账单等可每月增量生成一条记录。构建并维护数据挖掘集市对进一步提升数据质量、减少数据挖掘过程中数据整合的工作量,提高工作效率,缩短项目周期都大有好处。另一方面,建议将数据管理的职责独立出IT系统。目前一些通信企业的IT部门往往按IT 系统来划分工作职责,比如BSS组、OSS组、EDA组等;但按职责功能,如数据管理、应用开发、系统维护等,而非IT系统来进行组织显然有更明显的优势,使职责更明晰,分工更专业,流程更顺畅,资源更能得到统筹利用。一些建立了数据仓库的企业将数据管理的职责落实在EDA组,但大多数据质量问题追根溯源还是各个业务系统的问题。因此需要有专人负责对整个IT系统的数据模型、数据编码、数据流、数据加载、数据质量、数据安全、统计口径等进行统一规划管理。这样对数据质量问题才能一查到底,发现一个解决一个。另外,即使数据基础不是足够完善,我们也可以通过一些变通的办法为数据挖掘找到用武之地。我认为,数据挖掘是从数据中发现价值的方法论,并不是一定要使用挖掘工具,或是聚类、预测等算法的数据分析才称作数据挖掘;我们任何围绕一个业务目标,采用数据挖掘的方法论和工作流程,从数据中去寻找解决方案的工作,即便只用到了较简单的统计分析,都可认为是数据挖掘的活动。尤其在商业领域的应用中,简单的统计分析往往可能比复杂的聚类、预测等算法,更能达到业务目标,而其对数据要求却可能更具鲁棒性。我们也可以选择对数据要求相对较低的主题先展开应用,比如增量潜在客户的挖掘就比存量流失客户的保有对数据的要求就相对较宽松。支撑系统的问题前面提到要让数据产生价值需要经历一个闭环的流程,通信行业常常通过针对营销的手段将数据挖掘的结果投入市场应用,而要使结果顺利转化为成果,需要在营销策划、执行、评估等环节做好大量精细的工作。如果没有一个完善的支撑系统作为平台来展开这一系列工作,是很难让数据挖掘持续高效规模产生效益的。然而目前许多通信企业对针对营销的IT支撑还很薄弱,主要还是依靠经验决策、手工派单、人工统计评估的模式。各营销渠道也缺乏统一管理,难以实现数据共享、协同工作。数据挖掘和针对营销要走出“山重水复疑无路”,寻找“柳暗花明又一村”的境界,迫切需要建设一个统一的营销管理平台,将数据挖掘闭环流程各环节的工作纳入统一的支撑和管理,同时也将各营销渠道纳入统一的管控。用IT系统固化了操作流程后也利于技术、业务、渠道部门更高效地协同工作,使数据挖掘和针营销能真正成为一项日常化的工作在各通信企业开展起来;而打通电话经理、社区经理、营业厅