挖掘企业数据的金矿

挖掘企业数据的金矿早在上个世纪80年代，宝山钢铁股份有限公司（下称宝钢）就注意到：对企业的生产经营数据进行分析，能创造更大的经济效益。1990年代初，宝钢引入了国际上成熟的SAS公司的技术解决方案，开始了第一个数据挖掘项目：提升造船用的钢板质量。该项目创造了数百万元的效益。目前，宝钢已经在生产、技术、质量、能源、销售、财务成本等方面建立了数据仓库，并进行数据挖掘。像宝钢这样已经将数据挖掘作为提高自身核心竞争力有力武器的企业，在国内还很鲜见。但在国外，数据挖掘的应用已经很普遍。从上个世纪末开始，北美洲和欧洲大部分企业都在筹建数据仓库，并开始企业级的数据挖掘。在《财富》全球500强企业中，已经有98%都应用了商业智能解决方案。它们或上了数据仓库项目，或进行数据挖掘，并且都和业务紧密结合起来，支持企业做出正确的经营决策。从海量数据中发现规律、预测规律近十几年来，随着计算机和网络的广泛应用，企业积累了越来越多的数据，来自供应商、分销商、客户以及市场等各个方面的信息呈爆炸性增长。据IBM公司分析，今天的公司只用了不到其总数据拥有量的1%，试想，如果能够应用其它99%的数据，情况将会怎样？数据要真正成为公司的财富，必须为业务决策和战略发展服务才行。否则大量的数据可能成为包袱，甚至成为垃圾。沙里淘金的数据挖掘技术应运而生，并显示出越来越强大的生命力。所谓数据挖掘，也可以称为数据库中的知识发现（KnowledgeDiscoverDatabase，KDD），是基于数理统计、人工智能、机器学习等技术，从大量数据中提取出可信、新颖、有效并能被人理解的模式的高级处理过程。它根据企业具体的业务目标，对大量的数据进行挖掘，分析，及时发现内在蕴含的规律，并且做出符合企业运作发展规律的预测。IBM公司中国区全球商业智能解决方案资深顾问郑晓军介绍说，数据挖掘在实际应用中分为两个方面。一是发现规律，通过数理统计、人工智能的方法，发掘数据内部隐藏的规律，包括相关性规律、频率和周期性规律、相似性规律。一个典型的例子就是目标营销。数据挖掘工具可以根据过去邮件推销中的大量数据，找出其中最有可能对将来的邮件推销作出反应的客户。又比如通过分析零售数据来辨别出表面上看起来没联系的产品，实际上有很多情况下是一起被售出的情况。二是预测规律，包括纯粹值（value）的预测，以及判别类的、即是或否的预测。预测规律需要部署（deploy）规律，即把规律部署到以往的全部数据中去，或者部署到新来的数据中去。比如银行挖掘出哪些客户具有好的信用度，好的信用度表现为什么样的行为模式，不好的信用度表现为什么样的行为模式，下一个阶段再拿这个规律去看一个新来的客户，分析他的行为模式，对他进行评估，评价，预测其对银行的潜在价值。总而言之，凡是企业生产经营、商务运作中涉及到发现规律和预测规律的，都用得上数据挖掘。由此就不难理解为什么全球绝大多数领先企业都采用了数据挖掘技术。数据挖掘适用于任何行业、任何部门最早采用数据挖掘工具的公司大都分布在信息密集型行业，比如大型银行、保险公司、电信公司和销售业等。别的行业采用数据挖掘是否不必那么迫切呢？郑晓军认为，数据挖掘工具并非仅仅只能应用在信息密集型企业。如果企业碰到的业务问题已经不是简单的报表统计、数据查询能解决问题，而是需要发现规律、预测规律的，都能用到数据挖掘。只要公司具有大型数据库，并且有强烈的通过软件技术改善公司管理的愿望，想从强于如林的竞争对手中胜出，就能够而且应该使用数据挖掘。SAS公司中国区商业解决方案总监杨涛介绍说，SAS在国外的成功案例完全是跨行业的。除了银行、电信、保险、销售业外，还有在制造、电力、运输业，甚至在政府行业也有成功应用。比如曾经获得过世界数据挖掘的大奖的美国国防部后勤部，这个部门很庞大，原来运作很是费时费力，利用数据挖掘技术，他们有效地运用经费、人力、物力支持了优化的运作。目前还存在的一个误解是--数据挖掘仅仅用在面向客户的方面。的确，由于近年来各行各业都是越来越以客户为中心，数据挖掘被大量地用在了这方面。但数据挖掘不光是局限在客户关系管理（CRM），也包括面向供应商的应用和面向组织内部的应用。IBM在纽约有一个实验室，研究供应链（SCM）的优化，就是通过数据挖掘来实现的。在组织内部，数据挖掘在企业的任何一个业务部门都可以应用到。比如企业的财务智能化管理，怎么做投资回报比的分析，怎么控制成本，怎么做预算等。数据挖掘除了在财务管理上，还在人力资源管理、风险管理、质量管理、甚至在对高层领导的综合绩效考核上、在企业高层战略管理上等领域，都有非常广阔的应用。领先企业运用数据挖掘提升竞争力在国内，数据挖掘技术的应用才刚刚起步，真正采用数据挖掘工具支持企业做出正确生产经营决策的成功案例还很少。这首先是因为大多数企业对数据挖掘技术的概念还很模糊，对其提升企业在激烈市场经济环境中的竞争力，以及所能带来的经济效益的认识还不够。其次是因为文化背景的差异。西方企业已经形成了科学的管理思想和体系，基于量化的科学分析去发现规律，指导企业的生产经营决策已经很普遍。而中国的大多数企业还没有形成专业化的管理，对数据依赖的程度不高，不习惯在数据里找规律，而是喜欢凭习惯办事。典型的例子是：为了制定相应的市场策略，需要对客户分门别类时，不是像西方的企业那样，科学分析客户的行为模式有什么差别，而是主观考虑客户的社会身份有什么差别。这种总体思路亟待提高，否则不利于数据挖掘的开展。其实数据挖掘的技术本身并不超前。郑晓军说，其中所使用的各项技术，如数理统计方法在上个世纪40〜60年代就提出来了。但数据挖掘毕竟是一门比较专注的技术领域，在中国多数企业对专家不是太重视的前提下，使用起来当然比较困难。而西方企业会让相应的专家去承担涉及到专门技术领域的具体操作，当然更容易使用。前些年，中国很多企业都投入了大量精力在信息基础设施的建设上，现在包含数据挖掘在内的商业智能应用，越来越紧迫地提上了议事日程。因为企业面临自身业务的压力，面临竞争对手的压力，已经到了开始重视自身商业智能建设的阶段。同时也应看到，中国企业的信息技术水平参差不齐，并非都能应用数据挖掘。有的企业连最基本的信息基础建设都还不到位，连最起码的报表统计、数据查询都做得不好，根本谈不上用到数据挖掘。从SAS在中国的成功案例看，目前上了商业智能项目、建立了数据仓库、应用了数据挖掘的都是规模比较大、I