（计算机应用技术专业论文）面向crm的数据挖掘在电力市场营销中的应用.pdf

摘要 随着w t o 的加入，国企改革、经济结构调整迸一步深化，我国电力市场在 供求方面己由卖方市场转为买方市场，当前电力企业所面临的问题就是：在激烈 的市场竞争环境下，如何开发和占领市场以使电力企业获得生存和发展，并在国 民经济中发挥更大的作用。在新的体制下我们应以市场为中心，主动研究市场， 实现电力企业从旧的供电模式向市场营销的积极转变。就应该将客户关系管理引 入到现代电力企业的市场营销中来。 客户关系管理功能中，客户数据分析、营销自动化管理等领域是电力企业需 求较为普遍的功能。在客户关系管理中，数据挖掘正在起着导向的作用。数据挖 掘最普遍的应用就表现为市场营销，特别是客户关系管理。因此，本文提出将数 据挖掘技术使用到电力市场的客户关系管理活动中。 结合上面的分析思路，本文提出将数据挖掘的决策树技术应用到电力企业客 户关系管理中的客户细分功能；将关联规则技术应用到客户保留功能。并给出了 相应的算法和应用的思路。最后介绍了根据以上思路开发的一个基于数据挖掘技 术的电力企业客户关系管理软件的原型。 关键词：数据挖掘客户关系管理电力市场营销关联规则 a b s t r a c t w i t ht h ea c c e s s i o nt ot h ew t o ，c h i n a ss t a t e - o w n e de n t e r p r i s e sr e f o r ma n d e c o n o m i cr e s t r u c t u r i n gh a sc o n t i n u e dt od e e p e n ；e l e c t r i cp o w e r sm a r k e th a sb e e n c h a n g e df r o mv e n d o r sm a r k e tt ob u y e r sm a r k e t t h ep r o b l e m i sh o wt od e v e l o pa n d o c c u p yt h em a r k e tf o rt h ee x i s t i n ga n dp r o g r e s so ft h ee l e c t r i cp o w e r se n t e r p r i s e s ， a n dh o wt om a k et h e mf u n c t i o nm o r ei nn a t i o n a le c o n o m y u n d e rn e ws y s t e mw e s h o u l db em a r k e t o r i e n t e da n dt a k et h ei n i t i a t i v ei nm a r k e tr e s e a r c h t h e nw ew i l l r e a l i z et h et r a n s i t i o nf r o mo l dp o w e rs u p p l ym o d e mt om a r k e t i n g s ow ew i l l i n t r o d u c ec u s t o m e rr e l a t i o nm a n a g e m e n tt om o d e me l e c t r i ce n t e r p r i s e sm a r k e t i n g i nc u s t o m e r r e l a t i o n s h i pm a n a g i n gf u n c t i o n ，c u s t o m e rd a t aa n a l y s i s a n d a u t o m i z e dm a r k e t i n gm a n a g e m e n ti sam u c hc o m n l o nf u n c t i o n st h a te l e c t r i cp o w e r e n t e r p r i s e sn e e d d a t am i n i n gi sp l a y i n gag u i d er o l e i t sm o s tc o m l u o na p p l i c a t i o ni s m a r k e t i n g ，e s p e c i a l l yc u s t o m e rr e l a t i o nm a n a g e m e n t s ot h i st e x tp r o p o s e st ou s ed a t a m i n i n gt e c h n o l o g yi nc r mo f p o w e r m a r k e t c o m b i n et h et h i n k i n go fa n a l y s i sa b o v e ，t h i st e x tp u t sf o r w a r da p p l y i n gd e c i s i o n t r e et e c h n o l o g yt oc u s t o m e rs u b d i v i d ei ne l e c t r i ce n t e r p r i s e sc r ma n da p p l y i n g a s s o c i a t i o nr u l e st oc u s t o m e rr e s e r v a t i o n a n di tp r o v i d e sc o r r e s p o n d i n ga l g o r i t h m a n dt h i n k i n gu s e f i n a l l yi ti n t r o d u c e sa ne l e c t r i ce n t e r p r i s ec r ms o f t w a r ep r o t o t y p e b a s e do nd a t am i n i n g k e yw o r d s ：d a t a m i n i n g ，c u s t o m e rr e l a t i o nm a n a g e m e n t ( c r m ) ，e l e c t r i c p o w e rm a r k e t i n g ，a s s o c i a t i o nr u l e s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤壅盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期：如。多年月日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权墨鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 房青争 导师签名 签字日期：沁o f mf 月f | f i 签字日期：年月日 第一章电力市场改革下的客户关系管理 第一章电力市场改革下的客户关系管理 1 1 电力市场营销分析 随着w t o 的加入，国企改革、经济结构调整进一步深化，我国电力市场在 供求方面已由卖方市场转为买方市场，当前电力企业所面临的问题就是：在激烈 的市场竞争环境下，如何开发和占领市场以使电力企业获得生存和发展，并在国 民经济中发挥更大的作用。结合千变万化的市场及未来的发展，营销策略在电力 企业中显得尤为重要。必须密切关注电力行业这个市场，逐步建立与市场接轨的 营销机制，完善新体制下的电力营销模式。 市场是电力营销的基础，电力企业的一切生产经营活动必须围绕市场来进 行，市场的构成基于人口、购买力、购买欲望三大要素，随着我国加入w t o ， 电力体制的改革等市场环节的推进三者在我国电力市场的潜力将显得更为突 出。在全面了解市场后，电力企业需要积极的转变观念，多年来电力行业一直处 于垄断地位，传统的营销观念已经不能解决当前电力市场的问题及矛盾。在新的 体制下我们应以市场为中心，主动研究市场，实现电力企业从旧的供电模式向市 场营销的积极转变。 电力市场营销应以市场为立足点，以高效，便民，提高电能的终端能源占用 率为目标，引入能够适应市场经济需要，增强市场开拓和发展的新机制，不断拓 展电力市场营销活动。电力市场营销要能够引导消费，刺激消费。进行市场营销 活动，首先要进行电力市场现状分析。 所谓电力市场现状分析【6 】是指通过市场调查说明规模，电力市场占有率，增 长情况，结构如何，用电趋势，售电量，销售额，利润等；其中十分重要的一个 指标是电力商品的市场占有率。从而进行营销机会分析。比如附加产品战略，附 件产品包括保证，承诺，到户水平，广告，客户咨询，提供信贷及融资，电费清 单送达，客户意见及建议的收集和整理等。通过数据挖掘技术，就能发现哪些客 户需要哪些附加产品，有效的进行营销活动。例如对企业的客户而言，期望安全 可靠及高效的动力能源保障，较高层次的用电咨询及相关咨询。 第一章电力市场改革下的客户关系管理 1 2 客户关系管理 留住一个客户所花的代价比吸引一个离开客户重新回来的代价少得多；客户 离开后再把他们吸引回来所花的钱要比使他们一开始就满意所花的钱多得多；将 新的产品卖给老窖户要比卖给新客户容易的多：有些客户比其它客户更有利可 图。有些客户现在是无利可图的，还有一些客户现在和将来都是无利可图的。这 些结论都是企业经营者经营企业多年得到的结论。因此他们试图改变单一的销售 模式，与客户建立持久的销售关系。 c r m 系统能够及时回答： 1 哪些客户最有利，为什么? 2 什么样的促销活动对哪些客户最有效? 3 什么样的客户会对我们的新产品感兴趣? 4 哪些客户有可能会倒向竞争对手? 5 最有利可图的发展方向在哪里? 因此c r m 提供了分析客户有利性和提高市场营销有效性的手段。 c r m ( c u s t o m e rr e l a t i o n s h i pm a n a g e m e n t ，客户关系管理) 【l 】及是一项企业整体策 略，也是一种具体战术手段。企业通过部署和实施c 砌正希望能够获取客户信 息资产在其生命周期中的最大价值。m e t a 研究集团的e f i z a b e t hr o c h e 将c r m 定义为：“一个能够在恰当时间对恰当的客户群提供恰当的客户关系服务的体系， 从而使得企业获取更高的收入和利润。” 为了保持竞争力，企业应采取面向客户、客户驱动和以客户为中心的发展策 略。这些数据反应了企业希望建立持久的客户关系的愿望。c r m 作为一种解决 方案使这些努力真正给企业和客户带来好处，从而使客户不再怀疑这些努力的作 用。客户关系管理的目标是获得最大利益，使企业能更好地分辨和更有效地将资 源分配给最希望得到它们的客户。 客户关系管理体现了一对一市场营销的含义，同时也包含了销售自动化和规 范化的思想。好的客户关系管理意味着公司以顾客能够通过各种渠道与公司沟通 交流作为公司的唯一形象，同时在企业上下都树立客户第一的目标，好的客户关 系管理需要充分理解客户以及客户的爱好。这就意味着预见到顾客的需求，及时 地向客户提示和满足客户潜在地需求。它也意味着要及时发现客户不满意的地 方，在客户还没有流失以前加以改进，另客户满意。 从较高的层次看，c r m 系统的体系结构很想一栋房子。房子有一个可靠的 根基或地基。有衡量墙壁拐角和笔直度的隅石；还有构建房子的体系结构蓝图。 最后还有顶石完成整栋房子的最后部件。c r m 的体系结构：客户接触点是 第一章电力市场改革下的客户关系管理 根基；数聚仓库是地基；客户利益性是隅石；数据挖掘是体系结构蓝图；w e b 应用是顶石。 1 3 电力市场c r i 在一般行业的业务中，最大化客户权益的动力来自于，提高客户获得率、客 户保持率以及新增的数据机会。但是，对于电力行业，这样的公用事业来说，战 略重点却集中在于，在降低成本的同时，提供更好满足客户需求的、更有效率的 服务。这是因为电力行业的自然垄断性和长期以来的政府管制( 在未来相当长的 时期内都会继续存在) ，电力企业无法获得那些竞争性行业通过增加客户而获得 的企业利益。 1 3 1 电力行业客户服务的特殊性 考虑一家普通的网上花卉销售商店。当一个客户打电话进来的时候，它意味 着一个销售机会。公司当然希望产品卖的越多越好，所以，他们希望客户不断重 复的来电话，而且他们也愿意为提高电话呼叫率而加大投入。 而对于电力企业来说，情况恰好相反。电力公司希望能为客户提供一种印象 良好并且前后一致的服务体验在适当的机会展示公司的服务能力，但是电力 公司显然不会希望接到没完没了的保修服务电话。最好的情况是一个报修电话也 没有，这表明客户运行状态良好，正在享受电力企业稳定的服务。然而，这样的 好事不会总是发生，一旦面临保修电话，电力企业需要做的就是，尽快地为客户 解决问题，而且最好是一次性解决，如果因为一个问题，客户要进行多次反复地 电话沟通，这就已经说明电力企业地服务水平比较差了。 换句话说，对于一般产品地销售，客户接触的内容以促进商品成交和建立良 好的企业形象为主，而电力企业却是以危机处理为主。 1 3 2 电力企业业务的实际需要 电力企业必须考虑自身业务的实际需要，以及与之相匹配的客户关系管理解 决方案。直接套用某一种统一的模式，可能并不能解决好电力企业的问题。大部 分c r m 是从一般竞争性行业的业务演化而来，而作为大多数电力企业来说，许 多功能可能根本无法用到。同时国外的一些惯例也不会十分贴切中国本土企业的 需求。这不仅仅是浪费企业资源的问题，更有可能发生的情况是，由于“杀鸡” 用了“牛刀”，造成用力过猛许多c r m 功能操作复杂、难以掌握，又不切 第一章电力市场改革下的客户关系管理 实际，使企业失去了对c r m 实施成功的信心，反而影响了有效客户服务活动的 展开。 客户关系管理功能中，客户数据分析、营销自动化管理等领域是电力企业需 求较为普遍的功能1 0 1 。同时，电力企业要成功应用这些管理功能，还需要每个功 能有一个清晰的定位，并且功能与功能之间要有良好的协作性，这样才能使企业 达到超越他人的业绩表现和成本降低。 1 3 3 小结 电力企业除了根据业务实际需求、重视历史数据的利用和建立关键系统之间 的联系，做好工作以外，还需要采用不同管理的方式和观念。客户关系管理在某 种意义上说，是一种经营哲学，是企业文化的反映，需要企业全体员工的付出和 支持。c r m 能够提供关于客户和服务业务流程更为全面的观察和信息，捕捉关 键业务信息为将来的分析奠定基础。c r m 不应该去建立和维护多余的功能部分 和数据信息。 c r m 提供关键业务流程的应用譬如，客户联络管理、目标沟通、计划 安排和工作流程管理等。电力企业在实施客户关系管理的同时，做好现有系统的 改进和整合工作，使得企业已有的资产可以为企业发挥出最大的效益。 目前比较成功的电力市场c r m 解决方案有辽宁电力公司、黑龙江电力公司、 大连市供电公司、贵阳市南供电局、沈阳市供电公司等【1 1 l 。 第二章数据挖掘技术 2 1 基本概念 第二章数据挖掘技术 数据挖掘1 4 j 是通过自动或半自动化的工具对大量的数据进行探索和分析的过 程，其目的是发现其中有意义的模式和规律。它能够分类、估计、预测、组合或 关联法则、聚类、描述与可视化。 前三种方法或工作，即分类、估计和预测，属于直接的数据挖掘( d i r e c t e dd a t a m i n i n g ) 。在直接的数据挖掘中，目标是应用可得到的数据建立模型，用其他可 得到的数据来描述我们感兴趣某一变量。后三种方法或工作，即分组或关联法则、 聚类、描述与可视化，属于间接数据挖掘。在间接数据挖掘中，没有单一的目标 变量，目标是在所有变量中发现某些联系。 分类工作的举例包括：将信用卡申请者按低、中和高风险分类；( 按用户用 电量高中低等分类) ，我们可以用估计的方法得到未知的连续型随机变量的某 数值，例如收入、身高或信用卡的余额。( 用户具体的用电量) 估计经常被用来 完成分类的工作。任何的预测都可以被认为是分类或估计，不同之处在于你强调 的是什么。在对训练样本进行预测时，分类和估计技术都可使用。组合或关联法 则大部分时候应用在零售供应商安排货架或目录和交叉购物。 聚类将相似的事物分成一类，诧异较大的事务分在不同的类中。聚类与分类 的区别是聚类并不依赖于事先确定好的组别。聚类通常也作为其他数据挖掘或建 模过程的第一步工作，如市场划分研究的第一步。我们进行数据挖掘的目的仅仅 是要增进对复杂数据库内容的了解， 数据挖掘需要对海量的数据进行复杂的计算。计算能力、性能价格比、数据 输入与输出速度的发展与变化使得大规模的数据挖掘成为实际，并可获得利润。 只要有越来越多的信息，只要信息越来越容易获得，数据挖掘就一定会起越来越 重要的作用。它会帮助消费者和企业从噪音中发现他们所要寻找的信号。 数据挖掘也需要综合商业知识和技术。数据挖掘将商业需求和所需要的数据 联系在一起；它是对客户和商业前景的理解，理解产品和市场，理解供货方和合 作伙伴，理解销售的全部过程，并用数据将他们整合在一起。为了成功运用数据 挖掘，对数据挖掘技术层面的基本理解是至关重要的。 第二章数据挖掘技术 无监督的数据挖掘经常用于数据探索阶段。比如，数据中有什么? 它描述了 怎样的信息? 数据中是否存在不寻常的模式? 数据对客户细分有怎样的建议? 这类问题的答案可以通过聚类分析、可视化和市场购物篮分析的数据挖掘工具来 得到。同时，有些预测建模方法，特别是决策树，在产生模型的时候也解释了建 模的过程。在有些情况下，用决策树，不仅完成了预测的任务，可能还能获得其 他有价值的信息。也就是说，建模过程会出现两种结果，用有监督的数据挖掘方 法，产生出决策树以对未来做出预测。而观察决策树并获得有兴趣的模式，则是 无监督数据挖掘的应用。使用无监督的数据挖掘方法必须做到人机交互。先进的 算法可以在数据种找到模式，但是必须由分析员来决定哪些模式是有用到的，以 及这些模式的含义是什么。 数据挖掘最普遍的应用表现为市场营销【1 】，特别是客户关系管理。一个数据 挖掘项目最关键的环节就是要和了解企业业务问题的人员沟通。数据挖掘的核心 是将数据转换成可以操作的结果。 数据挖掘应用最成功的当推市场营销领域，特别是数据库市场营销。在这个 领域中，数据挖掘既可以应用于利润方程中的成本项目，也可以应用于收入项目。 在数据库数据挖掘中，数据库搜集的是市场营销过程中争取更多目标客户的数 据。在这种情况下，可以通过订货跟踪系统、付费系统、自动售货机销售等系统 的信息获得客户详细的行为数据。进一步，这些数据还包括普通美国家庭消费的 信息，或者更大一些的范围，也包括世界其他国家家庭的信息。 数据挖掘可以节省市场营销的费用，因为它可以减少推销电话和信函的数 量，而减少的这部分电话和信函恰恰是对推销没有回应的客户。在收入方面，数 据挖掘被用来发现最有价值的潜在用户，既哪些喜欢购买最高数额的保险或者喜 欢购买最昂贵豪华汽车的客户。 2 2 客户关系管理中的数据挖掘 在客户关系管理中，数据挖掘正在起着导向的作用。只有应用数据挖掘方法， 大企业才能将客户数据库的大量数据转变成描述顾客特征的一些图象。对于一个 商业用户来说，要做出较好的决策，管理者需要回答各种各样的问题。一些问题， 例如：新产品的销售声誉和类型在过去的几个季度表现如何需要使用在线分析处 理方法回答。另一些问题，如不同的地理位置和产品类型对销售额的影响则最好 通过可视化方法加以表达。例如可用地图上各个国家位置的高度表示总销售额， 用颜色表示商品的混合。而还有一些问题，如应该向哪些顾客邮寄9 6 页的假日 商品广告，应该向哪些顾客邮寄1 2 0 页的假日商品广告则最好通过数据挖掘来回 第二章数据挖掘技术 型1 们。 负责市场营销的副总裁希望回答所有这三类问题，但他可能并不明白为什么 三种答案来自三种不同的软件系统，也可能来自不同的计算机，以及访问不同的 数据。我们相信未来不同的决策支持技术，如数据挖掘、在线分析处理、数据仓 库和可视化技术等，将会结合得更加紧密。 第三章面向c r m 的数据挖掘在电力市场中的应用 第三章面向c r m 的数据挖掘在电力市场营销中的应用 3 1 启动步骤 启动一个数据挖掘应用的1 0 个步骤 1 定义问题 既从商业的角度，选择可以被数据挖掘定义的业务问题。 国电公司提出要“依靠科技进步，逐步实现营销管理现代化”，已有一些省 级的电力公司开始在电力市场营销现代化方面投入财力精力开发相关软件系统。 电力公司在以前的管理信息系统的基础上，提出要加入新的科技元素，希望把数 据挖掘技术应用到市场营销的过程中，做出快速、科学的市场营销决策，更好的 适应电力体制市场化改革。尽快完成企业理念由计划用电向市场开拓的转变，由 用电管理向营销服务的转变。适应以市场为导向、对内以营销为中心、对外以客 户服务为中心的新机制。 2 定义用户 电力公司中使用数据挖掘系统的用户主要是市场营销部门的工作人员。基本 上能够熟练使用计算机，能够熟练使用公司目前正在运行的管理信息系统，电子 办公系统。但是对数据挖掘比较陌生，不想了解技术原理或挖掘的过程，只想要 结果能够指导自己制定电价和相应的优惠政策。如果数据挖掘系统能够找到他们 以前没有注意到的规律，或潜在的客户，他们也十分感兴趣，并且在业务知识方 面愿意配合。 3 定义数据 找到合适的数据，其中隐含着企业问题答案的有用信息，识别数据的质量， 搜集初始数据。 用于电力市场营销的数据挖掘应用所需要的数据主要是售电历史数据，包括 行业类别、时间、售电量等。电费账单是电力公司与客户之间的主要沟通形式， 是电力企业记录客户资料和用电量数据的基础系统。包含客户基本信息、完整的 交易记录和用电信息、客户维修记录等。电力企业信息系统建设已经形成了海量 数据资源，除了省公司之外，各个市县公司都有自己的数据库和管理信息系统。 虽然数据量很大，从9 0 年以后的都有，但是数据格式各不相同，遗漏的地方也 很多，比如有些数据字段不是每个市县都有，或者只有周报表没有日报表等情况， 甚至数据的形式都不同，有电子格式的，也有纸质报表格式的。总公司数据库中 第三章面向c r m 的数据挖掘在电力市场中的应用 只有各个市县的月统计和年统计数据，因此数据情况不是很好。 关于数据情报员，电力公司的市场营销部有一个人专门负责解答关于数据的 问题，例如数据表中某些列的含义，电力行业的习惯用法等等。省公司的领导还 会亲自监督各省市分公司交付数据的落实情况，以免影响项目进程。 4 进行真正意义上的定义数据( 数据清洗、数据组织和准备数据字典) 为了使有用的信息更适合数据挖掘工具的建模要求，精加工并提升数据，便 之成为建模数据。 关于遗漏的数据，尽量请各分公司的负责人员补足，因为他们经常接触这些 电力销售数据，能够猜测出遗漏的大概是怎样的数据，这样比后期补足更加准确， 更有可信性。 那些纸质的报表，指派了一部分人员专门进行将报表上的数据输入到电脑的 工作，使这些数据成为电子格式的，便于以后的使用。 将不同格式的数据集中到同一个数据库中，将储存在e x c e l 或其它类型数据 库中的数据导入到系统准备进行数据挖掘的数据库中，建立统一的表的格式，使 得数据能够汇总。 在数据整理好之后，指定人员进行数据字典的整理，可以是逻辑模型、关系 数据表、电子数据表格或者是文本型文档。能够说明数据库的每一列存放的内容 ( 类型、含义) ，数据来源的描述( 来自于哪个分公司；便于出问题的时候找到 根源) ，对数据有效性的估计等等。便于以后作为公共信息发放给系统开发人员。 5 控制项目的范围 主要针对销售数据进行数据挖掘，挖掘由市场营销部门使用。不需要对发电， 输变电等环节提供服务，系统也不会被其他部门使用。 6 试验 先对某个市某个时段的数据进行试验，通过试验得到数据挖掘系统，除去数 据流中的各种错误，消除用户的错误理解。他们在未见到实际的数据挖掘系统之 前，不会知道它会是什么样子，征求他们的意见时，不知道该提出什么样的要求。 试验系统可以帮助他们理解系统能为他们做些什么。通过将这些试验基础上的最 初界面提供给用户，就可以更深刻地洞察什么对用户是有用的，什么是没有用的， 重新安排工作重点。 7 质量保证 在实施项目的全过程中，质量保证都拥有最高优先权。数据挖掘系统只是整 个c r m 过程的一个部分，可能带来重大的益处或者恶果。 保证高质量的关键是使质量保证计划成为一个程序，而不是一时的事情。在 项目的整个业务系统中，对如何实行质量保证程序各方要达成一致。专门分配一 第三章面向c r m 的数据挖掘在电力市场中的应用 个质量保证角色，使他成为数据挖掘项目小组某个成员的全职工作。 质量保证员要验证数据挖掘模型的有效性，让用户知晓流程的质量。主动的 通过报告、陈述和其他的交互式工具将系统的高质量和可靠性展示给用户。 8 教育培训 定期对用户进行新的数据挖掘系统的使用方法和商业价值的教育。包括最初 的培训，和以后向用户培训什么是模型和度量指标，以及怎样访问和将系统的结 果可视化。 通过培训，运行c r m 系统的企业可以有效的利用数据挖掘系统，用户能够 可靠地使用系统而不会犯错，并且对系统结果的有效性树立信心。 9 发布 从市场的角度，根据模型制定行动计划，并开始实施。 发布做得好，人们将接受数据挖掘技术，将改善c r m 流程得的方方面面。 如果做的不好，要恢复正常非常困难。因此从发布之日起，就要求系统1 0 0 没 有错误。 从市场营销部中选择市场分析员和营销主管作为核心用户，能够涵盖c r m 系统中数据挖掘系统提供的各项新功能。帮助质量保证计划和排除错误，使数据 挖掘系统得到的结果在c r m 系统中能够起作用。 为了避免用户将数据挖掘的结果错误的解释，要鼓励用户将他们得到的结果 和数据挖掘小组的进行比较，通过坐下来和最终用户讨论最后的结果，可以获得 他们对系统价值的评价和反馈。评价行动的结果，并将意见反馈给数据库，用于 之后的挖掘过程。 1 0 维护 要经常更新c r m 系统所使用的数据资源和数据挖掘系统的预测模型。对所 有旧的模型建立档案和编制目录，模型的长期效果非常重要。 3 2 基于神经网络的数据预处理 3 2 1 问题的提出和预处理流程 在对整个售电市场利用数据挖掘方法进行营销分析时，有以下两个方面的问 题必须妥善解决： 1 、消除各个因素量纲的影响。在论文所建立的售电事务空间中，涉及到多 个具有不同量纲的维度，由于数据数量级上差别太大会对数据挖掘结果造成不良 的影响，因此本文采用了属性构造对各维度的数据进行数据变换，在保持原始数 第三章面向c r m 的数据挖掘在电力市场中的应用 据值之间关系的同时将其映射到同一数量级。 2 、连续属性的离散化。论文采用了数据挖掘的分析方法，对售电事务数据 库进行搜索以总结出有用的售电规律。在电力市场营销事务空间中，有些属性( 比 如售电量，气温等) 的值是连续的，由于连续属性不同值太多不利于数据挖掘算 法总结规律，因此需要对连续性的属性进行聚类和离散化，这样才有利于找到规 律性的知识。 本文就上述两个问题分别引入了基于最大一最小规范化的属性构造方法和 基于径向基函数( r a d i a lb a s e df u n c t i o n , r b f ) 神经网络的数据聚类方法合理的 解决了上述两个问题。 最大一最小规范化对原始数据进行线性变换。假定m i l l 。和m a x 。分别为属性 a 的最小和最大值，最大一最小规范化通过计算式： v = 粤( n e w m a x ：a - - n e w m i n ) + n e w _ m i n ( 1 ) m a x 。一m 1 1 1 将属性a 的值v 映射到区间 n e w m i n ，n e w m a x 】中的v 1 。这样不同的量 纲的属性之间，在数据挖掘中就不会因为数据数量级上的差别对结果产生不良影 响。 本文利用r b f 神经网络的分类功能 2 1 ，对连续属性进行聚类，用网络中心来 代替原始的连续值进行规律发现，这样使得每个属性就成为离散值，在保持原有 各属性之间相对关系的同时，减少属性不同取值的个数，这样使一些规律性的规 则才能显示出来。 综合以上两种方法，论文所提出的电力市场营销分析思路对连续属性数据预 处理的流程如图1 所示： 第三章面向c r m 的数据挖掘在电力市场中的应用 。 量塑謦警量刹一 i 1 最大一最小规范化对原始数i l 据序列进行线性变捶j 萱 无量纲酌连续 性数据席烈 i r b f 利愠网络对数据序列进l 卜 行聚娄 二= f 属于数据挖掘进行规律发 i现的离敞化数据序列l 图l 数据预处理流程 3 2 2 径向基函数神经网络 本文用于对连续属性进行离散化的径向基函数( r b f ) 神经网络是应用多变 量插值的径向基函数设计而成的神经网络。已经证明r b f 神经网络可以在任意 精度下逼近任意的非线性函数。它的典型结构是一个三层的前向网络( 如图2 ) 。 输 入 空 间 p 输 出 空 间 q 图2r b f 神经网络结构图 常用的r b f 神经网络方法可以阐述如下： 中间层神经元实现了对输入层特征提取的非线性变换，本文将中间层神经元 的转换函数取为高斯范函数，因此，第i 个神经元的转换函数为： 一l8 1 1 二山、： x = g ( i i p 。一t ，ij ) = p 2 。“ ( 2 ) f = 1 ，2 ，；i = l ，2 ，研 第三章面向c r m 的数据挖掘在电力市场中的应用 其中吼。指第七个样本经过第f 个神经元的输出值；最是第后个样本向量；正 是第f 个中间层神经元的中心；范数0 最一删= 抓i 二i 厂网。每个中间层 神经元的转换函数几何图形如图3 所示： j 仟半息从仰 经元的输出 、- l 网络中一c- 点位置 图3 转换函数 样本点位 置轴 在本文中输出层的神经元实现了如下分类过程：在，z 维空间r ”e e ，给定一个 有m 个不同样本点的集合扛。r “i k = l ，2 ，聊) ，将这些样本点经过具有h 个网络 中心的r b f 神经网络分成行类，使其与所属的类别对应的网络中心最近。 所以根据上述基函数，整个网络的映射关系为： f ( x t ) = i 。一与j l 坚珊) ： 当正= m a x e 2 q ) r b f 神经网络的训练可以分成两个步骤，第一步是为隐含层神经元寻找网络 中心；第二步是利用最小二乘进行参数估计得到隐含层到输出层的权值。 k 均值聚类法是r b f 神经网络易于使用且性能较好的寻找网络中心的算法， 基本思想可以阐述如下： ( 1 ) 初始化网络中心个数及每个网络中心的向量t i ( 通常是前几个训练样 本) ： ( 2 ) 对训练样本集按现有聚类中心进行聚类，计算每个样本点与每个聚类 中心的距离c 。将每个样本点标记给与其距离最短的网络中心： ( 3 ) 依据本次聚类结果对网络中心进行修正，得到新的网络中心r ，设本 次聚类中标记给第，个网络中心r ，的样本点共有m ，个，则 y x 巧= 等v x 。弓 ( 4 ) 第三章面向c r m 的数据挖掘在电力市场中的应用 ( 4 ) 返回( 2 ) 迭代直到r ，保持基本不变，确认t 为网络中心。 通过k _ 均值聚类法确定选定了网络中心之后，输出层的转换函数负责为各个 样本点标记类别。本文中，每个样本点由下面的公式来标记： ( x l ，x 2 ，一，x h ) = f 当x “= m a x ( x “，靠2 ，- ，j ) ( 5 ) 其中， 是第k 个样本点的类别输出，x 。是第第k 个样本点从第f 个网络中 心的输出值。 各月络 。样本点 i 的评价4 5 一弧 各样丰的相。 图4r b f 神经网络分类示意图 经过上述的r b f 神经网络对连续性数据序列的聚类，该属性就被离散化了， 如果神经网络的中间层有5 个神经元，经过训练后，该神经网络就形成了如图4 所示的数据评价分类网络，如图示，水平方向为各样本点的相对位置，垂直方向 为样本点经过每个网络中心的评价值，每个样本点将被划分给对其评价最高的网 络中心，并用该网络中心代替该样本点的值，这样原来连续的属性就被离散化了， 其取值域就仅是网络中心的集合。 3 3 市场细分 在分析电力市场现状和营销机会的时候，首先做到的就是要对目前的各类用 户进行细分。不仅包括农电，城市用电等显而易见的分类，还要归纳规则对该市 场内的售电水平进行分类和预测，包括不同的时间段所表现出来的不同的市场特 征，都可以作为标准将客户细分。 细分是指将一个大的消费群体划分成一个个细分群的动作，同属于一个细分 群的消费者彼此相似，而隶属于不同细分群的消费者是被视为不同的。 市场细分的用途之一是用指出客户是谁的方式在公司内给出指导客户 与客户之间如何不同，以及他们将被如何对待。应用到电力市场营销中，就是针 对不同的用户制定不同的电价优惠政策，以鼓励用户购买更大的电量。 第三章面向c r m 的数据挖掘在电力市场中的应用 可以利用决策树来建立细分群。决策树的叶节点可视为一个独立的客户细分 群。 3 3 1 基本概念和问题描述 决策树的分类分析，主要是要通过历史电量销售记录训练决策树或贝叶斯神 经网络，然后在指定的市场范围内对用电水平进行分类预测。并能找出在这一市 场范围内的各种电量水平差异的因素排序。 3 3 2 基于信息熵的决策树挖掘算法 判定树归纳的基本算法是贪心算法，它以自项向下递归的各个击破的方式构 造判定树。算法概述在图# 中，是一种著名的判定树归纳算法i d 3 版本1 2 , 1 9 1 。算 法的基本策略如下： 树以代表训练样本的单个节点开始( 步骤1 ) 。 如果样本都在同一个类，则该节点成为树叶，并以该类标记( 步骤2 和3 ) 否则，算法使用称之为信息增益的基于熵的度量作为启发信息，选择能最好 地将样本分类的属性( 步骤6 ) 。该属性成为该节点的“测试”或“判定”属性 ( 步骤7 ) 。 对测试属性的每个已知的值，创建一个分枝，并据此划分样本( 步骤8 1 0 ) 算法使用同样的过程，递归地形成每个划分上的样本判定树。一旦一个属性 出现在一个节点上，就不必考虑该节点的任何后代上( 步骤1 3 ) 。 递归划分步骤仅当下列条件之一成立时停止： ( a )给定结点的所有样本属于同一类( 步骤2 和3 ) ( b )没有剩余属性可以用来进一步划分样本( 步骤4 ) 。在此情况下，使用多 数表决( 步骤5 ) 。这涉及将给定节点转换成树叶，并用s a m p l e s 中的多数所在的 类标记它。换一种方式，可以存放节点样本的类分布。 ( c )分枝t e s ta t t r i b u t e 没有样本( 步骤1 1 ) 。在这种情况下，以s a m p l e s 中的 多数类创建一个树叶( 步骤1 2 ) 。 算法1 ：g e n e r a t e d e c i s i o n t r e e 由给定的训练数据产生一棵判定树。 输入：训练样本s a m p l e s ，由离散值属性表示：候选属性的集合a t t r i b u t el i s t 。 输出：一棵判定树。 方法： ( 1 ) 创建节点； ( 2 ) f s a m p l e s 都在同一各类ct h e n ( 3 ) 返回作为叶节点，以类c 标记； 第三章面向c r m 的数据挖掘在电力市场中的应用 ( 4 ) 矿a t t r i b u t el i s r 为空t h e n ( 5 ) 返回n 作为叶节点，标记为s a m p l e s 最普通的类； ( 6 ) 选择a t t r i b u t el i s t 中具有最高信息增益的属性t e s ta t t r i b u t e ； ( 7 ) 标记节点n 为t e s ta t t r i b u t e ； ( 8 ) 力，e a c ht e s t _ a t t r i b u t e 中的已知值1 2 ， ( 9 ) 由节点n 长出一个条件为t e s ta t t r i b u t e = 口的分支； ( 1 0 ) 设s 。是s a m p l e s 中t e s ta t t r i b u t e = 口。的样本集合； ( 1 1 ) i fs 为空t h e n ( 1 2 ) 加上一个树叶，标记s a m p l e s 中最普通的类； ( 1 3 ) e l s e 加上一个由 g e n e r a t e d e c i s i o n t r e e ( s ，a t t r i b u t e l i s t - t e s t a t t r i b u t e ) 返回的节 点。 上述算法中树的每个节点上使用信息增益( i n f o r m a t i o ng a i n ) 度量选择测试 属性。这种度量称作属性选择度量或分裂的优良性度量。选择具有最高信息增益 ( 或最大熵压缩) 的属性作为当前结点的测试属性。该属性使得对结果划分中的 样本分类所需信息量最小，并反映划分的最小随机性。这种信息理论方法使得对 一个对象分类所需的期望测试数目达到最小，并确保找到一个简单树。以下是关 于信息增益方法的基本概念： 定义3 1 ：给定的样本分类所需的期望信息，设s 是s 个数据样本的集合，假定 类标号属性具有m 个不同类c 。( f = 1 ，m ) 。设s ，是c 中的样本数。对于给定的 样本分类所需的期望信息由下式给出： 旦 i ( s j ，s 2 ，) = 一p 。l 0 9 2 p 。 ( 6 ) i = l 其中p ，是任意样本属于c ，的概率。 定义3 2 ：熵，设属性a 具有v 个不同值扛。，a ：，a ， 。可以用属性a 将s 划分 为v 个子集骼。，s ：，s ，j ：其中，s ，包含s 中这样一些样本，它们在a 上具有值 a ，。如果a 选作测试属性( 即最好的分裂属性) ，则这些子集对应于由包含集合 s 的节点生长出来的分枝。设s 。，是子集s ，中类c ，的样本数。根据由a 给出：划 分成子集的熵或期望信息由下式 e ( 一) ：窆型鱼! 马( s l j ，s 2 j , s m j ) ( 7 ) j = l o 其中：，o l j , j ：，) = 一p f l o g ：毋，p f = 备是s ，中的样本属于类c i 的概 闰 卜) j l 率。 在属性a 上分枝将获得的编码信息是： 第三章面向c r m 的数据挖掘在电力市场中的应用 g a i n ( a ) = l ( s l ，f i , 2 ，坩。) 一e ( a ) 3 3 3 决策树分析在c 跚中的应用 根据上述关于信息熵的概念和基于信息熵的决策树算法，来求表l 例子中所 有盯行业售电市场的决策树，进而分析本文将决策树分析引入电力市场营销分 析的思路。 表1 事务数据库d 示例 t i d i n d u i dm o n t h l dp r i c e i d p r e c i p l d e l e e i d 11 1m 1p 1r oe 0 21 1m 1p 2 r 0e 0 31 1m 1p 1r 0 b o 41 1m 2p 0r 1e o 5 1 1m 2p 2r 1e 1 61 1m 6 p 0r 1e 4 71 1m 6p 0 r 3e 4 81 1m 6p 3r 1e 3 9i lm 6p 3r 4e 3 1 0 1 1m 7p 4 、 r 4e 3 1 1 1 1m 7p 1r 2 e 4 1 21 1m 7p 4 r 3 e 3 1 31 1m 7p 1r 3e 4 1 41 1m 7p 1r 1e 4 1 5i lm 9p 3r 1e 3 1 6i lm 9p 1r 1 e 4 1 71 1m 9p 3r 1e 4 1 8i lm 9p 1r 1e 3 1 91 1m 9p 2r 2e 2 2 01 1m 9p 2r 2e 2 2 1 1 1m 9 p o r 2e 2 2 21 1m 9p 2 r 2 e 2 第三章面向c r m 的数据挖掘在电力市场中的应用 就电力市场营销分析的实际意义，类属标号e l e c i d 有5 个不同的值( 点池e 1 ， e 2 , e 3 , e 4 ) ，因此有5 个不同的类( m = 5 ) 。类e o 有4 个样本，互y 有1 个样本， e 2 有3 个样本，e 3 有5 个样本，e 4 有9 个样本。为计算每个属性的信息增益， 计算对给定样本分类所需的期望信息： i ( s l ，s 2 ，s 3 ，s 4 ) = 1 ( 4 ，1 ，3 ，5 ，9 ) = 一西4l 0 9 2 去一2 - 去1 0 9 2 西1 一言- 。g ：云一云云一丢2 l 。9 2 丢= 2 o o s 2 下面需要计算各个属性的熵。从属性i n d i d 开始，对每个分布计算期望信息。 对于m o n t h l d = m 1 ： i ( s 1 1 ，s 2 1 ，j 3 1 ，s 4 1 ，s 5 t ) = 0 对于m o n t h l d = m 2 ：， i ( s 1 1 ，j 2 l ，s 3 1 ，s 4 l ，s 5 1 ) = 1 对于m o n t h l d = 掰f l ( s l l ，s 2 1 ，s 3 1 ，s 4 1 ，屯1 ) = 1 对于m o n t h l d - - - - m 7 ： l ( s l l ，s 2 1 屯1 ，$ 4 1j 5 1 ) = 0 9