（应用数学专业论文）数据仓库在客户关系管理中的应用与实现.pdf

数据仓库在客户关系管理中的应用与实现 专业：应用数学 硕士生：利伟业 指导教师：朱恩铭教授 摘要 用以满足日常营运系统的要求而设计的数据库具有数据不集成、分析性能差 等缺点，因而不适合作为决策支持系统的数据库。 本文结合航空公司客户关系管理系统项目，提出了以数据仓库为基础的系统 结构，并且根据原有的客户管理系统的数据库设计对数据模型进行重新设计，以 符合数据仓库设计的原则。本文还设计了数据管理工具，用来实现数据转换、载 入等功能；并设计了查询工具和数据挖掘工具，为客户关系管理提供决策支持。 关键词：数据仓库，客户关系管理，数据挖掘，序列模式 t h e a p p k c a t i o na n di m p l e m e n t a t i o no fd a t a w a r e h o u s ef o rc r m m 砌o r ：a p p 吐e dm a 哳e m a t i c 8 n a l 眦：w e i y el i s u p e 丌l s o np m f e s rs i m j n gz h u a b s t r a c t d a t a b a s ed e s 唔n e df o rt h e ”r p o s eo fs a t i s f y 证gt h cn e e do fo p e t a t o n a ls y s t e m h a ss o m ed i s a d v a n i a g e ss u c ha si l li n t e 伊i t ya n d 卸a l y t i c a lw e a k n e s s ，s oi ti s n ts u i l e d t os e r v ea sd a t 曲a s ef o rd e c j s i o ns u p p o r ts y s t e m n j st h e s i si su n d e r i h cb a c k g r o u n do ft h ep r o j e c to fa i r l i i l e - c r ms y s t e m i t d e s i g n sas y s t e m 盯c h i t e c t u r eb a s e do nd a t aw a r e h o u s c 1 tr e d e s 纽n st h ed a t a b a s e a c c o r d j l l gt h eo r j g j l lc r ms y s t e md a t a b a s e ，sd e s j g nt oo b e yt h ep r j n c i p l eo fd a t a w a r e h o u s e i td e s i g n sad a t am a n a g e m e n tt o o lt oi m p l e m e n tt h ef l l n c t i o no fd a t a t r a n s f o 咖a t i o na n d1 0 a d i g i ta l s od e s i g n saq u e r yt o o la n d ad a t a m i i l i n gt 0 0 tt og i v e d e c i s i o ns u p p o nf o rc r m k e y w o r d s ：d a i aw a r e h o u s e ；c i t m ；d a t am i n i n g ；s e q u e n c ep a t f e m 第l 章综述 1 1 客户关系管理 第1 章综述 客户关系管理 m 时，第二种方法效率更高。在实际中，事 实表的数据量通常比多维数组的数据单元数多出几个数量级，所以我们采用第二 种方法是合适的。 4 3 查询工具 虽然我们提高了查询速度，但也带来易用性的问题：当汇总表数量多起束的 时候，要记住每个表的名字是不可能的：而且我们记不清楚某种汇总表是否存在。 如果无需知道汇总表的名字都可以利用汇总表，那将会带来极大的方便。 我们设计了一个查询导航器去实现这个功能。首先，它接受来自用户的查询 命令，命令可以是以s o l 语句形式，也可以是以分开的参数的形式，命令必须 包括：分组字段、汇总字符串、事实表名、约束条件，例如： 查询导航器通过查看s u m t a b k 。c a t a l o g 汇总表名目袁、a t t f i b u t c c o u e c i i o n 汇总表维度属性集表和a t t r i b u t t d e s c f n p i o n 维度表属性描述表判断是否存在汇 总表，其分组字段、汇总字符串、事实表名都与命令的一致，如果是，生成基于 汇总表的s q l 语句，如： 否则。生成基于事实表的s q l 语句，如： 第4 章查询上具设计 我们还可以利用查询导航器去实现下钻和上钻功能。这是一种非常实用的技 术。下钻能够从一个汇总级别转移到较低或更详细的级别。上钻则将汇总级别转 移到较高的级别。比如，当用户看到今年的乘机次数统计，他可以通过下钻，了 解今年每个季度的乘机次数统计，从中可以判断今年的营业量变化是因为某个特 殊时期的影响还是反映了公司的发展趋势。相反，通过上钻，用户可以看到粒度 更高的数据，能让用户判断某个特殊时期的影响有否对长期构成影响。 具体处理过程为： 1 、获取原来发送给查询导航器的命令。 2 、对要下钻或上钻的字段a ，通过查询m t 胁u t c _ d e s c r n p i o n 维度表属性描 述表的k 。g e l p r a d e 或s m a l l e 乙g r a d e 字段，得出下钻或上钻的字段名b 。 3 、用字段名b 替换命令中的字段名a ，再发给查询导航器得出下钻或上钻 的数据集。 4 4 应用实例 根据美国数据摩营销研究所向i h u rh n g h e s 的研究，客户数据库有3 个神奇 的要素，这3 个要素构成了数据分析最好的指标【7 j ： r ( r e c c n c y ) 最近次消费： f ( f r e q u e n c y ) 消费频率； m ( m o n e t a f y ) 消费金额； 理论上，最近一次消费时间越近的客户应该是价值越高的客户，对提供即时 的商品或是服务也最有可能会有反应。传统的理论认为，营销人员着想业绩有所 成长，只能靠偷取竞争对手的市场占有率。丽如今，营销人员只要密切地注意客 户的购买行为，也可以同样达到目标。在这个分析过程中，最近的一次消费就是 第4 章查询工具设计 营销人员第一要利用的工具l ”。 我们只能利用详细数据即t r a v e l d e t a j i 会员乘机记录表去得到每个 会员的最近乘机时间，代码如下： 消费频率是客户在限定的期间内购买的次数。我们可以说最常购买的客户， 也是满意度最高的客户。如果相信晶牌及企业忠诚度的话，最常购买的客户，忠 诚度显然也就最高叽 假如我们想求2 0 0 4 年每个会员一年内的乘机频率，我们可以利用根据年和 会员号分组汇总的汇总表轻易得到。还是用s u m l a b l e l 来表示此汇总表，代码如 下： 消费金额是所有数据库报告的支柱，它通常符合“帕雷托法则”( p a r e i o sl 丑w ) 公司8 0 的收入来自2 0 的客户。如看累计百分比的话，我们会发现有2 0 的客户贡献给公司总营业额的8 0 ；而有6 0 的客户占营业额的9 0 以上l ”。 虽然航空公司的会员按总飞行里程数分为金、银、普通三个级别，但实际发 现，几乎所有会员都为普通会员，会员的级别划分没有满足帕雷托法则，达不到 分级的目的。假如我们要根据会员某一年的总飞行里程来对会员重新划分级别， 我们可以利用s u n m l b l e l 得到每个会员的菜一年的总飞行里程，然后按里程数由 大到小排序，可以取前面总人数的5 定为金卡会员、紧接着的1 5 定为银卡会 员、剩下的为普通会员，这样各个级别的人数就可以达到合理的比例。代码如下： 第4 章查询工具设计 我们还可以改为以会员从入会到目前所产生的总里程数来划分，代码如下： s e k c t m e m b e r - n o ， 锄m ( t o t a l m i l e a g e ) a sa l l m i l e a g e 五r o ms u r i l t h b l e l w h e r eg r o u pb ym e m b e r _ n o o r d e r b ya l l m i l e a g ed e s c 第5 章数据挖掘上具设计 第5 章数据挖掘工具设计 5 1 选择关键的业务问题 数据挖掘工具一次一般只能解决一个问题或者任务，如分类、估计、预测、 关联分析、聚类和细分。很少有一种数据挖掘工具( 数据挖掘算法) 能够一次解 决两个或者更多的任务。因此，在设计数据挖掘工具之前，我竹j 首先要清楚业务 问题，明确是否能够将这些业务问题映射成数据挖掘模型解决的问题定义。 本系统的数据挖掘部分从功能上分主要有四个模块：会员资料分析、会员乘 机行为分析、里程银行分析、促销分析，每个模块都有各自的问题集。会员资料 分析目的是根据会员详情对会员进行分类或聚类：会员乘机行为分析目的是找出 会员乘机的规律特点；里程银行分析目的是预i 受i i 里程的积累和消费趋势，研究里 程银行政策是否合理；促销分析目的是比较促销前后营业额的变化，判断促销政 策是否有效果。数据挖掘工具结构如下图所示： 数据挖掘工具 会员资料分析 问题l ( 算法1 ) 问题：( 算法库) j 姜蓑： 卜 会员乘机行为分析蠕嚣： 卜一 对每个问题，可以有一种或多种算法去解答。我们把这些解答相同问题的算 法组织成一个算法摩。用户可以根据对解答的速度、精确度等性髓要求从算法库 中选择种合适的算法。比如，对会员的分类，我们可以用决策树模型、人工神 经网络模型、支持向量机；对里程积累和消费趋势预测，我们可以用季节性时间 序列模型、a 且j m a 模型；对航线的聚类，可以甩基于划分的聚类算法、基于分 第5 章数据挖掘t 其设计 层的聚类算法等等。 下面我们用改进的关联规则算法来分析会员乘机行为分析模块的其中一个 问题。 为了更好地了解客户。管理人员很想知道：我们的会员是否存在飞行规律? 如果是，规律是什么? 对某些会员来说，为了工作的需要，经常定期在两地间飞 行往来。这些会员就存在很强的飞行规律。如果能发现这些规律，对客户流失倾 向早期发现、提高服务针对性都有很大帮助。 5 2 算法设计 这个问题的实质是从会员的飞行记录序列中找出频繁出观的片断。下面的算 法是寻找关联规则这一通用思想的种应用：从序列中寻找片断( e p i s o d e ) 1 8 l 。 如果绘定一个事件类型( e v e nf y p e s ) 的集合，那么一个事侔序列( e v e n t s e q u e n c e ) 就是一系列序偶似砂，其中p ，f 是一个整数，代表时间e 发生的 时间。一个片断8 是由事件类型组成的一段局部状态( p a n j a lo r d e r ) ，就像下图所 示那样。可以把片断表示为图。 7 一、 一、 ：e l 一一，、 ( ai ：， 、 i嚣 1 i 一， 叫c f 一 y 片断口、卢和y 如果给定窗口宽度职那么片断口在序列s 中的频率就是包含口中的事件类 型并以a 所描述的顺序发生的片断占宽度的比例。下面我们集中讨论一个任 务：给定事件序列s ，片断集合，窗口宽度h 袖，频率阈值胁m j 伊，目标是寻找 出序列s 上发生比例至少为胁声的所有片断的汇集髓& 矸饥掰荭纠。 这种方法是建立在找最频集的关联规则算法思想上的：从可能的最简单模式 开始计算模式的频率，刹用上一次扫撼数据的信息建立新的娱选模式，丽且如果 一个模式的任个子模式不够频繁，那么便不再考虑这个模式。 、口 f、 第5 章数据挖掘工具设计 如果片断的所有节点也出现在片断口中，而且卢中各节点的关系也体现在 中，那么就说_ 8 是a 的子片断。使用图论的术语，我们可以说芦是a 的导出 子图。如果卢是“的子片断，那么我们将其写为墨乜：如果卢5o 并且_ 乜 那么写为声 口。 如果给定一个事件类型的集合e ，一个e 上的时间序列s ，一个片断集合。 窗口宽度砌t ，频率阈值m 加_ j 分，那么可以用下面的算法来寻找频繁片断的汇集 f e s ，w 执，m 汛多 。 在算法“产生候选项”一步，为了生成c ，我们不必列举事件类型的所有 组合。类似关联规则算法，我们只需要列举丘。中的两个满足一定条件的片断来 组合来生成c f 中豹片断。假如我们要通过一。中的两个片断口、多来生成长度为 2 的片断，舐芦要满足的条件是： 1 、只有一个事件类型不同； 第5 章数据挖掘工具设计 2 、除掉不同的那个事件类型后，剩下的片断相同。 设口、声不同的事件类型分别为n 、6 ，其位置分别为a 、岛，把矾芦合成 为长度为f 的片断的方法为： 1 、如果p 1 ，p ：，把6 插入到口的儿位置，得到的口就是新的长度为，的片 断。 2 、如果nc p ：，把口插入到卢的p 1 位置，得到的卢就是新的长度为f 的片 断。 3 、如果只= p ：，把b 插入到口的口之前或之后，得到两个新的长度为f 的 片断。 这种算法根据子片断的的关系对片断进行分层广度优先搜索。这一搜索从最 一般的片断也就是仅包含一个事件的片断开始。在每一层，这个算法首 先求出候选片断的汇集，而后根据事件序列检查它们的频率。 这个算法至多扫描数据“1 次，其中七是最大频繁片断的边和顶点数。每扫 描一次计算f c ，个片断的频率。要计算一个片断的频率需要在序列中找到这个片 断出现的窗口。这个操作可以在和序列长度以及片断的容量呈线性关系的时阉内 完成a 因此片断发现算法的运行时间是o o ：。i q i ，) ，其中n 是序列的长度。 5 3 应用实例 假设铁数据仓库中提取出菜会员在某段时期内的飞行记录： i 飞行航线飞行时间( 月)事件类型 a 到b 1l a 到c 22 a 到d 33 a 到c 4 2 柏 第5 章数据挖掘工具设计 ia 到b 5 1 a 到d 63 我们把每条飞行航线用一个数字来代替，于是得到事件类型集合e = 1 ，2 ，3 ) 。 我们用口一口：一一。一口。，q 表示依时间次序所发生的事件的时间序 列，于是会员的飞行事件的时间序列为s 一1 2 3 2 1 3 。这罩窗口宽 度w f ，一6 ，假如我们指定m i n - 户一妻，则属于频繁集片断的判定条件为：发生次 数不小于w 跏咖n _ 步= 6 去= 2 。 丌始，令c 为所有长度为1 的片断集合，即c 1 = 。检验c l 的所有片断，得 到满足频繁集判定条件在s 中出现次数不小于2 的片断集合只= l ，2 ，3 。 令c ：为墨中片断的组合，即c 2 = 1 2 ，1 3 ，2 一l ，2 3 ，3 一l ，3 2 ) ，检验c ： 中的每一个片断，得到满足频繁集判定条件且长度为2 的片断集合 兄= 1 3 ，2 3 。 重复上面的过程，得到c 3 ， l 一2 3 ，2 一卜3 ) ，经检验，c 3 的两个片断 在j 中出现的次数都是1 ，因此ez a ，算法结束。 结果，我们找到的频繁集为： 1 ，2 ，3 l 一3 ，2 一封。我们从中可以得至该会员 的飞行习惯为： t 、经常乘坐a 到b 、a 到c 、a 到d 的航班； 2 、在乘坐a 到b 或a 到c 的航班后，其后缀可能会乘坐a 到d 自q 航班。 4 1 参考文献 参考文献 1 c h r i st o d m a n 著，钟鸣等译。支持c r m 的数据仓库设计。机械工业出版社， 2 0 0 4 7 2 王珊等编著。数据仓库技术和联机分析处理。北京科学出版社，1 9 9 9 3 jg e o r g ej i f m a r a k a s 著，敖富江译。数据仓库、挖掘和可视化核心概念。 清华大学出版社，2 0 0 4 1 0 4 张维名等。数据仓库原理与应用。电子工业出版社，2 0 0 2 3 5 h t t p ：d a i l y n e w s d a y o o c o m c o n t e n t 2 0 0 2 1 0 1 6 c o n t e n t 一6 8 8 3 l 1 h t m 6 h a r j i n d e rs g i l l 等著王仲谋等译。数据仓库客户服务器计算指南。 清华大学出版社，1 9 9 7 1 0 7 宝利嘉编著。忠诚可求：获取客户终身价值。中国经济出版社，2 0 0 3 1 8 d a v i dh a n d 等著，张银奎等译。数据挖掘原理，机械工业出版社，2 0 0 3 4 9 w h i n m o n 著，王志海等译。数据仓库，机械工业出版社，2 0 0 0 5 i o r a l p hk i m b a l im a r g yr o s s 著，谭明金译。数据仓库工具箱：维度建模 的完全指南( 第二版) 。电子工业出版社，2 0 0 3 1 0 1 1 r a l p hk i m b a l l 等著，肖明等译。数据仓库生命周期工具箱：设计、开发 和部署数据仓库的专家方法。电子工业出版社，2 0 0 4 1 1 2 l e ns i l v e r s t o n 著，林友芳等译。数据模型资源手册( 卷1 ) 。机械工业 出版社，2 0 0 4 6 1 3 t o ms o u k u pi a nd a v i d s o n 著，朱建秋蔡伟杰译。可视化数据挖掘：数 据可视化和数据挖掘的技术与工具。电子工业出版社，2 0 0 4 i 【1 4 】e 丘e mg m a l l a c h ，d e d s i d n 占啪州黜d 如招啪砌o h 卵踟f 鲫5 ，m c g r a w h i l l ， 2 0 0 0 【1 5 】v i d e t t ep 0 e ，p a t r i c i a 日a u e r ，a n ds t e p h e nb r o b s t ，口“i 础增口如抽啪砌d s p ，0 r 如c 柳伽州印口，p r e n t i c e - h a u ，1 9 9 8 【1 6 】黄晓霞，萧蕴诗。数据挖掘集成技术研究。计算机应用研究，2 0 0 3 ，2 0 ( 4 ) ： 3 7 3 9 。