第9章客户信息的整合与运用.ppt

教学目的掌握客户数据 客户信息和客户知识的关系及其在数据仓库中的过程熟悉解数据仓库的定义 特征 类型 技术结构了解面向CRM系统的数据仓库设计 开发流程以及避免数据仓库建设项目失败的措施熟悉数据挖掘的定义 发展方向及其基本任务了解数据挖掘的技术 算法和技术视角的流程了解在CRM中利用数据挖掘所形成的商业价值熟悉知识发现的定义和过程熟悉OLAP的定义 特征及其基本操作分析教学重点客户数据 客户信息和客户知识的关系及其在数据仓库中的过程数据仓库 数据挖掘 知识发现和OLAP的概念教学难点数据仓库的技术结构数据挖掘的技术 算法和技术视角的流程 第9章客户信息的整合与运用 5 联机信息分析处理与CRM 9 1客户信息 信息技术与CRM 9 1 1客户信息概述1 客户信息 客户数据与客户知识 表9 1信息与知识的比较 补充内容 数据 信息 知识的联系和区别 数据数据是知识阶层中最底层也是最基础的一个概念 数据是形成信息 知识和智慧的源泉数据是对现实生活的理性描述 尽可能地从数量上反映现实世界 也包括汇总 排序 比例 等等处理数据泛指对客观事物的数量 属性 位置及其相互关系的抽象表示 以适合于用人工或自然的方式进行保存 传递和处理例如 水的温度是100 礼物的重量是500克 木头的长度是2米 大楼的高度时100层 在这些表述中 水 温度 100 礼物 重量 500克 木头 长度 2米 大楼 高度 100层就是数据 通过这些数据的描述我们的大脑里形成了对客观世界的清晰印象 信息从自然现象和社会现象中搜集的原始材料是数据 根据使用数据人的目的按一定的形式加以处理 找出其中的联系 就形成了信息信息 数据 处理 这个公式符合我们的思路 但我们认为它还不够完整 信息事实上还包括有一个非常重要的特性 时效性 例如新闻说北京气温9摄氏度 这个信息对我们是无意义的 它必须加上今天或明天北京气温9摄氏度 再例如通告说 在会议室三楼开会 这个信息也是无意义的 他必须告诉我们是哪天的几点钟在会议室三楼开会 注意信息的时效性对于我们使用和传递信息有重要的意义 它提醒我们失去信息的时效性 信息就不是完整的信息 甚至会变成毫无意义的数据流 所以我们认为信息是具有时效性的有一定含义的 有逻辑的 经过加工处理的 对决策有价值的数据流 信息 数据 时间 处理 知识知识是让从定量到定性的过程得以实现的 抽象的 逻辑的东西 知识是需要通过信息使用归纳 演绎得方法得到 知识只有在经过广泛深入地实践检验 被人消化吸收 并成为了个人的信念和判断取向之后才能成为知识 信息虽给出了数据中一些有一定意义的东西 但它往往会在时间效用失效后价值开始衰减 只有通过人们的参与对信息进行归纳 演绎 比较等手段进行挖掘 使其有价值的部分沉淀下来 并于已存在的人类知识体系相结合 这部分有价值的信息就转变成知识 例如 北京7月1日气温为30度 在12月1日气温为3度 这些信息一般会在时效性消失后 变得没有价值 但当人们对这些信息进行归纳和对比就会发现北京每年的7月气温会比较高 12月气温比较低 于是总结出一年有春夏秋冬四个季节 有价值的信息沉淀并结构化后就形成了知识 2 客户信息的类型在CRM中 按照客户信息来源的不同 可以将客户信息分为3种描述客户是谁的信息描述对客户进行营销或者促销活动的信息 主要包括市场活动的类型 预算或描述等描述客户与企业交易的信息 主要是过程信息与结果信息的结合上述这些信息可能是客户直接或间接告诉给服务人员的 也可能是从信息服务提供商那里购买的 还有可能是企业员工利用Web技术从网络中获取的这些客户信息为未来进行客户细分 客户价值的确定 客户生命周期的管理和客户忠诚计划提供了保证 3 客户信息的重要性说明客户信息质量低下的危害性储存和管理重复资料的高额成本无法有效地 准确地处理客户联系和活动对客户目前和潜在的价值 以及过去已经发生和未来可能发生的行为和要求无法进行深刻分析无法适当地划分和描述客户 从而也就无法针对不同的客户群提供不同的服务 客户信息对客户管理系统的重要性受客户信息水平影响最大的4个领域 麦凯恩 一是开辟新的分销渠道 关闭旧的分销渠道及重新部署现有的分销渠道等决策二是事半功倍的能力 用更少的员工为更多的客户服务三是提高销售和营销活动的效率 并以较低的成本实现相同的市场效率四是如何依据客户需求分配宝贵的客户服务资源 从而提高客户服务水平 4 客户信息对其他管理活动的影响减少外部采购的需求对不断变化的经营环境的反应 5 客户数据 客户信息 客户知识 补充内容 客户信息的来源 9 1 2CRM中的信息技术介绍数据库管理系统 DatabaseManagementSystem DBMS 客户服务代表与存储于计算机中的数据之间的软件界面 就是数据库管理系统对于任何重要的CRM系统而言 好的DBMS都是必不可少的数据仓库它能使客户服务代表 呼叫中心经理 管理人员和其他得到授权的个体或实体接触各种信息数据挖掘数据挖掘软件支持从貌似无关的大量数据中挖掘出有用数据的工作数据挖掘通过确定数据间的关系和关联来工作数据挖掘的结果利于促销 如识别客户的喜好决策支持决策支持软件包含使用电话中心经理和公司领导能回顾和利用数据以作出更好决策的软件工具从简单的电子表格程序 到复杂的图形界面的过程模拟器电子邮件 9 1 3CRM系统中的信息技术的应用1 数据仓库的应用数据仓库技术能比较好地解决来自销售 市场 制造 库存和客户服务等部门的分散数据提取和问题处理 从而达到更好地了解客户 更方便地提供服务的目的2 数据挖掘技术的应用数据挖掘是一门广义的交叉科学 包括了数据库 人工智能 数据统计和并行计算等方面的技术数据挖掘能够帮助企业确定客户的特点 从而可以为客户提供有针对性的服务 9 2CRM系统和数据仓库 9 2 1数据仓库 DataWarehouse DW 概述1 数据库技术的发展数据库系统是数据库和数据库管理系统的总称1968年 IBM研制出信息管理系统1969年 美国数据系统语言委员会的数据库任务组提出了网络数据库模型的数据规范 于1971年发表了DBTG报告 正式确定了数据库设计的网络方法1970年 Codd提出了数据库关系模型 开创了数据库的关系方法和数据库规范化理论的研究80年代后 关系型数据库理论得到空前广泛的应用90年代数据库技术并没有出现革命性的创新 2 数据仓库的提出 发展与兴起20世纪80年代中后期出现数据仓库思想的萌芽 从而为数据仓库概念的最终提出和发展打下了基础1992年 InmonW H 在其里程碑式的 建立数据仓库 一书中提出了 数据仓库 DataWarehouse 的概念 数据仓库的研究和应用从此得到了广泛的关注 9 2 2数据仓库的定义 特征与类型1 定义Inmon 1992 认为 数据仓库是面向主题的 集成的 是随时间推移而发生变化的数据集合 可用来支持管理决策面向主题集成的数据 从分散的子系统中提取 但不是简单拷贝 而是经过统一 综合数据对最终用户而言只读 不可更改数据随时间不断变化用于支持管理决策Infomix公司 数据仓库把分布在企业网络中的不同 信息孤岛 中的业务数据集成到一起 存储在单一的集成关系型数据库中 利用这种集成信息 可方便用户对信息的访问 更可使决策人员对一段时间内的历史数据进行分析 研究事物发展趋势SAS 一种管理技术 旨在通过通畅 合理 全面的信息管理 达到有效的决策支持 数据库与数据仓库 以银行业为例 数据库是事务系统的数据平台 客户在银行做的每笔交易都会写入数据库 被记录下来 可以简单地理解为用数据库记帐 数据仓库是分析系统的数据平台 它从事务系统获取数据 并做汇总 加工 为决策者提供决策的依据 比如 某银行某分行一个月发生多少交易 该分行当前存款余额是多少 如果存款又多 消费交易又多 那么该地区就有必要设立ATM了 显然 银行的交易量是巨大的 通常以百万甚至千万次来计算 事务系统是实时的 这就要求时效性 客户存一笔钱需要几十秒是无法忍受的 这就要求数据库只能存储很短一段时间的数据 而分析系统是事后的 它要提供关注时间段内所有的有效数据 这些数据是海量的 汇总计算起来也要慢一些 但是 只要能够提供有效的分析数据就达到目的了 数据仓库 是在数据库已经大量存在的情况下 为了进一步挖掘数据资源 为了决策需要而产生的 它决不是所谓的 大型数据库 2 共同特征数据仓库中包含大量数据 这些数据可能来自企业或组织内部 也可能来自外部以数据仓库方式进行组织的目的是为了能够更好地支持决策数据仓库为最终使用者提供了用于存取 分析数据的工具 3 类型根据数据仓库所管理的类型和它们所解决的企业问题范围 一般可将数据仓库分为下列3种类型企业数据仓库 EnterpriseDataWarehouse EDW 操作型数据库 OperationalDataSystem ODS 数据集市 DataMart 9 2 3数据仓库的技术结构设计模块 是由数据仓库的设计者和管理者来设计和定义数据仓库数据库数据获取模块 用于开发和运行数据获取应用程序 从源系统中获取数据 并整合到数据仓库的数据库中去数据管理员模块 用来生成 管理和访问数据仓库中数据管理模块 包括一整套用于维护数据仓库环境的系统管理服务信息目录模块 能帮助技术用户和业务用户访问数据仓库系统数据访问模块 所提供的数据访问工具使最终用户能够访问和分析数据仓库中的数据中间件模块 将仓库数据库与最终用户工具连接起来 图9 2数据仓库的技术结构 补充 数据仓库系统模型 数据仓库系统由四个主要部分组成处理过程实现 集散区域 管理控制数据的提供 仓库数据储藏室 元数据储藏室 9 2 4面向CRM系统的数据仓库设计与开发1 任务和环境的评估2 需求的收集和分析3 构造数据仓库4 数据仓库技术的培训5 回顾 总结与再开发 9 2 5数据仓库解决方案 略 1 Sybase提供的数据仓库解决方案2 SAS提供的数据仓库解决方案3 Platinum提供的数据仓库解决方案4 HP提供的数据仓库解决方案5 IBM公司提供的数据仓库解决方案6 Informix公司提供的数据仓库解决方案7 Oracle公司提供的数据仓库解决方案 9 2 6EddieBauer的客户数据仓库1 新的观点2 信息决定商业决策3 跟踪客户4 了解客户5 客户忠诚度 9 2 7如何避免数据仓库建设项目的失败1 缺少领导的大力支持和积极参与2 过高的期望值3 没有以决策支持为核心4 人员配备不够充分5 低估了数据清洁 转换 载入的工作量6 低估了用户对系统扩充的需要7 对用户界面和前端工具的重视 不够 9 3CRM系统中的数据挖掘 9 3 1数据挖掘 DataMining 概述1 从与数据仓库 OLAP和统计分析的联系中定义数据挖掘数据挖掘 从大量的 不完全的 有噪声的 模糊的 随机的实际应用数据中提取隐含于其中的 人们事先不知道但又具有潜在用途的信息和知识的过程从大量的数据中 抽取出潜在的 有价值的知识 模型或规则的过程 表9 2数据挖掘的进化历程 2 数据挖掘的主要特征数据挖掘面对的是海量数据数据可能是不完全的 有噪声的 随机的 又复杂的数据结构 且维数较大数据挖掘是多学科的交叉 综合运用了统计学 计算机和数学等学科的技术 3 数据挖掘的未来发展方向与专家系统结合的数据挖掘网络数据挖掘数据挖掘的时序性对非结构化数据的挖掘引入新的数据挖掘算法 补充内容 数据挖掘的主要功能 分类企业可以按照客户的行为对他们进行分类 以便使特定的产品和服务能够被提供给更加有价值的客户群 即最佳客户 族群 聚类将具有相似特点的客户分成几个族群 市场细分 联系 关系探寻产品或行为间的联系是否存在以及联系的强度 以便能够基于相关产品做出决策方式或次序客户的购买行为的方式或次序 补充内容 典型数据挖掘系统的结构 9 3 2数据挖掘的基本任务1 自动预测趋势和行为2 关联分析若两个或多个变量的取值之间存在某种规律性 就称为关联关联可分为简单关联 时序关联和因果关联等多种类型关联分析的目的是找出数据库中隐藏的关联网3 聚类分析数据库中的记录可被划分为一系列有意义的子集 即聚类4 概念描述是对某类对象的内涵进行描述 并概括这类对象的有关特征5 偏差检测基本方法是寻找观测结果与参照值之间有意义的差别 9 3 3数据挖掘的技术与算法简介1 数据挖掘的集合论技术粗糙集技术是一种处理含糊和不精确数学问题的新型数学工具粗糙集将知识定义为不可精确区分的关系的一个族集 这就使知识有了明确的数学含义 易于进行数学分析概念树技术一个数据库中的不同数据都拥有许多的不同属性 根据这些属性可以对数据进行分类 然后对每个属性进行概念提升 2 数据挖掘中的仿生物技术神经网络技术 NeutralNetwork 模拟了人脑神经元结构 可以为解决复杂程度高的问题提供一个比较简便的方法神经网络基本结构是 输入层 输出层 隐含层 表9 3遗传算法与生物进化的比较 遗传算法遗传算法主要借助生物进化中的 适者生存 的概念 模仿生物进化中的遗传繁殖机制 对优化问题解空间的每一个个体进行编码 然后对编码后的优化问题解空间进行组合划分 并通过迭代从中寻找含有最优解和较优解的组合 3 统计分析方法相关分析和回归分析 相关分析是用相关系数来度量变量间相关程度的数量关系 回归分析研究是变量间的因果关系差异分析 从样本统计量的值得出的差异来确定总体参数之间是否存在差异 假设检验 典型的方法是方差分析 即通过分析实验数据中不同来源的变异对总体变异的贡献大小 确定实验中的可控因素 自变量 是否对实验结果 因变量 有重要的影响因子分析 是把多个可直接观测的变量转化为少数几个不相关的总和指标的多远统计分析方法 在医学 心理学和经济学与管理学等科学领域得到十分广泛的应用聚类分析 是根据事物本身的特征研究个体分类的方法 是直接比较样本中事物之间的性质的一种方法 把性质相近的归为一类 将性质差别比较大的分为不同的类判别分析 根据表明事物特点的变量值和他们所属的类求出判别函数 再根据判别函数对未知所属类别的事物进行分类的一种分析方法 4 关联规则算法关联规则是描述数据库中数据项之间存在潜在关系的规则 形式为 A1 A2 AmB1 B2 Bn 其Ai i 1 2 m Bj j 1 2 n 是数据库中的数据项数据项之间的关联就是根据一个事务中某些项的出现 可推导出另一些项在同类事务中也出现关联分析的目的是找出数据库中隐藏的关联关联规则算法分为两个步骤求支持度大于用户指定的最小支持的数据项集 即大数据项集 对于语义约束的规则 仅求得满足约束的大数据项集利用大数据项集产生关联规则 关联规则是挖掘算法的核心 9 3 4数据挖掘的流程 技术视角从逻辑数据库开始 经过选择流程获得被选择的数据 然后对这些数据进行预处理 从而得到经过预处理的数据库在此基础上 再对新生成的数据进行某种转换 并利用所获取的新数据进行挖掘 提出其中有用信息 再加以分析和同化 最终形成经过同化的知识 为企业决策提供支持 9 3 5用数据挖掘优化CRM系统1 什么是优化 优化是对结果进行明确评价的问题 是在一定的约束和限制条件下 得到最优安排的过程2 使用数据挖掘技术优化CRM系统的一般步骤评价 即检测发生的结果预测 即根据已发生的事情来进行预测行动 即进行尝试3 优化形式存在一种明确定义的数值有待优化对复杂的 因果关系不明确的问题进行优化 9 3 6在CRM中利用数据挖掘所形成的商业价值1 客户盈利模型2 客户获取模型3 客户挽留模型4 客户细分模型科学的客户细分需满足两个基本条件 完整性 互斥性5 交叉销售模型通过数据挖掘中的聚类分析 锁定交叉销售所要面对的目标客户通过关联分析确定最优的销售组合 并向相应的客户展开交叉销售 9 3 7数据挖掘工具及其评估1 数据挖掘工具的类型通用工具主要包括 SAS公司的EnterpriseMiner IBM的IntelligentMiner SPSS公司的Clementine Oracle公司的Darwin Angoss的KnowledgeSeeker综合数据挖掘工具面向特定应用的数据挖掘工具主要包括 KDI 主要在零售业 和UnicaModell 重点在市场领域 等 2 数据挖掘工具的评估标准操作的数据类型结果的有用性和确定性知识的表达多层次互动知识并行分布的数据挖掘算法私有保护和数据安全其他标准 产品成熟度和公司力量 产品的数据操作能力 产品的用户界面 管理复杂程度等 9 4知识发现与CRM 9 4 1知识发现概述Fayyad等 1996 认为 知识发现 KnowledgeDiscoveryinDatabase KDD 就是指在从大量数据中提取有效的 新颖的 潜在有用的 最终可被理解的模式的非平凡的过程KDD具有自动性和一定的智能性 9 4 2知识发现的过程 P323图9 7 数据准备 理解有关KDD的背景和用户的具体需求数据选取 确定要选取的目标数据 从原始数据库中选取数据或者数据样本数据预处理 对选取的数据和数据样本进行一定的预处理 检查数据的完整性 消除噪声 清除多余数据数据变换 对进行过预处理后的数据再进一步进行相关的转换操作 如转换数据的类型等确定KDD的目标 为下一步选择算法做出准备选择算法 根据KDD的目标选择合适的算法 使之与整个KDD过程的评价标准相一致解释 评价 对经过发掘所发现的知识进行解释 并将知识以客户能够理解的方式描述出来 让客户进行评估 图数据挖掘中的知识发现流程 9 4 3在CRM中运用知识发现对于许多实施CRM系统的企业来说 仅仅依靠CRM系统对数据的组织和存储功能 并不能满足企业对决策支持的需要如果不能够对大量的信息进行高级处理以便形成可理解的模式 那么企业花费高昂的成本所收集和积累的这些信息实际上就被浪费掉了因此 发现隐藏于大量客户信息背后的关联性与规律性 就形成了CRM中的知识发现体系 9 5联机信息分析处理与CRM 9 5 1作为数据仓库前端接口的联机分析处理 OLAP 图9 8数据仓库与OLAP整合图 9 5 2从OLTP到OLAP的转变20世纪60年代 关系数据库之父E F Codd提出了关系模型 促进了联机事务处理 OLTP 的发展1993年 Codd提出来OLAP概念 OnLineAnalyticalProcessing OLAP 表9 4OLTP与OLAP的主要区别 9 5 3OLAP的定义与特征1 定义OLAP委员会把OLAP界定为具有下列功能的软件技术 使分析人员 管理人员或执行人员能够从多种角度对从原始数据中转化出来的信息 这些信息是能够真正为用户所理解 并且能够真实反映出企业特性的信息 进行快速 一致 互动地存取 从而实现对数据的更深入理解2 特征OLAP的显著特征是它能够提供数据的多维视图强大的分析功能 OLAP的分析操作主要包括切片 Slice 切块 Dice 下钻 Drill down 上钻 Roll up 和旋转 Rotate 基本特点 多维 快速 分析 共享 信息 9 5 4OLAP中的一些基本概念1 变量 数据的实际意义 描述数据是什么2 维 是人们观察数据的特定角度 每个不同的视角就叫做一个 维 例如 进行客户细分可以从客户与企业的互动的角度加以细分 也可以从客户终身价值角度加以细分3 维的层次性 是指人们观察数据的某个角度还可以存在细节差异的多个方面 例如 客户互动的层次包括 从不 偶尔 经常 等多维数组可以表示为 维1 维2 维n 变量 9 5 5OLAP结构介绍 9 5 6OLAP的基本分析操作1 切片和切块 SliceandDice 在多维数组的某一维上选定一维成员的动作 称为切片 即在多维数组 维1 维2 维n 变量 选定维i 并对维i选择一个维成员 得到了 维1 维2 维成员维i 维n 变量 这个操作叫做切片切块也有相似的操作 只不过切块选择的是对某一区间的维选定维成员 2 钻取钻取主要包含向下钻取 Drill down 和向上钻取 Roll up 操作3 旋转 Rolate 转轴 Pivot 旋转 即改变一个报告或者页面的维方向 包含交换行维和列维 以及把页面显示的一个维和页面外的一个维进行交换 图9 11旋转操作 9 5 7OLAP市场状况和产品评测 略 1 Hyperion公司2 Oracle公司3 Cognos公司4 MicroStrategy公司5 微软公司 Microsoft 6 IBM公司7 Brio公司 在CRM系统中 OLAP主要应用于以下几个方面快速查询客户信息决策支持数据分析实时 动态 直观地展示CRM中的客户数据 电信行业目前主要的数据来自于计费系统和网管数据 电信系统经过多年的运行 已经存储了大量的历史数据 这些数据中蕴涵着丰富的信息 从中可以了解企业在电信市场经营过程中所处的态势 竞争对手的经营形势 客户群的分布状况 消费特征 企业经营发展的趋势等 对其进行分析处理可以得到很多令人欣喜的结论 强大的数据处理能力 加上丰富的企业数据 可以有力地促进企业经营和竞争 案例 数据仓库在电信行业中的应用 基于数据仓库的应用设计从系统结构看 电信行业数据仓库解决方案系统一般包括应用系统部分 中央数据仓库系统部分 数据源系统部分三大部分 数据来源电信行业数据仓库解决方案数据源主要来自电信各业务系统 包括计费系统 营业系统 客服系统 财务系统 结算系统 网管系统 112系统 114系统 电信网络资源管理系统以及其它系统 此外数据源还有来自电信系统外的数据 如人口统计 社会各企业的财务数据 银行数据等 业务应用系统则主要包括以下10个方面功能客户管理客户发展分析业务量分析收入分析营销管理分析市场竞争分析服务质量分析大客户分析欠费和动态防欺诈行为分析代理商及渠道分析 客户管理电信企业要吸引客户 发展客户并留住客户 首先必须要了解客户 客户管理应用的目的是根据客户的属性 包括自然属性和行为属性 从不同角度深层次分析客户 从而针对不同的客户采取不同的促销活动以及提供更好和更有针对性的服务 以此增加新的客户 提高客户的忠诚度 降低客户流失率 提高客户消费额度等 客户发展分析这主要是依照客户的自然属性和消费行为属性对客户进行分析 其主要指标包括客户总量分析 新增客户分析 客户流失分析 客户行为分析 客户信用度分析 客户风险分析等等 业务量分析包括业务总量分析 业务增长和流失分析 网络通话流量及流向分析 热点区域分析 业务量结构分析 收益分析 呼叫特征分析等 收入分析包括收入总量分析 收入变化分析 收入结构分析 客户缴费及欠费分析等 营销管理分析主要提供的功能包括产品定价分析 市场需求分析 促销活动分析 营销渠道分析等 市场竞争分析包括市场占有率分析 竞争对手发展情况分析 供应商行为分析 合作商行为分析等 服务质量分析包括客户服务质量分析 客户咨询查询分析 客户投诉分析等 通过对服务质量的分析 能够了解目前客户最关心的问题 通过将客户流失和服务质量结合起来分析 能够清楚客户为什么会流失以及什么因素会导致客户流失 从而采取有针对性的措施 减少客户流失量 大客户分析大客户是企业利润的主要来源 其分析也