第12章-CRM中的数据仓库

第七章 客户关系管理的应用系统 第三部分 客户关系管理技术 第八章 CRM中的数据仓库 第七章 客户关系管理的应用系统 本 章 要 点 ? 数据仓库的定义和特征 ? 数据仓库与数据库的区别 ? 数据仓库的实施 ? 数据仓库的建模模型 ? 联机分析处理（OLAP） ? 数据仓库中的数据集成 第七章 客户关系管理的应用系统 数据仓库与CRM有着难以割舍的密切关系，客户关 系管理的很多工作都是以数据仓库为基础展开的。 从某种意义上说，数据仓库是客户关系管理的灵魂。 利用数据仓库，企业可以对客户行为进行分析与预 测，从而制定准确的市场策略、发现企业的重点客 户和评价市场性能，并通过销售和服务等部门与客 户交流，实现企业利润的提高。 对于客户量大、市场策略对企业影响较大的企业来 说，必须在客户关系管理系统中包含数据仓库。 数据仓库 第七章 客户关系管理的应用系统 数据仓库的定义和特征 ? 数据库技术，特别是OLTP（联机事务处理），主 要为自动化生产、精简工作任务和高速采集数据 服务, 是事务驱动、面向应用的技术。 ? 人们要利用现有的数据，进行分析和推理，为决 策提供依据。这种需求既要求联机服务，又涉及 大量用于决策的数据, 传统的数据库系统已无法 满足这种需求： 所需历史数据量很大，而传统数据库一般只存储短期 数据。 涉及许多部门的数据，而不同系统的数据难以集成。 对大量数据的访问性能明显下降 第七章 客户关系管理的应用系统 数据仓库的定义 ? 数据仓库(Data Warehouse)：是面向主题的、集成 的、随时间而变的、非易失的数据集合。 ? 数据集市(Data Mart)：是针对某个主题的经过预统 计处理的部门级分析数据库，如销售数据集市、营 销数据集市、库存数据集市等。 ? 元数据(Metadata)：是数据中的数据，即描述数据 的数据，包括如下内容: 原始数据拥有者的信息 原始数据的数据源信息 数据的商业意义和典型用法 第七章 客户关系管理的应用系统 数据仓库概念的两个层次 ? 功能上 ? 数据仓库用于支持决策，面向分析型数据处理，它不 同于企业现有的操作型数据库； ? 内容上 ? 数据仓库是对多个异构的数据源有效集成，集成后按 照主题进行了重组，包含历史数据，并且存放在数据 仓库中的数据一般不再修改。 第七章 客户关系管理的应用系统 数据仓库的特征（1） ? 面向主题(subject-oriented) 数据仓库围绕一些主题，如客户、供应商、产品 和销售组织。数据仓库关心决策者的数据建模与 分析，而不是集中于组织机构的日常操作和事务 处理。因此数据仓库排除对决策无用的数据，提 供特定主题的简明视图。 ? 集成性(integrated) 构造数据仓库是将多个异种数据源，如关系数据 库、一般文件和联机事务处理记录，集成在一起。 使用数据清理和数据集成技术，确保命名约定、 编码结构、属性度量等的一致性。 第七章 客户关系管理的应用系统 数据仓库的特征（2） ? 时变性(time-variant) 数据仓库中数据都是和时间相关，并且每隔一 段时间后，运作数据库系统中的数据将被抽取、 转换后集成到数据仓库中。 ? 非易失性(nonvolatile) 数据一旦进入数据仓库就不再改变，因此不需 要传统数据库中类似插入、更新、删除等操 作，在数据仓库中只有装载操作。 第七章 客户关系管理的应用系统 数据仓库的特征（3） ?数据仓库最根本的特点是物理的存放数 据，而且这些数据并非是最新的、专有 的，而是来源于其它的数据库。 ?数据仓库的建立并不是要取代原有的数据 库，而是建立在一个较全面、完善的信息 应用的基础上，用于支持高层决策分析。 第七章 客户关系管理的应用系统 数据仓库与数据库的区别 ?目的不同 ? 数据库用于事务处理；数据仓库用于决策支持 ?存储方式不同 ? 数据库中的数据以表格方式存储；数据仓库中以数组方式存储 ?查询方式不同 ? 数据库中应用OLTP(在线事务处理)；数据仓库应用OLAP(在线分析 处理)或数据挖掘 ?响应时间不同 ? 数据库要求响应时间短，数据仓库要求响应时间合理 ?数据类型不同 ? 数据库针对交易型数据设计的，关心的是短期内每一笔交易的细节 信息，并对这些交易记录进行增删改的操作；数据仓库一般只涉及 从数据集中观察数据，并不进行增删改等操作。 ?完成任务的性质不同 ? 前者要求实时性、交互性，而后者需要涉及大范围的数据计算，复 杂的基于多个层次的查询语言。 第七章 客户关系管理的应用系统 数据仓库的实施 ? 主要包括五个部分的内容： 数据仓库的设计建模 - 对数据仓库的数据组织进行逻辑结构设计 数据转换与集成 - 将数据进行提取、转换、装载到数据仓库（或集 市）中 数据存储与管理 - 保证数据的安全性、完整性、一致性 数据的分析和展现 - 利用OLAP对数据进行多维分析、汇总，形成图 表或报表 数据仓库的维护和管理 - 对数据仓库中元数据的管理 第七章 客户关系管理的应用系统 数据仓库系统体系结构 第七章 客户关系管理的应用系统 数据仓库的建模模型 数据仓库数据模型采用多维数据模型。可以以 星型模型、雪花模型等形式存在。 几个相关概念： ?事实表事实表（Fact）：存储用户需要查询分析的数据，事实表 中一般包含多个维（Dimension）和度量（Measurement）。 ?维维：数据立方中的空间坐标轴，例如时间维、地区维、产 品维。 ?粒度粒度：每个维可以分成若干等级，例如时间维可以分成年、 月、日，描述了不同的查询层次。 ?度量度量：是数据的实际意义，描述数据“是什么”，即一个数 值的测量指标，如：人数、单价、销售量等。 第七章 客户关系管理的应用系统 星型模型 ? 星型模型： 度量的实际数据存放在事实表中。维的详细信 息，如不同的层次划分和相应数据等在维表中存 储，事实表中存放各个维的标识码键。事实表和 维表将通过这些键关联起来，构成一种星型模型。 这种模式图像星星爆发，维表围绕中心事实表显 示在射线上。在星型模式中，每维只用一个表表 示，每个表包含一组属性。 第七章 客户关系管理的应用系统 第七章 客户关系管理的应用系统 雪花模型 ?雪花模型： 对于层次复杂的维,为避免冗余数据占用 过大的存储空间,可以使用多个表来描述,这 种星型模式的扩展称为雪花模型。 雪花模型是星型模型的变种，其中某些 维表是规范的，把数据进一步分解到附加的 表中。这种模型图形成类似于雪花的形状。 第七章 客户关系管理的应用系统 第七章 客户关系管理的应用系统 联机分析处理（OLAP） ? 联机分析处理（On-Line Analysis Processing） 支持通过多维方式对数据进行分析、查询和生成 报表，其基本功能是对用户当前及历史数据进行 分析以辅助领导决策。 ? 相关概念： 维维：数据立方中的空间坐标轴，例如时间维、 地区维、产品维。 粒度粒度：每个维可以分成若干等级，例如时间维 可以分成年、月、日，描述了不同的查询层次。 第七章 客户关系管理的应用系统 OLAP特性 （1）多维性）多维性:多维性是OLAP的关键属性。系统必须提供对数 据的多维视图和分析,包括对层次维和多重层次维的完全支 持。 （2）快速性）快速性:用户对OLAP的快速反应能力有很高的要求。系 统应能在5秒内对用户的大部分分析要求做出反应。 （3）可分析性）可分析性:OLAP系统应能处理与应用有关的任何逻辑分 析和统计分析。 （4）共享性：）共享性：满足大量用户间数据的共享 （5）信息性）信息性:不论数据量有多大，也不管数据存储在何处， OLAP系统应能及时获得信息，并且管理大容量信息。 第七章 客户关系管理的应用系统 OLTP vs OLAP OLTPOLTP 细节的细节的 综合的或派生的综合的或派生的 当前的当前的 历史的历史的 可更新可更新 不可更新不可更新 需求事先可知道需求事先可知道 需求事先不知道需求事先不知道 符合系统生命周期符合系统生命周期 完全不同的生命周期完全不同的生命周期 对性能要求高对性能要求高 对性能要求相对宽松对性能要求相对宽松 事务驱动事务驱动 数据驱动数据驱动 面向应用面向应用 面向分析面向分析 一次操作数据量小一次操作数据量小 一次操作数据量大一次操作数据量大 支持日常事务支持日常事务 支持管理需求支持管理需求 OLAPOLAP 第七章 客户关系管理的应用系统 OLAP的分析思路 ? OLAP是决策支持领域的一部分。传统的查询和报表工具是 告诉你数据库中都有什么（what happened），OLAP则更 进一步告诉你下一步会怎么样（What next）、和如果我 采取这样的措施又会怎么样（What if）。 ? 用户首先建立一个假设，然后用OLAP检索数据库来验证这 个假设是否正确。 ? 比如，一个分析师想找到什么原因导致了贷款拖欠，他可 能先做一个初始的假定，认为低收入的人信用度也低，然 后用OLAP来验证他这个假设。如果这个假设没有被证实， 他可能去察看那些高负债的账户，如果还不行，他也许要 把收入和负债一起考虑，一直进行下去，直到找到他想要 的结果或放弃。 第七章 客户关系管理的应用系统 OLAP中的操作 应用OLAP工具进行的分析操作主要有：钻取、旋 转、切片 ?钻取：沿着维上粒度的粗细方向进行的分析操 作，改变维的层次，变换分析的粒度。它包括向上钻 取和向下钻取。roll up是在某一维上将低层次的细 节数据概括到高层次的汇总数据；而drill down则相 反，它从汇总数据深入到细节数据进行观察 ?旋转：参与分析的维的变化，即在表格中重新安 排维的放置（例如行列互换 ） ?切片：将某维固定观察其他维的变化，即一部分 维上选定值后，关心度量数据在剩余维上的分布。 第七章 客户关系管理的应用系统 OLAP的分析方法(一)钻取 按 时 间 维 向 下 钻 取 按 时 间 维 向 上 钻 取 60 第七章 客户关系管理的应用系统 OLAP的分析方法(二)旋转 第七章 客户关系管理的应用系统 OLAP的分析方法(三)切片、切块 第七章 客户关系管理的应用系统 数据仓库中的数据集成 ? 数据集成的目的： 访问多种数据源的数据 转换成统一格式 校验数据的完整性 存储数据到数据仓库中 第七章 客户关系管理的应用系统 ? 数据集成的四个