2014数据挖掘大作业

数据挖掘在航空CRM中的应用 1、引言 运输业是国家经济的一个重要的组成部分，其发展水平已经成为一个国家和地区综合 实力的重要体现。随着经济全球化，我国对物流的需求将大幅度的增加，物流将呈现跳跃 式发展趋势。企业开始改变那种以商品为导向的观念，开始注重发掘，通过收集整理繁多 的信息，量化分析需求，提供优质的售后服务，保持稳定的关系等措施，来加强对客户关 系的管理。 CRM 的主要含义就是通过对详细资料的深入分析，来提高满意程度，从而提高企业的竞争 力的一种手段，CRM 最大程度地改善、提高了整个关系生命周期的绩效。 CRM 整合了、 公司、员工等资源，对资源有效地、结构化地进行分配和重组，便于在整个关系生命周期 内及时了解、使用有关资源和知识；简化、优化了各项业务流程，使得公司和员工在销售、 服务、市场营销活动中，能够把注意力集中到改善关系、提升绩效的重要方面与核心业务 上，提高员工对的快速反应和反馈能力；也为带来了便利，能够根据需求迅速获得个性化 的商品、方案和服务。要在激烈的市场竞争中获得主动，越来越多的民航企业把保持客户 作为企业的重要任务，谁能留住那些能给企业带来丰厚利润的关键客户，并获得他们长久 的信任和支持，谁就能获得满意的回报，进而赢得持续的竞争优势。 在航空业，客户关系管理的应用有其特别的原因。面对航空公司的管理需求，急需引 入先进的客户关系管理理念。在航空公司引入电子商务后，公司关注的重点由提高内部效 率向尊重外部转移。而 CRM 理念正是基于对客户的尊重，要求公司完整地认识整个客户 生命周期，提供与客户沟通的统一平台，提高员工与接触的效率和反馈率。随着“以客户 为中心“的客户关系管理技术在航空业的不断应用和发展，航空服务质量的改善提高的同时， 产生了大量的客户数据，充分挖掘这些数据中隐藏的有用信息可以为航空公司的经营决策 带来极大的帮助。 2、设计思路与方案概述 1.研究方法 数据仓库与数据挖掘是 CRM 的重要组成部分，航空公司与客户的交流会产生大量的数据， 这些数据一般由交易系统收集而来，然后将这些数据集中、清理、汇总后进入数据仓库， 设计良好的数据仓库包含客户与公司交流的历史记录。将数据挖掘工具用于处理这些历史 记录，可以帮助公司将来更好的服务客户。 2 研究思路 1、通过对比国内外航空公司关系管理应用现状，分析出我国航空公司客户关系管理存在的 主要问题。 2、针对存在的问题，构建我国航空公司客户关系管理系统模型，并在此基础上，应用数据 仓库的相关知识，建立我国航空公司客户信息数据仓库，最后应用数据挖掘技术对航空公 司客户群体进行划分。 3、构建 CRM 数据仓库，对客户信息数据模型进行建立，同时对操作数据存储 (ODS)进行 分析。 4、对 OLAP 技术和数据挖掘技术(基于互动循环过程和 SEMMA 的数据挖掘实施方法)在 CRM 中研究分析，并分析了金字塔模型和收转发分析模型，得出有利 于航空公司营运的 分析结论。 3、航空公司 CRM 体系结构与数据挖掘的应用分析 1、航空公司 CRM 体系结构 从体系结构角度看，整个航空公司客户关系管理架构可以分为三个关键部 分： (1)分析层的客户关系管理：用于对实施操作的 CRM 和互动产生的信息进行分析处理，通 过基于数据仓库的数据挖掘，产生商业智能以支持企业战略战术的决策，包括：市场细分、 服务支持、变动分析、接触最优化、垂直和交叉分析、新模型、广告分析、生命周期价值 模型等； (2)操作层的客户关系管理：用于自动地集成的过程，包括对营销、销售和服务三部分流程 的信息化，前后端的集成、接触点； (3)客户互动：关注接触点的交互，即与客户沟通所需要的行为( 如 QQ、EMAIL 、电话等) 的集成和自动化处理。 现在航空公司的更多的要求得到“及时“的服务。越多了解客户的信息，航空公司就越能 快速的发现一些潜在客户的利益，随时为客户提供更多的服务。具体来讲，航空公司实施 客户关系管理主要为了达到以下目标： 1、分析客户真正的需求 航空公司要了解客户的真正需求。需要航空公司人员礼貌周到的服务，他们希望自己得到 尊重；需要方便、快捷的服务，他们希望能节约时间；希望航空公司能加快电子化的建设 和创新，以此享受更好的服务。在进入买方市场的今天，客户完全可以自主选择服务好的 航空公司。虽然，有的时候航空公司修正了对待客户的态度，但是客户的偏好已经发生了 变化，他们提出了更高的要求，而航空公司并没有真正知晓。如何真正把握的需求，如何 向客户提供一对一的优质服务，真正提高客户的满意程度，增加竞争力，便是航空公司客 户关系管理需要做的一部分。 2、辨别真正的盈利 客户关系管理的基本原则是明确效益点，增加利润。但很多航空公司并不能辨识哪些 客户具有价值，哪些客户在消耗成本，也不知道哪些客户即将离开，哪些客户会对某一营 销行为有反应。此时，CRM 就要根据的成本利润分析，找出一 重点，并对目标市场进 行细分，针对不同群体实施不同的策略。 3、客户细分，提供差异化的商品和服务 对于航 空公司来说，分类是常有的行为。从客户的等级分类等一系列实际操作中都可以看到分类 的广泛使用。在 CRM 系统中，分类方法也起着很重要的作用。通过细分市场，针对不同 的市场采取不同的营销策略，提供差异化的服务。 4、留住老客户，提高客户的忠诚度 航 空公司如何留住老客户，从而确定其不转向竞争对手，首先必须清楚老客户有哪些特征?他 们的需要是什么?他们的行为习惯和偏好是什么?导致老客户离开的原因是什么?怎么做才 能挽留老客户?老客户对于航空公司很重要，因为吸引新客户的成本是保留现有客户的 5 倍， 进攻性营销明显比防守性营销花费的更多，前者需要花更多的时间和成本。 3、建立模型（数据仓库及 0LAP 系统的构建） 空公司 CRM 数据仓库的构建: 1.货运信息数据仓库 数据仓库作为数据存储的一种形式，它一方面是从最初的数据源获得原始数据，按照 决策的要求重新组织，形成具有不同粒度的综合数据层。另外，数据仓库还需要对其中存 储的数据进行操纵、管理等，以支持决策，这是数据仓库结构的另一方面。 1、数据仓库的自底向上结构 是从构造各个部门或特定的企业问题的数据市集开始，而整体性数据仓库是建立在这些数 据市集的基础上。自底向上模式的特点是：初期投资少，见效快。因为它在构造部门市集 时，只需较少的人做出决策，而所解决的是较小的商业问题。此模式可以使在数据仓库的 开发初期尽可能少花费资金1。思想的核心从最关键的部分开始，先以最少的投资，完成 企业当前需求，获得最快的回报，然后再不断补充，不断完善，通过从小做起，从部分做 起，走逐步集成、逐步完善的道路，最终建立全局数据仓库。自底向上的结构如下图所示。 2、数据仓库的平行开发模式 平行开发模式是在一个整体性数据仓库的数据模型的指导下，数据市集的建立和整体 性数据仓库的建立同步进行。如下图所以，在平行开发模式中，由于数据集市的建立在一 个统一的整体性数据模型的指导下进行的，可避免各部门在开发各自的数据市集时的盲目 性，减少各个数据市集之间的数据冗余和不一致性。它满足了企业中的各个部门希望在较 短的时间内建立本部门的决策支持系统的需求，使其不用等待整体性数据仓库建立好之后 才建立属于自己的数据市集。 航空公司货运数据仓库系统的构建 数据仓库的构建： 数据仓库系统开发平台描述：系统采用 0racle9i 数据库管理系统作为数据库开发平台， 构建数据仓库系统。完成一个可以根据业务需要而创建的多维数据仓库。数据提取的结构 图：描述了从业务数据存储系统，转存到操作数据区，然后到基础数据区，最后在基础数 据区的基础上构建数据仓库的过程。如下图所示。 数据仓库逻辑模型 1、货运商品情况的逻辑模型 在设计中，为实现快速的分析查询，可以对航空公司建立数据查询分析的模型。 2、产销存逻辑模型 3、货运流向逻辑模型 数据仓库物理模型 下图是一个星型数据仓库的物理模型。包括时间维度表，公司维度表，生产维度表， 到货维度表。主要事实表包括：商品事实表，生产事实表。事实表中的 ID 号是为了加快 查询速度，目的是对所有记录进行区分。维度表代表事实数据中的关系。 报表展现模块设计 数据仓库系统设计 数据仓库是企业商业智能分析环境的核心，它是建立决策支持系统的基础。一个良好 的数据仓库设计应该是构建航空公司 CRM 系统不懈的追求。 1、透彻理解数据仓库设计过程 基于数据仓库数据挖掘的航空货运分析型 CRM 心用研究现实需求决定系统需求，业务 数据决定系统构架，最终使用的时候又必须作用于现实需求，同时通过决策的行为影响业 务。那么可以把数据仓库的设计看作是前一部分，即“从实践中来” ，数据仓库的应用可以 看作是“到实践中去” 。要完成 6 个任务：选择被建模主题的商业过程、确定事实表的粒度、 区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在 DBMS 中创 建和管理数据仓库。 2、建立一个数据仓库需要经过以下几个处理过程： (1)数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据模型，在设计 过程中应保证数据仓库的规范化和体系各元素的必要联系。主要有以下 3 个步骤： 定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据结构、使用 该数据源的处理过程、仓库更新计划等。 定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、装载到主 题的哪个数据表中。 将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个数据子集， 即数据集市(DataMart)。数据集市通常针对部门级的决策或某个特定业务需求，它开发周期 短，费用低，能在较短时间内满足用户决策的需要。 (2)数据抽取模块 该模块是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据 源(包括各平台的数据库、文本文件、HTML 文件、知识库等 )进行清理、转换，对数据进 行重新组织和加工，装载数据仓库的目标库中。在组织不同来源的数据过程中，先将数据 转换成一种中间模式，再把它移至临时工作区。加工数据是保证目标数据库中数据的完整 性、一致性。 (3)数据维护模块 该模块分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据库所定义的更 新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相 关性进行处理。更新操作有两种情况，即在仓库的原有数据表中进行某些数据的更新和产 生一个新的时间区间的数据，因为汇总数据与数据仓库中的许多信息元素有关系，必需完 整地汇总，这样才能保证全体信息的一致性。 4、实验运行结果及其分析 1.生成数据仓库的过程函数 数据仓库系统的实现是通过在 DBMS 上建立实现功能的存储过程程序，关键的存储过 程程序未全部列出。下表列出了部分构建数据仓库时所用到的程序列表(事实表生成存储过 程程序，维度表生成过程程序） 。 2.部分维度表建立的程序说明： 服务商品维的存储过程： DIMSERVICE 商品维度表数据的建立： l、描述：从基础数据区中的数据建立服务商品维度表数据记录 2、程序属性：程序名=DIM_SERVICE，ID=0103 ，State=Y 3、数据更新模式：重新建立 维的存储过程： DIMCUSTOMER 维度表数据的建立： 1、描述：从基础数据区中的数据建立维度表数据记录 2、程序属性：程序名=DIM_CUSTOMER，ID=0104，State=Y 3、数据更新模式：重新建立 公司维的存储过程： DIMCOMPANY 公司维度表数据的建立： l、描述：生成公司维度表数据记录 2、程序属性：程序名=DIM_COMPANY，ID=0107 ，State=Y 3、数据更新模式：数据仓库建立时一次性写入记录值 (引数据元素值来源说明：此表数据没有数据来源 本表只有两行记录： 时间维的存储过程： DIMDATE 时间维度表数据的建立： 1、描述：生成时间维度表数据 2、程序属性：程序名=DIM_DATE，ID=O101，State=N 3、输入参数：起始日期，终止日期 4、数据更新模式：数据仓库建立时一次性写入记录值 5、数据元素值来源说明： (1)年维度元素记录：Dateyear=年份，YearDescription= “XXXX 年” (2)月维度元素记录：Datemonth= 月份，MonthDescription=“XX 月“ (3)日维度元素记录：Dateday=日，DayDescription=“XX 同” (4)全时间描述：年描述+ 月描述十日描述 销售维的存储过程： DIM_SALES 销售维度表数据的建立： 1、描述：从基础数据区中的数据建立销售维度表数据记录 2、程序属性：程序名为 DIM_SALES，ID=0102 ，State=Y 3、数据更新模式：重新建立 3.系统运行机制设计 系统采用三种配套性机制(Mechanism)应用于所有 ETL 程序运行架构中，目的是为了 实现各程序之相依性(Dependency)，可被监督性(Monitor)，可被追踪性(Track)，以及时间 一致性(TimeConsistency)。程序表清单： 程序运行状态监控表：保存每个数据载入操作的执行状态，它可以提供给数据仓库的 管理员或操作者哪个操作正在执行以及哪个操作失败了。日志机制：当有程序非正常中止， 数据仓库的管理员或操作者可以通过查看 Programreferencetable 表中的数据，若某个状态 为“F”(Fail)，找到发生错误的操作后，发生错误的程序的信息，正常运行提交笔数，程 序起讫时间等信息，可在 Audittailtable 中找到。 2.基于 OLAP 技术的分析 OLAP 在关系型数据库中的工作原理因为 SOL 的单语句并不具备完成多维计算的能力， 要获得哪怕是最普通的多维计算功能也需要多重 SOL。工作过程如下： (1)用 SQL 做一些计算，然后将计算结果作为多维引擎的输入。 (2)多维引擎在机或中间层服务器上做大部分的计算工作，生成多维数据。 (3)终端用户访问多维结构中的数据，包括基础数据和多维数据。 当所有可能的数据聚合被预先计算时，存储需求可能是原始数据量的几百倍。通过结合智 能的聚合选择方法，自动生成所有聚合组的一个子集，而剩下的聚合只在需要时快速生成。 这样在不牺牲性能的基础上，有效地优化了存储。用户对某个应用所提取的多维数据其存 储形式主要有： (1)关系数据库(ROLAP)：多维数据被存储在关系数据库中。在大部分情况下，数据以星型 结构或雪花结构进行存储。 (2)多维数据库(MOLAP)：多维数据被存储在服务器上的多维数据库中，包括来自关系数据 库和终端用户的数据。 (3)采用混合模型(HOLAP) ：结合 MO-LAP 和 RO-LAP 的优点，才能取得最优性 价比。 在实际应用中，采用 Oracle9i 作为关系数据库，用 MSAnalysisServices 作为分析服务器来 开发 WEB 网站。 3.分析结果 通过 0LAP 强大的分析功能，可以从各个角度分析航空公司的客户，而后清楚地掌握客户 对公司所提供的货运服务商品的喜好情况。通过对客户收发货次数的分析，可以了解客户 对公司的忠诚度。同时也能找出即将流失的客户。通过分析客户级别，可以更好地抓住大 客户。 5、实验总结 1.小结: 1航空货运业未来的发展与实施客户关系管理的关系。 “谁拥有客户信息，谁 就拥有未来。“在企业客户管理生命周期的各个阶段都会用到数据挖掘技术。数 据挖掘能够帮助企业确定客户的特点，从而可以为客户提供有针对性的服务。 通过数据挖掘，可以发现选择某一货运商品的客户的特征，从而可以向那些也 同样具有这些特征却没有购买的客户推销这个商品。 2构建了 CRM 系统的数据仓库，并在其上实现了多维分析。作为航空公司信 息管理和查询系统，信息数据仓库把分散在航空公司内外的关于客户的信息集 成起来，向公司及其员工提供关于客户的总体的、统一的看法。 3利用 OLAP 技术对数据进行处理，初步应用到 CRM 系统中去，并以图表等 形式展现出来，给企业决策者提供决策支持。重点研究了航空货运 CRM，企业 数据仓库