基于数据挖掘的客户忠诚度分析.doc

摘要： 文章采用分类和回归两种数据挖掘方法，通过构造一个具有趋势变化的属性，对客户忠诚度的变化趋势进行预测，并通过客户关系数据验证了本方法的实用性。 中国论文网 Abstract： By using classification and regression， this article constructs an attribute which can express the trend of Customer Loyalty， and validates the practicability of this method by the customer relation data. 关键词： 数据挖掘；分类；回归；客户忠诚度 Key words： Data Mining；classification；regression；Customer Loyalty 中图分类号：F83 文献标识码：A 文章编号：1006-4311（2013）06-0140-04 0 引言 上世纪八十年代来，随着市场竞争的日趋激烈，企业在市场营销上面临着新的挑战，传统的4P理论越来越不适应市场发展变化的需求。如今的市场营销无论是理论还是实践都已经实现了向4C的转变。在4C营销理论中，首先强调的就是客户（Customer），它居于这一理论的核心地位。所以这种营销理论又被视为一种“以客户为中心”的营销战略。而这一营销战略的核心思想就是追求“客户忠诚”的目标。对于“客户忠诚”，至今还没有一个准确的定义，但是在一些理论阐述和实践应用中，这一概念被普遍理解为是某个企业的客户对该产品或服务有愿意继续购买的倾向。虽然这种解释并非正式的，但是从一些衡量客户忠诚度的指标上可以得到证实，比如客户对其所认可的产品进行长期、频繁、大量的购买，或者与企业建立某种长期的合作关系等。 随着市场营销实践的不断发展，客户的忠诚度以及变化趋势进行研究引起了业内的广泛关注。本文针对这一趋势，设计了一套客户忠诚度预测系统，通过数据挖掘技术的引入，对客户数据进行科学分析，帮助决策者做出正确决策。 1 系统功能简介 到目前为止，国内外已经有许多成熟的CRM产品，它们已广泛应用于零售业、制造业、金融业等，这些产品也用到了数据挖掘技术，如聚类分析算法或孤立点算法等。但是它们更多的是将目标放在对客户分类或找出最忠诚的或是最不忠诚的客户上，其功能受到了一定局限，无法对客户忠诚度的变化趋势进行可靠预测。例如，银行业中的客户忠诚度分析只是找出存款多的重点客户，或者是找出那些行为异常的有欺诈行为的客户。本文针对这一问题进行研究，结合实际应用，既构造出了能够反映趋势变化的属性，又把不能用于分类分析的连续属性离散化，然后再利用所构造出的属性和其他的相关属性，进行分类分析，最终得到客户忠诚度的变化趋势。该系统的主要功能如下： 1.1 数据预处理 能够对已有数据集中的数据进行缺值填充、数据转换、数据离散化、数据规范化等功能。 1.2 发掘重点客户 忠诚度高的客户和忠诚度低的客户都属于重点客户的范畴。而客户关系管理理论中的2/8原则告诉我们：80%利润来自20%客户，因此不仅要紧紧抓住老客户、继续保持老客户的忠诚度，而且还要积极促成那些非忠诚客户转变为忠诚客户。为了达到这一目的，该系统通过利用数据挖掘中的孤立点分析技术，使得这些客户可以从庞大的数据集中被有效识别出来。 1.3 客户忠诚程度预测 从客户关系数据库中提取相关客户信息，在充分考虑到各种主客观因素的前提下，采用回归分析和分类分析等方法预测客户忠诚度变化的趋势，为决策者提供市场分析参考，以便于采取有针对性的措施，留住更多的客户。 统机构如图1。 2 客户忠诚度预测模块的实现 该模块的主要作用是通过分析研究客户关系数据集中客户信息，实现对客户忠诚度变化趋势的预测。在技术运用上，主要采用了数据挖掘中的分类和回归技术。在分类预测算法的运用中，需要通过训练集建立分类模型，然后用该模型进行预测并得出结果。 下面我们以某一客户关系数据来详细介绍客户忠诚度预测模块的实现过程。 我们从客户编码表、客户订单提报表、订单商流确认表和订单销售发票表等与客户有关的资料中，选取了两项客户编码表和客户订单提报表作为分析的数据源。这两项数据资料不仅反映了客户的相关信息，而且也反映出了客户的购买意图，对于客户忠诚度的分析有很大作用。下面将从数据预处理和客户忠诚度预测等方面对上述两项数据资料进行分析。 2.1 数据的选取 客户订单提报表内容包括：订单号、订单类型、工贸、客户编码、存货类型、产品编码、会计期、会计周、市场经理编码、型号经理编码、提报数量、订货数量、减库存数量、提报日期、要货日期、状态、唯一标识、产地、类别、单价等20个属性。为了从中得出有效的客户信息，需要通过查询每位客户的所有订单，计算得出其订货次数、订货金额的数据信息。 订货次数（order count）：指在某一时间段内，客户所下订单的数目。考虑到订货次数在10次以下的客户以一次性客户居多，针对这一群体讨论客户忠诚的意义不大，因此我们在这里只将订货次数大于等于10次的客户纳入到研究范围中来。 订货金额（order product count）：指在某一时间段内客户每一次订货的金额，其计算方式为：订货数量单价。 客户编码表内容包含：Email，客户编码，传真，地址，电话，客户级别，简称，建档日期，开户行，客户类别，客户全称，客户状态，联系部门，联系人，市场级别，税号，所属客户，所属区域，网址，信用额度，信用期限，信用商场，邮编，账号，主管业务员，特殊标识，网点性质，审核，部门编码，销售能力等30个属性。 从客户编码表中，我们可以得出客户建档日期的信息。建档时间（make date）可以告诉我们客户与企业的合作时间，通过对这一数据进行分析，我们可以得出某一客户的忠诚度信息。让Datediff（date1，date2）表示date1与date2之间的天数，建档时间可表示为： Datediff（min（make date），max（make date） 接下来就可以得到订货周期的信息，并对其进行规范化处理。计算方式为：订货周期=建档时间订货次数。 除此之外，在客户编码表中，我们还可以得到客户编码，客户级别，市场级别，信用额度，销售能力等信息。 客户级别：通过聚类分析模块或有经验业务员的划分，我们可以判断客户的级别，即对方是大客户还是小客户。 市场级别：调研人员对客户所在地区进行市场调查所得出的该地区商品的饱和度。 信用额度：代表客户的信誉度。 销售能力：客户每个月的销售金额。 2.2 数据的处理 选定属性后，按照具体分类分析的规则进行数据处理。基于预测客户忠诚度的功能要求，因此需要参照现有属性来构造一个新的属性，以期将客户购买能力变化趋势客观的反映出来。基于上述原因，设计人员还需要全面分析订货金额等信息。笔者取一个客户的购买情况作为典型案例，来具体阐明客户购买能力变化趋势属性的构造，经过数次循环也能够获取其余客户的购买能力的属性。 在选定的属性分析案例中，基于客户级别、销售能力和市场级别对客户订货金额的影响，所以采用三元线性回归建立模型：yi=？茁0+？茁1xi1+？茁2xi2+？茁3xi3，i=1，2，n。 （1） 其中：yi代表客户每一次的订货金额， xi1，xi2，xi3分别代表客户每一次订货时的当时的售货能力、市场级别和客户级别。 ？茁0、？茁1、？茁2、？茁3为回归系数。 n为客户的订货次数。 为了求得回归系数？茁0、？茁1、？茁2、？茁3，我们建立以下方程组 l11？茁1+l12？茁2+l13？茁3=l1yl21？茁1+l22？茁2+l23？茁3=l2yl31？茁1+l32？茁2+l33？茁3=l3y（2） 首先求出各个因子的均值： =xi1，2=xi2，3=xi3，=yi 然后求出各乘积和xiuxiv，xiuyi，y之值，并由此进一步求出各luv，luy，lyy： l11=x-n，l22=x-n，l33=x-n l21=l12=xi1xi2-n， l31=l13=xi1xi3-n， l32=l23=xi2xi3-n， l1y=xi1yi-n，l2y=xi2yi-n，l3y=xi3yi-n3 lyy=y-n， 代入（2），然后解方程组得：？茁1、？茁2、？茁3。 再由？茁0=-？茁11-？茁22-？茁33求得？茁0。 把回归系数？茁0、？茁1、？茁2、？茁3代入（1）得出回归方程。再合理套用回归方程来分析某一客户数据，就可以分析出该客户购买能力的变化趋势。按照惯例，客户购买能力具体表现为增、减、无变化三种变化趋势，据此便能够得出反映客户购买能力变化趋势的属性。图2为通过回归分析得到的一个客户的购买能力变化趋势。 上图2反映了某一客户25个月以内购买能力的变化趋势。图中，“客户实际购买能力（即订货金额）”为蓝色曲线，客户的购买能力变化趋势为红色曲线。通过该图表的分析得知，该客户的购买能力变化趋势属性呈增加趋势，基于此，我们构造了该客户购买能力的变化趋势属性，再将属性分析循环套用到所有客户数据中，绘制出一个变化趋势图，由此得到一个反映每个客户购买能力的变化趋势（详见图3）。 图3中，第二列就是构造出的客户购买能力变化趋势属性。其中，0表示趋势是不变的，1表示趋势是增加的，2表示减少。 2.3 训练集的选取 首先预测客户类别，找出与预测模型相符的训练数据，我们可以按照下列方法来选定合适的训练集：根据试验数据选定相应类别的训练集。可以从客户数据库内选定一部分数据进行试验，将产品资料发送给这些客户，并将做出回应的客户名单收集起来，基于推销回应记录建立一个模型，客观反映出对所推销产品感兴趣的客户类型，再以该模型数据为依据对所有客户类型进行分析；若无法通过试验确定数据类别，则先通过数据聚类，并对数据进行人工筛选最终确定合适的训练集。我们无法通过试验来判定客户忠诚度，唯一的办法就是借助人力来分析判定，因此，先采用客户忠诚度分析系统的聚类分析，再选定所聚簇中的数据组成训练集。 所谓聚类分析，实际是前期设计组建的模型。训练集为客户数据中的5000条记录，我们通过聚类分析得出以下结论：第一个簇中数据对象为3101个，这是数据集中包含最多的模式，说明客户忠诚度未发生增减的变化；第二个簇的数据对象为50个，客户购买能力呈增加的变化趋势，而且大都在初期建档，订货周期也短，因此客户忠诚度较高；第三个簇的数据对象为1264个，该簇中的数据对象情况大致等同于第二个簇，客户购买能力呈增加趋势。与第二个簇相比，第三个簇的建档时间和订货周期都不及第二个簇，客户忠诚度增加的趋势不明显，但都属于客户忠诚度增加的范畴；第四个簇的数据对象为585个，客户购买能力变化呈递减的趋势，而且相比于第二个簇和第三个簇，它的数据对象的订货周期较长，大部分在后期建档，因此客户忠诚度呈显著下降的趋势。 2.4 客户忠诚度预测 预测客户忠诚度的技术是基于客户忠诚度分析系统中的预测分析功能，通过分类分析中CART分类器来预测客户忠诚度。 先将记录集作为一个根结点，按照杂度削减最大的设计要求把根节点分割成左节点和右节点两个部分，再参照上文所述的方法步骤进行递归处理，当节点变成纯洁点，或者当节点记录数低于额定值，抑或将所有属性分割完毕，才视为建树完毕。 输入：决策树根节点 输出：建立的决策树 算法： 建立根节点的ID链表和属性表，置所有属性为可用的 将root节点压入栈stack1中； While （stack1不空） while （stack1的栈顶节点不满足结束条件） 对stack1的栈顶节点进行分裂，并建立该节点的左子树并压入stack1； 同时将分裂信息压入stack2； 标记stack1的栈顶节点为叶结点，并将其从栈中弹出； if （stack1和stack2不空） 将stack1和stack2的栈顶节点弹出； 利用从stack2中弹出的节点信息建立从stack1中弹出节点的右子树，同时压入stack1； 在噪音数据的干扰下，大部分由建树阶段生成的决策树都存在过度拟合的现象，也就是说这个决策树具有准确分类处理给定训练集的相关记录的能力，但是如果有新数据引入，就无法保证其数据处理的精准度，需要在建树完成以后作进一步修剪： 输入：决策树，代价矩阵和样本记录 输出：修剪后的决策树T1 算法： while （修剪还可以进行） 将root节点压入栈中； while （栈不空） while （栈顶节点不为叶节点） if （栈顶节点的代价与其左右子节点的代价相等） 调用freetreemem释放其左右子树所占的内存，并置为叶节点； break； else 将栈顶节点的左子树压入栈中 if （栈不空&栈顶节点为叶节点） 将栈顶节点弹出； if （栈不空） 将栈顶节点弹出并将其右子树压栈； 修剪时，应该将最小代价的节点（一般为多个）一次性剪去，将节点以数组t的形式存在于prune中。可能有一部分节点是另一部分节点的父节点，如果将父节点的子树一并剪掉，那么子节点的子树也会被剪掉。所以修剪前，我们应该仔细判定一个节点是不是另一个节点的父节点的函数IsAncestor，同时用flag数组来指明需要修剪掉的节点，flagi=1表明该节点为某节点的子节点，在剪枝时，只需剪掉flagi=0的节点。 运行结果如图4。 在图4中，“1”、“2”、“0”分别表示忠诚度增加、忠诚度减少和忠诚度不变三种变化趋势，在“忠诚度变化趋势”的数列中，“0”出现的次数较多，说明客户忠诚度比较稳定；出现“1”的变化趋势，说明客户忠诚度