《大数据分析与挖掘》课件-实训4基于决策树的客户流失预测及应对

大数据技术在企业创新背景下高校物流人才培养中的转化与应用

——基于决策树（C4.5）的电信客户流失预测及应对——开篇话题——讨论：如果有一个机会摆在你的面前，你还会选择你的中国移动或者中国联通吗？开篇话题——任务背景——电信企业现状任务背景——电信企业现状某电信企业运营中积累了海量客户历史交易信息及客户个人数据如何利用好现有数据进行客户特征分析、掌握流失动因、建立预警机制、减少客户流失？问题提出——案例背景问题提出——案例数据电信客户流失数据体量：1000instances，41features问题提出——数据理解目标：建立客户流失预测模型、构建客户流失预警系统，制定客户挽留策略高危可能流失客户预警报告预警系统客户历史交易数据问题提出——任务理解经过预处理后的数据集，构建空树。选取未作判断的属性作为测试节点。基于不同的划分标准问题分析——数据探索与挖掘问题分析——数据探索与挖掘1.客户流失在年龄段的分布情况1.客户流失在工龄段的分布情况问题分析——数据分析3.客户流失在不同维度的分布情况4.客户流失在工龄和收入两个维度上的分布情况问题分析——数据分析问题分析——数据探索与挖掘四类流失客户在通话用时属性上的分布图四类流失客户在通话用时属性上的箱线图问题解决——结果解读四类流失客户在收入日志属性上的箱线图四类流失客户在收入日志属性上的分布图问题解决——结果解读流失预防·产品设计：满足细分客群·保存服务：存量保持套餐·细节管理：避免蝴蝶效应·常客方案：客户忠诚激励问题解决—管理优化1-客户划分与流失预防C4C1C3C2C2C3C1C4价值金字塔数量倒金字塔1.8%5.1%18.2%74.9%低价值客户潜价值客户次价值客户高价值客户问题解决—管理优化2-客户挽留C4C1C3C2C2C3C1C4价值金字塔数量倒金字塔1.8%5.1%18.2%74.9%低价值客户潜价值客户次价值客户价值客户挽留策略·危机公关；降低负面影响·拉式营销：价格吸引-服务到家·广告策略：形象广告-创新告知·个案管理：实施正面蝴蝶效应问题学习——知识点学习1-客户流失管理问题学习——知识点学习2-数据挖掘数据挖掘统计学机器学习模式识别数据库问题学习——知识点学习2-数据挖掘问题学习——知识点学习2-特征分析问题学习——知识点学习2-特征分析特征选择度量信息增益(ID3，C4.5)选取时，偏向于多值属性增益率(C4.5)偏向不平衡划分Gini指标(CART,SLIQ,SPRINT)偏向于多值属性类的数量很大时，计算较困难

叶结点根结点内部结点体温胎生非哺乳动物哺乳动物非哺乳动物恒温否冷血是特点1.是一种以给定的数据样本为基础的归纳学习方法2.在给定已知类标号的数据集的情况下，采用自顶向下的递归方式来产生一个类似于流程图的树结构问题学习——知识点学习3-决策树（C4.5）模型经过预处理后的数据集，构建空树。选取未作判断的属性作为测试节点。基于不同的划分标准C4.5决策树构建过程使用训练集构建一棵决策树对树减枝，得到最优决策树问题学习——知识点学习4-决策树构造流程问题学习——知识点学习5-C4.5决策树生长算法1.如果训练集属于同一个类别或满足预速减枝结束条件，则创立一个叶节点，结束2.否则计算训练集中每个属性的信息增益率，选择增益率最大的属性为决策树属性，并以该决策属性创建节点3.对上一步决策属性节点的每个取值添加一个分支4.对于每个分支对应的训练集，转1NO.outlooktemperaturehumiditywindyplay1sunny8585NoNo2sunny8090YesNo3Overcast8378NoYes4Rain7096NoYes5Rain6880NoYes6Rain6570YesNo7Overcast6465YesYes8Sunny7295NoNo9Sunny6970NoYes10Raiin7580NoYes11Sunny7570YesYes12Overcast7290YesYes13Overcast8175NoYes14rain7180yesno问题学习——知识点学习6-C4.5决策树生算法实例记录了某网球俱乐部2周时间每天的天气信息以及顾客是否光顾俱乐部的信息第一步：计算样本集S的信息熵：第二步：计算各属性对样本集的信息熵、信息增益、信息增益率：（1）Outlook属性将数据集划分为三个子集，与取值sunny、overcast、rain对应的三个子集的目标属性取值（yes/no）分布为：2/3,4/0,3/2。（2）windy属性将数据集S划分为两个子集，与取值NO，Yes对应的两个子集的目标属性取值（yes/no）分布为：6/2，3/3。Playyesnoyesyesyesnonoyesyesyesnoyesyesnotemperature6465686970717272757580818385相邻值的加权平均值64.566.568.569.570.571.6773.576.6780.58284Entropy0.8930.930.940.9250.900.9390.9390.9150.940.930.827Gain0.0470.0100.0150.040.0010.0010.02500.010.113最佳分裂点（3）对于temperature属性（4）对于humidity属性于是，信息增益率最大的属性是outlook，决策树根节点为outlook,包括三个分支。outlookhumiditywindyYes(4.0)rainsunnyovercastYes(2.0)no(3.0)No(2.0)Yes(3.0)<=75>75=TRUE=FALSE最终决策树模型outlook??yesrainsunnyovercast初始决策树模型问题学习——知识点学习7-模型评估的指标和方法问题学习——知识点学习7-模型评估的指标和方法精准率(P)召回率(R）

准确率(CA）正负真假ROC曲线AUC问题学习——知识点学习7-模型评估的指标和方法任务拓展——快运企业客户流失预测任务目标：1.通过深入挖掘历史客户流失数据，使用决策树算法构建电信客户流失预警系统；2.从多个维度深入分析电信历史流失客户的特征，精准划分价值客户数据：快运企业客户数据具体要求：1.载入原始数据，深入理解数据特征的含义，对任务场景有足够的把握；2.数据清洗，过滤掉缺失值比重超过50%的属性特征，对其他存在缺失值的属性进行弥补缺失值处理；3.通过数据可视化的方式（箱线图，散点图，马赛克图，分布图，线图）深入探索历史电信流失客户在不同维度上的分布状况；4.将原始数据集随机采样成训练数据集（70%）和测试数据集（30%），并选用决策树算法构建电信客户流失预警模型，评估模型的性能；