《大数据分析与挖掘》实训教案-电信客户流失预警实验操作手册（改）

基于决策树算法的电信客户流失预警实验一、操作环境1.操作系统：windowAll2.软件平台：LogisPMT,python3.4二、业务场景近年来,随着国内电信行业的分割,三大电信运营商忙于开拓市场,抢夺更多的市场份额,而对已有客户的流失管理却得不到应有的重视。随着客户流失率的不断增加,特别是高价值客户的流失,电信企业出现“增量不增收”的局面。因此,如何准确有效地进行客户流失预测,并且制定科学合理的客户挽留策略进行客户挽留,从而最大程度地降低客户的流失率,已成为目前电信运营商急需解决的重要问题。目标：通过深入挖掘电信客户流失数据，运用决策树（C4.5）算法构建一个精准的电信客户流失预警模型，从而为企业的客户维护工作以及精准营销决策起到支撑作用。三、数据 电信客户流失数据。数据特征包括客户所在地区、客户年龄、客户的婚姻状况、客户的住址、收入、学历、工龄、性别、家庭人口等静态维度以及用时、互联网、语音、传真、长途_长期、长途_近期、无线_长期、无线_近期等动态业务维度。 数据体量：1000条用户记录（行），41个特征维度（列）表1字段信息说明序号特征变量字段说明1地区客户常住地区，已脱敏处理，用1,2,3表示2用时客户入网使用时间，单位：小时/月3年龄客户当前年龄4婚姻0表示未婚，1表示已婚5住址客户常住地址，已脱敏处理，用0-55表示6收入客户年收入，单位千/美刀7学历1.小学，2.初中，3.高中，4.大学本科，5.研究生及以上8工龄客户当前工龄，单位年9退休0未退休，1已退休10性别0男，1女11免费是否包含免费通话时长，0没有，1有12设备是否租用设备，0不是，1是13电话卡是否使用电话卡业务，0不是，1是14无线是否使用无线业务15长途_近期近期拨打长途电话时长16免费_近期近期拨打免费时长17设备_近期近期租用设备拨打电话时长18电话卡_近期近期使用电话卡业务拨打时长19无线_近期近期使用无线业务时长20长途_长期长期拨打长途总时长21免费_长期长期拨打免费通话时长22设备_长期租用设备拨打长期时长23电话卡_长期长期使用电话卡业务时长24无线_长期长期使用无线时长25多线是否使用多线业务26传真是否使用传真业务27互联网手机支付都一样28长途_日志长途费用，美刀29免费服务日志免费业务收费30设备日志设备收费31电话卡日志电话卡业务收费32无线日志无线收费33收入日志总收费34客户类型客户分类四、操作步骤新建一个工程，如图1所示。图1新建工程1.本地数据导入在Data区域中选择Logis-云端数据组件，点击打开载入train-电信客户流失数据，如图2所示：图2载入数据原始数据观测在Data区域中选择数据表格组件，并与Logis-云端数据组件相连，点击打开，如图3所示：图3原始数据对话框的左上角数据简要区域展现原始数据的基本信息，包括数据的体量，特征维度以及缺失值比率（5.2%），有无元变量等信息。存在缺失值字段检测观察图3中原始数据可以发现存在缺失值字段主要集中在免费服务日志、电话卡日志、无线日志、设备日志等字段。在Data区域中选择特征选择组件，并与Logis-云端数据组件相连，再次选择数据表格组件，并与特征选择组件相连，逐一检测每个字段的缺失值比率。图4特征选择图5缺失值观测双击特征选择组件打开对话框，主体包含四大区域，左侧的过滤字段区域，右侧的特征变量区域，目标变量区域，元变量区域，将需要检测的字段放入特征变量区域即可。双击打开数据表格节点，在左上角的数据简要区域展现缺失值的比率，如图5所示，无线日志字段的缺失值比率达到70.4%。其他三个字段的缺失值检测类似，不再赘述。对话框的右侧区域展现原始数据的二维列表，目标变量处在灰色区域，采用0，1表征客户是否流失的信息，0=未流失，1=流失；其余特征变量均作量化处理，如采用数值化1，2，3，...表征用户所在地区。在数据挖掘领域中，字段的缺失值比率若超过70%，将会在很大程度上影响模型的构建，一般的处理方法是直接过滤掉，不再考虑该字段。字段过滤与缺失值弥补方法在上述存在缺失值字段检测过程中可以发现，仅有无线日志字段的缺失值比率超过70%。在Data区域中选择特征选择组件，可以右击重命名特征选择改为字段过滤并与Logis-云端数据组建相连，将无线日志字段过滤，如图6。图6字段过滤图7缺失值补全为了弥补缺失值，在Data区域中选择缺失值处理组件，并与特征选择组建相连，如图7。双击打开缺失值处理组件，打开对话框，数据弥补的范围包括全局弥补以及局部弥补，对应于对话框的左上角以及右下角区域，弥补的方法：按所在特征列的均值/频繁项弥补、用特值弥补、基于简单树方法弥补、随机值弥补等。本案例中采取全局弥补，选择按所在特征列的均值/频繁项弥补方法。相关性检测为了更为深入的观测特征变量对目标变量的影响程度，采取信息增益以及信息增益率等指标对特征变量影响目标变量的程度进行排名。在Data区域中选择特征排名组建，并与缺失值处理组件相连，双击打开如图8所示。图8特征排名探索性数据分析为了深入探测流失客户与非流失客户的静态特征与业务特征，采用不同的Visualize方式更为直观的观察对比。在Visualize区域中选择分布图组件，并与缺失值处理组件相连，双击打开，如图9所示。图9分布图分组中选择流失字段，用两种不同的颜色标记流失客户以及非流失客户；为了消除流失客户与非流失客户数量上的对比差异，勾选显示相对频率选项；为了观测流失客户在某一维度上的中位数分布情况，在显示概率中选择1。上图所展现的是在用时这一维度上电信客户流失与非流失相对分布图，读者可以自行选择其他维度进行观测。在实际的业务场景中往往考虑多维度交互的情况下去观察数据的分布体态特征。马赛克图为实现这一目标提供了全新的思路。在Visualize区域中选择马赛克图组件，并与缺失值处理组件相连，双击打开，如图10所示。图10马赛克图上图中从工龄和收入两个维度交互的情况下引入客户流失维度，进一步观测两个维度交互的情况下客户流失的分布情况，便于不同特征客户的抽取。勾选与全局比较选项，在各个区块图的左侧展现出全局分布情况。当然，框图也能展现多个维度下数据的分布情况，在Prototypes区域中选择框图组件，并与缺失值处理组件相连，双击打开，如图11所示。图11框图点击锐化，缩小散射图，增加可观察的分布区块，如图12所示。图12锐化之后热图能从直观数值化的角度观测流失客户与非流失客户在各个维度上的分布情况，在Visualize区域中选择热图组件，并与缺失值处理组件相连，双击打开，如图13所示。图13热图7.模型训练电信客户流失预测是个典型的二分类问题，目标变量取值仅流失或者不流失。决策树算法具有适用性强，算法简单，模型结构易于理解等特点。因此采用决策树（C4.5）算法来训练模型。在Evaluate区域中选择模型评估组件，并与缺失值处理组件相连；在Model区域中选择决策树组件，并与模型评估组件相连。双击打开决策树组件，如图14所示。图14参数设置决策树对话框界面进行简单的参数配置，在参数区域中，默认勾选参数的四个选项，分别是产生二叉树、叶子中的实例数量阈值、停止分割的子集阈值、将最大树深度限制为。在Clssification区域中，默认勾选参数选项,可以设定树模型停止分裂的纯度最小阈值。本案例中数据体量不大，所有参数默认即可。8.模型评估双击打开模型评估组件，可观测衡量训练模型性能的各项指标，如图15所示。图15评价结果由于本案例中未设置测试样本，在上图出现的模型评估组件对话框中，直接勾选检验训练数据即可。该训练模型中，精准率和召回率分别达到0.976，0.894，训练模型性能较好。可进一步通过ROC曲线分布进行观测，在Evaluate区域中选择ROC曲线分析组件，并与模型评估组件相连，双击打开，如图16所示。图16ROC曲线分析混淆矩阵常用来观查训练模型中真阳性，假阳性，真阴性，假阴性上的分布情况，以便衡量训练模型的广度和精准度，在Evaluate区域中选择混淆矩阵组件，并与模型评估组件相连，双击打开，如图17所示。图17混淆矩阵9.训练模型Visualize为了更加直观的观测训练模型的内部结构，可采用一些的Visualize方式来生动展现。将决策树组件与缺失值处理组件相连；在Visualize区域中选择树查看器组件，并与决策树组件相连，双击打开，如图18所示。图18树查看器在树图对话框中可以观测模型的内部结构，由于树的深度过深，为了更好的展现，可通过调整控制深度选项来选择树图展现的层数，上图为3层。读者可自行通过调节大小、调节宽度的进度条来调整树图的大小以及宽度。毕达哥拉斯树是Visualize树模型内部结构的另外一种思路，具有高度的交互特点，可以生动的展现树模型的生长历程，在Visualize区域中选择毕达哥拉斯树组件，并与决策树组件相连，双击打开，如图19所示。图19毕达哥拉斯树10.模型保存在Model区域中选择模型保存组件，并与决策树组件相连，双击打开，将模型保存至本地地址，如图20所示。图20模型保存11.模型部署及预测训练模型的最终目的是希望能将性能较好的模型部署到真实的业务场景中去预测客户在未来一段时间的流失情况，以便管理者制定相关的客户挽留措施已经精准的营销决策。在Data区域中选择Logis-云端数据组件，并载入预测电信客户流失数据；在Data区域中选择特征选择组件，并与Logis-云端数据组件相连，过滤掉无线日志字段；在Evaluate区域中选择预测组件,并与特征选择相连；在Model区域中选择预测组件,并与模型加载相连。双击预测组件，观察预测结果，如图21所示。图21预测结果12.潜在流失客户价值聚类为了更好的支撑业务决策，将预测流失的客户精准的抽取出来，并选取能够衡量客户价值的字段进行聚类，最终将不同价值层次的客户精准的抽取出来。在Data区域中选择记录选择组件，并与预测组件相连，双击进行，选择预测为流失的客户；在Data区域中选择特征选择组件，并与记录选择组件相连，过滤无关字段。如图22所示。图22数据预处理在Unsupervised区域中选择k-Means