《数据挖掘与机器学习》 课件 项目九 电信运营商用户分析

处理电信运营商用户信息数据电信运营商用户分析任务描述电信运营中电信企业需要考虑如何最大程度地控制客户流失、挽留现存在网用户并且吸取新客户增加盈利等。对于电信企业而言，分析和预测运营商流失用户数据是一项非常重要的工作，以便于建立健全网络综合治理体系，推动形成良好网络生态。分析与预测流失用户数据处理电信运营商用户信息数据需要先对数据进行初步处理，从而优化数据质量、提高数据处理效率、确保数据一致性和完整性，为数据分析和决策提供可靠的支持。本任务先后将数据去重与降维、处理缺失值与异常值和合并数据，处理电信运营商的用户信息数据集，将初始电信运营商用户数据进行优化和简化，提高数据的质量，着力推进高质量发展。任务要求使用pandas库对数据进行去重。使用pandas库进行数据降维。使用pandas库和NumPy库进行数据合并。使用pandas库处理缺失值和异常值。随着中国电信运营业务的快速发展，市场竞争也愈演愈烈。如何最大程度地挽留在网用户、吸取新客户，是电信企业最关注的问题之一。竞争对手的促销、公司资费软着陆措施的出台和政策法规的不断变化，影响了客户消费心理和消费行为，导致客户的流失特征不断变化。对于电信运营商而言，流失会给电信企业带来市场占有率下降、营销成本增加、利润下降等一系列问题。在发展用户每月增加的同时，如何挽留和争取更多的用户，是一项非常重要的工作。相关知识随着大数据挖掘技术的不断发展和应用，本着守正创新的精神，移动运营商希望能借助数据挖掘技术识别哪些用户可能流失，什么时候会发生流失。而通过建立流失预测模型，分析用户的历史数据和当前数据，提取辅助决策的关键性数据，并从中发现隐藏关系和模式，进而预测未来可能发生的行为，就可以帮助移动运营商实现这些要求。相关知识数据去重与降维合并数据处理缺失值与异常值数据去重与降维查看电信运营商用户信息数据使用pandas库中read_csv函数读取电信运营商用户信息数据。使用drop_duplicates()方法删除重复数据。数据降维，使用del删除手机品牌、手机型号和操作系统描述3个特征数据去重与降维的步骤如下。电信运营商用户数据包含了运营商用户的基础信息和使用行为信息，数据的特征说明，如下表所示。特征名称特征说明特征名称特征说明月份月份国内漫游通话次数国内漫游通话次数/次用户ID用户ID短信发送数短信发送数/条在网时长在网时长上网流量上网流量/MB是否合约有效用户是否合约有效用户本地非漫游上网流量本地非漫游上网流量/MB合约计划到期时间合约计划到期时间国内漫游上网流量国内漫游上网流量/MB信用等级信用等级有通话天数有通话天数VIP等级VIP等级有主叫天数有主叫天数查看电信运营商用户信息数据查看电信运营商用户信息数据特征名称特征说明特征名称特征说明本月费用本月费用/元有被叫天数有被叫天数通话时长通话时长/秒语音呼叫圈语音呼叫圈本地通话时长本地通话时长/秒主叫呼叫圈主叫呼叫圈国内长途通话时长国内长途通话时长/秒被叫呼叫圈被叫呼叫圈国内漫游通话时长国内漫游通话时长/秒性别性别通话次数通话次数/次年龄年龄非漫游通话次数非漫游通话次数/次手机品牌名称手机品牌名称本地通话次数本地通话次数/次手机型号名称手机型号名称特征名称特征说明特征名称特征说明国内长途通话次数国内长途通话次数/次操作系统描述操作系统描述终端硬件类型终端硬件类型(0=无法区分，4=4g、3=3g、2=2g)用户在3月是否流失标记用户在3月是否流失标记（1=是，0=否），1月和2月值为空查看电信运营商用户信息数据基于保护用户的网络信息安全的目的，本任务使用的数据已进行脱敏处理，加强个人信息保护。为了筛选出影响用户流失的信息属性，需要对建模用户数据集进行预处理和降维。合并数据在原始的建模数据中，每个用户有三行的数据，对应着同一个ID三个月的信息。用户ID在网时长是否合约有效用户合约计划到期时间…U3114031824149372231201603…U3114031824149372241201603…U3114031824149372250…月种数据格式不便于进行建模和分析。因此，本任务对数据进行提取和整合，将每个用户信息处理为一行数据。移动用户基本信息由于同一个用户的基本信息在三个月内是相同的。因此，用户ID、性别、年龄以及终端硬件类型只取1月的数据。201602U3114031824149372139…3201603U3114031824149372139…3月份用户ID性别年龄…终端硬件类型201601U3114031824149372139…3在网时长由于每个月的在网时长等于上个月的在网时长加一（为零的除外），故第三个月的在网时长的数据就包含了这三个月在网时长的全部信息。因此，每个ID只提取第三个月的数据，按用户ID和在网时长分组后取在网时长的最后一行。月份用户ID在网时长是否合约有效用户201601U3114031824149372231201602U3114031824149372241201603U3114031824149372250是否合约有效将这三个月的合约有效的情况规整为一个数据，处理方法为：当三个月不全为1时，用第三个月的值减去前两个的均值；当三个月的值都是为1时，取值为1.5。这样操作之后，所有取值情况为-1、-0.5、0、0.5、1、1.5，如下表所示。-1前两个月合约有效，第三个月合约无效-0.5前两个月其中一个月合约有效，另一个月和第三个月合约无效。0三个月均合约无效0.5前两个月其中一个月合约无效，另一个月和第三个月合约有效1前两个月合约无效，第三个月合约有效1.5三个月均合约有效数值含义合约计划到期时间取第三个月的数据作为合约计划到期时长，将空值赋值为-1，不是空值的到期时间以201603为基准0，每增加一个月，数据为1，以此类推。月份用户ID合约计划到期时间201601U3114031824148707201602U3114031824148707201603U3114031824148707201601U3114031824149251201605201602U3114031824149251201605201603U3114031824149251201605赋值为-1赋值为2信用等级月份用户ID信用等级本月费用…201601U31140318241493726577.2…201602U31140318241493726583…201603U31140318241493726576.4…按用户信用等级分组后取3个月的平均值。VIP等级如果同一个ID值，三个月的VIP等级数值相等，则取第三个月的数值。三个月的VIP等级数值都不相等，则第三个月的数据减去前两个月的均值

VIP等级的空值赋值为0。月份用户ID…201601U311403182414870799201602U311403182414870799201603U311403182414870799201601U31150616332226384201602U31150616332226384201603U311506163322263899取第三个月的数值9999-（4+4）/2=95本月费用月份用户ID信用等级本月费用…201601U31140318241493726577.2…201602U31140318241493726583…201603U31140318241493726576.4…按本月费用分组后取三个月费用的平均值。平均每次通话时长将各种通话时长除以通话次数，得到各类的平均通话时长。使用mean()方法计算通话时间、本地通话时间、长途通话时间、漫游通话时间的均值。使用fillna()方法进行均值填充空值。使用rename()方法重新命名新得出的变量，得到平均通话时长、平均本地通话时间、平均长途通话时长、平均国内漫游通话时间，将原有的8个特征减少到4个新特征。其余特征月份用户ID信用等级本月费用…201601U31140318241493726577.2…201602U31140318241493726583…201603U31140318241493726576.4…对于其余的特征，同一个ID下，使用mean()方法取三个月的平均值。处理缺失值与异常值在合并后的数据集中查找缺失值，并对存在缺失的数据按照一定的规则赋值。使用isnull()方法和sum()方法对新数据集进行缺失值查找。使用fillna()方法对缺失的数据进行填充，性别缺失的用众数填充，年龄缺失的赋值为0。对缺失值处理后的数据集进行异常值的查找，查找出在网时长小于0的数据，费用大超出3σ部分的数据。构建电信运营商用户分群模型电信运营商用户分析任务描述电信通信服务的总方针是迅速、准确、安全、方便。在电信通信服务的总方针的指引下，通过客户基本信息，将用户分类，对每类用户进行个性化服务，最大程度地控制客户流失。本任务的操作将在保护用户信息安全的前提下进行。大数据时代，需要坚持网络安全为人民、网络安全靠人民，树立正确的网络安全观，提高自身网络安全意识和防护技能。本任务通过对客户性别、年龄、在网时长等信息进行简单的画图来观察客户基本信息与用户在3月是否流失的关系，进行K-Means聚类分析，建立用户分群模型。任务要求使用pandas库分析用户基本信息。使用sklearn库进行聚类分析。使用Matplotlib库实现结果的可视化。用户分群是依据用户的属性特征和行为特征、交易信息将用户群体进行分类，对其进行观察和分析的方式。从技术视角，用户分群的方式主要有两种：基于规则的分群方法（Rule-basedSegmentation）和基于算法的分群方法（ML-basedSegmentation）。基于规则的分群方法：主要适用于业务规则确定，分群采用的用户特征维度单一的场景。基于算法的分群方法：主要用于用户特征维度高，人工无法设定合理分群规则的场景。相关知识聚类分析（ClusterAnalysis）和RFM模型（Recency,Frequency,Monetary）是常用的用户分群方法。聚类分析常见的数据挖掘手段，其主要假设是数据间存在相似性。而相似性是有价值的，因此可以被用于探索数据中的特性以产生价值。RFM模型又称用户价值模型，是网点衡量当前用户价值和用户潜在价值的重要工具。相关知识用户分群把具备某种相同特性的用户归结在一起，再按照特定的条件选出目标用户，进行洞察分析查看用户特征。对客户性别、年龄、在网时长等信息进行可视化处理，观察并分析客户基本信息与用户流失的关系，使企业由粗放式管理转向精细化运营。面对不同人群差异化的特征和需求，降本增效，激发更加明显的竞争优势。为进一步提升企业能力，企业应坚持发扬斗争精神，依靠顽强斗争打开事业发展新天地。相关知识分析用户基本信息构建K-Means模型分析用户基本信息对客户性别、年龄、在网时长等信息进行可视化处理，观察并分析客户基本信息与用户流失的关系。1性别分析2年龄分析5用户是否有效分析4合约计划到期时间分析6信用等级分析3在网时长分析为了直观地观察客户性别与用户流失之间的关系，对处理后的数据进行性别分析。首先导入相关库及数据，构建性别比率函数分别计算流失用户和非流失用户中的性别比率，使用pie函数绘制性别比率饼图。性别分析为了直观地观察客户年龄与用户流失之间的关系，对处理后的数据进行性别分析。使用plot函数绘制在流失用户和非流失用户中客户年龄的分析散点图。年龄分析为了直观地观察客户在网时长与用户流失之间的关系，对处理后的数据进行在网时长分析。使用plot函数绘制在流失用户和非流失用户中的客户在网时长分析折线图。在网时长（月）分析为了直观地观察客户合约计划到期时间与用户流失之间的关系，对处理后的数据进行计划到期时间分析。使用bar函数绘制在流失用户和非流失用户中的客户计划到期时间频数直方图。合约计划到期时间分析为了直观地观察客户是否有效与用户流失之间的关系，对处理后的数据进行用户是否有效分析。使用bar函数绘制在流失用户和非流失用户中的客户是否有效直方图。用户是否有效分析为了探究无效用户在流失与非流失用户群体中的占比情况。使用sum()方法计算是否有效用户的频数，并使用bar函数绘制绘制直方图。用户是否有效分析为了直观地观察客户信用等级与用户流失之间的关系，对处理后的数据进行信用等级分析。使用bar函数绘制在流失用户和非流失用户中的客户信用等级直方图。信用等级分析构建电信运营商用户分群模型电信运营商用户分析任务描述电信通信服务的总方针是迅速、准确、安全、方便。在电信通信服务的总方针的指引下，通过客户基本信息，将用户分类，对每类用户进行个性化服务，最大程度地控制客户流失。本任务的操作将在保护用户信息安全的前提下进行。大数据时代，需要坚持网络安全为人民、网络安全靠人民，树立正确的网络安全观，提高自身网络安全意识和防护技能。本任务通过对客户性别、年龄、在网时长等信息进行简单的画图来观察客户基本信息与用户在3月是否流失的关系，进行K-Means聚类分析，建立用户分群模型。任务要求使用pandas库分析用户基本信息。使用sklearn库进行聚类分析。使用Matplotlib库实现结果的可视化。分析用户基本信息构建K-Means模型构建K-Means模型构建K-Means模型主要分为以下6个步骤。1选择聚类优度（计算MIC和BT）2绘制MIC曲线和BT曲线5聚类用户类别命名4绘制密度函数图6用户类别占比分析3构建模型聚类分析常见的数据挖掘手段，其主要假设是数据间存在相似性。而相似性是有价值的，因此可以被用于探索数据中的特性以产生价值。使用import和from导入KMeans、seaborn等开发类库。聚类前准备，使用linalg.norm函数计算二范数，使用for循环计算MIC和BT。MIC值是模型信息准则，通过最小化MIC值来估计聚类数量和分区，BT值是特征的体现程度，BT值越大代表该聚类结果更能体现分区特征。选择聚类优度为了更直观地看到聚类后的特征体现程度，使用plot函数绘制MIC曲线和BT曲线，将数据可视化。绘制MIC曲线和BT曲线选择聚类数目为5之后，使用KMeans进行聚类。构建模型建立聚类模型后，使用sns库中kdeplot函数绘制密度函数图。绘制密度函数图绘制密度函数图建立聚类模型后，使用seaborn库中kdeplot函数绘制密度函数图。根据实际情况与数据特征划分五类用户的命名。聚类用户类别命名输出类型类别1类别2类别3类别4类别5命名中高费用中低费用高费用低费用一般费用注意：不同的运行环境得到的聚类结果会存在一定的差异，五类用户的命名情况需要根据密度函数图的结果进行同步调整。更改用户类别名称后，绘制不同类别的用户流失比例的饼图。用户类别占比分析构建电信运营商用户流失预测模型电信运营商用户分析任务描述电信企业为了最大程度地控制客户流失、挽留现存在网用户，分析不同群体用户的使用规律，识别各群体客户流失的重要特征。为了系统地描述电信运营商用户流失的规律，引入数学模型对电信运营商用户数据进行分析。运营商要实现控制客户流失、挽留现存在网用户，必须深入贯彻以人民为中心的发展思想。本任务的具体目标是基于电信运营商用户分群模型建立逻辑回归模型、决策树模型和朴素贝叶斯模型，选取最优的用户流失模型。任务要求分析不同群体用户的使用规律，识别各群体客户流失的重要特征。建立不同群体用户流失模型，建立逻辑回归模型、决策树模型和朴素贝叶斯模型，判断模型建立的效果。选取最优的用户流失模型。相关知识所有与消费者挂钩行业都会关注客户流失。由于发展一个新客户是需要一定成本的，如果客户流失，不仅浪费了拉新成本，还需要花费更多的用户召回成本。因此，基于电信行业在竞争日益激烈的情况，如何挽留更多用户成为一项关键业务指标。为了更好运营用户，这就要求要了解流失用户的特征，分析流失原因，预测用户流失，确定挽留目标用户并制定有效方案，提升企业核心竞争力。特征值提取构建电信商用户流失预测模型特征值提取基于树的特征选择导入开发库特征变量选取特征抽取是数据挖掘任务最为重要的一个环节，一般而言，它对最终结果的影响要高过数据挖掘算法本身。只有先把现实用特征表示出来，才能借助数据挖掘的力量找到问题的答案。特征选择的另一个优点在于：降低真实世界的复杂度，模型比现实更容易操纵。特征选择能够降低复杂度、降低噪音和增加模型可读性。基于树的特征选择单个特征和某一类别之间相关性的计算方法有很多，比较有效的有卡方检验（chi2）以及互信息和信息熵，本文选择基于信息熵的方法来选取特征变量。信息熵是在决策树中广泛使用的一个变量，用以获取最优划分的节点。基于树的预测模型能够用来计算特征的重要程度，能用来去除不相关的特征。因此选择基于树的特征选择（Tree-basedfeatureselection）来获取特征变量。基于树的特征选择使用from和import导入sklearn.ensemble中的ExtraTreesClassifier类与sklearn.feature_selection中的SelectFromModel类。导入开发库用于从模型中选择重要的特征用于构建极端随机树分类器由基于树的特征选择，使用sklearn库导入信息熵的树及特征值筛选模块，使用for循环获取前10个重要程度的特征变量，结果如下。特征变量选择低费用'年龄','在网时长','本地通话次数','国内长途通话次数','国内漫游通话次数','上网流量','有通话天数','有主叫天数','有被叫天数','主叫呼叫圈'中低费用'年龄','在网时长','本月费用','本地通话次数','国内长途通话次数','国内漫游通话次数','有通话天数','有主叫天数','有被叫天数','主叫呼叫圈'一般费用'年龄','在网时长','本地通话次数','国内长途通话次数','国内漫游通话次数','短信发送数','上网流量','有通话天数','有主叫天数','有被叫天数'中高费用'年龄','在网时长','本地通话次数','国内长途通话次数','国内漫游通话次数','短信发送数','有通话天数','有主叫天数','有被叫天数','主叫呼叫圈'高费用'年龄','在网时长','平均本地通话时长','本地通话次数','国内长途通话次数','国内漫游通话次数','国内漫游上网流量','有通话天数','有主叫天数','有被叫天数'类型选取的变量构建电信商用户流失预测模型自定义模型构建函数构建逻辑回归模型构建决策树模型构建朴素贝叶斯模型选择最优模型由于不同的模型构建过程类似，为了避免代码赘余，因此自定义一个evaluate_model函数用于模型的构建与检测。evaluate_model函数操作的流程如下。自定义模型构建函数基于特征变量的筛选结果，循环获取不同用户类型的重点特征提取特征和目标变量数据对数据进行欠采样处理自定义模型构建函数划分特征和目标变量，并划分训练集和测试集对数据进行标准化处理构建相关的模型，并对模型进行评估由于不同的模型构建过程类似，为了避免代码赘余，因此自定义一个evaluate_model函数用于模型的构建与检测。evaluate_model函数操作的流程如下。逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本上相同，最大的区别就在于它们的因变量不同，如果是连续的，就是多重线性回归；如果是二项分布，就是Logistic回归。导入构建逻辑回归模型需要的一些开发库。调用构建的evaluate_model函数，即可构建逻辑回归模型，并计算模型的准确率、召回率、AUC值。构建逻辑回归模型决策树是一种树状结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。导入构建决策树模型需要的一些开发库。调用构建的evaluat