Py数据基础及实战 10

O2O优惠券使用预测背景与目标数据探索数据预处理分析与建模模型评价背景随着移动设备的完善和普及，移动互联网+各行各业的运营模式进入了高速发展的阶段，其中O2O消费模式最吸引眼球，它将线上消费和线下消费进行了结合。O2O行业天然关联数亿消费者，各类APP每天记录了超过百亿条用户行为和位置记录，如在美团点餐、用滴滴打车、在天猫购物或者浏览商品等行为都会被记录，因而O2O成为大数据科研和商业化运营的最佳结合点之一。O2O消费对于用户而言，不仅可以使用户获得更为丰富、全面的商户及其服务信息内容，而且还可以使用户获得比线下直接消费更低的价格。O2O消费对于商户而言，可以获得更多、更好的宣传机会去吸引新用户到店消费，同时可以通过在线预约的方式合理安排经营，节约成本。背景在市场竞争十分激烈的情况下，商户会想出各种各样的办法去吸引新用户，其中用优惠券维持老用户或吸引新用户进店消费成为O2O的一种重要营销方式。但如果投放优惠券的形式不恰当，可能会造成一定的负面影响。人们在生活中常常会收到各式各样关于优惠券或其他活动的短信或APP推送的消息，在大多数情况下，人们并不会去使用或在意这些优惠券，因为优惠券的随机推送并没有摸清用户的需要，此时会对多数用户造成无意义的干扰。对于商户而言，滥发优惠券可能会降低品牌声誉，同时还会增加营销成本。个性化投放是提高优惠券核销率的重要技术，不仅可以让具有一定偏好的消费者得到真正的实惠，而且赋予了商户更强的营销能力。数据说明某平台拥有用户线下的真实消费行为和位置信息等数据，为保护用户隐私和数据安全，数据已经过随机采样和脱敏处理。数据样本包括训练样本和测试样本。训练样本共有1444037条记录，是用户在2025年1月1日至2025年5月30日之间的真实线下消费行为信息。测试样本为用户在2025年6月1日至15日的领取商户优惠券信息。数据说明总的数据属性包含用户ID、商户ID、优惠券ID、优惠券折扣力度、用户与门店的距离、领取优惠券日期、消费日期。名称含义user_id用户IDmerchant_id商户IDcoupon_id优惠券ID。null表示无优惠券消费，此时discount_rate和date_received属性无意义discount_rate优惠券折扣力度。其中a代表折扣率，取值范围是0~1；x:y表示满x减y。例如，当a=0.9时，商品的折扣率为0.9；当x=200、y=30时（即200∶30），商品满200元减30元distance用户与门店的距离（如果是连锁店，那么取最近的一家门店）。表示用户经常活动的地点与该商户的最近门店距离是x×500m，x的取值范围是(0,10)且x取整数；例如，当x＝1时，用户活动地点与最近门店的距离为500m；当x＝2时，距离为1000m，以此类推。此外，null表示无此信息，x=0表示距离低于500m，x=10表示距离大于或等于5000mdate_received领取优惠券日期date消费日期。如果消费日期为null但优惠券ID不为null，则该记录表示领取了优惠券但没有使用；如果消费日期不为null但优惠券ID为null，则表示普通消费日期；如果消费日期和优惠券ID都不为null，则表示使用优惠券消费的日期目标本案例的主要目标是预测用户在领取优惠券后15天以内的使用情况，为了将该问题转化为分类问题，规定如下。将领取优惠券后15天以内使用优惠券的样本标记为正样本，记为1。15天以内没有使用优惠券的样本标记为负样本，记为0。未领取优惠券进行消费的样本标记为普通样本，记为－1。目标确定是分类问题后，需要结合用户使用优惠券的情景和实际业务场景，构建用户、商户、优惠券、用户和商户交互的相关指标，并根据这些指标构建分类模型，预测用户在领取优惠券后15天以内的使用情况。背景与目标数据探索数据预处理分析与建模模型评价数据探索原始数据中包括用户ID、商户ID、优惠券ID、优惠券折扣力度、用户经常活动的地点与商户最近的门店的距离等信息，对原始数据进行描述性统计分析，从多个维度进行探索性分析。描述性统计分析对训练样本、测试样本进行描述性统计分析。得到训练样本（左表）和测试样本（右表）的属性观测值中的缺失值数、最大值和最小值如下。属性名称缺失值数最大值最小值user_id073610324merchant_id088561coupon_id578569140451discount_rate578569

distance0100date_received5785692025053120250101date8049512025063020250101属性名称缺失值数最大值最小值user_id073609674merchant_id088561coupon_id123033140451discount_rate123033

distance0100date_received1230332025061520250601date751632025063020250601分析优惠形式信息考虑到折扣率和满额减免这两种优惠形式可能是影响用户是否使用优惠券的一个因素，分别分析这两种优惠形式的分布情况并绘制饼图。分析用户消费行为信息绘制柱形图分析商户投放优惠券的数量。分析用户消费行为信息绘制饼图分析用户持券与未持券到门店消费的距离。绘制饼图分析用户到门店的距离。背景与目标数据探索数据预处理分析与建模模型评价数据预处理对原始数据进行探索性分析时，会发现存在缺失值、部分属性的数据类型不统一、数据的属性过少等问题，因此需要对数据进行数据清洗和数据变换。数据清洗数据清洗的方法如下。将date_rececived和date属性的数据类型转为时间类型。将discount_rate属性中的满减优惠统一替换成折扣率，例如，将满减优惠形式“300∶30”改为折扣率形式“0.9”。数据变换1.构建用户标签和删除未领券进行消费的样本本案例主要的分析目标是预测用户在领取优惠券后15天以内的使用情况，以15天为阈值划分样本。类别标签说明普通样本-1没有领取优惠券进行消费的样本正样本1领取了优惠券并在15天内使用的样本负样本0领取了优惠券在15天后使用的样本或领取了优惠券但并未使用的样本数据变换2.构建指标由于原始数据中仅有6个属性，不足以精确地描述问题，因此需要进行数据变换，从而构造出新的、更加有效的属性。结合O2O消费模式的特点，可以从用户、商户、优惠券及用户和商户的交互关系这4个维度进行深入分析，将指标扩展为与用户、商户、优惠券、交互关系相关的指标。构建的指标及其说明如下。类别指标名称说明用户优惠券使用频数用户使用优惠券消费次数消费频数用户总消费次数领取优惠券率用户使用优惠券消费次数与总消费次数的比值领取优惠券未使用率用户领取优惠券而未使用的数量占总投放量的百分比领取、使用优惠券间隔用户领取优惠券日期与使用日期相隔的平均天数用户领取的优惠券数量用户领取的所有优惠券的数量构建指标构建的指标及其说明（续表）类别指标名称说明商户优惠券核销频数商户投放的优惠券被使用的数量优惠券核销率商户投放的优惠券被使用的数量占总投放量的百分比投放优惠券频数商户投放优惠券的数量优惠券未核销频数商户投放优惠券而未被使用的数量投放、使用优惠券间隔商户投放优惠券的日期与被使用的日期平均相隔天数位置距离用户与门店的距离优惠券优惠率优惠券的折扣力度优惠券流行度被使用优惠券数与投放优惠券总数的比值交互指标用户在商家消费的次数用户在某商户的消费次数用户在商家领取的优惠券数用户领取某商户的优惠券数用户在商家使用优惠券的次数用户在领取的某商户优惠券中使用过的优惠券数构建指标各指标的表示形式指标名称表示形式优惠券使用频数user_use_coupon_times消费频数user_consume_times领取优惠券率user_use_coupon_rate领取优惠券未使用率user_receive_coupon_unused_times领取、使用优惠券间隔user_mean_use_coupon_interval用户领取的优惠券数量number_received_coupon优惠券核销频数merchant_launch_coupon_used_count优惠券核销率merchant_launch_coupon_used_rate投放优惠券频数merchant_launch_coupon_count指标名称表示形式优惠券未核销频数merchant_receive_coupon_unused_times投放、使用优惠券间隔merchant_mean_launch_coupon_interval距离distance优惠率discount_rate优惠券流行度coupon_used_rate用户在商家消费的次数user_merchant_cus用户在商家领取的优惠券数user_merchant_received_coupon用户在商家使用优惠券的次数user_merchant_used_coupon背景与目标数据探索数据预处理分析与建模模型评价分析与建模预测用户领券后的使用情况是一个分类问题，对于分类模型的建立和预测，可采用朴素贝叶斯、决策树、SVM、逻辑回归、神经网络、深度学习等分类算法。对于预测用户在2025年6月领取优惠券后15天以内的使用情况，本案例主要采用决策树分类算法、梯度提升分类算法和XGBoost分类算法3种分类算法。决策树分类模型一般的决策树算法都采用自顶向下递归的方式，从训练集和与训练集相关联的类标号开始构造决策树。随着树的构建，训练集递归地被划分成较小的子集。采用scikit-learn库的决策树分类器DecisionTreeClassifier来构建决策树分类模型，该分类器基于CART决策树进行优化，选择最小的基尼指数（GiniIndex）作为节点特征。CART决策树是二叉树，即一个节点只分两支。决策树分类模型由于本案例是对用户领取优惠券的使用预测，而未领取优惠券进行消费的样本不满足分析要求，所以只抽取正、负样本进行模型构建与分析。对训练样本建立基于CART的决策树分类模型，并进行预测，得到的测试样本的部分预测结果如右表。user_idmerchant_idcoupon_idclass258942445999272137191497555211115585600760241814610057294212589141661652164679516342116243612462120314637113163311755497559190851661160083468781512595546963071029302037602418157814072436399214840211417358041327682486548751梯度提升分类模型使用训练样本构建梯度提升分类模型并对测试样本进行预测，得到的部分预测结果如下。user_idmerchant_idcoupon_idclass258942445999272137191497555211115585600760241814610057294212589141661652164679516342116243612462120314637113163311755497559190851661160083468781512595546963071029302037602418157814072436399214840211417358041327682486548751XGBoost分类模型XGBoost算法是集成学习中的序列化方法，该算法的目标函数是正则项，误差函数为二阶泰勒展开。由于XGBoost算法的目标函数中加入了正则项，能用于控制模型的复杂度，因此用XGBoost算法训练出的模型不容易过拟合。使用xgboost库中的分类子库（xgb.XGBClassifier）实现XGBoost算法，使用训练样本构建XGBoost分类模型并预测测试样本，得到的模型预测的部分结果如右表。user_idmerchant_idcoupon_idclass25894244599927213719149755521111558560076024181461005729421258914166165216467951634211624361246212031463