Python数据分析实战项目源码

-Python数据分析实战项目源码在数据驱动决策成为常态的今天，掌握从原始数据到商业洞察的完整链路是每一位数据从业者的核心能力。单纯学习Pandas、NumPy或Matplotlib的语法调用已不足以应对复杂多变的业务场景，真正的竞争力在于能够独立构建端到端的数据分析项目。本文将深入剖析三个具有代表性的实战项目源码架构与实现逻辑，涵盖电商用户行为分析、金融风控模型预测以及供应链库存优化，旨在为开发者提供可直接参考的代码范式与工程化思路。电商场景下的数据价值挖掘，核心在于还原用户从“浏览”到“复购”的全生命周期。一个标准的分析系统不应止步于简单的报表统计，而应包含数据清洗、特征工程、用户分群及转化漏斗四大模块。在项目结构上，建议采用模块化设计。`data_loader.py`负责对接多源异构数据，如MySQL中的交易表、Kafka实时日志流及Redis缓存的用户画像。`preprocessing.py`则集中处理缺失值填充（基于中位数而非均值以抵抗异常值干扰）和异常值剔除（利用IQR四分位距法）。核心的`feature_engineering.py`需要构建高维特征，例如计算用户在最近30天内的访问频次衰减率、跨品类浏览深度以及加购后的支付转化率。以下是关键的特征提取逻辑示例：importpandasaspd

importnumpyasnp

defcalculate_user_behavior_metrics(df):

"""

计算用户行为核心指标

df:包含user_id,event_type,timestamp,product_id的原始数据框

"""

#1.时间窗口聚合：过去7天、30天的活跃天数

df['timestamp']=pd.to_datetime(df['timestamp'])

window_7d=df[df['timestamp']>=(pd.Timestamp.now()-pd.Timedelta(days=7))]

window_30d=df[df['timestamp']>=(pd.Timestamp.now()-pd.Timedelta(days=30))]

metrics=df.groupby('user_id').agg({

'event_type':'count',

'product_id':'nunique'

}).rename(columns={'event_type':'total_actions','product_id':'unique_products'})

#2.计算RFM模型衍生指标

#R(Recency):最近一次交互距离今天的天数

last_action=df.groupby('user_id')['timestamp'].max()

metrics['recency_days']=(pd.Timestamp.now()-last_action).dt.days

#M(Monetary):总消费金额（需关联订单表，此处假设已有字段）

#F(Frequency):购买频次

purchase_df=df[df['event_type']=='purchase']

freq=purchase_df.groupby('user_id').size()

metrics['frequency']=freq.reindex(metrics.index,fill_value=0)

returnmetrics.sort_values('recency_days')在可视化展示环节，必须摒弃静态图片，转而使用交互式图表库如Plotly或ECharts的Python封装。通过构建动态漏斗图，可以直观展示从“首页曝光”、“商品详情页”、“加入购物车”到“下单支付”各环节的流失率。若某环节流失率超过行业基准线（通常为60%），系统应自动触发预警并定位具体商品类别或流量来源。漏斗阶段样本量(万)转化率(%)环比变化首页曝光500.0100.0-商品详情320.064.0+2.1%加入购物车85.026.5-1.5%下单支付42.013.1+0.8%实际成交38.59.6-0.3%数据显示，购物车环节的流失最为严重，结合代码中的关联分析，可发现该问题主要集中在移动端高客单价商品上，这提示产品团队需重点优化移动端结算流程的加载速度与表单复杂度。二、金融信贷风险评分卡模型构建金融行业对数据的准确性与模型的稳定性要求极高。本项目源码侧重于构建一套可解释性强、符合监管要求的信用评分卡。不同于黑盒模型，评分卡需要将复杂的机器学习结果转化为直观的分数体系，便于业务人员理解与调整策略。数据预处理阶段，重点在于处理样本不平衡问题。在信贷数据中，违约样本通常不足5%，直接训练会导致模型偏向多数类。源码中采用了SMOTE（合成少数类过采样技术）进行数据增强，并结合XGBoost的scale_pos_weight参数进行加权训练。特征选择方面，严格遵循WOE（WeightofEvidence）变换原理，将连续变量分箱后计算IV值（InformationValue），剔除IV值低于0.02的弱特征，确保模型输入的高信噪比。模型训练部分，采用逻辑回归（LogisticRegression）作为最终分类器，因为其输出概率具有明确的线性关系，易于转换为评分。核心算法逻辑如下：fromsklearn.linear_modelimportLogisticRegression

fromsklearn.metricsimportroc_auc_score,classification_report

defbuild_credit_scorecard(X_train,y_train,binning_data):

"""

构建评分卡模型

X_train:经过WOE编码后的特征矩阵

y_train:目标变量(0:正常，1:违约)

binning_data:各特征的分组及WOE映射字典

"""

#1.模型训练

model=LogisticRegression(class_weight='balanced',max_iter=1000)

model.fit(X_train,y_train)

#2.评估指标

y_pred_proba=model.predict_proba(X_train)[:,1]

auc=roc_auc_score(y_train,y_pred_proba)

print(f"模型AUC得分：{auc:.4f}")

#3.评分转换公式：Score=Offset+Factor*ln(Odds)

#Odds=P/(1-P),P为违约概率

odds=y_pred_proba/(1-y_pred_proba)

score=600+50*np.log(odds)#设定基准分为600，每翻一倍odds增加50分

returnmodel,score为了验证模型在不同阈值下的表现，源码中集成了混淆矩阵分析与成本收益曲线绘制功能。在实际部署时，系统会根据设定的风险阈值（如评分低于500分拒绝申请），自动计算预期的坏账损失与拦截带来的营收损失之比。下表展示了不同阈值下的模型性能对比：风险阈值(Score)拒绝率(%)召回率(捕获违约者)精确率(拒绝中违约占比)预计坏账减少额(万元/年)<4505.20.850.42120.5<50012.80.780.55185.3<55024.50.650.68210.8<60041.00.450.79195.2数据表明，将阈值设定在550分时，虽然召回率有所下降，但精确率大幅提升，且综合坏账减少额达到峰值。这说明在当前市场环境下，过度宽松的风控策略反而增加了运营成本，适度收紧阈值能带来更优的经济效益。三、供应链库存智能补货与需求预测供应链管理的痛点在于需求的不确定性与库存成本的平衡。本项目利用时间序列分析与回归模型相结合的方法，实现了对未来30天销量的精准预测，并据此生成动态补货建议。数据源主要来自ERP系统的历史销售记录、促销活动日历以及外部宏观指标（如节假日、天气状况）。在特征工程中，除了传统的滞后特征（Lagfeatures）和滚动统计特征（Rollingstatistics）外，特别引入了“促销强度指数”，量化了折扣力度、广告投入等非线性因素对销量的影响。模型选型上，针对长尾商品采用Prophet算法处理季节性波动，针对头部爆款则使用LightGBM捕捉复杂的非线性关系。源码中实现了自动回测机制，通过滚动时间窗口（RollingWindow）模拟历史预测过程，计算MAPE（平均绝对百分比误差）和RMSE（均方根误差），确保模型在新数据到来前已具备足够的鲁棒性。importlightgbmaslgb

importpandasaspd

defgenerate_restock_plan(df_forecast,current_stock,lead_time_days):

"""

生成补货计划

df_forecast:未来30天销量预测DataFrame

current_stock:当前库存量

lead_time_days:采购提前期

"""

restock_plan=[]

foriinrange(len(df_forecast)):

forecast_date=df_forecast.iloc[i]['date']

predicted_sales=df_forecast.iloc[i]['predicted_sales']

#计算安全库存：覆盖提前期内的需求波动

safety_stock=predicted_sales*1.5#简单策略，实际可用标准差计算

total_demand=sum(df_forecast['predicted_sales'].iloc[i:i+lead_time_days])

net_requirement=max(0,total_demand+safety_stock-current_stock)

ifnet_requirement>0:

restock_plan.append({

"order_date":forecast_date,

"target_stock":total_demand+safety_stock,

"order_qty":net_requirement,

"priority":"HIGH"ifnet_requirement>current_stock*0.5else"NORMAL"

})

current_stock-=predicted_sales#更新虚拟库存

returnpd.DataFrame(restock_plan)该系统不仅输出补货数量，还生成了可视化的库存水位监控大屏。当预测销量激增导致库存即将跌破安全线时，系统会自动标记红色预警，并推荐最优的调拨方案（如从邻近仓库调货而非紧急采购）。通过实施该方案，某零售企业试点期间实现了以下效果：*库存周转天数：从45天下降至32天，资金占用显著降低。*缺货率：从8.5%降至2.1%，有效提升了客户满意度。*仓储成本：由于减少了紧急调拨和过期损耗，单店月均仓储成