Python数据分析从入门到精通实战案例代码全集

-Python数据分析从入门到精通实战案例代码全集数据分析师的核心能力并非仅仅掌握统计公式，而在于能否利用工具将杂乱无章的原始数据转化为可执行的商业洞察。Python凭借其丰富的生态库和灵活的语法，已成为该领域的事实标准。本指南摒弃枯燥的理论堆砌，直接通过五个递进式的实战场景，覆盖从数据清洗、探索性分析、可视化呈现、统计建模到自动化报告生成的全流程。读者只需复制并运行代码，即可在真实业务逻辑中理解每一个函数的作用与价值。在实际项目中，80%的时间往往耗费在数据清洗上。脏数据不仅会导致分析结果偏差，更可能引发决策失误。本阶段我们将模拟一个电商销售场景，处理包含缺失值、异常值和格式错误的原始订单表。首先，我们需要加载数据并快速诊断其健康状况。使用Pandas库可以高效完成这一任务，同时结合正则表达式处理非结构化文本字段。importpandasaspd

importnumpyasnp

importre

fromdatetimeimportdatetime

#模拟原始数据：包含缺失值、格式混乱的价格及日期

raw_data={

'order_id':['ORD-001','ORD-002','ORD-003','ORD-004','ORD-005'],

'product_name':['iPhone13Pro','MacBookAirM2','AirPodsMax',None,'iPadMini'],

'price_str':['$999.00','1,199.00','¥1,200.00','FREE','800.00'],

'order_date':['2023/01/01','Jan02,2023','2023-01-03','2023/01/04','InvalidDate'],

'quantity':[1,'2',3,'NaN',1],

'region':['CN','US','JP','US','CN']

}

df=pd.DataFrame(raw_data)

#1.价格标准化处理

defclean_price(price_str):

ifpd.isna(price_str)orstr(price_str).lower()=='free':

return0.0

#移除货币符号和千分位逗号

cleaned=re.sub(r'[$￥,]','',str(price_str))

try:

returnfloat(cleaned)

exceptValueError:

returnnp.nan

df['price_clean']=df['price_str'].apply(clean_price)

#2.日期解析与异常过滤

defparse_date(date_str):

formats=['%Y/%m/%d','%b%d,%Y','%Y-%m-%d']

forfmtinformats:

try:

returndatetime.strptime(str(date_str),fmt)

exceptValueError:

continue

returnNone

df['date_clean']=df['order_date'].apply(parse_date)

#3.数据类型统一与缺失值策略

df['quantity']=pd.to_numeric(df['quantity'],errors='coerce').fillna(0).astype(int)

df['product_name']=df['product_name'].fillna('UnknownProduct')

#4.剔除无效记录（日期无法解析或价格为空且非免费）

df_final=df.dropna(subset=['date_clean','price_clean'])

print(f"清洗前样本数：{len(df)},清洗后样本数：{len(df_final)}")

print(df_final.head())上述代码展示了如何处理多币种混合、日期格式不统一以及非数值型“免费”标记。通过自定义函数`clean_price`和`parse_date`，我们实现了高度灵活的数据转换逻辑。清洗后的数据集`df_final`才是后续分析的可靠基础。若忽略此步骤直接进行聚合计算，将导致总金额虚高或时间序列分析完全失效。第二阶段：多维探索性分析（EDA）——挖掘数据背后的故事拿到干净数据后，分析师需要迅速回答“发生了什么”的问题。这一阶段的目标是通过描述性统计和相关性分析，识别关键指标趋势和潜在关联。假设我们要分析不同地区的产品销量与价格敏感度关系。我们将使用Pandas进行分组聚合，并结合Seaborn绘制热力图来直观展示变量间的相关性。importseabornassns

importmatplotlib.pyplotasplt

#设置绘图风格

plt.style.use('seaborn-v0_8-whitegrid')

sns.set_palette("husl")

#1.基础描述性统计

summary_stats=df_final.groupby('region')[['price_clean','quantity']].agg(['mean','sum','std']).round(2)

print("各地区销售汇总统计：\n",summary_stats)

#2.价格与销量的相关性矩阵

corr_matrix=df_final[['price_clean','quantity','order_date']].copy()

#注意：日期列需转换为数值或单独处理，此处仅展示数值列相关性

corr_nums=corr_matrix[['price_clean','quantity']].corr()

#3.可视化：相关系数热力图

plt.figure(figsize=(6,4))

sns.heatmap(corr_nums,annot=True,cmap='coolwarm',center=0,linewidths=.5)

plt.title('PricevsQuantityCorrelationHeatmap')

plt.tight_layout()

plt.show()

#4.区域分布箱线图：观察价格离散程度

plt.figure(figsize=(10,6))

sns.boxplot(x='region',y='price_clean',data=df_final)

plt.title('ProductPriceDistributionbyRegion')

plt.ylabel('CleanedPrice(USD)')

plt.xlabel('Region')

plt.tight_layout()

plt.show()通过代码执行，我们可以清晰地看到各地区的平均价格差异及销量总和。热力图能瞬间揭示价格与销量之间是否存在负相关关系（通常价格越高，销量越低）。箱线图则帮助我们发现异常值，例如某地区是否存在极端的低价促销行为拉低了整体均值。这种可视化的EDA过程比单纯阅读数字表格更能激发直觉，为后续的归因分析提供方向。第三阶段：高级可视化与交互式仪表盘——让数据说话静态图表虽然直观，但在汇报复杂业务时往往显得单薄。现代数据分析要求具备动态交互能力，能够下钻查看细节。这里我们引入Plotly库，构建一个可缩放、悬停显示详细信息的交互式仪表盘。场景设定：向管理层展示过去一年的月度销售趋势，并支持按产品类别筛选。importplotly.expressaspx

importplotly.graph_objectsasgo

fromplotly.subplotsimportmake_subplots

#构造示例月度数据

months=['2023-01','2023-02','2023-03','2023-04','2023-05','2023-06']

sales_data=[12000,15000,18000,22000,25000,28000]

products=['Electronics','Accessories','Software','Hardware','Services','Support']

values=[5000,3000,2000,4000,6000,8000]

#创建子图布局：上方折线图看趋势，下方饼图看结构

fig=make_subplots(rows=2,cols=1,subplot_titles=('MonthlySalesTrend','ProductCategoryContribution'))

#第一行：带平滑曲线的折线图

fig.add_trace(go.Scatter(x=months,y=sales_data,mode='lines+markers',

name='TotalSales',line=dict(color='#1f77b4',width=3)),

row=1,col=1)

#添加填充区域增强视觉效果

fig.add_trace(go.Scatter(x=months+months[::-1],

y=sales_data+sales_data[::-1],

fill='toself',fillcolor='rgba(31,119,180,0.1)',

showlegend=False,hoverinfo='skip'),

row=1,col=1)

#第二行：环形图展示构成

fig.add_trace(go.Pie(labels=products,values=values,hole=.4,

marker_colors=px.colors.qualitative.Set2),

row=2,col=1)

#更新布局

fig.update_layout(height=800,title_text="InteractiveSalesDashboard",

hovermode='xunified')

fig.update_xaxes(title_text="Month",row=1,col=1)

fig.update_yaxes(title_text="SalesAmount($)",row=1,col=1)

#保存为HTML文件，可在浏览器中交互操作

fig.write_html("sales_dashboard.html")

print("交互式仪表盘已生成：sales_dashboard.html")Plotly生成的HTML文件允许用户在浏览器中直接放大缩小、点击图例隐藏特定系列、悬停查看具体数值。这种动态体验极大地提升了汇报效率，管理者不再需要被动接受信息，而是可以主动探索数据细节。相比静态图片，交互式图表更能体现数据分析的深度和专业度。第四阶段：预测建模与统计推断——从“是什么”到“将会怎样”当业务问题从回顾历史转向预测未来时，机器学习算法便成为必备工具。本部分以线性回归为例，预测下季度销售额，并评估模型的拟合优度。我们将使用Scikit-learn库，展示完整的训练、验证及评估流程。fromsklearn.model_selectionimporttrain_test_split

fromsklearn.linear_modelimportLinearRegression

fromsklearn.metricsimportmean_squared_error,r2_score

importwarnings

warnings.filterwarnings('ignore')

#准备特征与目标变量

#假设月份编码为1-6，实际应用中可使用One-Hot编码处理季节因素

X=np.array([iforiinrange(1,len(sales_data)+1)]).reshape(-1,1)

y=np.array(sales_data)

#划分训练集和测试集(80%训练，20%测试)

X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.2,random_state=42)

#初始化并训练模型

model=LinearRegression()

model.fit(X_train,y_train)

#预测

y_pred=model.predict(X_test)

#评估指标

mse=mean_squared_error(y_test,y_pred)

r2=r2_score(y_test,y_pred)

print(f"均方误差(MSE):{mse:.2f}")

print(f"决定系数(R²):{r2:.4f}")

#预测下个月（第7个月）

next_month_sales=model.predict([[7]])

print(f"下季度预测销售额：${next_month_sales[0]:,.2f}")

#可视化：实际值vs预测值

plt.figure(figsize=(8,5))

plt.scatter(X,y,color='blue',label='ActualData')

plt.plot(X,model.predict(X),color='red',linewidth=2,label='FittedLine')

plt.scatter(X_test,y_pred,color='green',marker='x',s=100,label='TestPrediction')

plt.title('LinearRegression:SalesForecasting')

plt.xlabel('MonthIndex')

plt.ylabel('SalesAmount')

plt.legend()

plt.grid(True)

plt.show()代码输出显示了模型的R²分数，越接近1表示模型对数据的解释能力越强。通过对比实际值与预测值的散点图，我们可以直观判断模型是否存在系统性偏差。在实际生产中，我们会进一步引入更多特征（如营销活动投入、节假日因子、宏观经济指数）来提升预测精度。这一步标志着数据分析从描述性统计迈向了规范性分析和预测性分析的高级阶段。第五阶段：自动化报告生成——提升交付效率最后，分析师需要将上述所有分析结果整合成一份专业的报告。手动复制粘贴图表和数据不仅低效，还容易出错。利用Python的`Jinja2`模板引擎配合`pandas`，我们可以一键生成包含动态数据和精美排版的PDF报告。fromjinja2importTemplate

importos

#定义报告模板

template_str="""

<!DOCTYPEhtml>

<html>

<head><title>DataAnalysisReport</title></head>

<body>

<h1>季度销售分析报告</h1>

<p>生成时间：{{timestamp}}</p>

<h2>核心指标概览</h2>

<tableborder="1"cellpadding="8"style="border-collapse:collapse;width:50%;">

<tr>

<th>指标</th>

<th>数值</th>

</tr>

<tr>

<td>总销售额</td>

<td>${{total_sales:,}}</td>

</tr>

<tr>

<td>平均客单价</td>

<td>${{avg_price:.2f}}</td>

</tr>

<tr>

<td>预测下月销量</td>

<td>${{forecast:.2f}}</td>

</tr>

</table>

<h2>数据洞察</h2>

<p>根据最新模型预测，下季度销售额预计增长至{{forecast}}美元。</p>

<p>当前模型的决定系数R²为{{r2}}，表明模型具有较高的可信度。</p>

<!--此处可插入之前生成的图表路径-->

<imgsrc="sales_dashboard.png"alt="Dashboard"style=