2025年Python数据分析专项训练试卷：实战案例汇编

2025年Python数据分析专项训练试卷：实战案例汇编考试时间：______分钟总分：______分姓名：______试卷内容案例一：电商用户行为分析你是一名数据分析师，负责分析某电商平台用户的行为数据，以支持业务决策。近期，平台收集了用户在网站上的浏览、点击、加购和购买等行为日志，数据存储在名为`user_behavior.csv`的文件中。该文件包含了用户ID、商品ID、行为类型（浏览、点击、加购、购买）、行为时间戳、用户注册来源等信息。请根据以上背景，完成以下分析任务：1.加载`user_behavior.csv`文件，查看数据的基本信息（如前几行数据、各列数据类型、缺失值情况）。使用合适的Python库（如Pandas）进行操作。2.数据预处理：*处理数据中的缺失值，提出你的处理理由。*将行为时间戳列转换为Pandas的datetime类型，并提取出小时信息作为新的列。*对用户ID和商品ID进行必要的转换（如果需要），确保它们适合后续分析。3.探索性数据分析：*计算不同行为类型（浏览、点击、加购、购买）的记录数量，并绘制一个饼图展示各类行为的占比。*分析用户行为的时序模式，绘制每日各行为类型的总数量趋势图（按天汇总）。*计算用户的平均访问频率（即用户平均多少天访问平台一次），并绘制用户访问频率的分布图（如直方图或箱线图）。4.用户行为路径分析：*计算从“浏览”到“购买”的转化率（即浏览商品的用户中，最终完成购买的比例）。可以按商品类别、用户注册来源等维度进行细分。*分析用户典型的行为序列（例如，用户在购买前通常会经历哪些行为步骤？），可以尝试统计最常见的“浏览->点击->加购->购买”路径的频率。5.可视化与报告：*基于以上分析，选择2-3个最重要的发现，使用图表（如折线图、柱状图、散点图等）进行可视化展示。*撰写一份简要的分析报告（约200-300字），总结关键发现，并提出至少一条对平台运营有价值的建议。案例二：城市共享单车出行数据你正在分析某城市共享单车的出行数据，数据存储在名为`bike-sharing.csv`的文件中。该文件记录了每个骑行行程的开始时间、结束时间、起始站点ID、结束站点ID、骑行时长（分钟）、用户类型（会员/非会员）等信息。目的是通过分析这些数据，了解共享单车的使用模式和用户特征。请根据以上背景，完成以下分析任务：1.加载`bike-sharing.csv`文件，初步了解数据结构和内容。检查数据是否存在异常值（如负数的骑行时长），并进行处理。2.数据处理与特征工程：*计算每个骑行行程的持续时间（分钟），并分析其分布情况（如计算均值、中位数、分位数，绘制直方图）。*提取骑行开始时间中的小时信息，并分析不同小时的骑行次数分布，绘制时间趋势图。*计算平均骑行距离（可以近似使用起始和结束站点ID之间的直线距离，假设你有一个站点坐标信息的辅助文件或列表；如果无法获取距离信息，则描述如何计算）。3.用户行为分析：*比较会员和非会员用户的骑行时长、骑行频率（如日均骑行次数）、平均骑行距离的差异（使用合适的图表和统计量）。*分析不同时间段（如高峰期、平峰期）用户类型的分布情况。4.站点分析：*计算每个站点的骑行出发次数和到达次数。*找出最繁忙的站点（出发次数最多）和最不繁忙的站点（出发次数最少，排除掉可能存在的虚拟站点）。5.综合分析与应用：*结合时长、距离、用户类型和时间段等信息，描述共享单车的主要使用场景（例如，是用于短途通勤还是休闲观光）。*提出至少两条基于数据分析结果的建议，例如如何优化站点布局、如何进行用户营销等。案例三：金融交易异常检测你是一名金融数据分析师，需要识别银行交易数据中的潜在异常交易，以防范欺诈行为。你获得了一部分银行交易数据样本，存储在`financial_transactions.csv`文件中。该文件包含交易ID、交易时间、交易金额、交易类型（转账、消费等）、发卡行ID、收卡行ID等信息。异常交易通常表现为金额异常、时间异常或与用户行为模式显著偏离等。请根据以上背景，完成以下分析任务：1.加载`financial_transactions.csv`文件，进行初步探索。关注交易金额、交易时间的分布特征。2.识别异常金额：*计算交易金额的统计描述（均值、最大值、最小值、分位数等）。*使用箱线图或其他可视化方法，识别交易金额中的潜在离群点。*设定一个合理的阈值来初步筛选疑似异常交易（金额过高或过低），并统计其数量。3.交易时间分析：*将交易时间转换为小时，分析交易在一天中的分布情况。是否存在异常的交易时间段？*（可选，如果数据量足够且有时间戳精度）分析是否存在短时间内的多笔异常交易，这可能与盗刷有关。4.交易模式分析（简单版）：*假设你有一个包含用户历史交易金额的字典或数据结构（例如，`user_history={'user_id_1':[100,50,200],...}`）。对于每一笔待检测的交易，计算其与该用户历史平均交易金额的偏差程度（如Z-score）。*设定一个Z-score阈值，识别出偏离用户历史交易模式的疑似异常交易。5.结果总结与可视化：*绘制图表展示通过金额和时间分析初步识别出的疑似异常交易特征。*简要总结从金额、时间和模式三个角度识别出的异常交易特征，并说明这些特征对于异常检测的潜在价值。---试卷答案案例一：电商用户行为分析1.```pythonimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassns#加载数据df=pd.read_csv('user_behavior.csv')#查看基本信息print("前几行数据:")print(df.head())print("\n数据信息:")()print("\n缺失值情况:")print(df.isnull().sum())#可选：初步统计各行为类型数量print("\n各行为类型记录数量:")print(df['行为类型'].value_counts())```*解析思路：使用Pandas的`read_csv`函数加载数据。`head()`函数查看数据的前几行，了解数据格式。`info()`函数提供每列的数据类型和非空值数量，是检查数据结构和缺失值的首选方法。`isnull().sum()`统计每列的缺失值数量。`value_counts()`用于快速统计分类变量的不同值及其出现次数，有助于初步了解数据分布。2.```python#处理缺失值#假设行为类型列缺失不多，用众数填充；其他列缺失较多或不宜填充，则保留df['行为类型'].fillna(df['行为类型'].mode()[0],inplace=True)#假设用户ID和商品ID非空，无需处理#转换行为时间戳df['行为时间戳']=pd.to_datetime(df['行为时间戳'])#提取小时信息df['小时']=df['行为时间戳'].dt.hour#确保ID为合适类型，例如对象类型或分类类型df['用户ID']=df['用户ID'].astype('str')df['商品ID']=df['商品ID'].astype('str')```*解析思路：缺失值处理需根据具体列和业务意义决定策略。对于分类数据（行为类型），常用众数填充。时间戳列使用`pd.to_datetime`转换为datetime类型，便于后续操作。使用`dt.hour`属性提取小时信息。用户ID和商品ID通常作为标识符，转换为字符串类型处理和连接更方便。（注：实际ID类型选择需结合后续操作决定，此处示例为常见处理）3.```python#饼图-行为类型占比behavior_counts=df['行为类型'].value_counts()plt.figure(figsize=(6,6))plt.pie(behavior_counts,labels=behavior_counts.index,autopct='%1.1f%%',startangle=140)plt.title('各类行为占比')plt.show()#趋势图-每日各行为类型总数量df['日期']=df['行为时间戳'].dt.datedaily_behavior=df.groupby(['日期','行为类型']).size().unstack(fill_value=0)daily_behavior.plot(kind='line',figsize=(12,6))plt.title('每日各行为类型数量趋势')plt.xlabel('日期')plt.ylabel('数量')plt.legend(title='行为类型')plt.show()#访问频率-计算每个用户的访问天数user_visit_days=df.groupby('用户ID')['日期'].nunique()user_visit_days=user_visit_days.reset_index(name='访问天数')#访问频率分布图-直方图plt.figure(figsize=(10,6))sns.histplot(user_visit_days['访问天数'],bins=range(1,user_visit_days['访问天数'].max()+2),kde=False)plt.title('用户访问频率分布')plt.xlabel('访问天数')plt.ylabel('用户数量')plt.show()#访问频率分布图-箱线图plt.figure(figsize=(10,6))sns.boxplot(x=user_visit_days['访问天数'])plt.title('用户访问频率分布')plt.xlabel('访问天数')plt.show()```*解析思路：饼图使用`value_counts()`统计各类别数量，`plt.pie`绘制。趋势图需先按日期和行为类型分组，使用`size()`统计数量，然后`unstack()`将行为类型作为列，`plot(kind='line')`绘制趋势线。访问频率计算每个用户`groupby('用户ID')['日期'].nunique()`，得到每个用户访问的天数。分布图使用直方图（`histplot`）和箱线图（`boxplot`）展示访问天数的频率和分布情况。4.```python#转化率-从浏览到购买#假设行为类型编码为：浏览=1,点击=2,加购=3,购买=4#统计浏览用户数和其中购买用户数browse_users=df[df['行为类型']=='浏览']['用户ID'].nunique()buy_users_from_browse=df[(df['行为类型']=='购买')&(df['用户ID'].isin(df[df['行为类型']=='浏览']['用户ID']))]['用户ID'].nunique()#转化率conversion_rate_browse_to_buy=buy_users_from_browse/browse_usersifbrowse_users>0else0print(f"从浏览到购买的转化率:{conversion_rate_browse_to_buy:.4f}")#按商品类别细分（假设有商品类别列'商品类别'）#conversion_rate_by_category=df.groupby('商品类别').apply(lambdax:(x[x['行为类型']=='购买']['用户ID'].nunique()/#x[x['行为类型']=='浏览']['用户ID'].nunique())if(x[x['行为类型']=='浏览']['用户ID'].nunique()>0)else0)#print(conversion_rate_by_category)#按用户来源细分（假设有用户来源列'用户来源'）conversion_rate_by_source=df.groupby('用户来源').apply(lambdax:(x[x['行为类型']=='购买']['用户ID'].nunique()/x[x['行为类型']=='浏览']['用户ID'].nunique())if(x[x['行为类型']=='浏览']['用户ID'].nunique()>0)else0)print(conversion_rate_by_source)#用户行为序列-统计最常见的路径'浏览'->'点击'->'加购'->'购买'#需要更复杂的数据处理，例如使用groupby+agg或sort_values+shift#这里简化处理，假设数据按时间排序且一个用户ID一行path_counts=df[df['行为类型']=='浏览'].groupby('用户ID').apply(lambdagroup:group.sort_values('行为时间戳').assign(prev_type=lambdax:x['行为类型'].shift(1),prev_id=lambdax:x['用户ID'].shift(1)).query("prev_type=='点击'andprev_id==用户ID").assign(prev2_type=lambdax:x['行为类型'].shift(2),prev2_id=lambdax:x['用户ID'].shift(2)).query("prev2_type=='加购'andprev2_id==用户ID").shape[0])most_common_path_count=path_counts.value_counts().iloc[0]ifnotpath_counts.emptyelse0print(f"最常见的'浏览'->'点击'->'加购'->'购买'路径频率:{most_common_path_count}")```*解析思路：转化率计算关键在于准确识别“浏览”和“购买”行为，并找到属于浏览用户中已完成购买的子集。使用`nunique()`计算独立用户数。细分时使用`groupby`按分类列，并在`apply`函数中实现转化率计算。用户行为序列分析较为复杂，需要按用户ID排序，使用`shift()`函数查找前序行为。这里给出了一种简化思路，实际可能需要更精细的处理。统计特定路径频率需要先识别出符合该路径序列的用户，然后计数。5.```python#可视化发现1：例如，按小时绘制各行为类型的数量hourly_behavior=df.groupby(['小时','行为类型']).size().unstack(fill_value=0)hourly_behavior.plot(kind='bar',stacked=False,figsize=(12,6))plt.title('每小时各行为类型数量')plt.xlabel('小时')plt.ylabel('数量')plt.legend(title='行为类型')plt.show()#可视化发现2：例如，绘制用户访问频率（访问天数）的箱线图plt.figure(figsize=(10,6))sns.boxplot(x=user_visit_days['访问天数'])plt.title('用户访问频率分布')plt.xlabel('访问天数')plt.show()#可视化发现3：例如，绘制交易金额的直方图（对金额进行日志转换以平滑分布）plt.figure(figsize=(10,6))sns.histplot(np.log1p(df['交易金额']),kde=True)#log1p对0值安全plt.title('交易金额分布（日志转换）')plt.xlabel('交易金额（对数）')plt.ylabel('频率')plt.show()#分析报告（示例要点，非完整报告）#关键发现1：工作日（9-18点）是浏览和购买的高峰期，周末（11-20点）浏览较多。#关键发现2：大部分用户访问频率集中在1-7天内，少数用户访问非常频繁或很少。#关键发现3：交易金额分布右偏，日志转换后更接近正态分布。#建议：可以在工作日高峰期增加推荐相关商品，针对访问频率低的用户进行精准营销，对异常高额交易加强风控。```*解析思路：可视化选择取决于要展示的发现。例如，时间趋势用折线图，分布用直方图、箱线图，占比用饼图、堆叠柱状图。对于右偏分布的金额数据，常用日志转换（`np.log1p`）使其更易于观察和建模。分析报告需要从图表中提炼出有价值的洞察，并提出具体、可行的业务建议。案例二：城市共享单车出行数据1.```pythonimportpandasaspd#加载数据df=pd.read_csv('bike-sharing.csv')#检查异常值-骑行时长print("骑行时长统计描述:")print(df['骑行时长'].describe())#绘制骑行时长的箱线图plt.figure(figsize=(10,6))sns.boxplot(x=df['骑行时长'])plt.title('骑行时长箱线图')plt.xlabel('骑行时长（分钟）')plt.show()#假设异常定义为时长小于0或大于某个阈值（如200分钟）#阈值设定需结合业务理解，这里假设200分钟为上限df=df[(df['骑行时长']>=0)&(df['骑行时长']<=200)]print(f"处理后的数据行数:{df.shape[0]}")```*解析思路：首先加载数据。使用`describe()`查看骑行时长的统计摘要，快速识别是否存在极端值。绘制箱线图直观展示异常值分布。根据业务常识（骑行时长不可能为负）和统计结果设定异常值判断条件（如时长小于0或远超合理范围，此处示例为大于200分钟），并使用条件索引进行过滤。2.```python#特征工程-提取小时信息df['开始时间']=pd.to_datetime(df['开始时间'])df['小时']=df['开始时间'].dt.hour#分布情况-直方图plt.figure(figsize=(10,6))sns.histplot(df['骑行时长'],bins=50,kde=True)plt.title('骑行时长分布')plt.xlabel('骑行时长（分钟）')plt.ylabel('频率')plt.show()#时间趋势图-每小时骑行次数hourly_rides=df['小时'].value_counts().sort_index()plt.figure(figsize=(12,6))hourly_rides.plot(kind='line')plt.title('每小时骑行次数趋势')plt.xlabel('小时')plt.ylabel('骑行次数')plt.grid(True)plt.show()#（可选）计算平均骑行距离#假设有一个站点坐标列表，如site_coords={'站点ID_1':(经度1,纬度1),...}#defcalculate_distance(row):#start_coord=site_coords[row['起始站点ID']]#end_coord=site_coords[row['结束站点ID']]#ifstart_coordandend_coord:#returngeopy.distance.distance(start_coord,end_coord).meters#returnNone#df['骑行距离']=df.apply(calculate_distance,axis=1)#print("\n骑行距离统计描述:")#print(df['骑行距离'].describe())```*解析思路：时间转换使用`pd.to_datetime`和`dt.hour`。时长分布用直方图（`histplot`）和核密度估计（`kde=True`）展示。小时趋势用折线图（`plot(kind='line')`）展示，需先对小时进行计数并排序。计算平均骑行距离需要站点坐标信息，示例中提供了距离计算函数的伪代码。3.```python#用户行为分析-会员与非会员比较#统计描述print("会员骑行时长统计描述:")print(df[df['用户类型']=='会员']['骑行时长'].describe())print("非会员骑行时长统计描述:")print(df[df['用户类型']=='非会员']['骑行时长'].describe())#可视化-箱线图比较plt.figure(figsize=(10,6))sns.boxplot(x='用户类型',y='骑行时长',data=df)plt.title('会员与非会员骑行时长比较')plt.ylabel('骑行时长（分钟）')plt.show()#频率比较-计算每日平均骑行次数daily_rides_member=df[df['用户类型']=='会员'].groupby('开始时间')['交易ID'].nunique().reset_index(name='每日骑行次数')daily_rides_non_member=df[df['用户类型']=='非会员'].groupby('开始时间')['交易ID'].nunique().reset_index(name='每日骑行次数')plt.figure(figsize=(12,6))sns.lineplot(x='开始时间',y='每日骑行次数',data=daily_rides_member,label='会员')sns.lineplot(x='开始时间',y='每日骑行次数',data=daily_rides_non_member,label='非会员')plt.title('会员与非会员每日骑行次数比较')plt.xlabel('日期')plt.ylabel('平均骑行次数')plt.legend()plt.show()#距离比较-可视化箱线图（如果计算了骑行距离）#plt.figure(figsize=(10,6))#sns.boxplot(x='用户类型',y='骑行距离',data=df)#plt.title('会员与非会员骑行距离比较')#plt.ylabel('骑行距离（米）')#plt.show()```*解析思路：比较会员和非会员时，使用`groupby`按用户类型分组，`describe()`获取统计量，`boxplot()`可视化分布差异。骑行频率（每日次数）计算每日独立骑行ID的数量。距离比较（如果已计算）同样使用`boxplot()`。选择合适的统计量和图表类型（描述性统计、箱线图、折线图）来展示差异。4.```python#站点分析-计算出发和到达次数start_counts=df['起始站点ID'].value_counts().reset_index()start_counts.columns=['站点ID','出发次数']end_counts=df['结束站点ID'].value_counts().reset_index()end_counts.columns=['站点ID','到达次数']site_counts=pd.merge(start_counts,end_counts,on='站点ID',how='outer').fillna(0)site_counts['总次数']=site_counts['出发次数']+site_counts['到达次数']#排除虚拟站点（假设虚拟站点ID为None或特定标记）site_counts=site_counts[site_counts['站点ID']!='虚拟站点ID']#找出最繁忙和最不繁忙的站点（出发次数为基准）most_busy_station=site_counts.loc[site_counts['出发次数'].idxmax()]least_busy_station=site_counts.loc[site_counts['出发次数'].idxmin()]print(f"最繁忙的出发站点:ID={most_busy_station['站点ID']},出发次数={most_busy_station['出发次数']}")print(f"最不繁忙的出发站点:ID={least_busy_station['站点ID']},出发次数={least_busy_station['出发次数']}")```*解析思路：使用`value_counts()`分别统计起始和结束站点ID的出现次数，即出发和到达次数。将两个Series合并成一个DataFrame，用`fillna(0)`处理未出现在某个列表中的站点。计算总次数。通过`idxmax()`和`idxmin()`找到出发次数最多和最少的站点。注意排除可能的虚拟站点。5.```python#综合分析与应用#描述使用场景#分析时长、距离、用户类型、时间段分布print("\n综合分析要点：")print("1.高峰时段（如早上7-9点，晚上5-8点）骑行次数显著增加，可能与通勤相关。")print("2.平均骑行时长集中在10-20分钟，符合短途出行的特征。")print("3.会员用户在高峰时段的骑行量占比更高，且可能骑行距离相对更长（需数据支持）。")print("4.周末的骑行时长通常比工作日更长，可能与休闲观光有关。")#建议print("\n建议：")print("1.优化高峰时段重点区域的站点调度，增加车辆供给，缓解‘潮汐效应’。")print("2.针对非高峰时段和偏远区域的用户，推出优惠活动，提高车辆使用率和覆盖范围。")print("3.根据会员骑行数据，分析其偏好路线或时段，进行个性化推荐或优惠。")```*解析思路：综合分析需要结合多个维度的发现（时间分布、时长分布、用户特征等）来描绘整体使用模式。例如，结合高峰时段和通勤距离推断通勤场景，结合周末长时长推断休闲场景。建议应基于分析发现，提出具体、可操作的管理或运营策略，如站点优化、营销活动、个性化服务等。案例三：金融交易异常检测1.```pythonimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassns#加载数据df=pd.read_csv('financial_transactions.csv')#初步探索print("数据前几行:")print(df.head())print("\n数据信息:")()print("\n缺失值情况:")print(df.isnull().sum())#统计各交易类型数量print("\n交易类型数量:")print(df['交易类型'].value_counts())#检查交易金额分布plt.figure(figsize=(10,6))sns.histplot(df['交易金额'],kde=True)plt.title('交易金额分布')plt.xlabel('交易金额')plt.ylabel('频率')plt.show()```*解析思路：与前两个案例类似，首先加载数据，使用`head()`,`info()`,`isnull().sum()`进行初步检查。统计交易类型的数量有助于了解数据构成。绘制交易金额的直方图和核密度图，初步观察其分布特征，判断是否存在极端值。2.```python#识别异常金额print("\n交易金额统计描述:")print(df['交易金额'].describe())#绘制交易金额箱线图plt.figure(figsize=(10,6))sns.boxplot(x=df['交易金额'])plt.title('交易金额箱线图')plt.xlabel('交易金额')plt.show()#设定阈值，例如：金额大于99.9分位数threshold=df['交易金额'].quantile(0.999)abnormal_amounts=df[df['交易金额']>threshold]print(f"设定的金额阈值:{threshold:.2f}")print(f"疑似异常交易（金额过高）数量:{abnormal_amounts.shape[0]}")```*解析思路：使用`describe()`获取金额的统计描述，关注最大值和分位数。箱线图用于识别离群点。异常金额的识别通常基于统计阈值，例如设定阈值为金额大于99.9分位数，认为超出此范围的交易为潜在异常。计算并输出超过阈值的交易数量。3.```python#交易时间分析df['交易时间']=pd.to_datetime(df['交易时间'])df['交易小时']=df['交易时间'].dt.hour#时间分布-每小时交易次数hourly_transactions=df['交易小时'].value_counts().sort_index()plt.figure(figsize=(12,6))hourly_transactions.plot(kind='line')plt.title('每小时交易次数分布')plt.xlabel('小时')plt.ylabel('交易次数')plt.grid(True)plt.show()#（可选）短时间多笔异常交易分析#需要交易时间戳精度，例如到秒#df['交易时间秒']=df['交易时间'].dt.second#df['时间窗口']=df['交易时间秒']//60#每60秒一个窗口#short_window_transactions=df.groupby('时间窗口').size()#abnormal_windows=short_window_transactions[short_window_transactions>short_window_transactions.quantile(0.75)]#print("\n每分钟交易次数（按60秒窗口）:")#print(short_window_transactions.value_counts())#print(f"\n交易量异常高的时间窗口数量:{abnormal_windows.sum()}")```*解析思路：时间转换和提取小时/分钟信息。时间分布使用折线图展示。异常时间窗口分析（可选）需要更精细的时间粒度（如到秒），将交易按固定时间窗口（如每分钟）分组，统计每个窗口的交易次数，识别出交易量显著高于平均水平的窗口。4.```python#交易模式分析（简单版）#假设有一个用户历史交易金额字典#user_history={'user_id_x':[150.0,200.0,50.0],'user_id_y':[80.0,85.0,90.0],...}##示例：计算当前交易金额与用户平均金额的Z-score#user_avg_amount=df.groupby('用户ID')['交易金额'].mean().to_dict()#user_std_amount=df.groupby('用户ID')['交易金额'].std().to_di