2025年大数据分析师岗位实际操练考试题及答案

2025年大数据分析师岗位实际操练考试题及答案一、单项选择题（每题2分，共20分）1.某电商平台用户行为数据中，“下单时间”字段存在“2024-13-0123:45:00”的记录，此类异常属于以下哪种数据质量问题？A.不一致性B.不完整性C.合理性D.重复性2.在SparkSQL中，若需对用户订单表按“用户ID”分组，计算每个用户最近一次下单时间（order_time），应使用的窗口函数是？A.ROW_NUMBER()B.RANK()C.LAST_VALUE(order_time)D.MAX(order_time)3.某金融风控模型需评估特征“近30天登录次数”对逾期风险的预测能力，应优先选择以下哪种指标？A.IV值（信息价值）B.余弦相似度C.基尼系数D.互信息4.以下哪种场景最适合使用实时数据处理框架（如Flink）？A.每日凌晨批量计算用户昨日消费总额B.监控直播间在线人数并实时更新热力图C.每月提供用户月度消费报告D.历史交易数据的季度归档5.对某社交APP用户活跃数据进行正态性检验时，若Shapiro-Wilk检验p值=0.001（显著性水平α=0.05），可得出的结论是？A.数据服从正态分布B.数据不服从正态分布C.检验结果无统计学意义D.需改用K-S检验重新验证6.某数据集包含“用户ID”“性别”“年龄”“月收入”“最近一次购买金额”5个字段，其中属于连续型变量的是？A.性别、年龄B.年龄、月收入C.月收入、最近一次购买金额D.年龄、最近一次购买金额7.在A/B测试中，若实验组与对照组的样本量差异超过30%，最可能导致的问题是？A.第一类错误概率升高B.统计功效不足C.实验周期延长D.用户体验偏差8.某企业数据仓库中，“订单事实表”与“商品维度表”通过“商品ID”关联，“商品维度表”又与“品牌维度表”通过“品牌ID”关联，这种建模方式属于？A.星型模式B.雪花模式C.星座模式D.第三范式9.使用Python的scikit-learn库训练随机森林模型时，若模型在训练集上准确率为95%，测试集上准确率为60%，最可能的原因是？A.特征数量不足B.模型欠拟合C.模型过拟合D.数据标签错误10.对某视频平台用户观看时长数据（单位：分钟）进行描述性统计，得到均值=45，中位数=30，标准差=60，可推断数据分布的主要特征是？A.左偏分布，存在大量长尾高值B.右偏分布，存在大量长尾高值C.左偏分布，存在大量长尾低值D.右偏分布，存在大量长尾低值二、简答题（每题8分，共40分）1.简述数据清洗中处理缺失值的常见方法，并说明不同方法的适用场景。2.某电商用户行为表（user_behavior）包含字段：user_id（用户ID）、behavior_type（行为类型，取值为pv/click/cart/pay）、item_id（商品ID）、time_stamp（时间戳，格式为yyyy-MM-ddHH:mm:ss）。请用HiveSQL写出“2024年11月每日独立支付用户数”的计算逻辑（需处理时间戳格式转换）。3.说明随机森林（RandomForest）与梯度提升树（GBDT）在原理上的主要区别，并列举各自适用的业务场景。4.某银行需分析“信用卡额度提升策略”的效果，计划通过A/B测试验证。请设计实验的核心指标（至少3个），并说明选择依据。5.在Python中使用Pandas处理某数据集时，发现“注册时间”字段存在“2023-02-30”“2024-04-31”等非法日期值，请写出具体的清洗步骤（包含代码示例）。三、实操题（每题15分，共30分）题目1：SQL综合查询某电商数据库包含以下两张表：用户表（users）：user_id（主键，用户ID）、register_date（注册日期，格式yyyy-MM-dd）、city（城市）、age（年龄）订单表（orders）：order_id（主键，订单ID）、user_id（外键，用户ID）、order_date（订单日期，格式yyyy-MM-dd）、amount（订单金额）、status（订单状态，1=未支付，2=已支付，3=已退款）要求：计算2024年每个自然月“一线城市（city='一线'）中，注册后30天内首次支付（status=2）的用户数”，需输出月份、用户数。题目2：Python数据分析使用Python完成以下任务（需给出完整代码）：1.读取CSV文件“user_transaction.csv”（字段：user_id,transaction_time,amount），其中transaction_time为字符串类型，格式为“2024-11-0514:30:22”；2.筛选出2024年11月所有交易记录，并按用户ID分组，计算每个用户的交易总金额、交易次数、最大单笔金额；3.对交易总金额进行分箱处理，分为“0-100元”“101-500元”“501-1000元”“1000元以上”四组，统计每组用户数；4.绘制交易次数与交易总金额的散点图，添加趋势线并设置图表标题、坐标轴标签。四、综合分析题（共10分）某生鲜电商平台2024年10月用户流失率较9月上升5%（流失定义：过去30天无任何下单行为），作为数据分析师，需输出一份分析报告。请描述你的分析思路，包括：（1）数据准备阶段需获取的关键数据字段；（2）核心分析维度（至少4个）及对应指标；（3）可能的结论假设及验证方法。答案一、单项选择题1.C2.A3.A4.B5.B6.C7.B8.B9.C10.B二、简答题1.处理缺失值的方法及场景：删除法：适用于缺失比例极低（如<5%）且缺失无规律的情况，避免数据量大幅减少；均值/中位数/众数填充：数值型变量用均值（正态分布）或中位数（偏态分布），分类型变量用众数；插值法（如线性插值、KNN插值）：适用于时间序列或存在相关性的变量，利用相邻值或相似样本填充；模型预测填充：构建回归或分类模型预测缺失值，适用于缺失变量与其他变量高度相关的场景；单独编码：将缺失值作为独立类别（如“未知”），适用于分类型变量且缺失本身有业务意义（如用户未填写信息）。2.HiveSQL计算逻辑：```sqlSELECTsubstr(time_stamp,1,10)ASdt,-提取日期部分COUNT(DISTINCTuser_id)ASpay_user_cntFROMuser_behaviorWHEREbehavior_type='pay'-筛选支付行为ANDtime_stamp>='2024-11-0100:00:00'ANDtime_stamp<'2024-12-0100:00:00'-限定11月数据GROUPBYsubstr(time_stamp,1,10);```3.随机森林与GBDT的区别及场景：原理区别：随机森林通过Bagging集成多棵决策树，树间独立，降低方差；GBDT通过Boosting集成，每棵树拟合前序树的残差，降低偏差。适用场景：随机森林适合特征重要性分析、抗噪声强的场景（如用户分群）；GBDT适合需要高精度的场景（如风控评分卡、销量预测）。4.A/B测试核心指标设计：核心指标：①额度提升用户的支付转化率（=支付用户数/额度提升用户数）：直接反映策略对用户使用意愿的影响；②平均支付金额增量（实验组-对照组）：衡量策略对用户消费能力的刺激效果；③逾期率（=逾期用户数/支付用户数）：评估风险控制，避免因额度提升导致坏账增加。5.非法日期清洗步骤：```pythonimportpandasaspdfromdatetimeimportdatetime假设df为包含"注册时间"的DataFramedefis_valid_date(date_str):try:datetime.strptime(date_str,"%Y-%m-%d")returnTrueexceptValueError:returnFalse标记非法日期df['is_valid']=df['注册时间'].apply(is_valid_date)筛选合法日期valid_df=df[df['is_valid']==True].drop(columns='is_valid')或替换非法日期为NaT（需根据业务需求选择删除或填充）df['注册时间']=pd.to_datetime(df['注册时间'],errors='coerce')非法日期转为NaT```三、实操题题目1：SQL综合查询```sqlWITHfirst_payAS(SELECTu.user_id,u.register_date,MIN(o.order_date)ASfirst_pay_date-首次支付日期FROMusersuJOINordersoONu.user_id=o.user_idANDo.status=2-已支付ANDo.order_date>=u.register_date-注册后下单WHEREu.city='一线'-一线城市ANDo.order_dateBETWEEN'2024-01-01'AND'2024-12-31'-2024年订单GROUPBYu.user_id,u.register_date)SELECTsubstr(first_pay_date,1,7)ASmonth,-提取年月COUNT(DISTINCTuser_id)ASuser_cntFROMfirst_payWHEREDATEDIFF(first_pay_date,register_date)<=30-注册后30天内GROUPBYsubstr(first_pay_date,1,7)ORDERBYmonth;```题目2：Python数据分析```pythonimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassns1.读取数据并转换时间格式df=pd.read_csv('user_transaction.csv')df['transaction_time']=pd.to_datetime(df['transaction_time'])2.筛选2024年11月数据并分组计算nov_df=df[(df['transaction_time']>='2024-11-01')&(df['transaction_time']<'2024-12-01')]user_stats=nov_df.groupby('user_id').agg(total_amount=('amount','sum'),transaction_count=('amount','count'),max_amount=('amount','max')).reset_index()3.分箱统计用户数bins=[0,100,500,1000,float('inf')]labels=['0-100元','101-500元','501-1000元','1000元以上']user_stats['amount_bin']=pd.cut(user_stats['total_amount'],bins=bins,labels=labels,right=False)bin_counts=user_stats['amount_bin'].value_counts().reset_index()bin_counts.columns=['金额区间','用户数']print(bin_counts)4.绘制散点图及趋势线plt.figure(figsize=(10,6))sns.scatterplot(data=user_stats,x='transaction_count',y='total_amount',alpha=0.6)sns.regplot(data=user_stats,x='transaction_count',y='total_amount',color='red',scatter=False)plt.title('用户交易次数与总金额关系')