(2025年)大数据竞赛题库(含答案)

(2025年)大数据竞赛题库(含答案)一、数据清洗与预处理1.某新能源汽车用户行为数据集包含字段：用户ID、注册时间、最近一次充电时间、日均行驶里程（km）、电池健康度（%）。其中“电池健康度”字段缺失率为18%，且缺失数据集中出现在车龄超过5年的车辆记录中。请设计缺失值处理方案，并说明理由。答案：采用基于车龄分组的中位数填充法。具体步骤：①按车龄（≤5年、>5年）将数据集分为两组；②分别计算两组的电池健康度中位数（≤5年组中位数92%，>5年组中位数78%）；③用对应组的中位数填充缺失值。理由：缺失数据与车龄强相关（车龄越长，电池健康度自然越低），分组填充可保留数据的真实分布特征，避免全局均值填充导致的偏差。2.某电商平台订单数据中，“支付金额”字段存在异常值：一条记录的支付金额为-150元，另一条为99999元（该平台历史最大正常支付金额为20000元）。请设计异常值检测与处理方案。答案：①检测方法：使用IQR（四分位距）法，计算支付金额的Q1（25%分位数）=320元，Q3（75%分位数）=1800元，IQR=Q3-Q1=1480元，定义下限为Q1-1.5IQR=-1900元，上限为Q3+1.5IQR=3920元。-150元在下限以上（非异常），99999元远超上限（异常）。②处理方案：-150元可能为退款记录（需结合“订单状态”字段验证，若为“已退款”则保留，否则修正为0或删除）；99999元为录入错误，若存在相邻时间同用户的正常订单（如20000元），则修正为20000元；若无参考，标记为缺失值并后续用随机森林模型预测填充。3.某社交平台用户注册表存在重复数据：用户A（手机号1381234，姓名“张三”）与用户B（手机号1381234，姓名“张叁”）被标记为重复。请设计重复数据识别与去重策略。答案：①识别策略：以“手机号”为主键（唯一性最高），结合“姓名”模糊匹配（编辑距离≤1视为同一人）、“注册IP”（相同或同运营商）辅助判断。②去重策略：优先保留“最后注册时间”的记录（假设后续注册信息更准确）；若注册时间相同，保留“实名认证状态”为已认证的记录；若均未认证，合并其他字段（如“兴趣标签”取并集）后保留一条。二、SQL与数据查询1.表结构：用户表（user_id,reg_time）、订单表（order_id,user_id,order_time,amount）。要求计算2024年每个月的新用户首单转化率（首单转化率=当月新用户中产生首单的用户数/当月新用户总数）。答案：WITHnew_usersAS(SELECTuser_id,DATE_TRUNC('month',reg_time)ASreg_monthFROMuserWHEREreg_timeBETWEEN'2024-01-01'AND'2024-12-31'),first_ordersAS(SELECTuser_id,MIN(DATE_TRUNC('month',order_time))ASfirst_order_monthFROMorderGROUPBYuser_id)SELECTnu.reg_monthASmonth,COUNT(DISTINCTfo.user_id)ASfirst_order_users,COUNT(DISTINCTnu.user_id)AStotal_new_users,COUNT(DISTINCTfo.user_id)::FLOAT/COUNT(DISTINCTnu.user_id)ASconversion_rateFROMnew_usersnuLEFTJOINfirst_ordersfoONnu.user_id=fo.user_idANDnu.reg_month=fo.first_order_monthGROUPBYnu.reg_monthORDERBYnu.reg_month;2.表结构：商品表（sku_id,category）、销售表（order_id,sku_id,sale_time,qty）。要求查询2024年Q3各品类（category）中，销售额（qty单价，单价存储在商品表的隐藏字段price）排名前3的商品（需显示品类、商品ID、销售额、排名）。答案：WITHsalesAS(SELECTs.sku_id,g.category,SUM(s.qtyg.price)AStotal_salesFROMsalesJOINgoodsgONs.sku_id=g.sku_idWHEREs.sale_timeBETWEEN'2024-07-01'AND'2024-09-30'GROUPBYs.sku_id,g.category),ranked_salesAS(SELECTcategory,sku_id,total_sales,ROW_NUMBER()OVER(PARTITIONBYcategoryORDERBYtotal_salesDESC)ASrnkFROMsales)SELECTcategory,sku_id,total_sales,rnkFROMranked_salesWHERErnk<=3;三、数据分析与可视化1.某短视频平台用户行为数据显示，2024年Q2用户日均使用时长同比增长15%，但月活用户（MAU）同比下降8%。请分析可能原因，并设计验证方案。答案：可能原因：①用户粘性提升（高活跃用户使用时长增加），但新用户增长不足或老用户流失；②内容同质化导致部分低活跃用户退出，但核心用户更沉浸；③统计口径变化（如剔除机器人账号）。验证方案：①拆分用户分层（按使用时长分高/中/低活跃），计算各层MAU变化（若高活跃层MAU增长，低活跃层下降，说明粘性提升但覆盖变窄）；②分析新用户次日留存率（若下降，说明拉新效率降低）；③对比同时段的内容发布量与互动率（若互动率提升但内容多样性下降，支持同质化假设）。2.某生鲜电商需预测2025年1月的日订单量，已有2022-2024年的历史订单数据（含日期、订单量、是否为节假日）。请设计时间序列预测方案，说明模型选择与特征工程步骤。答案：方案步骤：①数据预处理：提取日期特征（年、月、日、周几、是否节假日），计算移动平均（7日、30日）作为滞后特征；②模型选择：优先使用LightGBM（处理混合类型特征）或Prophet（内置节假日效应）；③特征工程：构造滞后项（如前7日、前14日订单量）、滚动统计（前30日的最大/最小/平均订单量）、趋势特征（时间戳的线性/二次项）；④验证：按时间划分训练集（2022-2023）、验证集（2024-01-2024-06）、测试集（2024-07-2024-12），使用MAE和MAPE评估；⑤调优：若存在周季节性，添加傅里叶项（周期=7，阶数=3）；若节假日效应显著，单独编码（如“春节前3天”“双11当天”）。四、机器学习与模型应用1.某银行需构建信用卡欺诈检测模型，数据集正负样本比为1:1000（正样本为欺诈）。请设计解决方案，包括数据层面、模型层面的优化策略，并说明评估指标选择理由。答案：①数据层面：采用SMOTE过采样提供正样本（需控制过采样比例，避免过拟合）；或欠采样负样本（保留关键负样本，如高金额交易）；②特征工程：提取交易时间间隔（与上一笔交易的时间差）、交易地点变化（经纬度距离）、历史欺诈关联特征（同设备/IP的历史欺诈率）；③模型层面：使用XGBoost（内置样本权重参数scale_pos_weight=1000）或LightGBM（设置is_unbalance=True），采用集成方法（如随机森林）降低过拟合；④评估指标：选择F1-score（平衡精确率与召回率）和AUC-ROC（衡量模型区分能力），避免使用准确率（因类别不平衡会高估性能）；若业务更关注减少漏检（欺诈未被识别），重点优化召回率。2.基于某电商用户行为数据（点击、加购、收藏、购买），需构建用户购买意图预测模型（目标变量：未来7天是否购买）。请设计特征工程方案，列举至少8个有效特征，并说明其业务意义。答案：特征示例：①近7天点击次数（反映兴趣强度）；②近30天加购-购买转化率（加购后实际购买的比例，反映决策果断性）；③末次行为到当前时间间隔（间隔越短，意图越强）；④不同品类的点击偏好熵（熵越低，偏好越集中，购买概率越高）；⑤平均停留时长（页面停留时间越长，兴趣越浓厚）；⑥收藏-加购比例（收藏但未加购，可能犹豫）；⑦历史购买周期（如用户每15天购买一次，当前处于周期内则概率高）；⑧活动参与次数（如领取优惠券数量，反映对促销的敏感度）。五、分布式计算与大数据技术1.利用Spark处理100GB的日志数据（格式：时间戳、用户ID、URL、状态码），需统计2024年每个小时内，各URL的成功访问次数（状态码200）。请写出核心Spark代码（使用Scala），并说明如何优化计算性能。答案：核心代码：vallogData=spark.read.textFile("hdfs://path/to/logs").filter(line=>line.contains("2024"))//过滤非2024年数据valhourlyUrlCounts=logData.map{line=>valparts=line.split("")valtimestamp=parts(0)//假设时间戳格式为"2024-01-0112:34:56"valhour=timestamp.substring(0,13)//提取到小时（如"2024-01-0112"）valurl=parts(2)valstatus=parts(3).toInt(hour,url,status)}.filter{case(_,_,status)=>status==200}.map{case(hour,url,_)=>((hour,url),1)}.reduceByKey(_+_).map{case((hour,url),count)=>(hour,url,count)}hourlyUrlCounts.write.csv("hdfs://path/to/result")性能优化：①增加分区数（通过repartition或coalesce），匹配集群CPU核心数；②使用广播变量缓存常用URL白名单（减少shuffle数据量）；③将textFile改为使用Parquet等列式存储（提高读取效率）；④启用压缩（如Snappy）减少磁盘IO。2.某企业需用HadoopMapReduce统计用户行为数据中的“连续活跃天数”（用户连续登录的最大天数）。请设计Mapper和Reducer逻辑，写出关键步骤。答案：①Mapper阶段：输入（user_id,login_date），输出键为user_id，值为login_date（排序后）。例如，输入（A,2024-01-01）、（A,2024-01-02），Mapper输出（A,2024-01-01）、（A,2024-01-02）。②Shuffle阶段：按user_id分组，将同一用户的所有日期排序（如[2024-01-01,2024-01-02,2024-01-0