(2025年)大数据竞赛简单试题及答案

(2025年)大数据竞赛简单试题及答案一、单项选择题（每题2分，共20分）1.以下哪项不属于大数据清洗的常见操作？A.填充缺失值的均值B.对类别型变量进行独热编码C.检测并删除超过3倍标准差的异常值D.合并重复记录2.在Hadoop生态中，负责资源管理和任务调度的组件是？A.HDFSB.MapReduceC.YARND.HBase3.某电商平台用户行为日志数据量为500GB，存储格式为CSV，若需优化存储效率并支持快速查询，最合理的转换方案是？A.转换为JSON格式，按用户ID分桶存储B.转换为Parquet列式存储，按日期分区C.保持CSV格式，按商品类别分目录存储D.转换为文本文件，按小时时间戳分片4.SQL语句中，若要计算每个用户近30天的消费总额（包含当天），且用户可能存在多天无消费的情况，应优先使用以下哪种窗口函数？A.ROW_NUMBER()B.RANK()C.SUM()OVER(PARTITIONBYuser_idORDERBYdateROWSBETWEEN29PRECEDINGANDCURRENTROW)D.AVG()OVER(PARTITIONBYuser_idORDERBYdateRANGEBETWEENINTERVAL'30'DAYPRECEDINGANDCURRENTROW)5.以下哪种场景最适合使用SparkStreaming处理？A.历史用户行为数据的月度汇总报表B.实时监控某城市共享单车的位置变化（每秒10万条数据）C.批量处理去年全年的销售发票数据D.离线训练用户购买意愿的机器学习模型6.某数据集包含“用户ID”“登录时间”“退出时间”字段，若需计算用户单次会话的平均时长，正确的处理步骤是？A.按用户ID分组，直接计算退出时间与登录时间的差值的平均值B.先过滤掉登录时间晚于退出时间的异常记录，再计算差值的平均值C.将登录时间和退出时间转换为时间戳，按用户ID排序后计算差值，最后取平均D.对登录时间和退出时间进行归一化处理，再计算差值的平均值7.关于分布式文件系统（如HDFS）的特点，以下描述错误的是？A.数据存储在多台机器上，具备高容错性B.适合存储大量小文件（如单个文件小于1MB）C.支持流式数据访问，一次写入多次读取D.通过副本机制保证数据可靠性8.在机器学习中，若训练集的准确率为95%，测试集的准确率为60%，最可能的原因是？A.模型欠拟合B.模型过拟合C.数据存在严重类别不平衡D.特征工程遗漏关键变量9.某数据集包含“温度”（连续型）和“设备状态”（正常/故障，二分类）字段，若需分析温度对设备状态的影响，应优先选择以下哪种方法？A.计算温度与设备状态的皮尔逊相关系数B.绘制温度的箱线图，对比正常与故障状态的分布差异C.对温度进行分箱处理，统计每个箱内的故障占比D.使用主成分分析（PCA）降维后可视化10.以下哪项不属于数据可视化的核心原则？A.准确传达数据信息B.尽可能使用3D效果提升美观度C.保持图表的简洁性D.明确图表的目标受众二、编程题（每题25分，共50分）11.Python数据处理（使用Pandas）给定一个CSV文件“user_behavior.csv”，包含以下字段：-user_id（用户ID，整数）-event_time（事件时间，格式为“2025-03-1514:30:00”）-event_type（事件类型，字符串，取值为“view”“cart”“purchase”）-product_id（商品ID，整数）要求：（1）读取文件，将event_time列转换为datetime类型；（2）过滤掉event_time早于2025年3月1日或晚于2025年3月31日的数据；（3）统计3月内每个用户的“purchase”事件次数，输出前10名用户（按次数降序排列）；（4）计算3月内每日的“purchase”事件总数，提供一个包含“日期”和“购买次数”的DataFrame。12.SQL查询（基于Hive或MySQL）某电商数据库有两张表：-orders（订单表）：order_id（订单ID）、user_id（用户ID）、order_time（下单时间，日期类型）、total_amount（订单总金额，数值型）-users（用户表）：user_id（用户ID）、register_time（注册时间，日期类型）、city（城市，字符串）要求：（1）查询2025年第一季度（1-3月）每个城市的总订单金额，以及该城市的用户注册数量（注册时间在2025年1月1日前的用户）；（2）计算每个用户的“首单时间”（即该用户最早的order_time），并关联用户的注册时间，输出user_id、注册时间、首单时间、首单时间与注册时间的时间差（单位：天）。三、分析题（30分）13.某智能家电企业用户行为分析企业拥有2025年1-6月的用户行为数据，包含以下字段：-user_id（用户ID）-login_date（登录日期，日期类型）-device_type（设备类型，如“智能空调”“智能冰箱”）-action（操作行为，如“查看状态”“调节温度”“故障报修”）-duration（操作时长，单位：秒）业务需求：（1）识别6月的活跃用户（定义为6月至少登录3天的用户），并分析这些用户的设备使用偏好（如最常操作的设备类型和行为）；（2）计算1-6月用户的月留存率（例如，1月注册用户在2月、3月…6月的留存情况）；（3）提出一个可落地的业务优化建议（需基于数据支持）。答案一、单项选择题1.B（独热编码属于特征工程，非数据清洗）2.C（YARN负责资源管理和任务调度）3.B（Parquet列式存储压缩率高，按日期分区便于时间范围查询）4.C（ROWSBETWEEN明确前29行，适合处理连续日期无缺失的场景）5.B（SparkStreaming适合实时流数据处理）6.B（需先过滤异常记录，避免负时长干扰结果）7.B（HDFS不适合大量小文件，会占用NameNode内存）8.B（训练集准确率高、测试集低，典型过拟合）9.B（箱线图可直观对比不同类别下连续变量的分布差异）10.B（3D效果可能扭曲数据，非核心原则）二、编程题11.Python数据处理答案```pythonimportpandasaspd（1）读取文件并转换时间格式df=pd.read_csv('user_behavior.csv')df['event_time']=pd.to_datetime(df['event_time'])（2）过滤时间范围start_date=pd.to_datetime('2025-03-01')end_date=pd.to_datetime('2025-03-31')filtered_df=df[(df['event_time']>=start_date)&(df['event_time']<=end_date)]（3）统计用户purchase次数并取前10purchase_df=filtered_df[filtered_df['event_type']=='purchase']user_purchase=purchase_df.groupby('user_id')['event_type'].count().reset_index()user_purchase.columns=['user_id','purchase_count']top10_users=user_purchase.sort_values('purchase_count',ascending=False).head(10)（4）每日购买次数统计purchase_df['date']=purchase_df['event_time'].dt.datedaily_purchase=purchase_df.groupby('date')['event_type'].count().reset_index()daily_purchase.columns=['日期','购买次数']输出结果（实际竞赛中需打印或返回）print("前10名购买用户：")print(top10_users)print("\n每日购买次数：")print(daily_purchase)```12.SQL查询答案（1）城市总订单金额与注册用户数查询：```sqlSELECTu.city,SUM(o.total_amount)AStotal_order_amount,COUNT(DISTINCTCASEWHENu.register_time<'2025-01-01'THENu.user_idEND)ASregistered_usersFROMordersoLEFTJOINusersuONo.user_id=u.user_idWHEREo.order_timeBETWEEN'2025-01-01'AND'2025-03-31'GROUPBYu.city;```（2）用户首单时间与注册时间差计算：```sqlWITHfirst_orderAS(SELECTuser_id,MIN(order_time)ASfirst_order_timeFROMordersGROUPBYuser_id)SELECTf.user_id,u.register_time,f.first_order_time,DATEDIFF(f.first_order_time,u.register_time)ASdays_betweenFROMfirst_orderfJOINusersuONf.user_id=u.user_id;```三、分析题答案（1）6月活跃用户识别与偏好分析步骤：-筛选6月登录记录，按user_id分组统计登录天数，筛选登录天数≥3的用户；-对活跃用户的device_type和action字段进行分组计数，取频次最高的设备类型和操作行为。结论示例：6月活跃用户共12,345人，其中78%的操作集中在“智能空调”，最常进行的行为是“调节温度”（占比62%）。（2）月留存率计算步骤：-定义“注册用户”为首次登录时间所在月（如1月注册用户为首次登录在1月的用户）；-对每个注册月（1-6月），计算后续各月仍有登录的用户数与注册用户数的比值。公式：留存率（注册月m，留存月n）=（注册月m且在月n登录的用户数）/