2025年大数据分析与应用能力考核试题及答案

2025年大数据分析与应用能力考核试题及答案一、理论基础（共30分）1.（单选题，2分）以下关于大数据技术框架的描述中，错误的是：A.HBase适合存储非结构化数据，支持实时随机读写B.SparkStreaming的最小处理单位是DStream，基于微批处理实现C.Flink通过事件时间（EventTime）和水印（Watermark）机制处理乱序数据D.Kafka的分区（Partition）数量决定了消费者组中消费者的最大并行度答案：A解析：HBase是列式数据库，适合存储结构化或半结构化的海量数据，支持实时随机读写；非结构化数据（如图像、视频）通常存储于HDFS或对象存储（如MinIO）。2.（简答题，5分）简述数据湖（DataLake）与传统数据仓库（DataWarehouse）的核心差异，至少列出3点。答案：①数据类型：数据湖支持结构化、半结构化、非结构化数据（如日志、文本、图像），数据仓库仅存储结构化数据（如关系型数据库表）；②处理阶段：数据湖采用“读时模式”（SchemaonRead），入库时不强制schema校验，分析时定义结构；数据仓库采用“写时模式”（SchemaonWrite），入库前需完成清洗、转换并定义严格schema；③应用场景：数据湖支持探索性分析、机器学习等复杂场景，数据仓库聚焦确定性的业务报表与OLAP；④存储成本：数据湖通过对象存储（如S3、HDFS）降低存储成本，数据仓库依赖高成本的关系型数据库或MPP架构。3.（分析题，8分）某电商平台用户行为数据中存在以下问题：①用户ID缺失率15%（分布无规律）；②商品类目字段存在“女装/上衣”“女装-上衣”“女装|上衣”等多种分隔符；③下单时间字段包含“2024-11-3023:59:60”（无效时间）。请分别设计针对性的数据清洗策略，并说明理由。答案：①用户ID缺失：由于缺失无规律，直接删除会损失15%数据（可能影响分析结果），建议采用“关联填充法”：通过用户设备ID、注册手机号等唯一标识关联其他表（如登录日志表）补全用户ID；若无法关联，对缺失值标记特殊符号（如“unknown”），后续建模时作为独立类别处理。②商品类目分隔符混乱：使用正则表达式统一分隔符（如将“/”“-”“|”替换为“;”），并通过字符串分割提取一级类目（如“女装”）和二级类目（如“上衣”），确保字段标准化。③无效时间：首先识别异常时间（如秒数≥60），通过“时间截断法”修正（将“23:59:60”调整为“24:00:00”，即次日00:00:00）；若数据量小，可直接删除异常记录。4.（论述题，15分）结合GDPR与《数据安全法》要求，说明大数据分析中隐私保护的关键技术与实施路径。答案：关键技术：①匿名化与去标识化：通过哈希脱敏（如SHA-256加密用户手机号）、泛化（将精确年龄替换为年龄区间）、k-匿名（确保每条记录在至少k条记录中无法区分）等技术，切断数据与自然人的直接关联；②隐私计算：包括联邦学习（多参与方在不共享原始数据的前提下联合训练模型）、安全多方计算（MPC，在加密状态下完成数据计算）、同态加密（支持对密文直接运算），解决“数据可用不可见”问题；③访问控制：基于角色的访问控制（RBAC）限制不同权限用户对敏感数据的访问范围，结合审计日志追踪数据操作轨迹。实施路径：①数据分类分级：明确敏感数据（如用户身份证号、健康信息）与非敏感数据，针对敏感数据强制应用隐私技术；②最小化原则：仅收集分析所需的必要数据，避免过度采集；③生命周期管理：在数据存储阶段加密，使用完毕后及时脱敏或删除，防止长期留存引发风险；④合规评估：通过隐私影响评估（PIA）识别分析流程中的隐私风险点，定期验证技术措施的有效性。二、技术应用（共40分）5.（编程题，10分）使用Python的Pandas库处理以下数据集（字段：用户ID、性别、年龄、月消费金额、最近登录时间），要求：①计算各性别用户的月消费金额中位数；②筛选最近30天登录过的用户（假设当前日期为2025-06-30）；③对年龄字段进行分箱处理（0-18岁：青少年；19-35岁：青年；36-60岁：中年；61岁以上：老年）。答案：```pythonimportpandasaspdfromdatetimeimportdatetime假设数据已加载为df①计算各性别月消费金额中位数median_consumption=df.groupby('性别')['月消费金额'].median()②筛选最近30天登录用户df['最近登录时间']=pd.to_datetime(df['最近登录时间'])current_date=pd.to_datetime('2025-06-30')df['登录间隔']=(current_date-df['最近登录时间']).dt.daysrecent_users=df[df['登录间隔']<=30]③年龄分箱bins=[0,18,35,60,100]labels=['青少年','青年','中年','老年']df['年龄阶段']=pd.cut(df['年龄'],bins=bins,labels=labels,right=True)输出结果示例（略）```6.（算法题，15分）某金融平台需预测用户是否会发生逾期（二分类问题），已知特征包括：历史逾期次数、月收入、负债收入比、信用卡额度使用率。①选择2种适合的分类算法并说明理由；②若数据存在类别不平衡（逾期用户占比5%），需采取哪些措施提升模型效果？③如何评估模型的泛化能力？答案：①算法选择及理由：-XGBoost：支持正则化防止过拟合，对缺失值有内置处理机制，且能自动学习特征重要性，适合金融数据的高维度、非线性关系；-逻辑回归（LR）：模型简单可解释，能明确各特征对逾期概率的贡献系数（如历史逾期次数每增加1次，逾期概率提升β倍），符合金融风控的可解释性要求。②类别不平衡处理措施：-数据层面：采用SMOTE（合成少数类过采样）提供更多逾期样本，或对非逾期样本进行欠采样（需保留关键样本）；-模型层面：调整类别权重（如XGBoost的scale_pos_weight参数设为19，平衡5%:95%的比例），或使用FocalLoss（降低易分类样本的损失权重，聚焦难分类的少数类）。③泛化能力评估方法：-交叉验证：采用5折分层交叉验证（StratifiedK-Fold），保持每折中正负样本比例与原数据一致；-测试集验证：划分独立测试集（如20%数据），计算测试集的AUC-ROC、F1-score等指标，对比训练集与测试集的性能差异（若训练集AUC=0.95，测试集AUC=0.75，说明过拟合）；-稳定性评估：通过PSI（人口稳定性指数）监控特征分布在训练集与生产环境中的变化，若PSI>0.25，需重新训练模型。7.（场景题，15分）某物流企业需分析配送路线的优化空间，现有数据包括：订单起始点（经纬度）、配送时间、配送员ID、天气（晴/雨/雪）、订单重量。①设计至少3个关键分析指标；②若需预测订单配送时长，应选择哪些特征？说明特征工程步骤；③如何验证优化后的路线是否降低了平均配送时长？答案：①关键分析指标：-平均配送时长（从接单到送达的时间）；-配送效率（单位时间配送订单数）；-异常天气下的超时率（雨/雪中配送时长超过预期的订单占比）；-配送员负载均衡度（各配送员日均订单量的标准差，反映任务分配合理性）。②预测配送时长的特征与特征工程：特征选择：起始点经纬度（计算距离）、订单重量、天气、配送时间段（如早高峰7-9点）、配送员历史平均时长。特征工程步骤：-距离计算：通过经纬度使用Haversine公式计算起始点与终点的直线距离（作为“预估距离”）；-时间特征提取：从配送时间中提取小时（如10-14点为午高峰）、星期（工作日/周末）；-天气编码：将天气转换为数值（晴=0，雨=1，雪=2），或进行独热编码（避免模型误判顺序关系）；-聚合特征：计算配送员近7天的平均配送时长（作为“配送员效率”特征）；-特征筛选：通过相关系数（如距离与配送时长的Pearson系数）或模型特征重要性（如LightGBM的feature_importance）剔除冗余特征。③路线优化效果验证：-实验设计：采用A/B测试，将配送区域随机分为实验组（使用优化路线）和对照组（使用原路线），确保两组在订单重量、天气、配送员等维度分布一致；-指标对比：统计两组的平均配送时长、超时率，使用t检验验证差异是否显著（若p值<0.05，说明优化有效）；-长期跟踪：持续监测1个月，观察优化效果是否稳定（避免偶发因素干扰，如某时段交通异常）。三、实战操作（共30分）8.（SQL题，10分）某电商平台有以下两张表：-用户表（user）：user_id（主键），register_time（注册时间），city（城市）-订单表（order）：order_id（主键），user_id（外键），order_time（下单时间），amount（订单金额）要求用SQL写出：①2025年Q1（1-3月）每个城市的总订单金额，按金额降序排列；②计算每个用户的首单时间（首次下单时间）与注册时间的时间差（单位：小时）。答案：①```sqlSELECTu.city,SUM(o.amount)AStotal_amountFROMuseruJOINorderoONu.user_id=o.user_idWHEREo.order_timeBETWEEN'2025-01-0100:00:00'AND'2025-03-3123:59:59'GROUPBYu.cityORDERBYtotal_amountDESC;```②```sqlWITHfirst_orderAS(SELECTuser_id,MIN(order_time)ASfirst_order_timeFROMorderGROUPBYuser_id)SELECTf.user_id,(UNIX_TIMESTAMP(f.first_order_time)-UNIX_TIMESTAMP(u.register_time))/3600AShours_diffFROMfirst_orderfJOINuseruONf.user_id=u.user_id;```9.（大数据平台题，20分）某企业需搭建大数据平台处理日均500GB的日志数据（包括用户行为日志、服务器性能日志），要求支持实时分析与离线批处理。①设计平台技术架构，画出核心组件及数据流程（文字描述即可）；②说明如何保障数据存储的可靠性与计算的容错性；③若实时分析延迟从5秒增加到15秒，可能的原因及排查方法。答案：①技术架构与数据流程：-数据采集层：使用Flume（用户行为日志）和Filebeat（服务器日志）采集日志，发送至Kafka消息队列（作为缓冲，解耦生产与消费）；-实时处理层：Flink消费Kafka数据，完成清洗（过滤异常IP）、聚合（每分钟页面访问量），结果写入HBase（实时查询）或ClickHouse（实时报表）；-离线处理层：Kafka数据通过SparkStreaming定时（如每小时）写入HDFS，每日由SparkSQL完成全量处理（用户画像计算），结果存储至Hive数据仓库；-存储层：HDFS（冷数据）、HBase（实时查询数据）、ClickHouse（实时分析）、Hive（离线分析）；-应用层：通过Superset或Tableau可视化分析结果，支持业务人员查询。②可靠性与容错性保障：-数据存储可靠性：HDFS采用多副本机制（默认3副本），Kafka分区副本数≥2，关键数据（如用户行为日志）启用同步复制；-计算容错性：Flink通过检查点（Checkpoint）定期保存状态，故障时从最近Checkpoint恢复；Spark通过RDD的血统（Lineage）信