2025年十道数据试题及答案

2025年十道数据试题及答案1.某电商平台2024年用户行为数据中，订单表包含字段：用户ID（user_id）、订单时间（order_time）、支付金额（amount）、商品类别（category）、支付状态（status，0为未支付，1为已支付）。数据清洗时发现以下问题：①5%的amount字段缺失；②存在user_id、order_time、category完全相同但amount不同的重复记录；③某用户的一条订单amount为99999元（该用户历史订单金额均值为285元，标准差42元）。要求：（1）设计缺失值填充策略并说明理由；（2）处理重复记录的具体方法；（3）判断该异常订单是否为有效数据并给出依据。答案：（1）缺失值填充采用分组均值填充：按user_id、category分组计算已支付订单的amount均值，用该均值填充对应分组的缺失值。理由：用户在同类商品上的消费习惯具有稳定性，分组填充比全局均值更符合业务逻辑。（2）重复记录处理：保留status=1的记录（优先已支付订单）；若状态相同，取amount的中位数（避免极值影响）；若状态和金额均相同，随机删除重复项。（3）异常订单判断：计算Z分数=（99999-285）/42≈2374，远大于3σ原则的临界值3，属于极异常值。结合业务场景，普通用户购买单品类商品极少超过万元，判定为数据录入错误（如多输0），应标记为无效数据，建议联系运营核实后修正或删除。2.某短视频APP进行推荐算法改版，A组（原算法）抽取10000名用户，7日留存4210人；B组（新算法）抽取12000名用户，7日留存5280人。要求：（1）建立假设检验模型（α=0.05）；（2）计算检验统计量并判断新算法是否显著提升留存率。答案：（1）假设模型：H₀（原假设）：p₁=p₂（新旧算法留存率无差异）；H₁（备择假设）：p₁<p₂（新算法留存率更高）。（2）计算步骤：①p̂₁=4210/10000=0.421，p̂₂=5280/12000=0.44；②合并样本率p=(4210+5280)/(10000+12000)=0.4314；③标准误SE=√[p(1-p)(1/n₁+1/n₂)]=√[0.4314×0.5686×(1/10000+1/12000)]≈0.0068；④Z=(p̂₂-p̂₁)/SE=(0.44-0.421)/0.0068≈2.79；⑤查Z表，α=0.05单侧检验临界值为1.645，Z=2.79>1.645，p值≈0.0026<0.05，拒绝H₀，新算法显著提升留存率。3.某银行用随机森林模型预测客户贷款违约（标签1为违约，0为正常，样本中违约占比8%），特征包括年龄、月收入、历史逾期次数、负债收入比。训练后得到以下结果：准确率92%，精确率65%，召回率58%，F1=61%。要求：（1）分析准确率高但业务价值低的原因；（2）提出2种优化模型效果的方法并说明原理；（3）若需优先识别违约客户，应调整模型哪个参数？答案：（1）原因：样本类别极不平衡（违约占8%），模型倾向于预测多数类（正常），导致对少数类（违约）的识别能力差，而业务核心是准确识别违约客户，故高准确率无法反映实际需求。（2）优化方法：①SMOTE过采样：对违约样本进行插值提供新样本，平衡类别分布，避免模型忽略少数类；②调整类别权重：在随机森林参数中设置class_weight={0:1,1:10}（根据比例调整），提高违约样本的误分类成本，迫使模型关注少数类。（3）应降低分类阈值（如从0.5降至0.3），增加将正常客户误判为违约的概率，但能提高违约客户的召回率，优先保证不漏掉潜在违约者。4.某零售企业数据库包含以下表：商品表（product_id,category,price）销售表（sale_id,product_id,sale_date,quantity）门店表（store_id,city,region）要求用SQL查询2024年各地区（region）销售额最高的商品类别（取Top1，若并列取category名称首字母最小的）。答案：WITHregion_saleAS(SELECTr.region,p.category,SUM(p.prices.quantity)AStotal_saleFROMsalesJOINproductpONduct_id=duct_idJOINstorestONs.store_id=st.store_idWHEREs.sale_dateBETWEEN'2024-01-01'AND'2024-12-31'GROUPBYr.region,p.category),ranked_categoryAS(SELECTregion,category,total_sale,RANK()OVER(PARTITIONBYregionORDERBYtotal_saleDESC,categoryASC)ASrkFROMregion_sale)SELECTregion,category,total_saleFROMranked_categoryWHERErk=1;5.某新能源汽车品牌2020-2024年月度销量数据（单位：万辆）如下：[1.2,1.5,1.8,2.1,2.4,2.8,3.2,3.5,3.9,4.2,4.5,4.8,5.1,5.5,5.9,6.3,6.8,7.2,7.6,8.1,8.5,9.0,9.5,10.0]。要求：（1）判断数据是否存在趋势性和季节性；（2）选择合适的时间序列模型并说明建模步骤；（3）预测2025年1月销量（保留2位小数）。答案：（1）趋势性：数据从1.2增长至10.0，呈现明显线性递增趋势；季节性：未给出年内波动（如季度促销影响），原始数据无明显周期波动，暂判断无显著季节性。（2）模型选择：因数据仅含趋势，无明显季节成分，选择ARIMA模型（p,d,q）。建模步骤：①ADF检验平稳性：原序列p值>0.05（非平稳），进行一阶差分（d=1），检验差分后序列平稳；②根据ACF/PACF图确定p,q（假设ACF一阶截尾，PACF二阶拖尾，取p=2,q=1）；③用AIC/BIC准则优化参数，确定最优模型ARIMA(2,1,1)；④训练模型并检验残差是否为白噪声；⑤用模型预测。（3）预测结果：通过ARIMA(2,1,1)模型拟合，2025年1月（第25期）预测值为10.53万辆（具体数值需软件计算，此处为示例）。6.某社交平台需分析2024年用户增长数据，包含以下指标：每月新增用户数（万）、月活用户数（万）、用户次日留存率（%）、用户平均互动次数（次/人）。要求：（1）设计至少3种可视化图表并说明适用场景；（2）若发现Q3新增用户数环比增长50%但月活仅增长10%，提出2个可能原因并设计验证方法。答案：（1）图表设计：①折线图：展示全年每月新增用户数和月活用户数趋势，直观对比增长节奏；②柱状图+折线图组合：主坐标轴用柱状图显示新增用户数，次坐标轴用折线图显示次日留存率，分析新增与留存的关系；③散点图：横轴为平均互动次数，纵轴为月活用户数，颜色标记月份，观察互动对活跃的影响。（2）可能原因及验证：①Q3新增用户质量低：抽取Q3新增用户，对比其注册后7日活跃率与其他季度，若显著偏低（如30%vs50%），则验证该假设；②Q3存在刷量行为：检查新增用户的设备ID、IP地址分布，若大量用户来自同一IP或重复设备，可能为机器注册，通过设备指纹分析验证。7.某物流平台需处理日均5亿条运单日志（字段：运单ID、用户ID、下单时间、预计送达时间、实际送达时间），要求计算2024年各月“准时送达率”（实际≤预计的运单占比），并需在2小时内完成计算。要求：（1）设计基于Spark的分布式计算方案；（2）列出至少3个优化点并说明理由。答案：（1）计算方案：①数据读取：用Spark读取HDFS上的日志文件，按月份分区存储；②数据清洗：过滤掉预计送达时间早于下单时间的异常记录；③特征计算：对每条运单，判断实际送达时间≤预计送达时间（标记为1，否则0）；④按月份分组，计算每组中标记1的运单占比；⑤结果存储：将各月准时率写入MySQL或可视化平台。（2）优化点：①分区裁剪：读取时直接指定2024年的月份分区（如path=2024-01,2024-02...），减少扫描数据量；②缓存中间结果：在清洗后缓存DataFrame（persist(StorageLevel.MEMORY_AND_DISK)），避免重复计算；③并行度调整：根据集群CPU核数设置spark.default.parallelism为核数×2，提高任务并行度；④使用向量化UDF：将判断准时的逻辑用PandasUDF实现，利用向量化计算提升速度。8.某医疗科技公司计划收集患者术后康复数据（包含姓名、身份证号、康复指标、用药记录），需符合GDPR和《个人信息保护法》要求。要求：（1）设计数据收集阶段的隐私保护措施；（2）说明数据存储时的脱敏技术；（3）若患者要求删除个人数据，需执行哪些步骤？答案：（1）收集阶段措施：①明确告知：通过隐私政策说明数据用途（仅用于康复研究）、存储期限（5年）、共享对象（仅限授权研究人员），获得患者书面或电子同意；②最小化收集：仅收集康复所需的必要字段（如康复指标、用药记录），避免收集无关信息（如家庭住址）；③匿名化处理：在收集时对姓名、身份证号进行去标识化（如姓名用“患者-XXX”代替，身份证号仅保留后4位）。（2）存储脱敏技术：①哈希处理：对身份证号使用SHA-256哈希（加盐），不可逆且无法还原原始值；②泛化处理：将出生日期泛化为“50-60岁”年龄段，而非具体日期；③k-匿名：确保每个脱敏后的数据组至少包含5条记录，避免通过其他信息追溯个人。（3）删除步骤：①验证身份：要求患者提供身份证明（如注册手机号验证码），确认删除请求真实性；②物理删除：从主数据库、备份数据库、日志文件中删除该患者的所有个人数据；③通知关联方：若数据已共享给合作研究机构，要求其同步删除；④记录留存：在审计日志中记录删除操作（包括时间、操作人、删除原因），保留至少1年以备合规检查。9.某制造企业计划搭建数据仓库，业务包含采购、生产、销售三大流程，需支持“按产品类别分析各季度毛利”“按供应商分析原材料到货及时率”等需求。要求：（1）设计数据仓库的主题域；（2）画出星型模型的核心事实表与维度表（文字描述）；（3）说明选择星型模型而非雪花模型的原因。答案：（1）主题域划分：采购主题（供应商、原材料、到货）、生产主题（生产线、工序、产能）、销售主题（产品、客户、订单）、财务主题（成本、收入、毛利）。（2）星型模型设计：核心事实表为“销售毛利事实表”，包含维度外键（产品ID、时间ID、客户ID、供应商ID）和度量值（销售收入、原材料成本、生产成本、毛利）。维度表包括：①时间维度（时间ID、年份、季度、月份）；②产品维度（产品ID、类别、型号）；③客户维度（客户ID、地区、类型）；④供应商维度（供应商ID、等级、所在国家）。（3）选择星型模型原因：①查询效率高：维度表直接与事实表连接，减少雪花模型中维度表的多层连接（如供应商维度无需拆分为国家表、等级表）；②易理解：业务用户能快速关联事实与维度，符合分析场景（如按产品类别、季度筛选）；③开发成本低：维度表数量少，ETL流程更简单，适合企业初期数据仓库建设。10.某图像识别公司用卷积神经网络（CNN）训练一个“工业零件缺陷检测”模型（输入为224×224×3的RGB图像，输出为缺陷类型：无缺陷、划痕、裂缝、变形，共4类）。训练数据包含10万张图像（缺陷样本占30%），验证集准确率85%，但测试集准确率仅72%。要求：（1）分析测试集准确率低的可能原因；（2）设计模型改进方案（包括架构调整、训练策略）；（3）若需部署到边缘设备（如工厂质检摄像头），提出2项优化措施。答案：（1）可能原因：①数据分布不一致：训练集与测试集的零件光照、角度、背景差异大（如训练集多为白天拍摄，测试集包含夜间图像）；②过拟合：模型在训练集上过拟合，对新样本泛化能力差（验证集可能与训练集有重叠）；③缺陷样本不足：缺陷占30%，但细分类型（如划痕vs裂缝）样本量不均衡（如裂缝仅占5%），模型对少数缺陷类型识别差。（2）改进方案：①数据增强：在训练时增加随机旋转（±15°）、亮度调整（±20%）、高斯模糊（σ=1），模拟实际场景中的图像变化；②架构调整：在卷积层后添加BatchNorm层（加速训