2026年大数据分析师笔试题集

2026年大数据分析师笔试题集一、单选题（每题2分，共20题）（注：每题只有一个正确答案）1.某电商平台需分析用户购买行为，最适合使用哪种聚类算法？A.K-MeansB.DBSCANC.AprioriD.PCA2.以下哪种指标不适合评估分类模型的性能？A.AUCB.F1-scoreC.MAED.Precision3.假设某城市地铁每日客流量数据呈周期性波动，最适合用什么方法进行时间序列预测？A.ARIMAB.GBDTC.LDAD.Word2Vec4.在Hadoop生态中，负责分布式存储的核心组件是？A.YARNB.HiveC.HDFSD.Spark5.以下哪种技术最适合处理高维稀疏数据？A.K-MeansB.t-SNEC.LDAD.PCA6.某金融机构需检测信用卡欺诈行为，最适合用哪种异常检测算法？A.K-MeansB.IsolationForestC.AprioriD.DBSCAN7.以下哪种SQL语句可用于计算每日订单总额？sqlSELECTDATE(order_time),SUM(amount)AStotal_amountFROMordersGROUPBYDATE(order_time);A.上述SQL正确B.需要改为COUNT()C.需要添加JOIN条件D.无法计算总和8.在Spark中，以下哪种操作属于持久化操作？A.`collect()`B.`persist()`C.`mapPartitions()`D.`cache()`9.某电商A/B测试结果显示，新页面点击率提升10%，但转化率下降5%，如何评估效果？A.继续推广新页面B.保留旧页面C.优化新页面设计D.增加测试样本量10.以下哪种数据库最适合实时数据写入？A.MySQLB.RedisC.MongoDBD.HBase二、多选题（每题3分，共10题）（注：每题有多个正确答案）1.大数据处理的3V特征包括？A.数据量（Volume）B.数据速度（Velocity）C.数据价值（Value）D.数据多样性（Variety）2.以下哪些技术可用于特征工程？A.标准化（Standardization）B.特征交叉（FeatureInteraction）C.数据清洗（DataCleaning）D.模型集成（ModelEnsembling）3.在Hadoop生态中，以下哪些组件属于YARN的子模块？A.NameNodeB.ResourceManagerC.NodeManagerD.ApplicationMaster4.以下哪些指标可用于评估聚类算法效果？A.轮廓系数（SilhouetteScore）B.Calinski-HarabaszIndexC.RMSED.Davies-BouldinIndex5.某城市共享单车需分析用户骑行热点，以下哪些方法适用？A.K-Means聚类B.DBSCAN异常检测C.地图热力图可视化D.时间序列分析6.以下哪些属于机器学习中的过拟合现象？A.模型训练误差低，测试误差高B.模型复杂度过高C.数据样本不足D.特征冗余7.在SparkSQL中，以下哪些函数可用于窗口计算？A.`ROW_NUMBER()`B.`SUM()OVER()`C.`GROUPBY`D.`LAG()`8.以下哪些场景适合使用图数据库？A.社交网络关系分析B.推荐系统C.地理位置路径规划D.电商用户行为分析9.以下哪些技术可用于数据脱敏？A.数据加密B.K-匿名C.模糊化处理D.响应式数据遮盖10.某零售企业需分析用户购物篮数据，以下哪些算法适用？A.AprioriB.FP-GrowthC.K-MeansD.PageRank三、简答题（每题5分，共6题）（注：需简明扼要回答问题核心内容）1.简述HadoopMapReduce的工作流程。2.解释什么是特征选择，并列举三种常见方法。3.如何处理数据中的缺失值？4.解释Spark的懒加载机制及其优缺点。5.在电商推荐系统中，如何平衡推荐精度与多样性？6.什么是数据湖？与数据仓库有何区别？四、编程题（每题15分，共2题）（注：需提供SQL或Python代码实现）1.某电商平台订单表`orders`结构如下：sql++-++-+|order_id|user_id|order_date|amount|++-++-+要求：-查询2023年每日订单总额及订单数量，按日期降序排列。-写出SQL代码并解释查询逻辑。2.使用Python和Pandas处理以下数据：pythonimportpandasaspddata={'user_id':[1,2,1,3,2,3],'clicks':[10,5,8,12,7,9]}df=pd.DataFrame(data)要求：-计算每个用户的点击率（点击数/用户总点击数），并按点击率降序排列。-写出Python代码并解释计算逻辑。五、案例分析题（20分）（注：需结合业务场景进行分析）背景：某城市公交公司收集了2023年全年的公交站点客流量数据，数据包含站点ID、日期、上下车人数。现需分析以下问题：1.哪些站点客流量存在明显季节性波动？2.如何利用聚类算法识别高客流站点？3.提出至少两种数据可视化方案，帮助管理层决策。答案与解析一、单选题答案1.A-解析：K-Means适用于电商用户购买行为聚类，通过距离度量将用户分群。2.C-解析：MAE用于回归问题，分类问题应使用AUC、F1-score、Precision等。3.A-解析：ARIMA适用于周期性时间序列预测，其他选项不适用。4.C-解析：HDFS是Hadoop的核心组件，负责分布式文件存储。5.D-解析：PCA降维适用于高维稀疏数据，其他方法不适用。6.B-解析：IsolationForest擅长异常检测，适合欺诈行为识别。7.A-解析：上述SQL正确，通过GROUPBY计算每日订单总额。8.B-解析：`persist()`是持久化操作，其他选项非持久化。9.C-解析：应优化新页面设计，平衡点击率与转化率。10.B-解析：Redis支持实时数据写入，其他选项不适合。二、多选题答案1.A,B,C,D-解析：3V特征包括数据量、速度、价值、多样性。2.A,B,C-解析：特征工程包括标准化、特征交叉、数据清洗，模型集成属于模型评估。3.B,C,D-解析：ResourceManager、NodeManager、ApplicationMaster是YARN子模块。4.A,B,D-解析：轮廓系数、Calinski-HarabaszIndex、Davies-BouldinIndex用于聚类评估。5.A,C-解析：K-Means聚类和热力图可视化适合分析骑行热点。6.A,B-解析：过拟合表现为训练误差低、测试误差高、模型复杂度高。7.A,B,D-解析：`ROW_NUMBER()`、`SUM()OVER()`、`LAG()`用于窗口计算。8.A,C-解析：图数据库适合社交网络关系分析和地理位置路径规划。9.A,B,C-解析：数据加密、K-匿名、模糊化处理可用于数据脱敏。10.A,B-解析：Apriori和FP-Growth适合购物篮分析，其他选项不适用。三、简答题答案1.HadoopMapReduce工作流程：-Map阶段：输入数据被Map任务处理，输出键值对。-Shuffle阶段：Map输出按键排序并传输给Reduce。-Reduce阶段：Reduce任务按键聚合输出最终结果。2.特征选择方法：-过滤法（如卡方检验）。-包裹法（如递归特征消除）。-嵌入法（如Lasso回归）。3.处理缺失值方法：-删除缺失值（适用少量缺失）。-填充缺失值（均值/中位数/众数）。-使用模型预测缺失值（如KNN）。4.Spark懒加载机制：-代码执行时才计算表达式，优化性能。-优点：减少冗余计算，支持内存优化。-缺点：调试困难，需理解执行计划。5.推荐系统平衡精度与多样性：-精度：使用协同过滤或深度学习提高准确率。-多样性：引入随机推荐或冷启动策略。6.数据湖与数据仓库区别：-数据湖：原始数据存储，非结构化/半结构化。-数据仓库：结构化数据，面向分析。四、编程题答案1.SQL代码：sqlSELECTorder_date,SUM(amount)AStotal_amount,COUNT(order_id)ASorder_countFROMordersWHEREYEAR(order_date)=2023GROUPBYorder_dateORDERBYorder_dateDESC;解析：按日期分组统计订单总额和数量。2.Python代码：pythondf['total_clicks']=df.groupby('user_id')['clicks'].transform('sum')df['click_rate']=df['clicks']/df['total_clicks']result=df.sort_values(by='click_rate',ascending=False)print(result[['user_id','click_rate']])解析：