2026年大数据分析师笔试模拟题库

2026年大数据分析师笔试模拟题库一、单选题（共5题，每题2分，合计10分）1.关于大数据处理框架Hadoop的核心组件，以下说法正确的是？A.MapReduce是Hadoop的存储单元B.HDFS主要用于实时数据流处理C.YARN负责数据存储和计算资源的调度D.Hive依赖于HBase进行数据管理答案：C解析：Hadoop的核心组件包括HDFS（分布式存储）、MapReduce（计算框架）、YARN（资源管理）。选项A错误，MapReduce是计算单元；选项B错误，HDFS是存储单元；选项D错误，Hive依赖HiveQL和底层存储（如HDFS），不直接依赖HBase；选项C正确，YARN负责资源调度。2.以下哪种SQL窗口函数常用于计算每个用户的累计消费金额？A.`GROUPBY`B.`SUM()`C.`ROW_NUMBER()`D.`SUM()OVER(PARTITIONBYuser_idORDERBYdate)`答案：D解析：选项A和B属于聚合函数，不支持动态计算；选项C用于排序和分区排名；选项D是窗口函数，可按用户分区计算累计消费。3.在数据清洗中，处理缺失值最常用的方法是？A.直接删除缺失行B.填充均值/中位数C.使用机器学习模型预测缺失值D.以上都是答案：D解析：删除行会导致数据丢失，填充均值/中位数适用于数值型数据，预测缺失值适用于复杂场景。实际操作中常结合多种方法。4.以下哪个指标最能反映电商平台的用户留存率？A.流量访问量（PV）B.新用户注册率C.次日留存率（RetentionRate）D.广告点击率（CTR）答案：C解析：留存率直接衡量用户粘性，PV和CTR偏向流量/广告效果，新用户注册率反映拉新能力。5.以下哪种数据挖掘算法适用于异常检测任务？A.决策树B.K-Means聚类C.线性回归D.孤立森林（IsolationForest）答案：D解析：孤立森林通过随机分割树检测异常点，适用于高维数据异常检测；决策树和K-Means需预定义模型；线性回归用于预测。二、多选题（共4题，每题3分，合计12分）6.以下哪些属于大数据的4V特征？A.容量（Volume）B.速度（Velocity）C.价值（Value）D.变异（Variety）E.可靠性（Veracity）答案：A、B、C、D解析：4V特征包括容量、速度、价值、变异；可靠性属于数据质量维度，非标准4V。7.在Spark中，以下哪些操作属于RDD（弹性分布式数据集）的转换操作？A.`map()`B.`filter()`C.`reduce()`D.`collect()`E.`cache()`答案：A、B解析：转换操作（如map、filter）产生新的RDD；reduce和collect属于动作操作；cache是持久化操作。8.以下哪些场景适合使用NoSQL数据库？A.电商商品库存管理B.社交媒体实时消息流C.电信用户行为日志存储D.企业财务报表分析E.地图服务（如地理位置索引）答案：A、B、C、E解析：NoSQL适合高并发、大规模数据场景（如A、B、C、E）；财务报表分析需事务支持，适合关系型数据库。9.以下哪些属于数据仓库的典型分层架构？A.源层数据B.预处理层（ODS）C.汇总层（DW）D.应用层（BI）E.元数据层答案：B、C、D解析：数据仓库分层包括ODS、DW、BI；源层数据和元数据层非标准分层。三、判断题（共5题，每题2分，合计10分）10.分布式计算框架必须依赖集群环境才能运行。答案：正确解析：分布式计算依赖多节点协作，单机无法实现。11.HiveQL查询可以实时执行，无需预编译。答案：错误解析：Hive通过元数据编译SQL，查询通常非实时。12.数据脱敏中，“数据掩码”和“数据泛化”属于同一种技术。答案：错误解析：掩码（如遮盖部分字符）和泛化（如年龄→“30-40岁”）是不同脱敏方法。13.数据偏差（Bias）仅存在于抽样阶段。答案：错误解析：偏差可能源于数据采集、处理或模型假设。14.Python的Pandas库不适合处理TB级数据。答案：正确解析：Pandas内存限制，大规模数据需PySpark等工具。四、简答题（共4题，每题5分，合计20分）15.简述Hadoop生态系统中的HBase与Hive的主要区别。答案：-存储模式：HBase是列式存储（适合随机读写），Hive是行式存储（适合SQL查询）；-数据模型：HBase支持动态列，Hive需预定义表结构；-延迟：HBase毫秒级访问，Hive秒级；-用途：HBase实时交互，Hive离线分析。16.解释什么是数据倾斜及其解决方案。答案：-定义：部分节点数据量远超其他节点，导致任务执行不平衡；-解决方案：-倾斜字段：重分区（如按哈希）；-倾斜值：单独处理（如过滤倾斜值后合并）；-算子优化：使用广播JOIN替代reduce-sideshuffle。17.简述特征工程在机器学习中的重要性。答案：-提高模型效果（如去除冗余特征）；-降低数据维度（减少噪声）；-增强可解释性（如业务规则嵌入）；-决定模型上限（数据质量决定上限）。18.阐述电商行业用户画像构建的关键步骤。答案：1.数据采集：商品交易、浏览、社交数据；2.清洗整合：用户ID统一、跨渠道对齐；3.维度建模：构建用户-商品-行为三张表；4.标签体系：年龄、消费分层、偏好分类；5.应用场景：精准推荐、营销分层。五、综合应用题（共2题，每题10分，合计20分）19.某电商平台使用Hive存储用户订单数据（表名`orders`，字段：`user_id`、`order_id`、`amount`、`order_date`），要求计算：（1）每日新增订单金额Top3用户；（2）按月统计各用户消费金额，并计算月环比增长率。假设数据按日期分区，分区格式为`year=2023/month=11`。答案：（1）sqlSELECTuser_id,amount,order_dateFROMordersWHEREorder_dateBETWEEN'2023-11-01'AND'2023-11-30'ORDERBYamountDESCLIMIT3;（2）sqlWITHmonthly_dataAS(SELECTuser_id,DATE_FORMAT(order_date,'%Y-%m')ASmonth,SUM(amount)AStotal_amountFROMordersGROUPBYuser_id,month)SELECTa.month,a.user_id,a.total_amount,(a.total_amount-COALESCE(b.total_amount,0))/COALESCE(b.total_amount,1)100ASgrowth_rateFROMmonthly_dataaLEFTJOINmonthly_databONa.user_id=b.user_idANDa.month=DATE_ADD(b.month,INTERVAL1MONTH)WHEREa.month='2023-11';20.假设你使用Spark处理某城市共享单车骑行数据（字段：`user_id`、`bike_id`、`start_station`、`end_station`、`start_time`、`duration`），要求：（1）计算每个起止站点对的日均骑行次数；（2）找出骑行时长最长的10个站点对（去重后）。数据量为1GB，需考虑性能优化。答案：（1）pythonfrompyspark.sqlimportSparkSessionspark=SparkSession.builder.appName("BikeAnalysis").getOrCreate()data=spark.read.parquet("bike_data")转换时间并计算站点对data=data.withColumn("start_date",date_format(col("start_time"),"yyyy-MM-dd"))data=data.select("start_date","start_station","end_station").distinct()聚合计算result=data.groupBy("start_station","end_station").count()result.show()（2）python计算时长最长的站点对（去重）longest_rides=data.groupBy("start_station","end_station").max("duration")top10=longest_ri