2025云南大数据行业秋招笔试押题3套卷附完整答案

2025云南大数据行业秋招笔试押题3套卷附完整答案

2025云南大数据行业秋招笔试押题卷（第一套）一、单项选择题（总共10题，每题2分）1.Hadoop生态中负责分布式存储的组件是（B）A.MapReduceB.HDFSC.YARND.HBase2.Spark的核心计算模型是（C）A.流处理B.批处理C.RDDD.DAG3.数据仓库维度建模中，记录事务细节的表是（A）A.事实表B.维度表C.汇总表D.日志表4.以下属于监督学习算法的是（B）A.K-meansB.决策树C.PCAD.关联规则5.云计算中提供平台服务的是（B）A.IaaSB.PaaSC.SaaSD.DaaS6.数据预处理中处理重复数据的常用方法是（B）A.插值法B.删除法C.归一化D.编码7.Hive中用于分区的关键字是（A）A.PARTITIONB.GROUPBYC.ORDERBYD.CLUSTERBY8.Flume的主要功能是（C）A.数据存储B.数据计算C.数据采集D.数据可视化9.Kafka中实现负载均衡消费的机制是（B）A.分区B.消费者组C.副本D.偏移量10.大数据4V特征不包括（D）A.VolumeB.VelocityC.VarietyD.Value二、填空题（总共10题，每题2分）1.Hadoop生态中负责资源管理的组件是____YARN____。2.Spark中具有不可变性的分布式数据集是____RDD____。3.数据仓库总线架构基于____维度____模型。4.需输入带标签数据的学习类型是____监督学习____。5.SaaS的全称是____SoftwareasaService____。6.缺失值处理方法包括删除法、插值法和____均值填充____。7.Hive中用于分桶的关键字是____CLUSTERBY____。8.Flume的数据源组件是____Source____。9.Kafka消费者组的作用是____负载均衡____。10.大数据类型包括结构化、半结构化和____非结构化____。三、判断题（总共10题，每题2分）1.HadoopMapReduce是实时计算框架。（×）2.Spark比MapReduce快因内存计算。（√）3.Hive是关系型数据库。（×）4.Kafka可处理流数据。（√）5.数据仓库面向事务处理。（×）6.无监督学习不需要标签。（√）7.IaaS提供软件服务。（×）8.Flume只能收集日志。（×）9.数据清洗是预处理第一步。（√）10.大数据价值密度高。（×）四、简答题（总共4题，每题5分）1.简述Hadoop核心组件及作用。答：Hadoop核心组件包括HDFS、MapReduce和YARN。HDFS是分布式文件系统，负责存储大规模数据，采用主从架构（NameNode管理元数据，DataNode存储数据块）；MapReduce是分布式计算框架，基于“分而治之”思想，将任务分为Map（映射）和Reduce（归约）阶段；YARN是资源管理系统，负责分配集群资源（CPU、内存），调度应用程序（如MapReduce作业），实现资源与计算的分离。2.简述数据仓库与数据库的区别。答：数据仓库与数据库的区别体现在设计目标、数据类型、处理方式等方面。数据仓库面向分析（支持决策），数据库面向事务（支持OLTP）；数据仓库存储历史的、汇总的结构化数据，数据库存储实时的、细节的事务数据；数据仓库采用维度建模（星型/雪花型），数据库采用ER模型；数据仓库处理复杂查询（慢），数据库处理简单事务（快）。3.简述SparkRDD的核心特性。答：SparkRDD（弹性分布式数据集）具有五大特性：①分区性：数据分散在多个节点的分区中；②不可变性：RDD创建后无法修改，只能通过转换操作生成新RDD；③容错性：通过lineage（血统）记录依赖关系，丢失时可重新计算；④并行性：分区数据可并行处理；⑤弹性：可根据需要调整分区数量或存储级别（内存/磁盘）。4.简述机器学习的一般流程。答：机器学习流程包括：①问题定义：明确任务（分类/回归/聚类）和目标；②数据收集：获取结构化/非结构化数据；③数据预处理：清洗（去重、补缺失）、转换（归一化、编码）、划分训练/测试集；④模型选择：根据任务选算法（如决策树、SVM）；⑤模型训练：用训练数据拟合模型；⑥模型评估：用测试集测性能（准确率、召回率）；⑦模型部署：将模型应用于实际场景，持续优化。五、讨论题（总共4题，每题5分）1.结合云南文旅，谈大数据如何提升游客体验。答：云南文旅可通过大数据提升体验：①游客画像：分析订票、消费、社交数据，刻画偏好（如亲子、徒步），推送个性化推荐（如丽江小众景点、大理民宿）；②实时服务：通过景区摄像头、GPS监测人流，预警拥堵（如玉龙雪山缆车排队），引导分流；③智慧导览：开发APP整合景点介绍、语音导览、周边服务（餐饮、厕所），基于位置推荐；④售后反馈：分析游客评价（美团、携程），优化服务（如增加民族演出场次），提升满意度。2.企业如何平衡数据利用与用户隐私保护？答：企业需：①合规性：遵守《个人信息保护法》，获取用户同意，明确数据用途；②匿名化：对敏感数据（姓名、手机号）脱敏（哈希处理），无法关联个人；③权限管理：分级授权（普通员工无法访问身份证号），限制访问范围；④透明化：向用户说明数据使用方式，提供删除、修改渠道；⑤技术保障：采用加密（SSL）、区块链等技术，防止泄露。3.结合云南农业，分析大数据在智慧农业中的应用。答：云南农业大数据应用：①精准种植：通过传感器（土壤湿度、温度）、卫星遥感监测普洱茶园环境，指导浇水、施肥（西双版纳茶山）；②病虫害预警：分析历史病虫害、气象数据，预测爆发风险（文山三七），提前防治；③产量预测：结合作物生长、市场需求，预测鲜花（昆明斗南）产量，指导种植计划，避免滞销；④溯源体系：用二维码记录农产品全流程（昭通苹果），提升消费者信任，打造品牌。4.Spark与Flink的区别及适用场景选择。答：Spark基于微批处理（流数据拆成小批次），延迟秒级；Flink基于流处理（逐条处理），延迟毫秒级。容错机制：Spark用lineage重新计算，Flink用checkpoint持久化状态，更可靠。适用场景：Spark适合批处理为主、流处理为辅的场景（离线分析、ETL）；Flink适合低延迟、高可靠的流处理场景（实时监控、金融风控）。企业需根据需求选择：实时推荐选Flink；离线分析选Spark。2025云南大数据行业秋招笔试押题卷（第二套）一、单项选择题（总共10题，每题2分）1.Hadoop中负责资源管理的组件是（B）A.HDFSB.YARNC.MapReduceD.HBase2.列存数据库是（B）A.MySQLB.HBaseC.OracleD.MongoDB3.解决过拟合的方法是（D）A.增加数据B.正则化C.减少特征D.以上都是4.流处理与批处理的核心区别是（A）A.时效性B.数据量C.存储位置D.计算框架5.数据湖的特点是（C）A.面向事务B.结构化存储C.多类型数据D.实时计算6.ETL中“T”指（B）A.提取B.转换C.加载D.清洗7.Kafka分区策略不包括（D）A.轮询B.随机C.按key哈希D.以上都不是8.SparkStreaming的特点是（A）A.实时处理B.批处理C.内存计算D.离线处理9.数据可视化工具是（B）A.HiveB.TableauC.KafkaD.Spark10.大数据伦理问题不包括（D）A.隐私泄露B.算法偏见C.数据垄断D.数据存储二、填空题（总共10题，每题2分）1.HBase基于____键值对____模型。2.模型训练好但测试差的现象是____过拟合____。3.Flink核心模型是____数据流图____。4.数据湖支持____多类型____数据存储。5.ETL中“E”指____提取____。6.Kafka分区消息____顺序____有序。7.SparkStreaming批次时间由____batchinterval____决定。8.数据可视化将____数据____转为图形。9.混合云是____公有云+私有云____。10.Zookeeper用于____分布式协调____。三、判断题（总共10题，每题2分）1.YARN是资源管理组件。（√）2.HBase适合事务数据。（×）3.正则化可缓解过拟合。（√）4.流处理处理静态数据。（×）5.数据湖存储多类型数据。（√）6.ETL顺序是提取、加载、转换。（×）7.Kafka分区越多吞吐量越高。（√）8.SparkStreaming是实时流处理。（×）9.Tableau是可视化工具。（√）10.算法偏见是伦理问题。（√）四、简答题（总共4题，每题5分）1.简述YARN在Hadoop生态中的作用及核心组件。答：YARN是Hadoop资源管理系统，负责分配集群资源（CPU、内存），调度应用程序（如MapReduce作业）。核心组件：①ResourceManager（RM）：集群资源管理器，接收作业请求，分配资源；②NodeManager（NM）：节点资源管理器，管理单个节点资源，启动容器（Container）运行任务；③ApplicationMaster（AM）：每个应用的管理器，向RM申请资源，协调任务执行。2.简述过拟合的原因及解决方法。答：过拟合原因：①模型复杂度高（如神经网络层数多），拟合训练数据噪声；②训练数据量小，无法覆盖所有情况；③特征数量多，过度学习。解决方法：①增加训练数据（数据增强）；②降低模型复杂度（减少层数、决策树剪枝）；③正则化（L1/L2），限制权重；④交叉验证，避免过拟合。3.简述流处理与批处理的区别及适用场景。答：流处理处理实时、连续的流数据（如用户点击、传感器数据），延迟低（毫秒/秒级），适用实时监控（金融fraud检测）、实时推荐；批处理处理静态、历史的批量数据（如日志文件、数据库备份），延迟高（分钟/小时级），适用离线分析（报表生成、ETL）。框架：流处理用Flink、SparkStreaming；批处理用HadoopMapReduce、Spark。4.简述数据湖与数据仓库的区别。答：数据湖与数据仓库的区别：①数据类型：数据湖存储结构化、半结构化、非结构化数据（日志、图片）；数据仓库存储结构化数据（关系表）。②设计目标：数据湖支持探索性分析（数据挖掘、机器学习）；数据仓库支持确定性分析（报表、BI）。③schema方式：数据湖是schema-on-read（读取时定义结构）；数据仓库是schema-on-write（写入时定义结构）。④成本：数据湖存储成本低（如AWSS3）；数据仓库成本高（如Snowflake）。五、讨论题（总共4题，每题5分）1.云南“数字政府”中大数据的应用场景及价值。答：云南数字政府应用：①政务服务：整合公安、民政、税务数据，实现“一网通办”（办理身份证、社保转移），无需多部门跑；②交通管理：通过摄像头、GPS监测昆明、曲靖交通拥堵，实时调整红绿灯，推送绕行路线；③疫情防控：分析行程码、核酸数据，快速追踪密接者，精准管控；④决策支持：整合经济、人口、环境数据，为政策制定提供依据（乡村振兴产业布局），提升政务效率。2.普洱茶产业中大数据的应用。答：普洱茶大数据应用：①品质管理：通过传感器监测茶园土壤湿度、温度，控制发酵过程（熟茶渥堆），保证口感一致；②市场推广：分析电商销售数据，了解消费者偏好（年轻人喜欢小包装、熟茶），针对性推广（网红款普洱茶）；③溯源体系：用区块链记录茶叶全流程（种植、加工、销售），扫描二维码查看产地、日期，提升信任；④库存管理：分析销售数据预测需求，优化库存（节日前增加礼盒装），避免积压。3.Flink“exactly-once”语义及企业关注原因。答：Flink“exactly-once”指每条数据仅处理一次，确保结果准确。企业关注原因：①金融场景：支付交易重复处理会导致重复扣款，“exactly-once”保证资金安全；②实时统计：电商实时销量统计，重复处理会导致数据虚高，影响决策；③日志分析：服务器错误统计，重复处理会导致错误率不准确。Flink通过checkpoint和状态后端（RocksDB）实现，确保可靠性。4.企业如何保障数据质量？答：企业需：①数据采集：规范数据源（日志格式），避免脏数据（重复用户ID）；②预处理：清洗（去重、补缺失）、验证（手机号格式），确保准确；③存储：采用数据库约束（主键唯一），避免不一致（同一用户地址不同）；④监控：建立告警机制（字段缺失率超10%报警），及时发现问题；⑤优化：定期评估数据质量（每月检查准确、完整），调整流程（优化ETL脚本）。2025云南大数据行业秋招笔试押题卷（第三套）一、单项选择题（总共10题，每题2分）1.Zookeeper在Hadoop中的作用是（B）A.存储B.协调C.资源管理D.任务调度2.Hive自定义函数是（A）A.UDFB.SQLC.MapReduceD.HDFS3.防止过拟合的正则化方法是（D）A.L1B.L2C.交叉验证D.以上都是4.数据挖掘的核心步骤是（C）A.数据收集B.预处理C.模型构建D.评估5.混合云是（A）A.公有云+私有云B.IaaS+PaaSC.PaaS+SaaSD.本地+云端6.Flume拓扑结构不包括（D）A.单源单目的地B.多源单目的地C.单源多目的地D.循环拓扑7.Kafka保证数据可靠的机制是（B）A.分区B.副本C.消费者组D.偏移量8.SparkSQL的作用是（A）A.处理结构化数据B.流处理C.内存计算D.存储9.数据质量指标不包括（D）A.准确B.完整