2026年大数据挖掘测试题及答案

2026年大数据挖掘测试题及答案

一、单项选择题（每题2分，共20分）1.在Hadoop生态中负责分布式资源调度的核心组件是A.Hive B.HDFS C.Yarn D.Pig2.下列哪种采样方法在类别不平衡数据集中对稀有类最友好A.简单随机采样 B.分层采样 C.聚类采样 D.水库采样3.当使用MapReduce实现PageRank时，一次迭代中传递的主要信息是A.网页URL B.网页标题 C.网页出链列表 D.网页当前得分4.在Spark中，以下哪个操作会触发宽依赖A.map B.filter C.reduceByKey D.collect5.若关联规则X→Y的置信度为75%，其含义是A.全集中75%的事务含X∪Y B.含X的事务中75%也含Y C.含Y的事务中75%也含X D.全集中75%的事务含Y6.使用L1正则化训练线性模型时，权重向量最可能呈现A.稠密小值 B.稀疏零值 C.均匀分布 D.高斯分布7.在HBase中，RowKey设计的最佳实践不包括A.散列反转 B.时间戳前置 C.连续递增 D.加盐8.下列指标中，对离群点最敏感的是A.中位数 B.截断均值 C.算术均值 D.众数9.当K-means聚类结果出现空簇时，标准处理策略是A.降低K值 B.随机重选一个中心 C.拆分最大簇 D.停止迭代10.在Flink的Exactly-Once语义中，实现端到端一致性最关键的机制是A.异步快照 B.事件时间 C.窗口合并 D.并行度二、填空题（每题2分，共20分）11.HDFS默认块大小为________MB。12.在Apriori算法中，频繁k-项集通过________与自身连接生成候选k+1-项集。13.Spark的________调度器根据RDD依赖关系划分Stage。14.当数据服从幂律分布时，采用________图分割算法可减小通信量。15.在深度森林模型中，多粒度扫描用于提取________特征。16.若Flink窗口长度为5秒、滑动步长为2秒，则该窗口属于________窗口。17.使用________编码可将高基数类别变量压缩到log2(N)维。18.在LSH中，增大band数量会________假阳性率。19.当Kafka分区数为p、消费者组线程数为c，若c>p，多余线程将处于________状态。20.在ClickHouse中，________引擎支持更新和删除，但牺牲部分性能。三、判断题（每题2分，共20分）21.HDFS的NameNode内存消耗与文件块数量成正比。22.在SparkSQL中，DataFrame的join操作默认使用sort-mergejoin。23.当基尼系数为0时，决策树无法继续分裂。24.使用布隆过滤器可以100%保证元素不存在于集合中。25.在Storm中，Spout的nextTuple()方法由系统单线程调用。26.若两条关联规则的支持度相同，则它们的提升度一定相等。27.在GraphX中，PregelAPI的顶点程序可修改边属性。28.当使用Z-Score标准化后，新变量的方差等于1。29.在Hive中，ORC格式比TextFile占用更多磁盘空间。30.在FlinkCEP中，模式序列后加.oneOrMore()表示贪婪匹配。四、简答题（每题5分，共20分）31.描述MapReduce中“数据本地性”的三级优先级，并说明如何调优。32.解释Spark中“血统信息”如何支持容错，并指出其潜在风险。33.列举三种处理概念漂移的在线学习策略，并比较其计算复杂度。34.说明在HBase中RowKey散列加盐的优缺点，并给出适用场景。五、讨论题（每题5分，共20分）35.某电商每天新增500GB用户行为日志，需实时推荐，讨论选择Flink还是SparkStreaming，并从延迟、吞吐、状态管理、生态集成四方面对比。36.针对医疗影像的分布式深度学习训练，讨论参数服务器与All-Reduce架构在梯度同步、容错、带宽利用上的差异，并给出选择建议。37.某金融公司需构建反洗钱图数据库，讨论使用Neo4j与JanusGraph在事务一致性、水平扩展、复杂查询性能上的权衡，并提出混合方案。38.面对GDPR“被遗忘权”，讨论在HDFS、Hive、Kafka、Flink中实现数据可撤销删除的技术路径，评估其代价与合规风险。答案与解析一、单项选择题1.C 2.B 3.D 4.C 5.B 6.B 7.C 8.C 9.B 10.A二、填空题11.128 12.频繁k-项集 13.DAGScheduler 14.顶点切割 15.级联16.滑动 17.Binary 18.降低 19.空闲 20.MergeTree三、判断题21.√ 22.√ 23.× 24.√ 25.√ 26.× 27.× 28.√ 29.× 30.√四、简答题31.数据本地性分节点本地、机架本地、数据中心本地三级。调度器优先将任务分配到存有副本的节点；若节点繁忙则退而求机架，减少跨交换机流量。调优手段包括：提高副本数、延迟调度等待空闲节点、自定义机架感知脚本、预取数据到计算节点SSD缓存。32.RDD记录父依赖与计算函数形成血统图，节点失效后根据血统重算丢失分区，无需冗余备份。风险在于长血统链导致重算开销大，可能引发级联延迟；解决方法是周期做checkpoint将RDD物化到可靠存储，截断血统。33.(1)滑动窗口重训练：周期缓存最近N条样本，复杂度O(Nd)；(2)在线梯度下降随新样本更新，复杂度O(d)；(3)自适应正则化如AdaBound，额外维护动量，复杂度O(d)。窗口法最耗内存，OGD最轻量，自适应居中。34.加盐将连续RowKey散列到不同前缀，消除热点，写吞吐提升；但范围扫描需对所有前缀发起并发请求，读放大且丧失顺序性。适用于写密集、点查为主的日志型业务，不适用于需要前缀范围扫描的订单查询。五、讨论题35.延迟：Flink原生事件驱动毫秒级，SparkStreaming微批秒级；吞吐：Flink背压下仍保持高吞吐，Spark需调优批大小；状态：Flink提供键控状态与增量检查点，Spark依赖RDD重算或WAL；生态：SparkMLlib成熟，FlinkML尚新。若需秒级以下延迟且状态大，选Flink；若复用已有SparkML模型且可接受秒级，选SparkStreaming。36.参数服务器将梯度推送到分片服务器，中心聚合后拉回，容错只需备份服务器，但易产生参数热点；All-Reduce采用环形或树形通信，无中心节点，带宽利用高，但节点故障需全局重启或检查点。医疗影像参数维度高、梯度大，建议用分层All-Reduce+梯度压缩，配合弹性训练框架如HorovodonKubernetes。37.Neo4j提供ACID事务与毫秒级多跳查询，但单集群上限约千亿边；JanusGraph基于分布式存储，可水平扩展至万亿边，但跨节点事务最终一致，复杂查询需多次RPC。混合方案：热子图存Neo4j保证实时强一致，全量历史存JanusGraph，通过CDC同步，查询层按时间分流动态路由。38.HDFS可借审计日