2025年全国大数据应用技能竞赛考试题库（含答案）

2025年全国大数据应用技能竞赛考试题库（含答案）单项选择题（每题只有1个正确答案）1.下列选项中，不属于大数据经典4V核心特征的是（）A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Validity（有效）答案：D解析：大数据经典4V核心特征为Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值），Validity（有效性）不属于经典4V特征，因此选D。2.以下数据采集方法中，不适用于非结构化数据采集的是（）A.网络爬虫B.日志采集工具FlumeC.关系型数据库JDBC直采D.OCR文本识别答案：C解析：关系型数据库JDBC直采的对象是结构化存储的二维表数据，属于典型的结构化数据采集方法；网络爬虫爬取的网页内容、Flume采集的系统日志、OCR识别的图像文本多为非结构化数据，因此选C。3.HDFS分布式文件系统中，负责存储实际数据块的节点是（）A.名称节点（NameNode）B.数据节点（DataNode）C.第二名称节点（SecondaryNameNode）D.资源管理器（ResourceManager）答案：B解析：NameNode负责管理文件系统的元数据，DataNode负责存储实际的业务数据块，SecondaryNameNode负责辅助NameNode合并编辑日志，ResourceManager是YARN框架的资源管理节点，因此选B。4.数据预处理过程中，若某字段缺失数据占比超过（）且该字段对分析目标无核心影响，通常采用直接删除该字段的处理方案，以下哪一数值符合行业常规标准（）A.10%B.30%C.60%D.80%答案：D解析：数据预处理中缺失值处理方案根据缺失比例和字段重要性选择：若缺失占比超过80%且字段无核心价值，直接删除字段是最高效的方案；若缺失比例在10%-80%之间，通常采用插值、模型预测填充等方式处理，因此选D。5.下列算法中，属于无监督学习算法的是（）A.逻辑回归B.K-Means聚类C.随机森林D.梯度提升树答案：B解析：无监督学习使用无标签训练数据，K-Means是经典的无监督聚类算法；逻辑回归、随机森林、梯度提升树均属于监督学习算法，需要依赖标注数据训练，因此选B。6.下列大数据可视化工具中，属于开源交互式可视化工具的是（）A.TableauB.PowerBIC.EChartsD.FineBI答案：C解析：ECharts是Apache基金会旗下的开源交互式数据可视化库，可免费商用；Tableau、PowerBI、FineBI均为商业闭源BI工具，因此选C。7.在大数据隐私保护中，k-匿名技术的核心目标是（）A.保证发布数据中任意等价类（准标识符取值相同的记录组）至少包含k条记录，无法区分特定用户B.保证任意k个用户的敏感属性不被泄露C.保证发布数据的信息损失量不超过kD.保证攻击者识别出特定用户的概率不超过1/k答案：A解析：k-匿名的核心规则是：发布的数据集中，任意一个准标识符取值相同的等价类至少包含k条记录，使得攻击者无法通过准标识符从k条记录中识别出特定用户，因此选A。8.标准ETL流程的正确执行顺序是（）A.抽取->转换->加载B.转换->抽取->加载C.抽取->加载->转换D.加载->转换->抽取答案：A解析：ETL是Extract（抽取）、Transform（转换）、Load（加载）的缩写，标准执行顺序为抽取源数据、完成清洗转换预处理、加载到目标分析存储，因此选A。9.Apriori算法主要用于解决哪类数据分析问题（）A.分类B.聚类C.关联规则挖掘D.回归预测答案：C解析：Apriori是经典的关联规则挖掘算法，核心用于挖掘数据项之间的关联关系，典型应用场景为购物篮分析、商品推荐规则挖掘，因此选C。10.计算两个连续型变量之间的线性相关程度，最常用的统计量是（）A.皮尔逊相关系数B.斯皮尔曼秩相关系数C.卡方统计量D.方差膨胀因子答案：A解析：皮尔逊相关系数用于衡量两个连续型变量的线性相关程度，取值范围为[-1,1]；斯皮尔曼秩相关用于衡量有序分类变量或非线性变量的相关程度，卡方用于检验分类变量的独立性，方差膨胀因子用于检验线性回归的多重共线性，因此选A。11.下列指标中，用于衡量二分类模型泛化性能的核心指标是（）A.RMSE（均方根误差）B.MAE（平均绝对误差）C.AUC-ROCD.R²（决定系数）答案：C解析：AUC-ROC是二分类模型性能评估的经典指标，可衡量模型对正负样本的区分能力；RMSE、MAE、R²都是回归模型的性能评估指标，因此选C。12.SparkSQL中，针对时间维度分析场景，最常用的分区优化方法是（）A.哈希分区B.范围分区C.随机分区D.哈希分区答案：B解析：针对日期时间等有序维度，采用范围分区可以将同一时间范围的数据存储在同一个分区，查询时仅扫描对应时间范围的分区，大幅减少数据扫描量，提升查询效率，因此选B。多项选择题（每题有2个及以上正确答案，多选、少选、错选均不得分）1.下列选项中，属于大数据预处理核心环节的有（）A.数据清洗B.数据集成C.数据变换D.数据归约答案：ABCD解析：大数据预处理的四个核心环节为：数据清洗（处理缺失值、异常值、脏数据）、数据集成（整合多源异构数据）、数据变换（归一化、离散化、标准化处理）、数据归约（维度归约、数值归约，减少数据量保留核心信息），四个选项均正确。2.下列存储系统中，适合存储海量非结构化大数据的有（）A.HBaseB.MongoDBC.MySQLD.MinIO答案：ABD解析：MySQL是传统关系型数据库，主要面向结构化数据存储；HBase是分布式列式NoSQL数据库，适合存储海量非结构化、半结构化数据；MongoDB是文档型NoSQL数据库，支持灵活的非结构化文档存储；MinIO是分布式对象存储系统，专门针对海量非结构化数据（图片、视频、文档）存储优化，因此ABD正确。3.大数据分析中，常用的异常值检测方法有（）A.3σ原则B.箱线图法C.DBSCAN聚类D.孤立森林算法答案：ABCD解析：3σ原则基于正态分布假设，将偏离均值3倍标准差以外的数据判定为异常；箱线图法将低于Q1-1.5IQR或高于Q3+1.5IQR的数据判定为异常；DBSCAN聚类可以将密度极低的离群点判定为异常；孤立森林是专门针对高维大数据的异常检测算法，四种方法都是行业常用的异常值检测方法，因此全选。4.下列关于MapReduce计算框架的描述，正确的有（）A.MapReduce核心分为Map阶段和Reduce阶段，中间包含Shuffle阶段B.Map阶段负责对分块数据并行处理，生成中间键值对C.Shuffle阶段负责对Map输出进行排序、分区，是连接Map和Reduce的核心环节D.Reduce阶段负责对中间结果进行归约聚合，输出最终结果答案：ABCD解析：MapReduce的核心流程为：输入分片->Map处理->Shuffle排序分区->Reduce归约->输出结果，四个选项描述均正确。5.下列选项中，属于大数据隐私保护主流技术的有（）A.数据脱敏B.差分隐私C.数据加密D.访问控制答案：ABCD解析：数据脱敏通过替换、删除敏感信息降低泄露风险；差分隐私通过添加噪声保护用户隐私同时保证数据可用性；数据加密分为对称加密和非对称加密，可用于存储和传输环节的敏感数据保护；访问控制通过权限管控防止未授权访问，四种技术都是大数据隐私保护的主流技术，因此全选。6.大数据在实体经济领域的典型应用场景包括（）A.工业设备预测性维护B.零售用户精准营销C.金融信用风险评估D.城市交通流量优化调度答案：ABCD解析：四个选项均属于大数据的成熟落地应用场景：通过采集多源数据训练分析模型，分别实现故障预警、精准触达、风险识别、流量优化的业务目标，因此全选。判断题1.HBase是基于HDFS构建的分布式关系型数据库。（）答案：错误解析：HBase是分布式列式NoSQL非关系型数据库，底层存储依赖HDFS，不属于关系型数据库。2.特征工程中，归一化处理可以消除不同量纲特征对模型训练的影响，提升模型收敛速度和精度。（）答案：正确解析：归一化将不同量纲的特征取值映射到同一区间（如[0,1]），避免大数值特征主导模型训练过程，可提升梯度下降类模型的收敛速度和训练精度，描述正确。3.决策树算法只能用于分类问题，不能用于回归问题。（）答案：错误解析：决策树分为分类树和回归树，分类树用于解决分类问题，回归树可以用于解决连续值预测的回归问题，因此描述错误。4.数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合，核心用于支持管理决策分析。（）答案：正确解析：该描述是数据仓库的经典权威定义，符合数据仓库的核心特征，描述正确。5.合理的随机抽样技术，可以在不降低分析结果统计置信度的前提下，减少大数据分析的计算量，提升分析效率。（）答案：正确解析：针对海量大数据，符合统计规范的随机抽样可以在保证分析结果置信度的前提下，大幅降低数据量，提升分析效率，是大数据分析中常用的优化手段，描述正确。6.分箱平滑是数据预处理中处理噪声数据的常用方法。（）答案：正确解析：分箱平滑通过将数据按区间分组，用组内均值、中位数替换组内数据，消除噪声数据的影响，是常用的噪声处理方法，描述正确。综合实务题（每题只有1个正确答案）某零售企业计划搭建用户消费行为分析系统，积累了近3年共10TB的多源数据，包括：存储在MySQL的结构化用户基本信息表、存储在本地日志文件的非结构化用户浏览点击日志、存储在MongoDB的半结构化JSON格式商品属性表，请回答以下问题：1.针对该多源异构数据，以下ETL流程设计最合理的是（）A.分别从三个数据源抽取数据，统一完成清洗、集成、转换后，加载到数据仓库用于分析B.先把所有原始数据直接加载到数据仓库，再统一做清洗转换C.先对每个数据源分别清洗转换，再抽取后加载到数据仓库D.抽取后直接加载到数据仓库，业务查询时再做转换答案：A解析：多源异构大数据的标准ETL流程为：分源抽取各数据源数据后，统一完成预处理（清洗、集成、变换），再加载到目标分析存储，A选项流程合理；B选项直接加载全量原始数据会占用大量不必要的存储资源，处理效率低；C选项流程顺序错误，抽取是ETL的第一步；D选项查询时转换会大幅提升查询延迟，不适合批量分析场景，因此选A。2.预处理阶段发现核心分析字段“用户年龄”存在15%的缺失值，以下处理方式最合理的是（）A.直接删除含缺失值的记录B.直接删除年龄字段C.使用所有用户年龄的中位数填充缺失值D.基于用户消费层级、会员等级、注册信息等其他特征训练回归模型预测填充缺失值答案：D解析：该字段是用户分群分析的核心特征，缺失占比仅15%，删除记录或字段会损失大量有效信息，A、B不合理；简单中位数填充会改变原始数据分布，降低分析精度；基于其他相关特征训练模型预测填充，能够最大程度保留数据信息，提升填充准确性，是核心字段缺失的最优处理方案，因此选D。3.企业需要基于消费数据挖掘用户群体特征，实现无标签用户自动分群，适合采用的算法是（）A.K-Means聚类B.逻辑回归C.XGBoost分类D.线性回归答案：A解析：无标签用户分群属于无监督学习任务，K-Means是经典无监督聚类算法，适合用于用户分群；逻辑回归、XGBoost分类、线性回归都属于监督学习算法，需要依赖标注数据训练，因此选A。4.分析结果需要面向运营人员提供交互式分析，支持拖拽维度切换、下钻分析，不需要代码开发，以下工具最适合的是（）A.ExcelB.EChartsC.FineBID.PythonMatplotlib答案：C解析：FineBI是面向业务人员的自助式BI工具，支持无代码拖拽操作、交互式钻取分析，适合运营人员自助探索分析；Excel处理10TB级分析结果性能不足；ECharts和Matplotlib需要代码开发，不支持业务人员无代码交互式分析，因此选C。某互联网公司采集了100万条用户日浏览行为数据，统计发现其中3条数据的浏览时长为1500分钟（正常范围为0-120分钟），远超出合理区间，请回答以下问题：1.该类数据属于（）A.缺失值B.异常值C.