2026年人工智能与大数据应用专业考试试题及答案

2026年人工智能与大数据应用专业考试试题及答案一、单项选择题（共15题，每题2分，共30分）1.在机器学习中，用于衡量模型预测值与真实值之间差异的常见函数称为（）。A.优化器B.激活函数C.损失函数D.正则化项答案：C2.关于Hadoop生态系统，下列哪项是HDFS（分布式文件系统）的默认数据块大小？（）A.64MBB.128MBC.256MBD.512MB答案：B3.在数据预处理中，将分类变量转换为数值型变量，且变量间无大小顺序关系时，最常用的方法是（）。A.标签编码B.独热编码C.二进制编码D.顺序编码答案：B4.以下哪种算法不属于无监督学习？（）A.K-Means聚类B.主成分分析C.线性回归D.关联规则挖掘答案：C5.在Spark中，用于在内存中存储中间计算结果，以加速迭代计算的核心抽象概念是（）。A.DataFrameB.RDDC.DatasetD.广播变量答案：B6.关于神经网络中的反向传播算法，其主要目的是（）。A.前向计算输出B.调整网络权重以最小化损失C.初始化网络参数D.选择网络结构答案：B7.在关系型数据库设计中，若要求一个实体的某个属性不能为空，该约束称为（）。A.主键约束B.外键约束C.唯一约束D.非空约束答案：D8.以下关于MapReduce编程模型的描述，错误的是（）。A.包含Map和Reduce两个阶段B.适合处理实时流数据C.数据以键值对形式处理D.具有容错机制答案：B9.在评估分类模型时，当数据集中正负样本比例极度不平衡时，以下哪个指标通常比准确率更可靠？（）A.精确率B.召回率C.F1分数D.均方误差答案：C10.下列哪项技术主要用于从海量数据中提取非结构化文本的主题或情感倾向？（）A.数据仓库B.文本挖掘C.联机分析处理D.数据清洗答案：B11.关于数据库的ACID特性，其中“C”代表（）。A.原子性B.一致性C.隔离性D.持久性答案：B12.在Python数据分析库Pandas中，用于合并两个DataFrame的常用函数是（）。A.concat()B.join()C.merge()D.以上都是答案：D13.以下关于大数据“4V”特征描述，不正确的是（）。A.Volume（大量）B.Velocity（高速）C.Variety（多样）D.Validity（有效）答案：D14.在构建决策树时，使用“信息增益”作为节点分裂标准的算法是（）。A.CARTB.ID3C.C4.5D.随机森林答案：B15.关于Kafka的描述，以下正确的是（）。A.是一个分布式流处理平台B.主要用于批处理计算C.其核心概念是表D.不支持数据持久化答案：A二、多项选择题（共5题，每题3分，共15分。全部选对得满分，少选得部分分，错选不得分）1.下列哪些属于常见的数据清洗操作？（）A.处理缺失值B.处理异常值C.数据标准化D.数据集成E.数据规约答案：A,B,C2.关于卷积神经网络（CNN），以下描述正确的有（）。A.常用于处理图像数据B.池化层主要用于降低特征图维度C.全连接层通常位于网络末端D.卷积核的参数在学习过程中保持不变E.ReLU是CNN中唯一可用的激活函数答案：A,B,C3.以下哪些是NoSQL数据库的常见类型？（）A.键值存储B.文档数据库C.列族存储D.图数据库E.网状数据库答案：A,B,C,D4.在时间序列分析中，以下哪些方法可以用于预测？（）A.移动平均法B.指数平滑法C.ARIMA模型D.逻辑回归E.支持向量机答案：A,B,C5.关于数据仓库的特征，以下说法正确的有（）。A.面向主题B.集成的C.相对稳定的D.反映历史变化E.支持实时更新答案：A,B,C,D三、填空题（共10空，每空2分，共20分）1.在SQL语言中，用于从数据库中查询数据的关键字是__________。答案：SELECT2.支持向量机（SVM）通过寻找一个__________来对样本进行分类。答案：最大间隔超平面3.在Hadoop中，负责资源管理和作业调度的组件是__________。答案：YARN4.随机森林算法通过构建多棵决策树并进行__________来提高预测精度和稳定性。答案：集成学习（或投票/平均）5.在Python中，用于科学计算的核心库通常包括NumPy和__________。答案：SciPy6.Apriori算法是一种用于发现数据中__________的经典算法。答案：频繁项集（或关联规则）7.在数据流图中，用椭圆表示__________。答案：处理过程（或加工）8.过拟合是指模型在__________上表现很好，但在新数据上表现较差的现象。答案：训练集9.数据库事务的隔离级别中，可避免脏读、不可重复读和幻读的最高级别是__________。答案：可串行化10.自然语言处理中，将文本转换为计算机可处理的数值向量的过程称为__________。答案：词向量化（或文本表示学习/词嵌入）四、简答题（共5题，每题8分，共40分）1.简述监督学习、无监督学习和半监督学习的区别，并各举一个典型算法。答案：监督学习利用带有标签的训练数据学习输入到输出的映射关系，典型算法如线性回归、支持向量机。无监督学习从无标签的数据中发现内在结构或模式，典型算法如K-Means聚类、主成分分析。半监督学习同时使用少量有标签数据和大量无标签数据进行学习，旨在减少对标签数据的依赖，典型算法如标签传播算法、半监督支持向量机。三者的核心区别在于训练数据是否包含标签以及标签的完整程度。2.解释什么是数据仓库中的“维度建模”，并简述星型模型和雪花型模型的主要区别。答案：维度建模是一种用于数据仓库设计的结构设计方法，它围绕业务过程，以事实表和维度表为核心构建模型，旨在提高查询的易懂性和性能。事实表包含度量和外键，维度表包含描述性属性。星型模型由中心的一个事实表和环绕的多个维度表直接连接构成，维度表非规范化，结构简单，查询效率高。雪花型模型是星型模型的扩展，其维度表可能进一步规范化，拆分成多层，形成类似雪花的形状。雪花型模型减少了数据冗余，但增加了连接复杂度，可能降低查询性能。主要区别在于维度表的规范化程度和由此带来的结构复杂性、存储效率与查询性能的权衡。3.什么是梯度下降法？请描述其基本思想，并列举两种常见的梯度下降变体。答案：梯度下降法是一种用于优化目标函数（通常是损失函数）的迭代算法。其基本思想是：目标函数的梯度方向指明了函数值上升最快的方向，因此，沿着梯度的反方向（即下降最快的方向）以一定的步长（学习率）调整参数，可以逐步逼近函数的局部最小值。具体步骤为：初始化参数，计算当前参数下的损失函数梯度，然后按照“新参数=旧参数-学习率×梯度”的规则更新参数，重复迭代直至收敛。两种常见变体是：批量梯度下降，每次迭代使用全部训练数据计算梯度，计算稳定但速度慢；随机梯度下降，每次迭代随机使用一个样本计算梯度，速度快但波动大；小批量梯度下降是两者的折中，每次使用一个小批量样本计算梯度，兼顾了稳定性和速度。4.简述MapReduce的工作流程，并说明Shuffle阶段的作用。答案：MapReduce工作流程主要分为Map阶段、Shuffle阶段和Reduce阶段。用户首先定义Map函数和Reduce函数。输入数据被切分为多个分片。在Map阶段，多个Map任务并行处理输入分片，每个Map任务读取一块数据，调用Map函数处理成一系列中间键值对。Shuffle阶段是连接Map和Reduce的桥梁，其核心作用是将Map任务输出的中间结果，按照键进行分区、排序、合并，并传输到对应的Reduce任务节点。具体包括：Map端的分区和溢写排序，以及Reduce端的复制抓取和归并排序。最终，每个分区的所有相同键的值被组织在一起，发送给同一个Reduce任务。在Reduce阶段，Reduce任务接收Shuffle阶段送来的已按键分组排序的数据，对每个键调用Reduce函数进行处理，生成最终的输出结果。Shuffle阶段确保了相同键的数据汇聚到同一个Reduce任务，是MapReduce实现并行计算和结果归约的关键。5.什么是特征工程？列举三种常用的特征选择方法并简要说明。答案：特征工程是指利用数据领域的相关知识，从原始数据中提取、构造、选择对机器学习模型构建有益的特征的过程。它是提升模型性能的关键步骤。三种常用特征选择方法：过滤法，独立于任何机器学习算法，根据特征的统计特性（如方差、与目标的相关性）进行评分和筛选，例如方差选择法、相关系数法。包裹法，将特征选择过程与特定的学习算法相结合，通过评价特征子集在模型上的表现来进行选择，例如递归特征消除法。嵌入法，特征选择过程作为模型训练的一部分，在模型训练过程中自动进行特征选择，例如使用L1正则化的线性模型（LASSO）可以产生稀疏解，从而实现特征选择。五、应用题（共3题，第1题15分，第2题20分，第3题20分，共55分）1.计算与分析题某电商平台使用逻辑回归模型预测用户是否购买商品（1表示购买，0表示未购买）。模型对某个用户的预测概率为0.75。(1)若设定阈值为0.5，该用户的预测类别是什么？（2分）(2)计算该预测对应的对数几率（LogOdds）。（4分）(3)逻辑回归模型的损失函数通常是对数损失（LogLoss）。对于一个样本，其真实标签为y（0或1），预测概率为p，请写出该样本的对数损失函数表达式。（4分）(4)假设该用户真实行为是购买了商品（y=1），计算该样本在当前预测下的对数损失值。（5分）答案：(1)预测概率0.75>阈值0.5，因此预测类别为1（购买）。(2)对数几率=ln(p/(1-p))=ln(0.75/(1-0.75))=ln(0.75/0.25)=ln(3)≈1.0986。(3)对数损失函数表达式为：L=-[y*ln(p)+(1-y)*ln(1-p)]。(4)将y=1,p=0.75代入公式：L=-[1*ln(0.75)+(1-1)*ln(1-0.75)]=-ln(0.75)≈-(-0.2877)=0.2877。2.系统设计题现需为一个新闻推荐系统设计一个离线数据处理与特征生成管道，该系统利用用户历史阅读行为（用户ID，新闻ID，阅读时长，点击时间）和新闻元数据（新闻ID，类别，关键词，发布时间）来生成用户特征和新闻特征，供下游的推荐模型使用。(1)请描述你会使用哪些大数据处理框架或组件（如Hadoop,Spark,Hive等）来构建此管道，并说明理由。（6分）(2)请设计至少四类可用于推荐模型的数值型特征（需说明是用户特征还是新闻特征，并简述计算逻辑）。（8分）(3)假设发现“用户历史阅读新闻类别的分布”这个特征对推荐效果很重要，但直接使用原始类别ID不适合模型。请提出一种将该类别信息转化为有效模型特征的方法。（6分）答案：(1)建议使用Spark作为核心处理框架，配合HDFS进行数据存储。理由：Spark基于内存计算，对于迭代式的特征计算和数据处理效率远高于MapReduce；其提供了丰富的API（如SparkSQL,DataFrame）和机器学习库（MLlib），方便进行数据清洗、转换和特征工程。原始日志可存储在HDFS上。可以使用Hive作为数据仓库，通过SparkSQL或Hive进行一些周期性的聚合查询。对于调度，可以使用Azkaban或Airflow来管理整个管道的依赖和定时执行。(2)设计特征示例：用户特征1：用户近期活跃度。计算逻辑：统计该用户过去7天内的日均阅读新闻数量或总阅读时长。用户特征2：用户对特定新闻类别的偏好强度。计算逻辑：统计用户历史阅读记录中，属于“科技”类新闻的阅读次数占总阅读次数的比例。新闻特征1：新闻热度。计算逻辑：该新闻发布后24小时内的总阅读次数或独立用户阅读数。新闻特征2：新闻类别编码。计算逻辑：将新闻的类别（如政治、经济、体育）通过独热编码转化为稀疏向量。(3)可以将“用户历史阅读新闻类别的分布”转化为以下特征：方法一：向量化。统计用户阅读过的所有新闻的类别，计算每个类别出现的频率或TF-IDF权重，形成一个关于所有类别的数值向量（如[体育:0.3,科技:0.5,娱乐:0.2]）。这个向量可以直接作为模型输入。方法二：嵌入表示。使用深度学习模型（如Word2Vec的思想，将新闻ID或类别ID视为“词”，用户阅读序列视为“句子”），训练得到类别或新闻的嵌入向量。然后将用户历史阅读过的所有新闻（或类别）的嵌入向量进行平均或加权平均（权重可以是阅读时长），得到用户的兴趣嵌入向量作为特征。这种方法能将高维稀疏的类别信息转化为低维稠密的连续向量。3.综合案例分析题某金融机构希望构建一个基于交易流水数据的欺诈交易检测系统。原始数据包含交易ID、用户ID、交易时间、交易金额、收款方类型、交易地点（IP/国家）、设备指纹等字段。已知欺诈交易占比极低（约0.1%）。(1)这是一个典型的什么问题？（如分类、回归、聚类等）在模型训练前，针对此类数据通常需要特别关注和处理哪两个关键问题？（6分）(2)针对(1)中提出的两个关键问题，分别给出一种具体的技术解决方案。（8分）(3)除了有监督模型，请提出一种可以利用无标签交易数据来辅助提升欺诈检测系统性能的思路，并简述其可能带来的好处。（6分）答案：(1)这是一个典型的二分类问题（欺诈/非欺诈）。需要特别关注的两个关键问题是：类别不平衡问题（欺诈样本极少）和特征工程问题（如何从原始交易数据中构建有效识别欺诈模式的特征）。(2)针对类别不平衡问题的解决方案：