版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2026年人工智能训练师实操考试题及答案第一部分:单项选择题(共20题,每题1.5分,共30分)1.在自然语言处理(NLP)的数据预处理阶段,对于中文文本,通常需要进行分词处理。以下关于中文分词的描述中,错误的是:A.基于规则的分词方法依赖于维护一个庞大的词库,匹配效率高但难以处理新词。B.基于统计的分词方法(如HMM、CRF)通过计算概率路径来确定最优切分。C.BERT等预训练模型通常使用WordPiece或BPE等子词切分算法。D.结巴分词是目前唯一支持全模式、精确模式和搜索引擎模式的中文分词工具。2.在计算机视觉任务中,数据增强是提升模型泛化能力的重要手段。对于一张用于目标检测的训练图片,以下哪种操作可能会破坏标注框的语义一致性,导致训练错误?A.随机水平翻转B.随机裁剪并调整标注框坐标C.随机亮度调整D.上下文区域随机擦除3.在监督学习中,评估分类模型性能时,精确率和召回率往往是一对矛盾指标。F1-Score是调和平均数,其计算公式为:A.FB.FC.FD.F4.在深度学习模型训练中,过拟合是一个常见问题。以下哪种技术不属于正则化方法,无法直接用于缓解过拟合?A.DropoutB.L1/L2WeightDecayC.早停法D.梯度裁剪5.Transformer模型的核心机制是自注意力机制。在计算注意力分数时,缩放点积注意力中的缩放因子通常为,其主要目的是:A.增大梯度的内积值,防止梯度消失。B.减小内积值,防止在Softmax操作时进入饱和区导致梯度消失。C.加速矩阵运算速度。D.增加模型的参数量以提升表达能力。6.在使用大语言模型(LLM)进行推理时,Temperature参数控制输出的随机性。当Temperature设置为以下哪个值时,模型的输出最为确定性(即选择概率最大的词)?A.0.1B.1.0C.5.0D.10.07.人工智能训练师在进行数据清洗时,发现数据集中存在大量缺失值。对于时间序列数据中的缺失值,最不建议采用的处理方式是:A.前向填充B.线性插值C.均值填充D.删除该条时间序列数据8.在目标检测任务中,IoU(IntersectionoverUnion)是衡量预测框与真实框重叠程度的指标。假设预测框面积为,真实框面积为,两者交集面积为,则IoU的计算公式为:A.B.C.D.9.以下关于强化学习中“奖励函数”设计的描述,正确的是:A.奖励函数必须在整个训练过程中保持不变,一旦设定不可修改。B.奖励越密集,智能体收敛速度一定越快。C.奖励塑形可以通过引入中间状态的奖励来引导智能体学习,但需注意避免奖励黑客。D.稀疏奖励总是优于密集奖励,因为它能保证智能体学到最优策略。10.在图像分割任务中,U-Net是一种经典的网络结构。其主要特点是:A.仅包含编码器部分,用于特征提取。B.包含对称的编码器和解码器结构,并通过跳跃连接融合浅层特征。C.使用了残差连接来解决深层网络的退化问题。D.是一种基于生成对抗网络的架构。11.在处理类别不平衡的数据集时,例如欺诈检测(正样本极少),以下哪种策略是错误的?A.使用过采样技术(如SMOTE)增加少数类样本。B.使用欠采样技术随机减少多数类样本。C.仅仅依赖准确率作为模型评估指标。D.在损失函数中为少数类赋予更高的权重。12.PromptEngineering(提示工程)是大模型应用的关键。在“Few-ShotPrompting”(少样本提示)中,提供给模型的示例作用是:A.增加模型的上下文窗口长度。B.改变模型内部的参数权重。C.为模型提供上下文学习和模式匹配的范例。D.强制模型输出特定的格式。13.在模型部署阶段,模型量化是常用的优化手段。将模型参数从FP32(32位浮点数)转换为INT8(8位整数)的主要好处是:A.提高模型的推理精度。B.减少显存占用并提升推理速度。C.增加模型的鲁棒性。D.消除模型对输入数据的依赖。14.以下哪个指标主要用于评估回归模型的性能?A.AUC-ROCB.F1-ScoreC.均方误差(MSE)D.混淆矩阵15.在使用K-Means聚类算法时,如何确定最佳的K值?A.总是选择最大的K值,使得簇内距离最小。B.手肘法:观察误差平方和(SSE)随K值变化的下降速度,选取拐点。C.轮廓系数法:选择轮廓系数最接近-1的K值。D.随机选择一个K值。16.在循环神经网络(RNN)及其变体LSTM中,遗忘门的主要功能是:A.决定是否将当前输入信息写入单元状态。B.决定是否输出当前的单元状态作为隐藏状态。C.控制前一时刻的单元状态有多少信息被保留到当前时刻。D.增加网络的非线性变换能力。17.人工智能训练师在使用标注工具时,对于视频流的动作捕捉标注,通常需要标注关键点。为了保持标注的一致性,以下做法不正确的是:A.制定详细的标注规范,定义关键点的位置(如关节中心)。B.在被遮挡的情况下,根据前后帧的位置进行线性插值估算。C.不同的标注员对于模糊边界采用完全不同的主观判断标准。D.定期进行标注员间的一致性检验(如IoU计算)。18.生成式对抗网络由生成器和判别器组成。其训练目标是一个极小极大博弈,生成器G试图最小化以下哪个目标,而判别器D试图最大化它?A.lB.lC.|D.CrossEntropy(x,G(z))19.在知识图谱的构建中,实体对齐是指将不同数据源中的同一实体融合在一起。这通常涉及到:A.仅比较实体的名称字符串是否完全一致。B.利用实体的属性相似度和结构相似度进行计算。C.随机合并实体以减少图谱规模。D.删除所有具有歧义的实体。20.关于大模型的微调,LoRA(Low-RankAdaptation)技术的核心思想是:A.冻结预训练模型的权重,并在Transformer层旁边添加低秩矩阵分解的可训练参数。B.重新训练模型的所有参数。C.仅训练模型的最后一层分类头。D.剪枝模型中不重要的神经元。第二部分:多项选择题(共10题,每题3分,共30分。多选、少选、错选均不得分)1.人工智能训练师在处理文本数据时,常见的停用词去除操作可能带来的负面影响包括:A.降低了特征空间的维度,加快了计算速度。B.可能改变句子的语义,例如在情感分析中,“不”被去除可能导致语义反转。C.在某些任务(如风格迁移)中,停用词可能包含重要的风格信息。D.总是能够提高模型的分类准确率。2.深度学习中的优化器算法,如SGD、Adam、RMSprop等,其核心区别在于:A.学习率的更新策略。B.是否利用梯度的一阶矩估计。C.是否利用梯度的二阶矩估计。D.神经网络的层数。3.在卷积神经网络(CNN)中,池化层的作用包括:A.降维,减少计算量和参数数量。B.引入非线性激活函数。C.增加模型的平移不变性。D.扩大感受野。4.评估大语言模型(LLM)效果时,常用的自动化评估指标有:A.BLEU(主要用于机器翻译)B.ROUGE(主要用于文本摘要)C.Perplexity(困惑度,衡量概率分布拟合程度)D.人工打分5.数据标注中,为了保证数据质量,需要采取的措施有:A.制定详细的标注指南(SOP)并进行培训。B.引入金标准测试,定期抽查标注员的准确率。C.采用多人标注并投票机制。D.仅依靠训练师的主观直觉进行审核。6.下列关于梯度下降算法的描述,正确的有:A.批量梯度下降每次迭代使用所有样本计算梯度,收敛稳定但计算慢。B.随机梯度下降每次迭代使用一个样本,收敛快但震荡大。C.小批量梯度下降是BGD和SGD的折中,最常用于实际训练。D.梯度下降一定能找到全局最优解。7.在异常检测任务中,常用的算法包括:A.IsolationForest(孤立森林)B.One-ClassSVMC.Autoencoder(通过重构误差判断异常)D.K-Means聚类8.模型融合是提升性能的有效手段,常见的方法有:A.Voting(投票法)B.Stacking(堆叠法)C.Bagging(如随机森林)D.Boosting(如XGBoost)9.在进行OCR(光学字符识别)后的文本后处理阶段,可能涉及的任务包括:A.版面分析,区分正文、标题、表格。B.文本纠错,修正识别错误的字符。C.版式还原,尽量保持原始文档的排版。D.语义理解,提取文档中的关键实体。10.人工智能伦理与安全相关的考量包括:A.数据隐私保护,如差分隐私技术。B.算法公平性,避免模型对特定群体的歧视。C.模型鲁棒性,防止对抗样本攻击。D.可解释性,让人类理解模型的决策依据。第三部分:填空题(共15空,每空2分,共30分)1.在信息论中,交叉熵损失函数常用于分类任务。对于二分类问题,若真实标签为y,预测概率为p,则单个样本的损失函数表达式为L=2.在神经网络中,防止梯度爆炸的常用技术是\underline{\hspace{4em}},它通过限制梯度的范数来实现。3.在卷积操作中,若输入图像大小为5×5,卷积核大小为3×4.Transformer模型中的位置编码通常使用正弦和余弦函数,其目的是为了给模型注入序列中单词的\underline{\hspace{4em}}信息,因为自注意力机制本身不具备平移不变性。5.在评估回归模型时,(决定系数)的取值范围通常在0到1之间,当越接近\underline{\hspace{4em}}时,表示模型对数据的拟合程度越好。6.数据增强中的MixUp方法是将两张图片及其标签按比例λ进行线性插值,即
x=λ7.在深度学习中,BatchNormalization(BN)层通常应用在激活函数\underline{\hspace{4em}}(填“之前”或“之后”),以加速收敛并稳定分布。8.支持向量机(SVM)的基本思想是寻找一个超平面,使得不同类别的样本点到超平面的\underline{\hspace{4em}}最大化。9.在推荐系统中,协同过滤算法主要分为基于用户的协同过滤和基于\underline{\hspace{4em}}的协同过滤。10.大模型推理中的Top-K采样是指从概率最高的\underline{\hspace{4em}}个词中随机选择下一个词。11.在目标检测算法YOLO系列中,边界框的回归通常预测的是中心点坐标偏移量、宽高以及\underline{\hspace{4em}}置信度。12.在图像处理中,将图像从RGB空间转换到灰度空间的常用公式是Gr13.随机森林属于Bagging集成策略,它通过构建多棵决策树并利用\underline{\hspace{4em}}投票来决定最终输出。14.在半监督学习中,\underline{\hspace{4em}}算法是一种基于图的算法,其核心思想是“近邻样本的标签应该相似”。15.在处理长文本序列时,为了降低计算复杂度,可以使用\underline{\hspace{4em}}注意力机制,该机制将Query分为多个头进行计算。第四部分:简答题(共5题,每题6分,共30分)1.简述在训练深度神经网络时,出现“梯度消失”问题的原因及其两种主要的解决方法。2.请解释准确率、精确率、召回率和F1-Score的定义,并说明在什么情况下高准确率并不能代表模型性能良好。3.简述RAG(Retrieval-AugmentedGeneration,检索增强生成)技术的工作原理及其在大模型应用中的主要优势。4.在数据标注项目中,如果不同标注员对同一数据的标注结果差异较大(一致性低),作为人工智能训练师,你会采取哪些措施来改善这一状况?5.简述卷积神经网络(CNN)中感受野的概念,并说明为什么在深层网络中保持较大的感受野对于图像分类任务很重要。第五部分:实操应用题(共4题,共80分)1.【数据分析与预处理实操】(20分)某电商平台希望建立一个商品评论的情感分析模型。你获取了一份包含10万条用户评论的原始数据集。在初步检查中,你发现数据存在以下问题:(1)文本中包含大量的HTML标签(如`(2)存在大量的特殊符号、表情包以及非中文乱码。(3)数据集中存在严重的类别不平衡,好评占比90%,差评占比10%。(4)部分评论字数极少(如“好”),部分极长(如几千字的体验文)。请详细阐述你的数据预处理流程,包括清洗步骤、如何处理类别不平衡以及文本长度的标准化策略。2.【模型评估与计算实操】(20分)假设你训练了一个二分类模型(识别“猫”和“狗”),在测试集(共100个样本)上的预测结果如下:真实类别为“猫”的样本有60个。模型预测为“猫”的样本有50个。模型正确预测为“猫”的样本有40个。模型正确预测为“狗”的样本有30个。请:(1)绘制该测试集的混淆矩阵。(2)计算该模型对于类别“猫”的精确率、召回率和F1-Score(保留两位小数)。(3)计算模型的整体准确率。(4)如果该模型主要用于筛选出所有的“猫”以进行后续处理,且不能漏掉任何一只“猫”,你应该重点关注哪个指标?如何调整模型阈值?3.【提示工程与Prompt设计实操】(20分)你需要利用大语言模型(如GPT-4)将一份非结构化的医疗病历文本转化为结构化的JSON格式输出。原始文本示例:“患者张三,男,45岁。主诉:头痛持续三天。既往病史:高血压,无药物过敏史。初步诊断:偏头痛。”请设计一个高质量的SystemPrompt(系统提示词)和UserPrompt(用户提示词),要求模型能够准确提取出以下字段:`name`(姓名)、`gender`(性别)、`age`(年龄)、`chief_complaint`(主诉)、`medical_history`(既往病史)、`diagnosis`(初步诊断)。请写出你的Prompt设计,并解释你在设计中使用了哪些技巧(如Few-Shot、思维链等)来确保提取的准确性。4.【模型训练与调优实操】(20分)在训练一个用于检测工业缺陷的目标检测模型时,你发现训练集上的Loss迅速下降并接近0,但在验证集上的Loss在训练初期下降后,随后开始上升,验证集精度远低于训练集精度。(1)请诊断该模型出现了什么问题?(2)列举至少四种针对该问题的解决方案。(3)如果决定使用数据增强,请针对工业缺陷图像的特点,列举三种合适的数据增强方法,并说明理由。(4)解释“早停法”的工作原理,并说明它如何帮助解决上述问题。参考答案及详细解析第一部分:单项选择题1.D[解析]结巴分词是常用的工具,但并非唯一支持全模式、精确模式和搜索引擎模式的工具,其他如HanLP、Jieba-fast等也支持类似功能,D选项表述过于绝对。2.B[解析]随机裁剪必须同步调整标注框坐标,如果裁剪后的区域不包含完整目标,则可能需要调整标注策略,但若操作不当(如裁剪掉目标的一部分却未修正标注框)会破坏一致性。实际上,随机裁剪通常是可以的,只要正确处理标注框。这里题目问“可能”破坏,实际上B选项如果是“随机裁剪并不调整标注框坐标”则是明确错误。但看选项,B说“调整标注框坐标”,这是正确的做法。再看其他选项:A、C、D都是标准操作。等等,题目问的是错误的选项。仔细分析B:随机裁剪通常用于分类,用于检测时如果裁剪导致目标部分在框外,确实复杂。但通常B是正确的做法。让我们重新审视。选项A:基于规则确实依赖词库,难以处理新词(未登录词),正确。选项B:随机裁剪并调整坐标是标准的数据增强手段,正确。选项C:亮度调整是像素级变换,不影响框位置,正确。选项D:上下文区域随机擦除,即Cutout,通常用于分类,用于检测时如果擦除目标区域且不调整标签(通常是保持标签不变,因为目标仍在图像中,只是被遮挡),这是可行的。但是,如果题目意指哪种操作最不推荐或容易出错,可能是B如果实现不好容易出错。但严格来说,这些都是标准操作。再检查D选项的描述:“上下文区域随机擦除”,这通常是正确的。修正思路:实际上,对于目标检测,如果进行随机旋转,通常计算坐标变换复杂且容易引入黑边,常被视为较难操作。但选项中没有旋转。再看选项B,如果裁剪掉了目标的一部分,通常需要重新计算IoU或者丢弃该样本,如果仅仅调整坐标可能会导致目标标注不准确。但在标准库中,这是支持的。等等,发现题目陷阱。选项D:上下文区域随机擦除。如果擦除的是目标物体本身的部分区域,标注框依然保留,这是模拟遮挡,是正确的。重新审视选项A:基于规则的方法(最大匹配法)确实难以处理新词,正确。选项B:随机裁剪并调整标注框坐标,这是正确的。选项C:正确。选项D:正确。题目可能存在争议,但在常规考试中,关于目标检测的数据增强,通常认为“随机裁剪”如果处理不好会导致目标丢失,但它是标准操作。让我们寻找一个明显的错误。也许是选项A?不,A是正确的定义。修正:可能选项D中的“上下文区域随机擦除”被误解为擦除背景?不,通常指随机擦除。再看选项B:如果裁剪后,目标在边界上,标注框调整后可能超出图像范围,需要Clip,这是技术细节。实际上,最可能的错误选项是D,如果“上下文区域随机擦除”被理解为删除了包含目标的区域且没有正确处理,但这不是标准定义。让我们选择一个最符合出题逻辑的“错误”。通常在单选中,关于数据增强,旋转和裁剪是容易出错的。但这里B说“调整标注框坐标”,这弥补了裁剪的缺点。等等,选项A:“基于规则的分词方法...匹配效率高”,逆向最大匹配算法效率其实一般,且基于规则的方法通常指正向/逆向最大匹配,效率并不比统计方法高,特别是O(N)vsO(MN)。A选项中的“匹配效率高”可能是一个相对的概念,或者指工程实现简单。更正:实际上,D选项“上下文区域随机擦除”在有些语境下被称为“Cutout”,用于分类,用于检测时需要小心。但通常被认为是可行的。让我们换个角度。也许题目考察的是语义一致性。如果进行随机裁剪,如果裁剪框切断了物体,那么语义上物体不完整了,虽然标注框调整了,但物体本身变了。这可能就是考点。在严格的目标检测训练中,通常要求物体是完整的。如果裁剪导致物体不完整,可能会引入噪声。因此B可能是“最可能导致语义不一致”的选项。答案选B。(注:此题解析基于常见数据增强的副作用分析)3.B[解析]F1-Score是精确率和召回率的调和平均数,公式为F14.D[解析]梯度裁剪主要用于解决梯度爆炸问题,防止梯度更新过大导致训练崩溃,不属于正则化范畴。5.B[解析]缩放因子的目的是为了在点积值较大时,将数值拉回到一个较小的范围,防止Softmax进入梯度极小的饱和区,从而导致梯度消失。6.A[解析]Temperature越低,分布越陡峭,接近one-hot分布,即最确定性。7.D[解析]时间序列数据具有时间依赖性,简单删除数据会破坏时间连续性和趋势信息,通常优先考虑填充或插值。8.C[解析]IoU=交并比=交集面积/并集面积。并集面积=+。9.C[解析]奖励塑形通过引入中间奖励引导学习,但需注意奖励黑客(Agent利用漏洞刷分而不完成任务)。A错误,奖励函数可以动态调整;B错误,密集奖励不一定更快收敛,可能引入噪声;D错误,视情况而定。10.B[解析]U-Net的特征是对称的Encoder-Decoder结构和SkipConnections(跳跃连接)。11.C[解析]在类别不平衡时,准确率是具有误导性的指标(例如全预测为多数类,准确率也很高),应重点关注Precision、Recall、F1或AUC。12.C[解析]Few-Shot通过提供示例来引导模型理解任务模式,属于上下文学习,不改变模型权重。13.B[解析]INT8量化可以显著减少模型大小(显存占用)并利用特定指令集(如AVX-512)加速推理,但通常会带来轻微的精度损失。14.C[解析]MSE(MeanSquaredError)是回归任务的标准损失函数和评估指标。15.B[解析]手肘法通过观察SSE下降速度变缓的拐点(像手肘一样)来确定K值。16.C[解析]遗忘门控制单元状态的遗忘程度,即保留多少历史信息。17.C[解析]标注一致性是核心,不同的主观标准会导致数据质量下降,必须统一规范。18.B[解析]GAN的原始目标函数是mi19.B[解析]实体对齐需要综合考量属性相似度和图结构相似度,不仅仅是字符串匹配。20.A[解析]LoRA冻结预训练权重,通过低秩分解矩阵A和B的乘积BA来模拟权重更新量Δ第二部分:多项选择题1.BC[解析]停用词去除可能改变语义(如否定词),且在某些任务中包含风格或结构信息。A是优点,D是错误的结论。2.ABC[解析]优化器的区别主要在于学习率调整策略、动量(一阶矩)和自适应学习率(二阶矩)的使用。层数是网络结构属性。3.ACD[解析]池化层不包含激活函数(激活函数在层间),主要作用是降维(A)、平移不变性(C)和扩大感受野(D)。4.ABC[解析]人工打分是主观评估,不属于自动化指标。5.ABC[解析]数据质量控制需要SOP、金标准测试、多人投票。仅靠直觉是不科学的。6.ABC[解析]梯度下降对于非凸函数(如深度神经网络)通常只能找到局部最优解,不能保证全局最优(D错误)。7.ABC[解析]K-Means是聚类算法,主要用于发现数据结构,虽然可以通过距离阈值判断异常,但主要不是专门的异常检测算法(虽然可以变通使用,但不如ABC典型)。但在广义上,聚类后的离群点检测也是一种方法。不过通常考试中,异常检测主要指IsolationForest,One-ClassSVM,Autoencoder。更正:K-Means确实可以用于异常检测(点到簇中心距离),但在本题语境下,ABC是更标准的答案。如果必须多选,ABC是核心。8.ABCD[解析]Voting,Stacking,Bagging,Boosting都是模型融合/集成学习的经典方法。9.ABCD[解析]OCR后处理涵盖版面分析、纠错、版式还原和语义理解(NER等)。10.ABCD[解析]隐私、公平、鲁棒性、可解释性都是AI伦理安全的重要维度。第三部分:填空题1.12.梯度裁剪3.3,3(计算公式:(54.位置/相对位置5.16.λ7.之前(通常做法是BN8.几何间隔9.物品10.K11.目标/物体12.0.11413.简单/多数14.LabelPropagation(标签传播)15.Multi-Head(多头)第四部分:简答题1.答:原因:在深层网络中,使用了链式法则进行反向传播求导。如果激活函数的导数值小于1(如Sigmoid,Tanh),在连乘时梯度会呈指数级衰减,导致靠近输入层的梯度接近于0,无法有效更新权重。解决方法:(1)更换激活函数:使用ReLU及其变体(LeakyReLU,ELU等),其在正区间的导数为1,缓解梯度消失。(2)引入残差连接:如ResNet,通过y=(3)使用归一化层:如BatchNormalization,防止数据分布进入激活函数的饱和区。2.答:准确率:所有预测正确的样本占总样本的比例。精确率:预测为正例的样本中,真正为正例的比例(查准率)。召回率:实际为正例的样本中,被正确预测为正例的比例(查全率)。F1-Score:精确率和召回率的调和平均数。高准确率不代表模型性能良好的典型场景是类别不平衡。例如,在癌症筛查中,99个正常人,1个病人。如果模型全预测为“正常”,准确率高达99%,但它完全没有识别出病人(召回率为0),这是一个无用的模型。3.答:原理:RAG结合了检索系统和生成模型。当用户提问时,系统首先从外部知识库中检索出与问题相关的文档片段,然后将这些片段作为“上下文”与用户的原始问题一起拼接成Prompt,输入给大语言模型,最后模型基于检索到的事实生成答案。主要优势:(1)减少幻觉:模型基于检索到的事实回答,而非仅依赖训练时的内部知识,降低了编造事实的风险。(2)知识更新:无需重新训练模型,只需更新外部知识库即可让模型掌握最新信息。(3)可解释性:可以通过展示检索到的参考来源来解释答案的依据。(4)私有数据利用:可以让模型访问训练集中未包含的私有领域数据。4.答:(1)细化标注指南(SOP):检查现有规范是否存在歧义,针对模糊边界增加具体示例和图示。(2)组织培训会议:召集所有标注员,针对争议案例进行统一讲解,确保理解一致。(3)引入金标准:由资深专家预先标注一部分数据作为“金标准”,让标注员试标,计算与金标准的一致性,对不达标者进行再培训。(4)优化标注流程:采用“双盲标注+仲裁”机制,即两人独立标注,结果不一致时由第三人仲裁。(5)使用辅助工具:利用预标注模型提供初始结果,人工只需修正,减少人为操作差异。5.答:概念:感受野是指卷积神经网络中,特征图上某个元素的特征所能看到的原始输入图像的区域大小。重要性:(1)全局信息获取:图像分类往往需要理解物体的整体形状和上下文。深层网络的感受野大,能够覆盖整个物体或图像的重要部分,从而做出准确的分类判断。(2)语义理解:浅层感受野小,关注局部纹理;深层感受野大,关注高层语义。保持较大的感受野有助于模型整合局部特征为全局语义特征。第五部分:实操应用题1.答:数据预处理流程:(1)清洗步骤:去除HTML标签:使用正则表达式或解析库(如BeautifulSoup)去除`去除特殊符号与乱码:使用正则表达式去除非中文字符、无意义的标点(保留基本标点如!?。)。针对乱码,可以设定字符集范围(如Unicode中文范围),过滤掉范围外的字符,或使用编码检测工具修复。表情包处理:根据任务需求,通常直接去除,或者替换为文本描述(如[开心]),但在一般情感分析中去除即可。(2)处理类别不平衡:重采样:对“差评”类(少数类)进行过采样(如SMOTE生成新样本,或简单复制),或对“好评”类(多数类)进行欠采样。数据增强:对差评文本进行回译(中文->英文->中文)、同义词替换等生成新样本。调整损失函数:在模型训练时,使用加权交叉熵损失,给“差评”类赋予更高的权重。(3)文本长度标准化。截断与填充:设定最大序列长度(如512字)。对于极长评论,进行截断(保留尾部或头部,视任务重点而定,通常保留尾部或截取中间)。对于极短评论,使用特定的`<PAD>`符号进行填充,使其达到模型输入要求的长度。过滤极端样本:对于字数极少(如1-2字)且无实际语义的样本,考虑直接剔除。2.答:(1)混淆矩阵:预测猫预测狗真实猫4020真实狗1030(注:预测猫共50个,其中对40,错10(真狗);真猫共60个,其中对40,错20(预测为狗))(注:预测猫共50个,其中对40,错10(真狗);真猫共60个,其中对40,错20(预测为狗))(2)计算指标(针对“猫”类):TP(真正例)=40FP(假正例)=预测为猫但实际为狗=10FN(假负例)=实际为猫但预测为狗=20精确率P召回率RF1-Score=(3)整体准确率:Accuracy=(TP+TN)/Total=(40+30)/100=70/100=0.70(4)指标调整:如果不能漏掉任何一只“猫”,应重点关注召回率。为了提高召回率,需要降低模型判断为“猫”的阈值。即模型输出“猫”
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年安全事故指标考核
- 2026年公安机关录用人民警察笔试仿真题
- 2026年身体专业知识课件
- 2026年AI编程师认证考试仿真题解析
- 2026年丧葬用品知识测试题
- 2026年期货从业资格笔试仿真题
- 2026年小学二年级上册语文课外拓展阅读提升卷含答案
- 数控加工编程与夹具设计指南
- 教学秘书的工作总结与实训总结
- 数学教学工作反思
- 2026广西南宁市良庆区良庆镇人民政府招聘工作人员21人备考题库及一套完整答案详解
- 健康产业门店运营方案
- 2026上海青浦区白鹤镇基层单位招聘85名笔试模拟试题及答案详解
- 2025年贵州省遵义市中小学生“π”节数学思维竞赛初赛ZYMC2(六年级)试卷+详细解析
- 2026年高考新高考I卷语文真题试卷
- 2026年医院中药师(药学专业)高频面试题包含详细解答
- 2026年高考英语全国二卷卷及答案(新课标卷)
- 子宫内膜病变的诊治课件
- 基层医疗机构药事管理
- 《大数据技术原理与应用(第3版)》期末复习题库(含答案)
- 造纸车间安全风险分级管控清单
评论
0/150
提交评论