CN119474391A 多模态生成式情感分析模型的鲁棒增强方法及分类方法 （武汉理工大学）

多模态生成式情感分析模型的鲁棒增强方本发明提供一种多模态生成式情感分析模将原始输入集和新输入集分别输入至初始的多情感标签从原始输入集和新输入集中选取符合对应的情感标签训练多模态生成式情感分析模多模态目标级情感分类方法存在着无法有效地2将所述原始输入集和所述新输入集分别输入至初始的基于所述情感标签从所述原始输入集和所述新输入集中选取符合基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，句子顺序变动下的一致性目标蜕变关系、关基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模型，将所述训练集中的文本输入至任务转述多层感知机，得到新文对所述训练集中的图像添加连续提示，得到新图像集，并对所述新基于所述文本特征、所述图像特征和对应的情感标签训练多层将所述文本特征和所述图像特征输入至多层注意力网络，以对多层基于所述多模态融合特征，确定预测的情感标签与所述文本特征基于所述交叉熵损失，优化训练后的多层注意力网络，得到新的多模基于所述预测分数概率，计算得到预测的情感标签与所述文本特征3在所述原始输入集为文本的情况下，基于任务描述生成所述原从所述种子提示中派生出与任务最相关的转7.根据权利要求1_6任一项所述的多模态生成式情感分析模型的鲁棒增强方法，其特在所述原始输入集为图像的情况下，将所述原始输入集划分基于所述原始输入集中图像嵌入的初始向量作为连续将所述待识别的数据集输入至权利要求1_8任一项所述方法得到的多模态生成式情感标签提取模块，用于将所述原始输入集和所述新输入集分别输入至初始训练集构建模块，用于基于所述情感标签从所模型训练模块，用于基于所述训练集和所述训练集对应的情4[0004]现有的TMSC研究根据目标类型，以分散的方式从方面级和实体级两个任务开[0005]网络语言的自由表达特性和逻辑约束弱的特点对情感分析模型的鲁棒性提出了[0006]传统的评估NLP(NaturalLanguageProcessing,自然语言处理)模型鲁棒性的5将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析句子顺序变动下的一致性目标蜕变关系、关键句重定位下的一致性目标蜕变关网络；基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析模从所述种子提示中派生出与任务最相关的转6基于所述原始输入集中图像嵌入的初始向量作为连续将所述待识别的数据集输入至上述任一项所述的多模态生成式情感分析模型的建新输入集；将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分7[0022]图1为本发明提供的多模态生成式情感分析模型的鲁棒增强方法的一个实施例的图2为本发明提供的多模态生成式情感分析模型的鲁棒增强方法的另一个实施例图4为本发明提供的多模态生成式情感分析模型的鲁棒增强装置的一个实施例的或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相似的技术效果即8句子顺序变动下的一致性目标蜕变关系、关键句重定位下的一致性目标蜕变关9从所述种子提示中派生出与任务最相关的转基于所述原始输入集中图像嵌入的初始向量作为连续[0047]本实施例通过视觉目标前缀优化，为多模态数据添加连续提示并进行连续性微基于任务转述的提示学习模块和目标蜕变关系模块组成。前者利用任务描述生成转述提[0049]本发明提供的方法在多个数据集上均进行了验证，显示出良好的有效性和鲁棒首次将基于属性的目标蜕变关系应用于情感分类的鲁棒性分析，验证了模型鲁棒性的增测输入样例X=(S,I,T)中T的情感倾向标识。本发明还引入4种目标蜕变关系对测试集进行其中函数f表示关键字K，目标T以及T的真实倾向情感Y在转述提示中的相对位置，f(Y),f[0054]具体来说，对于一张图像，其预训练特征可以表示为Epre={e1,e2,…,er1}，（3）然后获取隐藏层向量H，并将其传递给MLM头部，以获取词汇表C中每个词在计算违规率来度量应用目标蜕变关系后不满足预期输出的测试用例的比例。目标蜕变关是使用BERT提取目标和整个文本的特征，通过计算二者之间的余弦相似度来识别关键句[0068]如图4所示，本发明还提供一种多模态生成式情感分析模型数据获取模块401，用于获取原始输入集，基于所述原始输入集以及目标蜕变关标签提取模块402，用于将所述原始输入集和所述新输入集分别输入至初始的多训练集构建模块403，用于基于所述情感标签从所述原始输入集和所述新输入集模型训练模块404，用于基于所述训练集和所述训练集对应的情感标签训练所述[0069]上述实施例提供的多模态生成式情感分析模型的鲁棒增强装置可实现上述多模实现的原理可参见上述多模态生成式情感分析模型的鲁棒增强方法实施例中的相应内容，[0070]如图5所示，本发明还相应提供了一种电子设备500。该电子设备500包括处理器[0071]存储器502在一些实施例中可以是电子设备500的内部存储单元，例如电子设备如电子设备500上配备的插接式硬盘，智能存储卡（SmartMediaCard，SMC安全数字[0073]处理器501在一些实施例中可以是一个中央处理器（CentralProceCPU微处理器或其他数据处理芯片，用于运行存储器502中存储的程序代码或处理数据，在电子设备500的信息以及用于显示可视化的用户界面。电子设备500的部件501_503通过将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析[0077]进一步地，本发明实施例对提及的电子设备500的类型不作具体限定，电子设备也可以是其他便携式电子设备，诸如具有触敏表面（例如触控面板）的膝上型计算机将所述原始输入集和所述新输入集分别输入至初始的多模态生成式情感分析模基于所述训练集和所述训练集对应的情感标签训练所述多模态生成式情感分析