CN116306681B 基于事实场景的可解释性视觉问答模型构建方法与系统 （重庆邮电大学）

基于事实场景的可解释性视觉问答模型构本发明公开了基于事实场景的可解释性视当前视觉问答研究中存在的模型可解释性不强2构建视觉问答模型，并通过所述第一数据集对所述视采用开源机器学习库SHAP对所述文本特征提取网络进行处提取所述第二数据集中的特征数据，通过所述特征数据对所述视觉问2.根据权利要求1所述的基于事实场景的可解释性视觉问答模型构建方法，其特征在在所述视觉问答模型中，通过ResNet50网络对所述第一数据集中的图像特征进行提通过GloVe模型将问题文本词进行嵌入，在将嵌入后的模型输入到1024D的LSTM网络将所述图像特征与所述文本特征均进通过双线性注意网络进行处3.根据权利要求1所述的基于事实场景的可解释性视觉问答模型构建方法，其特征在4.根据权利要求1所述的基于事实场景的可解释性视觉问答模型构建方法，其特征在通过原始样本的损失函数、正样本损失函数、反事实样本损失函5.根据权利要求1~4任一所述的基于事实场景的可解释性视觉问答模型构建方法，其3所述预训练模块，用于构建视觉问答模型，并通过所述第一数据集对所所述第一处理模块，用于采用权重反向传播方法对所述图像特征提取网络进行处理，所述第二处理模块，用于采用开源机器学习库对所述采用开源机器学习库SHAP对所述文本特征提取网络进行处所述验证模块，用于提取所述第二数据集中的特征数据，通过所7.根据权利要求6所述的基于事实场景的可解释性视觉问答模型构建系统，其特征在所述图像特征提取模块，用于在所述视觉问答模型中，通过ResNet50网所述网络处理模块，用于将所述图像特征与所述文本特征均进通过双4[0002]近年来，计算机视觉和自然语言处理在图像领域和文本领域都取得了长足的发[0003]然而，尽管关于神经网络CNN和循环神经网络RNN的可解[0011]采用权重反向传播方法对所述图像特征提取网络进行处理，获得图像反事实样5[0021]采用权重反向传播WBP方法对所述图像特征提取网络进行处理，获得因果显著性网络层参数求导并沿梯度反向传播使得损失函数值最小，对相关参数不断的进行迭代更6[0034]所述第二处理模块，用于采用开源机器学习库对所述文本特征提取网络进行处[0043]本发明实施例提供的一种基于事实场景的可解释性视觉问答模型构建方法与系7着：结合该实施例或示例描述的特定特征、结构或特性被包含在本本发明至少一个实施例在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。这里使用的术语了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方行不断更新迭代优化的方式，解决了当前视觉问答研究中存在的模型可解释性不强的问8[0063]⃞=o(wx,+wxh-+b)t为LSTM的单元状态。[0072]所述图像反事实样本获得的子步骤包括：采用权重反向传播WBP方法对所述图像因果相关性。给定图像输入x，答案标签为y＝m的因果显著性映射sm(x)，其中n＝1,.=m(x)中所包含的x中的因果信息去除(显著像素值替表示的算子，称之为显著性矩阵，满足：x=w'x',yle0,…,L,其中xL是一个M维向量，定标签y＝m相关的对象，其因果特征包含在的第m行与输入x之间的相互作用中，即:9j':型输出的图像因果部分)尽可能小。任何满足因果关系的因果显著图，不管遮挡部位的大性框架。它是受到游戏博弈理论的启发，被提出和创建的。经典的方法包括Shapley[0084]Shapleysamplingvalues避免了重复训练新模型的过程，通过抽样对上述公式M果信息并获得反事实样本和t;,本方法应用了以下遮挡方式：其中T()为maskingfunction遮挡函数：其中ω,ω,σ>0其中fθ为预测模型，为需要优化的反事实样本[0103]所述第二处理模块，用于采用开源机器学习库对所述文本特征提取网络进行处令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的[0114]这些计算机程序发布指令也可存储在能引导计算机或其他可编程数据处理设备生包括发布指令装置的制造品，该发布指令装置实现在流程图一个流