基于深度学习的多模态情感分析模型可解释性研究综述

基于深度学习的多模态情感分析模型可解释性研究综述一、多模态情感分析与可解释性的核心范畴界定多模态情感分析（MultimodalSentimentAnalysis,MSA）是融合文本、语音、视觉、生理信号等多源异构数据，自动识别用户情感极性、情感类别及情感强度的交叉研究领域，在智能客服、心理健康监测、自动驾驶人机交互、内容推荐等场景已形成规模化应用。随着Transformer架构、多模态预训练模型的迭代，现有MSA模型在公开数据集上的准确率已突破92%，但黑盒特性导致的决策逻辑不透明问题，成为其落地高风险领域的核心瓶颈。可解释性在MSA场景下的定义具有明确的场景针对性：一方面指人类能够理解模型决策依据的程度，即回答“模型为什么判断该样本为积极情感”；另一方面指解释结果与真实决策逻辑的对齐程度，即解释结果是否真实反映模型的推理过程，而非事后构造的“伪解释”。与单模态情感分析可解释性相比，多模态场景下的解释需求更为复杂，不仅需要解释单模态内部特征的贡献，还需要解释模态间的交互机制、模态融合权重的分配逻辑、跨模态冲突时的决策优先级等问题。当前MSA可解释性研究形成了两类技术路径的分野：内在可解释性指模型架构本身具备自解释能力，如引入注意力权重可视化、决策规则嵌入、模态贡献度显式建模等设计，让推理过程可直接追溯；事后可解释性指针对已训练完成的黑盒模型，通过外部算法反推其决策逻辑，包括扰动分析、梯度回传、知识蒸馏等方法。两类路径分别面向模型设计阶段的可解释性植入和落地阶段的可解释性审计，共同构成了MSA可解释性的技术体系。二、多模态情感分析模型可解释性的核心技术维度2.1单模态特征贡献度解释技术单模态特征贡献度解释是多模态解释的基础，目标是定位不同模态内部对最终决策起关键作用的特征单元。文本模态的解释技术相对成熟，主流方法包括：基于梯度的特征归因：如LRP（Layer-wiseRelevancePropagation）算法将输出层的决策分值逐层反向传播到输入层，计算每个词向量的贡献度，能够精准定位文本中的情感关键词、否定词、程度副词等对结果的影响；掩码扰动分析：通过随机掩码或替换文本中的token，观察模型输出的变化幅度，量化每个token的重要性，该方法在预训练语言模型的解释中应用广泛，但计算成本较高；注意力权重可视化：针对BERT等基于自注意力的模型，直接提取注意力权重矩阵，展示不同词之间的依赖关系，例如在“这个电影的剧情虽然平淡，但演员演技非常出色”样本中，注意力权重会突出“但”“非常出色”等转折和情感表达词汇。语音模态的特征解释聚焦于声学特征的贡献分析，常用特征包括梅尔频率倒谱系数（MFCC）、基频（F0）、能量、语速等。现有研究通过扰动特定声学特征区间，统计情感分类结果的变化，能够识别出语音中的重音位置、语调变化、停顿时长等与情感表达的关联。例如在愤怒情感的识别中，模型通常会显著依赖高能量、高基频的声学片段，解释结果可以通过热力图的形式标注语音波形中贡献度最高的时段。视觉模态的解释技术以类激活映射（CAM）系列方法为核心，包括Grad-CAM、Grad-CAM++等，能够生成视觉输入的热力图，定位面部表情、肢体动作、场景环境中对情感判断最重要的区域。例如在人脸情感识别中，热力图通常会高亮眉眼区域、嘴部区域，对应皱眉、微笑等关键表情特征；在包含场景的多模态样本中，解释结果还可以区分出“背景中的烟花”“破损的物体”等环境元素对情感判断的贡献。2.2模态间交互机制解释技术模态交互是多模态模型区别于单模态模型的核心特征，也是可解释性研究的难点，当前研究主要围绕融合过程的权重分配和跨模态关联挖掘两个方向展开。在融合权重解释方面，基于注意力机制的模型天然具备一定的可解释性：多模态注意力层输出的模态权重可以直接反映不同模态在决策中的相对重要性。例如在“用户语音表达愤怒但文本内容为礼貌用语”的冲突样本中，若模型最终判断为消极情感，解释结果可以展示语音模态的权重为0.72，文本模态的权重为0.28，说明模型优先依赖语音信号做出决策。但需要注意的是，注意力权重的可解释性存在争议，部分研究表明注意力权重与真实特征贡献度并不完全对齐，需要结合扰动实验进行验证。跨模态关联解释旨在挖掘不同模态特征之间的语义对齐关系，典型方法包括：跨模态注意力热力图：展示文本token与语音片段、视觉区域的对应关系，例如文本中的“开心”一词会对应语音中的高语调片段、视觉中的微笑区域，验证跨模态特征的语义一致性；模态贡献度分解：通过Shapley值、Banzhaf值等博弈论方法，精确量化每个模态的边际贡献，解决模态重叠信息的贡献拆分问题。例如某样本的文本、语音、视觉三个模态单独分类的准确率分别为0.65、0.70、0.68，融合后准确率为0.89，Shapley值可以计算出三个模态对融合增益的贡献分别为0.08、0.10、0.06，直观反映不同模态的价值。2.3预训练多模态模型的可解释性技术随着CLIP、ViLBERT、FLAVA等大规模多模态预训练模型成为MSA的主流基座，针对预训练模型的可解释性研究成为热点。当前技术路径主要包括三类：第一类是探测探针（Probe）技术，即在预训练模型的不同隐藏层插入小型分类器，探测不同层编码的语义信息。研究表明，多模态预训练模型的低层主要编码单模态独立特征，中层开始编码跨模态的低级关联（如文本词汇与视觉物体的对应），高层编码高级情感语义，该发现为分层解释预训练模型的推理过程提供了依据。第二类是预训练模型的注意力模式分析，通过统计大规模样本的注意力权重分布，总结出通用的跨模态注意力规则。例如研究发现，CLIP模型在处理情感相关样本时，文本侧的注意力会更集中于情感形容词，视觉侧的注意力会更集中于前景中的人物区域，跨模态注意力会优先对齐情感表达相关的特征对。第三类是模型编辑技术，通过定位预训练模型中负责特定情感识别和模态交互的神经元，实现对模型决策逻辑的精准调整。例如当发现模型对“女性悲伤表情”的识别存在偏见时，可以定位到相关的神经元集群，通过微调神经元权重修正偏见，同时记录修改前后的输出变化，验证该神经元集群的功能，实现“调试-验证-解释”的闭环。三、可解释性评估体系与现存挑战3.1可解释性的量化评估方法MSA可解释性的评估目前尚未形成统一标准，现有评估维度可以分为三类：面向人类的评估：通过用户实验评估解释结果的可理解性、可信度和有用性。实验通常招募普通用户或领域专家，让其根据解释结果判断模型决策是否合理，或者预测模型在新样本上的输出，以用户判断的准确率作为解释质量的衡量指标。例如在医疗场景的情感分析中，心理医生对解释结果的认可度是评估模型可落地性的核心指标。面向模型的评估：量化解释结果与模型真实决策逻辑的对齐程度，常用指标包括：保真性（Fidelity）：即根据解释结果构造的简化模型（如线性模型、决策树）与原模型输出的一致性，保真性越高说明解释越接近真实逻辑；鲁棒性（Robustness）：即输入样本发生微小扰动时，解释结果的稳定性，若轻微扰动就导致解释结果发生巨大变化，说明解释的可信度不足；公平性（Fairness）：即解释结果是否揭示模型的偏见，例如是否对不同性别、年龄的群体，模态权重的分配存在系统性偏差。面向任务的评估：结合具体应用场景的需求评估解释的价值，例如在司法场景中，解释结果需要符合法律文书的证据要求，能够清晰列出决策的事实依据；在自动驾驶场景中，解释需要在100ms内输出，满足实时性要求。3.2当前研究的核心挑战一是多模态特征的耦合性导致解释粒度难以平衡。多模态数据存在复杂的互补和冗余关系，例如文本中的“笑”可能对应视觉中的微笑表情和语音中的笑声，三者的贡献存在重叠，现有方法很难精准拆分每个模态的独立贡献和协同贡献。过粗的解释无法定位具体的特征原因，过细的解释又会陷入特征耦合的困境，导致结果冗余难以理解。二是动态交互场景下的解释时效性不足。在实时对话、直播分析等流式多模态场景中，模型需要连续处理时序数据，情感判断依赖上下文的跨模态关联，现有解释方法大多针对静态样本设计，计算复杂度高，无法满足实时输出解释的需求。同时时序动态性导致解释结果需要具备时间维度的连贯性，如何展示不同时间步的特征贡献和模态交互变化，仍是未解决的问题。三是跨领域迁移的解释一致性差。现有可解释性方法大多在特定数据集（如CMU-MOSI、CH-SIMS）上验证，当模型迁移到不同领域（如从娱乐评论迁移到医疗问诊）时，特征分布、模态重要性都会发生变化，解释结果的保真性会大幅下降。如何构建领域自适应的可解释性框架，保证解释在跨场景时的可信度，是落地过程中的关键难题。四是可解释性与模型性能的权衡问题。内在可解释性模型通常需要牺牲部分性能来换取透明性，例如引入显式的规则会限制模型的拟合能力；事后解释方法会增加额外的计算开销。在高准确率要求的场景中，如何在不降低模型性能的前提下实现可解释性，仍是行业面临的普遍矛盾。四、研究趋势与落地应用方向未来MSA可解释性研究将沿着三个方向推进：第一是因果可解释性框架的构建，突破现有相关性解释的局限，通过因果干预实验识别模型决策的因果特征，回答“如果修改这个特征，模型的决策会发生什么变化”的问题，从根本上提升解释的可靠性。第二是多模态大模型的原生可解释性设计，未来的预训练模型会在架构阶段融入可解释性模块，例如内置特征归因、模态贡献度计算、决策路径记录等功能，避免事后解释的伪相关问题。第三是标准化可解释性工具链的开发，针对不同应用场景提供开箱即用的解释组件，实现模型训练、推理、审计全流程的可解释性覆盖，降低落地门槛。在落地应用层面，可解释性将成为MSA进入高风险领域的必备资质：在医疗心理健