模态基础及学习 12

多模态融合多模态机器学习2定义：整合音频、视频、文本等不同来源的媒体信息及相关特征，以完成特定分析任务。典型任务：语义概念检测、音频-视觉说话人识别、人员跟踪和事件检测。作用：利用模态间的互补信息，提升系统整体感知能力和决策准确性。挑战：不同模态在表现形式、时间尺度和语义粒度上存在差异。关键问题：融合层次、融合方法，以及融合的时机与机制。为什么需要多模态融合多模态机器学习3多模态融合的层次：特征层融合、决策层融合、混合层融合。多模态融合的方法：基于规则、基于分类器、基于估计。与融合相关的其他问题：模态相关性、同步性、冗余性。本章内容多模态机器学习4图7.1：特征层、决策层与混合层融合的典型结构。多模态融合的三个层次多模态机器学习5输入：从不同模态中提取特征F₁～Fₙ。特征融合单元（FF）：将多模态特征整合为统一的联合特征向量F₁…ₙ。分析单元（AU）：接收联合特征并输出语义级判断D。常见特征：视觉、文本、音频、运动特征和元数据。特征层融合：先融合特征多模态机器学习6优势：在任务早期利用不同模态特征之间的相关性，提高分析判断能力。前提：各模态在时间、空间或语义上具有良好的一致性。限制：某一模态缺失或质量较差时，整体融合性能可能严重下降。特征层融合的优势与限制多模态机器学习7局部决策：各分析单元分别基于特征F₁～Fₙ得到D₁～Dₙ。决策融合单元（DF）：将局部决策整合为统一的决策融合向量D₁…ₙ。最终判断：分析单元AU对融合后的决策向量进一步分析，输出综合判断D。决策含义：分析单元在语义级别上的输出。决策层融合：先独立决策多模态机器学习8第一路：部分模态先经FF形成联合特征，再由AU产生中间决策。第二路：其余模态分别由AU得到各自决策，再通过DF融合。最终融合：继续融合前面得到的所有决策，形成最终判断。特点：同时发挥特征层融合和决策层融合的优势。混合层融合：结合早期与晚期多模态机器学习9特征层融合：融合对象是低级或中间特征；顺序为“特征提取→FF→AU”。决策层融合：融合对象是语义级决策；顺序为“各模态AU→DF→AU”。混合层融合：一部分模态先做特征融合，另一部分先独立决策，最后再做决策融合。选择依据：取决于模态对齐状况、任务需要和可用数据。三种融合层次如何区分多模态机器学习10基于规则的方法：依据通用规则或面向任务的自定义规则进行融合。基于分类器的方法：将多模态信息映射到预定义类别。基于估计的方法：用于参数估计、生成建模、贝叶斯推理以及动态状态估计。使用倾向：规则和分类器方法常用于观测驱动的判断与分类；估计方法常用于时序融合与跟踪。多模态融合方法的三类框架多模态机器学习11适用条件：不同模态间的时序对齐质量较高。通用规则：线性加权融合、多数表决融合。任务规则：根据特定领域或复杂场景设计自定义融合规则。基于规则的融合方法多模态机器学习12基本思想：将各模态特征或分类器决策按归一化权重进行融合。符号说明：I(i)为第i个模态的信息，ω(i)为其归一化权重。常见归一化：最小-最大值、z分数、tanh与等权重等。特点：计算简单、成本低；权重需结合任务与数据合理确定。线性加权融合多模态机器学习13层次：常见的决策层融合方法。规则：所有模态或分类器权重相同，获得最多票数的决策成为最终结果。优势：其他分类器的投票可纠正单个分类器错误，提高系统鲁棒性。限制：分类器性能差异显著时，等权处理并不合理。改进：依据性能差异为各分类器匹配合适权重。多数表决融合多模态机器学习14用途：面向特定领域或复杂应用场景设计规则，灵活性较高。示例：融合笔输入与语音输入的生成规则决策层方法。使用环境：由同一会话轮次中的先前识别结果和对话状态确定。同步规则：跟踪识别器状态；存在待处理结果时暂停其他规则。多模态事件解析规则：选择得分最高的事件，解决冲突事件。单模态解析规则：当某一识别器超时或无有效结果时启用。自定义规则融合多模态机器学习15线性加权：简单、成本低；主要难点是准确确定模态权重。多数表决：适合多个分类器或模态性能大致相当的场景；差异明显时等权会降低效果。自定义规则：能适应特定任务；但依赖领域知识或专家经验，实施复杂、通用性较弱。规则融合方法小结多模态机器学习16目标：利用传统机器学习或统计推理，将来自不同模态的信息映射到预定义类别。典型方法：支持向量机、贝叶斯推理和D-S证据理论。模型视角：可进一步分为判别式模型与生成式模型；教材不再细分。基于分类器的融合方法多模态机器学习17SVM：通过寻找最大间隔超平面完成二分类；核函数可处理非线性分类问题。融合层次：常用于决策层融合。融合步骤：各模态独立训练分类器→输出置信度分数→拼接为特征向量→输入高层SVM。输出：高层SVM给出最终融合判断。支持向量机融合多模态机器学习18适用：特征层融合和决策层融合。基本思想：将多模态观察或中间决策整合为联合概率，计算后验概率。条件：模态统计独立；N为归一化常数，ω(k)为模态权重。贝叶斯推理融合多模态机器学习19与贝叶斯相比：放宽假设独立性限制。置信度：假设为真的最小信心。可信性：假设为真的最大可能性。置信区间：由置信度与可信性共同确定。D-S理论：用区间表达不确定性图7.2D-S理论的置信度和可信性所有反对该假设的证据之和多模态机器学习20基本框架：可分辨框架θ包含所有可能的互斥假设。置信质量：m在P(θ)上为各假设分配概率。合并规则：多个独立模态的证据按式（7-4）进行组合。特点：适合不确定信息；假设增多会导致组合爆炸。D-S理论的证据合并多模态机器学习21SVM：判别式分类器，凭借良好的分类性能广泛用于多模态决策融合。贝叶斯推理：能结合先验与新观测；依赖独立性假设和先验概率的准确性。D-S理论：适合相关性强或不确定信息；需在精度、假设数量和计算效率间平衡。分类器融合方法小结多模态机器学习22面向问题：动态系统中的状态估计。典型任务：多模态时间序列融合与跟踪，尤其是目标检测和行为识别。代表方法：卡尔曼滤波器、扩展卡尔曼滤波器、粒子滤波器。基于估计的融合方法多模态机器学习23假设：系统为线性动态系统，当前状态由前一时刻状态演化，当前观测由当前状态通过观测模型生成。模型含义：A为过渡模型，B为控制输入模型，I为输入向量，H为观测模型。噪声：w(t)与v(t)分别为过程噪声和观测噪声。卡尔曼滤波器多模态机器学习24扩展卡尔曼滤波器（EKF）：用于处理非线性系统模型。逆卡尔曼滤波器：读取一个估计并生成一个观测值。标准卡尔曼滤波器：读取一个观测值并生成一个估计。卡尔曼滤波的扩展形式多模态机器学习25别名：顺序蒙特卡洛（SequentialMonteCarlo）方法。适用对象：非线性、非高斯状态空间模型。粒子：状态变量的随机样本，每个粒子带有关联权重。预测步骤：根据每个粒子的动态进行传播。更新步骤：根据最新感知信息重新计算粒子权重。性质：样本数量足够时，可提供对非线性、非高斯过程的贝叶斯最优估计。粒子滤波器多模态机器学习26共同用途：估计和预测一段时间内的融合观测值，适合目标定位与跟踪。卡尔曼滤波器：适合线性模型。扩展卡尔曼滤波器：更适合非线性模型。粒子滤波器：面对非线性、非高斯模型时鲁棒性更强。估计融合方法小结多模态机器学习27模态相关性：不同模态之间的交互关系与统计共变性。模态同步性：不同格式、采样速率与处理时延造成的时间对齐问题。模态冗余性：模态选择与特征降维问题。融合过程中的三个特殊问题多模态机器学习28相关性：不同模态之间的交互关系与统计共变性，可为融合提供额外线索。相关系数：度量两个模态线性关系的强度和方向。互信息：互信息衡量两个模态之间共享的信息量。典型相关分析：寻找两个特征集之间最相关的线性投影。因果关系分析：依据事件的时间顺序与依赖关系推断因果强度。模态相关性的四种分析方式多模态机器学习29相关系数：度量两个模态线性关系的强度和方向。互信息：基于联合分布与边缘分布，衡量模态间共享的信息量。相关系数与互信息多模态机器学习30目标：寻找线性变换矩阵A、B，将两个特征集投影到统计相关性最大的空间。作用：A、B对特征集进行白化，去除冗余并降低内部相关性。约束：投影后协方差矩阵为对角矩阵，各维度之间的相关性最大。同步得分：选取A和B的前M个向量，按式（7-10）计算。典型相关分析（CCA）多模态机器学习31因果关系分析：根据事件时间顺序和依赖关系，推断事件对之间的因果强度。因果链：通过事件对的后验概率构建最优因果链，表示事件之间的因果结构。模态权重：反映各模态在决策中的相对重要性。关键挑战：权重随任务和数据动态确定，是高效融合的关键。因果关系与模态权重多模态机器学习32特征级同步：对齐来自同一时间段的多模态特征。决策级同步：确定时间轴上进行决策融合的指定点。额外时延：决策级还要考虑从特征到决策推理的处理时间。模态同步性：特征级与决策级图7.3特征级和决策级模态同步性说明多模态机器学习33同步原因：各模态格式、采样速率、特征提取周期和推理时间可能不同。策略一：在规则时间间隔上融合；计算成本较低，但不一定最优。策略二：在所有特征都可用的时间点上进行融合。决策级：同样可采用上述策略，但还要处理额外推理时延。最小时间周期：应刚好足够捕获完成任务所需的数据；如何确定仍需进一步探索。同步策略与最小时间周期多模态机器学习34两个层面：模态选择与特征降维。模态选择：从多种模态或传感器流中选择用于融合的最佳子集。现有局限：不同模态组合尚未得到充分研究。特征降维：缓解计算、存储、维数灾难