人工智能导论-面向自动化类本科专业 课件 第5章 注意力机制与多模态融合

第5章注意力机制与多模态融合《人工智能导论》配套课件《人工智能导论》教研组本章目录5.1智能时代的大模型与高性能变革15.2注意力机制5.4注意力与多模态融合的未来展望5.3大模型的外拓：多模态融合本章目录5.1智能时代的大模型与高性能变革15.2注意力机制5.4注意力与多模态融合的未来展望5.3大模型的外拓：多模态融合5.1智能时代的大模型与高性能变革5.1.1大模型：智能时代的变革引擎大模型诞生于深度学习与算力、数据激增的交汇点，以Transformer为代表，凭借庞大参数与复杂结构，展现出强大泛化与涌现能力，引领人工智能新阶段。（1）深度学习奠基，2006年无监督预训练解决梯度问题，推动神经网络重获关注与发展。（2）2012年AlexNet在ImageNet取胜，证明深度模型在视觉任务上的巨大潜力与实际价值。（3）专用算力（GPU/TPU）与海量互联网数据共同支撑大模型训练规模的大幅提升。（4）Transformer结构催生参数爆发式增长，使模型能力与表达力迈入全新层级。（5）大模型以复杂结构和大量参数实现涌现性，推动多领域AI应用与智能化进程。大模型在不同任务产生“涌现”现象的参数量比较如图5-1所示。5.1智能时代的大模型与高性能变革图5-1大模型在不同任务产生“涌现”现象的参数量比较5.1智能时代的大模型与高性能变革大模型凭借复杂结构、大量参数与海量数据驱动，形成涌现能力，能够抽象高层特征并实现强泛化，从而在复杂任务中给出更准确全面的判断与预测。（1）复杂网络结构使神经元连接丰富，能提取高层语义特征，将原始数据转换为语义密集的特征向量，提升模型理解深度。（2）大量参数赋予模型强大表达能力，支持复杂非线性变换，使LLM通过海量训练学习语言抽象规律，生成自然流畅文本。（3）海量数据驱动训练使模型吸收普遍且稳健的规律，增强适应新任务的泛化能力，提高在未知场景下的表现可靠性。5.1智能时代的大模型与高性能变革5.1.2高性能大模型高性能大模型结合注意力与多模态技术，强调架构创新、推理速度与资源效率，在保证或提升性能的同时降低训练成本与能耗，推动高效且可持续的AI应用落地。（1）从单纯扩参走向架构优化与效率优先，模型设计更注重实用性能与部署友好性，兼顾准确率与速度。（2）注意力机制与多模态融合提升表示能力，使模型在跨模态任务上表现更强且更稳定。（3）高性能模型通过模型压缩、蒸馏与稀疏化等技术降低推理计算与内存需求，提高资源利用率。（4）更快的推断与更低延迟满足实时应用需求，促进边缘部署与大规模在线服务的可行性。（5）减少训练成本与能源消耗推动绿色AI发展，使高性能模型在工业和科研场景中更可持续、经济。本章目录5.1智能时代的大模型与高性能变革15.2注意力机制5.4注意力与多模态融合的未来展望5.3大模型的外拓：多模态融合5.2注意力机制注意力机制源自对人类注意分配方式的研究，通过动态分配权重让模型选择性关注输入序列的关键元素，从而更高效地处理和学习数据中的信息，提升表示能力与训练效率。在自然语言处理中，注意力机制广泛用于机器翻译、文本分类与问答等任务，帮助模型捕捉句间语义对应关系；在计算机视觉中，可增强对图像重要区域与特征的关注度，提高识别与检测效果。这一机制模拟人类观察图像时集中有限注意力的策略，图5-2示意人眼如何将注意力聚焦于关键目标（红色区域），从而以有限资源实现更高的信息处理效率。5.2注意力机制图5-2人类在看到一幅图像时的注意力分配5.2注意力机制注意力机制是人脑式的资源分配策略，通过动态聚焦关键信息并结合自注意力、多头机制及高性能变体，提升模型上下文理解、长序列处理与推理效率，推动智能系统性能与应用扩展。（1）人脑注意力在视觉场景中有选择性聚焦，近景细节受更多关注，远景仅保留关键信息，体现资源分配本质。（2）自注意力与多头注意力增强表示能力，提高模型对上下文关系的捕捉与泛化性能。（3）GQA、MLA等高性能机制通过创新与低秩压缩优化内存与推理，提升长序列处理与复杂任务能力。5.2注意力机制5.2.1注意力机制的基本原理注意力机制使模型动态聚焦关键信息，按权重分配资源，忽略无关部分，以模拟人类注意分配并量化输入元素的重要性。注意力机制的基本原理如图5-2所示。5.2注意力机制图5-3注意力机制的基本原理5.2注意力机制图5-3中的编号①~④部分，对应多头注意力机制计算过程的关键环节，具体功能如下：①输入词向量组成句子这里表示输入的3个词（“I”、“like”、“dream”）被转换成向量表示，构成一个词序列矩阵。矩阵形式是(3,dim)，3是词的数量，dim是每个词向量的维度。这是多头注意力计算的输入基础。②输入数据经过3个矩阵变换得到对输入词向量做线性变换，乘以3个不同的权重矩阵：，分别得到查询向量、键向量和值向量。这一步是通过学习的权重矩阵，将输入词向量映射到不同的空间，方便计算注意力权重。是多头注意力的核心数据结构，多个头的结果通过拼接拼成整体。③两个3×3的矩阵分别表示3个词间的相关度这是注意力分数矩阵的计算，分别计算不同头的，得到每个头内部词与词之间的相关度。5.2注意力机制使用softmax函数归一化，得到的矩阵表示每个词对句中其他词的“关注”权重。Softmax函数是一种把实数向量转化为概率分布的工具。它把向量中的每个分量映射成一个非负且总和为一的数，表示该分量所属类别的预测概率。简单地说，分量越大，得到的概率就越高，帮助模型在多分类任务中给出“最可能”的类别。为了避免数值上的不稳定，实际计算时常常先把向量中的最大值减去，再进行处理，从而防止溢出。该相关度矩阵衡量词与词之间的联系强弱，是注意力机制的关键。④最终输出的每个词向量增加了来自与之相关的词向量信息用上述计算的相关度矩阵对进行加权求和，得到加权后的词向量表示。多个头的加权输出拼接，得到包含上下文信息的增强表示。这一步是多头注意力的主要输出，丰富了词的语义表示。总结来说，①~④编号部分依次描述了从词向量输入，到线性变换生成，再到计算注意力权重，最后生成带有上下文信息的输出向量的完整过程。5.2注意力机制5.2.2注意力机制的变革与发展注意力机制持续演化，涌现Self-Attention与Multi-HeadAttention（MHA）等变体，帮助模型捕捉序列内依赖、多子空间特征，并结合其他形式以提升性能、鲁棒性与适应性。（1）Self-Attention允许模型在单序列内部关注不同位置，捕捉长距离依赖，增强上下文理解，从而在机器翻译、文本摘要等任务中显著提升生成质量与一致性。（2）Multi-HeadAttention（MHA）通过多个独立注意力头并行学习不同子空间表示，融合多样信息，捕获更丰富特征，提升模型表达力与泛化能力。（3）HardAttention与SoftAttention分别对应离散选择与连续权重分配，前者效率高但不可微，后者可微且易训练，适用于不同任务与约束场景。（4）LocalAttention等变体侧重邻域信息与计算效率，可与全局注意力结合，平衡长序列建模能力与资源消耗，适配边缘计算与大规模部署需求。5.2注意力机制5.2.3高性能注意力机制GQA与MLA高性能注意力机制如GQA与MLA，通过共享KV、低秩压缩等技术在内存与推理效率间取得平衡，显著提升大模型处理长序列与复杂任务的性能与实用性。（1）GQA（GroupQueryAttention）通过共享键值矩阵减少显存占用，加速推理，适合长序列与大规模模型部署需求。（2）MLA（Multi-HeadLatentAttention）采用低秩压缩降低KV缓存需求，实现高效推理同时保持输出质量。（3）高性能注意力继承MHA优势，在多子空间并行学习的基础上优化计算与存储效率。（4）这些机制在自然语言处理和计算机视觉中均能提升长序列建模与复杂场景理解能力。（5）通过在性能与效率间权衡，GQA与MLA推动大模型更广泛的工程化应用与部署可行性。本章目录5.1智能时代的大模型与高性能变革15.2注意力机制5.4注意力与多模态融合的未来展望5.3大模型的外拓：多模态融合5.3大模型的外拓：多模态融合5.3.1多模态融合技术多模态融合将文本、图像、音频等异构数据有效整合，通过统一特征表示与跨模态对齐，利用注意力等机制提升模型感知与决策能力，推动智能交互与复杂任务应用落地。（1）数据预处理需统一格式并提取模态特征，确保不同来源的数据能被模型一致接收与利用。（2）模型设计应构建支持多模态输入的网络结构，常用注意力机制用于权衡各模态信息重要性。（3）跨模态融合关键在特征对齐与语义关联，需建立模态间的一致表示与映射关系。（4）表示学习需兼顾模态共性与差异，寻找统一表示方法以提升下游任务泛化能力。（5）多模态处理要求高计算与存储效率，需结合工程化优化以满足大规模应用部署需求。5.3大模型的外拓：多模态融合5.3.2融合策略与技术多模态融合是一种结合来自不同模态（如视觉、听觉、文本等）的数据，以提升信息处理和理解能力的技术方法。多模态大模型融合策略如图5-4所示。图5-4多模态大模型融合策略5.3大模型的外拓：多模态融合图5-4的混合融合策略以Cross-Attention为核心，在统一多任务框架下并行支持ITC、ITM与LM，以兼顾检索效率与深度跨模态理解与生成能力。（1）ITC（Image-TextContrastive）采用双流解耦编码，靠向量相似度（如点积）进行对比学习，适合大规模检索与全局对齐，计算高效易扩展。（2）ITM（Image-TextMatching）在文本编码器启用Cross-Attention，视觉与文本逐层交互，实现精细图文匹配与语义对齐，但计算成本更高。（3）LM（LanguageModeling/Captioning）用因果自注意力解码器结合Cross-Attention，将图像条件化引导逐词生成，适合描述生成，但对推理与检索效率要求较高。5.3大模型的外拓：多模态融合5.3.3深度学习在多模态融合中的应用场景多模态融合以深度学习为核心，贯穿情感分析、智能客服、自动驾驶、医学诊断与手语识别等场景。通过早期、混合与对齐策略，分别在特征层与决策层整合文本、语音、图像与传感器数据，捕捉跨模态互补与时序关系，提升理解、感知、诊断与交互的准确性、鲁棒性与实时性，展现广阔应用前景。1．情感分析（1）案例描述：在社交媒体上分析用户文字、图片与语音，深度学习自动提取语义、视觉与声学特征并融合，实现实时情绪监测与更准确的情感判断。（2）技术特点：采用混合融合策略：先各模态独立处理再决策层融合，模型自动学习表示与融合方法，提高情感分析准确性与鲁棒性。5.3大模型的外拓：多模态融合2．智能客服（1）案例描述：智能客服融合文本、语音与图像，多模态理解用户问题，提升交互体验并提供更准确解决方案。（2）技术特点：采用早期融合，在模型早期整合多模态数据，捕捉低级关联，增强对用户需求的全面理解。3．自动驾驶（1）案例描述：自动驾驶融合摄像头、雷达与LiDAR等传感器多模态数据，实现环境全面感知与准确判断，提升系统安全性与可靠性。（2）技术特点：采用混合融合策略于不同阶段多次整合模态，模型提取高级特征并实现跨模态匹配，增强感知与决策能力。5.3大模型的外拓：多模态融合4．医学诊断（1）案例描述：结合CT与MRI多模态图像，深度学习提取并融合特征，准确识别肿瘤位置与大小，辅助医生诊断。（2）技术特点：采用早期或混合融合，捕捉模态互补信息，提高诊断准确性与效率。5．手语识别（1）案例描述：视频帧视觉与环境音频融合，模型提取视觉与声学特征并跨模态匹配，提升手语手势识别准确性。（2）技术特点：采用对齐型融合，模型对齐视觉与音频时间信息，捕捉时序关系，增强识别准确性与实时性。这些应用案例展示了深度学习在多模态融合中的广泛应用前景和巨大潜力。随着技术的不断进步和创新，我们可以期待深度学习在多模态融合领域取得更多突破和进展。本章目录5.1智能时代的大模型与高性能变革15.2注意力机制5.4注意力与多模态融合的未来展望5.3大模型的外拓：多模态融合5.4注意力与多模态融合的未来展望随着AI发展，注意力引导关键信息，多模态融合突破单一数据限制，推动NLP、视觉与医疗、自动驾驶等领域更精准高效。注意力机制的融合如图5-5所示。图5-5注意力机制的融合5.4注意力与多模态融合的未来展望图5-5展示了多模态Transformer编码器的结构示意，重点阐释了图文联合学习中的三大核心任务：（1）图文匹配（Image-TextMatching）：通过池化层（Pooler）和全连接层（FC）对文本和图像的编码结果进行处理，最终输出匹配判断（True/False），用以判定图文内容是否对应。（2）掩码语言建模（MaskedLanguageModeling）：利用多层感知机（MLP）预测被掩码的单词（示例中为“office”），依靠文本上下文信息进行训练，提高模型对语言的理解能力。（3）词汇与图像块对齐（Word-PatchAlignment）：借助最优传输（OptimalTransport,OT）方法，将文本中的词向量与图像的视觉块进行精准对齐，促进多模态信息的深度融合。5.4注意力与多模态融合的未来展望图的下半部分展示了输入数据的编码流程：图5-5的下半部分展示了输入数据的编码流程。（1）文本首先通过词嵌入（WordEmbedding）转换为向量，示例句子为“astonestatuenearan[MASK]”。（2）图像被划分为若干小块（patches），并通过线性投影（LinearProjectionofFlattenedPatches）转换为向量表示。（3）文本和图像的向