《智能信息检索与生成式AI应用》课件-3.transformer架构 6.4 AIGC的核心技术_第1页
《智能信息检索与生成式AI应用》课件-3.transformer架构 6.4 AIGC的核心技术_第2页
《智能信息检索与生成式AI应用》课件-3.transformer架构 6.4 AIGC的核心技术_第3页
《智能信息检索与生成式AI应用》课件-3.transformer架构 6.4 AIGC的核心技术_第4页
《智能信息检索与生成式AI应用》课件-3.transformer架构 6.4 AIGC的核心技术_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Transformer架构01理解Transformer架构02了解预训练大模型学

习

目

标什么是Transformer来源2017年的论文《AttentionisAllYouNeed》中提出了Transformer模型。这一创新彻底改变了自然语言处理领域的格局Transformer架构的两个核心技术注意力机制是深度学习中一种重要的技术，它通过计算不同输入部分的权重，使模型能够动态聚焦于关键信息，从而提高处理序列数据、图像识别和自然语言处理任务的性能。注意力机制编码器-解码器结构是一种经典的神经网络架构，编码器将输入数据压缩为固定长度的向量表示，解码器则基于该表示生成目标输出，广泛应用于机器翻译、文本摘要和语音识别等领域。编码器-解码器结构编码器-解码器结构核心思想将输入数据转换为一种中间表示（编码），再从这种表示重构或生成目标输出（解码），类似于通信系统中的编码与解码过程覆盖性以机器翻译为例假设实现将法语翻译为英语编码器负责理解输入的源语言文本解码器则负责生成目标语言的翻译结果每个编码器和解码器包含的子层注意力层使模型能够关注输入序列的不同部分。例如，在处理法语句子“Jesuisétudiant”时，对于suis这个词，自注意力层可能会特别关注主语Je和宾语

étudiant，因为这3个词在语法上紧密相关前馈网络层进一步处理信息。这一层接收自注意力层的输出，对每个位置的信息进行独立的深度处理，例如可能进一步强化étudiant是名词性宾语的特征，或者处理suis作为系动词的语法信息Transformer的整体架构核心思想核心结构分为编码器和解码器两部分，编码器负责对输入序列进行特征提取，解码器则基于编码信息和已生成内容输出目标序列。编码器由多层多头注意力和前馈神经网络堆叠而成，解码器在此基础上增加了编码器-解码器注意力层，以此实现对输入信息的精准关联。整个架构通过位置编码补充序列的时序信息，结合残差连接与层归一化保障训练稳定性，成为当下大语言模型、多模态模型的基础骨架Transformer的应用代表模型有两种版本：小版本包含1.1亿个参数，大版本包含3.4亿个参数BERT模型01GPT模型使用了Transformer的解码器部分，主要用于生成任务GPT模型02以Transformer架构为基础，并融入混合专家、分组查询注意力等创新机制DeepSeek模型

03预训练大模型Transformer架构奠定了大模型技术基础，硬件发展为大模型训练提供了支持预训练大模型核心思想预训练大模型结合了大模型和预训练两个关键概念首先在大规模的通用数据上进行预训练，使模型学习到基础的语义和结构信息，形成一个强大的基础模型。之后，这个基础模型可以在不同的任务上进行微调，只需少量的额外训练数据，就能很好地适应新的任务。“先预训练，再微调”的方法提高了训练效率，还提升了模型的通用性和适应性核心技术是迁移学习小

结Transformer架构的两个核心技术注意力机制和编码器解码器结构Transf

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论