《智能信息检索与生成式AI应用》课件-2.注意力机制 6.4 AIGC的核心技术_第1页
《智能信息检索与生成式AI应用》课件-2.注意力机制 6.4 AIGC的核心技术_第2页
《智能信息检索与生成式AI应用》课件-2.注意力机制 6.4 AIGC的核心技术_第3页
《智能信息检索与生成式AI应用》课件-2.注意力机制 6.4 AIGC的核心技术_第4页
《智能信息检索与生成式AI应用》课件-2.注意力机制 6.4 AIGC的核心技术_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

注意力机制01了解注意力机制的核心思想02理解注意力机制原理学

习

目

标我们是如何“注意”的？

当我们看一幅图，并不会平均的处理所有信息。我们第一眼应该是看到一只动物，然后，眼睛会先注意到动物的脸，然后得出初步结论，这应该是一只狼；就像右边注意力图所示，颜色更深的部分表示一般是我们人类最先看见（注意）的在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息注意力机制的来源与思想来源现代意义上的自注意力机制首次出现在2017年的论文《AttentionisAllYouNeed》中，该论文由GoogleBrain团队提出核心思想注意力机制是一种允许模型在处理信息时动态地专注于关键部分，忽略不相关信息，从而提高处理效率和准确性的机制。它模仿了人类视觉处理信息时选择性关注的特点不是平等看待所有输入信息。而是根据当前的任务，动态地、有区别地为不同部分分配“重要性权重”注意力机制的原理举例任务翻译：Iloveyoubaby核心思想先用词嵌入，将每个词生成一个词向量然后给每个词一个位置编码，来表达这个词在句子中的位置将位置编码加入到词向量中注意力机制的原理核心思想由训练得到的QKV矩阵Q，即Query：我要找什么信息K，即Key：我有什么信息V，即Value：我能提供的具体内容

对QKV的理解我们有一组体重数据Q,，要从一本数据手册中（key-value）找到符合这个数据的人注意力机制的原理核心思想将“我”“爱”“你”“宝贝”的词向量分别与Q矩阵做点积运算，得到q1-q4再对上述的词向量分别与K矩阵做点积运算，得到k1-k4容纳后对上述词向量分别与V矩阵做点积运算v1-v4注意力机制的原理核心思想将q1与k1-k4分别做点积，这就是所谓的相似度，得到a11-a14为了防止梯度爆炸，我们将得到的a11-a14进行统一的变形及标准化，得到a11’-a14’即权重接下来我们对矩阵[a11',a12',a13',a14']与v向量相乘再相加，得到最终的注意力值a1相当于把所有上下文的信息都包含到每一个词中注意力机制的原理核心思想同样对q2、q3、q4也进行相同的操作最终得到a2、a3、a4相似度的计算还可以采用其他加权计算方式注意力机制的原理最终实现注意力机制的优势更擅长处理长信息

不再受限于固定长度的记忆，可以随时聚焦到远处的关键信息。结果更准确、更符合逻辑

翻译时能正确对齐词语，阅读时能理解指代关系（如“它”指什么）。可解释性增强

我们可以查看“注意力权重分布图”，看到AI在处理时到底关注了哪些部分（有点像X光片）小

结注意力机制是一种允许模型在处理信息时动态地专注于关键部分，忽略不相关信息，从而提高处理效率和准

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论