人工基础智能教程 6_第1页
人工基础智能教程 6_第2页
人工基础智能教程 6_第3页
人工基础智能教程 6_第4页
人工基础智能教程 6_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第6章自然语言处理主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代NLP任务核心任务与评估体系文本分类：最基础的任务，广泛应用于垃圾邮件过滤、新闻自动归类及情感分析。命名实体识别：典型的序列标注任务，是信息抽取和知识图谱构建的基础。机器翻译：将源语言文本自动转换为等价的目标语言文本。文本生成与摘要：对话响应生成，故事续写，提取关键信息等。问答系统：根据给定的上下文回答自然语言问题。主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代文本的向量化表示

离散表示:One-hot编码(维度灾难、正交性)、词袋模型、TF-IDF(词频与逆文档频率)词嵌入:基于分布式假设，捕获线性类比关系语义空间:向量几何距离反映语义相似度Vector(女王)≈Vector(国王)-Vector(男人)+Vector(女人)主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代序列建模:从RNN到Transformer循环神经网络（RNN）与其变体（1）RNN（recurrentneuralnetwork）：引入循环连接。（2）LSTM（longshort-termmemory）：引入细胞状态（cellstate），通过三个门控机制精细调节信息流。（3）GRU（gatedrecurrentunit）：将遗忘门与输入门合并为更新门。序列建模:从RNN到Transformer革命性架构：TransformerTransformer摒弃了循环结构，完全依赖自注意力机制（self-attention）。缩放点积注意力（ScaledDot-ProductAttention）：多头注意力（multi-headattention）：并行运行多个注意力头。位置编码（positionalencoding）：显式注入位置信息。主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代预训练语言模型时代模型家族（1）Encoder-only（如BERT，RoBERTa）：擅长理解与判别任务（分类、NER）。（2）Decoder-only（如GPT系列，LLaMA）：擅长生成与开放

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论