图说图解机器学习（第2版） 课件 18. 自然语言处理_第1页
图说图解机器学习（第2版） 课件 18. 自然语言处理_第2页
图说图解机器学习（第2版） 课件 18. 自然语言处理_第3页
图说图解机器学习（第2版） 课件 18. 自然语言处理_第4页
图说图解机器学习（第2版） 课件 18. 自然语言处理_第5页
已阅读5页，还剩15页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

人工智能基础

--自然语言处理耿煜大纲自然语言处理简介自然语言数字化特征提取橙现智能实战大纲自然语言处理简介自然语言处理简介目标是实现人与计算机之间用自然语言进行有效通信，它包括很多的内容语义分析信息抽取机器翻译等自然语言数字化自然语言数字化计算机怎么看懂自然语言？图像本身就是以像素形式数字化存在的数值与图像明暗等有明确的关系语言也是以数字存储的Unicode

词与词之间的关系能看出来吗？词嵌入一个方法就是词嵌入（wordembedding），即将词映射到一个向量空间，也就是将词嵌入到另一个便于计算的空间独热编码简单粗暴，每个词对应一个向量维度太大，0太多，向量之间都正交，看不出啥关系词袋（BagofWords,BoW）

词袋（BagofWords,BoW）

简单粗暴，数一数每个词出现的次数仍然是一个词一个维度句子之间的关系通过计算距离来实现余弦距离欧氏距离。。。神经网络语言模型一个词一个维度太浪费了吧词和词有关系“我，你，他”，“香蕉，苹果”等分别一个维度可以吗？手工分？特征自动提取？神经网络？神经网络语言模型（Neuralnetworklanguagemodel，NNLM）自动找到词之间的关系可以进行向量加减法Word2Vec一词多义

ELMoELMo，EmbeddingfromLanguageModels。动态调整词的向量表示（即语义），训练出三个词嵌入分别是单词特征，句法特征和语义特征在实际使用中根据上下文将三个词嵌入按照一定的比例相加ELMo分别是单词特征，句法特征和语义特征中根据上下文将三个词嵌入按照一定的比例相加ELMoELMo相当于自然语言处理领域的迁移学习的基础，在实际应用的时候要做的就是微调各个词的含义了。特征提取语言数字化为向量之后怎么用呢？所有向量作为特征输入某个模型吗？就像在图像识别中，我们很难将成千上万的向量输入模型中直接运算，而是想要提取出特征，然后将这些特征作为后面模型的输入。RNN提取特征RecurrentNeuralNetwork,RNN每一个输出不仅与当前输入有关，还和前面的输出有关远处的词呢？LSTM提取特征一种特殊的RNN网络，长短期记忆网络(LongShortTermMemorynetworks，LSTM)不仅仅能记住附近有什么词，还能够记住较远的词但是长句不理想，并行计算也不好Transformer

提取特征它是谷歌在17年做机器翻译任务的“Attentionisallyouneed”的论文中提出的。其中使用了Attention，即注意力机制。我们人类在看一段话的时候，不可能将每个词都赋予同样的重要性，肯定是一些比较重要，那就更“注意”这些词。注意力机制即仿照我们人类的注意力，将每句话不同词赋予不同的注意力权重，而且并行执行。这就解决了LSTM的两个问题。2018年出现的Bert（BidirectionalEncoderRepresentationsfromTransformers）即在ELMo和T

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论