seqseq学习课程

1、目录背景 backgroundseq2seq模型 model模型原理RNN/LSTM/GRU注意力机制Attention 数据集Movie-Lines实验框架Experiments第1页/共36页第一页，编辑于星期六：二十点 十四分。1PART第2页/共36页第二页，编辑于星期六：二十点 十四分。背景某些机器学习场景中很多问题的输入和输出是不定长的序列。以机器翻译为例，输入是可以是英语的一段话，输出可以是法语的一段话，输入输出皆不定长，例如p 英语： They are watching.p 法语： Ils regardent.当输输出都是不定长序列时，我们可以使编码器解码器（encoder-d

2、ecoder）或者 seq2seq。它们分别基于 2014 年的两个工作：l Cho et al., Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translationl Sutskever et al., Sequence to Sequence Learning with Neural Networks以上两个工作本质上都到了两个循环神经络，分别叫做编码器和解码器。编码器对应输序列，解码器对应输出序列。第3页/共36页第三页，编辑于星期六：二十点 十四分。2PART第4页

3、/共36页第四页，编辑于星期六：二十点 十四分。模型第5页/共36页第五页，编辑于星期六：二十点 十四分。3PART模型原理Principle第6页/共36页第六页，编辑于星期六：二十点 十四分。编码器编码器的作用是把一个不定长的输入序列转化成一个定长的背景向量c。该背景向量包含了输入序列的信息。常用的编码器是循环神经网络。假设循环神经网络单元为 f ，在 t 时刻的输入为假设 xt 是单个输出xt在嵌入层的结果，例如xt对应的 one-hot 向量 与嵌入层参数矩阵 的乘积 ，隐含变量为：编码器的背景向量：第7页/共36页第七页，编辑于星期六：二十点 十四分。双向循环神经网络第8页/共36页

4、第八页，编辑于星期六：二十点 十四分。双向循环神经网络第9页/共36页第九页，编辑于星期六：二十点 十四分。解码器第10页/共36页第十页，编辑于星期六：二十点 十四分。解码器第11页/共36页第十一页，编辑于星期六：二十点 十四分。模型s1s2 x1x2x3h0h1h2h3y0s0y1y1cy2编码器解码器初始化为0tanh(w*h1)第12页/共36页第十二页，编辑于星期六：二十点 十四分。模型第13页/共36页第十三页，编辑于星期六：二十点 十四分。4PART第14页/共36页第十四页，编辑于星期六：二十点 十四分。注意力机制s1s2 x1x2x3h0h1h2h3y0s0y1y1cy2编

5、码器解码器c1c2第15页/共36页第十五页，编辑于星期六：二十点 十四分。注意力机制第16页/共36页第十六页，编辑于星期六：二十点 十四分。编码器注意力机制h1h2h3.htt1t2t3ttstyt-1st-1y1解码器第17页/共36页第十七页，编辑于星期六：二十点 十四分。注意力机制第18页/共36页第十八页，编辑于星期六：二十点 十四分。注意力机制s1s2 x1x2x3h0h1h2h3y0s0y1y1y2编码器解码器第19页/共36页第十九页，编辑于星期六：二十点 十四分。GRU 重置门和更新门第20页/共36页第二十页，编辑于星期六：二十点 十四分。GRU 候选隐含状态第21页/共

6、36页第二十一页，编辑于星期六：二十点 十四分。GRU 隐含状态第22页/共36页第二十二页，编辑于星期六：二十点 十四分。GRU第23页/共36页第二十三页，编辑于星期六：二十点 十四分。结论第24页/共36页第二十四页，编辑于星期六：二十点 十四分。5PART第25页/共36页第二十五页，编辑于星期六：二十点 十四分。MovieLens 20Mmovies.csv:movies.csv表示电影ID、电影名称、电影流派/种类。其中电影流派具有多个标签，即可以表示电影的多个属性。数据格式如下： movieId, title, genresl movieId:每部电影的idltitle:电影的标

7、题l genres:电影的类别第26页/共36页第二十六页，编辑于星期六：二十点 十四分。MovieLens 20Mratings.csv: 文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下： userId, movieId, rating, timestampluserId: 每个用户的idl movieId: 每部电影的idl rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars)l timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数l 数据排序的顺序按照userId，movieId排列的。第27页/共36页

8、第二十七页，编辑于星期六：二十点 十四分。MovieLens 20Mtags.csv: 文件里面的内容包含了每一个用户对于每一个电影的分类。数据格式如下： userId, movieId, tag, timestampl userId: 每个用户的idl movieId: 每部电影的idl tag: 用户对电影的标签化评价l timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数l数据排序的顺序按照userId，movieId排列的。第28页/共36页第二十八页，编辑于星期六：二十点 十四分。MovieLens 20Mlinks.csv:文件里面的内容是帮助你如何通过网站i

9、d在对应网站上找到对应的电影链接的。数据格式如下： movieId, imdbId, tmdbIdl movieId:表示这部电影在movielens上的idl imdbId:表示这部电影在imdb上的idl tmdbId:表示这部电影在themoviedb上的id第29页/共36页第二十九页，编辑于星期六：二十点 十四分。MovieLens 20Mgenome-tags:电影标签 DNA标记，唯一标识符。第30页/共36页第三十页，编辑于星期六：二十点 十四分。MovieLens 20Mgenome-scores: genome_scores.csv: movieId+tagId+relev

10、ance。分别表示电影ID、电影标签ID、官方标签相关性。给出了电影的官方标签。第31页/共36页第三十一页，编辑于星期六：二十点 十四分。MovieLens 1MMovieLens 1M 数据集，包含6000个用户在近4000部电影上的1亿条评论。 数据集分为三个文件：用户数据users.dat，电影数据movies.dat和评分数据ratings.dat。User.dat:分别有用户ID、性别、年龄、职业ID和邮编等字段。Movies.dat:分别有电影ID、电影名和电影风格等字段。Ratings.dat:分别有用户ID、电影ID、评分和时间戳等字段。第32页/共36页第三十二页，编辑于星期六：二十点 十四分。6PART研究思路Ideas第33页/共36页第三十三页，编辑于星期六：二十点 十四分。研究思路电影