自然语言处理 课件 知识点2.2系统

自然语言处理项目12推荐系统MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304认识推荐系统什么是推荐系统推荐系统(RecommenderSystem)是一种在大数据时代背景下，为了解决信息过载问题，根据用户需求、兴趣等，使用计算机方法从海量数据中提取用户感兴趣的项目（如信息、服务、物品等），并将结果以个性化列表的形式推荐给用户的计算机方法。推荐系统根据用户历史行为信息来构建用户兴趣模型并向用户推荐其可能感兴趣的信息，被广泛用于个性化服务领域，在推荐者和寻求推荐者之间做出良好匹配的能力。一个推荐系统在进行推荐时有3个要素：用户、物品、推荐算法。推荐系统的分类非个性化推荐系统是基于热度、流行度等向用户推荐最受欢迎的项目，如近期最受欢迎的前10部电影、最畅销的书籍、最常购买的产品。个性化推荐系统的研究与应用越来越多，最早是由Malone等研究者于1987年提出，最初个性化推荐系统应用于电子商务中，通过分析其他用户的评价信息向当前用户进行推荐。个性化推荐系统主要分为基于关联规则的推荐系统、基于内容的推荐系统、协同过滤的推荐系统等。协同过滤的推荐系统又分为基于用户的协同过滤的推荐系统和基于任务的协同过滤的推荐系统。推荐系统可分为非个性化推荐系统(NonPersonalizedRecommendationSystem)与个性化推荐系统(PersonalizedRecommenderSystem)两大类推荐系统中的技术介绍基于规则的推荐算法属于基于知识推荐中的一种，通过将待推荐项目的属性与用户属行进行匹配进行推荐，或者是根据数据挖掘中的规则进行推荐，这些规则可以通过关联计算得到，也可以由领域的专家事先定义好。规则的形式一般都是IF-THEN语句，规则通过将用户的属性、购买历史记录和待推荐项匹配起来，获得推荐列表，因此这种算法要求用户的属性结构特征必须与规则中的属性完全一致才能够精准匹配，只有成功匹配出一系列的规则，才能完成推荐。基于规则的推荐系统基于内容的推荐算法的应用场景基于内容的推荐是使用用户的历史记录，将用户已经选择过的项目内容和用户提供的个人信息进行相似度计算，建立用户的档案，分析用户的兴趣所在。在基于内容的推荐中，计算对象的特征与用户兴趣的相似度是推荐系统的核心，一般采用特征加权的方法。这种方法建立用户档案的关键词向量，并计算每个关键词的权重，之后对新的对象进行计算评分。基于内容过滤推荐系统协同过滤推荐系统协同过滤是目前推荐系统中应用最为普遍的技术之一。协同过滤的基本思想是项目评分相似的用户的兴趣爱好也比较相似，通过相似用户对某一待推荐项目的评分来预测指定使用者对某一候选待推荐项目的评分。根据问题解决方式，可以将协同过滤分为基于领域近邻和基于模型等两类不同的算法领域近邻又可分为用户近邻和物品近邻，基于用户近邻被称为基于用户的协同过滤，是统计用户共同交互物品的数量定义用户之间的相似度，寻找用户的近邻，然后为用户推荐近邻喜欢的但此用户未交互过的物品。基于物品近邻，是统计两两物品被多少相同用户购买，以共同用户在购买俩物品的所有用户中的占比作为物品之间的相似度，寻找物品的近邻，然后为用户挑选历史交互物品的近邻作为推荐结果01020304基于深度学习的文本分类深度学习工具在使用深度学习方法的过程中，需要编写大量的代码，在这些代码中，有很多是具有共性的代码，任何一个使用深度学习方法的人都需要写这些代码，所以实际上有很多代码是重复代码。为了提高工作效率，有人将这些重复代码抽取出来，写成一个框架放到互联网上，供学习和研究者使用。随着时间的推移，一些性能优良的框架逐渐流行起来。比较主流的框架：TensorFlow、Keras、PaddlePaddle、PyTorch、Caffe循环神经网络（RecurrentNeuralNetwork，RNN）是最早运用到自然语言处理中的神经网络。RNN处理的输入数据为离散序列数据，并以离散序列的形式输出，在RNN内部通过结构设计捕捉输出与输入之间的关系特征LSTM是RNN的一种变体形式，在RNN原有的结构上引入了几道门：遗忘门、输入门和输出门。循环神经网络TextRNN模型TextRNN是专门用于处理文本数据的RNN，最典型的是处理文本的分类问题。前面说过，N对1的RNN特别适合处理文本分类问题，因此可以把N对1的RNN作为TextRNN的基本结构基于Attention机制的文本分类Encoder-Decoder结构Encoder-Decoder结构又称Seq2Seq模型。深度学习中SequencetoSequence(Seq2Seq)模型的目标是将一个序列转换成另一个序列。包括机器翻译（machinetranslate）、语音识别（speechrecognition）和时间序列预测（timeseriesforcasting）等任务都可以理解成是Seq2Seq任务。RNN（RecurrentNeuralNetworks）是深度学习中最基本的序列模型。Encoder与状态向量C构成一个N对1的RNN，状态向量C是Encoder的