【基于数据挖掘的个性化系统研究国内外文献综述4500字】

VII基于数据挖掘的个性化推荐系统研究国内外文献综述1.1个性化推荐系统研究（1）个性化推荐系统个性化推荐系统是一种信息过滤系统[1]，通过对用户的属性数据和历史行为数据挖掘和建模，建立用户兴趣偏好画像，针对用户的个性化需求主动地为其推荐内容。广泛应用于主要应用于电子商务[2-5]、图书情报[6-8]、音乐[9]、新闻推荐[10]等领域。Burke认为任何可以输出个性化推荐信息或者是能够以个性化的方式引导用户在大量信息中寻求到合乎自己兴趣的或有价值的信息的系统都可以称为推荐系统[11]。王国霞与刘贺平在其研究中提出了一套个性化推荐系统的通用模型，一个完整的个性化推荐系统需要由三个重要的模块组成，即：用户特征收集模块、推荐结果生成模块以及推荐结果过滤和筛选模块[12]。（2）电子商务平台个性化推荐方法研究电子商务平台的个性化推荐系统是通过采集、分析并定义用户行为数据，建立用户兴趣模型，向其推荐可能感兴趣的信息和商品的过程[13]。电子商务平台的个性化推荐主要以商品推荐为主，同时还有一些其他粒度推荐，如商品类目推荐、商品标签推荐、店铺推荐等。[14-18]电子商务平台的个性化推荐方法目前基于数据应用和推荐原理的不同，主要有协同过滤的推荐方法、基于内容的推荐方法和基于知识的推荐方法三种，利用这三种方法在推荐系统的构建过程中组合使用，也被称为组合推荐方法。①协同过滤推荐方法协同过滤推荐方法在个性化推荐领域应用最为广泛[19-20],Amazon、当当等电子商务平台的推荐引擎都采用了协同过滤的推荐方法[21]。协同过滤推荐方法从原理和对象上进行划分，主要分为三步：1）收集用户历史数据，发现用户喜好的商品；2）寻找相似的商品或者具有相似喜好用户；3）进行推荐。基于相似度对比选取的对象，协同过滤又可以分为两种：分别是是基于用户的协同过滤、基于商品的协同过滤。基于用户的协同过滤通过发现与当前用户偏好相似的“邻居”用户群，将“邻居”用户群中其他用户喜欢商品推荐给该用户[22-23]。基于商品的协同过滤推荐，其原理是基于用户感兴趣的商品特征，通过商品之前的对比，发现与之相似的商品[24]，将其推荐给用户。②基于内容的推荐方法基于内容的推荐方法，是与协同过滤推荐方法在同一时期提出的，它以商品的内容描述信息为依据来做出推荐，本质上是基于对商品和用户自身的特征或属性的直接分析与计算[25]。基于内容的推荐方法根据用户过去浏览的商品记录建立用户画像，提取商品的特征向量，建立商品画像，通过比较商品画像与用户画像之间的相似度，向用户推荐与之浏览记录相近的其他商品[26-27]。③基于知识的推荐方法基于知识的推荐利用用户知识与产品知识，来推理何种产品能够满足用户的需求[28]，从而生成推荐，并不依赖于类似于用户评分这种显示用户偏好的历史数据。④混合推荐方法混合推荐方法并非是一种新的推荐方法，而是结合了多种推荐技术，进而实现它们之间的协同作用[29]。混合推荐将不同的个性化推荐算法组合在一起，取长补短，提高个性化推荐质量。1.2数据挖掘研究（1）数据挖掘数据挖掘（DataMining），又称数据库中的知识发现（KDD），一般包含数据获取、数据分析、数据应用和数据反馈这四个基本过程[30-33]。化柏林认为“数据挖掘是从大量、不完全、有噪声、模糊及随机的实际应用数据中，提取隐含在其中，但有一定用途的潜在信息和知识的的过程”[34]。（2）数据挖掘技术及其应用数据挖掘的是本质与核心即是从数据中获取知识的过程，通过利用已有的信息来挖掘出新知识，从而用新知识创造新价值的过程与方法。目前，数据挖掘已经成为一门比较成熟的交叉学科，数据挖掘中融合了数据库、统计学、神经网络、数据可视化、信息检索等多个领域的理论和技术，是21世纪初期对人类产生重大影响的十大新兴技术之一。数据挖掘领域相关技术广泛应用于电子商务、金融、教育、音乐、医疗保健等行业[35]。在个性化推荐系统中，数据挖掘领域相关技术已有一定的应用和研究基础[36]。基于数据挖掘的四个基本过程，可将其与个性化推荐系统的工作模式一一对应，即：数据获取（个性化推荐原始数据预处理），数据分析（个性化推荐模型的构建），数据应用（应用个性化推荐模型做出预测），数据反馈（推荐结果的验证及评价）。关于数据挖掘具体方法在个性化推荐中的实际应用进展，下文进行了相关整理，不在此赘述[36]。1.3电子商务个性化推荐研究（1）个性化推荐原始数据预处理个性化推荐系统的推荐基础是需要获取到大量的数据，在用户行为模块需要包括用户的浏览记录、搜索记录、购买历史、对历史购买以及用户的基本人群特征数据，在商品的模块需要商品的品牌、类目、历史销售、历史评价、曝光数、搜索浏览次数等以及其他边缘信息。另外，随着数据科学的发展，信息利用日益精细化，通常还会收集许多其他的数据，在很多场景下需要获取到用户的社交关系网络以及所处的地理位置等信息。但是，多场景、多模态的数据掺杂通常会充斥着较大比例的数据噪声及无效数据。之所以要做数据预处理，目的即是将大量多模态、非结构化的原始数据转化成个性化推荐系统的算法所能够理解和应用的数据。个性化推荐系统的数据预处理主要分为两个方面：第一个方面是数据去噪，第二个方面是数据规范化。数据去噪不仅仅是通过筛选和过滤去掉海量数据中的噪声数据和无效数据，更重要的是通过数据挖掘的方法过滤掉海量数据中的虚假数据，通过提高数据的质量从而进一步提高个性化推荐的质量。郭波、王辉等人的研究[37]在前人研究之上，更加关注在海量数据和稀疏数据下的数据获取过程，提高电子商务中的数据质量。在电子商务的商家运营过程中，由于商家对评价数据的刻意伪造和美化，抑或是专业差评师对评价数据的恶意攻击，都会造成大量具有很强的迷惑性的虚假数据，对于推荐系统中的协同过滤和矩阵分解模型有很强大的欺骗性，文献[38]，文献[39]关注这种虚假数据对于推荐系统的影响，并提出了一种基于协同过滤的基本解决方法，在部分数据集合上取得了不错的效果。(2)个性化推荐模型的构建个性化推荐系统的模型通常基于协同过滤思想和矩阵分解两种基本方法[40-43]。协同过滤通过计算相似度进行推荐，根据目标的不同，又分为基于用户的协同过滤[22-23][44]和基于商品的协同过滤[45]；而矩阵分解方法则通常采用数学方法来解决推荐问题[46]，对应基于内容的推荐方法及基于知识的推荐方法。在数据分析层面，由于推荐系统面向的应用对象不同，所以不同的应用领域对于推荐系统的构建逻辑和原理要求也有着明显的差异，因此，推荐模型需要结合应用领域进行个性化构建。随着深度学习的发展，基于深度学习的推荐模型开始成为国内外研究的热点[47-48]：文献[49]提出了一种深度学习模型，可以作为常见协同过滤模型的神经网络拓展版本；文献[50]使用多层感知机作为推荐系统的模型，进而强化了模型的学习能力。(3)个性化推荐模型的预测方法个性化推荐模型的预测方式分为两类：分数预测和概率预测，分别对应基于隐式反馈的推荐系统和基于显式反馈的推荐系统。基于隐式反馈的推荐系统通常记录的是点击数据和浏览数据等，其推荐目的是预测用户接下来将点击和浏览的物品，因此其做出的预测结果通常是一个0到0之间的概率[51]；基于显式反馈的推荐系统，其推荐过程则是直接输出评分数据，依照评分数据进行推荐，推荐结果通常是一个Top-K推荐[52]。在数据应用方面，由于推荐系统面向的应用对象不同，所以不同的应用领域几乎可以涵盖各种常见的数据，因此针对不同的推荐对象和数据类型，所使用到的数据挖掘方法也非常之多：基于用户评论的推荐系统通常需要采用文本挖掘的方法，通过分词，语义提取等方式获得用户兴趣，从而进行推荐[53]；基于社交网络的推荐系统则需要通过获取用户的社交信息，通过社区发现以及用户建模等方式进行推荐[54]；基于上下文的推荐系统则是考虑用户的行为[55]，对用户进行建模，同时利用时空分析方法获得推荐结果；基于情感分析的推荐系统利用文本数据刻画用户情感模型[56]，从而预测用户购买行为；此外，还有基于用户情境感知[57-58]的推荐系统、基于地理位置的推荐系统[59]和基于多维数据多属性[60]的推荐系统等等。这些数据应用极大地扩展了推荐系统的适用性和有效性。(4)个性化推荐结果验证及评价由于推荐系统面向的应用对象不同，不同领域的推荐系统其评价指标通常会有差别。在数据反馈方面，通常基于两种方式去验证推荐系统的性能：线上验证和线下验证。线上验证是对于推荐系统最为有效的方法，线下验证通常采用如下标准：F1指标，命中率，覆盖率和惊喜度[61-63]。在一定程度上，这些指标的把控能够反映出推荐系统的推荐效果，并保证推荐系统在上线前具有一定的有效性。1.4简要述评近年来个性化推荐系统已经取得了长足的进步，但依然存在许多问题，如推荐模型中经常为人诟病的冷启动、长尾产品数据稀疏、算法可拓展性差等[64-67]。核心原因害是因为现有的推荐思路还是在沿袭“商品到商品”的推荐过程，并非是以用户的需求来驱动推荐过程；与此同时，良好的推荐算法又必须要充分理解并满足用户的需求，两者之间有着天然的隔阂。随着信息技术的发展，数据挖掘领域中知识图谱、人工神经网络、深度学习等新技术的发展日益成熟，但在电子商务平台个性化推荐系统中的应用严重滞后[68]。譬如，知识图谱能够将各类实体、概念及其间的各种语义关系刻画成网络结构[69-70]，将其引入到电子商务平台个性化推荐系统中，有助于整合多源异构的原始数据，为理解用户意图、关系挖掘、用户画像等任务提供丰富的背景知识支撑。综上所述，引入基于数据挖掘新技术有助于构建出更有效的个性化推荐模型，从而最大限度的提升推荐系统的效率。在大数据浪潮下，如何将数据挖掘新技术引入到个性化推荐系统中，已经成为了当下电子商务平台个性化推荐系统研究亟待解决的问题。参考文献洪亮,任秋圜,梁树贤.国内电子商务网站推荐系统信息服务质量比较研究——以淘宝、京东、亚马逊为例[J].图书情报工作,2016,60(23):97-110.杜巍,高长元.移动电子商务环境下个性化情景推荐模型研究[J].情报理论与实践,2017,40（10）:56-61.刘晶,李妍,侯会茹.移动电子商务多源关联个性化推荐架构[J].情报理论与实践,2014,37（04）:98-100.陈明.基于信息流的实时电子商务动态个性化推荐[J].情报杂志,2008（08）:29-30,56.邵波,宋继伟.国内外电子商务个性化服务研究分析[J].情报杂志,2008（07）:78-80.耿立校,晋高杰,李亚函,孙卫忠,马士豪.基于改进内容过滤算法的高校图书馆文献资源个性化推荐研究[J].图书情报工作,2018,62（21）：112-117.焦玉英,袁静.基于情景模型的数字图书馆个性化服务研究[J].中国图书馆学报,2008（06）:58-63.王庆,赵发珍.基于“用户画像”的图书馆资源推荐模式设计与分析[J].现代情报,2018,38（03）:105-109,137.李瑞敏,林鸿飞,闫俊.基于用户-标签-项目语义挖掘的个性化音乐推荐[J].计算机研究与发展,2014,51（10）:2270-2276.孟祥武,陈诚,张玉洁.移动新闻推荐技术及其应用研究综述[J].计算机学报,2016,39（04）:685-703.RobinBurke.Hybrid.RecommenderSystems:SurveyandExperiments[J].UserModelingandUser-AdaptedInteraction,2002.4.王国霞,刘贺平.个性化推荐系统综述[J].计算机工程与应用,2012,48(7):孙光浩,刘丹青,李梦云.个性化推荐算法综述[J].软件,2017,(7):70-78.余力与刘鲁.电子商务个性化推荐研究[J].计算机集成制造系统,2004,10（10）:1306-1313李小龙.基于MapReduce的电子商务个性化推荐研究[D].北京交通大学,2014.冀晓岩.基于Hadoop的电子商务个性化推荐研究与实现[D].兰州交通大学,2017.李鲁.淘宝推荐策略对消费者购买意愿影响研究[D].哈尔滨工业大学,2017.梁秋莉.浅析大数据时代电子商务发展与民商法的创新[J].北方经贸,2019(06):69-70.冷亚军,陆青,梁昌勇.协同过滤推荐技术综述[J].模式识别与人工智能,2014,27(8):720-734.吕福春,WeiQiu.探讨推荐系统在电子商务中的应用[J].福建电脑,2018,34(08):89-147.KassakO,KompanM,BielikováM.Personalizedhybridrecommendationforgroupofusers:Top-Nmultimediarecommender[M].InformationProcessingandManagement,2016,52:459-477.项亮.推荐系统实践[M].北京:人民邮电出版社,2012:44-59.WangJ,ZhangY.opportunitymodelfore-commercerecommendation:rightproduct:righttime[C].ACM5,2013:303-312.LUJ,WUD,MAOM,etal.Recommendersyste