【《农产品算法在电商系统中的应用分析案例》5200字】

农产品推荐算法在电商系统中的应用分析案例目录TOC\o"1-3"\h\u14234农产品推荐算法在电商系统中的应用分析案例 132061.1背景需求 1294341.2系统设计 2112991.2.1系统结构设计 298681.2.2数据采集模块 3172381.2.3数据分析模块 840561.2.4产品推荐模块 10114871.3系统实现 12196051.3.1系统运行环境 12199101.3.2系统运行界面 121.1背景需求在电商系统中，如何提高对用户的服务质量，增强用户的购物体验是电商平台系统最为关心的地方。基本上电商平台通过分析电商系统后台的用户数据，分析用户行为，得出对用户的购物偏好之后，对用户的喜好有了整体把握，从而电商系统针对用户偏好给出相应的推荐。不仅迎合了用户的购物需求，也满足的电商平台系统中的产品销量。于是推荐系统在这一应用背景之上应运而生，而且凭借着优秀的推荐算法，给电商系统和用户带了极大的好处。对电商系统来说，电商平台总是会不断挖掘用户的喜好进行个性化的只能推荐，这大大提高了电商系统的有效利用率。增加农产品的销量和用户对电商系统的粘性，给用户带来了极好的购物体验。对用户来说，用户在购买农产品的时候，电商系统总是会根据用户的行为习惯在后台数据库中进行记录。比如用户对某个产品的浏览次数，用户对某产品的购买次数，某产品在某些消费者群里中的被购买次数和购买年份，包括用户对某产品的评论信息。这些数据和信息，无一不体现出用户的偏好行为和喜好特征，在农产品后台中通过精准分析和用户需求定位，都会得到用户的准确偏好数据。用户行为数据产生的越多，系统就会对用户的喜好等信息把握的越准确。于是电商系统就会针对用户的行为记录等特征对用户进行理论的预测和有针对性的推荐，用户对平台系统的依赖性就会越强，满足用户的购物体验，增加了用户的服务体验和质量。本章主要将结合第三章和第四章两种推荐算法与电商系统中结合，针对用户评论信息和用户潜在偏好上下文行为感知，分别利用综合相似度计算和隐马尔可夫模型对用户进行预测并做出产品推荐。若用户喜欢的某个农产品数量不足时，则对用户喜欢且是同类别的农产品进行推荐，以满足用户需要。将从系统设计和系统实现两个部分，深入地展示和分析在两种算法在电商系统中的实际应用。本论文通过Python语言来实现系统的设计。1.2系统设计前面介绍了系统的需求背景，主要从系统和用户两个方面来进行探讨。下面将从系统结构设计、数据采集模块、数据分析模块、和产品推荐模块4个方面对系统设计部分进行详细描述。1.2.1系统结构设计本论文中结合应用两种推荐算法的电商系统主要基于以下三个模块：数据采集模块：数据采集模块以爬虫为主要采集技术，利用爬虫技术从网站页面爬取其页面信息，包括用户的评论信息，用户的购买农产品的记录，农产品的销售记录等用户行为数据。并将如上信息转成数据库格式文件存入到数据库中。数据分析模块：在数据采集模块，对数据进行采集过并存入数据库文件之后，对采集到的数据信息作进一步处理。针对农产品信息数据集，对其使用K-means聚类算法进行农产品分类。针对用户信息数据集，使用综合相似度和协同过滤的方法进行处理。对其他隐式存在的用户购买记录等信息，把它们当成隐式存在的用户偏好信息。采集用户行为信息，分析用户对产品的偏好特征，应用隐马尔可夫模型对用户偏好信息进行建模预测。产品推荐模块：在产品推荐模块中，主要进行针对用户给予对产品的推荐。本模块主要包括：综合相似度计算，用户评分计算，隐马尔可夫模型应用，神经网络个性化排序，做出推荐。其中评分计算主要是运行协同过滤技术中计算用户对产品的最终评分，并查询出最近邻数据集。隐马尔可夫模型应用包括用户上下文行为预测和产品被推荐概率计算两个方面的计算和度量。用户上下文行为感知预测主要是针对基于用户当前行为上下文的状态，并用用户对农产品的喜好行为作为观察序列，利用隐马尔可夫模型作为用户下一个上下文的预测并计算得到每个产品被推荐得到的概率。最后利用多层前馈神经网络结构模拟贝叶斯化个性化排序。进行推荐下面的内容将分别针对数据采集模块、数据分析模块和产品推荐模块详细介绍。电商系统结构设计图如图5-1所示：图5-1电商系统结构设计1.2.2数据采集模块在数据采集模块主要利用爬虫对网页信息页面进行爬取。主要爬取的网站对象为淘宝，天猫，京东，拼多多4个电商平台的数据。爬取的数据被分为以下两种，一种是用户信息数据集，其中包括用户昵称，用户ID，会员等级，地址，电话，配送地址，用户浏览产品足迹，用户产品评论等；其中用户产品评论包括用户星级评分，用户文字评论，用户购买时间，评价日期等信息。一种是农产品信息数据集，包括农产品名称，农产品ID，农产品描述，农产品销量等信息，其中农产品销量主要包含同类季节性农产品的购买次数和年份等信息。如上所示信息，将它们原始数据爬取过来，进行数据清洗之后，存入到数据库文件中，数据采集模块功能图如5-2所示：图5-2数据采集模块功能图如以爬取淘宝某农产品评论的页面为例，选择其中一个农产品，爬取该农产品的评论信息和记录，存储在数据库中。页面爬取到的数据信息主要包含三个表，一个是用户信息表，一个是农产品信息表，一个是用户评论表。爬取的淘宝农产品评论信息页面如图5-3所示：图5-3淘宝农产品评论信息页面在对数据进行采集之后，获取到的数据集可以分为两种，一个是用户信息数据集，一个是农产品信息数据集，对以上数据集分别进行建库操作。本系统实现的数据库需要建立以下十个表用户信息表：用户ID，用户昵称，会员等级，地址，电话，配送地址，时间。建表如图5-4所示：图5-4用户信息表农产品信息表：农产品ID，农产品名称，农产品描述，时间建表如图5-5所示：图5-5农产品信息表用户评论表：评论ID,用户ID，农产品ID,星级评分，文字评论，评论时间，购买时间，建表如图5-6所示：图5-5用户评论表订单信息表：包括订单ID，用户ID，农产品ID，农产品数量，农产品价格，购买日期。建表如图5-6所示：图5-6订单信息表农产品详情信息表：农产品详情ID，农产品ID,农产品库存，农产品价格，同类季节性农产品的购买次数，购买用户，购买年份。建表如图5-7所示：图5-7农产品详情信息表用户浏览信息表：浏览ID,用户ID，农产品ID,浏览次数，时间，建表如图5-8所示：图5-8用户浏览信息表用户-农产品-评分表：用户农产品评分ID,用户ID，农产品ID，评分，时间，建表如图5-9所示：图5-9用户农产品评分表用户-农产品-情感评分表：用户农产品情感评分ID，用户ID,农产品ID,情感分数，时间，建表如图5-10所示：图5-10用户农产品情感评分表用户偏好表：用户偏好ID，用户ID,农产品ID,偏好程度，时间，建表如图5-11所示：图5-11用户偏好表产品推荐表：产品推荐ID,用户ID，产品推荐ID，产品名称，产品个数，时间，建表如图5-12所示：图5-12产品推荐表以上是电商系统设计的所需要的数据表，他们的E-R模型关系结构如图5-13所示：图5-13数据表E-R关系结构图1.2.3数据分析模块在对数据采集过来的信息进行数据库建表和存库操作之后，进行对数据分析处理阶段。数据分析模块主要包含三大部分内容，一个是K-Means聚类，一个是中文分词处理，另一个是隐马尔可夫模型建模。针对上小节中的数据集分为两大类。第一类是农产品信息数据集。农产品信息数据集包括农产品ID，农产品名称，农产品描述，时间，农产品库存，农产品价格，同类季节性农产品的购买次数，购买用户，购买年份等信息。K-Means聚类，本部分利用K-Means聚类思想，对如上农产品信息数据集，采集农产品描述、农产品价格、时间，购买次数4个维度的数据，进行数据清洗和归一化处理。对农产品用4个维度的值表示:。农产品样本数据集设为。基于K-Means思想，使用均方误差得到如式（1.1）的目标函数：（1.1）其中，为个簇中心，每个簇的样本数目为。如式(1.2)所示：(1.2)根据如上目标函数，求得使目标函数最小的结果，进行农产品分类。另一类是用户信息数据集，其中用户信息数据集包括用户评论数据集和用户行为数据集，用户评论数据集主要依据用户评论表、用户农产品评分表、用户农产品情感评分表中的内容，用户行为数据集主要依据数据表示用户偏好表，农产品详情信息表，用户浏览信息表。本模块共分为以下几个步骤：中文分词，提取特征值，构建矩阵，建立用户偏好隐马尔可夫模型。中文分词。使用中文分词技术对词语和短语统计文本特征。本电商系统设计利用结巴分词技术对用户评论做中文分词处理，分词之后的展示结果如图5-14所示：图5-14中文分词处理展示特征值提取。在对用户评论信息中文分词后，利用Bag模型对分词过后的用户评论词语根据常见的用户情感分类进行特征提取，以便构建用户-情感-评分矩阵。构建矩阵。在进行评论信息特征值提取之后，分别建立用户-农产品-星级评分矩阵和用户-农产品-情感评分矩阵。本文对用户评论进行中文分词，对分词特征值进行提取分析，对比情感评分表进行用户-农产品-情感评分矩阵。使用5维的BoW特征作为情感打分的标准，设置情感评分表区间在0到4之间。建立隐马尔可夫模型。由于用户在购买农产品的时候，显式的评价信息在一定程度上能够反应出用户的偏好程度，但往往某些隐式信息重要隐藏着关键信息。比如用户经常购买某种农产品的次数，或者用户购买的时间点，以及用户经常浏览的农产品页面，这些信息往往抓住后能关键提高推荐系统的准确率。本部分将利用两层隐马尔可夫模型，根据已有的历史数据记录，自动感知学习每个用户的潜在上下文。将用户的上下文作为状态隐藏变量，用户的喜好产品作为观测量，学习目标为状态转移的概率，每个观测量(用户喜好某产品)的概率以及状态改变所引起的用户上下文的改变，利用这些潜在状态表示该用户的上下文。主要依据用户偏好信息，以及农产品详情信息表和用户浏览信息表。这里对用户喜欢农产品数据集建立为正项目集，对用户不喜欢农产品数据集建立为负项目集，利用机器学习分类评估曲线ROC曲线和AUC值来评估和度量推荐算法的准确度和个性化，目标是最大化正项目集和负项目集的概率。1.2.4产品推荐模块在对数据采集和分析之后，对产品进行推荐。本部分主要从综合相似度计算，用户评分计算，隐马尔可夫模型预测，神经网络个性化排序，产生推荐4个方面来对产品推荐模块进行介绍。综合相似度计算。对用户-商品-评分矩阵和用户-商品-情感评分矩阵以及考虑时序变化特点后的用户-商品-评分矩阵。分别进行余弦相似度计算，得到的综合相似度计算公式如式（1.3）：（1.3）其中，参数表示星级评分的权重，表示评论文字情感意向的权重。公式中、与分别代表用户评分相似度、用户情感评分余弦相似度、用户时序评分余弦相似度。用户评分计算。计算综合相似度，得到预测目标用户最终评分如式（1.4）：（1.4）其中，表示目标用户对项目的预测评分值，为用户评论对于物品与物品的综合相似度，为用户对物品的打分。隐马尔可夫模型预测。对用户偏好数据信息，建立隐马尔可夫模型。本模型主要包含两个方面，第一个是用户上下文的预测，第二个是计算每个产品被推荐的概率。在该模型中首先将一个用户行为所处的上下文作为隐藏变量，并利用该用户的喜好产品观测相同上下文之间的模式，根据这些模式预测该用户下一个上下文。本部分使用两层隐马尔可夫模型，第1层隐藏变量层表示用户关于时间的潜在上下文信息，第2层隐藏变量表示不同上下文状态之间的相同模式。每个隐藏变量层与其观测序列变量各包含一个观测概率矩阵。两层模型训练中，不断更新状态转移概率矩阵、以及观测概率矩阵、。将矩阵和相乘，预测用户的下一个上下文；将矩阵和相乘，计算每个项目被推荐的概率。神经网络个性化排序。利用贝斯化个性化排序算法对以上模型推荐列表进行优化排序。贝叶斯个性化排序算法首先利用矩阵分解的思路，其中对于多层前馈神经网络结构模型输出的用户权重集和产品权重集，将其作为目标矩阵分解成两个因子矩阵。建立贝叶斯优化目标为式（1.5）：（1.5）这里的即为所有的模型参数。在贝叶斯梯度下降训练流程中，输入集主要包括训练集,梯度步长。输出数据集主要为模型参数，以及两个权重矩阵和。当计算出和，之后利用两个矩阵的乘积计算得到用户对于任一商品的评分，最终选择排序分数较高的若干商品输出。产生推荐。对用户评分和神经网络模型个性化排序后的推荐列表进行输出，给予用户推荐。当用户喜欢的某个农产品库存不足的话，即根据农产品分类结果和用户偏好信息进行同类别农产品的推荐。产品推荐模块流程图结构如图5-15所示：图5-15产品推荐模块流程图1.3系统实现本系统实现基于C/S架构，客户端功能是对推荐页面的展示，服务器端功能主要是综合相似度计算模型和隐马尔模