基于商品品质特征的推荐算法

基于商品品质特征的推荐算法基于商品品质特征的推荐算法 摘要 摘要 个性化推荐算法中应用最广泛的是基于内容的算法和协同过滤算法及它们的组合推 荐算法 协同过滤算法面临稀疏性 新项目问题 基于内容的算法不考虑其它用户的评分 本文提出了特征向量 每个特征带有一个权值 用户和商品都有特征向量文件 利用用户 的评分记录构建用户的特征向量文件并同时作用于商品的特征向量文件 利于用户和商品 的特征向量文件进行推荐 实验结果表明本文提出的算法在推荐准确度和计算效率方面要 优于经典的算法 关键字 关键字 推荐系统 特征向量 组合推荐 1 引言 随着 Internet 上信息的爆炸式增长 用户面临着严峻的信息过载问题 1 2 3 用户为 了找到想要的信息 需要花很多时间和精力去搜索和选择 在这种背景下 个性化推荐系 统应运而生 它可以帮助用户从信息的海洋中获取有用的信息和知识 主流的推荐方法基本包括以下几种 基于内容推荐 协同过滤推荐 基于知识推荐和 组合推荐 基于内容的推荐源于一般的信息检索方法 对象使用通过特征提取方法得到的 对象内容特征来表示 系统基于用户所评价对象的特征 学习用户的兴趣 从而考察用户 资料与待预测项目相匹配的程度 协同过滤的基本思想是找到与当前用户相似的其他用户 来计算对象对该用户的效用值 利用效用值对所有对象进行排序或加权操作 从而找到最 合适的对象 基于知识的推荐利用针对特定领域制定规则来进行基于规则和实例的推理 组合推荐则是通过组合几种不同的推荐方法 用以避免或弥补各自推荐技术的弱点 在已有研究的基础上 本文提出了一种新的基于内容的推荐算法 该算法在考虑商品 特征的基础上对用户评分进行统计分析 使推荐的商品更加真实的反映用户的兴趣和商品 的品质 实验结果表明 该算法能有效提高推荐质量 具备较好的实时性 产生较好的推 荐效果 2 改进的基于内容的推荐算法 基于内容的过滤 content based filtering 是基于内容抽取项目特征属性的推荐技术 项 目或对象通过相关特征的属性来定义 系统通过学习用户已评价过的商品的特征来获得对 用户兴趣的描述 像新闻组过滤系统 NewsWeeder 这样的文本推荐系统用它们的文本词汇 作为特征 传统的商品特征从商品中的描述中提取出商品的特征 一旦提取完成 便不再改变 通过这种方法提取出来的商品特征无法反映出该商品在同类商品中的品质和口碑 而商品 品质是用户关心的属性 消费者对商品的品质具有投票权 因此商品的品质隐藏在它所得 到的评价之中 本文通过在商品配置文件中为每个特征词增加流行权值和品质权值的方式 来挖掘出这些信息 图 1 基于品质特征的内容过滤算法思路 3 用户兴趣模型 建立用户兴趣模型是个性化推荐系统关键的部分 用户兴趣模型是否反映了用户真实 的兴趣爱好在很大程度上决定了推荐系统的成功 基于内容的推荐算法通过用户对项目的评价来学习用户的兴趣 最后依据用户兴趣与 待预测项目的匹配程度进行推荐 首先对商品分析并生成一个特征集 特征集是一组特征 词的集合 如 幻想 小说 长篇 问题 1 商品原始特征集无法反映两个具备相同特征集的商品的品质优劣和重点特征 商品的原始特征集反映了此商品的属性 但如问题 1 所示 市场上出售的同类商品很 多 消费者必然倾向于购买品质更佳的商品 3 1 相关概念和定义 定义 1 用户平均评分 用户 i 对所有项目评分的均值称为用户 i 的平均评分 i i Tj Tj ji R iAR 1 定义 2 用户偏差评分 用户的评分值减去平均评分即为用户的偏差评分 OR iARROR jiji 定义 3 用户特征评分总和 用户 i 对所有包含特征 k 的项目的偏差评分总和 FR ik TFj ji ORkiFR 定义 4 用户特征权值 用户 i 对所有包含特征 k 的项目的评分次数作为权值 FC 评分矩阵 商品初始特征集 用户兴趣爱好 商品品质特征集 产生推荐 ik TFj kiFC1 本文以特征向量空间来表示用户兴趣 基本思想是一个 n 维特征向量 其每一维由特征词 评分总和和特征权值组成 3 2 商品特征品质度量公式 用户对商品的评分表明了用户对该商品的品质的态度 同样的商品在不同爱好的人群 中会得到不同的得分 比如一部动作片在喜欢看动作片的人群中得分较高 而在喜欢看喜 剧片的人群中得分可能较低 因此本文结合用户的兴趣偏好和评分矩阵来生成商品的品质 特征集 定义 5 商品特征品质权值 商品 m 被所有包含特征 k 的用户的正偏差评分总和 mk UTUj jm ORkmMR 定义 6 商品特征流行权值 商品 m 被所有包含特征 k 的用户的正偏差评分总和 0 0 0 1 ji ji TUi OR OR ki kikmMC mk 通过引入商品特征品质权值可以解决问题 1 即可以找出两个相同特征的商品中更优 质的商品 3 3 模型的更新 本文中对模型的更新主要来自两个方面 用户评分和遗忘处理 用户评分分为显式评分和隐式评分 显式评分即用户主动打分 隐式评分即用户通过 点击 购买等行为表示感兴趣 两种评分都可以转换为一个评分权值进行处理 本文中的 模型支持增量处理 设用户 i 对商品 m 的评分权值为 r k 是商品 m 中的特征 则有 rkiFRkiFR oldnew 1 kiFCkiFC oldnew 用户的兴趣不是一成不变的 同样的商品在不同时期也会得到不同的品质评价 根据心理 学的记忆遗忘理论 可以认为用户兴趣的改变就是一种记忆遗忘现象 用户的评价对个性 化推荐的参考价值随着时间的流逝而降低 设有一个理想的递增函数 则有 t nn rtrtrtrtkiFR 332211 321n ttttkiFC 为了简单起见 本文引入一个遗忘因子 系统定时对用户和商品的特征集执行一次 遗忘操作 使得新的增量值比过期的值更重要 对用户特征评分总和为例 1 122 kiFRkiFRkiFR ttt 4 推荐算法 本节探讨如何利用用户特征集和商品品质特征集来生成推荐 个性化推荐的目的是将 用户感兴趣 对用户有用的商品推荐给用户 因此在推荐过程中 只考虑用户感兴趣的特 征 定义 7 用户特征和商品特征交集 商品 m 的特征集和用户 i 的特征集的交集称为特征 交集 mFiFmiFU 定义 8 用户商品预测评分 通过商品 m 和用户 i 的特征交集进行评分预测 1 kiMC kmMR kiFC kiFR kmi kiFC kiFCkmi miFS miFUk miFUk 其中和分别是用户特征和商品特征在预测中所占的权值 取预测评分最高的 Top N 作为推荐结果给用户 5 实验 实验采用 MovieLens 工作组提供的 ml 数据集 它包含由 943 个用户对 1682 个电影的 100000 个评价记录 评分值为 1 5 分 每个用户至少对 20 部电影做出评价 整个实验数 据进一步划分为训练集和测试集 80 为训练集 20 为测试集 实验采用统计精度度量方法中的平均绝度误差 MAE mean absolute error 来评价系统 推荐准确度 平均绝对误差通过计算推荐数据与真实评价数据数值上的差别来衡量推荐结 果好坏 设目标客户的预测评分集合为 真实评分集合为 21N ppp 21N qqq 则绝对平均误差定义为 N qp MAE N i ii 1 N 为测试集中目标客户真实评分项数 MAE 越小 推荐精度越高 为了验证本文提出的算法的有效性 实验对三种推荐算法进行了推荐准确度和推荐耗 时进行对比 三种推荐算法如下 1 UPCF 用户 项目协同过滤推荐算法 取最近邻居数 50 2 UFCF 用户 特征协同过滤推荐算法 取最近邻居数 50 3 CBF 基于内容的推荐算法 4 FQCF 基于品质权值的推荐算法 在算法的实现中已经对数据库索引做了充分的优化 以避免耗时上的误差 实验效果比较 图 2 平均绝对误差 图 3 预测 2 万次耗时 图 4 训练耗时 从图 1 可以看出 预测效果最好的是本文提出的推荐算法 其次是用户 项目协同过滤 算法 在图 2 中 耗时最短的是 CBF 这是由于 CBF 只需要进行很少的计算即可得出结果 FQCF 虽然耗时不是最短 但平均耗时属于可接受的范围 而在图 3 中 UPCF 的耗时最长 因为要对所有的项目和评分进行扫描 UFCF 只对用户的特征进行扫描 因此速度较快 CBF 和 FQCF 的训练时间几乎可以忽略不计 6 小结 本文所进行的工作在一定程度上提高了推荐准确度和实时性 通过构建用户和商品的 特征向量 保留了用户的偏好信息和商品的质量信息 实验表明 本文的方法与 UFCF 和 CBF 相比 推荐结果具有更高的准确度 参考文献参考文献 1 Boucher Ryan P D Bridge D 2006 Collaborative recommending using formal concept analysis Knowledge based Systems 19 309 315 2 Cho Y H Kim J K 2004 Application of Web usage mining and product taxonomy to collaborative recommendations in e commerce Expert Systems with Applications 26 233 246 3 Semeraro G Lops P Degemmis M 2005 WordNet based user profiles for neighborhood formation in hybrid recommender systems In Proceedings of the 5th international conference on hybrid intelligent systems HIS 05 pp 291 296 IEEE 4 Adomavicius G Tuzhilin A 2005 Toward the next generation of recommender systems A survey of the state of the art and possible extensions IEEE Transaction on Knowledge and Data Engineering 17 6 734 749 5 Eirinaki M Vazirgiannis M 2003 Web mining for web personalization ACM Transactions on Internet Technology 3 1 1 27 6 Krulwich B 1997 Lifestyle Finder Intelligent user profiling using large scale demographic data Artificial Intelligence Magazine 18 2 37 45 7 Lang K 1995 NewsWeeder Learning to filter netnews In Proceedings of the 12th international conference on machine learning Tahoe City CA 8 Resnick P Iakovou N Sushak M Bergstrom P Riedl J 1994 GroupLens An open architecture for collaborative filtering of Netnews In Proceedings of ACM conference on computer supported cooperative work pp 175 186 NC Chapel Hill 9 Shardanand U Maes P 1995 Social information filtering Algorithms for automating Word of Mouth In Proceedings of the conference on human factors in computing systems CHI 95 Denver pp 210 217 10 Boucher Ryan P D Bridge D 2006 Collaborative recommending using formal concept analysis Knowledge based Systems 19 309 315 11 Balabanovic M Shoham Y 1997 Fab Content based collaborative recommendation Communications of the ACM 40 3 66 72 12 Shahabi C Banaei Kashani F Chen Y McLeod D 2001 Yoda An accurate and scalable web based recommendation systems In Proceedings of the sixth international conference on cooperative information systems CoopIS 2001 Trento Italy 13 Sutheera Puntheeranurak and Hidekazu Tsuji An Improved Hybrid Recommender System Using Multi Based Clustering Method IEEJ Trans EIS Vol 129 No 1 pp 125 132 2009 14 Shih Y Y Liu D R 2008 Product recommendation