基于Web日志挖掘用户偏爱浏览路径算法

1、 基于Web日志挖掘用户偏爱浏览路径算法 苏兰陆济湘Summary：该文提出一种改进的基于Web日志挖掘用户偏爱浏览路径算法。通过引入站点拓扑结构图来建立用户的访问矩阵，使用夹角余弦公式求出访问矩阵的相似度矩阵，将相似度高的页面归为一类，称为基于相似度矩阵的用户偏爱浏览路径候选集，引入访问矩阵的权重矩阵来降低由于主干路径访问频度高而对挖掘结果造成的影响，结合访问权重利用有效偏爱度过滤上述的候选项集，得出基于权重的用户偏爱浏览路径项集，最后通过合并这些项集得到符合用户浏览习惯的偏爱路径。实验表明该算法更能反映用户真实的浏览兴趣与意图。Key： 偏爱浏览路径；相似度矩阵；权重矩阵；有效偏爱度：TP

2、311 ：A ：1009-3044（2016）05-0221-031 引言随着互联网技术、储存技术和计算能力的发展，越来越多的商业活动通过网络平台进行，在日常运营中产生了大量的用户点击数据流，为我们提供了很好的机会去分析和挖掘有价值的信息。本文通过分析数据并建立模型找出用户偏爱的浏览路径，能够帮助网站设计者重构站点页面间的链接关系，优化网站以更适应用户的访问需求，最终取得更好地市场竞争力，具有现实意义。目前，常用的Web日志挖掘用户偏爱浏览路径的算法有最大向前序列法、参考长度法和树形拓扑结构图法1，2等。这些算法大部分使用用户的对页面的浏览频度来度量用户的浏览兴趣，这是很不精确地。文献3，4利

3、用支持-兴趣度来描述用户浏览的兴趣，经过分析发现该方法挖掘出的用户偏爱浏览路径是一条主干路径，并没有反映用户的真实浏览兴趣，因此，本文对该算法做出改进，提出了基于权重的用户偏爱浏览路径挖掘算法。2 算法描述2.1 站点拓扑结构图实际收集到的Web日志中通常会包含很多与挖掘无关的、不一致的甚至错误的数据，需要预处理5这些数据使其可用于Web挖掘。目前Web日志预处理过程比较成熟，通常包括数据清洗，用户识别，会话识别和路径补充等过程，本文只需要对数据进行清洗和会话处理即可。预处理完的日志可以表示为L=的集合，其中URL代表请求页，URL_R代表引用页，根据引用页URL_R与访问页URL的结构特性可

4、以建立站点的拓扑结构图。2.2 用户访问矩阵将站点拓扑结构图转换为用户访问矩阵便于对数据进行分析挖掘出用户的偏爱浏览路径，用户访问矩阵表示为M=（Aij）（n+1）（n+1）。该矩阵的列为URL，行为URL_R，元素值Aij是访问页面的频度。另外，矩阵的行和列都增加一个NULL值。如果NULL出现在列中，表示用户链接到其他网站或者在此页结束浏览，反之，如果NULL值出现在行中，表示用户从其他网站链接进入访问页。2.3建立相似度矩阵通过对国内外相关文献的研究可知相似度高的页面被用户同时访问的概率较高，但使用访问矩阵不能直接用于求页面间的相似度。因此，我们将用户的访问矩阵进行转换得到转换矩阵来求得

5、页面间的相似度。遍历访问矩阵M，如果?Aij0，则Aij=1，得到转换矩阵M。设?为相似度矩阵的阈值，遍历相似度矩阵Mr，对任意的?dij?，则URLi和URLj列为一类，将作为基于相似度矩阵的用户偏爱浏览路径候选集。接下来可以对于相似度矩阵的偏爱浏览路径候选集使用有效偏爱度进行过滤，获得基于权重的用户偏爱浏览路径项集。2.5建立权重矩阵因为通过相似度矩阵与相似度阈值得出的偏爱路径集没有考虑页面间的浏览频度，所以需要再次过滤上述的偏爱路径集。由于用户访问网站习惯性的沿着页面间的链接来寻找目的页面，这就导致了某些页面不是用户喜爱的页面，但是浏览频度有很高，同时也是站点拓扑结构图中的主干路径。因而

6、，本文考虑对站点拓扑结构图进行加权，使得远离主干路径却被用户经常访问的路径权值高，属于主干路径的权值低。由2.4节获取的基于相似度矩阵的偏爱路径集，我们可以将这些偏爱路径集重构为新的站点拓扑结构图，此时的站点拓扑结构图称为高相似度站点拓扑结构图。定义3 页面间的最短访问路径高相似度站点拓扑结构图中节点A到节点B中长度最短的路径，称作从页面A访问页面B之间的最短访问路径。即找出节点A与节点B之间的所有可能路径，并计算出每条路径的长度，其中长度最短的路径就是需要的路径。定义4 页面间的访问权重4 结论将上述访问矩阵使用文献3的方法得到用户偏爱浏览路径集为，对比可知改进后比改进前多了这条路径，分析发

7、现访问频度为1，也是站点拓扑结构图的主干路径，不属于用户偏爱的浏览路径。通过该实例说明，改进后的算法是有效的，并且得出的用户偏爱浏览路径更能反映用户的真实兴趣与意图。5 结束语目前，网站的竞争日益强烈，越来越多的网站设计者们把重点投入到用户的感受上，不断改善网站的结构，使得网站尽力适应每个用户的浏览习惯。本文引入站点拓扑结构图来建立用户的访问矩阵，使用夹角余弦公式求出访问矩阵的相似度矩阵，将相似度高的页面归为一类，称为基于相似度矩阵的用户偏爱浏览路径候选集，引入访问矩阵的权重矩阵来降低由于主干路径访问频度高而对挖掘结果造成的影响，结合访问权重利用有效偏爱度过滤上述的候选项集，得出基于权重的用户

8、偏爱浏览路径项集，最后通过合并这些项集得到最符合用户浏览习惯的偏爱路径。Reference：1 施建生，伍卫国，陆丽娜等.Web 日志中挖掘用户浏览模式的研究J.西安交通大学学报， 2001， 35（6）： 621-624.2 何丽，韩文秀.一种基于后缀树的Web访问模式挖掘算法J.计算机应用，2004， 24（11）： 68-70.3 王思宝，李银胜.基于 Web 日志挖掘用户的浏览兴趣路径J.计算机应用与软件，2012， 29（1）： 164.4 邢东山，沈钧毅，宋擒豹.从 Web 日志中挖掘用户浏览偏爱路径J.计算机学报，2003，26（11）： 1518-1523.5 张玺，张学玲，张洪欣.基于 Web 日志的数据预处理方法研究J.滨州学院学报，2014，30（6）