Ｗｅｂ挖掘在电子商务系统中的应用

1、挖掘在电子商务系统中的应用摘要本文阐述了在电子商务应用中，利用eb挖掘技术，有效地将用户访问过程中的数据记录到日志文件中，并对日志文件进展有效地分析和挖掘；利用apriri改良算法ft树增长算法，找出对电子商务系统有指导作用的关联规律。关键词电子商务数据挖掘日志挖掘知识发现人工智能随着电子商务的开展，企业的数据越来越多，而当其数据积累到一定程度时，必然会反映出一定规律性的东西，也就是说，企业的海量、分布、动态、复杂、非构造化的数据中蕴含有可以为其利用的规律。因此，人们迫切希望使用一种技术，从中挖掘出具有价值的规律来，形成对企业的技术和经营的指导。数据挖掘技术是可以用来挖掘这些规律的一种有效工具

2、。eb中包含的丰富和动态的超链接信息，以及eb页面的访问和使用信息，为数据挖掘提供了丰富的资源。如何对eb中的数据进展有效的资源和知识发现，是eb挖掘需要解决的问题。一、eb信息数据的特征传统数据挖掘的信息局限于数据库中的构造化数据，而eb信息数据是半构造化或非构造化的,具有如下特征:一是大规模海量数据信息。二是信息分布广泛。三是异质、动态的信息源。eb及其数据的更新、增长速度极快,eb上的信息几乎都是隐藏的、未知的。四是信息具有丰富的内涵。既有涉及各方面丰富的信息内容,又蕴涵着访问页面、途径、时间、用户ip地址等这些潜在的访问信息。二、数据挖掘及eb挖掘技术1.数据挖掘数据挖掘，又称数据库中

3、的知识发现，近几年来已被数据库界所广泛研究。它是在数据仓库或大型数据库的根底上，从大量的、模糊的、随机的数据中提取出数据间重要的但容易被人工分析忽略的知识和信息。数据挖掘技术涉及数据库、人工智能、神经网络、预测理论、机器学习和统计学等多种相关技术。数据库中的知识发现kdd是从大量数据中提取出可信的、新颖的、有效的并能被人们理解的形式的高级处理过程。形式可以看作是我们所说的知识，它给出了数据的特性或数据之间的关系，是对数据包含的信息更抽象的描绘。2.eb挖掘eb挖掘是对数据挖掘的一种新的开展和应用，但不同于传统的数据挖掘，其主要区别在于传统的数据挖掘的对象局限于数据库中的构造化数据，并利用关系表

4、等存储构造来挖掘知识，而eb挖掘的对象是半构造化或非构造化特征。eb挖掘就是从大量的eb文档和eb活动中发现、抽取感兴趣的、潜在的有用形式和隐含的、事先未知的、潜在的信息。它以数据挖掘、文本挖掘、多媒体挖掘为根底，并综合运用计算机网络、数据库与数据仓库、人工智能、信息检索、信息提娶机器学习、统计学、概率理论、可视化、计算机语言学、自然语言理解等多个领域的技术，并将传统的数据挖掘技术与eb结合起来。eb挖掘分为：eb内容挖掘、eb构造挖掘和eb使用记录挖掘，如下列图所示。图eb挖掘的分类三、基于eb日志挖掘的算法eb日志记录了用户访问的信息，包括用户的访问方式、访问时间、访问人数、用户ip地址、

5、被恳求文件的url 版本号、传输字节数、引用页的url等。1.符号与定义eb日志文件是由一条记录组成的，一条记录实际上记录的是用户对eb页面的一次访问。定义1关联规那么：设i是eb日志的一条记录，即i=i1,i2,i,其中ij(1j)是某用户访问一种商品的数据，每次访问一种商品都包含有如商品编号、访问时间、访问次数、客户号、客户ip地址等数据，称此类数据为数据项。tii为i的一个子集。d=t1,t2,tn是关于ti的集合，且xi，yi，xy=，那么记录x=y为在集合d中x与y互相关联的规那么。定义2支持度：假如x=y在t中的s%成立，那么称xy的支持度为s%，即s%=(|t|t中含有x,y|/

6、|t|)100%支持度s%表示x=y中出现的普遍程度。定义3置信度%=(|t|t中含有x,y|/|t|t中含有x|)100%置信度表征的是规那么的强度。定义4频繁形式：大于给定的支持度的形式x=y称为频繁形式，并将它看成是t中一条有意义的关联规那么。2.算法描绘根据fp增长或频繁形式增长frequent-patterngrth算法，将关联规那么的挖掘分为两个步骤施行：根据所提供的最小支持度和最小置信度找出所有的频繁项集；利用所产生的频繁项集，产生合理的关联规那么。1fp增长算法的详细算法描绘如下：输入事务数据库d，最小支持度阈值in_sup输出d中的所有频繁项集方法1按以下步骤扫描构造fp树：

7、扫描事务数据库d一次。搜集频繁项的集合f和其支持度。对f按支持度降序排序，结果为频繁项表l。创立fp树的根节点，以“null标记。对d中每个trans,执行：选择trans中的频繁项，按l中的次序排序。设排序后的频繁项表为pp，其中p是第一个元素，p是剩余的元素表。调用insert_tree(pp,t)。即：假如t有子女n使得n.itenae=p.itenae，那么n的记数增加1，否那么创立一个新节点n，并将其计数设置为1，链接到它的父节点t，并通过节点链接构造将其链接到具有一样itenae的节点。假如p非空，递归调用insert_treep,n。方法2predureft_grth(tree,

8、)iftree含单个途径pthenfrp中节点的每个组合记作产生形式，其支持度supprt=中节点最小支持度；elsefreahi在tree的头部产生一个形式=i，其支持度supprt=isupprt；构造的条件形式基，然后构造的条件fp树tree；iftreethen调用fp_grth(tree,)；2产生频繁项集。本文主要介绍如何产生所有频繁项集。假设有一个两维的eb日志数据文件。一维是商品号，共有三种商品，分别标志为t1，t2，t3；另一维包括商品的访问次数，为简化处理，分别标志为intervie1，intervie2，intervie3，intervie4，intervie5。另假设in_sup=0.3，innf=0.5,表1给出了两维的事务数据库，表2给出的是一维频繁项集，表3给出的是二维频繁项集。四、完毕语本文提出了一种基于日志的eb数据挖掘方法，对