数据挖掘在电子商务中的应用

1、数据挖掘在电子商务中的应用摘要：在进入大数据时代后，粗放型的电子商务时代已经无法适应当今社 会的发展，精准型的电子商务时代已经开始。电子商务在企业中应用时，企业信 息系统会将产生大量的数据，数据挖掘技术是数据分析的有效手段。运用数据挖 掘得到的信息可以对客户关系、网络营销等进行精确化管理，从而实现高效协同、 以人为本，满足每一位用户的不同要求。关键词：精准型；细分类；数据挖掘；客户关系Abstract： After entering the era of big data, extensive e-commerce era has been unable to adapt to the dev

2、elopment of todays society, the precise type of e-commerce era has begun When e-business applications in the enterprise, the enterprise information system will produce large amounts of data, data mining technology is an effective means of data analysis. Information obtained using data mining can be

3、customer relationsz Internet marketing, precise management, in order to achieve efficient coordinatio n, people-oriented, to meet the different requirements of each user.Key words： Precision； Sub divisions； Data Min ing： Customer Relationship1. 引言随着国内外电子商务的发展，电子商务网站越来越多，行业竞争越来越激烈，电子商务 网站必须加强客户关系管理，改

4、善经营理念，服务好客户，才能获得更多的客户资源。电 子商务企业要而对的客户群和市场都变得巨大而复杂，并且随着电子商务的应用日益广泛, 电子商务系统中积累了大量的信息和数据，这些数据正在呈现爆炸式的增长，给电子商务的 应用带来了一左的挑战。因此，电子商务网站必须研究客户的兴趣和爱好，对客户进行分 类管理，针对不同的客户群推荐不同的商品。对于企业而言，数据挖掘有助于发现业务发 展的趋势，帮助企业做岀正确的决策，使企业处于更有利的竞争位置。2. 国内外研究现状在电子商务模式下，决策的制左需要依靠通过网络途径所获得的用户访问和交易数据， 因而数拯挖掘作为一种数据处理工具便拥有了其用武之地。数据挖掘应用

5、技术之后演变为 Web挖掘，用于在网络环境中进行有价值信息的获取，通过各种网络文档及在线网站，实 现目标信息的自动发现和获取，从而帮助企业制宦决策。目前，Web数据挖掘技术在我国 电子商务中的应用主要集中于如下几个方而：(1) Web挖掘算法的研究它适用于电子商务环境，其在国内的发展己经初步成熟，也得 到了比较广泛的应用。各领域的数据特点不同，电子商务系统所产生的数据也必然有苴个性, 因而针对电子商务系统，传统的数据挖掘算法必需要进行改进，从而才能适应电子商务数据 挖掘的特点及需求。(2) 个性化服务及电子商务推荐系统的研究。该方向已经成为当前国内学术界对于电子商 务环境下Web数据挖掘的研究

6、热点，苴信息的挖掘主要依据Web服务器日志文件、用户 简介、注册信息、用户对话或交易信息、用户提问信息等数据进行，从而分析网络用户的浏 览行为及购买行为，进行用户忠实度的辨析，并实现更有效的而向目标客户的针对性及导向 性的服务，从而增加客户的购买机会与购买行为。(3) 电子商务环境下潜在客户的发现。在电子商务系统当中，少部分顾客会选择在站点注 册，而较多部分的顾客并不会注册，而如何把握住这些未注册的顾客，成为电子商务条件下 Web数据挖掘的研究方向之一。当前，在国外已经取得了用户兴趣模式理论体系研究及个性化服务研究的极大进展的情 况下，基于电子商务环境，中国国内的相关领域对数据挖掘应用技术的研

7、究也开始进行理论 与实际应用的双向集中。然而相对而言，其起步仍然较晚，还处于比较早期的研发阶段，无 论是产品方而还是应用方而与国外相比都相对滞后。国内以局部挖掘算法的设计、分析、 改进为研究的重点，而很少研究数拯挖掘系统自身的构建、开发模式的种类等问题。Web数 据挖掘的过程必须进行与电子商务业务流程的完美融合，这样才能更好地服务商家及用户， 这也体现了生产内容从提供商品到提供服务的转变，体现了市场正在向成熟与专业化的方向 发展。在当前电子商务环境下，分布式Web数据挖掘系统具有整体性，系统中的每一部分 都紧密联系，该技术项目不仅拥有良好的发展前景，对商家而言更意味着巨大的利益空间。3. 数据

8、挖掘工具及分类数据挖掘工具：从数据仓库的组成入手，分析数据仓库的体系结构。在数据仓库的设计 过程中必须注意3个关键的问题：选择数据仓库的目标数据库、数据抽取和转换工具及前端 数据访问和分析工具国。按照Web处理对象的不同，一般将Web挖掘分为三类：Web内容 挖掘,Web结构挖掘和Web使用记录挖掘。3.1内容挖掘Web内容挖掘是对Web页而内容进行挖掘，是从大量的Web数据中发现信息、抽 取知识的过程。Web挖掘的数据源有：服务器数据、査询数拯、在线市场数据、Web页而、 Web页而的超级链接关系、客户登记信息等。3.2结构挖掘Web结构挖掘是从网页上的组织结构和链接关系中推导知识。由于超文

9、本文档间的关联 关系使得网页不仅仅可以揭示文档中所包含的信息，同时也可以揭示文档间的关联关系所代 表的信息。利用这些信息可以对页而进行排序，发现重要的页面。挖掘Web结构的目的是 发现页而的结构和Web结构，在此基础上对页而进行分类和聚类，从而找到权威页而。3.3使用记录挖掘Web使用记录挖掘的主要目标是从Web的访问记录中抽取感兴趣的模式。互联网中的 每个服务器都保留了访问日志(Web access log),记录了关于用户访问和交互的信息。分析这 些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。4. 电子商务中进行数据挖掘的数据源4.1服务器数据客户访问服务器就

10、会在服务器上产生相应的服务器数据，这些数据可以分为日志文件和 査询数据。其中日志文件又可以分为 server logSx error logSx cookie logs server log. sserver logs有两种格式存储，一种是普通日志文件格式.另一种是扩展日志文件格式。普通日志 文件格式以Date Client IP, User name. Bytes. Server, Request, Status, Service name Time Protocol version. User agent. Cookie. Referrer的格式存储关于客户连接的物理信息。4.2客户登记信

11、息客户登记信息是指客户通过Web页在屏幕上输入的、电子商务活动起着非常重要的作 用，特别是在安全方而，或者在对客户可访问信息的限制方面。在Web的数据挖掘中，客 户登记信息必须和访问日志集成，以提高数据挖掘的准确度，能更进一步的了解客户。5 Web数据挖掘的主要技术Web数据挖掘中常用的技术有路径分析技术、关联规则、序列模式、分类聚类技术等。5.1关联规则挖掘技术该技术主要用于从学习者访问序列数据库的序列项中挖掘出相关的规则。在Web数据 挖掘中，关联规则挖掘就是要挖掘出学习者在一个访问期间(Session)从服务器问的页而、文 件之间的联系，这些页而之间可能并不存在直接的参引(Referen

12、ce)关系同。在网络日志数据 的预处理过程中，将学习者访问的页面路径构成了学习者会话事务集，可以通过关联规则挖 掘得到大量的学习者访问请求的URL之间的联系，并将挖掘岀的规则按照不同的支持度和 宜信度进行取舍，从而保留一些有用的规则进行应用。5.2序列模式挖掘技术序列模式数据挖掘就是要挖掘出交易集之间的有时间序列的模式。在网站服务器日志 里，学习者的访问是以一段时间为单位记载的。经过数据净化和事件交易确认以后是一个间 断的时间序列，这些序列反映了学习者一左的行为。在网络日志文件的预处理过程中，抽取 了学习者对于每个URL浏览所耗用的时间，这种元数拯从侧而描绘出每个学习者对于页而 上承载的知识点

13、的理解程度和思考难度，引用时间长的证明此页而承载的知识点比较难于理 解通过分析可以得出学习者对特定知识点的掌握程度。但由于网路线路的原因，致使学习 者在提岀URL请求后，很长时间才将相应的网页打开，所以这种由日志中记录的浏览时间 所分析出的各种模式规则并不一定真实反映学习者的学习过程，所以我们利用序列模式挖掘 方式预测出学习者后续要访问的页而集，然后将此页而集中的URL预先下载到本地汁算机 的缓存中去，从而降低了页而的打开时间，也就使得浏览时间的准确性和有效性得到了很大 的提高。这种Web页面的预取技术是利用序列模式挖掘方法来实现的。5.3聚类分类技术聚类技术可以将具有相同特征的数据项聚成一类

14、。聚类分析模式就是将数据划分到不同 的组或者簇中，组之间的差别尽可能的大，组内的差別尽可能的小，与一般认为通过学习者 的固左信息进行的分类分析不同，聚类前并不知道将要划分成几个组和什么样的组，完全依 靠服务器智能化的汁算得岀，因此聚类分析也可以称为无监督分类。通过聚类得岀不同的类 后，一旦某学习者的特征模式符合某个类后，推荐引擎自动将此学习者尚未访问的页而或者 尚未进行的测试与练习推荐给学习者。这样就可以智能化地将处在不同学习阶段的学习者得 到此类应该获得的学习和测试进程。5.4路径分析技术用路径分析技术进行Web使用模式的数据挖掘时，最常用的是图。因为一个图代表了 龙义在网站上的页而之间的联

15、系。图最直接的来源是网站结构图，网站上的页而左义成节点, 页而之间的超链接立义成图中的边。其他的各式各样的图也都是建立在页而和页而之间联系 或者是一定数量的学习者浏览页面顺序基础之上的。那么，基于Web使用模式的数据挖掘, 就是从图中确左最频繁的路径访问模式或大的参引访问序列。6. Web数据挖掘的过程电子商务中的Web挖掘过程一般由3个主要阶段组成：数据准备、挖掘操作、结果表 达和解释。数据准备。这个阶段又可分成3个子步骤：数据集成、数据选择、数拯预处 理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊准备，这 个阶段又可分成为处理数据中的遗漏等。数据选择的目的是辨別出

16、需要分析的数据集合，缩 小处理范用，提髙数据挖掘的质疑。预处理是为了克服数据挖掘工具的局限性。数据挖 掘。这个阶段进行实际的挖掘操作，包括的要点有：决左如何产生假设：选择合适的工具： 发掘知识的操作：证实发现的知识。结果表述和解释。根拯最终用户的决策目的对提取 的信息进行分析，把最有价值的信息区分开来，并且通过决策支持工具提交给决策者。因此, 这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意, 需要重复上述过程。7. 数据挖掘技术在电子商务的应用7.1在客户关系管理中的应用数据挖掘技术可以应用在客户群体细分、客户获得、客户保持、客户驻留和客户聚类等 方面。（-）

17、客户细分随着以客户为中心的经营理念不断深入人心，分析客户、了解客户并引导客户的需求己 成为企业经营的重要课题。通过对电子商务系统收集的交易数据进行分析，可以按各种客户 指标（如自然属性、收入贡献交易额、价值度等）对客户分类，然后确定不同类型客户的行为 模式以便采取相应的营销措施促使企业利润的最大化。（二）客户获得通过数据挖掘可以发现购买某种商品的消费者是性别，学历、收入、爱好、职业等。甚 至可以发现不同的人在购买该种商品的相关商品后多长时间有可能购买该种商品，以及什么 样的人会购买什么型号的该种商品等等。在采用了数据挖掘后，针对目标客户发送的广告的 有效性和回应率将得到大幅度的提高，推销的成本

18、将大大降低。（三）客户保持数据挖掘可以把你大量的客户分成不同的类，在每个类里的客户拥有相似的属性，而不 同类里的客户的属性也不同。你完全可以做到给不同类的客户提供完全不同的服务来提高客 户的满意度。数据挖掘还可以发现具有哪些特征的客户有可能流失，这样挽留客户的措施将 具有针对性，挽留客户的费用将下降。（四）客户的驻留对客户来说,传统客户与销售商之间的空间距离在电子商务中已经不存在了，在网络上, 每一个销售商对于客户来说都是一样的，那么如何使客户在自己的销售站点上驻留更长的时 间，对销售商来说将是一个挑战。为了使客户在自己的网站上驻留更长的时间，就应该了解 客户的浏览行为，知道客户的兴趣及需求所

19、在，动态地调整Web页而，以满足客户的需要。 通过对客户访问信息的挖掘，就能知道客户的浏览行为，从而了解客户的兴趣及需求。在 Internet上的电子商务中的一个典型的序列，恰好就代表了一个购物者以页而形式在站点上 导航的行为，所以可运用数拯挖掘中的序列模式发现技术。（五）聚类客户在电子商务中客户聚类是一个重要的方而。通过分组具有相似浏览行为的客户，并分析 组中客户的共同特征，可以帮组电子商务的组织者更好地了解自己的客户，向客户提供更适 合、更而向客户的服务。例如，有一些客户都花了一段时间浏览了同样的页而，经过分析这 些客户被聚类成为一组。销售商根据分析出来的聚类信息，就可以针对他们所进行的业

20、务 活动，及时调整页面及页而内容，使商务活动能够在一泄程度上满足客户的要求，使商务活 动对客户和销售商来说更具意义。7.2数据挖掘技术在网络营销中的应用网络营销是企业通过电子商务网站进行的一系列市场营销活动。与英他传统营销方式相 比，网络营销具有全球性、实时性、低成本以及客户参与的互动性等特点，这些特点使得网 络营销备受重视。以下列举几种应用。1. 交叉销售交叉销售是一种营销策略，虽然在很多分析中都将其归为客户关系管理中的一个方面， 但本质上它是对客户感兴趣的、可能购买的商品的一种组合销售策略。交叉销售策略取得成 功的关键是要保证进行交叉的产品确是用户所感兴趣的，这种策略的实施能够帮助企业维持

21、 与客户之间良好持久的关系。交叉销售中应用数据挖掘主要是借助这种数据分析技术寻找商 品销售的最合理匹配。2. 建立个性化服务系统在网站竞争日夜激烈的今天，如何让客户满意，留住老客户和吸引更多的客户已成为网 络营销的首要任务。这就要求企业营销站点能快速、准确地找到客戸所需信息，能为不同客 户提供不同的服务，能允许客户根据自己的需要定制页面，能为客户提供产品营销策略信息 等等。客户在访问企业的站点时，苴浏览信息被Web服务器自动收集，并保存在Web日 志文件中何。利用Web使用挖掘技术对这些日志文件进行有效的分析，不但可以充分了解 客户的喜好、购买模式，设计出满足不同客户需要的个性化网站，还可以为

22、企业制泄有效的 营销策略提供依据。3. 建立营销情报系统营销情报是指与各类营销环境日常发展情况相关的信息。帀场营销活动是建立在对市场 的了解和分析的基础上，对市场的了解需要收集、整理大量的营销信息。市场营销信息具有 很强的时效性，处于不断的更新变化之中，这就要求企业营销部门必须不断地及时收集各种 信息，以便不断掌握新情况，研究新问题，取得市场营销主动权。7.3数据挖掘技术在网站设计的应用1. 优化站点链接结构通过挖掘用户的Web日志文件，对Web站点的链接结构的优化可以从两方面来考 虑：一是发现用户访问页而的相关性，对密切相关的网页之间增加链接。二是发现用户的期 望位置网。如果在期望位置的访问

23、频率高于对实际位置的访问频率，可考虑在期望位置和 实际位置之间建立导航链接。通过对用户访问频繁路径的分析改进网站拓扑结构，使网站结 构更符合用户访问习惯。在第一期望位置和实际位宜之间增加导航链接，从而优化Web站 点的链接结构。2. 优化网站页而设计网站网页的内容设置直接影响网站的访问效率。并且，网站的访问者所关心的内容会随 时变化。以上挖掘工具的挖掘算法在网络的日志文件中挖掘用户访问页而的统计信息，发现 用户使用的模式，可以为改良网页的内容设置提供良好的建议。如通过确定时间阈值，除了 确定用户所访问的页而是目标页面还是期望位置，用户在页面停留时间的长短某种程度上反 映了用户对该页而内容的感兴

24、趣程度。3. 系统改进用户对网站服务的满意程度还与系统的性能相关，包括服务器缓存、网络传输、负载平 衡、数据分布等。用户在页而上停留时间较长，可能并不是对该页而有较大兴趣，服务器状 态及由于页面内容传输显示可能造成用户打开网页的等待时间较长。基于这种原因，就需要 根据代理服务器的访问日志预测用户的请求在时间和空间的分布，这种预测可以帮助代理服 务器选择页面预取和缓存策略；从服务器的日志中挖掘路径配宜文件，作为创建动态HTML 页面的依据，所以用户请求动态页而之前已将将动态页面生成，从而减少服务器的响应延迟 时间。4. 网络安全随着Internet的迅速发展，网站的安全性成为社会关注的焦点，同时也成为制约基于 网络的应用的主要因素。各种网络诈骗手段层出不穷，使人们进行网络消费时心有余悸，这 对推动电子商务的发展是极其不利的。由于登录系统的任何访问者的使用记录都会被服务器 日志自动获取，所以利用Web日志挖掘技术可以用于监视非法登录，黑客入侵等。将Web 使用日