（计算机软件与理论专业论文）基于点击流web用户行为挖掘.pdf

at h e s i ss u b m i t t e dt og u a n g d o n g t e c h n o l o g yf o rt h ed e g r e eo fm a s t e r w e bu s e rb e h a v i o rm i n i n gb a s eo nc l i c k - s t r e a m c a n d i d a t e ：s uj i a n g y u s u p e r v i s o r ：p r o f t e n gs h a o h u a m a y 2 0 1 0 f a c u l t yo fc o m p u t e r g u a n g d o n gu n i v e r s i t yo f t e c h n o l o g y g u a n g z h o u ，g u a n g d o n g ，p r c h i n a ，5 10 0 9 0 摘要 摘要 在浩如烟海的互联网信息世界中，人们高效率地获取所需信息越来越难。究 其原因，一是由于信息资源在分散性和用户信息需求的有限性和动态性之间在矛 盾，二是现有搜索引擎和信息服务工具存在缺陷与信息服务准确、实时的需求之 间不适应。比较好的解决方法就是寻求一种优秀的信息服务方式，使其更好地满 足用户的需要。数据挖掘和数据仓库技术起源于对大量数据的存储和分析的需要。 在激烈的市场竞争环境下，基于业务数据的决策分析系统将发挥巨大的作用。正 是在这种需求的推动下，支持海量数据存储、o l a p ( 联机分析处理) 和数据挖掘 应用的数据仓库技术应运而生。其中，点击流数据仓库是数据仓库技术发展的一 个方向。 随着电子商务的飞速发展，电子商务对企业的经营活动开始产生巨大的经济 效益和社会效益。电子商务网站每天都产生大量的点击流数据。在这些点击流数 据中，包含着对企业决策非常有用的信息。比如：w e b 客户的来源、行为以及兴 趣爱好等。通过对这些数据进行有效分析，不仅能够对网站的建设起到指导作用， 改善客户关系管理和提高客户体验度，还能够反映产品的市场、营销方面的状况， 提高企业在市场营销和服务等各方面的质量。 本文探讨了点击流数据仓库的建立及其应用。首先研究了点击流数据仓库的 维度建模方法、设计了一个面向w 曲用户行为挖掘主题的数据集市和点击流数据 集市的e t l 处理机制。在数据仓库的多维模型设计中，讨论了w e b 点击流数据仓 库的各种数据来源、站点用户的识别级别划分、页面识别技术和会话识别技术， 并且提出面向w e b 用户行为挖掘主题的会话事实表、页面点击事实表、客户一业 务事实表以及各事实表的维度属性。在建立了点击流数据仓库之后，本文还提出 一个改进的频繁项集挖掘算法t m d h p 算法。t m d h p 算法利用散列技术以及 事务标记的方法，快速筛选w e b 用户的点击流数据中的频繁点击模式，然后利用 s a se m 软件中的l i n ka n a l y s i s 模块进行w e b 用户的行为挖掘。最后再对数据挖 掘结果进行图形化显示和分析。 最后对论文阐述的内容做了简要总结，针对点击流数据仓库应用研究的发展 趋势和发展方向做出展望。提出本文的不足之处主要表现在w e b 客户行为挖掘结 果方面缺少深入分析，以及未能实现结合其他数据源对w 曲客户进行流失分析并 且将分析结果运用于企业的决策分析过程中。这些都将为下一步继续研究的重点 内容。 关键词：w e b 点击流，数据集市，行为挖掘 广东工业大学硕士学位论文 a bs t r a c t i nt h ev a s tw o r l do fi n t e r n e ti n f o r m a t i o n ，i ti si n c r e a s i n g l yd i f f i c u l tt op e o p l et o e f f i c i e n t l yo b t a i nt h er e q u i r e di n f o r m a t i o n t h er e a s o n sa r eo nt h eo n eh a n d ，t h e r ei s t h ec o n f l i c tb e t w e e nt h ed e c e n t r a l i z e dn a t u r eo fi n f o r m a t i o nr e s o u r c e sa n dt h el i m i t e d a n dd y n a m i c sn a t u r eo fu s e r s i n f o r m a t i o nn e e d s o nt h eo t h e rh a n d ，t h ec u r r e n ts e a r c h e n g i n e sa n di n f o r m a t i o ns e r v i c e st o o l sc a n n o ts a t i s f yt h ei n f o r m a t i o nu s e r s n e e d ， b e c a u s eo ft h ed e f a u l to ft h e i ri n a c c u r a t e ，u n r e a l t i m e t h es o l u t i o ni st os e e kab e t t e r q u a l i t yi n f o r m a t i o ns e r v i c e d a t am i n i n ga n dd a t aw a r e h o u s et e c h n o l o g yo r i g i n a t e d f r o mr e q u i r e m e n to fa n a l y s i sn u m e r o u sd a t a i nt h ef i e r c em a r k e tc o m p e t i t i o n e n v i r o n m e n t ，d e c i s i o n - m a k i n gb a s e do nb u s i n e s s d a t aa n a l y s i ss y s t e mw i l lp l a ya m a j o rr o l e i ti sd e r i v e db y t h i sr e q u i r e m e n t ，d a t aw a r e h o u s et e c h n o l o g yw h i c hs u p p o r t m a s sd a t as t o r a g e ，o l a p ( o n l i n ea n a l y t i c a lp r o c e s s i n g ) a n dd a t am i n i n ga p p l i c a t i o n s c a m ei n t ob e i n g a n d ，c l i c k s t r e a md a t aw a r e h o u s ei so n eo fd e v e l o p i n gd i r e c t i o no f d a t aw a r e h o u s et e c h n o l o g y w i t ht h er a p i dd e v e l o p m e n to fe c o m m e r c e ，e - c o m m e r c ea c t i v i t i e sa ne n o r m o u s e c o n o m i ca n ds o c i a lb e n e f i t so nt h eb u s i n e s s e - c o m m e r c es i t eg e n e r a t e sag r e a td e a l o fc l i c ks t r e a md a t ae v e r yd a y , w h i c hi n c l u d em u c hu s e f u li n f o r m a t i o nf o rt h eb u s i n e s s d e c i s i o n s f o re x a m p l e ，w h e r ea r et h ec u s t o m e r sf r o m , w h a ta c t i o nc u s t o m e rt o o k ， w h a td i dc u s t o m e ri n t e r e s ti n b a s e do na n a l y s i so ft h e s ed a t ae f f e c t i v e l y , n o to n l yc a n p l a yag u i d i n gr o l e i nt h ec o n s t r u c t i o ns i t ea n di m p r o v ec u s t o m e rr e l a t i o n s h i p m a n a g e m e n ta n di m p r o v ec u s t o m e re x p e r i e n c ed e g r e e ，a l s or e f l e c tt h ec o n d i t i o n so f p r o d u c t si nt h em a r k e t i n ga n di m p r o v et h es e r v i c eq u a l i t yo f t h ee n t e r p r i s e t h i st h e s i si st r y i n gt or e s e a r c ha n db u i l dac o m p l e t ec l i c k s t r e a md a t aw a r e h o u s e a p p l i c a t i o ns y s t e m f i r s t l y , t h ep a p e rs t u d i e sc l i c k - s t r e a md a t aw a r e h o u s ed i m e n s i o n a l m o d e l i n gm e t h o da n dd e s i g n saw e bu s e rb e h a v i o rm i n i n go r i e n t e dd a t am a r t b e f o r e t h ed e s i g no fm u l t i d i m e n s i o nm o d e lo ft h ed a t aw a r e h o u s e ，t h i sp a p e rh a sd i s c u s s e d v a r i o u sd a t as o u r c e so ft h ew e bc l i c k s t r e a md a t aw a r e h o u s ea n de t lp r o c e s s i n g m e c h a n i s mo ft h ed a t am a r t a n dt h e np r o p o s e dt h em e t h o do fi d e n t i f i c a t i o no ft h es i t e u s e r - l e v e lp a r t i t i o na n dt h et e c h n i q u eo fp a g ei d e n t i f ya n ds e s s i o ni d e n t i f yf o rb u i l d i n g s e s s i o nc l i c k s t r e a mf a c t ，p a g ec l i c k - s t r e a ma n dc u s t o m e rb u s i n e s sf a c ta n dt h e a t t r i b u t i o n so fe a c hd i m e n s i o n a f t e rt h ee s t a b l i s h m e n to fad a t aw a r e h o u s e ，t h ep a p e ra l s op r o p o s e saf r e q u e n t i t e m s e tm i n i n ga l g o r i t h m t m d h pa l g o r i t h m t m d h pa l g o r i t h mu s e r sh a s h i n g t e c h n i q u ea n dt r a n s a c t i o nt a gm e t h o d ，r a p i d l yf i n do u tt h ef r e q u e n tp a t t e r n so f t h ew e b h a b s t r a c t u s e r sc l i c ks t r e a md a t a a n dt h e n , t h ef r e q u e n tc l i c kp a t t e r n sd a t aw i l lb ei m p o r t e di n t o t h el i n ka n a l y s i sm o d e lo fs a se mf o rm i n i n gt h ew e bu s e r s b e h a v i o r f i n a l l y , t h e r e s u l t so fd a t am i n i n gd i s p l a y e di ng r a p h i c a l l y f i n a l l y , t h ep a p e r h a ss t u d i e dt h ed e v e l o p m e n tt r e n d so fa p p l i c a t i o no f c l ic _ k s t r e a md a t aw a r e h o u s e d r a w b a c k so ft h i sp a p e r ，t h em i n i n gr e s u r so fw e b u s e r s b e h a v i o ri sn e e df o rd e p t ha n a l y s i s a n dt h ew e bu s e r sl o s sa n a l y s i sw i l lb et h ek e y e l e m e n t so ft h en e x tc o n t i n u es t u d y k e yw o r d s ：w e bc l i c k s t r e a m , d a t am a r t ，b e h a v i o rm i n i n g i l l 目录 目录 摘要i a b s t r a c t i i 目录1 0 7 c o n t e n t s 。v i i i 第一章绪论1 1 1 研究背景1 1 2 国内外研究背景1 1 3 论文研究的内容与结构2 1 3 1 本文研究内容2 1 3 2 本文结构3 1 4 本章小结3 第二章数据仓库与数据挖掘技术一4 2 1 数据仓库4 2 1 1 数据仓库定义4 2 1 2 数据仓库特点5 2 1 3 各类数据仓库解决方案介绍5 2 2 数据挖掘技术介绍6 2 2 1 数据挖掘技术定义6 2 2 2 数据挖掘技术分类7 2 2 3 数据挖掘的一般流程7 2 3 本章小结8 第三章w e b 点击流数据仓库应用体系结构一9 3 1 构建w - e b 点击流数据仓库一9 3 2 基于w r e b 点击流数据挖掘1 1 3 3 本章小结1 2 第四章f a n d a id w 数据仓库维度设计和e t l 1 3 4 1w e b 数据仓库的数据来源1 3 4 2 点击流数据集市概要设计1 6 4 3f a n d a id w 的维度设计1 7 4 4f a n d a id w 的事实表设计2 3 4 4 1 用于分析完整会话的点击流事实0 表2 3 4 4 2 用于分析个体页面使用情况的点击流事实表2 4 v 广东工业大学硕士学位论文 4 4 3 客户商务点击流事实表2 6 4 5f a n d a id w 数据的e t l 2 7 4 5 1 数据仓库e t l 的方法2 8 4 5 2 数据仓库的数据更新处理2 9 4 5 3f a n d a id w 的e t l 设计3 0 4 6 本章小结3 4 第五章基于点击流的用户行为分析3 5 5 1 点击流数据的关联规则算法3 5 5 1 1t m d h p 算法描述3 7 5 1 2t m d h p 算法分析4 0 5 2 数据集导入s a s 系统4 1 5 3 利用s a se m 构建模型4 2 5 3 1 在s a se n t e r p r i s em i n e r 新建项目4 2 5 3 2 创建s a s 数据挖掘模型4 3 5 4 本章小结4 8 第六章数据挖掘模型运行结果分析4 9 6 1l i n ka n a l y s i s 模型运行结果4 9 6 2l i n ka n a l y s i s 可视化分析结果5 1 6 3l i n ka n a l y s i s 节点间的行为分析5 2 6 4 本章小结5 4 第七章结论与展望5 5 7 1 结论5 5 7 2 进一步的研究方向5 5 7 3 本章小结5 6 参考文献5 7 攻读硕士学位期间发表的学术论文6 0 独创性声明6 l 致谢6 2 v i c o n t e n t s c o n t e n t s a b s t r a c t ( c h i n e s e ) i a b s t r a c t i i c o n t e n t s ( c h i n e s e ) v c o n t e n t s v i i i c h a p t e r l f o r w a r d 。1 1 1 i n t r o d u c t i o n 1 1 2r e s e a c hb a c k g r o u n d 1 1 3c o n t e n ta n ds t r u c t u r eo f t h ep a p e r 2 1 ：；1c o n t e n t so fs t u d y 2 1 ：；2s t r u c t u r eo f t h ep a p e r 3 1 4s u m m a r y ：i c h a p t e r 2 d a t aw a r e h o u s e a n dd a t am i n i n g 4 2 1 】： a t aw a r e h o u s e 4 2 1 1d e f i n i t i o no f d a t aw a r e h o u s e j ：4 2 1 2f e a t u r e no f d a t aw a r e h o u s e 4 2 1 3i n t r o d u c t o no f v a r i o u st y p e so f d a t aw a r e h o u s es o l u t i o n s 5 2 ：! 】： a t am i n i n g ：6 2 2 1d e f i n i t i o no f d a t am i n i n gd a t am i n i n g 6 2 2 2t h ec l a s s i f i c a t i o no f d a t am i n i n g 7 2 2 3t 1 1 eg e n e r a lp r o c e s so f d a t am i n i n g 7 2 3s u m m a r y ； c h a p t e r3 a p p l i c a t i o na r c h i t e c t u r eo fw e bc l i c k s t r e a md a t aw a r e h o u s e 9 3 1c o n s t r u c t i o no f w e bc l i c k s t r e a md a t aw a r e h o u s e 9 3 2d a t am i n i n gb a s eo nw e bc l i c k s t r e a m 1l ：；3s u m m a r y 1 ：! c h a p t e r4 d i m e n s i o n a ld e s i g na n de t lp r o c e s so f f a n d a i d w 1 3 4 1d a t as o u r c e so f 、bd a t aw a r e h o u s e 1 3 4 2c o n c e p td e s i g no f c l i c k - s t r e a md a t am a r t 1 6 4 3d i m e n s i o nd e s i g no f f a n d a id w 17 4 4f a c tt a b l ed e s i g no f f a n d a id w ：1 3 4 4 1s e s s i o nc l i c k s t r e a mf a c tt a b l e 2 3 4 4 2p a g ec l i c k s t r e a mf a c t t a b l e 2 4 v i l 广东工业大学硕士学位论文 4 4 3c u s t o m e r s b u s i n e s sc l i c k s t r e a mf a c tt a b l e 2 6 4 5e t lp r o c e s s i n go f f a n d a id w 2 7 4 5 1e t lm e t h o do f d a t a 、r e h o u s e 2 8 4 5 2d a t aw a r e h o u s eu p d a t ep r o c e s s i n g 2 9 4 5 3e t ld e s i g no ff a n d a id w ：；( ) 4 6s u m m a r y 3 4 c h a p t e r5 u s e rb e h a v i o ra n a l y s i sb a s e dc i i c k - s t r e a m 3 5 5 1a s s o c i a t i o nr u l e sa l g o r i t h mo nc l i c k s t r e a md a t a 3 5 5 1 1i n t r o d u c t o no f t m d h pa l g o r i t h m 3 7 5 1 2a l g o r i t h ma n a l y s i so f t m d h p 4 0 5 2i m p o r td a t ai n t os a ss y s t e m 4 1 5 3c o n s t r u c t i o no fm o d e l si ns a se m z l ：1 5 3 1c r e a t ean e w p r o j e c ti ns a se m 4 2 5 3 2c r e a t es a sd a t am i n i n gm o d e l s 4 3 5 4s u m m a r y z 1 8 c h a p t e r6 a n a l y s i so ft h ed a t am i n i n gr e s u l t s 。4 9 6 1l i n ka n a l y s i sm o d e lr u nr e s u l t s 4 9 6 ：! l i n ka n a l y s i sv i s u a lr e s u l t s 51 6 3l i n ka n a l y s i so fb e h a v i o rb e t w e e nn o d e s 5 2 6 4s u m m a r y ! ；4 c h a p t e r7 c o n c l u s i o n s ! ；5 7 1c o n c l u s i o n so f t h ep a p e r 5 5 7 2f u r t h e rr e s e a r c h ! ；! ； 7 3 s u m m a r y ! ；6 r e f e r e n c e s ! ；7 p u b l i c a t i o n sd u r i n gm a s t e r ss t u d i e s 6 0 a n n o u n e e m e n to fo r i g i n a lc r e a t i o n 6 1 a c k n o w l e d g e m e n t 6 ：! v u i 第一章绪论 1 1 研究背景 第一章绪论 点击流是指用户在网上浏览结束后所留下的实际的踪迹。通过采集用户在w e b 上行为情况的方法，可以用于跟踪记录访问过的链接点，包括用户的来源方式、浏 览站点的路线和最终到达的目的。链接分析包括对点击过的链接u r l 、它们在屏幕 上的相关位置、它们的显示方式、用户在网页上停留的时间以及点击过的链接u r l 之间的关系和最终的结果( 用户是否发生了电子交易等) 。通过对这些数据的有效 分析，不但能够对网站的建设起到指导的作用，还能增强网站的黏合度。当网络用 户查询一些信息或无意间进行随意地点击网页时就为企业留下了可利用的分析资 料。无论是i s p j 艮务商们还是网站都有能力捕获到用户的点击流信息。在各类w e b 网站环境中，点击流的分析越来越有价值，已经远远超过了一般的w r e b 日志信息的 范畴。对这些数据进行深层次的分析已经成为各网站了解经营状况、了解客户兴趣 的有效途径。而且随着企业网络化进程的逐步加深，这种方式将成为企业了解客户 的最主要途径。点击流分析以w e b 上的用户点击流数据为基础，构通w e b 点击流数 据仓库，进而利用联机分析处理( o l a p ) 、数据挖掘( d a t am i n i n g ) 等技术满足 网站的所有人员( 运营、市场营销、客户关系管理以及网站管理) 的需求。不同的 部门有不同的需注，通过对点击流数据不同角度的分析来达到不同的目的。 本文引入w e b 点击流数据仓库主要是结构化地处理和存储w e b 用户的浏览数 据，利用数据挖掘技术分析获取用户兴趣特征集合，分析结果用于支持企业的商务 活动。 1 2 国内外研究背景 作为一个新兴的领域，数据仓库技术发展非常迅速。目前许多研究机构、公 司，特别是数据库厂商和决策支持信息服务公司根据自己的需要已开发出了许多 的数据仓库解决方案。数据仓库技术的应用也已经十分广泛，尤其在金融、保险、 电信、销售等领域和政府部门大都采用数据仓库加上数据挖掘技术做市场分析和 决策支持【- 1 。 但是与国外相比我国的数据仓库市场丌启比较晚，企业决策层仍未能意识数据仓 库技术带来的好处。再加上数据仓库开发周期和见效时间都比较长，自身发展还 有很多不完善的地方。所以导致许多数据仓库项目仓促上马，或者未能体验项目 的优势就被判定无效，最终都以失败告终。这主要体现在： 广东工业大学硕士学位论文 ( 1 ) 大部份数据库系统的建立是用来进行传统的o l t p ( 联机事务处理) 业 务，当然也有一些开始建立数据仓库系统，但真正发挥效用的却不多见。 和许多成熟的i t 技术相比，数据仓库的解决方案仍没有一个可靠的、完 善的、可以被广泛接的业界标准。这也给数据仓库项目实施过程带来许多 的不确定因素。 ( 2 ) 数据仓库的数据量非常大，一般为g b 、t b 甚至p b 级别的。是目前 一般o l t p 数据库的千倍，万倍甚至百万倍。从这方面来讲目前国内的许 多企业的数据库系统中数据积累还不够，而对于数据仓库系统来说，没有 足够的数据积累是没有任何意义的。这些数据并非是最新的，专用的，它 可能来源于好几个业务数据库或者文件系统。而且由于国内的许多企业的 发展初期都缺乏对数据的统一设计，数据之间是存在许多不一致性，需要 对多个系统的数据进行e t l ( e x t r a c t 、t r a n s f o r ma n dl o a d ) 之后才能进入 数据仓库。这部份的工作需要对企业整个业务数据系统非常清晰的了解之 后才能完成。这也是阻碍数据仓库项目成功实施的主要因素之一。 ( 3 ) 与传统业务系统不同，一方面数据仓库是面向管理决策层应用的，所 以数据仓库项目的实施必须有系统自身的最终用户企业决策层的参与；另 一方面，数据仓库应用本身不应该是业务流程的再理，而是基于数据分析 的管理模式的体现。因此在这个层面上，数据仓库对于企业决策层的意义 首先不是体现在信息技术和产品上的，而是企业经营管理模式上的。但是 目前我国很多企业普遍存在管理意误解淡薄、管理手段缺乏、管理措施落 后、管理基础数据缺乏及不准确等问题，使得企业在数据仓库的实施过程 中，经常会暴露出存在于机构内部关系的复杂性和行政上的种种障碍。 对于点击流数据仓库的研究，目前还处理一个比较落后的阶段，数据的采集和 分析都没能达到支持网站经营者做出准确决策的阶段。 1 3 论文研究的内容与结构 1 3 1 本文研究内容 本文是建立在服务产品网站系统之上的一个实验性质点击流数据仓库和数据挖掘 项目。提出基于点击流技术的w e b 用户行为分析，研究的重点是利用点击流技术对 用户在网站上的浏览进行记录，并抽取关键的数据构建点击流数据仓库和使用数据 挖掘分析出用户的兴趣习惯。综上所述，本文研究需要解决以下几方面的技术问题： ( 1 ) 定义w 曲用户的识别策略。根据对用户识别的可信度从低到高可以划分为四 个级别：级别1 ：仅仅识别特定i p 正在进行一个会话；级另l j 2 ：识别特定s e s s i o n 相同的c o o k i e i d 已经返回一个重复的会话；级别3 ：识别注册用户已经返回到 2 第一章绪论 w e b 站点；级， t j 4 ：可靠地识别一位存有人口统计信息的已知客户。 ( 2 ) 利用点击流技术对w e b 用户浏览路径信息进行记录和跟踪，并对点击流数据 主要的来源w e b 日志格式进行分析，同时研究w e b 日志数据的处理过程。 ( 3 ) 设计点击流数据仓库的维度表和事实表，并通过数据的e t l ( 抽取、转换和 装载) ，导入数据仓库。 ( 4 ) 基于w e b 点击流数据仓库中的数据，运用关联规则算法进行用户的w | e b 点击 序列挖掘和用户的行为分析。 1 3 2 本文结构 本文的组织结构如下： 第一章：阐述w e b 点击流数据仓库和数据挖掘的应用背景和研究意义，分析w e b 日志分析的不足，进而明确本文的研究内容和论文结构。 第二章：数据仓库和数据挖掘技术介绍：介绍了数据仓库和数据挖掘的概念， 以及现行几种主流数据仓库解决方案和简要介绍数据挖掘算法。 第三章：w e b 点击流数据挖掘体系统结构：主要介绍本文设计的w e b 点击流数 据仓库的体系统结构和数据挖掘的目标。 第四章：f a n d a id w 数据仓库维度设计和e t l ：主要分析了点击流数据来源、 数据收集、数据仓库的维度设计、事实表设计和数据的e t l 过程。 第五章：基于点击流的用户行为分析：提出了基于散列技术的频繁项集挖掘算 法- t m d h p 算法。使用t m d h p 算法，挖掘w e b 用户的点击频繁项集和点击序列。 进而，运用s a sl i n ka n a l y s i s 模块对点击流数据进行数据挖掘。 第六章：对l i n ka n a l y s i s 模型的挖掘结果进行分析，从而掌握到w 曲用户的行 为习惯。 第七章：总结与展望：对本文所作的研究工作和进一步还需要做出的研究做出 一个总结和展望。 1 4 本章小结 本章主要讨论了w e b 点击流，及基于点击流数据仓库的用户行为挖掘技