（计算机应用技术专业论文）网站访问点击流分析与基于SSIS的ETL设计实现.pdf

中文摘要 中文摘要 你真的了解自己的网站吗? 每天有多少人访问您的网站? 现在有谁正在 您的网站上? 他们做了什么? 他们从何而来? 搜索引擎为您带来多少点击? 访问者搜索的关键词是什么? 您的哪个栏目哪个网页更受欢迎? 这些问题的 解决就是本文的目的，其手段是通过数据仓库的形式，因为创建数据仓库作 为企业管理决策支持系统的基础已得到越来越多企业领导者的认同，也是企 业经营管理决策与信息化结合的趋势所在。 传统数据仓库是针对某个主题，对传统操作型数据库中的数据进行抽取、 清洗和转换，加载到数据仓库中，形成多维数据集。决策者可通过o l a p ( 在 线分析处理) 或数据挖掘工具对从不知晓的企业运营的内在知识进行挖掘， 挖掘隐含在内部的商业知识、商业模式，或针对企业以往发展，探索成功与 失败的原因。 点击流数据仓库的数据来源与一般数据仓库不同，来自点击流数据，通 过收集、整理、转换这些数据，建立针对w e b 点击信息的各种维度，进而分 析网站用户的行为并最终探索导致这些行为的内在原因是点击流数据仓库的 建设初衷。通过点击流数据仓库将描述用户行为的数据转为决策者可以利用 的有效信息，为网站经营者提供决策支持。 通常，w e b 分析工具能提供一些有利于分析网站基本流量和访问模式的概 要级信息，了解网站的基本运行状况。但要探究导致网站用户行为的内在因 素或其他一些商务问题时，w e b 分析工具则显得力不从心。 点击流数据仓库的建立完全遵从传统数据仓库建立的原则，其优势源于 点击流数据是一种真正改进了的数据资源集，加上数据仓库系统本身的成熟 应用，使点击流数据仓库具有其他方式或工具无法比拟的优势。 首先，点击流数据仓库能够更好地组织和管理点击流数据，能描绘w e b 用户完整的行为视图； 网站访问点击流分析与基于s s i s 的e t l 设计实现 其次点击流数据仓库中的数据通常经过抽取、转换和清洗，因而在数据 仓库上进行点击流数据分析可免去许多数据预处理的工作； 点击流数据仓库中集成了大量的历史数据，而对用户行为分析的大多数 问题也与时间有关，因此，借助点击流数据仓库进行点击流分析更利于理解 用户的行为。 同时，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企 业做出明智的业务经营决策的工具。商业智能系统是建立在数据仓库、o l a p ( 联机分析) 和数据挖掘等技术的基础之上，通过收集、整理和分析企业内 外部的各种数据，为企业管理层提供科学的决策依据。 而m i c r o s o f ts q ls e r v e r2 0 0 5 是用于大规模联机事务处理( o l t p ) 、数 据仓库和电子商务应用的数据库和数据分析平台。在商业智能方面s q l s e r v e r2 0 0 5 提供了三大服务和一个工具来实现系统的整合。三大服务是s q l s e r v e ra n a l y s i ss e r v i c e s ( s s a s 分析服务) 、s q ls e r v e ri n t e g r a t i o n s e r v i c e s ( s s i s 集成服务) 、s q ls e r v e rr e p o r t i n gs e r v i c e s ( s s r s 报表服 务) 和一个工具是s q ls e r v e rb u s i n e s si n t e lli g e n c ed e v e l o p m e n ts t u d i o ( b i d s ) 。 e t l 是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过 程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业 的决策提供分析的依据。e t l 是o l t p 系统和o l a p 系统之间的桥梁，是数据从 源系统流入数据仓库的通道。e t l 是b i 项目最重要的一个环节，通常情况下 e t l 会花掉整个项目的1 3 的时间，e t l 设计的好坏直接关系到b i 项目的成 败。e t l 也是一个长期的过程，只有不断的发现问题并解决问题，才能使e t l 运行效率更高，为项目后期开发提供准确的数据。e t l 的实现有多种方法，s q l s e r v e r2 0 0 5 的s s i s 服务提供了较为完好的e t l 解决方案。 因此，应用点击流数据仓库对网站访问进行统计分析，在e t l 数据加载 方面使用s q ls e r v e r2 0 0 5 的s s i s 集成服务，这也是本文主要的应用设计。 主要内容章节安排如下： 第一章绪论部分。主要介绍课题的研究背景，概述课题的研究意义，目 的和实际价值。主要针对网站访问点击流分析，深入挖掘客户访问信息，全 面掌握网站运营情况。举例分析国内外产品的研究及应用情况，指出课题的 2 中文摘要 主要研究内容。 第二章商业智能的技术构成与点击流数据仓库部分。介绍商业智能、点 击流数据仓库的定义及相关概念，并对s q ls e r v e r2 0 0 5 实现b i 的体系结构 进行了解，分析s s i s 设计流程，了解s s i s 的典型应用。 第三章w e b 服务器日志与点击流数据源部分。主要对w e b 服务器日志文 件格式进行分析，研究日志文件与点击流数据源的关系。 第四章数据预处理和基本维度数据加载部分。主要分析对w 3 c 日志文件 进行预处理的方法、u r l 的编码及解码实现和在后面数据仓库中用到的基本维 度如时间、操作系统、浏览器及地区维度的数据加载；其中，主要解决i p 地 址到地区维度的映射。 第五章数据仓库建模及e t l 设计实现部分。主要对点击流数据仓库的建 模和基于s s i s 的e t l 的设计实现，其中提出了在数据仓库建模中的一些建议 及s s i s 性能优化的方式。 第六章网站日志分析与展现部分。主要是利用a n a l y s i ss e r v i c e s 创建 多维数据集，部署多维数据集到a n a l y s i ss e r v i c e s 数据库；再利用 p r o c l a r i t yd e s k t o pp r o f e s s i o n a l 和e x c e l2 0 0 7 来完成b i 前端展现。 第七章总结与展望。主要对对本文的研究工作进行概括和总结。 本文主要的亮点主要解决了i p 地址到地区维度、接入商维度的映射，借 助接入商分析功能，可以了解网站访问者中各接入商的比例，从而确定所需 要设置的镜像服务器的比例。能够通过深入挖掘客户访问信息，全面掌握网 站运营情况。 关键词：点击流数据仓库w e b 服务器日志分析b i 商业智能e t l 解决 方案s s i s 集成服务o l a p 前端展现 a b s t r a c t d oy o ur e a l l yk n o w y o u r o w nw e b s i t e ? h o wm a n yp e o p l ev i s i ty o u rw e b s i t e d a i l y ? w h oi sn o wv i s i t i n gy o u rw e b s i t e ? w h e r ea r et h e mf r o m ? h o wm a n yc l i c k s d o e ss e a r c he n g i n eb r i n gy o u ? w h a ta r ev i s i t o r sk e yw o r d s ? w h i c hi st h em o s t p o p u l a rp a g eo rc o l u m no ny o u rw e b s i t e ? s o l u t i o nt ot h e s ep r o b l e m si st h e p u r p o s eo fw r i t i n gt h i sa r t i c l ew i t ham e a s u r e m e n to fd a t aw a r e h o u s e s e t t i n gu pa d a t aw a r e h o u s e 嬲t h eb a s eo fe n t e r p r i s em a n a g e m e n ts t r a t e g ys y s t e mh a sb e c o m e m o r ea n dm o r ea d m i r e db ye n t e r p r i s em a n a g e r , a n di ti sa l s ot h et r e n do ft h e c o m b i n a t i o no fe n t e r p r i s em a n a g e m e n ts t r a t e g ya n di n f o r m a t i z a t i o n t r a d i t i o n a ld a t aw a r e h o u s ei sp o i n t i n ga ts o m es u b j e c t , e x t r a c t i n g ，c l e a n s i n g a n dc o n v e r t i n gd a t ai nt r a d i t i o n a l o p e r a t i o n a ld a t aw a r e h o u s e ，t h e nf o r m i n g m u l t i d i m e n s i o n a ld a t as e t d e c i d e rc a nd od a t am i n i n gf r o mi n t e r n a lk n o w l e d g eo f u n k n o w ne n t e r p r i s eo p e r a t i o n 、析t l lo l a p ( o n - l i n ea n a l y s i sp r o c e s s i n g ) o rd a t a m i n i n gt o o l s t h es o u r c ei nc l i c k s t r e a md a t aw a r e h o u s ei sd i f f e r e n tf r o mc o m m o nd a t a w a r e h o u s e i tc o m e sf r o mc l i c ks t r e a md a t a a 1 ld i m e n s i o n sp o i n t i n ga tw e bc l i c k i n f o r m a t i o na r es e tu pb yc o l l e c t i n g ，a r r a n g i n ga n dc o n v e r t i n gt h e s ed a t a , t h e n a n a l y z i n gw e b s i t eu s e r s b e h a v i o ra n df m a l l ye x p l o r et h ei n t e r n a lr e a s o nf o rt h e s e b e h a v i o r sw h i c hi st h eo r i g i n a li n t e n t i o nf o rc l i c k s t r e a md a t aw a r e h o u s e u s u a l l y , w e ba n a l y s i st o o l sc a np r o v i d es o m eb a s i ci n f o r m a t i o ng o o df o r a n a l y z i n gb a s i cw e b s i t ef l o wr a t ea n dv i s i t i n gm o d et ou n d e r s t a n dt h er u n n i n g s t a t u so fw e b s i t e h o w e v e r , w h e ne x p l o r i n gi n t e r n a lf a c t o r so fw e b s i t eu s e r s b e h a v i o r sa n ds o m eo t h e rb u s i n e s sp r o b l e m s ，w e ba n a l y s i st o o l sa r ef a rf r o m e n o u g h t h eb u i l d i n go fc l i c k s t r e a md a t aw a r e h o u s es t r i c t l yo b e y st h ep r i n c i p l e so f b u i l d i n ga t r a d i t i o n a ld a t aw a r e h o u s e a d v a n t a g e so fi ta r et h a tc l i c ks t r e a md a t a i sar e a l l yi m p r o v e dd a t as o u r c es e t , a n dt h em a t u r eu s i n go fd a t aw a r e h o u s e s y s t e mm a k e sc l i c k s t r e a md a t aw a r e h o u s eh a st h ei n c o m p a r a b l ea d v a n t a g e st h a n w e b s i t ev i s i t i n gc l i c ks t r e a ma n a l y s i s a n de t ld e s i g na n dr e a l i z a t i o n b a s e d o n s s i s a n yo t h e rm e t h o d so rt o o l s f i r s t l y , c l i c k s t r e a md a t aw a r e h o u s ec a l lo r g a n i z ea n dm a n a g ec l i c ks t r e a m d a t ab e t t e ra n dc a nd e s c r i b ec o m p l e t ew 曲u s e r s b e h a v i o rv i e w s s e c o n d l y , d a t ai nc l i c k s t r e a md a t aw a r e h o u s eu s u a l l yg e te x t r a c t e d ，c l e a n e d a n dc o n v e r t e ds ot h a tm u c hd a t ap r e - p r o c e s s i n gw o r kc a nb er e d u c e dw h e n a n a l y z i n gc l i c ks t r e a md a t ai nd a t aw a r e h o u s e c l i c k s t r e a md a t aw a r e h o u s ei n t e g r a t e sl a r g ea m o u n to fh i s t o r i c a ld a t a m o s t p r o b l e m sa n a l y z i n gu s e r s b e h a v i o r sa r er e l a t e dt ot i m e ，t h e r e f o r e ，a n a l y z i n gc l i c k s t r e a mb yc l i c k s t r e a md a t aw a r e h o u s ec a nb em o r eb e n e f i c i a lt ou n d e r s t a n d u s e r s b e h a v i o r s m e a n w h i l e ，b u s i n e s si n t e l l i g e n c ei su s u a l l yr e g a r d e da sat o o lw h i c hi su s e d f o rt r a n s f e r r i n gd a t ai ne n t e r p r i s et ok n o w l e d g ea n dh e l p i n ge n t e r p r i s et om a k e w i s eb u s i n e s so p e r a t i o ns t r a t e g y b u s i n e s si n t e l l i g e n c es y s t e mi sb u i l to nt h eb a s e o fd a t aw a r e h o u s e ，o l a pa n dd a t am i n i n gt e c h n o l o g y i tc o l l e c t s ，a r r a n g e sa n d a n a l y z e sa l lk i n d so fd a t ab o t hi n s i d ea n do u t s i d ee n t e r p r i s e ，p r o v i d i n gc o r r e c t s t r a t e g ya d v i c e sf o re n t e r p r i s em a n a g e m e n tl e v e l m i c r o s o f ts q ls e r v e r2 0 0 5i st h ed a t a b a s ea n dd a t aa n a l y a n gp l a t f o r mu s e d f o ro l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ) ，d a t aw a r e h o u s ea n de b u s i n e s s a p p l i c a t i o n s i nb u s i n e s si n t e l l i g e n c e f i e l ds q ls e r v e r2 0 0 5p r o v i d e st h r e e s e r v i c e sa n do n et o o lt or e a l i z es y s t e mi n t e g r a t i o n 硼1 et h r e es e r v i c e sa r es q l s e r v e ra n a l y s i ss e r v i c e s ，s e r v e ri n t e g r a t i o ns e r v i c e sa n ds q ls e r v e rr e p o r t i n g s e r v i c e s t h et o o li s s q ls e r v e r b u s i n e s s i n t e l l i g e n c ed e v e l o p m e n t s t u d i o ( b i d s ) e t li sap r o c e s st h a tl o a d sd a t af r o mb u s i n e s ss y s t e mi n t od a t aw a r e h o u s e a f t e re x t r a c t i n g ，c l e a n s i n ga n dc o n v e r t i n g ，i no r d e rt oi n t e g r a t ed i s o r d e r e da n d s u b s t a n d a r dd a t ai ne n t e r p r i s ea n dp r o v i d ea n a l y z i n ga d v i c ef o re n t e r p r i s es t r a t e g y e t li st h eb r i d g eb e t w e e no u 仰s y s t e ma n do l a ps y s t e ma n dt h et u n n e lf o rd a t a f l o w i n gf r o ms o u r c es y s t e mt od a t aw a r e h o u s e e t l i st h em o s ti m p o r t a n tl i n ki n b ip r o j e c t u s u a l l ye t lw i l lc o s t1 3t i m eo ft h ew h o l ep r o j e c t 1 1 1 eq u a l i t yo f e t ld e s i g ni sr e l a t e dt ot h es u c c e s so ft h eb ip r o j e c t e t li sal o n gt e r mp r o c e s s o n l yd i s c o v e r i n ga n ds o l v i n gp r o b l e m sn o n s t o pc a n e t lb em a d em o r ee f f i c i e n t l y a n dp r o v i d ea c c u r a t ed a t af o rl a t e rp r o j e c td e v e l o p i n g t h e r ea r em a n yw a y st o r e a l i z ee t lo fw h i c hs q ls e r v e r2 0 0 5p r o v i d e san e a r l yp e r f e c te t ls o l u t i o n 2 a b s t r a c t p l a n t h e r e f o r e ，c o l l e c t i n ga n da n a l y z i n gw e b s i t ev i s i t sb yc l i c k s t r e a md a t a w a r e h o u s e a n dl o a d i n ge t ld a t ab ys s i si ns q ls e r v e r2 0 0 5a r et h em a i n a p p l i c a t i o nd e s i g ni nt h i sa r t i c l e m a i nc o n t e n t sa r ea r r a n g e d 邵f o l l o w s ： t h ef i r s t c h a p t e r i s i n t r o d u c t i o n , m a i n l y i n t r o d u c e s s u b j e c tr e s e a r c h b a c k g r o u n da n dr e s e a r c hm e a n i n g ，p u r p o s ea n da c t u a lv a l u e i tp o i n t sa ta n a l y z i n g w e b s i t ec l i c ks t r e a m ，, d e e p l ym i n i n gu s e r s v i s i t i n gi n f o r m a t i o na n dw h o l l y g r a s p i n gw e b s i t eo p e r a t i o ns i t u a t i o n e x a m p l e sa r et a k e nt oa n a l y z et h er e s e a r c h a n da p p l i c a t i o no fb o t hd o m e s t i ca n do v e r s e ap r o d u c t sa n dp o i n to u tt h em a i n r e s e a r c ho f t h i ss u b j e c t n l es e c o n dc h a p t e ri st h et e c h n i c a ls t r u c t u r eo fb u s i n e s si n t e l l i g e n c ea n d c l i c k s t r e a md a t aw a r e h o u s e 1 1 1 ed e f i n i t i o na n dr e l a t e dc o n c e p t so fb ia n d c l i c k s t r e a md a t aw a r e h o u s ea r ei n t r o d u c e d a r c h i t e c t u r eo fs q ls e r v e r2 0 0 5 r e a l i z i n gb i ，s s i sd e d i g np r o c e s sa n dt y p i c a ls s i sa p p l i c a t i o n sa r ei n 仃o d u c e da n d a n a l y z e d m t h i r dc h a p t e ri sw 曲s e r v e rl o ga n dc l i c ks t r e a md a t as o u r c e ，m a i n l y a n a l y z e sf 冶6s e r v e rl o gf o r m a ta n dr e s e a r c hi nr e l a t i o n s h i pb e t w e e nl o gf i l ea n d c l i c ks t r e a md a t as o u r c e 1 1 1 ef o u r t hc h a p t e ri sd a t ap r e p r o c e s sa n db a s i cd i m e n s i o nd a t al o a d i n g ， m a i n l ya n a l y z e sm e t h o do fp r e p r o c e s sw 3 cl o gf i l e ，i j l r lc o d i n ga n dd a t a l o a d i n go fb a s i cd i m e n s i o ns u c h 邪t i m e ，o p e r a t i o ns y s t e m ，b r o w s e ra n dr e g i o n u s e di nl a t e rd a t aw a r e h o u s eo fw h i c hm a i n l ys o l v e sm a p p i n gf r o mi pa d d r e s st o r e g i o nd i m e n s i o n 1 1 1 ef i f t hc h a p t e ri sm o d e lb u i l d i n go fd a t aw a r e h o u s ea n de t ld e s i g na n d r e a l i z a t i o n , m a i n l ys e tu pt h em o d e lo fc l i c k s t r e a md a t aw a r e h o u s ea n de t l d e s i g na n dr e a l i z a t i o nb a s e do ns s i s ，o fw h i c hs o m ea d v i c e sa n dm e t h o d st o o p t i m i z es s i sf e a t u r e si nd a t aw a r e h o u s em o d e lb u i l d i n ga r ep r o p o s e d t h es i x t hc h a p t e ri sw e b s i t el o ga n a l y s i sa n dd i s p l a y , m a i n l yu s e sa n a l y s i s s e r v i c e st oc r e a t em u l t i d i m e n s i o n a ld a t as e t ，d e p l o y sm u l t i d i m e n s i o n a ld a t as e tt o a n a l y s i ss e r v i c e sd a t a b a s e ，t h e nd o e sb if r o n t - e n dd i s p l a yb yp r o c l a r i t yd e s k t o p p r o f e s s i o n a la n de x c e l2 0 0 7 t h es e v e n t hc h a p t e ri ss u m m a r ya n do u t l o o k , m a i n l ys u m m a r i z e st h er e s e a r c h w o r ko ft h i sa r t i c l e 3 w e b s i t ev i s i t i n gc l i c ks t r e a ma n a l y s i s a n de t ld e s i g na n dr e a l i z a t i o nb a s e do i ls s i s t h eh i g h l i g h to ft h i sa r t i c l em a i n l ys o l v e sm a p p i n gf r o mi pa d d r e s st or e g i o n d i m e n s i o na n di s pd i m e n s i o n w i t hf u n c t i o no fi s pa n a l y s i s ，t h er a t eo f 接入商s i nw e b s i t ev i s i t o r sc a nb ed e t e c t e di no r d e rt oc o n f i r mt h a tr a t eo fm i r r o rs e v e r s n e e d e d t ob es e tu p k e yw o r d s ：c l i c k s t r e a m d a t aw a r e h o u s ew e bs e r v e r l o g a n a l y s i s b u s i n e s si n t e l l i g e n c ee t ls o l u t i o np l a ns s i si n t e g r a t i o n s e r v i c eo l a pf r o n t - e n dd i s p l a y 4 西南财经大学 学位论文原创性及知识产权声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对 本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标 明。因本学位论文引起的法律结果完全由本人承担。 本学位论文成果归西南财经大学所有。 特此声明 一 淳日 矽写卞、m 0 雕 2 ： 月 人 主乱 ， 、1 ， 机 年 位 腮 学 加 1 绪论 1 1 引言 1 绪论 是否知道我们网络教育门户网站的访客主要来自哪些城市，哪些地区是 我们潜在的生源，我们的网络教育招生专栏的宣传中哪些是最受关注的专业， 哪些专业是我们应该主推，我们的招生计划是否有一定的依据? 我们的学院 上网的时间特征是什么? 是否了解我们的学员上网学习的软环境情况，使用的什么操作系统，屏 幕分辨率是多少，使用什么样的浏览器，f l a s h 的版本是多少，学生上网的连 接速度是什么类型等等? 我们网络教育的门户网站主页宽度、课件开发是按 照什么屏幕分辨率设计，是否有一定的依据? 这些基础数据从哪里来? 当然一种方式我们可以利用网上调查表的方式 获取，其弊端是调查的准确性不高、调查的范围不全等；第二种方式可以利 用一些免费的服务，例如g o o g l e 提供的g o o g l ea n a l y t i c s 免费服务、 h 主主巳；z 么婴：墨! ：! 垒么等。 如果说上面的有些指标，通过一些免费分析服务还得得到的话，那么比 如像搜索引擎爬虫对网站的爬取情况、网站对搜索引擎的诱惑力如何、用户 是通过哪种搜索引擎检索什么样的关键字后访问本网站的、用户通过各种搜 索引擎检索后访问本网站的情况是什么样的? 网站在响应用户请求时的状态 代码是什么样的情况? 用户从哪些网站进入本网站的，其他网站用户本网站 的情况怎么样? 也许这些情况的回答就必须得另辟蹊径，利用已有的数据， 再用有效的方法，得到我们期望的信息，来满足各个需要。利用w e b 服务器 日志建立点击流数据仓库来，在花费一定的人力、物力后是可以得到这些我 们想要的数据。 网站访问点击流分析与基于s s i s 的e t l 设计实现 1 2 论文研究的目的、意义和实际价值 网页服务器日志文件记录了网站上每个用户的每一次点击，为我们带来 了新的、大规模的数据资源，我们称之为点击流( c 1 i c k s t r e a m ) 。 如今，网络已经成为很多人必不可少的对外窗口，大家会经常在某个网 站的网页上随意点击。然而，正是因为你在网页上的随意点击，却暴露了你 自己的行为秘密，并为商业用户所利用。在用户查看网页时，通过利用点击 流c l i c k s t r e a m 数据仓库手段，构建点击流数据仓库维模型，分析网站用户 的消费行为、兴趣偏好，从而进一步优化网站的内容和产品销售种类。这就 是商业智能中的数据仓库的魔力。 要吸引公众的眼球，扩大网站的影响力，网站提供的信息价值和网站性 能是网站竞争力的主要体现。与传统商业模式不同，在互联网上，w e b 用户与 网站信息提供者之间不存在直接的信息沟通和反馈渠道。什么样的信息最受 用户欢迎? 不同用户对信息有什么不同的需求? 增加或减少信息服务内容对 用户点击量的影响如何? 这些是网站经营者需要得到回答的问题，也是经营 者今后为网站发展进行决策的依据。 创建数据仓库作为企业管理决策支持系统的基础已得到越来越多企业领 导者的认同，也是企业经营管理决策与信息化结合的趋势所在。数据仓库的 构建可以通过实际调查用户需求，创建各类模型，利用系统分析与设计方法 实现。 在充满竞争的今天，谁赢得了客户，谁就拥有了一切；在i n t e r n e t 这个 虚拟世界中，谁赢得了眼球，谁就能胜出。 点击流数据揭示了网上消费者在网上的冲浪行为，现有的点击流研究大 多致力于建立消费者网上购物行为的模型，从而更深刻地理解网上消费者的 行为，同时，点击流数据分析也有利于进行数据挖掘，改善网页设计和提供 决策支持，具有较高的理论研究意义和实际应用价值。 网站访问统计分析是网络营销管理的重要组成部分，网站访问量统计分 析是网络营销效果的评价的基础，同时，网站流量统计分析信息对于网络营 销诊断和网络营销策略研究提供了参考依据。网站访问统计分析，包括网站 2 1 绪论 访问量指标的统计分析、网站访问者行为的统计分析、竞争者网站访问统计 分析等内容。 深入挖掘客户访问信息，全面掌握网站运营情况。 1 3 国内外现状分析 随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业 的应用，使海量数据不断产生。随之而来的问题是如此多的数据让人难以消 化，无法从表面上看出他们所蕴涵的有用信息，更不用说有效地指导进一步 的工作。如何从大量的数据中找到真正有用的信息成为人们关注的焦点，数 据挖掘技术也正是伴随着这种需求从研究走向应用。 将数据挖掘技术应用到互联网数据上，理论上可行，但是由于互联网自 身的特点，也使它面临一些需要克服的技术难点： 首先，互联网上的数据是十分庞大的，而这种庞大的数据还是动态的， 并且增长速度惊人。如果简单为其创建一个数据仓库显然是不现实的。目前 一般的做法采用多层w e b 信息库的构造技术来处理，将互联网目前的庞大数 据统一看成是0 层，最详细的一层，而不像一般数据库挖掘分析那样另外单 独做一个历史数据的数据仓库。 其次，w e b 页面的结构比一般文本文件复杂很多，它可以支持多种媒体的 表达。毕竟人们原来就希望通过w e b 来实现世界各种信息的互通，在这个平 台上自然希望任何的信息都可以表达了。因此也造成了互联网数据的复杂性 这个特点。而在互联网上文档一般是分布的，异构的，无结构或者半结构的。 目前由于) ( m l 技术的出现，为解决这个难题提供了一条可行的道路。 还有，互联网上的数据动态性极强，页面本身的内容和相关的链接经常 更新。而互联网面对的客户也各不相同，这些都造成了用户行为模式分析的 困难度。 最后，虽然说互联网上信息很多，但实际是你需要的信息却不多，如何 在信息海洋中不被淹没，尽可能地找到你所需要的信息也是一个难题。 点击流数据仓库可以说是数据仓库方面最令人激动的新发展，它把传统 企业用于决策的支持体系应用到互联网这个高速发展的平台。 网站访问点击流分析与基于s s i s 的e t l 设计实现 由于w e b 分析工具只能对网站的基本流量、访问及基本运行进行概要分 析，而通过将点击流数据引入数据仓库，可以更好地分析网站用户的行为， 并进一步探究导致网站用户行为的内在因素，获取有商业价值的信息，得到 比w e b 分析工具更好的决策支持依据。 过去的十多年，在传统企业中数据仓库已经完成了从概念的认识到成熟 应用的过程。在w e b 世界里，我们也可以预见不远的将来数据仓库会变为网 站经营者特别是电子商务类网站相关人员津津乐道的话题。其中，w e b i a ( w e b i n t e l l i g e n ta n a l y s i s ) ，是辽宁般若网络科技有限公司，中国网站访问分析 产品的领军开发商，将在近期隆重推出下一带网站访问分析产品w e b - i af o r e n t e r p r i s ev 8 0 。当然这是公司的宣传策略，是不是领军开发商也无从考证， 但是从其宗旨“w e b 商业智能b i ，深入分析访问数据，从访问数据中挖掘财 富。”中能略窥一点产品的开发思路，从其产品的用户清单中也能初略了解到 产品的有一定的市场份额、有相应的用户需求。说明并不是仅仅在研究层面 上，而实实在在的投入了应用阶段，而且是得到了较好的应用。 在免费服务产品中，“我要啦免费统计 h 主主巳；型：墨! ：! 垒么也有相当多 的用户群体。近期还推出八大全新功能，历史明细、明细搜素、被访域名、 上网场所、接入商、分省接入商、上网城市和任意组合。同属免费统计分析 服务的还有g o o g l ea n a l y t i c s ，也得到了较为广泛的应用，特别是在国外。 1 4 本文完成的主要内容 1 4 1w e b 服务器日志文件格式分析 为了实现对网站访问日志的分析，需要对w e b 服务器日志的进行设置以 获得数据源，再对w e b 服务器日志文件格式进行分析。 1 4 2 解决i p 地址到地区维度、接入商维度的映射 为了得到访问网站用户的地理位置信息，对于非注册用户即公众来说， 只能依靠其i p 地址去判断，就需要有i p 地址到地理位置的映射。在“纯真一 4 1 绪论 穿越时空隧道，重拾昔日纯真! ”官方网站b 主主卫；么么型：里圣璺璺：卫金主么上提供i p 数据库下载，并能在线升级。因官方网站提供i p 地址纠错功能，所以在线升 级能得到最新i p 地址信息的数据。 从i p 地址可以判断上网用户的大致地理位置，即希望知道是来自哪个国 家，对于中国用户还希望能知道是来自哪个省( 直辖市) 、哪个市：而且还可 以得到部分接入商的信息，即是电信、网通、联通还是教育网用户，可以了 解网站访问者中各接入商的比例，从而确定所需要设置的镜像服务器的比例 等。 1 4 3 搭建数据仓库 1 确定分析主题 来源网站分析主题 主要分析从不同外网站进入本网站的情况，也是外站连接的情况，需要 从来源的u r l 地址中取得域名，按照域名分析，在不同地区、不同时段从不 同域名的网站进入本网站的情况。 网站招生专栏页面访问情况分析主题 主要是对网站招生专栏页面分析在不同地区、不同时段的浏览情况，包 括分析用户的浏览器及使用的操作系统的情况。 用户数( 访问者) 分析主题 分析网站的访问情况，浏览数、i p 数、新增i p 浏览数及新增i p 数，包 括用户数地