（计算机应用技术专业论文）基于兴趣分类的用户行为分析系统的研究与设计.pdf

l 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：! 塑堑日期：型坦堡兰旦垄旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：2 驾堑日期垫塑堑圣! 墨圣圣旦 导师签名：。丕么4 日期：三旦2 旦生圣! 要圣苎旦 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 基于兴趣分类的用户行为分析系统的研究与设计 摘要 随着互联网的迅猛发展，以信息获取、交流沟通类为主的基础网 络服务正逐渐发展为以休闲娱乐、电子服务、电子商务三大类服务为 主的扩展网络服务。随着科学技术的飞速发展和计算机网络的日益普 及，网络用户的规模在逐渐扩大，网络用户的行为也越来越复杂。与 此同时，商业网站等赢利性站点需要分析用户的行为及爱好来提供更 满意的服务使得利润最大化，这也与提高网站服务的效率和个性化程 度极为相关；政府、科研机构等非赢利性的网站也需要通过分析用户 构成与其网络行为上的特点来构建科学的决策支持系统。为此，网络 用户行为的分类以及在此基础上的分析研究越来越亟待提到日程上 来。 w e b 日志挖掘的方法通过挖掘w e b 日志记录，来发现用户访问 w e b 页面的模式，通过分析和探究w e b 日志记录中的规律，可以识 别网站的潜在客户，提高对最终用户的信息服务质量，并改进w e b 服务器系统的性能。 本文重点研究用户行为分析中的数据挖掘及兴趣分类技术，提出 了网络用户和网络用户行为的概念，并在此基础上对网络用户行为进 行了分类，通过研究现有的网络用户行为分析方法，提出了基于兴趣 分类的用户行为分析的系统，实现了其中的数据获取模块，数据预处 理模块及兴趣挖掘模块，对系统运行了测试，并提出了系统的应用方 案。 关键词：网络用户行为行为分析兴趣分类数据挖掘个性化服务 北京邮电大学硕十论文 基于兴趣分类的用户行为分析系统的研究与设计 r e s e a r c ha n dd e s i g no f t h ea n a l y s i s0 fu s e r b e h a v i o rs y s t e mb a s e do ni n t e r e s t c l a s s i f i c a t i o n a b s t r a c t w i t ht h eq u i c kd e v e l o p m e n to ft h ei n t e r n e ta n dt h ep o p u l a r i z a t i o no ft h e c o m p u t e rn e t w o r k ，t h es c a l eo fn e t w o r kb s e r se x t e n d e dg r a d u a l l y , a n dn e t w o r ku s e r s b e h a v i o rb e c o m e sm o r ea n dm o r ec o m p l i c a t e d m e a n t i m e ，t h ep r o f i t a b l ew e b s i t e s n e e dt oo f f e rm o r es a t i s f a c t o r ys e r v i c et h r o u g ha n a l y s i n gu s e r s b e h a v i o r sa n dh o b b i e s i no r d e rt oo b t a i nm a x i m u mp r o f i t s a st on o n p r o f i tw e b s i t e ss u c ha sg o v e r n m e n t ， s c i e n t i f i cr e s e a r c hi n s t i t u t i o n ，n e e dt oa n a l y s eu s e r sf o rs c i e n t i f i cd e c i s i o n - m a k i n gt o o f o rt h e s er e a s o n s ，t h er e s e a r c ha n da n a l y s i so nn e t w o r ku s e r s b e h a v i o r sb e c o m e s m o r ea n dm o r ei m p o r t a n t w e bu s a g em i n i n gd i s c o v e r su s e rp r o f i l e sw h i l ea c c e s s i n gt h ew e bp a g e s ，b y a n a l y z i n gw e bl o gg e n e r a t e db yw e bs e r v e r b yt h e s eu s e rp r o f i l e s ，w ec a n k n o wo u r u s e r sb e t t e ra n di m p r o v eo u rs e r v i c et ot h eu l t i m a t eu s e r s t h i sp a p e rs e t su pt h ec o n c e p to fn e t w o r ku s e r sa n du s e r s b e h a v i o r , t h e n d i s c u s s e st h e i rc l a s s i f i c a t i o n ；a n a l y s e sa n dc o m p a r e st h ed a t as o u r c eo fn e t w o r k b e h a v i o ra n a l y s i ss y s t e m ；b r i n g sf o r w a r dan e wf r a m ep r o t o t y p eo fn e t w o r kb e h a v i o r a n a l y s i ss y s t e m ，t h r o u g ht h ea n a l y s i so fc u r r e n tm e t h o do fb e h a v i o ra n a l y s i s a n d d e s i g n st h ed a t aa c q u i s i t o nm o d u l e ，t h ed a t ep r e p r o c e s s i n gm o d u l ea n dt h ei n t e r e s t m i n i n gm o d u l eo ft h es y s t e m t h e nr u n sat e s to nt h es y s t e ma n db r i n g sf o r w a r dt h e p o s s i b l ea p p l i c a t i o no f t h es y s t e m k e yw o r d s ：n e t w o r ku s e rb e h a v i o r , b e h a v i o ra n a l y s i s ，i n t e r e s tc l a s s i f i c a t i o n ， d a t am i n i n g ，p e r s o n a l i z e ds e r v i c e 北京邮电大学硕j ：论文基于兴趣分类的用户行为分析系统的研究与设计 目录 第一章绪论1 1 1 课题研究背景l 1 2 课题研究的目的和意义2 1 3 研究现状2 1 4 论文的组织结构3 第二章用户行为分析的基础理论和关键技术5 2 1 用户行为分析的概念5 2 1 1 网络用户行为的概念5 2 1 2 网络用户行为的特点5 2 1 3 网络用户行为的分类6 2 2w e b 挖掘技术。7 2 2 1w e b 数据的分类8 2 2 2w e b 数据挖掘的目的8 2 2 3w e b 数据挖掘的分类9 2 3j a 、，a 与数据库的连接帕b c 1 0 2 4 本章小结。l o 第三章基于兴趣分类的用户行为分析系统的研究。1 l 3 1w e b 日志挖掘1l 3 1 1w e b 日志挖掘概述l l 3 1 2w e b 日志挖掘应 j l l 3 1 3w e b 日志信息的特点1 2 3 1 4 w e b 日忠挖掘过程1 3 3 1 5w 曲日：占挖掘的常用概念1 4 3 2 网络爬虫1 5 3 2 1 网络爬虫基本介绍。1 5 3 2 2 主题网络爬虫。1 5 3 3 基于网页的用户兴趣分类1 7 3 3 1 用户兴趣分类。1 7 3 3 2 网页分类集的准备1 8 3 4 网络用户行为分析常用方法的研究2 l 3 4 1 正常行为的聚类分析方法2 1 3 4 2 异常行为的分析方法2 2 3 5 本章小结。2 2 第四章基于兴趣分类的用户行为分析系统的设计与实现2 3 4 1 用户行为分析系统的设计2 3 4 2 用户兴趣主题数据库中表的建立2 4 4 3 数据获取模块的实现2 7 4 3 1 通过服务器日忠获取数据2 8 4 3 2 使川m q a 获取数据2 8 4 3 3 使川网络爬虫程序获取数据。2 9 4 4 数据预处理模块的实现3 l 4 5 兴趣挖掘模块的实现3 2 4 6 用户行为分析系统的测试4 2 4 7 4 1 户行为分析系统的应用4 4 4 7 1 用户自适应w e b 站点4 5 4 7 2 基于w e b 的个性化远程教育系统4 6 4 8 本章小结4 8 第五章总结与展望。4 9 北京邮电大学硕士论文 基于兴趣分类的用户行为分析系统的研究与设计 5 1 论文工作总结4 9 5 2 下一步工作展望4 9 参考文献。5 0 致谢 5 2 攻读硕士期间发表论文5 3 i v 北京邮电人学硕士论文 基于兴趣分类的用户行为分析系统的研究与设计 1 1 课题研究背景 第一章绪论 i n t e r n e t 的发展经历了研究网、运行网和商业网3 个阶段。至今，全世界 没有人能够知道i n t e r n e t 的确切规模。i n t e r n e t 正以人们始料不及的惊人速度 向前发展。今天的i n t e r n e t 已经从各个方面逐渐改变人们的工作和生活方式。 人们可以随时从网上了解当天最新的天气信息、新闻动态和旅游信息，可看到当 天的报纸和最新杂志，可以足不出户在家里炒股、网上购物、收发电子邮件，享 受远程医疗和远程教育等等。根据中国互联网络信息中心统计报告显示，截止 2 0 0 9 年6 月底，中国网民规模已达3 3 8 亿。2 0 0 9 年第三季度的移动互联网网民 用户已超过1 8 亿，手机上网正在成为重要的互联网应用方式。随着移动互联网 用户基础的规模化，加之3 g 大规模的推广影响，预计2 0 0 9 年底中国移动互联网 用户数量有望突破2 亿人，手机网民规模增长迅速。 随着互联网的迅猛发展，以信息获取、交流沟通类为主的基础网络服务正逐 渐发展为以休闲娱乐、电子服务、电子商务三大类服务为主的扩展网络服务。与 此同时，商业网站等赢利性站点需要分析用户的行为及爱好来提供更满意的服务 使得利润最大化，这也与提高网站服务的效率和个性化程度极为相关；政府、科 研机构等非赢利性的网站也需要通过分析用户构成与其网络行为上的特点来构 建科学的决策支持系统。为此，网络用户行为1 】【2 】【3 1 的分类以及在此基础上的分 析研究越来越亟待提到日程上来。 与现实社会中人们的社会行为相对应，我们把发生在互联网络上虚拟社会中 的行为称为“网络行为 。网络行为是伴随现代网络技术出现的，可定义为：行 为主体为实现某种特定的目标，采用基于计算机系统的电子网络作为手段和方法 而进行的有意识的活动。发生在虚拟网络上的网络行为作为一种特殊的社会活 动，它具有社会行为的一般特征和基本要素。但由于网络行为存在于虚拟空间之 中，所以这种在网络中形成的信息交流空间又具有不同于物理空间的特殊性，故 网络行为有其自身的特点：知识含量高，升级快；隐蔽性强；主动性强，涉及面 广；判断标准不一；性质复杂。 c n n i c 对网络用户的定义：平均每周使用互联网至少l 小时的中国公民。网 络用户是指定义为一个通过浏览器访问一个或者多个w e b 服务器的访问者，由于 性别、年龄、职业、生活背景和文化背景等因素差异，每个网络用户表现出不同 的行为特征；行为特征可以反映出每个人不同的喜好。 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 在网络安全方面，网络管理员或入侵检测系统通过区分用户的正常行为和异 常行为，进一步来判断出具有入侵或入侵倾向的用户；在电子消费方面，商业站 点可以从顾客行为上的不同表现来辨别重要客户、偶然客户或潜在客户；在企业 内联网建设和管理中，根据用户所访问的信息，可分析出用户的兴趣和爱好，“将 用户的数据转化为用户价值，进一步来优化站点的性能。在此我们只是列举了 很少一部分的应用，仅仅是冰山一角，而且关于这方面的应用还在不断地发掘和 扩展。 用户行为分析就是运用多学科知识研究和分析网络用户的构成、特点及其在 网络应用过程中行为活动上所表现出来的规律，借以监视、预测甚至是控制用户 行为，用户兴趣反映了用户在主题需求和内容形式上的偏好。网络用户行为分析 是一个广义的概念，它属于网络信息知识发现的范畴。从逻辑上说，网络行为分 析是信息时代社会科学研究的制高点。因为，哲学、经济学、社会学、心理学、 计算机科学等众多学科聚焦于此。网络行为所赖以存在的网络虚拟空间已经成为 一种全方位的新的社会形态。 用户在访问的网页与用户的兴趣密切相关，如关心财经的用户会经常去访问 一些财经类的网站，而喜欢体育的用户则会经常访问一些体育新闻类网站或者体 育用品网站。我们可以通过用户的访问记录来挖掘用户对于某个主题的兴趣。 1 2 课题研究的目的和意义 研究用户的访问记录的主要目的就是从挖掘结果中分析出用户最为关心的 问题，通过分析用户访问资源的时间，频率等，对网站的结构和设计进行修改， 以期望留住更多的客户；更好的为客户服务。 用户行为分析已经成为一个新的研究热点。本课题对兴趣分类和用户行为分 析的技术做了深入的分析和设计研究，提供了一套可行的解决方案。 1 3 研究现状 对网络用户行为的研究，在国外己经有很好的基础，从1 9 9 4 年开始，美国 就有机构对万维网用户及其使用行为进行初步的统计分析，探讨各类网络用户行 为的表现、策略以及影响因素，蒂洛森( t i l l o n t s o n ) 等人对多伦多大学的学生及 教工使用网络的情况进行了调查和分析，包括确定谁是因特网的用户、他们在性 别和学历上是否存在差异、上网地点、用i n t e r n e t 来查询些什么、对查找结果 2 北京邮电大学硕士论文 基于兴趣分类的用户行为分析系统的研究与设计 是否满意、对学校提供的上网设施是否满意、对系统改进的建议等。 而国内的研究基础却比较薄弱，目前国内对用户行为的研究主要体现在以下 方面：( 1 ) 从1 9 9 7 年开始，我国互联网信息中心受国家主管部门委托，发布“中 国互联网络状况统计报告”( c n n i c ) ，对网络用户行为不同角度对我国网民的网 络行为进行了统计，分析和比较，其中包括了从性别、年龄、上网地方、上网方 式、上网的时间段以及网民的文化程度，所从事的职业、行业、经常使用的网络 服务等角度；( 2 ) 从用户利用网络信息的角度，对网络行为( 即网络用户的信息行 为) 进行分析。文献 4 5 将这种用户信息行为分为：用户交流、查询、发布、 吸收等信息的行为，文献 6 中，对用户查询行为分为用户浏览行为和用户检索 行为，其中区别在于用户浏览行为指用户浏览行为是一种随意、无具体目标的行 为。而用户检索行为是一种明确目标、有计划、能清楚表达信息需求的信息查询 行为。( 3 ) 从期刊数量上，文献 7 8 都以统计的形式给出了以“网络用户”、“信 息用户、“用户行为等为关键字，在国内不同期刊上搜索相关的期刊论文，这 些论文数量逐年递增，可以看出目前我国学者对“用户行为”的研究已经越来越 重视。 1 4 论文的组织结构 本课题重点研究用户行为分析中的数据挖掘及兴趣分类技术，提出了网络用 户和网络用户行为的概念，并在此基础上对网络用户行为进行了分类，通过研究 现有的网络用户行为分析方法，提出了基于兴趣分类的用户行为分析的系统，实 现了其中的数据获取模块，数据预处理模块及兴趣挖掘模块，对系统运行了测试， 并提出了系统的应用方案。 全文共分五章： 第一章绪论，介绍课题研究的背景、目的和意义，研究现状，论文主要工 作及结构等： 第二章用户行为分析的基础理论和关键技术，研究了网络用户行为的概念 及其特点，对网络用户行为进行了分类，并介绍了用户行为分析中常用到的w e b 挖掘技术及j d b c 技术； 第三章基于兴趣分类的用户行为分析系统的研究，研究了基于兴趣分类的 用户行为分析方法，以及所用到的关键技术，包括w e b 日志挖掘，网络爬虫，用 户兴趣分类等； 第四章基于兴趣分类的用户行为分析系统的设计与实现，对基于兴趣分类 的用户行为分析系统进行了设计，并实现了其中的数据获取模块，数据预处理模 3 北京邮电人学硕士论文 基于兴趣分类的用户行为分析系统的研究与设计 块及兴趣挖掘模块，对系统运行了测试，并提出了系统的应用方案； 第五章总结与展望，总结了论文的主要工作，并对下一步的工作进行了展 望。 4 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 第二章用户行为分析的基础理论和关键技术 2 1 用户行为分析的概念 网络用户行为的研究主要通过研究网络用户行为的规律，借以控制并预测网 络用户行为，并实现特定的目标。具体一些讲，网络用户行为的研究就是分析网 络用户的构成、特点及其行为表现出来的规律。 2 1 1 网络用户行为的概念 网络用户行为【9 】是一个广义的概念，网络用户行为是伴随现代网络技术出现 的，可定义为：行为主体为实现某种特定的目标，采用基于计算机系统的电子网 络作为手段和方法而进行的有意识的活动。网络用户行为分析就是研究网络用户 行为的学科，它属于网络知识发现的范畴。就不同的研究目的和对象数目，网络 用户行为可分为个体用户行为和群体用户行为。 个体用户行为是指单个个体在网络上所表现出来的行为，是由个体的个性决 定的。每个个体都有自己的个性，个性是个体在一定的社会环境和教育模式下所 形成的稳定的个人品格，个体在心理、行为、体质、性格、特长、兴趣和价值观 等方面各不相同。这些差异造成了个性的差异和需求的多元化，也决定了个性具 有一定的稳定性。不同的个体有不同的兴趣和爱好，因而也具有不同的信息需求， 我们的研究就是基于不同的兴趣爱好为用户提供个性化的服务。 短期的个体用户行为可能并不具有明显的规律，但长期的个体用户行为则具 有一定的稳定性，我们可以发现其行为模式。同时，个性也会随着环境发生变化， 个体用户行为也会随之变迁。同样，多个个体所组成的某些网络群体也有其群体 行为模式。 2 1 2 网络用户行为的特点 网络用户行为具有社会行为的一般特征和基本要素，但由于网络用户行为存 在于虚拟空间中，所以这种在网络中形成的信息交流空间又具有不同于物理空间 的特殊性，故网络用户行为有其自身的特剧1 0 l 。 知识含量高，升级快。作为网络行为的主体，用户必然掌握一定的计算 机知识和网络技术，具备利用电子网络的能力。 隐蔽性强。这种隐藏性一方面是指行为主体身份的隐匿，即任何人都可 5 北京邮电人学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 以通过一台联网的计算机查阅网络中传播的信息，其过程无须登记，所 以网上存在着大量匿名行为。另一方面，网络行为本身也具有隐蔽的特 征。互联网上信息以数字化的形式存在，操作者在数据传输过程中可以 改变信息的内容和形式而不留任何痕迹。 主动性强，涉及面广。网络行为完全突破了地域的限制，可以充分体现 行为者的个性和主观意志。 判断标准不一。i n t e r n e t 的连通为越境数据流( t d f ，即跨越国家政治疆 界的数字化电子数据传递) 创造了坚实的载体。无国界的电子空间中的 网络行为必然会牵涉不同国家和地区的利益。 性质复杂。网络空间的纷繁复杂决定了网络行为的性质是多种多样的， 足以和现实社会行为相比。 2 1 3 网络用户行为的分类 网络用户行为的分类与需要解决的具体问题和研究的目的有关。例如，在网 络安全方面可以区分为正常行为和异常行为、善意行为和恶意行为；在电子消费 方面，可以从行为上的不同表现来辨别重要客户、偶然客户或潜在客户；在 i n t r a n e t 内联网建设和管理中，根据用户获取的信息可分析出用户的兴趣和爱好， 例如，所访问网页中出现最频繁的特征字或关键字、最受该用户欢迎站点等，也 可以分析出网内不同用户的行为表现，正确引导用户行为的健康发展或进行用户 管理。 由网络用户行为的复杂性所决定，网络用户行为分类本身具有模糊性和多样 性。关于网络用户行为，一直没有比较规范的定义和分类。根据研究和应用的侧 重不同，可以从多个角度进行分类。 互联网实验室就中国目前互联网用户群进行研究，从应用角度对网络用户行 为进行了分析和分类。 互联网实验室把网络用户行为划分为基础网络行为和扩展网络行为，进而把 所有网络行为分成五大类，即信息获取类、沟通交流类、电子服务类、休闲娱乐 类、电子商务类。 ( 1 ) 信息获取类服务。利用互联网上资源的共享性和开放性，互联网成为一 个主要的信息来源地和集散地，随着w w w 和超文本协议的成功，互联网上的 资源也呈现多介质、资源组织的有序性和文件传输交流的无时差性的特点；而搜 索引擎技术的出现，使得互联网数千g b 的数据查找成为可能。信息获取服务定 义为单个网络用户通过互联网获取或查询自身所需要的信息或数据的行为，它本 质对应的是网络用户网站信息的关系。 6 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 ( 2 ) 沟通交流类服务。互联网作为一个网络的核心功能是实现互通，网络的 互通的无时间、地域、距离的优势，互联网本身的普及性和交流方式的多样性， 交流介质的多媒体等特性，使得沟通交流也成为互联网继邮政、电信之后的又一 交流渠道，而且几种渠道正呈融合发展态势。沟通交流我们的定义是网络用户之 间通过互联网进行语言或文字的互通，他的方式是网络用户网络沟通工具网络 用户，本质是1 1 的方式。 ( 3 ) 电子服务类服务。互联网有了信息功能和沟通功能之后，利用这两项基 本功能实现服务的网络化。电子服务以具体应用为主，利用多种技术手段实现服 务的虚拟化，如银行服务、理财服务、旅游服务、医疗服务、娱乐服务等等。他 的实现形式是网络服务商网络用户。 ( 4 ) 休闲娱乐类服务。实质是电子服务的一类，以互联网为娱乐平台，提供 网络用户一种体验的服务。休闲娱乐单独划分主要因为目前电子服务、电子商业 领域他是最大的一个群落，在我们的调查数据里使用休闲娱乐的网络用户数量足 够大，可以单列作为一个典型电子服务和其他电子服务来比较。休闲娱乐的实现 形式是网络平台( 网络用户，网络用户群) 。 ( 5 ) 电子商务类服务。实质是商业交易的电子化和网络化，通过互联网的基 本功能利用w e b 技术、数据库技术、安全技术等构建一个虚拟的交易平台，实 现商品( 有形商品，无形商品) 的交易。如网络购物、网上拍卖、订房订票等。 分析五大类网络行为的特征和网络用户的使用情况，又可以把信息获取和交 流沟通类网络行为合并成为基础网络服务，把休闲娱乐、电子服务、电子商务三 大类服务合并成为扩展网络服务。 基础网络服务：为满足互联网用户的最基本的上网需求，也就是互联网作为 一个新的信息源，它的资料共享开放性，满足网络用户对信息的需求，而互联网 技术跨越地理距离跨越不同时区的通讯能力，以及网络通讯的价格优势、速度优 势、多媒体优势，使得网络用户能够通过互联网满足人与人之间的交流沟通的需 求。 扩展网络服务：为在基础网络服务之上，再向各个专项、特殊应用网络服务 领域的扩展。即信息和通讯作为互联网的基本特性，满足网络用户的基本需求； 而扩展网络服务则利用互联网的基本特性进行更高层次的技术开发和特性组合， 来满足网络用户多样化的需求。而这些特定的更高层面的服务主要集中在休闲娱 乐、服务、商务三个领域。 2 2w e b 挖掘技术 7 北京邮电大学硕上论文 基于兴趣分类的用户行为分析系统的研究与设计 将传统的数据挖掘技术和w e b 结合起来进行w e b 挖掘【i i 】。w e b 挖掘就是从 w e b 文档和w e b 活动中抽取感兴趣的、潜在的有用模式和隐藏的信息。w e b 挖 掘可以在很多方面发挥作用，如对搜索引擎的结构进行挖掘，确定权威页面， w e b 文档分类，w e bl o g 挖掘，智能查询，建立m e t a - w e b 数据仓库等。 2 2 1w e b 数据的分类 w e b 文档和服务包含的数据，常总称为“w e b 数据”，w e b 数据主要分为三 类： 内容数据( c o n t e n td a t a ) ：它是提供信息的主体，包括文本，声音，图像和 元数据。内容数据主要以各种文档形式存在，譬! t h h t m l 文件和其他各种非 文本的媒体文件。内容数据的其他约定成俗的概念还有“w e b 文档”或者“w e b 页面 。 结构数据( s t r u c t u r ed a t a ) - 它是对内容数据组织而派生的数据。内容数据大 部分用h t m l 描述，超链接被广泛用于组织w e b 文档和w e b 文档内部的数据 实体。由此w 曲上就存在着由各种超链接形成的结构( 也包含超链接的描述) 。 此结构又分为站点结构和站间结构两部分。 使用数据( u s a g ed a t a ) ：它是用户使用w 曲而衍生的数据。w e b 是一个不受时 空限制的交互式媒介，可在多个层面上记录和收集因用户访问而产生的数 据。典型的方法是在w 曲服务器端收集w 曲日志，它包含了大量h t t p 协议层 面的数据。 2 2 2w e b 数据挖掘的目的 w e b 挖掘技术己经应用于解决多方面的问题，比如基于w e b 内容和结构的 挖掘极大的帮助了我们从浩瀚的网络资源中更加快速而准确的获取所需要的资 料，而基于使用的数据挖掘之威力，更是在商业运作上发挥的淋漓尽致，具体表 现在【1 3 】： ( 1 ) 优化站点结构 对网站的修改能有目的有依据的稳步提高用户满意度，发现系统性能瓶颈， 找到安全漏洞，查看网站流量模式，找到网站最重要的部分，发现用户的需要和 兴趣，对需求强烈的地方提供优化，根据用户访问模式修改网页之间的连接，把 用户想要的东西以更快更有效的方式提供给用户。 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 ( 2 ) 测定投资回报率 测定广告和促销计划的成功度；找到最有价值的i s p 和搜索引擎；测定合作 和结盟网站对自身的价值。 ( 3 ) 提供个性化网站 对大多数w e b 应用来说，让用户感到整个网站是完全为他自己定制的个性 化网站，是w e b 站点成功的秘诀。针对不同的用户完全按照其个人的兴趣和爱 好向用户动态的提供要浏览的建议自动提供个性化的网站。 2 2 3w e b 数据挖掘的分类 w e b 数据挖掘就是利用数据挖掘技术，自动从网络文档以及服务中发现和抽 取信息的过程，它主要实现对w e b 存取模式、w e b 结构和规则以及w e b 内容的 查找。一般地，根据网络数据挖掘对象的不同，人们将w e b 数据挖掘分为三种： ( 1 ) w e b 内容挖掘 w e b 内容挖掘是从文档内容或其描述中抽取知识的过程。网络信息内容是由 文本、图像、音频、视频、元数据等形式的数据组成，网络内容挖掘就是从网络 信息内容中发现有用信息的过程。 ( 2 ) w e b 结构挖掘 w 曲结构挖掘就是推出网络的拓扑信息与网页之间的链接信息。利用这些信 息，可以对页面进行排序，发现重要页面，通过分析一个网页连接和被连接数量 以及对象，来建立w e b 自身的连接结构模式。 ( 3 ) w e b 日志挖掘 w e b 日志挖掘的主要目标是从用户和网络交互的过程中产生的访问记录中 抽取出来的第二手数据( 包括网络服务器访问记录、代理服务器r 志记录、浏览 器日志记录、用户简介注册信息、用户对话或交易信息、用户访问方式等) 。通 过网络使用记录挖掘，可以了解用户的网络行为，改进站点结构，或为用户提供 个性化的服务。 在w e b 挖掘中，w e b 内容挖掘、w e b 结构挖掘和w e b 日志挖掘必须结合起 来，以提高数据挖掘的精确度。网络用户行为分析则侧重于利用网络数据挖掘中 的w e b 挖掘来发现用户行为。w e b 内容和w e b 结构的挖掘只是基于网站本身， 不能记录用户的相关信息，w e b 日志的挖掘可以得到用户的相关信息，但是需要 知道用户访问的w e b 服务器的具体资料，并且得到相应w e b 日志，实现起来比 较困难。 9 北京邮电大学硕_ 二论文 基于兴趣分类的用户行为分析系统的研究与设计 图2 - 1w e b 挖掘的分类 2 3j a a 与数据库的连接j d b c j d b c ( j a v ad a t a b a s ec o n n e c t i o n ，j a v a 数据库连接) 是s u n 提供的一套数 据库编程接口，由j a v a 语言编写的类、接口组成。它是j a v a 应用的最重要的领 域之一。 j d b c 为在j a v a 中开发数据库应用提供了一个良好的工具，使丌发人员能够 用纯j a v aa p i 来编写数据库应用程序。 有了j d b ca p i ，就不必为访问每一种数据库各写一个程序，也无须担忧要 为不同的平台编写不同的应用程序，只要书写一遍程序就可让它在任何平台上运 行。 j d b c 也扩展了j a v a 的网络性能。例如，使用j a v a 和j d b c a p i 可以发布含 有a p p l e t 的网页，而该a p p l e t 的信息可能来自远程数据库。因此，使用j d b c 使信息的管理和传播变得容易和经济。企业可继续使用它们现有的数据库，即使 信息是存储在不同数据库管理系统上，但仍能快捷地存取。不仅如此，对于商务 上的销售信息服务，j a v a 的j d b c 也可为外部客户提供获取信息更新更好的方法。 2 4 本章小结 本章主要介绍了用户行为分析基础的理论，研究了网络用户行为的概念及其 特点，对网络用户行为进行了分类，并介绍了用户行为分析中常用到的w e b 挖 掘技术及j d b c 技术。 i o 北京邮电大学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 第三章基于兴趣分类的用户行为分析系统的研究 3 1w e b 日志挖掘 3 1 1w e b 日志挖掘概述 w e b 日志挖掘【1 4 】【1 5 】【1 6 】是一种很重要的信息获取方式，它挖掘的数据一般是 在用户和网络交互的过程中抽取出来的第二手的数据。 w 曲日志挖掘一般分为两种【l7 】：一般访问模式跟踪和定制使用跟踪。一般 访问模式跟踪通过分析w e b 日志来理解用户的访问模式和倾向，以给出较好的 w e b 结构及资源提供者的分组情况；定制使用跟踪则分析单个用户的偏好，根据 其访问模式每个用户定制符合其个人特色的w e b 站点服务。 w e b 服务器的日志文件( w e bl o g ) 记载了用户访问站点的数据，这些数据包 括：访问客户的i p 地址、访问时间、访问的页面、访问方式、页面大小、浏览 器类型、响应状态等。当站点被访问一次，w e bl o g 就在日志数据库内追加相应 的记录。管理员主要关心的是这些数据间的关系和数据的统计值，例如：访问次 数和时间的关系；访问用户所在的国家和地区分布；访问频率较高的页面：一段 时间内被访问的平均次数。这些都是简单的统计，但是随着w e b 站点的不断发 展，站点的规模与复杂程度与日俱增，w e b 站点的设计与维护变得越来越困难。 利用普通的概率论来统计分析、安排站点结构已经不能满足要求，而w e b 日志 挖掘能够帮助w e b 站点的管理员更深入的了解站点的使用信息。 3 1 2 w 曲日志挖掘应用 无论从学术或从商业运作的角度来看，w e b 日志挖掘都是一个很值得研究的 学术领域。通过w e b 日志挖掘可以了解整个w e b 系统被访问的情况。基于w e b 服务器的月志数据的应用研究大致分为三类【i 引。 1 ) 改善系统性能 数据库和网络带来的服务质量对于用户来说非常重要。通过w e b 日志挖掘 我们可以了解到具体的w e b 页及w e b 的传输情况。随着网络的不断发展，网络 安全也上升到了一个迫切需要解决的问题。w e b 日志挖掘也能提供模式分析，探 测到外来干扰、传输出现错误等。 2 ) 改进系统设计 在一个w e b 站点中，w e b 页面之间存在着丰富的结构信息，这种结构信息 北京邮电大学硕：t ：论文基于兴趣分类的用户行为分析系统的研究与设计 反映出网站设计者的领域知识。这种领域知识是否与群体用户的访问兴趣相符 合，需要通过对用户访问兴趣的挖掘来检验。通过对一段时间群体用户对一个 w e b 站点访问日志的挖掘，可以得到群体用户的访问路径模式。它可以反映设计 者所设计的w e b 页面关联的优劣，可以被用来改进w e b 站点的结构。 3 ) 个性化服务 w e b 访问个性化意味着一个用户访问w e b 站点时得到个性化的服务。如果 不需要用户的注册信息，那么在w e b 站点上的个性化推荐系统的一种思路是将 用户归结到一类用户，然后根据该类用户的访问规律进行w e b 页面的推荐。而 实时个性化则意味着，随着用户的访问推进，算法会将用户归结到不同的用户类 中，因为不同的用户类有不同的推荐集，所以通过不断地根据用户的当前访问， 实时调整推荐集，给用户提供个性化的访问。 3 1 3w e b 日志信息的特点 随着互联网的迅速发展，w e b 使用信息广泛、海量地遍及在它们上面。w e b 日志数据具有如下特点【1 9 】【2 0 】： 数量大l 一个中等大小的网站每天可以记载几十m b 的用户访问信息，记载 着数万次用户的访问，随着时间的推移，所记载的用户访问量信息更是非常庞大。 广泛性：世界上每一台w e b 服务器或w e b 代理服务器都会遵循w 3 c 的w e b 使用信息标准，记录来自不同的地区、种族、阶层等的访问者的访问信息。 实时性：只要用户对站点进行访问，那么用户访问信息就会被记录；只要用 户访问i n t e m e t ，那么必然至少有一个服务器记录其访问行为。 多样性：访问信息的格式在遵循w 3 c 标准的基础上，各个服务器可以根据 各自特定的需求，制定新的扩展格式，以记载更加详细的用户访问信息。访问信 息格式的扩展，是当前w e b 服务发展的一个新趋势。 内涵丰富：访问信息记载了来访者，被访问页面，访问时间等一系列信息。 当这些信息被事务化，提取出访问页面特性，访问路径特性，访问时间特性，以 及将这些特性和网站原有的丰富的拓扑结构和内容分布结合起来后，这些信息就 具有了非常丰富的内涵。 结构化：访问信息一般都按照确定的数据格式由系统自动记录，遵循w 3 c 标准的访问信息记录格式，可以很方便地转化成关系式数据库进行结构化的处 理，便于进行分类、聚类、统计分析和深层次的挖掘。 代表性：w e b 使用信息数据记录的是每个用户的访问行为，代表每个用户的 个性：同一类用户的访问，代表同一类用户的个性；一段时期的访问数据记载的 是群体用户的访问行为和群体用户的共性。 北京邮电人学硕士论文基于兴趣分类的用户行为分析系统的研究与设计 w e b 日志从各方面详尽反映出用户访问w e b 的细节，是取之不尽、用之不 竭的宝贵资源。通过对w e b 使用信息进行有效的数据挖掘，可以帮助我们更好 地理解w e b 和w e b 用户访问模式，这对于开发w e b 的最大经济潜力是非常关键 的。所以，开展w e b 日志挖掘研究具有广泛地意义。 3 1 4w e b 日志挖掘过程 面向w e b 的同志挖掘是关于用户行为及潜在顾客信息的发现，一个基本的 w e b 日志挖掘流程【2 】1 2 2 2 3 1 如下图所示，分为数据预处理、模式发现和模式分析 三个阶段，下面分别介绍。 源数据颈处理模式发现 模式分析 图3 - 1w e b 日志挖掘基本流程 1 ) 数据预处理阶段 根据挖掘的目的，对原始w e b 日志文件中的数据进行提取、分解、合并、 最后转换为适合进行数据挖掘的数据格式，并保存到关系型数据库表或数据仓库 中，等待进一步处理。该阶段是w e b 访问信息挖掘最关键的阶段，数据预处理 包括：关于用户访问信息的预处理、关于内容和结构的预处理。 2 ) 模式发现阶段 在对事务进行了划分后，就可以根据具体的分析需求选择访问模式发现的技 术。由于目标的不同，所采用的技术也有所不同。如路径分析、关联规则挖掘、 时序模式、聚类和分类技术。路径分析( p a t ha n a l y s i s ) 可以用来发现w e b 站点中 最经常被访问的路径，从而可以调整站点的结构。在w e b 日志挖掘的环境下， 关联规则挖掘的目标是发现用户对站点各页面的访问之间的关系，这对于电子商 务是非常有用的。时序模式的发现，各种聚类和分类技术的采用对于w 曲日志 中的模式发现都有其各自的作用。 现有3 0 多种商用的w e bl o g 挖掘工具，大部分速度较慢，并且做了一些假 设以便减少要分析的l o g 文件的大小。这些工具的性能、包容性和分析的深度还 有一定的限制。 3 1 模式分析阶段 该阶段是提供可视化的结果输出。模式分析如果没有合适的技术和工具来辅 助分析人员的理解，采用各种技术挖掘出来的模式将不能得到很好的利用。所以 开发各种分析技术和工具是一个较新的领域。 北京邮电大学硕上论文基于兴趣分类的用户行为分析系统的研究与设计 3 1 5w