（系统工程专业论文）数字图书馆用户行为研究.pdf

武汉理工大学硕十学位论文 摘要 随着计算机和因特网的迅速发展，网上信息的类型越来越丰富，可利用的 资源也越来越丰富，这已成为数字图书馆的发展动力。数字图书馆是一个新兴 的，涉及到因特网、多媒体、数据仓库、数据挖掘和知识产权保护等诸多技术 的计算机应用领域，其应用和商业前景非常广阔。 本文是在数字图书馆系统的环境下，通过对用户行为进行分析，进而对用户 建立模型，同时对用户进行分类，以便于更好的提供个性化的服务的研究。在 研究初期，认真分析了数字图书馆的总体结构，并通过其总体结构图、数据流 程图和系统模块图的描述，找出了系统的关键问题之一，就是参照个人资源库 及行为信息库，结合当前的用户行为特征，对用户行为进行识别，进而对用户 建立模型和进行归类的问题，从而接下来的研究工作就是围绕这个主题所展开 的。 本文的第三章主要论了用户行为的相关概念，指出了限定在数字图书馆下 用户行为包含的方面：浏览、检索、下载、定制、打印、保存等等；同时对用 户行为的表示和测量进行了讨论。 本文的第四章主要介绍了用户行为分析的四个阶段：数据采集、数据预处 理、模式识别、模式分析，主要需要用到数据挖掘的相关方法。而后在第五章中 主要研究用户行为分析的关键技术，即用户建模和用户分类的技术。对用户建 模的三种方法进行了讨论，同时对用户模型的更新算法进行了研究，给出了几 个相似度的计算公式：基于模糊聚类和相似优先，对用户分类进行了研究。 第六章是用户行为分析系统总体设计，包括系统模块设计，提出了基于多 a g e n t 的系统框架结构，并对其工作流程进行了简单的描述。 关键词：数字图书馆，行为分析，用户模型，用户分类 武汉理丁大学硕+ 学位论文 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ec o m p u t e ra n di n t e r n e t ，o n l i n ei n f o r m a t i o n t y p e sa r em o r ea n dm o r ea b u n d a n t ，t h eu s a b l er e s o u r c e sa r em o r ea n dm o r ea b u n d a n t t o o ，a n dt h e s eb e c o m et h ed e v e l o p m e n tp o w e ro ft h ed i g i t a ll i b r a r y t h ed i g i t a ll i b r a r y i sad e v e l o p i n gc o m p u t e ra p p l i c a t i o nd o m a i n ，w h i c hi n v o l v e st ot h ei n t e r a c t , m u l t i m e d i a , d a t aw a r e h o u s e ，d a t am i n i n ga n dt h ei n t e l l e c t u a lp r o p e r t yf i g h t sp o w e r p r o t e c t i o na n ds oo n s ot h ea p p l i c a t i o na n dt h ec o m m e r c i a lp r o s p e c t sa r eu s e d b r o a d l y t h i sa r t i c l ei su n d e rt h ee n v i r o n m e n to ft h ed i g i t a ll i b r a r ys y s t e m ，b ym e a n so f d o i n gs o m er e s e a r c h e sa b o u tu s e r s b e h a v i o lt h ea r t i c l eb u i l d su s e r sm o d e la n da tt h e s a m et i m er e s e a r c hu s e rc l a s s i f y a tt h ef i r s ts t a g eo fs t u d y i n g , t h eo v e r a l ls t r u c t u r e f o rd i g i t a ll i b r a r ys y s t e mi sa n a l y z e dc o n s c i e n t i o u s l y w ef i n do u to u eo ft h ec r u c i a l p r o b l e m so ft h es y s t e n ib ya n a l y z i n gt h ed e s c r i p t i o nd r a w i n go fi t ss t r u c t u r e ，d a t a f l o wc h a r ta n ds y s t e mm o d u l ep i c t u r e a tt h es a m et i m ea c c o r d i n gt ot h ep e r s o n a l r e s o u r c ew a r e h o u s e ，t h eb e h a v i o rw a r e h o u s ea n dt h ep r e s e n tu s e r sb e h a v i o r c h a r a c t e r i s t i c , u s e r s b e h a v i o ri sb ed i s t i n g u i s h e da n dt h e nu s e r sb em o d e l e da n d c l a s s i f i e d ，t h u st h et h e s i sc e n t e r so nt h i ss u b j e c tt ol a u n c ht h ep l a nd e s i g n t h ec h a p t e rt h r e em a i n l yd i s c u s st h ec o r r e s p o n d i n gc o n c e p to fu s e rb e h a v i o r ， a n dp o i n to u tt h ec o n t e n to fu s e rb e h a v i o ri n c l u d i n g ：b r o w s e ，r e c a l l ，d o w n l o a d ， s c h e d u l e ，p r i n ta n ds a v ea n ds oo n a tt h es a m et i m ed i s c u s st h ee x p r e s s i o na n d m e a s u r eo fu s e rb e h a v i o l t h ec h a p t e rf o u rm a i n l yi n t r o d u c e dt h ef o u rs t a g eo fu s e r s b e h a v i o r ：d a t a c o l l e c t i o n ，d a t ap r o h a n d l e , b e h a v i o rp a t t e r nd i s t i n g u i s h ，p a t t e r na n a l y z e ，w h i c h m a i n l yi n v o l v i n gt h em e t h o do fd a t am i n i n g t h ec h a p t e rf i v er e s e a r c hs o m ek e y t e c h n o l o g ya b o u tu s e r sb e h a v i o ra n a l y s i s ，n a m e l yu s e rm o d e l i n ga n d u s e rc l a s s i f y i t d i s c u s s i n gt h et h r e em e t h o d so fu s e rm o d e l i n g a tt h es a m et i m ei t i n v o l v e ss o m e u p d a t e da l g o r i t h ma b o u tm o d e l ，d i s c u s s e s s e v e r a lr e l a t e da l g o r i t h m a tl a s ti t d i s c u s s e st h ec l a s s i f yo fu s e rb a s e do ht h ea m b i g u o u sg a t h e ra n dr e s e m b l ep r i o r i t y 武汉理工大学硕士学位论文 t h es i x t hc h a p t e ri st h eo v e r a l ls y s t e mp l a nd e s i g n , i n c l u d i n gt h es y s t e m s t r u c t u r ed r a w i n g ，t h em o d u l ec h a r t f i n a l l yi td e s c r i b e st h es y s t e mf r a m e w o r kb a s e d o nt h em u l t i a g e n tt e c h n o l o g ya n dt h ew o r kf l o wi nd e t a i l k e yw o r d s ：d i g i t a lf i b r a r y , b e h a v i o ra n a l y s i s ，u s e rm o d e l ，u s e rc l a s s i f y i l l 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅：学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名 导师签名：盔i 幺墨。日期：这鱼必 武汉理工大学硕士学位论文 第1 章绪论 1 1 选题背景及意义 图书馆作为学校信息资源的汇集中心，将以满足学校全体师生员工的教学、 科研和学习的需求为目标。因此，馆藏文献的揭示和利用成为高校图书馆信息 资源组织与服务的主要任务。除了专著、期刊、论文的收集外，学校的课表、 教学软件、教学日历也应成为收集和保藏的重点。此外，近年来，部分高校图 书馆加强了电子资源的建设力度，引进了s c i 、e 1 、i s t p 等检索数据库，维普、 万方、中国期刊网、e l s e v i e r s d o s 等电子期刊，超星、书生之家、北大方正a p a b i 、 s p r i n g e rl i n k 等电子图书，开通了d i a l o g 国际联机检索系统。这些数字化资 源的采购，尤其是网络数据库、镜像数据库的开通使用使图书馆成为校内教职 员工和学生获取信息的重要“场所”，未来还要成为读者存取信息资源的重要“领 地”。 图书馆的服务对象用户的需求及行为特征也发生了显著变化。从需求 时效上，他们希望个人的信息需求及时得到满足；从需求内容上，他们希望信息 更具全面性和精确性。用户不再仅仅满足于获得信息载体文献书刊方面的 信息，还需要获得某一特定问题、知识领域、知识单元权威性的相关信息，并 希望进一步提供经过整合、集成和创新过的方案的核心知识内容；在需求趋向 上，表现为用户个性化需求倾向增强，他们根据自己的个人兴趣、工作特性及 课题性质对某类信息或知识内容表现为特别强烈的专指性。 与此同时，我们面临的信息环境也经历着深刻的变化：文献数字化工程正 加快进程；网上信息资源日益丰富；文献信息资源结构由单一印刷型向复合型 发展( 即印刷型与数字型资源相结合，实体资源与虚拟资源相结合) ：资源共享正 逐渐成为现实；信息检索技术功能也相应强大；文献传送手段更加方便快捷。 这使人们在搜集和获取信息变得容易的同时，也相应带来在过于庞大的信息量 中信息的鉴别和选择的困惑”1 。 分析以上所浼的需求，我们得出如何对用户提供个性化的服务是一个复杂 的问题。可以发现，解决这个问题最为关键的就是要挖掘用户行为，对用户行 武汉理t 大学硕士学位论文 为进行分析，建立用户模型，针对不同的用户推荐不同的个性化服务。 武汉理工大学是教育部直属全国重点大学，“2 1 1 工程”重点建设高校。自 从2 0 0 0 年5 月由原武汉工业大学、武汉交通科技大学和武汉汽车工业大学合并 组建以来，学校非常重视图书馆的建设和发展。应该说我校数字图书馆整体发 展水平在高校处于前列。目前对用户行为分析这一块还处于起步阶段，学校已 经在“十一五”规划中立项。 1 2 国内外研究现状 1 2 1 数字图书馆 数字图书馆的研制起始于2 0 世纪8 0 年代末的西方发达国家，随后向全球 扩展。 美国是世界上最早开始研究、开发和建设数字图书馆的国家，也是目前全 世界数字图书馆建设水平最高、应用范围最广的国家。不仅是美国在大力发展 数字图书馆技术，其他各国都投资大力发展，并且成果斐然。 从国外发展看，数字图书馆建设都使用高新技术做支撑。如在资源库建设 中需要使用高效联机解析处理、数据仓库、数据挖掘等技术，研究将数据仓库 和数据挖掘应用于数字图书馆的体系结构，研究元数据的界定与自动抽取、多 媒体对象数据的压缩与还原等，实现数字图书馆的快速海量存取：要实现数字图 书馆分布式资源库的可互操作性，研究在不同层次上( 语句、语义等) 为具有多 个分布式资源库的大型数字图书馆提供快速的横向跨库查询技术：要实现基于 并行处理的高速查询引擎，用于超大规模分布式资源库的快速存取；要实现多 语种的实时翻译，并将其应用在因特网上的双向检索环境中：实现基于内容多媒 体特征的检索，包括概要查询，分类、检索以及自动摘要、自动转换和匹配等； 要实现数字图书馆系统的可缩放性，要求系统既能应用在全国范围、全球范围， 也能适用于个人使用，无论数据量、内容覆盖面和内容深度、用户数等都有极 大的可扩展性”。 国内开始数字图转馆研究较晚，但发展还是较快的。其中值得一提的足中 国数字图书馆工程。其总体目标是在宽带i p 网上形成超大规模的、高质量的中 文资源库群，支持国家整体创新体系的形成与发展，通过国家骨干通信网络系 2 武汉理工大学硕士学位论文 统向全国乃至于全球提供服务，其总体技术水平与国际接轨。全面地收集文化 资源信息，将其中的精品内容进行数字化与深加工，建设起一批以数字化图书 馆、数字化博物馆、数字化影视中心等为代表的资源库，形成巨大的知识宝库。 依托国家骨干通信网，建立完整的信息资源网络体系，针对不同需求的用户， 提供对各种资源库的快速查询与检索。开发智能化中文用户界面和廉价的用户 接入设备，普及网络的使用，使用户可以方便地、远距离地、像收看电视一样 获取网上的资源，使文化信息资源得以最大限度地利用。 1 2 2 数字图书馆的个性化服务 当个性化服务理念和技术延伸到教育、科研领域，图书馆界也开始研究以用 户为中心的个性化信息服务。按照用户是否明确告知系统其个性化信息需求偏 好，图书馆界提供的个性化信息服务主要有以下几种形式： ( 1 ) 个性化信息定制 信息定制是指根据用户的需求，搜寻并提供符合用户需求的特定信息，同 时使用安全认证技术保护用户的隐私。信息定制服务系统运行于服务提供者的 w w w 服务器上，系统的定制功能通常使用一系列模块( 程序) 来实现，定制的内容 包括系统资源和系统界面，系统资源又包括所有馆藏数字资源、网络资源、服 务信息等，系统界面则包括页面风格选择和各定制模块的布局。 目前，国内外己有超过四十个大学图书馆开发并使用了这种m yg a t e w a y ，m y l i b r a r y 信息定制系统，其中较典型的是：美国康奈尔大学( t h e c o r n e l l u n i v e r s i t y ) 图书馆。 其开发使用的m yl i b r a r y 系统提供个性化联接m yl i n k s 和个性化更新m y u p d a t e s 两部分服务。系统用j a v a 动态创建h t m l 页面，运用o r a c l e 数据库技 术存储大量的用户信息。系统采用k e r b e r o s 认证机制执行用户认证服务，用户 通过i d 和口令认证登陆自己的m yl i b r a r y 系统，根据需要进入m yl i n k s 或m y u p d a t e s 界面。 m yl i n k s 用于收集和组织由用户定义的资源，其基本设计思想是利用文件 央包含个人选择的w e b 地址联接，用户町对任何选择的资源和文件央命名，按 重要性由高到低排序，并可从中增删资源，在资源地址变化时也可进行编辑修 改，用户可从本馆收集资源或从任意w e b 资源中进行选择，所有个性化选择都 存在服务器端，用户在任一台机器上登录都可享受此类服务，又称“移动的书 武汉理1 = 大学硕士学位论文 签”。m yu p d a t e s 允许用户设定自己感兴趣的领域，系统将在与这些领域相关的 图书馆资源变化时及时通知用户。 此外，该系统还设立了一个新栏目：a s kf ll i b r a r i a n ，通过电话、聊天、 电邮等方式向用户提供电子咨询服务“1 。 ( 2 ) 基于电子邮件的个性化信息服务方式 系统根据用户订阅情况提供相应的栏目内容，定期或不定期地发送到其个 人信箱里。国内一些高校图书馆已经开始尝试提供这种个性化服务，例如，根 据注册用户的专业、研究方向，用电子邮件发送与之相关的最新数字资源和服 务动态，使用户及时获取有价值的信息。 基于这种服务模式的国外机构有i n g e n t a ，国内如中国科学院文献情报中心 的联合西文期刊篇名定题服务，中国科学院上海文献情报中心的新书信息推送 和西文现期目次推送等”1 。 ( 3 ) 瑞典计算机科学研究所的个人图书馆原型系统 他们将个性化的图书馆集成到用户日常的文件管理环境中，建立了一个用 于管理用户电子邮件的个人图书馆原型系统。因为用户通常是根据自己的相关 性判断来对电子邮件进行整理归类，借助此类信息，系统可以基于其工作背景 ( w o r kc o n t e x t ) 发掘信息，建立服务，如根据当前的活动文件夹来归类从一个 检索中所获得的结果信息”1 。 ( 4 ) 日本h i r o s h i m a 大学建立的个性化信息环境( ap e r s o n a l i z e d i n f o r m a t i o ne n v i r o n m e n t ) 根据对传统图书馆中用户活动与需求的调查分析，设计者提出系统在两个 层次上的个性化，即信息资料的个性化( m a t e r i a lp e r s o n a l i z a t i o n ) 和信息收 集的个性化( c o l l e c t i o np e r s o n a l i z a t i o n ) 。其开发的原型系统主要有三部分 组成：p e r s o n a ld o c u m e n te d i t o r ，d lb r o w s e r 和a d d r e s sa c c u r a c yd e t e c t o r 。 其中p e r s o n a ld o c u m e n te d i t o r 提供m a t e r i a lp e r s o n a l i z a t i o n 的工具， d lb r o w s e r 提供c o l l e c t i o np e r s o n a l i z a t i o n 的工具，它类似于一个普通的 w e b 浏览器，一旦用户登录进入数字图书馆，它就会引导用户在系统资源中航行， 并提供个性化的榆索和过滤。 a d d r e s sa c c u r a c yd e t e c t o r 是一个a g e n t ，用于保持信息用户在d l 中所 收藏的个人文件( p e r s o n a ld o c u m e n t s ) 的链接的有效性。 从以上四种服务方式可以看出，当 j 的数字图书馆的个性化信息服务系统， 4 武汉理下大学硕七学位论文 主要存在两种服务方式。基于显式反馈方式如( 1 ) 和( 2 ) ，基于隐式反馈方式 如( 3 ) ( 4 ) 。显式反馈需要收集用户兴趣。由于用户明确地表明了其信息需求， 因此它具有以下优点：能精确地做出相关判断；用户表达信息需求的行为含 义明确；易于实施。它改变了以往的信息发布方式，由单纯的网络信息发布 向交互式的信息服务迈进了一大步。隐式反馈优点是：不需要花费用户的精 力和时间；不依赖于用户的参与；不受用户经验的影响，较为客观；搜 索范围广泛，有效避免了信号的漏检；能主动地发现用户兴趣与需求的迁移。 无论哪种，在服务的智能性、主动性与实时性方面都存在不足。因此，在设计 数字图书馆的个性化服务时，应充分考虑这些特点，作适当的调整。” 1 2 3 用户行为分析的研究现状 数字图书馆己经渡过其起步期，正在从面向技术的、有选择性的、以试验 为目的的数字图书馆研究试验项目转向面向用户的、全方位发展的、以实用为 目的的建设工程。从国内外目前网上数字图书馆来看，信息资源建设己经取得 较好的成果，但信息服务体系的构建还有待于进一步完善和提高。其中一个重 要的问题就是，大多数数字图书馆的信息服务都是以资源为中心的服务模式， 而没有考虑到用户的类别、专业、爱好、兴趣、年龄、心理倾向等因素存在着 较大差异这一事实，因此不能真正的满足用户个性化的信息需求。用户行为分 析能比较准确的分析用户的真正需求，在这方面做的越好，就越能保证用户对 个性化系统推荐结果的满意程度哪。 现有数字图书馆对用户行为分析往往达不到理想的效果，主要表现在以下 几个方面： ( 1 ) 用户行为分析不能全面描述用户行为模式 要比较全面的对当前用户行为模式进行识别，必须结合当前用户的静态属 性与动态属性来分析。静态属性是通过用户统一身份认证来获取的，包括用户 所在院系、专业、研究方向、年龄、性别等。用户动态属性是在不需要用户给 出明确反馈的情况下通过对用户网络浏览路径的跟踪，浏览内容的获取，分析 只志文件记录中l j 户在某一页面的停留时b j 、文档的长度、用户访j u j 的l r l 地 址、u r l 路径的历史来生成的，这部分信息是较频繁变动的。而现有的用户信息 行为分析对动态属性采集的不够，还包括不同用户之i b j 的交流、讨论内容1 。 ( 2 ) 用户行为分析不能准确表达用户特征和兴趣 武汉理工大学硕士学位论文 一方面，用户自己本身就不能用很准确的词汇来表达自己的兴趣，另一方 面用户和信息行为分析系统对同一个词汇的理解存在语义上的分歧，这是一个 很至关重要的问题，直接影响到个性化信息推荐的结果“。 ( 3 ) 用户模型不能随着用户兴趣的变化自适应地调整 一般的可把用户对事物的兴趣划分为近期兴趣和长期兴趣两大类。近期兴 趣变化快，而长期兴趣相对稳定，一个好的用户行为分析系统应当能够从服务 上加以区分。但现有的用户行为分析系统没有考虑到这一点，关注的往往是用 户长期的、相对固定的兴趣，从而无法在个性化服务时提供更加细化的服务。 1 3 论文所作的工作 本文主要完成了以下几个方面的工作： ( 1 ) 提出对用户行为分析的研究是基于对数字图书馆系统进行需求分析，对 系统对象的分析，通过对数据流程图、模块图和总体需求图的认知，了解到用 户行为分析在整个数字图书馆服务体系中的核心地位，因此是有了这方面的需 求才有这样的设计。 ( 2 ) 在提出问题后，需要有针对的解决对象问题。进行用户行为分析，需要 定义用户行为的概念，需要抓住用户行为的特点，同时还需要用数学表达式描 述用户行为。 ( 3 ) 搜集用户行为数据，对其进行预处理和识别，进而来进行综合分析，最 终建立用户模型；对用户进行分类研究，实现个性化的推荐服务。 ( 4 ) 通过行为需求分析，建立系统功能模块，实现一个比较完整的系统原型。 6 武汉理工大学硕士学位论文 第2 章数字图书馆概述 传统图书馆的服务对象，为在校攻读学位各类学生人员以及全校的教职工。 因此在这种传统模式下运行的图书馆系统，仅仅是为传统服务对象提供传统服 务的网上在线功能，是一种图书馆面向用户的数据单向流动。 在建设校园数字图书馆系统时，用户群体不再仅限于学校的学生和教职工 人员，而是将其放宽为想从图书馆获取信息的各类人员。这也符合信息时代人 人需要信息的宿愿，而且也能为我们丰富馆藏资源做出贡献。 信息的时代，几何式倍增的信息量，使我们不缺的是信息。愁的是如何从 这些信息里面方便快捷的找到自己需要的信息或是知识，用户希望的是能够在 浩瀚的信息海洋中找到所需的知识，并能够与其他用户进行知识的交流和共享。 我们的数字图书馆系统也是在这个思想上应运而生的。 用户希望在需要某一特定领域信息或是知识时，能通过图书馆系统这个媒 介，快速的找到除了相关的图书、多媒体资料外，其他图书馆用户搜集的这方 面的信息或他们自己的一些相关领域的宝贵经验。这样，用户需求能得到比较 满意的答案，同时也会丰富图书馆的馆藏资源，进而提高图书馆信息服务的水 平【l l j 。 2 1 数字图书馆系统分析 以我校数字图书馆系统为例，它是以主动为用户提供智能化、个性化的信 息服务为目的，主要包括用户行为分析系统、用户协作平台、用户个人资源管 理系统、智能化信息采集系统、用户管理系统等五个方面内容【1 2 】。 ( 1 ) 用户行为分析系统 该系统通过捕捉用户的每一个动作了解用户的使用习惯、研究方向、兴趣 点，有针对性地挖掘出相应的用户信息，建立包含词语关联的知识库，为制定 资源调度策略、提供个性化信息服务提供依据。 ( 2 ) 用户协作平台 7 武汉理工大学硕士学位论文 该平台能够根据用户行为分析的结果自动撮合兴趣相同或相似的用户，组 成兴趣群或网络社区。并能够将现有的即时聊天、自板技术、网页推送等交流 方式集成到该“撮合”系统中，使社区中的用户可以利用该协作平台进行相互 之间的实时交流，实现资源的协作和文献的共享，同时也为用户行为分析系统 提供进一步的信息。这种交流应该不是点对点的，而是一对多和多对多的。 ( 3 ) 用户个人资源管理系统 作为用户个人“移动的工作平台”，该系统绘每个用户一个存储空间，主 要存放用户自己搜集的资源和本人产生的原创资源，也可以存放数字图书馆推 送给用户的资源的超级链接。这样的平台能够解决用户因使用多台地理位置不 同的电脑而造成的资源不统一的问题，保证了资源的唯一性。 h ) 智能化信息采集系统 智能化信息采集系统是一个相对独立的模块，是针对所有用户的一个整体。 该系统能够根据用户行为分析系统确定个性化搜索引擎的搜索方向，并能在完 成搜索后将搜索结果进行进一步的过滤、去重、排序、筛选，必要时给予适当 的人工干预，最后将结果分发给相应的用户。 f 5 1 用户管理系统 个人数字图书馆的用户应根据他们的使用量分级别地使用数字图书馆提供 的资源。用得越多，主动提供得越多，就能够得到越多的越高层次的服务。用 户管理系统主要针对两类用户：一是与学校统一身份认证系统相挂接的校内用 户，另类是校外企业、机构、个人等接受有偿服务的用户的身份认证和管理。 其中，用户行为研究的初衷是为了配合图书馆开展数字化图书馆业务而着 手准备的项目。它的最终目的是保证为用户提供个性化的信息服务。 2 2 总体结构图 从数字图书馆的总体结构图上，可以看到，通过用户的行为分析和知识特 征分析，是要达到给用户提供主动知识的服务，最后的流向一个是用户，流向 用户是向用户提供知识服务和社群撮合服务，并改进资源配置，为读者提供更 好的服务：另一个流向是系统门户，针对用户的行为特征和知识特征，改变门 户内容安排，改进用户体验，这也是为了给读者提供个性化服务。 8 武汉理工大学硕士学位论文 图2 1数字图书馆总体结构图 需要说明的是在图2 - 1 中，实线表示信息流；虚线表示非信息流，是人工 干预过程。通过数字图书馆的总体结构图，不难看出用户行为分析是处于核心 地位的。 2 3 总体数据流程图 在图2 - 2 中，系统的数据处理流程可分为三个阶段“”： 资源层，汇集了系统的电子资源，包括c a l i s 标准资源、馆内自建资源、 互联网定向抓取的资源、用户保存的资源和用户行为信息。c a l i s 标准资源、馆 内自建资源是已经具备的，互联网定向抓取的资源是需要智能代理从网上抓取 的，用户保存的资源是用户手工提交的资源，用户行为信息是通过代理收集到 的用户行为的信息资源。 9 武汉理工大学硕士学位论文 图 图2 2 数字图书馆数据处理流程 数据智能处理层，进行资源的清洗和知识提取，并保存到数据仓库中，同 时提供数据智能处理。 功能展现层，将数据以图表、图形、文字等方式展现给用户，包括知识推 荐、社群撮合、协作交流、数据分析，智能检索提供从资源层进行检索，并对 检索结果进行智能排序和过滤。 很明显，通过数字图书馆的数据流程总图，不难发现，用户行为分析的位 置就在数据智能处理层。数据由用户资源库和用户行为信息库，进入处理层， 经过清洗和提取进入知识库中，再经由数据仓库，进入功能展现层为用户展示。 可以看到，用户行为分析在整个数字图书馆中是具有举足轻重的作用的。 2 4 总体模块图 图2 3 为我们充分展示了系统的整个框架。可以看到本文的研究重点就在左 边的一块，用户信息搜集，用户彳亍为特征库，再到人际关系地图，最后变为社 群图，为后续的建立学习往来社群、人员特征模型做准备。 1 0 囤回圃圆囤 圉圆圈囤囤 嚣 武汉理t 大学硕七学位论文 图2 3数字图书馆系统模块图 2 5 用户行为分析的功能及其作用 从以上分析得出，用户行为分析处于系统的中间层，在后台数据库和用户 终端展现层之间，运用在构建的资源库和知识库中。其主要完成功能：用户行 为数据处理；用户行为分析；构建一套行为要素建立用户模型；对用户进行分 类。 武汉理1 = 大学硕士学位论文 第3 章用户行为概述 本章主要讨论了用户行为的相关概念，指出了限定在数字图书馆下用户行 为包含的方面，同时对用户行为的表示和测量进行了讨论。 3 1 网络用户行为 网络用户行为的研究与心理学、社会学、社会心理学、人类学以及一切与 网络行为的学科密切相关，它研究网络用户行为的规律性，借以控制并预测网 络用户行为，并为实现政治的、经济的和文化的目的服务。具体一些讲，网络 用户行为研究就是分析网络用户的构成、特点及其行为表现出来的规律。 3 1 1 网络用户行为的概念 从行为学的角度，个体网络行为是单个个体在网络上所表现出来的行为， 是由个体的个性决定的。每个个体都有自己的个性，个性是个体在一定的社会 环境和教育模式下所形成的稳定的个人品格，个体在心理、行为、体质、性格、 特长、兴趣和价值观等方面各不相同。这些差异造成了个性的差异和需求的多 元化，也决定了个性具有一定的稳定性。不同的个体有不同的兴趣和爱好，也 具有不同的信息需求。短期的个体行为可能并不具有明显的规律，但长期的个 体网络行为则具有一定的稳定性，我们可以发现其行为模式。 另一方面，个性也会随着环境变化，个体网络行为也会随之变迁。 同样，多个体组成的某个用户群体也有其群体行为模式。 网络用户行为就是网络用户的特点、构成及其在网络应用过程中行为活动 上所表现出来的规律，网络用户行为是一个广义的概念。网络用户行为分析就 是研究网络用户行为的学科，它属于网络知识发现的范畴”。 限定在数字图书馆的系统环境下，网络用户行为就是指浏览、检索、下载、 定制、打印、保存，同时还结合一些用户的特殊信息，比如用户的知识背景、 研究方向等等。 武汉理1 = 大学硕士学位论文 3 1 2 用户行为的表示及测量 ( 1 ) 用户行为的表示“” 用户行为的表示通常采用向量的表示方式。 考虑具有n 个属性的某种行为，可以表示为： ( 属性l ，属性2 ，属性n ) ，其中n 个属性分别为该行为的n 个采样点。 例1 ，与用户网上有关的系统进程调用序列可表示为： ( 进程1 ，进程2 ，进程r 1 ) ， 例2 ，用户的浏览行为可表示为： ( 用户i d ，用户i p ，( 请求的u r l ，浏览时间) ”) ，其中n 1 表示请求不同u r l 的数目。 ( 2 ) 用户行为的测量“6 1 利用距离的方法将观察到的行为数据分类到同类的组中。 为了研究和比较观测得到的网络用户行为，需要引入距离概念或相似性的 概念。观测数据相似性指标提供了基本的识别同组数据( 网络用户行为) 的信息。 具体地说，任意两个观测数据而和茗，的相似性指标可以定义成数据之间的 函数： s i m 一，( ，) f ，- 1 ，2 ，n 当所考虑的变量是定量变量时，距离是最典型的相似性指标。如果变量是 定性的，观测数据间的距离可以通过相似性指标来测量。也有些相似性指标可 以处理定量变量和定性变量的结合。 欧氏距离 考虑一个数据矩阵只包含定量( 或二值) 变量的简单情形。 定义3 1 ：如果x 和y 是两个行为数据，当满足下列四个特性时，函数a ( x ，y ) 称 为两个数据的距离： ( 1 ) 非负性：对所有的x 和y ，d ( x ，y ) 2 0 。 ( 2 ) 同一性：对所有的x 和y ，d ( x ，y ) = 0 一工一y 。 ( 3 ) 对称性：对所有的x 和y ，d ( x ，y ) ；d ( y ，x ) 。 ( 4 ) 三角不等式：对所有的x ，y 和z ，d ( x ，y ) + d ( y ，。) 2 d ( x ，z ) 欧氏距离是最常用的距离测度，在p 维欧氏窄问中，任意两个单元f 和，之 间的欧氏距离定义为向量差值的平方根： 武汉理工大学硕士学位论文 d ( x j ，工) 一 露焉 公式( 3 - - 1 ) 为了避免某一维的较大差值对欧氏距离的结果产生较大的影响，通常首先 对各维变量标准化。标准化可以通过下列方法完成：首先进行线性变换，标准化 所有变量，将每个变量都减去它的均值，再除以方差的平方根。标准化后，每 个变换变量有零均值和单位方差，以相同的权重参与距离计算。 为了得到所有网络用户行为向量的分组，通常考虑所有向量的距离。假定 有n 个用户的行为，最终可表示为用户行为的距离矩阵。 0 d q 2 ) d 仉3 ) d g 4 ) d o 5 ) d ( 2 山0d ( 2 ，3 ) d ( 2 ，4 ) d ( 2 5 ) d ( 3 舢d ( 3 ，2 ) 0d ( 3 ，4 ) d ( 3 ，5 ) 0 d o 舯d 0 ，2 ) d ( n ，3 ) 0 公式( 3 2 ) 相似性距离 定义3 2 ：给定一个有限的观测数据集e u ，函数s q ，p ) 一从u x u 映射到 尺，如果满足下列特征： ( 1 ) 非负性：s 0 ，v u f u ie u ( 2 ) 正规性：s 。= 1 , v u ；e u 。 ( 3 ) 对称性：= 5 ，v u f ，u fe u 则称s ( u j u i ) 为相似性指标。 相似性指标可应用于任何类型的变量，包括定性变量，但主要应用于二值 变量的数据矩阵。 例如，考虑n 个用户访问p 个页面的网站。相应地有p 个二值变量，当值为1 时表示相应的页面被访问过，否则值为0 。c p 表示同时访问的页面数量或正匹 配。c a 表示同时没有访问的网页或负匹配。 r u s s e i - r a o 相似性指标：s 。c p p ( 同时出现个数c p 和所考虑二值变量 总个数的比值) d a c c a r d 相似性指标：s 。= c 叫( p c 爿) ( 同时出现个数和变量总个数减去 同时小出现个数的比值) 同距离矩阵类似，相似性指标也可构成相似性矩阵。 1 4 武汉理工大学硕士学位论文 ( 3 ) 多维尺度 有时需要在知道观测行为数据相似度( 或距离) 的情况下重新计算观测数据 的值。多维尺度方法的目标是在低维欧氏空间上表示未知取值( 或非数值型表示) 的观测数据。这种表示可以通过尽可能多地保留原始距离得到。多维尺度方法 是寻找观测数据在低维欧氏空间的表示形式，表现形式为极小化原始距离和新 欧氏距离间的一个合适距离。 多维尺度方法是寻找观测数据在低维欧氏空间的表示形式，表现形式为极 小化原始距离和新欧氏距离间的一个合适距离。 常用的方法是应力函数： 丽 其中是对每对观测数据的原始距离( 非相似度) ，如是观测数据对在重建 空间中的距离。在实际的应用中，经常会从测量测度概念基础上派生出相异度、 兴趣度等具体应用层次上的概念，以便于具体的应用与分析i 切。 武汉理工大学硕士学位论文 第4 章数字图书馆用户行为分析 用户行为分析需要用到数据挖掘的方法，通过数据挖掘来发现其中的规律 和模式。数字图书馆的用户行为也具有一般的网络的用户行为的特征，也遵循 一般的网络用户行为分析的手段和工具。 4 1 网络数据挖掘 利用数据挖掘方法发现包括网页内容、页面之间的结构、用户访问信息、 电子商务信息在内的各种网络资源中的有用知识，帮助人们认识网络、改进网 络设计，。更好地为用户服务。w e b 挖掘是网络数据挖掘的一个重要组成部分。 4 1 1 w e b 数据挖掘 将传统的数据挖掘技术和w e b 结合起来进行w e b 挖掘。w e b 挖掘就是从w e b 文档和w e b 活动中抽取感兴趣的、潜在的有用模式和隐藏的信息。w e b 挖掘可以 在很多方面发挥作用，如对搜索引擎的结构进行挖掘，确定权威页面，w e b 文档 分类，w e bl o g 挖掘，智能查询，建立m e t a - w e b 数据仓库等。 w e b 数据挖掘 w e b 数据挖掘就是利用数据挖掘技术，自动从网络文档以及服务中发现和抽 取信息的过程，它主要实现对w e b 存取模式、w e b 结构和规则以及w e b 内容的查 找。一般地，根据网络数据挖掘对象的不同，人们将w e b 数据挖掘分为三种： ( 1 ) w e b 内容挖掘 w e b 内容挖掘是从文档内容或其描述中抽取知识的过程。网络信息内容是由 文本、图像、音频、视频、元数据等形式的数据组成，网络内容挖掘就是从网 络信息内容中发现有用信息的过程。 ( 2 ) w e b 结构挖掘 w e b 结构挖掘就是推出网络的拓扑信息一网页之间的链接信息。利用这些信 息，可以对页面进行排序，发现重要页面，通过分析一个网页连接和被连接数 量以及对象，来建立w e b 自身的连接结构模式。 1 6 武汉理工大学硕士学位论文 ( 3 ) w e b 使用记录挖掘 它的主要目标是从用户和网络交互的过程产生的访问一记录中抽取出来的 第二手数据( 包括网络服务器访问记录、代理服务器日志记录、浏览器日志记录、 用户简介注册信息、用户对话或交易信息、用户提问方式等) 。通过网络使用记 录挖掘，可以了解用户的网络行为，改进站点结构，或为用户提供个性化的服 务。其主要包括一般的访问模式发现和个性化的使用记录发现两个方面。前者 是通过分析使用记录来了解用户的访问模式和倾向，以改进站点的组织结构。 而后者则倾向于分析单个用户的偏好，其目的是根据不同用户的访问模式，为 每个用户提供定制的站点“”。 4 2 用户行为分析 用户行为分析过程主要包括三个阶段【，见图4 1 。 图4 1 _ 户行为分析的二个阶段 武汉理工大学硕+ 学位论文 4 2 1 用户行为的预处理阶段 预处理过程定义为转换包括各种可利用数据源的使用记录、网络内容和结 构信息为行为模式的数据在内的提取过程。预处理过程是整个行为分析过程的 基础，主要包括使用记录预处理、内容信息预处理和结构信息预处理。这个阶 段面临很多难以解决的问题。例如获取完整的用户行为轨迹数据；分会话和事 务等。 表4 1 预处理阶段所要处理的事务 预处理的事项简要描述 使用记录预处理识别用户、用户会话、用户事务等相关的数据 内容信息预处理转换文本、图像、脚本、多媒体文件成为所需要的形式 结构信息预处理结构信息预处理被页面之问的超链接所创建 4 2 2 用户行为的模式发现阶段 用户行为分析所发现的常见模式如下： ( 1 ) 统计分析 统计分析是抽取用户访问网站知识的最常用方法。通过分析会话文件，依 据浏览过的页面、浏览时间、导航路径的长度，我们能获取不同种类的描述统 计信息( 频度、均值、中值等) 。有一些访问工具能获取一个周期性的统计报表， 包括站点的最频繁的访问页面、平均浏览时间、平均浏览路径长度。 ( 2 ) 关联规则 程序执行和用户活动在系统特征之间表现出常见的相互关联。使用关联规 则可发现一个服务会话中页面之间的关系，这些关系是指超过某个给定阀值的 访问页面集合。在用户访问数字图书馆时，能帮助用户加快文档的提取速度， 减少从远程代理下载页面的时间。 ( 3 ) 分类 分类是将一个数据项映射到几个预先给定类别中的某一个的方法。我们感 兴趣在描述属于某个特定类的用户轮廓。例如分类能发现：3 0 的1 8 岁一2 5 岁的 用户对音乐感兴趣，居住在沿海。分类可以通过有监督的感应算法来进行，该 类算法主要包括：决策树分类、贝叶