（计算机应用技术专业论文）基于web的个性化学习系统的研究.pdf

基于w e b 的个性化学习系统的研究 杨涛( 计算机应用技术) 指导教师：索红光( 副教授) 摘要 互联网的飞速发展改变着传统教育，同时也加快和推动了新型教育模 式的出现。基于w c b 的个性化学习是在远程学习和个性化服务相结合的基 础之上发展起来的。由于用户兴趣建模是个性化学习的基础和核心，所以 本文围绕如何创建用户模型以及准确表示用户模型进行了详细研究，同时 对用户兴趣模型如何在个性化学习系统中的应用也作出了相关研究。首先， 分析了用户兴趣模型常用表示方法和兴趣建模的基本技术，并研究了用户 长期兴趣和短期兴趣的变化和迁移，利用w e b 数据挖掘技术，针对用户的 浏览内容和访问行为进行挖掘，自动地创建用户长期兴趣模型；另一方面， 为了提高用户模型表示的精度，改进了基于关键词表示用户模型的常用方 式，提出了一种基于概念表示用户特征项的方法，一定程度上消除了语义 的多义性和歧义性。其次，利用已经建立的用户兴趣模型，调度适合用户 个性的学习资源时，通过分析常用文档聚类方法以及研究互信息相关理论 的基础之上，提出了一种基于互信息的w e b 文档聚类方法，对相关信息进 行聚类，以达到更好地向用户推荐学习内容的目的。最后，对个性化学习 系统中的主要功能模块进行设计和实现，并且通过实验验证了论文提出方 法的可行性和有效性。 关键词：个性化学习，用户兴趣模型，w e b 挖掘，互信息 r e s e a r c ho fp e r s o n a l i z e dl e a r n i n gs y s t e mb a s e do nw e b y a n g t a o ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db y a s s o d a t ep r o f e s s o rs u o h o n g - g u a n g a b s t r a c t t h ed e v e l o p m e n to fi n t e r a c tc h a n g e dt r a d i t i o n a le d u c a t i o n , a n da c c e l e r a t e d t h ea p p e a r a n c eo ft h en e we d u c a t i o n a lp a u e ma tt h es a m et i m e p e r s o n a l i z e d l e a r n i n gi s b a s e do nt h ec o m b i n a t i o no fd i s t a n c e l e a r n i n ga n dp e r s o n a l i z e d s e r v i c e b e c a u s et h eu 嘶i n t e r e s tm o d e li st h ef o u n d a t i o na n dt h ec o r eo ft h e p e r s o n a l i z e dl e a r n i n g ，t h i st h e s i sm a i n l yd i s c u s s e dh o w t oc o n s t r u c ta n de x p r e s s u s e r si n t e r e s tm o d e l ，m e a n w h i l ed i s c u s s e dt h ea p p l i c a t i o nh o wb s e r t si n t e r e s t m o d e l sp e r f o r mi nt h ep e r s o n a l i z e dl e a r n i n gs y s t e m f i r s t l y , t h i st h e s i sa n a l y z e d t h ec o n n n o nm e t h o d sa n dt h eb a s i ct e c h n o l o g yo fu s e ri n t e r e s te x p r e s s i n g a n d d i s c u s s e dt h ec h a n g eo fu s e fl o n g - t e r mi n t e r e s ta n ds h o r t - t e r mi n t e r e s t t h e n e s t a b l i s h e du s e r sl o n g - t e r mi n t e r e s tm o d e la u t o m a t i c a l l yt h r o u g hm i n i n gt h e p a g e sa n dt h eb e h a v i o ro fu s e rb r o w s e db a s e do nw e bm i n i n g i no r d e rt o e n h a n c et h ep r e c i s i o no ft h eu s e rm o d e le x p r e s s i o n , t h i st h e s i si m p r o v e d c o m m o nm o d eb a s e do nt h ek e yw o r de x p r e s s i o n , a n dp r o p o s e dam e t h o db a s e d o nt h ec o n c e p te x p r e s s i o n , w h i c he l i m i n a t e dt h es e m a n t i cp o l y s e m ya n dt h e d i f f e r e n tm e a n i n g si nt h ec e r t a i nd e g r e e s e c o n d l y , w h e nd i s p a t c h i n gt h e e d u c a t i o nr e s o u r c eb a s e do ne s t a b l i s h e du s e ri n t e r e s tm o d e l ，p r o p o s e dam e t h o d o fw e bd o c u m e n t sc l u s t e r i n gb a s e do nm u t u a li n f o r m a t i o nt h r o u g ha n a l y z i n g c o m m o nm e t h o d so fd o c u m e n tc l u s t e r i n ga n dr e s e a r c h i n gm n t a l a li n f o r m a t i o n t h e o r y f i n a l l y , d e s i g n e da n de x p l o r e dt h em a i nf u n c t i o nm o d u l eo f p e r s o n a l i z e d l e a m i n gs y s t c m a n dt h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h i sa p p r o a c hh a s b e t t e rp e r f o r m a n c ea n dv a l i d i t y k e yw o r d s ：p e r s o n a l i z e dl e a r n i n g , u s e rm o d e l ，w e bm i n i n g ，m u t u a li n f o r m a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得中国石油大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 2 。矗年_ 其1 日 关于论文使用授权的说明 本人完全了解中国石油大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件及电子版，允许论文被查阅和借阅；学校可以 公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 ( 保密论文在解密后应遵守此规定) 学生签名： 导师签名： 7 口，7 年誓其i b y 唧年, - f 月 日 中国石油大学( 华东) 硕士论文第1 章前言 第1 章前言 1 1 课题背景与意义 互联网的飞速发展改变着传统教育，同时也加快和推动了新型教育模式 的出现。随着人们越来越多地把学习过程放到网络上来，而不再局限于传统 的教室学习，基于w e b 的远程学习也得到了迅速推广。然而目前的远程教 割l j 系统未能考虑到受教育对象之间存在着鲜明的个性差异的事实，所以学 习者只能被动地接受完全相同的学习内容，而不能主动地根据自己的需要， 选择和调度自己的学习过程。为了从根本上解决这一矛盾，提高教育信息资 源的利用率，使学习者在学习过程中变被动为主动，本文结合个性化服务的 思想，对传统的远程教学系统进行改进，建立了基于w e b 的个性化学习系 统。 要想真正实现个性化学习，就需要准确地描述每个受教育者的兴趣、爱 好和需求。因此为了能够实现这个目标，需要给每个用户建立一个兴趣模型。 用户兴趣建模作为个性化服务的基础和核心，其质量直接关系到个性化服务 的效果。只有当用户的兴趣、偏好和访问模式等用户信息可以很好地被系统 “理解”的时候，才能提供实现理想的服务。 由于目前存在的用户兴趣建模技术多采用手工定制建模，这种建模方法 无法及时地适应用户兴趣的变化。而利用w e b 挖掘技术却可以克服不能自动 修改和更新用户模型的缺点。所以，可以根据用户的浏览内容和浏览行为， 利用w e b 挖掘技术自动地为用户构建兴趣模型。 当前，用户兴趣模型的表示方法有很多种如关键词向量模型、加权关键 词向量模型1 2 1 、语义网模型等等。其中多数方法是通过抽取访问文档中的特 征词作为兴趣的特征表示项。由于特征词在语义上存在多义性和歧义性，所 以一定程度上影响了学生兴趣表示的准确度。那么通过概念映射，把关键词 中国石油大学( 华东) 硕士论文第1 章前言 映射成相应的概念特征，并且利用动态学习的方法，挖掘蕴含在学生浏览页 面集中的内容信息，以更好的表示学生的兴趣和爱好。 最后，通过对目前存在的网上学习系统的研究，发现很多都是不加区分 地把学习内容或者考试内容呈现给学员，没有考虑到学生的真正需要。所以 利用个性化推荐的技术，针对每个学生的不同个性，有选择地推荐不同的学 习资源给不同的受教育者。 1 2 国内外研究现状 随着i n t e m e t 应用的发展，人们越来越多地把学习过程放到网络上来， 因此就出现了远程教育系统。 远程教育系统的发展大致经历了三个阶段【3 】： 第一阶段始于八十年代，主要体现为陈列编辑的多媒体课件为主的网 站。远程教育实施方将课件发布到网站上，每位学生在独立的计算机上到该 网站上直接学习。这个以多媒体课件为主的网站就是早期的远程教育系统。 该阶段的远程教育系统是课本的多媒体再现，以更直接的方式表达深刻的道 理，正是由于这种优势将更多的用户吸引到计算机前接受远程教育。但是单 一的课件并不能满足用户的不同需求，同时随着网络应用的普及，更多的用 户要求能够相互交流，这样基于多子功能的远程教育系统便应运而生。 第二阶段是始于九十年代，在第一代远程教育系统的基础上添加了一些 子功能系统，例如学习系统、作业系统、答疑系统、考试系统等，多媒体课 件资源则组成了课件中心丰富的子系统，充实了远程教育系统，但是所有学 生在该系统中看到的学习内容还是完全相同的。 第三阶段强调个性化的远程教育系统。在该系统中不同用户具有不同的 系统内容。由于要针对不同的学生用户，所以就要建立每个学生的兴趣模型， 以表示不同学生的需求和爱好。 2 中国石油大学( 华东) 硕士论文第1 章前言 图1 - 1 远程教育系统的主要发展阶段 目前，在我国现代远程教学主要有两种方式，一种是通过专线传输的多 媒体演播室同步教学；另外一种是通过w e b 浏览器进行的学生自主控制的 异步网上学习模式。网络同步教学方式基本上是沿袭传统的教师为主体教学 模式，只是增加了支持学生与教师通过电子邮件质疑、答疑、交作业等功能； 网络异步教学模式则没有任何教学控制，除了注册用户可以下载一些学习辅 导材料外，学生学习无异于自由浏览，是一种松散耦合的网络教学系统。 1 3 主要研究内容 根据课题的研究目标，论文主要展开了以下几个方面的研究工作： ( 1 ) 为了解决远程教学系统存在的模式单一化问题，提高教学信息资源 的利用度，引入个性化服务思想到学习系统中。通过分析学生的个性化信息， 可以更多地了解到学生的状况、需求、能力差异、学习进度、兴趣爱好，并 且能够根据这些因素调整学习计划及进度。 ( 2 ) 在总结目前存在的兴趣建模方法的基础上，利用w e b 挖掘的方法自 动建立基于概念的学生兴趣模型。同时，为了区分用户兴趣的变化，利用学 生浏览w e b 页面的时间段，发现用户的长期兴趣和短期兴趣，并且建立了相 应的兴趣模型，以及针对不同模型进行更新与优化。 3 中国石油大学( 华东) 硕士论文第1 章前言 ( 3 ) 由于个性化学习系统中的用户，面对是海量学习资源，如何合理而 且有效地选择相关学习内容是另一个研究的重点内容。本文根据互信息的相 关理论，结合w 曲文档聚类方法，对相关学习内容进行聚类，并且利用已经 建立的用户兴趣模型，向用户推荐适合其兴趣的学习资源，提供体现用户需 求的信息服务。 ( 4 ) 对目前存在的远程教育系统进行改进，设计和开发了系统的主要功 能模块，搭建了个性化学习的原型系统，并且通过相关实验验证了所设计的 模块的实用性和有效性。 1 4 论文的组织结构 本文分为六章，各章的内容如下： 第一章前言，阐述了本课题的研究背景，简要分析了其研究意义，概 括了主要研究内容。 第二章个性化学习及相关技术介绍，首先介绍个性化服务的概念、模 型架构等内容；其次将个性化服务引入到个性化学习中，介绍了个性化学习 的涵义、特点和核心技术；再次分析了用户兴趣建模的技术和方法；最后介 绍了个性化推荐技术的概念和分类。 第三章基于w e b 数据挖掘的用户兴趣建模，首先介绍了w e b 数据挖掘 的相关理论；其次利用w e b 挖掘技术自动建立用户长期兴趣模型，同时，改 进了关键词表示兴趣模型的方式，提出基于概念表示用户模型的方法；再次， 分析了用户兴趣模型更新的方法，利用用户浏览行为对用户兴趣模型进行更 新。 第四章基于w e b 文档聚类的个性化推荐，通过对常用w e b 文档聚类方 法的分析，提出一种基于互信息理论的w e b 文档聚类方法。并且在个性化学 习系统中，利用这种方法对学习的内容进行聚类，结合已构建的用户兴趣模 型，向学生推荐适合其兴趣的学习资源。 4 中国石油大学( 华东) 硕士论文第1 章前言 第五章基于w e b 的个性化学习的原型系统，设计和开发了系统的主要 功能模块，搭建了个性化学习的原型系统。 第六章结束语，对论文工作进行概括性总结，并进行展望。 最后，列出了相关的参考文献。 5 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 第2 章个性化学习及相关技术介绍 2 1 个性化服务 2 1 1 什么是个性化服务 目前，国内外学者对个性化有多种不同的说法。 国外学者有的认为个性化是通过建立与用户一对一的关系提高用户的 信誉度，并且在给定领域通过理解个体的需要以帮助用户高效且全面的实现 其目标的一种能力 4 1 。有的则认为：个性化是基于知识和行为定制信息的一 种能力【5 1 。 国内学者认为，个性化的含义是使事物具有个性，或使其个性凸现，它 包含两层含义，其一，个性是需要经过培养而逐步形成，其二，个体总是具 有一定个性的，让这种个性得到认可、了解，并在一定空间中得以体现、展 示嘲。 个性化服务【7 j 就是为不同用户提供不同的服务，根据其固有的特征信息 提供不同的服务策略和服务内容的服务模式。个性化服务通过收集和分析用 户信息来学习用户的兴趣和行为，从而实现主动推荐的目的。个性化服务的 根本就是尊重用户，研究用户的行为习惯与兴趣，与不区分用户的普通服务 模式相比，个性化服务显然可以提供更高质量的服务。 w e b 个性化服务【8 1 是指服务提供商根据以往用户在访问网站过程中的行 为和兴趣，为相似行为用户提供相应的w e b 对象( 如网页、文本、图像、声 音、视频等) 服务，从而简化用户查询过程，使得用户得到快速、准确的信 息结果。这种个性化服务应尽可能使得每个用户在浏览该商业网站时都能产 生这样的感觉自己是该网站唯一的用户，尽可能地迎合每个用户的浏览兴趣 并通过动态快速调整页面内容来适应用户浏览兴趣的变化。这样，w e b 数据 挖掘技术成为了w 曲个性化服务的主要实现方式。 6 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 个性化服务主要包括三个方面的内容：服务时空的个性化，在用户希望 的时间和希望的地点得到服务；服务方式的个性化，能根据用户个人爱好或 特点来开展服务；服务内容的个性化，所提供的服务不再是千篇一律，而是 各取所需，各得其所。 2 1 2 个性化服务的模型架构 个性化服务系统种类繁多，服务形式也不尽相同，通过对各种各样的个 性化服务系统进行分析，可以抽象出共同特征的体系结构。即首先进行用户 信息收集，再根据用户信息对用户进行建模，然后用户模型基础上提供个性 化的服务策略和服务内容。 个性化服务系统的结构通常包括三个主要模块，如图所示： 用 户 信 息 反 馈 图2 - 1 个性化服务的体系结构 ( 1 ) 用户信息收集模块 该模块是个性化服务的基础，其采集数据的类型由个性系统的分析模型 所确立，是个性分析引擎的数据来源，其收集信息的质量与数量将直接影响 个性化分析的质量。 ( 2 ) 用户建模模块 该模块是个性化服务的关键。个性化服务系统收集到的用户信息，由用 户建模模块进行处理并且构建用户模型。 7 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 ( 3 ) 个性化服务模块 个性化服务模块根据用户模型向用户提供相应的服务策略和服务内容， 负责执行具体的个性化服务功能( t t 如提供个性化推荐或个性化信息检索 服务) 。由于个性化服务的内容不同，该模块执行的功能也不相同。例如基 于内容的个性化推荐系统将所有内容与用户模型进行匹配，再将匹配的内容 推荐给用户。 2 2 基于w e b 的个性化学习 2 2 1 个性化学习的涵义 个性化学习吲的英文含义是“p e r s o n a l i z e dl e a r n i n g ”。是以学习者原有 的知识经验和个性特征为基础，以学习者内在需求为核心，以每个学生能力 与个性的自由、充分、和谐发展为目标而实旌的学习活动。 基于w e b 的个性化学习是在以个性化支持技术和w e b 技术、数据库技术 为依托所建立起的个性化网络学习环境中展开的。在个性化学习过程中，系 统根据用户与人机界面交互信息的挖掘，从而提供个性化的学习资源，并进 行实时的跟踪服务，从而提供个性化的学习指导，整个学习过程中，学习者 是真正的意义主体。 个性化学习是指试图打破僵化的传统班级学习模式，采用较为灵活的方 式，使学习过程适应学生学习的个别差异和注意个性发展。从内容上看，个 性化学习首先是一种适应学生个别差异的学习过程，这种差异表现在学习者 时间、空间、接受能力、知识水平和知识结构等方面的差异，在传统教育模 式中，学生间的个别差异会在一系列的连续学习中逐渐拉大，而个性化学习 针对学生的个别差异，力图为一些特殊学生或每个学生制定适合自己的教育 方案。其次，个性化学习注重发展学生的个性，培养学生按照自己的实际情 况主动积极参与学习活动，自我学习、自我决定、自我选择，使他们具有某 种程度上的自主成就感，从而可以发现自我、创造自我。最后，个性化学习 8 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 不能简单等同于个别教学，即一个教师在同一时间只教一个学生，它可以是 一个教师针对多个学生的不同能力、习惯、兴趣等情况而采取不同的教学进 度或方法。个性化学习是指学生本人可以根据自身特点，自己安排学习进度 和学习内容，在大众教育中充分体现自主与个性发展。 2 2 2 基于w e b 的个性化学习的特点 ( 1 ) 自主性 基于w e b 的个性化学习是一种自主的学习，学习者自主选择学习内容、 学习时间、学习方式，通过网络自主探索或与其他同学交流协作，建构对知 识的意义，充分体现了学习者的主体参与性，有利于培养学习者的高级思维 能力和探索创新精神。所以在设计个性化学习系统时，要注意培养学习者的 自主能力，才能使他们在整个学习过程中真正成为认知的主体，实现他们的 社会化和个性化，达到个性化教育的目标。 ( 2 ) 分布式 基于w c b 的学习可以是同步的，也可以是异步的，可以是实时的，也可 以是非实时的，这就决定了基于网络的个性化学习具有分布式的特点，它所 提供的是一个分布式的学习环境。学习者在地理位置上、学习时间上、学习 过程的选择上是分布的，学习资源在地理位置上、内容组织上、管理上是分 布的，个性化服务的时间、服务的方式、服务的内容也是分布的。 ( 3 ) 个性化 个性化是基于网络的个性化学习最根本的特色。w e b 上学习资源、内容 组织、学习模式的多样性使得自古以来个性化学习的梦想成为现实。学习者 可以自定义学习环境的设置，可以根据自己的学习需要对学习内容和学习方 式做出个性化的选择。系统本身也能够自动分析不同学习者的知识水平、经 验基础和学习风格，提出相应的建议和学习决策支持，进行个性化的服务。 ( 4 ) 智能化 9 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 智能化是基于网络的个性化学习的另一重要特色，也是使其成为可能的 一个技术支持。传统学习环境中，若要进行个性化学习，不要说让老师为每 个学生提供一套个性化的学习方案，即使是提供个别指导也需要耗费大量的 时间、人力、物力、财力，实际中似乎是不现实的。但在网络环境下，将智 能和模糊控制技术引入到教育中来，系统就会自动搜集每个学习者的个人信 息，根据不同学习者的个性特征、知识基础、学习准备、和学习内容的交互 状况等，自动进行跟踪服务，提供智能化的指导。 2 2 3 个性化学习与个性化服务 随着信息技术不断的发展，研究人员一直在探索个性化服务在教学中的 应用，从早期的只能机械地按照教学设计者事先设计好的教学模式和内容向 学生传授知识的计算机辅助教学，到结合了人工智能技术能因人而异地提供 教学策略的智能计算机辅助教学。 但是，有关远程教育中的个性化服务研究在当前还存在以下不足： 第一，大多数研究仍然停留在教学理论研究上。从传统教学模式的行为 主义学习理论到认知主义学习理论再到建构主义学习理论的转变，为基于网 络的教学提供了理论基础，但是由于个性化服务的复杂性，在实际应用中有 待实现。 第二，常局限于对个别学科的个别化教学，但是这些还远远不能满足一 些专业教育机构的要求，例如随着我国对教育投资的加大，出现了许多网络 教育学院等专业网络教育机构，这些专业教育机构开设的课程往往多达几十 门，甚至上百门。这些机构课程的网络化使网上的学习资源日益丰富。如果 不经过整理就把这些资源呈现给学习者，常常使他们迷失在学习资源的海洋 中。 远程教学中的个性化服务还处于发展阶段，如何充分利用w e b 技术、 现代人工智能技术在现代教学理论的指导下建立一个实用的个性化网络学 1 0 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 习平台还需要做更多的研究工作。 2 3 面向个性化学习的用户兴趣建模 用户兴趣建模是个性化学习的基础和核心，用户兴趣建模就是从用户信 息中构建用户模型。 2 3 1 用户兴趣建模的涵义和标准 从有关用户兴趣和行为的信息( 如浏览内容、浏览行为等) 中归纳出可 计算的用户模型的过程，即用户兴趣建模【l o 】，是个性化服务的核心和关键技 术，也是个性化服务中最重要的一环。作为个性化服务的基础和核心，用户 模型的质量直接关系到个性化服务的质量，只有当用户的兴趣、偏好和访问 模式等用户信息可以很好地被系统“理解”的时候，才可能实现理想的服务， 才能实现个性化服务系统所追求的各种目标。 图2 - 2 用户兴趣模型与个性化服务关系图 2 3 2 用户兴趣模型的形式化描述 用户兴趣模型用来表示用户对特定主题信息相对稳定的兴趣需求，它应 该能够反映出某用户在相当长的一段时期内对信息需求的主要倾向，随着对 用户反馈信息的收集和对用户行为的跟踪，信息过滤系统将利用机器学习方 法对当前的用户需求模型进行及时调整，以使其更好地反映用户兴趣，符合 用户的真正需求【“】。信息过滤系统中的用户需求模型刻画的是：用户的信息 中国石油大学( 华东) 硕士论文第2 章个性化学习及相关技术介绍 需求自提交到注销这段时间内，对其某一兴趣需求的一体化描述，其中包括 用户需求模型随着需求调整进行动态更新的过程，以达到及时、准确地反映 用户的兴趣信息需求的目的【1 2 】。 用户兴趣模型可形式化描述为一个三元组p ：p = ( i ，f ，、i ，) ： i = ( i ，i ，i i ) ，i “) f - - - - ，层次聚类的具体过程如下： ( 1 ) 将d 中的每个文档d i 看作一个具有单个成员的类c i = ( d i ) ，这些类构 成了d 的一个聚类c = c l ，c i 岛 ； ( 2 ) 计算c 中每对类( c i ，c j ) 之间的相似度s i m ( c i ，c j ) ； ( 3 ) 选取具有最大相似度的类对a r g m a x s i m ( c i ，c j ) ，并将c i 和c j 合并为一个 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 新的类c k = c i u c ) ，从而构成d 的一个新的聚类c = c l ，c n - 1 ) ； ( 4 ) 重复上述步骤，直至c 中剩下一个类为止。 该过程构造出一颗生成树，其中包含了类的层次信息以及所有类内和类 间的相似度。 层次聚类方法是最常用的聚类方法，它能够生成层次化的嵌套类，而且 准确度高。但是，在每次合并时，需要全局地比较所有类之间的相似度，并 选择出最佳的两个类，因此运算速度比较慢，不适合大量文档的集合。 4 i 2 平面划分法 平面划分法与层次聚类法的区别在于，它将文档集合水平地分割为若干 类，而不是生成层次化的嵌套类。它首先得到初始k 个划分的集合，参数k 是要构建划分的数目，然后它采用迭代重定位技术，试图通过将对象从一个 簇移到另一个簇来改进划分的质量。 对于给定的文档集合 d f ，d i d i ，) ，平面划分法的具体过程如下： ( 1 ) 确定要生成的类的数目k ； ( 2 ) 按照某种原则生成k 个聚类中心作为聚类的种子s = s l s i s i i ； ( 3 ) 对d 中的每个文档d i ，依次计算它与所有各个种子s j 的之间相似度 s i r e ( d l ，s j ) ； ( 4 ) 选取具有最大相似度的种子a r g n a x s i m ( q ，s i ) ，将d i 归入以s j 为聚类 中心的类c i ，从而得到d 的一个聚类c = - c j ，c a - l ； ( 5 ) 重复以上( 1 ) 至( 4 ) 步骤若干次，直到得到比较稳定的聚类结果。 平面划分法的运行速度快，但是必须事先确定k 的取值，且种子选取的 好坏对聚类结果有一定的影响。 4 2 基于互信息的w e b 文档聚类 由于层次凝聚法运行速度较慢，不适合大量文档集的聚类；平面划分法 需要事先确定簇的数目，而且聚类过程的结果容易陷入局部最优解，所有效 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 率也不是很高。针对上述问题，本文提出了一种基于互信息理论的w e b 文档 聚类的方法。在聚类的过程中，计算特征词之间的互信息值，根据阈值判断 特征词是否属于同一类别。实验结果表明，该方法与k m e a n s 聚类算法相比 较，在准确率和召回率方面均有提高。 4 2 1 互信息相关理论基础 互信息( m u t u a li n f o r m a t i o n ) 是s h a n n o n 信息论中的一个重要概念，它是一 种检测事件集之间相关程度的方法。与常用的相关分析不同的是，相关分析 只能检测出事件集之间的线性关联程度大小，而交互信息却包含了线性和非 线性特性，是相关性分析比较全面的一个参数。 定义4 一l 信息量 消息的集合 a l ，n 2 ，a i i ) 及出现的概率p i ，= p ( a i ，) ( i = l ，2 。n ) 所给定的 信源，可作为有限事件集表示为： z = 按一a 。n ) 【p t ，p 2 , ，p | l j 、 对此x 所确定的量 h ( 石) = 一p 1 0 9 ( p ) ( 4 2 ) 称为关于信源x 的信息量 因前面己冠以最先对信源引入该量的仙农( c e s h a n n o n ) 的名字，故h ( x ) 亦称仙农熵。 在式( 4 2 ) 中当某个p 。为零时，则解释为： o + l 0 9 0 = 0 ( 4 3 ) 定义4 2 条件熵 如果信源x 与随机变量y 不是互相独立的，收信者收到事件集y 。那 么，用条件熵h ( x v ) 来度量收信者在收到随机变量y 之后，对随机变量x 仍然存在的不确定性。设x 对应的信源符号a i ，y 对应信源符号b ，如，b ，) 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 为当y 为b j 时，x 为a i 的概率，则有 h ( x b j ) = 似尸( 伪，岛) p ( m ，匀) ，“段踟，坳 2 p ( 椭) l o g 肋幼 ( 4 4 ) = 毒酬嵫酬 称为事件集y 中事件b 。发生时x 的条件熵。而 h ( x y ) = p ( b j ) h ( x b j ) = 一杰以矾b j ) l o g p ( a ￥b j ) ( 4 5 ) 一鹾i ；l1 - i 讹圳o g 号等 称为事件集y 发生时x 的条件熵，或者叫作y 发生时x 的条件熵。 定义4 - 3 互信息 由式( 4 5 ) 有 亡亡n ，ip ( m ，胁) l 以刖即一善荟脚蝴b 引l 百皆j，= lj = i1 、叫，j = 一i = l j = l 尸( 口。幻) 【1 。gp ( 口，功) 一1 。g ( 西) 】( 4 6 ) 、t u ， ：一 杰窆p ( 胁) l o g p ( 以幻) 一窆杰p ( 舢幻) l 。g ( 幻) 】 = h ( x ，) 一日( y ) 这里。h ( x ，r ) = 一芝杰尸( 口，b j ) l 。g p ( a , i b j ) ( 4 7 ) h ( ) ( ) 是独立事件集x 的信息量，h 邮是给定y 的条件下x 的信息 量所以先期得到y 的观测值可以减少x 的不肯定性的量( 信息量) 为； ，( x ，y ) = h ( z ) 一h ( y ) = ( x ) + h ( 1 ，) 一日( x ，1 1 ) ( 4 8 ) = i ( y ，x ) i ( x ，y ) 就是互信息，i ( x ，y ) 对x 和y 是对称的，而且数值是都大于0 中国石油大学( 华东) 硕士论文 第4 章面向个性化学习的信息检索 互信息机4 ”是信息论中作为衡量两个信号关联程度的一种尺度，后来引 申为描述两个随机变量间的关联程度的度量，可表示成这两个随机变量的概 率的函数。设i 力为随机变量x 和y 的互信息，则 i ( ) - l 。g 揣 ( 4 9 ) 式中：p 和p 分别表示x 矛吵独立出现的概率，p ( 蕾_ y ) 表示x 和y 同现 的概率。当l 伉) ，) 加，表明茗和y 的关联程度强；当i ( 薯力m o ，表明x 和y 的关联 程度弱，它们的同现仅属偶然；当i ， o ，表明工和y 互补分布，不存在关 联关系【4 2 】。 本文把关键词作为随机变量，即p ( x ) 、p ( j ，) 分别表示关键词x 、y 在不同文档中出现的频率，p ( 五y ) 表示关键词x 、y 在同一篇文档中出现的 频率。由于两个关键词同时出现的频率和关键词出现的顺序没有关系，所以 可以定义p ( 葺y ) = p ( x ) 。 4 2 2 基于互信息的文档聚类方法 基于互信息的聚类方法主要是利用t f i d f 选取文档特征，并采用向量 空间模型表示文档，然后通过计算特征词之间的互信息值对文档进行聚类， 得到不同的类别，并选取该类别中的词频较高的特征词来描述此类别的特征 信息。 该聚类方法的主要思想是：把经过w e b 预处理得到的表示文本特征的关 键词定义为随机变量，根据已经计算出来的关键词在文档中出现的频率，利 用公式计算出任意两个关键词之间的互信息数值。每个关键词初始归为一 类，如果两个类别中的某两个关键词之间的互信息数值大于事先设定好的互 信息阈值，那么将这两个关键词所属两个类别归为一个类，这样直到最后一 个关键词归入一个类别。并且确定经过聚类后属于两个不同类别中的关键词 之间的互信息值均小于设定的互信息阈值，而同一个类别中的关键词之间互 信息值肯定大于设定的互信息阈值。最后，把聚类后得到的类别用该类别中 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 一个概括性较强的概念来代表此类别信息。 4 2 3 基于互信息的文档聚类实现 对w e b 预处理得到的文本进行分词处理f 4 3 1 ，并且根据停用词表去除停 用词，合并数字和人名等无用词条，得到反映文本内容的一系列特征词。 文本集合五的词空间就是所有在该集合文本中出现过的词的集合，表示 为t d = ( ，i 任意f 孑，任意孑面) ，当文本数目较多时，t d 是非常庞大的， 其中会包括一些只在极少量的文本中出现，或者是在绝大多数的文本中出现 的词，这些词对文本的区分不会产生太大的作用，反而会影响聚类的效果， 所以进行文本的特征选取对，使用t f - i d f 作为特征选取的度量。利用t f 4 d f 公式4 4 ，4 5 1 计算每个文本中的每个词一个权重。然后，对每个孑五的词计算 w ( 0 ，计算公式如下 w = 毳t f ( 孤h 。g 器 ( 4 1 0 ) 其中，t f ( d ，力是词t 在文本孑中的词频。d f ( t ) 是五中包含词t 的所有 文本的数目。 在此基础之上，选取1 1 个w ( ，) 最大的词生成一个1 1 维向量来表示文本j ， 即j = ( ( t i ，t f i d f ( 孑，t i ) ) i l i n ) 。 假设w i 、w i 表示两个不同的特征词；阈值 表示两个特征词的互信息 阈值，凡【o ，1 】；c i 表示含有特征词w i 的类别，c j 表示含有特征词w j 的类 别，c q 表示同时含有特征词w i ，w j 的新类别。 对w e b 文档进行聚类的算法如下； 输入：w e b 文档 输出：文档聚类后得到的类别 ( 1 ) 对输入文档进行分词，停用词过滤处理，将其余词加入特征集： 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 ( 2 ) 利用获得的特征集构造特征空间，将所有文档表示为特征空间下 的向量； ( 3 ) 计算每个特征词在文档中出现的频率； ( 4 ) 计算每两个特征词同时在一个文档中出现的频率； ( 5 ) 利用公式计算得到两个特征词之间的互信息值； ( 6 ) 令某个特征词w i e c i ，在所有特征词中查找与w i 互信息值大于 某个阈值 的所有特征词，并且把这些特征词也归入类别集合c i ； ( 7 ) 如果特征词w j 与已有类别c i 中的至少一个特征词有联系，即两 个特征词之间的互信息值不小于九，就将w j 所归属的类别c j 与 c i 合并作为一个大类c i ； ( 8 ) 重复上述过程( 6 ) ( 7 ) ，直到全部特征词归入到某一类别中； ( 9 ) 聚类后类别用该类别中一个概括性较强的概念来表示此类别信 息。 4 2 4 基于聚类的个性化推荐 通过聚类，把学生学习的相关内容文档分成了几个类别。这样，利用已 经构建的学生兴趣模型，与这些类别进行匹配，把与学生感兴趣相关的学习 内容推荐给用户，并据此可以为用户定制合适的推荐页面，或改进教育站点 结构，因而向学习者提供个性化服务才是可能的且是有效的【4 6 】。 为了方便比较文档和用户兴趣的相似性，文档和用户兴趣都采用向量空 间模型来表示。文档和用户兴趣之间的相似程度采用经典的余弦函数法来计 算。假设用户兴趣模型表示为u = ( w u l ，w u 2 ，w 曲，文档表示为d = ( w i l ，w i 2 ，w i n ) ， 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 s i m ( u ，孑) = c o s o = 一睹 k = l ( 4 1 1 ) 学生利用已经建立好的兴趣模型，进行筛选学习内容的过程是：首先， 输入要筛选关键词串；其次，形成关键词向量，利用该关键词向量和已经建 立的用户兴趣模型的信息计算与类别的相似程度，得到新的相似度s i m 。将 相似度数值靠前的一些类型返回给系统作为相关类别；最后，利用用户兴趣 模型过滤相关类别中的所有文档，将过滤结果按降序排列提供给用户。 个性化推荐算法如下： 输入：用户匹配串t = t l ，t 2 t n ) ，用户兴趣集u ( c ) 输出：推荐文档d ( 1 ) 根据类别词表，将t 中各个词h 映射到用户兴趣类，形成相关兴趣类 集合c ( c 0 = c l ，c 2 c i l i ) ，并根据用户对各类的兴趣度得出t 的加权向量 x ( 沪 x l ，x 2 ，x 。) 其中x i 为词t ix e j 应的兴趣类c j 的兴趣度值； ( 2 ) 依次计算c 中的各个类e i 的特征词向量t ( c ) = w i l ，w i 2 w 砸 ， 耻0 诊w 矧箬 ( 3 ) 利用余弦相似度比较函数，依次计算t 与各个类的相似度； ( 4 ) 取相似度值最大的两个兴趣类可作为与用户查询最相关的类，假设为 c x ，c y 5 ( 5 ) 从用户兴趣特征词集t ( c x ) g lt ( c y ) 中选出权值最大的k 个词对t 进行 扩展，生成匹配结果； ( 6 ) 将过滤的相关文档结果按降序排列。 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 4 3 实验结果分析 实验对比了互信息聚类方法和k - m e a n s 聚类算法的效率，并对互信息聚 类方法的效率及结果完备性进行了检验。 实验时选取5 类w e b 文档作为训练数据集，分别是文化、经济、体育、 法律、军事方面的网页。具体实验时选择了1 0 0 0 篇文档即每个类别选择了 2 0 0 篇进行验证。 对选取的w e b 文档对应的h t m l 文件进行数据预处理，去除f r a m e 、s c r i p t 、 图片等非文本内容，得到用户浏览的w e b 页面的文本内容。然后对w e b 预 处理得到的文本内容进行分词处理，并且根据停用词表去除停用词，合并数 字和人名等词条，得到能反映文本内容的特征词。 表4 - 1 互信息阈值和聚类后类别数的关系表 阈值类别数阈值x类别数 0 40 6 7 9 o 1 45o 7 7 1 0 o 2 66o 8 51 2 o 3 87o 9 31 3 0 4 97l1 3 o 5 88 利用基于互信息理论的聚类方法进行实验，得到聚类结果。从表1 中可 以看到，当两个特征词的互信息阈值比较大的时候，经过聚类的类别数目是 比较多的，也说明聚类的效果不是很理想。随着阈值的不断减小，类别数目 也在减少，特别当阈值 = o 1 4 的时候，是一个关键点，此时聚类后的类别 数目是5 ，也和开始实验时选取的文档的类别数目是一致的，说明采用这个阈 值是能够取得理想的聚类效果的。而且，当阈值 0 1 4 的时候，聚类得到 的类别数目在减少，并且数目小于5 ，说明此时已经有两个独立的不相关的 类别，被归为了一个类别，这样聚类得到的类别是毫无分类意义的。 中国石油大学( 华东) 硕士论文第4 章面向个性化学习的信息检索 然后，选取1 0 个不同类别的w e b 文档，每个类别包含2 0 0 篇文章。根 据文中提出的基于互信息的聚类方法，利用从测试集文档中得到的互信息阈 值九，再次进行实验，当阈值 = o 1 4 时，对2 0 0 0 篇文档进行聚类得到类别 数目是9 ，也验证了从测试集得到的阈值凡的具有一定的准确性。 下面利用2 0 0 0 篇文档对基于互信息的聚类方法与k m e a n s 聚类算法进 行对比测试。 评价采用b j o l l l e rl a r s e n 等提出的f _ m e a s u r e t 4 7 1 方法，具体公式为： f。2prmeasare ( 4 1 3 1r 肿 i 1 j l p + r 。 其中，p 为准确率，r 为召回率。 表4 2 两种聚类方法结果的对比 评价 聚类方法文化经济体育法律军事平均值 标准 k - m e a n s 聚类