（管理科学与工程专业论文）农业专业搜索引擎个性化服务研究与实现.pdf

摘要 本文的研究目的是在农业专业搜索引擎“农搜”( w w w s d d n e t e n ) 的基础上。构建一个提供 个性化信息推荐与个性化检索服务的个性化搜索引擎。本文以个性化服务理论为依据，按照“用 户数据搜集一用户建模提供服务”的三段式流程展开研究，综合应用新兴的a j a x 交互式网站 开发技术，个性化服务技术，搜索引擎与信息检索技术解决搜索引擎个性化应用的关键问题，取 得了如下成果： ( 1 ) 将a j a x 交互式网站开发技术应用到用户数据搜集上，设计了基于a j a x 用户行为 数据搜集方案，成功地解决了搜索引擎网站用户数据搜集的问题。 ( 2 )设计了基于用户行为构建用户兴趣文档的自动建模方法，解决了用户建模的问题。 ( 3 )在( 2 ) 用户模型的基础上，设计了基于向量空间检索模型的个性化推荐算法和基于 全文检索模型的推荐算法。 ( 4 )将协作推荐技术应用到信息检索中，在( 1 ) 用户行为信息和( 2 ) 用户模型的基础 上设计了一种基于协作推荐的个性化检索算法。 ( 5 )将技术研究成果与“农搜”的s d d 检索技术结合起来，设计实现了一个集隐式用户 行为数据搜集、个性化推荐与个性化检索等功能于一体的自动化个性化搜索引擎。 本文的创新主要在如下两方面： ( 1 )a j a x 隐式用户行为搜集技术避免了传统客户端数据搜集方式所存在的不足，完备而 准确的数据为之后的研究奠定了良好基础。 ( 2 ) 基于协作推荐的个性化检索技术克服了传统个性化检索在技术思路上的局限，通过 初步测试证明：个性化检索确实具有较好的效果和性能。 关键词：个性化，搜索引擎，协作推荐，信息检索 a b s t r a c t 1 1 血r e s e a r c ha i m st oc o n s t r u c tap c f s c 1 i z e ds e a r c he n g i n eb a s e do nt h ea 鲥砌t l l | f a ls e a r c h e n g i n e “n o n gs o u 如n _ 唧fs d 如就c n ) ，p r o v i d i n g 蹁r 啦c 鹤o fb o t hp e r s o n a l i z e di n f o r m a t i o n r e c o m m e n d a t i o na n dp e n m m l 切。di n f o r m a t i o nr e t r i e v a li nt h er e s e a r c hp r o c e s s ，t h ep o p u l a rw e b d e v e l o p i n gt e c h n o l o g yo fa j a x , t h ei n f o r m a t i o nr e t r i e v a lm o d e l sa n dt c c i m o l o g yo fp e r s o n a l i z e d 8 e r 、慨w e i m r o d u c c d 协s o l v et h et h r e ed i f f i c u l tp r o b l e m so f b u i l d i n ga p e t s o n a l i z e ds y s t e m , w h i c h a r cc o l l e c d n gu 8 e rd a t a , c r e a t i n gu s e fp r o f i l ea n dp m v i d m gs e r v i 嘲 t h er e s e a r c ha c h i e v e m e n t sa r ea sf o l l o w s ： ( 1 ) p r o p o s e das o l u t i o nt ot h ep r o b l e mo fc o l l e c t i n gu s e rd a t ab a s e do ni n t e r a c d v ew e b s i 忙 d e v e l o p i n gt l m o l o g yo fa j a x , s u c c 懋s f u l l y 臼a o e da n ds a v e du s 螂a c t i o n sp e r f o r m e d o nt h eh o m e p a g eo f s e a r c he n g i n e ( 2 ) p r o p o s e das o l u t i o nt ot h ep r o b l e mo fc r e a t i n gu s 盯p r o b e w h i c hi se x t r a c t i n g i n f o r m a t i o ns u c ha sk e y w o r d sf r o mu 8 日d a t ac o l l e c t e di ns t e p o ) ( 3 )f o u n dc o n n e c t i o n sb e t w c l li n f o r m a t i o nr e t r i e v a lm o d e la n di n f o r m a t i o nr e c o m m e n d a t i o n m o d e l ，d e s i g n e dr e c o m m e n d a t i o na l g o r i t h m so nc o m b i n a t i o no f u s e rp r o f i l ei ns t e p ( 2 ) a n d c l a s s i cr e h - i e v a la l g o r i t h m s ( 4 ) p r o p o s e dac o l h b o r a f i v es o l u t i o nt ot h ep r o b l e mo fp e r s o n a l i z e dg f t r i e v a l d e s i g n e d c o n c r e t ea l g o r i t h mb a s e do nu s c rd a t ac o l l e c t e di ns t e p ( 1 ) a n du s e rp r o f i l ep r o p o s e di n s t y 2 ) ( 5 )a tl a s t d e s i g n e da n di m p l e m e n t e dt h ew h o l ep e r s o n a l i z e ds e a r c he n g i n es y s t e mb a s e do n s d ds e a r c he n g i n eo f n o n gs o u ”a n da l lt e c h n i q u e sr e f e r r e da b o v e t h ei n n o v a t i o n sa r ea sf o l l o w s ： ( 1 ) t h em a xa s rt r a c i n gt e c h n i q u ea v o i d st h ew e a k n e s so ft r a d i t i o n a lm e t h o ds u c h 勰 d e v e l o p i n gs p e c i a lc l i e n tp r o g r a mf o rl l s c ：rt r a c i n g t h ep r e c i s ea n df u l ld a t ac o l l e c t e d 1 l a k c 8aw e l lp r e p a r a t i o nf o rl a t e rr e s e a r c h ( 2 ) t h ep e r s o n a l i z e di n f o r m a t i o nt e c h n i q u eb a s e do nc o l l a b o r a t i v er e c o m m e n d a t i o ni sa l s om i n n o v a t i o n , a ss e l d o mr e t r i e v a ls y s t e mu s e ds u c hm e t h o d i t se f f e c t i v e n e s sa n de f f i c i e n c y a r ep r o v e nb y 舡络l k e yw o r d s ：p e r s o n a l i z a f i 叩，s e a r c he n g i n e ，c o l l a b o r a t i v er e c o m 加a e n d a t i o n , i n f o r m a t i o nr e t r i e v a l 图l 论文技术路线图 图2 论文的逻辑结构图 图目录 图3 个性化服务三段式流程 图4g g l e 的个性化主页截图 图5 信息检索系统概念结构图 圈6 倒排索引检索流程图 图7 搜索引擎的三段式流程 图8 搜索引擎体系结构图。 4 5 图9 传统w e b 应用模型( 左) 与a j a x 模型的比较( 右) 图l o 传统w e b 应用的同步交互( 上) 7 l l 1 2 1 3 1 4 图1 1a j a x 用户行为搜集流程图 图1 2 实验弼站结构图 1 7 图1 3 实验网站界面截图 图 图 图 图 1 4 关键数据模型类图 1 5 用户行为信息库结构图 1 8 1 9 2 0 1 6 注册用户二次会话时页面截图 1 7e c l i p 开发环境控制台截图 图1 8 检索模型与推荐模型2 4 图1 9 一个协作推荐的例子 图2 0 搜索引擎个性化服务系统结构， 图2 1 个性化搜索引擎主页截图 图2 2 用户行为信息库( 左) ， 图2 3 c o m 组件、c o m 对象与c o m 接口关系图 图2 4a d o 操作m y s q l 数据库的间接连接方式 图2 5 “小刘”初次访问网站截图 图2 6 搜索“小麦”结果页面截图 图2 7 用户行为信息库新增记录截图 2 7 3 l 3 6 3 6 图2 8 用户兴趣文档库中新增记录截图 图2 9 用户相似度库中新增记录 图3 0 个性化推荐页面截图 固3 1 个性化检索结果页匿截圉。 3 7 3 7 图3 2 用户行为记录减半后搜索“甘薯”结果页面截图3 8 v 表目录 表1 常见信息检索模型对照表 表2 传统数据搜集类型、实现及问题对照表 表3 用户行为信息记录 1 5 2 9 表4 用户相似度记录 v 1 英文缩略表 英文缩写 英文全称 中文名称 a d oa c t i v e xd a t ao b j e c t s a c t i v e x 数据对象 a j a x a s y n c h r o n o u sj a v a s c r i p ta n dx m l 异步j a v a s c r i p t 与x m l a p i a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e应用程序接口 a s pa c t i v es e r v e rp a g e 微软活动服务器网页 c o m c o m p o n e n to b j e c tm o d e l组件对象模型 c s s c a s a d i n gs t y l es h e e t s 层叠样式表 d f d o c u m e n tf r e q u e n c y 文档频率 d l l d y n a m i cl i n k i n gl i b r a r y动态链接库 d o m d o c u m e n to b j e c tm o d e l 文档对象模型 f t pf i l e t r a n s f e r p r o t o c o l 文件传输协议 i i si n t e r n e ti n f o r m a t i o ns e r v i c e 互联网信息发布服务 j a c o bj a v a c o mb r i d g e j a v a c o m 桥 j n ij a v an a t i v ei n t e r f a c e j a v a 本地接口 j s p j a v as e r v e rp a g e s j a v a 服务器端动态网页 o d b c o p e nd a t a b a s ec o n n e c t i v i t y开放式数据库互连 r s s r e a l l ys i m p l es y n d i c a t i o n简易内容聚合 s d d s e m i d i s c r e t ed e c o m p o s i t i o no fm a t r i x 半离散矩阵分解 t ft e r mf r e q u e n c y 词频 u r lu n i f o r mr e s o u r c el o c a t o r 统一资源定位器 v s m v e c t o rs p a c em o d e l 向量空间模型 x h t m le x t e n s i b l eh y p e r t e x tm a r k u pl a n g u a g e 可扩展超文本置标语言 x m le x t e n s i b l em a r k u pl a n g u a g e 可扩展标记语言 v l i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得中国农业科学院或其它教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名： 基 声时闯：p 哆年 月沙日 关于论文使用授权的声明 本人完全了解中国农业科学院有关保留、使用学位论文的规定，即：中国农业科 学院有权保留送交论文的复印件和磁盘，允许论文被查阅和借阅，可以采用影印、缩 印或扫描等复制手段保存、汇编学位论文。同意中国农业科学院可以用不同方式在不 同媒体上发表、传播学位论文的全部或部分内容。 ( 保密的学位论文在解密后应遵守此协议) 论文作者签名砖蟊 导师签名： 凰闰沁 时间：枷1 年月加日 时间：2 - = 7 年占月日 中国农业科学院硕士学位论文第一章引言 1 1 研究背景 第一章引言 ( 1 ) 搜索引擎成为人们获取信息的主要渠道，但目前检索效果还不如人意 w e b 已成为人们获取信息的一个重要途径，胆识由于w e b 信息的日益增长，人们不得不花 费大量的时间去搜索自己需要的信息，搜索引擎的出现从一定程度上缓解了信息过载的矛盾，它 已经成为网民最经常使用的网络服务之一。据2 0 0 7 年1 月2 3 日中国互联网络信息中心( c n n i c ) 发布的第十七次中国互联网络发展状况统计报告，截至2 0 0 6 年1 2 月3 1 日。国内网民人数达 到1 3 7 亿，在“网民获取信息的最主要途径”中，网络( 4 7 4 ) 超过电视( 3 0 6 ) 、报纸( 1 5 7 ) 等传统媒体，成为网民最主要的信息获取途径，而在“用户经常使用的网络服务：r j j 能”中，“搜 索引擎”以5 1 5 的选择率排在第三位，仅次于“收发邮件”( 5 6 1 ) 和“浏览新闻”( 5 3 5 ) 。 但目前搜索引擎的检索效果还不如人意，其通用的性质不能满足不同背景、不同目的和不同 时期的查询请求，对于所有用户，只要输入的关键词相同，返回的检索结果就完全相同，事实上 即使输入同一关键词，不同用户的需求也是不同的，用户往往需要对搜索结果进行手工筛选才能 得到满意的信息。此外，搜索引擎“检索浏览”的服务方式也过于被动，理想的信息服务应该是 个性化的主动推荐的，它可以代理每个用户，自动从网络上搜索到最符合用户个性化需求的结果 推荐给用户，显然搜索引擎现状与理想目标还存在巨大差距。 ( 2 ) 个性化服务与技术兴起，搜索引擎个性化智能化是一种必然趋势 目前，以新资源“推荐”和“发现”为核心的网站正开始在国内崭露头角，比如侧重于音乐 推荐的“八宝盒”，侧重图书推荐的“豆瓣”等，随着这些推荐型网站的兴起，越来越多人开始 关注个性化服务技术，特别是推荐技术，2 0 0 7 年4 月1 9 日。国内最大的开发者网站c s d n 发表 了以。互联网：正从搜索走向推荐时代”为题的专题报道，文中写到“如果说过去的十年是搜索 技术大行其道的十年，那么个性化推荐技术将成为未来十年中最重要的革新之一”。 在这种背景下，搜索引擎转变为推荐引擎，或者说搜索引擎与个性化技术的结合是一种必然 趋势，所以个性化智能搜索引擎成为国际上的研究热点。g o o g l e 、y a h o o 等搜索引擎公司一直致 力于个性化研究，而且已经推出了许多产品和服务，如y a h o o 的个性化主页“m y y a h o o ”和用户 定制搜索引擎“r o n y o ”，g o o g l e 的个性化主页。i g o o g l e ”和搜索结果个性化排序服务等。 ( 3 ) 农业专业搜索引擎发展迅速，但个性化研究还处于起步阶段 近年来，我国农业信息网站的发展非常迅速，据不完全统计目前各类农业网站近万个，静态 网页数百万以上，如何迅速地在这些网页中找到用户所需耍的网页，即农业专业搜索引擎的开发 正日益受到大家的关注。中国农业科学院农业信息研究所多媒体技术研究室开发出的农业专业搜 索引擎“农搜”( w w w s d d n e t c a ) ，收集了农业领域近7 0 万网页信息，具各l u c e n e 全文检索与s d d 语义检索两套检索引擎，可提供农业信息的精确搜索和分类导航服务，系统经过两次改舨，内容 和技术已经基本成型。 但农业专业搜索引擎在服务水平和检索效率上与g o o g l e 、b a i d u 等商业搜索引擎还存在差距， 个性化研究还处于起步阶段。 中国农业科学院硕卜学位论文 第一章引言 ( 4 ) 智能检索与个性化数据服务是“国家农业数据中心”未来发展的主要任务之一 。国家农业数据中心”是由科技部“国家科技基础条件平台建设”支持建设的数据中心试点之 一。由中国农业科学院农业信息研究所主持，建成了拥有1 2 大类6 0 多个主体数据库6 0 0 个数据 集的农业科学数据资源中心，通过网络向全社会提供数据共享服务，目前用户主要通过二级分类 导航和关键词检索结合定位、查询资源，该中心未来发展的主要任务之一是增加智能检索与个性 化数据服务功能。 1 2 研究目的与意义 本文研究目标是通过对援索引擎与个性化服务技术的研究，在农业专业搜索引擎的基础上构 建一个个性化搜索引擎，为农业专业搜索引擎增添个性化特色，如个性化推荐与个性化检索服务。 作者希望在个性化服务技术研究上取得切实的成果，为推动农业专业搜索引擎与w e b 信息服务个 性化智能化尽一份微薄之力。 研究的理论意义在于促进农业专业搜索引擎与w e b 信息服务的个性化智能化。研究的实用份 值在于进一步提高农业专业搜索引擎的可用性：通过信息推荐可以提高农业专业搜索引擎的服务 水平，改善用户体验和访问效率，通过个性化检索可以改善检索效果和效率，以便更好地为农业 用户服务。此外，搜索引擎个性化服务的研究成果和经验将有助于“国家农业数据中心”智能检 索与个性化服务的实现。 1 3 主要研究内容 本文研究个性化搜索引擎，但不局限于个性化检索方面，本文试图实现搜索引擎个性化检索 与推荐两项个性化服务，研究的思路是以个性化服务理论为依据，按照“用户数据搜集用户 建模个性化服务”的流程顺序，依次解决搜索引擎用户行为搜集，自动建模、个性化服务的 难点问题，研究内容主要包括如下四方面： ( 1 ) 研究搜索引擎用户数据搜集技术 为不同的用户提供有针对性的服务，先要获取用户的兴趣、习惯( 如浏览行为) 、职业特征等 用户信息，鉴于用户行为，如查询关键词，能够较好反映用户兴趣，所以本文将数据搜集的目标 锁定在用户行为信息上，着重研究针对一般搜索引擎网站的用户行为搜集技术。 通过对传统客户端数据搜集技术和新兴的a j a x 客户端技术的综合考察发现，传统的客户端 数据搜集方式，主要包括开发专门程序或者修改浏览器，存在安装升级繁琐、对用户隐私侵犯大， 难以得到用户合作等问题，不具备可操作性，而新兴的w e b 客户端技术a j a x 可实现富客户 端功能，又无须安装，私密习性好，所以本文作者决定采用a j a x 技术，并设计出a j a x 用户行 为跟踪引擎。为了验证a j a x 用户行为搜集的可行性，搭建了实验网站，以模拟用户访问的方式 测试系统效果。 ( 2 ) 研究搜索引擎用户建模技术与个性化推荐技术 个性化服务的形式多种多样，但无论何种形式都需要首先建立对用户的描述( 或称模型) ， 然后才能提供针对不f 司用户的个性化服务。用户模型是个性化服务的基础和核心，用户建模方法 按照自动化程度分为自动建模、示例建模与手工建模三类，而本文重在研究利用用户行为信息自 2 中国农业科学院硕卜学位论文第一牵引言 动建模方法，个性化服务常用的自动建模技术为日志挖掘、文档词频法及本体论方法，鉴于文档 词频法与搜索引擎检索系统的契合性，本文采用了文档词频法构建用户文档。 个性化推荐是一种主要个性化服务形式，它可以通过计算用户与资源的相似度向用户推荐可 能感兴趣的书、商品、网页信息等，而检索模型是通过计算用户查询与文档资源的相似性将符合 需求的文档返回给用户，鉴于推荐模型与检索模型的相似性，本文着重研究在搜索引擎现有检索 系统下如何迅速的实现个性化推荐，也就是基于检索模型的推荐算法，鉴于v s m 检索模型和全 文检索模型的普遍性，本文将着重研究基于这两类模型的推荐算法实现。 ( 3 ) 研究搜索引擎个性化检索技术 个性化检索是另一种个性化服务形式。也是个性化搜索引擎的主要特征，它考虑用户背景特 征进一步过滤无关信息，给出更加贴近用户需求的结果，所以可以提高检索精度和效率。改善用 户体验，传统个性化检索技术路线是利用用户模型对查询需求进行个性化分析，或者对结果二次 过滤给出个性化结果，例如： 计算机专业用户和农业专业用户同样搜索“苹果”关键词，捡索系统将计算机用户的查询扩 展为“苹果a n d ( 计算机o r 电脑) 为农业专业用户扩展为“苹果a n d 农业”这样前者 得到信息限定在“苹果电脑”或者“苹果公司”范围内，而后者彳导到“苹果植物”方面的信息。 这种思路的问题在于：事实上用户很可能跳出他的职业、生活背景产生完全不同的薪的需求。 计算机用户需要“苹果植物”的信息，如“苹果的营养”，也不无可能( 在本文的第五章还会继 续分析这个问题) ，这种将用户长期稳定兴趣凌驾于当前突出兴趣之上的做法是武断的，很可能 过滤掉了相关信息，所以本文没有继承这样的思路，而采用了基于协作推荐的个性化检索路线， 协作推荐是基于相似用户的意见为当前用户提供推荐的方法，目前被广泛应用于电子商务 ( a m a z o n ) 、音乐、书籍推荐型网站，但在信息检索上研究和应用较少，本文作者注意到协作推 荐的优良效果，将其应用于实现个性化检索，并提出具体的基于协作推荐的检索算法。这也是本 文的一大亮点。 ( 4 ) 搜索引擎个性化服务系统的设计与实现 为了验证个性化攉荐和个性化检索的效果，本文将用户行为搜集技术、用户建模技术、个性 化推荐技术和个性化检索技术与“农搜”的s d d 检索引擎结合，设计实现了一个搜索引擎个性 化服务实验系统，在登陆脏册、用户行为搜集、用户模型维护等模块的基础上，实现个性化推荐 与个性化检索两大功能。系统完成后，通过模拟用户访问对检索与推荐效果进行测试，通过个性 化检索与s d d 检索性能比对，求证个性化检索的可行性。 本文研究的难度在于涉及的学科领域多，不确定性和技术难度大。个性化搜索引擎是个性化 服务系统与搜索引擎的结合体，个性化服务还未形成成熟的理论体系，人们按照经验将个性化服 务过程划分为数据搜集、用户建模与提供服务三个阶段，各个阶段有多种实现方式，用户建模与 数据挖掘、机器学习理论密切相关，而搜索引擎本身拥有一套复杂的技术体系，如中文分词、倒 排索引等一二者的结合产生了更多可能性，仅个性化服务形式，就可以分为个性化检索、个性 化信息推荐、个性化定制、基于社区关系的搜索等，多可能性带来的不确定性增加了研究的难度， 本文作者在研究初期，花费了许多时间在阅读相关文献和对网络上现有个性化搜索引擎的体验 上，才最终将研究思路与研究内容确定下来。 而研究的有利条件是农业专业搜索引擎研究为个性化服务研究奠定了基础，本文研究所涉及 3 到的中文分词、全文检索、v 蛳检索等问题在“农搜”中均己得到解决。 1 4 论文的技术路线 在技术路线匕，本文试图将新兴网站客户端技术( m a x ) 、个性化服务技术( 如文档词频法 和协作推荐技术) 、搜索引擎与信息检索技术结合起来解决用户数据搜集、自动建模等关键问题。 图1 是本文的技术路线图。 慧篓鎏鏊爨霪燮饕熏懑鬻 “5 i_ ；、一_ i j 甜| ； 掣嘲 ； ： 蠹“鞲t 垂2 * i 黧篓i ，i _ _ ：| 瓣” 曩- ji 墓誊誊，蔓i 曩一疆蓍： 。 薯| i | | _ 。辫i 磐宴绩堆黪毒善终辟颦董矗蔓：一、i i j ； “。一善毒| ；+ _ ! _ ； 薯曩、_ ；1 一掣崔“：二矧一；一 m ： i 、 f i git e c h n o l o g yr o a d m a po ft h e s is 4 中国农业科学院硕 学位论文第一奇引言 1 。5 论文的写作框架 图2 是论文的逻辑结构图，第一章“引言”交待了论文的研究背景，主要研究内容与技术路 线等。第二章综述了个性化服务、信息检索与搜索引擎的基础理论，是本文研究工作的依据。第 三章至第五章阐述了搜索引擎用户行为搜集技术、用户建模技术，个性化推荐技术与个性化检索 技术，是本文在技术层面的研究成果，这三章内容存在依赖关系，第三章中论述“用户行为搜集” 问题的解决是第四章“用户建模”的基础，第四章中提出的“用户模型”是第五章所论述“个性 化检索”算法实现的前提。第六章阐述了搜索引擎个性化服务系统的设计与实现，是本文在实现 层面的研究成果。第七章。结论与展望”总结了论文的研究成果与创新点，交代了后续的工作。 理论 ( 第2 章) 1 1 1 5 引言 2 1 个性化服务基础理论 2 1 i - 2 i j 3 个性化服务的肯义，发展历史与工作原理 2 2 信息检索摹础理论 2 2 1 恼息检索概念 2 1 4 个性纯雁务韵关键搿题 2 1 1 埘产教据来源与 采集方式 2 42 用广建模概念 垮技术 技术 ( 第3 5 章) 3 1 3 t 2 搜索 擎用户幸亍 为攫集技术 实现 ( 第6 章) 33 3 4 实验同站设计、 实现与运行教果 4 1 基于用户行为 的蓬模技术 2 ，i4 3 个性化擞务形式 与技术 二二= 二= 1 2 3 搜索引睾的 基础理论 ”，l ，2 ，3 搜索引擎掇台 厦珲与结构等 4 2 幕下检索模裂的十件化推荐技术 4 1i 从监索摧型创推荐模型的过渡 4 2 2 羹于v s m 模型 推荐算注 4 j 2 3 基于垒殳检索模 型的推荐葬法 6 1 - 6 3 搜索0 l 擎个性化服务系统设计与实现 i i7 】。2 结论与鹱望 圈2 论文的逻辑结构田 f i g 2l o g i c a ls t r u c t u r eo ft h e s i s 5 中国农业科学院硕七学位论文 第二章个件化服务与控索引擎幕础理论 第二章个性化服务与搜索引擎基础理论 2 1 个性化服务基础理论 2 1 1 个性化服务的含义 传统意义上，人们把提供劳动、智力等无形。产品”的过程称为服务。实际上，服务是指通 过提供任何必要的手段和方法满足接受服务之对象的需求的“过程”。服务的实质是以满足物质 需求、精神和心理需求、提高解决问题能力之需求为目的( 阳晓萍等。2 0 0 6 ) 。 个性化服务是指针对不同用户提供不同的服务策略和服务内容的服务模式。与不区分用户的 普通服务模式相比，个性化服务显然具有更高的服务质量，人们常说的“因材施教”就是个性 化服务在教育中的一种应用( 余先虎等，2 0 0 4 ) 。 个性化是指w e b 站点获取与用户个别需求相匹配的信息的能力：个性化w e b 服务的实质是 以用户需求为中心的w e b 服务。通过网络提供的个性化服务不仅可以减轻用户。信息过载”的困 境，丽且可以帮助企业建立友好的客户关系( 崔林等，2 0 0 5 ) 。以个性化电子商务为例，个性化 电子商务就是企业电子商务发展到一定阶段，为最大限度地吸引客户，维持并提升客户忠诚度， 而对企业电子商务网站的信息发布、交易方式等进行深度的开发和管理，使得每个客户能够得到 “一对一”量身定做的服务和信息。 2 1 2 个性化服务的发展历史 1 9 9 5 年，卡内基梅隆大学的a r o b e r t 等人在美国人工智能协会上提出了个性化导航系统 w e b 2 w a t c h e r ，标志着个性化服务的开始：1 9 9 7 年3 月，c o m m u n i c a t i o n s o f t h e a c m 组织了个 性化推荐系统的专题报道，标志着个性化服务已经为技术界高度重视：1 9 9 9 年，德国d r e s d e n 技 术大学的t a n j a j o e r d i n g 实现了个性化电子商务原型系统t e l l i m ，标志着个性化服务开始向全球 发展；2 0 0 0 年。n e c 研究院的d b k m - t 等人为搜索引擎c i t e s e e r 增加了个性化推荐功能，实现 c i t e s e e r 的个性化；同年。我国也开始了个性化服务的研究，清华大学的路海明等提出了基于多 a g e n t 混合智能实现个性化推荐：到2 0 0 1 开始，个性化研究已经在商业领域得到越来越广泛的应 用。 2 1 3 个性化服务的工作原理 虽然不同的个性化服务系统服务形式不尽相同，所采用的技术也不同，但它们都可以抽象成 一个共同的过程与结构：即先收集用户信息，然后根据用户信息对用户进行建模，最后在构建的 用户模型的基础上提供个性化的服务策略和服务内容。个性化服务过程是一个三段式工作流程， 如图3 所示( 余先虎，2 0 0 4 ) 。 6 中国农业科学院硕士学位论文第二章个忭化服务与搜索引擎基础理论 甩是擎用户建模+ + 个性化服务h 甩户 圈3 个性化服务三段式流程 f i g 3f l o w c h a r to fp e r s o n a l i z e ds e r v i c e 2 1 4 个性化服务的关键问题 2 1 4 1 用户数据桌澳与采篁方式 数据可信性是影响w e b 个性化服务质量的重要因素，准确的用户使用数据对识别用户、发现 用户的兴趣很重要。用户数据搜集就是要根据系统要求，确定从何处采集用户的使用信息，识别 出它们的内容和结构。w e b 服务器，客户端以及代理服务器是目前三个主要数据来源，数据来源 与类型不同，采集与存放方式也各异。 ( 1 ) 服务器端数据采集 服务器端数据主要包括：服务器日志文件、c o o k i e 、用户显式输入数据，服务器端数据一般 都保存在服务器端。 服务器日志文件记载的是多用户访问单服务器数据，由w 曲服务器( 如 i s ，a p a c h e ) 生成， 通过对日志进行预处理( 包括数据清理、m 识别、事务提取等步骤) 可以提炼出有效信息，但是 由于网络高速缓存以及中间代理服务器存在造成口地址的动态变化，使得数据准确性和完备性 不离。c o o k i e 是网站服务器存储在客户机器上的一种信息，当用户下次访问该弼站时，这个信息 会送回到服务器。服务器可以通过c o o k i e 信息识别用户，跟踪用户的会话状态，如页面是否访 问过，是否购买了产品等。用户显式输入数据是指用户在网页表单上填写提交的内容，如查询输 入，因为是用户主动提交的，能较好反映用户的偏好兴趣，对个性化服务的实现非常有用。 ( 2 ) 代理服务器端数据采集 代理服务器数据也使用类似w e b 服务器的日志格式，记载的是多用户访问多服务器的访问模 式。使用这些日志可以了解用户在代理服务器后面的动作行为。然而，前面提到的本地缓存和口 地址误解问题在代理服务器数据中依然存在。 ( 3 ) 客户端数据采集 客户端数据记录了单用户访问多服务器的模式，客户端数据需要有专门的程序收集，早期是 采用在客户端修改浏览器获取客户端数据。目前客户端的数据主要依靠远程a g e n t 获得，可通过 j a v aa p p l e t 或j a v a s c r i p t 实现。客户端的数据比服务器端的数据要更可靠。它们避免了高速缓存 与口地址误解问题，但获取客户端数据必须用户给予合作，用户如果禁止a p p l e t 程序在浏览器 运行，则无法进行收集。客户端数据可以保存在客户端，也可以发送到服务器端保存。 2 1 4 2 用户建模概念与技术 用户建模也称为模式发现，是指从有关用户兴趣和行为的信息中归纳出可计算的用户模型 ( 也称为用户兴趣文件) 的过程，在个性化服务系统中的用户模型不是针对用户个体的一般性描 7 中国农业科学院硕卜学位论文第二章个性化服务与搜索引擎幕础理论 述，而是一种面向算法的，具有特定数据结构的、形式化的用户描述( 余先虎, 2 0 0 4 ) 。 用户模璎用来准确描述用户的兴趣，刻画用户的特征以及与其他用户之间的关系等。用户模 型从内容可以划分为基于兴趣和基于行为两种类型，基于兴趣的用户模型可以表示为加权矢量模 型、类型层次结构模型、加权语义网模型、书签和目录结构等。基于行为的用户模型可以表示为 用户浏览模式或访问模式。在具体实现时可以综合这两种表示方式( 曾春等，2 0 0 2 ) 。根据建模 过程中用户的参与程度，用户建模技术可以分为如下三类： ( 1 ) 用户手工定制建模 用户手工定制建模是个性化服务发展早期用户建模的主要方法，指用户手工输入感兴趣信息 的关键词列表，或者是选择感兴趣的栏目等。1 9 9 6 年，y a h o o 推出的个性化服务“m y y a h o o ”便 使用了用户手工定制建模。这种方法实现简单，但是难以全面、准确地掌握用户兴趣，因为当用 户兴趣发生变化时，用户模型需要手动更新，事实上用户很少参与定制，更不会自觉更新信息， 而且可能用户自身也未察觉到兴趣的变化。 ( 2 ) 示例建模 示例用户建模是指由用户提供与自己兴趣相关的示例及其类别属性来建立用户模型的建模 方法。这种方法要求用户反馈自己对推荐资源的评价。但是，很少有用户愿意主动向系统表达自 己的喜好，因此很难收到实效。 ( 3 ) 自动用户建模 自动用户建模是指根据用户的浏览内容和浏览行为自动构建用户模型，建模过程无须用户主 动提供信息的建模方法，自动用户建模实际上是改进了示例用户建模方法中的示例获取途径，将 其转化为无须用户标注的自动示例获取方法。自动检建模方法比手工定制更为有效，因为用户行 为更能体现用户真实的兴趣和性格。可以通过对用户浏览页面的聚类或分类得到用户感兴趣的主 题，实现自动建模。此外，对用户访问日志进行挖掘也是实现自动用户建模的一种途径。通过日 志挖掘可以发现用户的访问模式、偏好习惯等用户特点，进而构建用户模型。 2 1 4 3 个性化服务形式与技术 通过对国内外一些成功搜索引擎( g o o g l e 、y a h o o 等) 、电子商务网站( a m a z o n ) ，推荐型站 点( 豆瓣) 的研究发现，目前个性化服务方式主要分为以下三类： ( 1 ) 个性化定制服务 这是网站根据用户主动告知需求提供服务的方式。按照定制形式和要求，又可划分为个性化 界面定制和个性化内容主题定制。个性化界面定制是指对网页，软件界面的颜色、字体，栏目类型、 栏目位置等方面进行的定制。个性化内容主题定制则是根据用户对信息内容主题的明确要求，通 过相关内容的收集和整合，以电子邮件或频道推送的方式及时或定期提供给需要的用户( 刘志伟 等，2 0 0 6 ) 。 目前网络上流行的个性化首页就是典型例子，个性化酋页是在单个首页上融合了特定用户喜 爱的特定w e b 页面的内容，就像一个个性化门户，以i g o o g l e 为例，用户登陆后，可以在首页上 随意添加、删除内容模块，包括邮件、新闻频道、天气预报等，可以直接拖曳板块，调整显示大 小，从而极大的提高了用户体验和访问效率。 s 中同农业千斗学院硕+ 学位论文第二章个性化服务与搜索引擎萆础理论 田4g o o g l e 的个性亿主页藏固 f i g 4g o o g l c sp e r s o n a l i z e dh o m e p a g es r e e n s h o t ( 2 ) 个性化推荐服务及其技术 个性化推荐服务是指信息检索或网站系统根据发现的用户喜好，以推荐的方式动态地为用户 提供观看的内容或浏览建议，简单地说，就是为用户提供一对一的服务和指导，它是个性化服务 的高级阶段。 个性化推荐系统具有主动学习能力，通过概括和分析用户的行为，自动地实现某种程度的个 性化反馈，其最直接的实现方式就是当用户上网浏览、检索访问时，由系统自动地向用户推荐相 关的内容或用户可能感兴趣的页面、关键词，主动为用户导航。根据实现机制的不同，个性化推 荐技术可以分为基于规则的推荐( 如关联规则) ，基于内容的推荐，协作推荐和混合推荐( 阳晓 萍等，2 0 0 6 ) 。 基于规购的推荐是指根据事先生成的规则向用户推荐信息的方式。该方式较多的应用于电子 商务网站，这些网站根据用户浏览和购买的日志生成规则，向用户推荐感兴趣的商品。基于规则 推荐的优点是简单、直接，缺点是规则质量很难保证，而且不能动态更新，此外，随着规则的数 量增多，系统将变得越来越难以管理。代表系统有m m 的w e b s p h e r e 、b r o a d v ”i o n 等。 基于内容推荐，也称为内容过滤，是指透过比较资源与用户模型的相似程度岛用户推荐信息 的方式。该方式是目前个性化推荐的主流，较多地应用于可计算的文本领域，如浏览页面的推荐、 新闻组中的新闻推荐等，其优点是简单有效，缺点是难以区分资源内容的品质和风格，而且不能 为用户发现新的感兴趣的资源，只能发现与用户已有兴趣相似的资源，可能出现“越读越窄”、“越 昕越窄”，“越看越窄”的问题。代表系统有斯坦福大学的l i r a 、w e bp e r s o n a l i z e r 等。 基于协作推荐，也称为协作过滤，是指通过相同或相近兴趣的用户对资源的评价向用户推荐 资源的方式，往往需要先对用户进行分类。该方法既适用于可计算的文本领域，又可应用于其他 领域，其优点是能为用户发现新的感兴趣的资源。缺点是存在数据稀疏性、扩展性等问题。代表 系统有w c b w a t e h e r 、s i t e s e e r 、l i k e m i n d s 等。 混合推荐是指既通过比较资源与各个用户模型的相似度进行基于内容的推荐，又通过相近兴 9 中国农业科学院硕l 学位论文第二聋个性化服务与搜索引擎摹础理论 趣的用户群进行协作过滤的一种推荐方式。由于混合推荐可以发挥两种推荐方法的优点，抵消两 种推荐方法的缺点，因而具有更好的推荐性能。目前提供此服务的系统有斯坦福大学的f a b ，清 华大学的o p e nb o o k m a r k 等。 ( 3 ) 个性化检索服务及其原理 信息检索的一个难点是构造一个可以精确表达用户信息需求的提问式。简单用关键词来表达 需求是不理想的，一方面因为一词多义的普遍存在，另一方面因为不同的用户由于背景知识、兴 趣爱好等方面的差异，郢使提交相同的检索式，需要的信息往往也是不同的，例如同样是使用“程 序设计”作检索词，不同职业的两个用户，一个是学者，另一个是程序员，他们的信息需求是不 完全一样的。学者可能更希望看到学术性文献，丽程序员可毖更希望看到实用性文献。 普通的检索服务没有考虑用户的差异，对于所有用户，只要输入的关键词相同，返回的检索 结果就完全相同，结果对于用户而言是杂乱的，往往需要迸行手工筛选。个性化检索服务从某种 程度上解决了这个问题。它把用户区别对待，认识到了用户之间的不同之处，根据用户的特点返 回不同的结果列表，例如，计算机领域用户和农业领域用户同样输入“苹果”搜索，系统判断前 者可能更倾向于获取“苹果公司”、“苹果电脑”方面的信息，后者倾向于。苹果植物”的信息， 为他们返回不同的结果。 个性化检索系统的设计和实现需要解决的一个基本问题是；用户知识的搜集、分析、处理、 表示，也就是必须为每个用户建立一个过滤器，根据这个过滤器对检索得来的结果进行过滤，重排 序，