（图书馆学专业论文）知识搜索引擎在图书馆参考咨询中的应用研究.pdf

-，1ijij_11ii， 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定， 即：东北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅。本人授权东北师范大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或其它复制手段 保存、汇编本学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：酸 日 期：f 安。6 。西 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名：至堑叠垫 日期：冱f 里：臣：f j 电话： 邮编： 摘要 现代社会进入了信息社会，我们也进入了信息爆炸的时代。互联网为我们提供 了海量的信息，为我们带来了更多更快捷的信息，但是大量冗余的信息干扰了人们 对于有用信息的准确选择。因此，信息检索技术的出现给人们带来了极大的方便。 尤其是搜索引擎的出现，使人们的检索信息的方式发生了翻天覆地的变化。 图书馆也是为人们提供文献等信息检索的一个重要场所，随着现代社会的发展， 图书馆的工作也正发生着变化。其中参考咨询工作是图书馆现代化的一个重要标志， 也是图书馆服务工作的重点，其咨询服务水平代表了图书馆的整体水平。随着互联 网的发展，图书馆内外环境也发生了变化，在参考咨询服务建设中存在一些新老问 题。知识搜索引擎的产生，开辟了一种新型参考咨询模式，并很短的时间内发展成 很大规模。将知识搜索引擎的参考咨询模式应用到图书馆中，可以进一步完善图书 馆参考咨询服务建设。 本文通过对搜索引擎的发展现状和对知识搜索引擎的起源发展进行研究，深入 地了解知识搜索引擎的特征和产生的理论基础。根据现有的知识搜索引擎网站的运 营形式，结合图书馆参考咨询所面临的问题，提出将这一参考咨询模式应用在图书 馆的设想，并探讨了其在图书馆参考咨询服务中的优势和应用。 关键词：知识搜索引擎；参考咨询；社区化：搜索引擎 a b s t r a c t m o d e ms o c i e t yi sc o m i n gi n t ot h ei n f o r m a t i o ns o c i e t y w eh a v ee n t e r e dt h ee r ao f i n f o r m a t i o ne x p l o s i o n t h ei n t e m e tp r o v i d e su sw i t haf l o o do fi n f o r m a t i o n ，i no r d e rt ob r i n g u sm o r ea n df a s t e ri n f o r m a t i o n , b u tal a r g en u m b e ro fr e d u n d a n ti n f o r m a t i o ni n t e r f e r e dw i t h p e o p l e sc h o i c ef o ra c c u r a t ea n du s e f u li n f o r m a t i o n t h u s ，t h ee m e r g e n c eo fi n f o r m a t i o n r e t r i e v a lt e c h n o l o g yh a sb r o u g h tg r e a tc o n v e n i e n c et ot h ep e o p l e i np a r t i c u l a r , t h ee m e r g e n c e o fs e a r c he n g i n e s ，s ot h a tt h ew a yp e o p l er e t r i e v ei n f o r m a t i o nf r o me a r t h - s h a k i n gc h a n g e s h a v et a k e n p l a c ei n l i b r a r i e sa l s op r o v i d ep e o p l ew i md o c u m e n t a t i o na n do t h e ri n f o r m a t i o nr e t r i e v a la l l i m p o r t a n tp l a c e w i t ht h ed e v e l o p m e n to fm o d e ms o c i e t y , t h el i b r a r y s w o r ka r ea l s o c h a n g i n g r e f e r e n c es e r v i c ei sa ni m p o r t a n ts i g no ft h em o d e r n i z a t i o no ft h el i b r a r y ，a n di ti s a l s ot h ef o c u so ft h ew o r ko fl i b r a r ys e r v i c e s t h el e v e lo fi t sa d v i s o r ys e r v i c e si so nb e h a l fo f t h el i b r a r ya saw h o l e w i mt h ed e v e l o p m e n to ft h ei n t e r a c t b o t l li n s i d ea n do u t s i d et h e l i b r a r ye n v i r o n m e n th a sc h a n g e d i nt h ec o n s t r u c t i o no fr e f e r e n c es e r v i c e s ，t h e r ea l es o m e n e wa n do l dp r o b l e m s k n o w l e d g es e a r c he n g i n e ，o p e n su pan e wr e f e r e n c em o d e l ，a n ds o o n d e v e l o p si n t oav e r yl a r g es c a l e i fw ea p p l i e dk n o w l e d g es e a r c he n g i n er e f e r e n c em o d e lt o t h el i b r a r y , w ec a l lf u r t h e ri m p r o v et h ec o n s t r u c t i o no ft h el i b r a r yr e f e r e n c es e r v i c e s i nt h i sp a p e r , t h r o u g hs t u d y i n gt h eo r i g i no fs e a r c he n g i n e sa n dk n o w l e d g es e a r c he n g i n e ， u n d e r s t a n dt h ec h a r a c t e r i s t i c sa n db a s i st h e o r e t i c a lo fk n o w l e d g es e s a r c he n g i n e s c o m b i n di t w i t hl i b r a r yr e f e r e n c ep r o b l e m s ，a n da p p l i yt h ep r o p o s e dm o d e li nl i b r a r y ，a n de x p l o r ei t s a d v a n t a g e sa n da p p l i c a t i o n si n t h el i b r a r yr e f e r e n c es e r v i c e s k e yw o r d s ：k n o w l e d f er e s e a r c he n g i n e ；r e f e r e n c es e a r v i c e ；。c o m m u n a l i z a t i o n ；r e s e a r c h e n g i n e i l 目录 中文摘要i 英文摘要i i 目录：i i i 引言l 第一章绪论2 1 1 研究背景，2 1 2 研究目标、意义与方法3 1 2 1 研究目标3 1 2 2 研究意义3 1 2 3 研究方法4 1 3 搜索引擎的产生及发展4 1 4 知识搜索引擎的起源与发展5 1 5 知识搜索引擎的研究现状6 第二章知识搜索引擎及理论基础7 2 1 知识搜索引擎的概念7 2 2 知识搜搜引擎的特征7 2 2 1 互动性7 2 2 2 人性化8 2 2 3 开放性8 2 2 4 智能化8 2 3 搜索引擎理论基础：。8 2 3 1 搜索引擎的组成! 8 2 3 2 搜索引擎的工作原理9 2 3 3 知识搜索引擎的工作原理1 0 2 4 社区化搜索理念1 2 2 4 1 社区与虚拟社区1 2 2 4 2 知识共享1 3 第三章知识搜索引擎典型案例分析1 5 3 1 页面设置：1 5 3 2 类目设置1 5 3 3 搜索方式1 6 3 4 提问方式1 6 3 5 搜索结果1 6 3 6 相关协议1 7 3 7 积分激励机制1 7 第四章新型参考咨询模式在图书馆的应用1 9 4 1 新型参考咨询模式的优势1 9 4 1 1 解决读者信息需求重叠1 9 4 1 2 满足各学科领域用户的信息需求2 0 4 1 3 提供专业化的参考答案2 0 i i i 4 1 4 解决图书馆参考咨询服务的时间限制2 0 4 1 5 开发潜在用户2 1 4 2 新型参考咨询服务模式的建立2 l 4 2 1 知识问答平台2 1 4 2 2 激励机制j 2 2 4 2 3 评价机制2 3 4 2 4 知识库2 3 第五章结论2 4 参考文献2 5 后记。2 7 i v 东北师范大学硕士学位论文 引言 随着互联网的迅速发展和信息技术的日益完善，信息与知识迅猛增长，互联网逐渐 成为人们获取信息的重要渠道，这给图书馆的信息服务带来了巨大的冲击。在互联网为人 们获取信息带来方便、自由和快捷的同时，网络中的信息爆炸式增长，繁杂无序的网络 信息资源难以组织和控制，在很大程度上妨碍了网络信息资源的使用。与传统的文献资 源相比，网络信息的产生缺乏类质量控制环节，用户自己对网络信息进行评价，缺乏权 威性，使网络用户难以分辨对自己切实有用的信息，对于如何提高互联网信息资源的质 量，帮助用户获取权威可靠、适用的网络信息这一问题始终是人们关注的焦点。 东北师范大学硕士学位论文 第一章绪论 1 1 研究背景 基于传统的关键词索引的搜索引擎已经不能很好地满足用户的需求偶，成千上万的 搜索结果使用户无所适从，人们迫切地需要一种更加精确、方便快捷的搜索工具。随着 互联网的发展，出现了网络信息自组织现象。网络信息自组织是指网路信息资源由于用 户和用户之间、用户和网络要组之间的交互性、相关性、协同性而形成了某种特定的功 能和结构，这一过程是网络某一区域自发地进行信息组织，自我完成有序化和优化的过 程。用户变成信息的生产者和提供者，依托互动的网络信息技术平台和用户的集体参与， 逐渐和自发地完成了信息的有序化。网络信息自组织的形式有网上聊天室、社区、网络 会议、博客、分类标签、维基百科等。以网络用户的自发行为来组织信息实现信息的有 序化，这一模式逐渐被用户所接受，并大受追捧。 搜索引擎的出现为用户带来了方便。搜索引擎因其数量庞大的网络信息资源和便捷 的检索方式受到人们的欢迎。根据o c l c p e r c e p t i o n so fl i b r a r i e s a n di n f o r m a t i o l l r e s o u r c e s ( 2 0 0 5 卜_ ar e p o r t t ot h eo c l cm e m b e r s h i p 和o c l c c o l l e g es t u d e n t s p e r c e v i o n so f l i b r a r i e sa n di n f o r m a t i o nr - e s o u r c e s ( 2 0 0 6 ) 的调查结果【1j ，8 4 的用户使用搜 索引擎开始信息检索，1 的人从图书馆网页上开始信息的检索；只有1 0 的大学生认 为，在通过搜索引擎找到图书馆网站后，图书馆的馆藏可以满足他们的信息需求。9 0 的 用户对使用搜索引擎获得的信息表示满意，同时，信息用户信任来自于图书馆的信息，同 时也信任搜索引擎获得的信息，他们对两者的信任几乎是一样的。这说明，读者越来越 依赖搜索引擎来获取信息。图书馆面临搜索引擎的步步紧逼已是不争的事实，我们图书 馆人如何面对，这是每个图书馆人都在思索的问题。 无论是百度、g o o g l e 等搜索引擎还是博客、社区等网站的迅速庞大，用户不再以图 书馆作为获取信息的唯一来源。图书馆传统的参考咨询服务在服务方式和服务内容上渐 渐难以满足读者的需求，尤其是在各种各样强大的商业搜索引擎的强势压迫下，还要面 对众多w e b 2 0 网站的竞争。不仅是图书馆外界的环境发生变化，图书的内在环境也发 生了很大地变化，图书馆的馆藏发生变化，读者也发生变化。图书馆的服务根本是满足 读者需求。读者希望在图书馆可以查找到各种类型的资源，既有印刷本的实体资源也有 网络虚拟资源。“虚拟馆藏 的形式更加多样、如馆藏电子文献、数据库、网上资源、 电子报刊，范围更加广泛、学科更加齐全，其重要性已不亚于“实体馆藏 ，两者的互 相补充，有机结合，共同发展已经成为了图书馆发展的必然趋势。【2 】读者服务方式从“以 藏书为中心”向“以读者为中心 转化。读者服务对象从“图书馆读者向“社会读者 延伸，服务对象除了到馆读者外，尚有未到馆、坐在各地( 包括世界各地) 终端的访问者。 2 东北师范大学硕士学位论文 读者服务需求也向个性化多样化发展。【4 】 与此同时，图书馆的服务相应发生变化。尤其是参考咨询服务的对象、方式及时间 的变化，对读者服务除了传统人对人的个别服务外，尚有机对机或一机对多机全方位的服 务服务时间也突破了上下班作息概念，全天候、2 4 小时无限制地服务与利用。1 5 】参考咨询 服务的内容发生变化，读者的需求越来越多地关于被数据型或切题的全文需求。提供高 层次信息的服务内容的参考咨询员除了指导读者使用图书馆，帮助读者获得馆藏情报资 源外，尚需提供经过综合处理的二次文献，为读者完成定题、查新、检索等工作。参考咨 询服务范围也发生变化，目前网络环境下的参考咨询服务的范围必须拓展，因为在网络环 境下图书馆所具有的资源优势被削减，读者或信息用户与图书馆处于同样的地位，从一般 生活信息，到专业的法律、保险、股情、医疗等信息都可以从网上直接取得。因此要革新 参考咨询服务。 1 2 研究目标、意义与方法 1 2 1 研究目标 ( 1 ) 通过了解现代图书馆参考咨询服务的现状，总结出图书馆参考咨询服务面临的 挑战。 。1 ( 2 ) 梳理搜索引擎的发展现状及未来趋势，深入研究搜索引擎的工作机制。在此基 础上，全面了解知识搜索引擎的起源、发展情况和研究现状，深入研究知识搜索引擎的 特征及其理论基础。 ( 3 ) 对百度“知道 、新浪“知识人 、雅虎“知识堂”三个成功的知识搜索引擎网 站从页面基本设置，检索方式，检索结果，相关协议和运行机制等进行分析，并对比知 识搜索引擎和图书馆参考咨询的相关特性，总结出新型参考咨询模式在图书馆应用的优 势，并建立出新型的参考咨询模式。 1 2 2 研究意义 知识搜索在国内的快速发展，主要是中国用户的搜索习惯造就，它是个应运而生、 应运而长的新事物。由于中国很大部分网民都是初级网民，这部分群体通常习惯于日常 生活的口语化表达，而不愿意去用几个关键字来搜索满意答案；并且一些关键字搜索结 果是呈现了过多的可选答案，让人无从下手。f 6 】这同我国的图书馆读者利用图书馆的情 况相同。近年来，国内各种类型数据库的逐渐建设起来，电子版图书、报纸和期刊的出现 以及网上各种资源的剧增，为转型期图书馆的建设积累了较为丰富的源数据来源。与此 同时读者在使用这些网络资源也出现许多问题，对于这些问题的解决，知识搜索引擎提 供了借鉴意义。 将知识搜索引擎的参考咨询模式应用到图书馆中，使图书馆用户在图书馆服务和利 用服务的方式上能够更好地与他共分享。用户可以通过虚拟方式或者实体服务的方式， 使图书馆服务能够更好地满足用户需求。这种模式将吸纳读者的智慧，补充和改进图书 东北师范大学硕士学位论文 馆服务。用户评论、标签以及评级这些用户创造的内容都能反过来充实图书馆。这种模 式的服务对于其他读者来说将是更有价值的信息产品。图书馆员要更加注重读者的反馈 并且经常性地通过评估来更新和改进服务。1 7 1 1 2 3 研究方法 在本篇论文的构思及书写过程中，主要运用到以下研究方法： ( 1 ) 文献调查分析法：利用文献调查法中的系统检索法搜集了大量关于搜索引擎、知 识搜索引擎、图书馆参考咨询的文章，并通过检索到文章的参考文献进一步扩大了检索 范围，对相关文献进行了全面、系统的搜集，对其内容进行深入分析的基础上开展了研 究。 ( 2 ) 比较分析法：通过对现有的知识搜索引擎与图书馆参考咨询的相关特征的比较分 析来研究知识搜索引擎的参考咨询模式在图书馆中应用可行性。 ( 3 ) 内容分析法：在文章的绪论部分，通过利用内容分析法对知识搜索引擎与图书馆 参考咨询的相关文献进行深入分析，对其研究现状进行阐述。 ( 4 ) 归纳推理法：通过对搜索引擎的工作原理分析总结，得出知识搜索引擎的工作原 理。 ( 5 ) 案例分析法：通过对百度“知道”、新浪“知识人 、雅虎“知识堂 的考察，总 结出知识搜索引擎的一般性理论知识。 总之，本文在利用文献调查分析法、网络信息检索等方法的基础上，广泛搜集了知 识搜索引擎和图书馆参考咨询方面的信息知识，运用归纳、比较、分析和综合等逻辑思 维方法对二者进行了深入的理论研究，运用系统设计思想分析了基于知识搜索引擎的图 书馆参考咨询模式在图书馆的优势，并建立新型参考咨询平台。 1 3 搜索引擎的产生及发展 搜索引擎是伴随着互联网爆炸式的发展而诞生的，主要是帮助网络用户在“信息的 海洋 里找到所需要的信息。搜索引擎是一个对互联网上的信息资源进行收集、整理、 标引、存储，然后供用户查询的系统。i s 】搜索引擎就是一个提供信息查询检索服务的网 站。 现代意义上的搜索引擎产生于1 9 9 0 年，由于当时w o r l dw i d ew e b 还未出现，网络 文件的传输非常不便，于是便有了a r c h i e 。由于a r c h i e 深受欢迎，受其启发，相继开发 出一些专门用于检索信息的程序和搜索工具。1 9 9 3 年m a t t h e wg r a y 开发了w o r l d w i d ew e bw a n d e r e r ，这是第一个利用h t m l 网页之间的链接关系来检测万维网规 模的“机器人( r o b o t ) ”程序。开始，它仅仅用来统计互联网上的服务器数量，后 来也能够捕获网址( u r l ) 。p j 随着互联网的迅速发展，检索所有新出现的网页变得越 来越困难，一些基于此原理的搜索引擎开始纷纷涌现。最早现代意义上的搜索引擎是 1 9 9 4 年7 月创建的l y c o s ，之后的十几年间，搜索引擎迅猛发展。目前，互联网上 4 东北师范大学硕士学位论文 的搜索引擎已达数百家。【l o j 第一代搜索引擎出现于1 9 9 4 年，目的是“求全 。它是以分类目录为特征进行检索， 代表有y a h o o 。它受传统图书情报管理思想的影响，首先是建立一个网络文献资源的分 类体系，然后收集整理网站资料形成数据库，这两个阶段都是有人工完成的。用户在查 询信息时，可以选择按照关键词搜索，也可按分类目录逐层查找。当然第一代搜索引擎 也存在着同传统图书馆文献管理方法一样的弊端。首先是手工分类的成本太大、效率太 低，“求全目的并没有达到。其次是用户不能很好地理解这个分类体系。为了解决这 一问题，第二代搜索引擎应运而生，其目的是“求精9 9 9 成功的例子是g o o g l e 。根据网 络爬虫抓取工具，g o o g l e 创新性地提出了页面重要性分析技术p a g e r a n k 技术和超链分 析技术等。根据用户提交的“关键词，和分析网页之间的关联，运用一些算法和技术， 对结果进行排序，按由高到低的分数呈现给用户。它的最大特色是消除了手工操作。信 息资源的搜集、存储等都有计算机完成，用户只需要通过“关键词”就可完成检索过程。 但由于“关键词 在网页中仅是一个符号，搜索引擎只是机械的通过“关键词 在网页 中的物理位置，出现的频率等和网页之间的相关链接来判断其重要性，这些方法只能在 一定程度上以提高查准率。【l l 】 所以第三代搜索引擎甚至是第四代搜索引擎必然会出现。目前有许多搜索引擎自称 是第三代搜索引擎，虽然对于第三代搜索引擎的年代划分和定义没有达到统一的认识， 但比较认同的是第三代搜索引擎添加人工智能技术，增强人与人之间的互动，体现个性 主义，也就是智能化、社区化、个性化。圣 1 4 知识搜索引擎的起源与发展 一 知识搜索引擎是在传统的第一、二代搜索引擎的基础上发展出来的新型信息搜索 产品，它们允许用户使用自然语言提出自己的问题，所有用户均可对此问题进行解答， 用户之间进行充分的知识分享和信息交流，最终形成对一个问题( 即知识点) 的学术的、 民间的、自由的以及跨国界的解答方案，以一个问题的形式存储在知识信息库中，众多 不同的知识点汇集在一起形成一个庞大的知识信息库。这类互动性很强的知识信息搜 索、交流和共享社区，是一种新型的个性化的虚拟网络参考咨询系统。知识搜索起源于 亚洲，2 0 0 3 年6 月，韩国雅虎正式推出知识搜索服务，并推广至日本以及我国台湾地区。 其中台湾的y a h o o ! 奇摩是全球最早的中文知识搜索系统。百度知道 ( h t t p ：z h i d a o b a i d u c o r n ) 于2 0 0 5 年6 月2 1 日发布，并于2 0 0 5 年1 1 月8 日转为 正式版。2 0 0 5 年6 月3 0 日新浪“爱问 知识人( w w w i a s k c o m ) i f 式上线。雅虎于2 0 0 6 年1 月1 6 日正式推出其知识搜索产品“知识堂”( w w w k s y a h o o c o m e n ) 公测 版。这标志着知识搜索引擎在中国全面登陆，经中文互联网进一步发展壮大。这一模式 扩展到了全球，并且有了英文的服务版本，如y a h o o ! a n s w e r s ( 英文) 。这一模式在亚 洲互联网界的出现和流行，远远领先于欧美。不同于欧美，亚洲国家网友对免费分享知 识、信息特别热衷，尤其是用自己的知识帮助他人解决问题。 馆虚拟参考咨询服务平台的建设。并进一步分析了百度“知道 针对用户多样化、个性 化服务方式等方面对未来高校虚拟参考咨询互动问答平台建设的借鉴意义。王俭敏在服 务模式、用户对象、咨询内容以及用人机制等几方面对百度“知道 和图书馆参考咨询 进行了比较，提出图书馆参考咨询服务应组建以咨询馆员为主体的专家团队、开展用户对 参考咨询的评价、建立辅助性质的论坛服务等，以激发咨询馆员的工作热情与工作效能。 6 东北师范大学硕士学位论文 第二章知识搜索引擎及理论基础 2 1 知识搜索引擎的概念 知识搜索引擎将人与搜索引擎进行结合，它区别于第一代搜索引擎和第二代搜索引 擎，开启了信息搜索的新模式“知识共享社区+ 搜索引擎。知识搜索引擎是将各方 面的知识整合在一起，以先进的自然语言智能查询技术为基础，用户按照日常习惯的表 达方式提出问题，搜索引擎通过对输入的简单疑问词句进行分析，然后进行分类，在知 识库中搜索出答案，直接给出答案或是向用户提供几个相似问题供用户选择，再进行搜 索。【l3 】在没有搜索到满意的答案时，用户可以建立新的问题，等待其他人的回答，用户 再对答案进行评价选出最满意的答案。知识搜索引擎给广大互联网用户建立了一个强大 的网络信息交流平台，通过搜索问题、提出问题和回答问题来解决用户的知识搜索需求。 利用知识搜索引擎获取知识的过程，是让用户脑中的隐性知识变成显性知识的过程，通 过对回答问题的答案的组织沉淀，形成新的知识库，知识库中的信息可以被用户进一步 检索利用。这是对过分依靠技术的搜索引擎的一种人性化的完善，因为这意味着用户既 是搜索引擎的使用者的同时也是创造者。【1 4 j 知识搜索引擎中的知识库囊括了各方面的知识，用户对自身所关心的内容以问题的方式 提出，其他所有用户都可以针对这个问题进行回答，用户之间进行了充分的知识共享和 交流，最终形成的对这一问题的知识大汇总。其实知识搜索引擎就是为用户提供了一个 网上虚拟参考咨询平台，广大用户是提问方，广大热心的网友是受理方。【1 5 j 知识搜索引 擎本着“人人为我，我为人人 的理念向广大用户免费开放，所以各搜索引擎用户踊跃 参加，使得知识搜索引擎快速发展。 2 2 知识搜搜引擎的特征 2 2 1 互动性 知识搜索引擎具有悬赏机制的互动问答模式。用户可以根据自己的具体的信息需求 来进行提问，并提出悬赏公告以刺激和发动其他用户为其解答该问题。用户提交问题之 后，其他用户可以利用自身的资源或是网上的资源来解答问题。提问者根据自己的实际 情况，对提交的答案进行评价处理。如果提问者对问题的答案满意，则把悬赏分给回答 者。如果提问者没有得到满意的答案，可以对问题进行补充说明，或是提高悬赏额度， 来吸引更多的用户关注这一问题，直到提问者获得较满意的答案为止。只要把问题提出 来，就会有答案。互动问答平台连接了无数互联网的用户，共同解答问题。在解答问题 的同时，不仅可以获得点数回馈，升级功能，而且还能带来成就感和荣誉感。使得用户 更加积极地参与到问答活动当中。1 1 6 】 7 ( 2 ) 分析器 分析器是分析信息收集器所搜索到的信息，对对信息收集器下载的网页进行分析， 从中抽取出索引项建立索引，并将索引存入到索引数据库。在分析的过程中，包括分词、 过滤和转换技术，其中大部分从全文中抽取术语，建立全文索引。【2 0 】 ( 3 ) 索引器 8 东北师范大学硕士学位论文 索引器是将文档以一种便于检索的方式表示出来并存储在索引数据库中。索引一般 按倒排文档方式存放。【2 1 】 ( 4 ) 检索器 检索器的功能是根据用户的查询快速检索出索引库中与用户查询请求相关的文档， 并评价查询与文档的相关度，将相关度较大的所用文档按照相关度递减的顺序排列返回 给用户。 ( 5 ) 查询接口 查询接口的作用是输入用户查询的内容、显示查询结果。在查询时输入界面中，用 户按照搜索引擎的语法格式输入检索词，在查询结果输出的界面中，搜索引擎将检索结 果列表显示，每一条结果都包括文档的标题、摘要和连接地址等相关信息。 2 2 1 ( 6 ) 索引数据库 索引数据库用于存放信息收集其从互联网上抓取的网页并经过分析器处理后，再由索引器建立 索引处理后的索引记录。 2 3 2 搜索引擎的工作原理 搜索引擎的原理，可以看做三步：首先从互联网上抓取网页，然后建立索引数据库； 最后在索引数据库中搜索排序。 2 3 填工作流程如图l 所示： 图1 搜索引擎工作原理 ( 1 ) 从互联网上抓取网页 信息收集器常常是一个计算机程序，如能够从互联网上自动收集网页的系统程序， 自动访问互联网中的网页，并沿着网页中的所有url 爬到其它网页，循环这一过程， 并把爬过的所有网页收集回来。【卅 9 东北师范大学硕士学位论文 ( 2 ) 建立索引数据库 由分析索引系统程序中的分析器和索引器对收集回来的网页进行分析，提取相关网 页信息其中包括网页所的url 、编码类型、页面内容包含的所有关键词、关键词位置、 生成时间、与其它网页的链接关系等，然后根据一定的相关度算法进行大量计算，得 到记录每一个网页针对页面文字中及超链中每一个关键词的相关度的文档，然后用这些 相关信息建立索引数据库。1 2 5 j ( 3 ) 在索引数据库中搜索排序 当用户输入关键词搜索后，由检索器从网页索引数据库中找到符合该关键词的所 有相关网页。按照现成的相关度数值排序，相关度越高，排名越在前。最后，由页面生 成系统也就是查询接口，将搜索结果组织起来返回给用户。【2 6 】 2 3 3 知识搜索引擎的工作原理 知识搜索引擎无法实现搜索互联网网页的商业化的搜索引擎，而且也是没有这样必 要的，因为知识搜索引擎的搜索引擎部分的定位是对于系统数据库中的所有问题内容进 行全文检索。 知识搜索引擎的全文检索是指计算机索引程序通过扫描文档中的每一个词，对每一 个词建立一个索引，指明该词在文档中出现的次数和位置，当用户查询时，检索程序就 根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似 于通过字典中的检索字表查字的过程。可以看出，全文检索的工作机制和搜索引擎的工 作原理在根本上是一致的，区别在于建立索引的来源不同，而且搜索引擎在分析索引是 要更加复杂。全文索引需要建立索引和提供查询的基本功能外，还需要有方便的用户接 口。知识搜索引擎的核心部分建立索引，索引的建立是通过文本分析引擎实现的。 文本分析引擎的核心是分析器，分析器在索引操作和查询过程中都扮演着重要的角 色。分析器对分析操作进行了封装。分析器通过执行若干操作，将文本语汇单元化，这 些操作可能包括提取单词、去除标点符号、将字母转化为小写、移除常用词等。从某种 意义上讲，分析器是等同于我们通常所说的分词器的。由于分析器天生是支持英文的， 而对中文的支持就不那么尽如人意了。对于中文来说，全文索引首先还要解决一个语言 分析的问题，对于英文来说，语句中单词之间是天然通过空格分开的，但是汉语语句中 的字是紧紧相连的。所以，进行索引之前首先要把语句按“词进行切分，这是一个很 大的问题。 当用户向知识搜索引擎提交检索需求时，系统接收到检索内容的文本，将文本传送 到文本分析引擎，分析器对文本内容进行分析，将文本语汇单元化，提取无意义单词、 去除标点符号等，将语句切分为单元词。下面以“请问研究生毕业设计怎么做? 为例 子，阐述知识搜索引擎工作原理，如图2 i o 东：l t ：v i l i 范大学硕士学位论文 图2 知识搜索引擎工作案例 首先，去除无意义语词和标点符号。将用户提问的问题简化成“研究生毕业设计。 其次，采用自动切分算法方式切分出来，但肯定不能用单个字符作为索引单元( 单 字切分) ，否则查“上海时，“海上也会匹配，会搜索出大量的无用信息。将查询词 组按规则进行切分：”研究”，”生毕”，“业设，“计等多个关键词之间按与a n d 的关系 组合，能够正确地映射到相应的索引中。我们可以看到，对于“研究生毕业设计 来说 我们所要求的分词效果是“研究生毕业设计”，而二元分割法却产生了类似“生毕 、“业 设这样的冗余单元，这样势必会引起系统索引文件的大幅增长。所以要更好的切分中 文语句，需要分词系统按照中文的语言习惯进行切分为其配备一个比较丰富的词库 ( 并且动态增长) 以及相应的匹配算法。通过与词库中的单元词匹配得到“研究生 和 1 1 东北师范大学硕士学位论文 “毕业设计两个关键词组合。 “研究生和“毕业设计 单元词集合与索引数据库中的索引文档进行匹配，将匹 配程度最高的文档所指引的知识库中答案提交给用户。若无匹配结果，系统将提醒用户 发布问题征集答案。待最佳答案生成后，将单元词集合收录到索引数据库中，将最佳答 案收录到知识库中并建立连接，以备下次用户查询需求。 2 4 社区化搜索理念 2 4 1 社区与虚拟社区 “社区 一词是社会学的概念，其起源可以追溯到德国的社会学家滕尼斯( f e r d i n a n d t o n n i e s ，1 8 5 5 - - 1 9 3 6 ) ，他是在1 8 8 7 年出版的一本书( ( g e m e i n s c h a f t u n dg e s e u s c h a f t ) ) ( 社 区与社会) 中最早提出g e m e i n s c h a f i 即社区概念的。社区是：由同质人口所组成的具有 共同习俗、价值观与认同感等社会心理特征，本社区成员建立亲密关系、守望相助、富 有人情味但与世隔绝和排外的社会关系的团体。虚拟社区是互联网使用者进行互动后， 产生的一种社会群体。【2 7 】由此可见，社区概念的本质是社区成员具有共同的价值观、认 同感和个人特质，这是构成社区的实质与精髓。其中许多以共同的兴趣爱好、价值追求 和人格理想等心理和情感因素的人结成小群体或非正式群体。这些群体的存在不受地理 限制而活跃在社会生活的众多领域，这种群体关系也是一种社会关系，后来在社会学中 被称为“精神社区 。其本质精神强调由社区成员的社会行为和社会互动逐渐形成的具 有共同的价值观、需求和社会认同感等社会心理因素的关系共同体。虚拟社区也是属于 这一层面和含义上所存在的群体关系。【2 8 1 最早的关于虚拟社区( v i r t u a lc o m m u n i t y ) 的定义是由英国学者霍华德莱因哥德 ( h o w a r d r h e i n g o l d ) 在1 9 9 3 年的一本书虚拟社区( t h ev i r t u a lc o m m u n i t y ) q 提到的， 他将虚拟社区定义为“一群主要藉由计算机网络彼此沟通的人们，他们彼此有某种程 度的认识、分享某种程度的知识和信息、在很大程度上如同对待朋友般彼此关怀，从 而所形成的团体。” 2 9 1 与现实社会的通过面对面的互动而建立的心理关系或情感关系相 比，虚拟社区不是各种要素简单机械地拼凑组合，它是一个动态的、具有较高级需求的 社区文化心理的系统，在这个系统中，社区成员在交流平台上，在自由平等的环境和思 想下，进行交流互动。 虚拟社区与现实社区一样，都包含了一定的场所、一定的人群、相应的组织、社区 成员的参与和某些相同的兴趣爱好、文化等特质，提供各种信息交流的手段，如通信、 聊天、讨论等，是社区居民进行互动。【3 0 j 但是虚拟社区具有与现实社区的不同之处在于 【3 l 】： ( 1 ) 表达的自由性； ( 2 ) 缺乏集中控制； ( 3 ) 多对多的传播交流； ( 4 ) 成员处于自愿的行为。 1 2 东北师范大学硕士学位论文 目前虚拟社区最重要的几种形式有b b s 、u s e n e t 、m u d ，在我国以b b s 为主要表 现形式，并结合其他同步异步信息交互技术形成的网络化数字化的社区形式。在社区中 引入了“人”的元素，使之更贴合用户原本的使用习惯与目标，使用户之间的互动更加频 繁。用户自愿在一起发言、讨论、评价，在这一过程中形成了稳定的用户群，同时也吸 引了许多潜在客户。在这一良性循环中用户群的人数逐渐扩大和忠诚度较高，并逐渐转 化为商业价值。 2 4 2 知识共享 知识共享是知识的拥有者通过某些途径和方法将知识传递给知识需求者，并在传递 的过程中进行互动。其中知识的拥有者可以是一个人，也可以是一个群体或组织。【3 2 】 每个人在知识共享的过程中通常扮演双重身份，即使知识的拥有者也是需求者。其中知 识共享的互动形式分为三种：一对一、一对多、多对多。这三种形式在虚拟社区中都可 以实现，“一对一”是知识拥有者将知识传递给知识的需求者，同时知识需求者也向知 识拥有者进行反馈，使得彼此之间形成知识的双向流动。“一对多是知识拥有者单一 地将知识传递给多个知识需求者，彼此之间的知识流是单向的。“多对多存在于群体 中的知识共享，群体中的每一个成员都可以彼此共享知识，各取所需，相互交流，彼此 之间的知识流向既可以是单向也可以是双向，比前两种方式更为复杂。【3 3 】 虚拟社区成员将自己看做是社区的一员，在心理状态上是一种认可，成员不再是唯 一的、分离的个体，是集体中的一员，在认知、情感还是评价上都与集体相互影响。认 知是指通过参与社区的活动对成员有所了解，包括与团体其他成员的相似之处和与非成 员的不同之处。情感体现了对所在团队的感情投入，包括依附感、承诺和归属感，这可 以培养团体成员的忠诚度。评价指团队成员所带来的价值感，表示个人所根据在团体的 自我实现来测度。要实现认知、情感和评价上的认同，需要个人去维持与社区其他成员 的关系。这使得成员积极的参于社区活动，在参与的过程中通过团体的规范和自我引导 达到共同的理想目标和价值观。如果虚拟社区成员的价值观和目标与其他成员是相同 的，那么他们将形成知识共享的动机。【3 4 j 同一虚拟社区的成员具有相同的兴趣爱好和目 标，共同的兴趣爱好来源于一定程度的讨论，成员在社区中可以客观自由地表达自己的 思想的理念，成员之间相互关心，彼此通过共同分享某些行为或主题，可以满足成员间 人际交往的需要，由此产生的归属感使得成员们更加热衷于讨论活动，越来越多的人分 享彼此的知识，收获成就感，知识共享得以良性地循环。 由于虚拟社区跨越了时间和空间的限制，使得不同地方、不同时间、不同文化背景 的人都可以参与到社区活动中，形成成员多样化。社区成员多样化使得成员获取的知识 更加全面和深刻。由于不同文化背景、不同专业知识、不同领域的人对同一个问题可以 从不同的角度去理解，因而会对讨论的问题产生不同的看法，从不同的角度发表意见， 分享观点，看问题会更加全面、透彻、深刻。 社区化搜索从2 0 0 6 年才开始有所讨论，其定义也没有达到统一。但人们普遍认同搜 索引擎在未来若干年当中的社会区趋势会日渐明显。人们对于信息需求的满足将越来越 1 3 1 4 东北师范大学硕士学位论文 第三章知识搜索引擎典型案例分析 目前国内的知识搜索引擎主要有三个，百度“知道、新浪“知识人 和雅虎“知 识堂 。其中以百度知道发展规模最大。据中文al eax 网站2 0 1 0 年3 月2 5 日统计 表明，百度日均访问流量( 一周平均) 为5 2 5 6 0 0 0 0 ，百度“知道 占8 4 ( 近月页面访问比例) ， 也就是说，百度“知道的日均访问流量达到了4 4 1 5 0 4 0 ，人均页面浏览量为5 2 。新浪日 均访问流量( 一周平均) 为2 4 ，9 0 0 ，0 0 0 ，新浪“知识人? 占1 1 ( 近月访问比例) ，也就是 说，新浪“知识人 的日均访问流量达到了2 7 3 9 0 0 ，人均页面浏览量为2 6 。1 3 5 j 下面从页 面设置、类目设置、搜索方式、提问方式、搜索结果、相关协议和积分激励机制等方面 详细介绍这三个知识搜索引擎。1 3 6 1 3 7 】【3 8 】 3 1 页面设置 百度“知道”的页面模块设置有：搜索提问框、问题分类、精彩推荐、公告区、知 道公社、知识掌门人、小桔灯、待解决问题、投票中问题、百科精彩词条、品牌全知道、 本周知道之星、本周推荐专家、周积分上升排行、总积分排行。 新浪“知识人”的页面模块设置有：搜索提问框、问题分类、共享资料库、开放词 典、用户榜、专家团、推荐问题、最新问题、请来帮帮我、今日知识看点、公告栏、荣 誉知识人、上周得分排行总积分排行。 雅虎“知识堂 的页面模式设置有：搜索提问框、2 4 小时问答、小编推荐、精选知 识、知识专题、网友正在问、猜你喜欢看、网友最新解决问题、投票问题、高分问题、 高难问题、知识关注榜、在线答人、可能对你有帮助的答人、答题王、上周积分排行榜、 积分总排行榜。 从页面设置上来看，百度“知道”和新浪“知识人 在页面设置上比较相似，模块 设置上大同小异。雅虎“知识堂 在页面名称设置上较口语化，页面整体感觉比另外两 个复杂。最大的不同点在于百度“知道”和新浪“知识人的页面上对电脑网络、生活、 医疗保健、体育运动、电子数码