垂直搜索引擎及其个性化推荐研究

1、中国科技论文在线垂直搜索引擎及其个性化推荐研究王秀坤，韩冰大连理工大学电子与信息工程学院，辽宁大连 (116024)E-mail：摘 要：本针对通用搜索引擎在当前网络搜索应用中出现的搜索结果冗余度过大、信息定位不准确的问题，本文对垂直搜索引擎进行了研究，剖析了通用搜索引擎和垂直搜索引擎的体系结构，比较了两者的工作流程和搜索结果进行，进而构建了一款面向城市餐饮娱乐领域的垂直搜索引擎，利用垂直搜索引擎专注于某一领域从而降低了“一词多义”现象的特性，有效提高了查全率和查准率。针对垂直搜索引擎在无法满足不同用户的个性化需

2、求方面的不足，分析了垂直搜索引擎的个性化信息检索和推荐技术，然后从实际应用出发，设计和实现了基于用户和文档特征向量矩阵的个性化检索和推荐算法，并在实验和应用中得到了验证，从而满足了不同用户的个性化需求。关键词：个性化推荐；搜索引擎；垂直搜索；信息检索；特征向量中图分类号：TP393.031. 引言截至2008年底，中国网民数达2.98亿，搜索引擎使用率从2007年的72.4%下降为68.0%，但用户增长5100万人，高于电子邮件(56.8%)，仅次于即时通信(75.3%)。迄今已有超过两亿人从搜索引擎中获益1。搜索引擎成为备受欢迎的网络服务，因为它解决了在浩瀚的互联网信息海洋中快速定位信息的瓶

3、颈问题。但随着互联网迅速发展，Web信息资源呈“爆炸式”增长，出现了“信息过剩”现象，通用搜索引擎面临信息收集冗余与精确定位的双重挑战。垂直搜索引擎应运而生，以专业化的视角，细致化的信息处理方式，为用户提供更有效的服务。本文从搜索引擎的体系结构出发，针对通用搜索引擎存在的问题，探索垂直搜索引擎的工作流程，分析了其优势；并且引入一款实际应用中的垂直搜索引擎进行分析。然后以满足用户个性化需求为导向，设计实现了一个垂直搜索引擎的个性化信息检索及推荐算法，并进行了验证。2. 通用搜索引擎搜索引擎并不真正搜索互联网，它搜索的实际上是经过预处理的网页索引数据库。无论是通用搜索还是垂直搜索，在这一点上是一致

4、的。真正意义上的搜索引擎，通常指的是收集了因特网上几千万到几十亿个网页并对网页中的每一个词（即关键词）进行索引，建立索引数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词的网页都将作为搜索结果被搜出来。在体系结构上，现代大规模通用搜索引擎基本都遵循三段式的工作流程：即网页搜集、预处理、查询服务。起始于网页搜集，结束于查询服务，整个流程可以反复进行，从而达到系统的更新。其工作流程如图 1 所示。图 1 通用搜索引擎三段式工作流程Fig1 Search Engine Workflow-1-中国科技论文在线其中网页搜集面向整个

5、互联网，在超级链接分析技术基础之上进行网页搜索；预处理包括网页关键词提取、重复或转载网页消除、链接分析、潜在关联信息挖掘、网页重要程度计算等，最终产生关键词到网页文档的倒排索引文件结构；查询服务则实现用户查询与信息反馈。搜索引擎的体系结构，其主体部分由搜集器、索引器、检索器、用户界面和后台的索引数据库等组成。其体系结构如图 2。图 2 通用搜索引擎的体系结构Fig 2 Search Engine Architecture通用搜索引擎，囿于网页信息采集范围及预处理的深度，查询的结果信息量巨大。统计表明：在数以千计的结果页中，用户平均查看的一般不超过两页。为什么不缩小信息范围，提高信息与用户的相关

6、性呢？遗憾的是，这正是追求“大而全”的通用搜索引擎难以做到的，直到有了垂直搜索引擎。3构建通用搜索引擎在一个崇尚个性化和效率的时代，人们希望用最短的时间，找到最有用最适合自己的信息。信息不在于多，而在于精。3.1 垂直搜索引擎的定位垂直搜索引擎是相对于通用搜索引擎信息量大、查询不准确、深度不够等问题提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入2。所谓垂直搜索，就是针对专业特定的领域或行业的内容进行分析挖掘，精细分

7、类，过滤筛选的专业搜索3，其本质是对垂直门户信息提供方式的一次简化性的整合。由于垂直搜索引擎只涉及一个或几个领域，词汇或用语“一词多义”的可能性降低，而且可以利用专业词表进行规范和控制，大大提高了查全率和查准率。3.2 垂直搜索引擎与通用搜索引擎的关系垂直搜索引擎的出现不是对通用搜索引擎的颠覆，而恰恰是一种细分和延伸，是对某类网页资源和结构化资源的深度整合，并为用户提供符合专业用户操作行为的信息服务方式。-2-中国科技论文在线很多人误解垂直搜索就是把相关的行业网页做一采集，进行信息抽取过滤，实现行业化搜索。如果这样，垂直搜索根本无法媲美通用的网页搜索

8、，因为后者很容易就能将网页分类。垂直搜索应是对垂直行业信息进行深度加工，有效整合，为用户提供通用的网页搜索无法做到的专业性、功能性，实现个性化服务4。3.3 垂直搜索引擎的工作流程本文构建的垂直搜索引擎已经成功用于商业运营，目的是向大中型城市消费者提供餐饮娱乐搜索服务，其体系结构如图 3。图 3. 垂直搜索引擎的工作流程Fig.3 Vertical Search Engine Workflow从图中可以看出，本文构建的垂直搜索引擎依然遵循三段式工作流程，只是针对目标在具体处理方式上做了改变，细化了信息的行业范畴，细化了信息处理的粒度，使信息更加精确。表 1 垂直搜索引擎与通用搜索引擎工作流程比

9、较Tab.1 Workflow Comparison流程网页搜集预处理查询服务类型通用搜面向互联网；深度优关键词提取，网页过滤，建立关关键词输入，分词，含关键词键词到网页文档编号的倒排索引的网页信息(标题、摘要)有序列索引擎先或广度优先遍历。结构。出。垂直搜配置主题蜘蛛，搜索结构化信息抽取入库，数据清洗、关键词输入，分词，返回相关特定主题信息；多为重复识别、同质信息整合，分词，信息列表(信息来源及基本特索引擎广度优先遍历。建立字段到文档的索引。征)，可过滤、排序。垂直搜索引擎和通用搜索引擎一个最大的区别是对网页信息进行了结构化抽取加工。将网页的非结构化数据抽取成特定的结构化数据，存到数据库，进

10、行进一步的加工，再以搜索的方式展现给用户。基于结构化数据和全文数据结合，垂直搜索从本质上将搜索服务推向了专业化、细致化和个性化。下面以图表的形式展示一下以结构化数据为支撑的垂直搜索引擎为用户提供了怎样专业化、细致化的搜索服务，见表 2。-3-中国科技论文在线从对两者结果的比较可以看出，垂直搜索相对于通用搜索，搜索结果减少，搜索命中率提高，信息表现形式更加灵活，用户参与度也提高了。然而，依靠用户输入关键词搜索的策略，只能从信息本身出发，评价信息。但不同用户，因所处行业、个人喜好不同，对于同质信息，也会有不同的心理定位。表 2 垂直搜索引擎与通用搜索引擎

11、搜索结果比较Tab.2 Search Results Comparison结果表现形式排列方式查全率查准率结果描述类型通用网页内容摘要系统预先设定的相关数量巨大相对较低标题、摘要、搜索链接度排序算法数以万计30%URL引擎垂直形式规整的结在相关度排序算法的数量有限较高与产品或服搜索基础上，用户可选定务密切相关构化数据最多几百可达 90%引擎排序策略的全部信息4垂直搜索引擎的个性化检索与推荐在搜索领域有这么一句话：用户无法描述他要找什么，除非让他看到想找的东西。4.1 个性化推荐个性化推荐是以用户满意为中心的主动服务，是根据用户的不同情况，提供有针对性的服务。具体就是在用户浏览网站时，尽可能地迎

12、合用户的浏览兴趣，并且不断调整自身来适应用户浏览兴趣的变化，使得每个用户都有是该站点唯一用户的感觉5。从通用网页搜索到专业化的垂直搜索，搜索引擎迈出了提升用户满意度坚实有力的一步，整体上提高了服务质量，却未考虑到用户个体的差异。没有差异化的产品或服务在互联网赢家通吃的规则下是无法生存的，不能简单模仿，而要想办法形成互补。4.2 个性化信息检索与推荐算法设计个性化信息检索与推荐就是把用户的兴趣偏好也作为检索的输入项，使搜索得到的结果符合用户个性化需求。将用户相关性引入搜索结果，无疑是对关键词相关性的一种补充。这样可以调整服务的内容，包括重新分级、过滤掉不相关或相关性较低的结果、重新排序，使相关性

13、高的结果排到前面等。届时，用户看到的将不再是雷同的信息，而是为自己量身定制的有着鲜明个人特色的服务。本系统的设计构想是：利用用户搜索日志，包括查询关键字和浏览轨迹（网页标题和标签信息），构建用户特征向量，将这些具有文本特征的关键词与标题连接起来，构成一篇虚拟文档来作为用户的个性化文档。将此文档转换为具有词频权重的向量即用户特征向量。此操作的理由是：首先，词频权重确实能够反应出用户对某关键词的感兴趣程度；其次，在实践中已得到验证，基于统计的方法往往比其他建模方法更为有效；再次，文档转换为向量的处理过程，包括分词、词频统计、权重公式计算均已非常成熟，实现起来比较简单。具体实现方法为：令 D = D

14、1 , D2 ,. Dn 表示由 m 个词、 n 个文档组成的文档集合，其中-4-中国科技论文在线D j = d1j , d 2j ,d mj T 是文档向量，d ij 表示词i 在文档 j 中的词频权重；词-文档矩阵 A 定义为：A = D1 , D 2 ,. D n ；Q = q1 , q2 ,. qn T , qi 表示词i 在查询中出现的词频权重。系统在词-文档矩阵 A 建立之后利用 SDD 算法对其进行分解、降维，以强化语义关系，提高空间效率，得矩阵A k 。检索过程中用户输入的关键词经分析、分词等处理成为一个 K 维查询向量Q k ，用户

15、个性化文档经过处理后成为一个 K 维的特征向量Uk ，新的查询向量的计算公式为：N k = abQk + (1 - )U k ,0 1,b =U k(1)Qkb 的调节使得Qk 与Uk 长度相等， 用来控制相关度计算中查询相关性与用户相关性的比例。按s = Nk Ak 计算相似度，据此给出搜索结果。垂直搜索引擎个性化信息检索框架如图 4 所示。用户1.用户n查询/返回接口用户行为跟踪 注册/登录接口查询分析搜索日志记录注册/登录查询代理用户行为数据库用户信息数据库倒排索引 用户兴趣分析 图 4 垂直搜索个性化信息检索框架Fig.4 Personalized Information Retrie

16、val Framework将垂直搜索引擎的个性化检索信息记录到用户信息数据库中，当系统检测到具有相同特征的用户使用查询服务时，就可以推荐用户可能感兴趣的搜索结果，甚至直接推荐本行业相关服务，引导用户更有效使用搜索引擎。4.3 实验结果分析以本文所使用的垂直搜索引擎“找查网”为例，城市设定为“大连市”。当匿名用户在搜索框中输入“水煮鱼”进行检索，所得到的结果如图 5 所示。搜索结果按照搜索引擎默认的结果排序策略，将搜索的结果整合后反馈给用户，所有匿名用户进行同样的搜索，所得到的结果都相同。当用户注册登录，并且设置了个性化信息，如地理位置、口味菜式、心理价位等，使用同样的关键词进行搜索，得到的结果

17、如图 6 所示。搜索引擎对返回的结果数据，根据用户的个性化信息进行了重新排序，其中变动的信息有位置、菜系、价位等。可见加入了个性化检索和推荐功能的垂直搜索引擎，更加满足用户的个性化需求，也更加能够吸引用户长期使用，并随着用户行为记录的增加，进一步增强用-5-中国科技论文在线户的个性化体验。图 5 匿名用户搜索结果Fig.5 Anonymous User Search Results图 6 登录用户搜索结果Fig 6 Login User Search Results5总结随着网络发展和普及，个性化的信息需求与日俱增，而垂直搜索引擎可以帮助用户在最短的

18、时间内找到最适合自己的信息。在垂直搜索引擎中同时引入个性化信息检索和推荐，不仅提高了信息的查准率和用户满意度，同时也增强了用户的个性化使用体验和感受，能够在为用户提供有效信息的同时更加契合用户对个性化检索的需求。今后将进一步探索搜索引擎-6-中国科技论文在线中的个性化推荐相关问题，以期更好的满足用户个性化需求。参考文献1 CNNIC. 中国互联网络发展状况统计报告, 2009.01: 30-31.2 垂直搜索引擎. /view/7491.htm, 2006-04-21.3 垂直搜索:专业公司夹缝中求生存. 经

19、济参考报, 2005-11-21.4 张晓宁. 走近垂直搜索. 电子商务世界, 2006.02.5 Mobasher B et al. Effective Personalization Based on Association Rule Discovery from Web Usage Data： WIDM01, Atlanta，2001-11.Personalized Recommendation ResearchBased on Vertical Search EngineWang Xiukun, Han BingElectronic and Information Engineerin

20、g Institute, Dalian University of Technology, Dalian, Liaoning (116024)AbstractAccording to the problems occurred in modern search with general search engines, such as search results redundancy and information location inaccuracy, this paper researched on vertical search engine, an analysis of search engine and vertical search engine architecture as well as a comparison between their workflow and search results was taken on, then built a vertical search engine focusing on urban repast and consumption, with the feature that vertical search engin