搜索引擎的未来

搜索引擎的未来

1.大数据及视频点的分析技术在信息过载和信息爆炸的时代，网络中的信息和资源迅速增长。通过快速、准确地搜索大量信息来解决这个问题。本文提出了一种新型的Web检索服务模式,它区别于百度,Google等传统通用检索服务,这些搜索给不同用户的都是按照检索规则提供的一致结果,有的还包含有大量广告,这是一对多的“广播”服务模式。信息来源与信息选择权在服务商,检索与信息获取的过程和内容没有考虑信息接收者的个体差异与信息需求的差异。而本文充分让用户参与到信息检索服务中来,更注重用户的个性化和信息需求的动态性,根据用户的搜索历史记录,收藏与评分记录,分析用户的兴趣点与关注点,主动向用户推送有价值的信息,这是一对一的“点播”服务模式。本文采用面向领域的垂直搜索技术,针对某一特定领域、某一特定人群或某一特定需求,构建垂直搜索引擎系统。垂直搜索引擎在信息获取时可以设定规则从有限个主题相关网站中提取信息。通过建立领域相关主题词库,从内容繁杂的页面中提取有价值的关键信息,经过系统整合成标准文档,作为垂直搜索引擎检索源。这样的检索源针对性强、结构清晰,内容精炼,能有效提高检索速度与检索准确率。2.用户信息上传能力(1)垂直搜索技术垂直搜索面向某一特定的专业领域,避免了通用搜索引擎搜索出的大量无关信息,提高了查询效率,使用户能够更迅速地查询到自己所需的信息。通过垂直搜索引擎,能够把具有相同兴趣点的人们集中在一个“社区”内,提高了协同过滤时的数据密度,在一定程度上避免了稀疏性问题,提高定位邻居用户集的效率。因此,垂直搜索与协同过滤相结合的策略,能有效提高用户兴趣分析与预测的准确率,显著提高信息推送效果。(2)协同过滤协同过滤技术的核心思想是用户会倾向于利用具有相似意向的用户群的产品,在智能搜索引擎中起着重要作用。本文统计用户的搜索历史记录,利用向量模型,将历史检索关键词和关键词出现的频率建立成空间上的n维向量。定义用户i和用户j之间的统计响亮为Vi和Vj,两者的相似性通过向量间的余弦夹角度量,余弦值越大表明两用户的相似程度越高。Vi和Vj的相似性Sim(i,j)为:(3)检索与排序结果排序的好坏是检验搜索引擎有效性的重要标准,大部分(88%)互联网用户仅关注搜索引擎结果前三页的内容,如果前三页没有满意的结果,立刻变换关键词或者更换搜索引擎重新进行检索。用户输入查询语句,利用中文分词方法,将查询语句分解成关键词,并计算关键词词频。首先计算出用户查询q和文档的相关程度Similarity(q,d)。搜索相关度的评分公式:得到用户检索语句与文档的相关程度之后,综合目标用户对于该文档的兴趣,以及Web用户群体对于该文档的平均评分与收藏次数,根据层次分析法,得到最终评分通过公式4得到的搜索结果相比起通用搜索引擎,将更加符合用户本身的兴趣,同时发挥Web用户群体的作用。得到普遍公认的优秀文档排名靠前,排名靠前的文档得到更多用户的关注与评价,形成良性循环,优秀的文档能在Web中迅速传播。3.垂直搜索是基于信息披露的领域设计的体系结构:经过前文中对个性化服务和垂直搜索技术的分析,本文设计的搜索引擎系统体系结构图如下所示。4.实验4.1操作系统监控Web服务器(1台):酷睿2双核CPU,4GB内存,Windows7操作系统,Tomcat6.0服务器。数据服务器(4台):酷睿2双核CPU,2GB内存,500GB硬盘,Windows7操作系统。数据采集与分析服务器(1台):酷睿2双核CPU,4GB内存,Windows7操作系统。4.2实验数据4.3用户群学习行为能较好反映用户兴趣在用户检索次数和评分次数达到一定数量的情况下(人均检索100次,人均评分300次,平均每个产品被打分1次),推送和搜索结果的准确是较高的(平均准确率分别达到82.5和88%),能较好地反映用户的兴趣。基于用户兴趣和用户评价的结果排序能较好使得搜索结果符合用户期望。同时,垂直搜索技术使得系统用户群的兴趣点相对集中,在一定程度上能够缓解协同过滤稀疏性问题,提高推送的准确率。实践表明,通过用户搜索历史记录判断兴趣相似的用户群方法在性能和功能上是有效可行的。本文设计和实现的数码产品垂直搜索引擎的方案是切实可行的,系统基本达到了预期的设计目标。5.互联网统一控制模式设计在各领域的应用实例本文着眼于解决目前信息检索中的困难,提出了一种基于信息推送、垂直搜索思想的Web检索“点播”服务模式,并着重分析讨论了垂直搜索,协同过滤,检索结果排序等关键问题。以数码产品领