企业搜索引擎白皮书_第1页
企业搜索引擎白皮书_第2页
企业搜索引擎白皮书_第3页
企业搜索引擎白皮书_第4页
企业搜索引擎白皮书_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

Mac-ESearch企业搜索引擎产品白皮书全面的全文检索解决方案。为企业解决大量、海量数据下的全文检索应用，并向用户提供高效的、准确的、安全的、个性化的搜索体验。该产品不仅可以应用在网站的全文检索上，也可以中间件模式用于应用系统中的数据检索与分析。2010/3/16#/10链接中选出一个继续前述过程，直到达到一定得限制条件后，重返上层选取新的链接进行爬行。两种策略如图2-11所示。图2-11广度优先与深度优先策略对比图2-11广度优先与深度优先策略对比由于互联网极其庞大，我们不可能抓取到互联网上所有的网页，所以特定的搜索引擎都会有一定的限制条件来防止爬虫抓取不必要的文件类型和无休止的抓取。例如，不关心PDF文档的爬虫会首先判断文件类型，并不耗费带宽去抓取PDF文档；某一大型网站的专用搜索引擎会限制爬虫只抓取该网站下的网页。爬虫的设计者和网站开发者之间有一些关于爬行的协议。网站开发人员可以在站点的首层目录下放置一个Robots.txt文件,指明该站点下那些目录可以访问,哪些目录不能访问。网站开发人员也可以建立一个网站地图（SiteMap）来列出该站点所有的网页链接，从而方便爬虫爬行该站点，同时有效地防止漏掉部分链接的情况。3.3搜索引擎响应速度搜索引擎查询结果的相关性固然重要，但响应速度也是必须要考虑的问题，毕竟没有人愿意花一天的时间去等待一个最佳答案。目前的商用搜索引擎中，Google返回的结果量和相关度都高于百度，但百度的响应速度高于Google。可以通过对查询结果的预处理来获得较高的响应速度，我们可以使用缓存技术将一些经常被查询的词的查询结果保存在内存中，当用户输入包含多个词的查询请求时，只需要对这些查询请求进行合并和重新排序即可。查询预处理技术如图2-9所示。除查询预处理技术外，分布式技术可将查询任务分担到多台服务器去并行进行，从而提高响应速度。如果将预处理技术与分布式技术结合起来，效果更佳。3.4系统结构图章系统硬件4.1硬件环境运行搜索引擎至少需要一个服务器用以安装搜索引擎服务器，索引服务器，网络爬虫服务器。以下配置为最小配置，仅供参考用。应用服务器：IBMSystemx3650,2*CPU(2.13GHz,E5506CPU),4G内存，双千兆网卡,SAS146GB*2磁盘阵列：IBMIBM[1814-20A]:DS5020，300G*8(DS5020300GB/15K4GbpsFCDDM)，双控制器•光纤交换机：IBMIBM[2498-B24]AN24B-4(IBMSystemStorageSAN24B-4Express)8口激活，光纤线*84.2系统软件环境平台基于Java语言开发，管理平台为B/S结构，开发语言为JAVA,所有平台完全自主知识产权，无绑定任何第三方产品。•操作系统支持AIX、Solaris、HP/UX、Linux、UnixWare开

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论