基于中文分词的搜索引擎的设计与实现-演示文稿_第1页
基于中文分词的搜索引擎的设计与实现-演示文稿_第2页
基于中文分词的搜索引擎的设计与实现-演示文稿_第3页
基于中文分词的搜索引擎的设计与实现-演示文稿_第4页
基于中文分词的搜索引擎的设计与实现-演示文稿_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

基于中文分词的搜索引擎的设计与实现,什么是搜索引擎？,搜索引擎是指自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的系统。因特网上的信息浩瀚万千，而且毫无秩序，所有的信息像汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为用户绘制一幅一目了然的信息地图，供用户随时查阅。,搜索引擎的原理？,网络机器人索引的建立与搜索Web服务器,什么是网络机器人？,网络机器人也称为“网络蜘蛛”(Spider)，是一个功能很强的WEB扫描程序。它可以在扫描WEB页面的同时检索其内的超链接并加入扫描队列等待以后扫描。因为WEB中广泛使用超链接，所以一个Spider程序理论上可以访问整个WEB页面。,索引的建立与搜索,Lucene是Jakarta Apache的开源项目。它是一个用Java写的全文索引引擎工具包，可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。,+,IK Analyzer是开源的，基于java语言开发的轻量级的中文分词工具包。它是一个面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现，并实现了简单的分词歧义排除算法。,基于Tomcat的Web服务器,Tomcat是一个开放源代码、运行servlet和JSP Web应用软件的基于Java的Web应用软件容器。Web服务器是在网络中为实现信息发布、资料查询、数据处理等诸多应用搭建基本平台的服务器。,搜索引擎的结构,源码图解,中文分词技术,意思：按照一定的策略将待分析的汉字串与一个充分大的词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功,中文分词方法,基于字符串匹配的分词方法,基于理解的分词方法,这种分词方法是通过让计算机模拟人对句子的理解从而达到识别词的效果。 基本思想：在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。 它通常包括三个部分：分词子系统、句法语义子系统、总控部分。,基于统计的分词方法,从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字如果同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计，计算它们的互现信息。,正向迭代最细粒度切分算法,正向迭代最细粒度切分算法是一个开源分词项目IK-Analyer 分词器的切分算法。其切分过程为：“中华人民共和国成立了”， 首先到词库中检索该搜索词中最大分割词， 即分割为： “中华人民共和国”和“成立了”， 然后对“中华人民共和国”切分为“中华人民”和“人民共和国”，以此类推。最后，“中华人民共和国成立了”切分为：“中华
人人文库> 全部分类> 毕业设计 > 毕业论文

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论