已阅读5页,还剩11页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于中文分词的搜索引擎的设计与实现,太原理工大学软件1019班华指导老师:,什么是搜索引擎?,搜索引擎是指自动从因特网搜集信息,经过一定整理以后,提供给用户进行查询的系统。因特网上的信息浩瀚万千,而且毫无秩序,所有的信息像汪洋上的一个个小岛,网页链接是这些小岛之间纵横交错的桥梁,而搜索引擎,则为用户绘制一幅一目了然的信息地图,供用户随时查阅。,搜索引擎的原理?,网络机器人索引的建立与搜索Web服务器,什么是网络机器人?,网络机器人也称为“网络蜘蛛”(Spider),是一个功能很强的WEB扫描程序。它可以在扫描WEB页面的同时检索其内的超链接并加入扫描队列等待以后扫描。因为WEB中广泛使用超链接,所以一个Spider程序理论上可以访问整个WEB页面。,索引的建立与搜索,Lucene是JakartaApache的开源项目。它是一个用Java写的全文索引引擎工具包,可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。,+,IKAnalyzer是开源的,基于java语言开发的轻量级的中文分词工具包。它是一个面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现,并实现了简单的分词歧义排除算法。,基于Tomcat的Web服务器,Tomcat是一个开放源代码、运行servlet和JSPWeb应用软件的基于Java的Web应用软件容器。Web服务器是在网络中为实现信息发布、资料查询、数据处理等诸多应用搭建基本平台的服务器。,搜索引擎的结构,源码图解,中文分词技术,意思:按照一定的策略将待分析的汉字串与一个充分大的词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功,中文分词方法,基于字符串匹配的分词方法,基于理解的分词方法,这种分词方法是通过让计算机模拟人对句子的理解从而达到识别词的效果。基本思想:在分词的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。它通常包括三个部分:分词子系统、句法语义子系统、总控部分。,基于统计的分词方法,从形式上看,词是稳定的字的组合,因此在上下文中,相邻的字如果同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统计,计算它们的互现信息。,正向迭代最细粒度切分算法,正向迭代最细粒度切分算法是一个开源分词项目IK-Analyer分词器的切分算法。其切分过程为:“中华人民共和国成立了”,首先到词库中检索该搜索词中最大分割词,即分割为:“中华人民共和国”和“成立了”,然后对“中华人民共和国”切分为“中华人民”和“人民共和国”,以此类推。最后,“中华
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 统编版(五四学制)道德与法治七年级《日益完善的法律体系》交互式动画课件教学设计
- 高一班会课《打破刻板印象 共筑性别平等》教学设计
- 小学三年级综合实践活动安全上学放学教学设计
- 初中七年级数学有理数的乘法小升初衔接教学设计
- 高一数学《分段函数及其应用》疑难突破教学设计
- 八年级数学下册 图形的中心对称教学设计
- 小学二年级美术教学设计《孩子画笔下的世界》岭美版下册第12课
- 高中语文必修上册第三单元综合检测教学设计
- 小学六年级语文《浣溪沙》教学设计:以诗叙心 构建诗意栖居
- 高二化学选择性必修2 晶胞投影与堆积教学设计
- 客户支持需求升级通知函7篇
- 2026年下半年幼儿教师资格证《综合素质》真题及答案(完整版)
- 国投集团招录笔试真题2026
- 聚焦学习贯彻二十届五中全会课件
- 全国消防宣传月主题活动课件
- 小学三年级道德与法治“关心体贴老师”教学设计
- 2026年《中国慢性阻塞性肺疾病诊疗指南(2026版)》
- 2026-2030锦纶纤维行业市场发展分析及发展趋势与投资研究报告
- 2026年六盘水市钟山区法检系统书记员招聘考试参考试题及答案详解
- 2026年浙江省绍兴市社区工作者招聘笔试备考题库及答案详解
- 储能电站设备吊装方案
评论
0/150
提交评论