paoding分词总结.ppt_第1页
paoding分词总结.ppt_第2页
paoding分词总结.ppt_第3页
paoding分词总结.ppt_第4页
paoding分词总结.ppt_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Paoding分词小结,2,1.paoding分词简介 2.paoding接口设计 3.paoding自定义词典 4.paoding下一步工作,Content,3,paoding简介,Paoding,1.基于Luncene框架，使用Java开发的，是为互联网、企业内部网使用的中文搜索引擎分词组件,2. Paoding中文分词追求分词的高效率和用户良好体验,1.Paodings Knives中文分词具有极高效率和高扩展性,2. 使用基于不限制个数的词典文件对文章进行有效切分，能够对未知的词汇进行合理 解析,4,paoding接口设计,文本文档,数据库,5,paoding接口设计,文本文档,数据库

2、,analyzerToTxt(),analyzerToDB(),采用IO流保存,使用JDBC保存于DB，方便维护,6,paoding自定义词典,7,paoding自定义词典,缺陷,8,paodingAnalyzer分词主要流程,1. 利用PaodingMaker生成Paoding构建PaodingAnalyzer,2. 返回PaodingTokenizer，初始化Knife和TokenCollector,3.实现incrementToken方法，从input流中读取字符构建Beef作为待分词的字符串，调用Knife对其进行分析，并将结果放入TokenCollector中，并设置相关的Token属性,9,incrementToken()方法,Paoding中的该方法其实并不是一次取一个Token， 而是一次分解一串字符串放入到一个集合中， 再逐个去取，如果没有了再去分解一串字符串， 如此循环。 主要过程有三个： （1）构造Beef （2）用Knife去分解 （3）设置相关的一些属性。,10,paoding下一步计划,修改paoding算法的代码 实现词的最

人人文库> 全部分类> 教育资料 > 课设设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论