分词算法优化-局域网FTP搜索引擎设计与实现的中期报告_第1页
分词算法优化-局域网FTP搜索引擎设计与实现的中期报告_第2页
分词算法优化-局域网FTP搜索引擎设计与实现的中期报告_第3页
全文预览已结束

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

分词算法优化——局域网FTP搜索引擎设计与实现的中期报告一、背景传统的文件搜索引擎大多是基于互联网的，对于局域网内部的文件搜索功能比较弱，尤其是在企业内部，需要频繁地在本地局域网内寻找和共享文件。因此，我们开发了一种基于局域网的FTP搜索引擎，该搜索引擎能够快速找到本地网络内的FTP服务器并搜索其中的文件。二、简介该FTP搜索引擎是一种基于分词算法的搜索引擎，主要通过对文件名和文件内容进行分词，将所有文件信息存储到数据库中，并通过检索，查询该数据库中的信息。三、分词算法的优化1.中文分词对于中文的分词，我们采用了结巴分词器来进行处理。结巴分词器是业界比较优秀的中文分词器，具有分词精度高、使用简单、速度快等特点。2.英文分词对于英文的分词，我们采用了NLTK工具包中的WordPunctTokenizer来进行处理。相比于其他的英文分词器，WordPunctTokenizer更加准确地识别单词。3.文件内容分词对于文件内容的分词，我们采用了jieba分词器和NLTK工具包中的word_tokenize()方法相结合的方式进行分词。首先使用jieba分词器进行初始分词，然后再根据WordPunctTokenizer对分词结果进行第二次分词，这样能够减少分词的误差。四、局域网FTP搜索引擎的设计与实现1.设计局域网FTP搜索引擎的设计主要包括三部分：数据抓取、分词处理和搜索检索。（1）数据抓取数据抓取主要包括两个步骤：一是获取本地网络内的FTP服务器列表，二是对FTP服务器中的文件进行扫描和抓取。具体实现方法为：通过调用系统API函数，获取本地网络内的FTP服务器列表，并对每个FTP服务器进行扫描和抓取。扫描和抓取的结果会被分类存储到数据库中。（2）分词处理分词处理主要包括对文件名和文件内容进行分词，并将分词结果存储到数据库中。具体实现方法为：使用上述所述的分词算法对文件名和文件内容进行分词，并将分词结果存储到数据库的相应表中。（3）搜索检索搜索检索主要包括以下步骤：用户输入关键词进行查询后，搜索引擎会首先对关键词进行分词，然后通过分词结果匹配数据库中的文件信息。搜索结果会根据相关性进行排序后呈现给用户。2.实现局域网FTP搜索引擎的实现主要包括以下几个方面：（1）网络扫描使用NetstatAPI函数获取系统中的网络连接信息，从而得到本地网络内所有的FTP服务器IP地址。（2）FTP访问使用FTPWebRequest类访问FTP服务器中的文件列表，并将结果存储到数据库中。（3）分词算法实现使用jieba分词器对中文文件名和内容进行分词，使用WordPunctTokenizer对英文文件名和内容进行分词，并将分词结果存储到数据库中。（4）搜索算法实现将用户输入的关键词分词后，在数据库中对分词结果进行匹配，获取匹配结果的相关性，并排名后呈现给用户。五、结论局域网FTP搜索引擎实现了对本地网络内的FTP服务器进行搜索的功能。本搜索引擎在分词算

人人文库> 全部分类> 毕业设计 > 开题报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论