飞小组开题报告

1、题 目： SVN 文件搜索引擎系统的设计与实现学院：学院专业：工程学生：学号： *项目概述：SVN 是一款得到广泛应用的优秀的开源版本控制系统，能够极大的方便公司对源代码的管控，但当 SVN 上的源代码文件/文档数量很多时，查找特定的文档将变得非常 ，SVN 本身自带的搜索功能很难满足用户快速、精确的搜索需求。项目 于想在 SVN 上进行资源共享 的实现，还有公司 SVN 上面文档代码文件很多，目前公司需要做一个 SVN 文件搜索引擎系统来方便大家在上面搜索需要的内容。本 要求学生完成对各大开源搜索框架的预研分析，完成基于合适的框架的 SVN 文件搜索引擎系统的需求分析、系统设计等，重点研究垂

2、直搜索在该系统的设计与应用；研究中文分词，歧义识别；研究权重排序优化等重点问题，并提出解决思路，方案。设计方案：本 SVN 文件搜索引擎系统，主要解决用户搜索 SVN 的内容的需求，场景有以下几个：1.用户想搜索之前上传的某个文档，文档的名称大概记得，如:系统需求分析文档，2.用户想搜索之前上传的某个项目相关的所有文档，3.用户想搜索某些内容，如用户想搜索之前写过的某个函数等等。由于目前大体需求明确，但是具体的需求没有明确，所以，该系统考虑采用快速原型的过程模型。快速原型模型又称原型模型，它是增量模型的另一种形式；它是在开发真实系统之前，构造一个原型，在该原型的基础上，逐渐完成整个系统的开发工

3、作。本 SVN 文件搜索引擎系统采用快速原型模型的开发步骤有如下五个步骤：1. 快速分析阶段：与公司分析和用户配合，迅速确定 SVN 文件搜索引擎系统的基本需求，根据基本需求描述出系统所要体现的原型特征。2. 构建原型阶段：在快速分析的基础上，根据基本需求（搜索 SVN 的内容）说明尽快实现一个可行的系统（搭建好开发环境，构建整个系统的大体框架，有基本搜索功能）。这里主要考虑原型系统能够充分反映所要评价的特性，而暂时删除一切次要内容，忽略最终系统在某些细节上的要求，如安全性、坚固性、例外处理等等。3. 运行原型阶段：运行原型，发现问题，消除误解，和用户充分协调。4. 评价原型阶段：在运行的基础

4、上，考核评价原型的特性，分析运行效果是否满足用户的愿望，纠正过去交互中的误解与分析中的错误，增添新的要求（新的 SVN 文件搜索需求，新的系统需求，如权限的管理），并满足因环境变化或用户的新想法引起的系统要求变动，提出全面的修改意见。5. 修改阶段：根据评价原型的活动结果进行修改。若原型未满足需求说明的要求，说明对需求说明存在不一致的理解或实现方案不够合理，则根据明确的要求迅速修改原型。采用追加策略，先构造功能简单而且质量要求不高的模型系统，作为最终的，然后通过不断地扩充修改，逐步追加新的要求，最后发展成为最终系统。本系统主要包含以下几个模块：登录，搜索，数据处理，以及管理模块。搜索模块包含垂

5、直搜索，热门搜索，分库搜索和结果显示；垂直搜索分词按文件类型和按文档属性（如需求分析文档，详细设计文档等），结果显示有分页，排序，排序则包含权重设置；数据处理模块有索引和中文分词，索引有创建索引和优化索引，中文分词模块有歧义识别；管理模块有用户管理和权限管理和日志管理。本 SVN 文件搜索引擎系统主要功能结构如下图：本系统基于 Tomcat + Solr 框架实现，结构如下图：Solr 是一个基于 Lucene 的 Java 搜索引擎服务器。Solr提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的

6、管理界面。Solr 已经在众多大型的中使用，较为成熟和稳定。先安装 tomcat，再在 tomcat 上安装配置 solr，服务器搭建完毕，前台使用 JSP，solr 位于 tomcat 一层，与前台 JSP（或者使用其他技术也行）进行交互，与数据库进行交互。本系统重点研究有如下三点：1.垂直搜索在 SVN 文件搜索引擎的应用显然，如果只是给用户做通用搜索，那用户找到自己想要的内容还是很费劲。垂直搜索特点是细分，精确，如何做到细分，精确，即范围缩小，如何范围缩小，进行分类。垂直搜索是以结构化数据为最小。然后将这些数据到数据库，进行进一步的加工处理，把 SVN 的文件按照文档类型（PDF，exc

7、el，word，psd 等），和文档属性（需求分析文档，详细设计文档，UI 效果图等）进行分类，去重，最后分词、索引再以搜索的方式满足用户的需求。整个过程中，数据结构化数据抽取成结构化数据，经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。让用户能够方便快速地找到自己需要精确信息。2. 中文分词，歧义识别中文分词的解决方案采用相对成开源中文分词框架（直接安装配置就可以使用）再建立一个概率模型进行消歧，分词所依赖的词库也是影响分词准确性的一个重要的词库也是优化方案。，因此寻找或者建立一个好使用开源中文分词框架 IKyzer, IKyzer 是一个开源的，基于 java 语言开发的轻量级

8、的中文分词工具包。消歧的方式有：1）比较有效文本长度 2）比较词元个数，越少越好 3）路径跨度越大越好4）根据统计学结论，逆向切分概率高于正向切分，因此位置越靠后的优先5）词长越平均越好。 这些都是人为定的规则，按照统计方式进行消歧。还需要建立一个概率模型，基于此概率统计模型，进行消歧，此概率模型来源于SVN 上文档内容的特殊性（ 都是些项目相关的）。例如：大学生前来报到；有可能分成：大学，生前，来，报到；显然这里的“生前”是不合适的，那么就要基于概率，把生前踢出去，分成：大学生，前来，报到。3. 排序优化搜索后得到的结果需要进行排序，这样才能呈现给用户想要的东西。在 solr 下自定义排序规

9、则，设置权重参照如下规则：设置权重来对排序进行优化，1）点击率越高权重越高文本中出现次数越高权重越高密度(Keyword Density)越高权重越高 4） 出现在文本名权重高于出现在文本内容权重5） 出现在标题的权于出现在正文的权限要求学生完成对 SVN 文件搜索引擎的研究，设计与实现，系统功能完善，满足用户需求，解决重点研究问题，系统可拓展。主要参考文献：，基于Nh 和 Solr 的基础教育垂直搜索引擎的实现J电脑知识与技术 -2012 年 4 期华，基于改进最大匹配算法的中文分词粗分方法J计算机工程与应用 ISTIC PKU -2014 年 2 期，这就是搜索引擎:技术详解M 电子工业2

10、012 年 1 月 1日，搜索引擎M 科学部年: 2005-4作者: ian H. Witten / Alistair Mot / Timothy C. Bell，深入搜索引擎M 电子工业年: 2009，Lucene+nh 搜索引擎开发M 人民邮电年: 2008-8中文分词中的歧义识别处理策略J微计算机信息年:-2010 年 30 期中面向信息检索的自适应中文分词系统J 学报 ISTIC EI PKU -2006 年 3 期一种基于和分众分类的信息检索优化方法J理论与实践PKU CSSCI -2009 年 10 期毕业设计（）进度安排：序号毕业设计（）各阶段内容时间安排备注1研究搜索引擎相关框架，学习资料，整理资料2 月 24 日3 月 9日2毕业设计任务书和毕业设计开题3 月 9 日3 月 16日3项目代码的具体编写与优化3 月15 日5 月16日4初稿5 月