搜索引擎系统实现.doc

目录1.大作业要求-12.可行性研究报告-2 2.1引言-2 2.2可行性研究前提-2 2.3对现有系统的分析-2 2.4系统技术的可行性分析-3 2.5系统经济可行性分析-4 2.6社会因素可行性分析-4 2.7技术因素可行性分析-42.8结论意见-43.项目开发计划-5 3.1引言-5 3.2项目概述-5 3.3实施计划-6 3.4支持条件-73.5专题计划要点-74.需求规格说明-8 4.1引言-8 4.2项目概述-9 4.3功能需求-10 4.4非功能需求-155.心得与体会-166.附录-177.评分标准-18本课程大作业要求一、论文要求（1）对所选系统进行严密的需求获取以及需求分析。（2）给出所选系统的各层次需求，包括业务需求，用户需求，功能需求以及非功能需求。（3）给出所要实现系统的项目开发计划(简略)以及需求规格说明书。（4）需求规格说明书要详尽，必须包括以下内容：引言，总体描述，功能需求，接口需求以及其它非功能性需求等，符合需求规格说明书各项细则。（5）附录中给出所选系统需求规格说明书中各图表的获取过程。二、请根据自己的理解与体会谈谈软件需求工程过程的重要性。也可以以软件需求工程中某知识点谈谈自己的理解与看法。可行性分析报告一、引言 （一）编写目的： 搜索引擎已经成为广大网民日常生活中不可缺少的重要部分。中国互联网信息中心(CNNIC)2009年1月第二十三次调查报告显示：搜索引擎是网民在互联网中获取所需信息的基础应用，目前搜索引擎的使用率为68.0%，已经成为中国网民最常使用的网络服务之一，且学历越高，收入越高，搜索引擎使用率越高。而目前通用搜索引擎难以满足专业或高要求的客户的需求，而且网站需要提供搜索已给访问者更好的检索本站资源的方式（二） 项目背景： 项目的任务提出者： 某网站开发者：武汉理工大学软件工程10级学生用户：需要进行专业搜索的客户或需要搜索应用的网站实现平台：（三） 定义本搜索引擎根据开源的爬虫模块及外加网站预处理部分和查询应用及排名服务整合优化构成（四）参考资料： 软件需求工程毋国庆 梁正平 编著 机械工业出版社软件工程导论 张海藩 编著 清华大学出版社C程序设计 谭浩强 编著 清华大学出版社UML和模式应用Craig Larman 编著 机械工业出版社java语言与面向对象程序设计（第二版）王行言编著 清华大学出版社百度百科以及网站的资料参考二、可行性研究的前提 （一） 要求： 功能：通过关键字快速准确的检索出信息性能：稳定快速，查找信息准确输入：关键字输出：与关键字有关的链接、信息条目 （二）可行性研究方法： 通过调查分析搜索引擎系统的基本架构及用户的要求，利用已有的资源以及更高效的算法，以最简洁容易的方和尽可能低的成本在短时间开发出该系统。 （三） 决定可行性的主要因素： 设备状况、操作人员技术、经济条件、团队合作精神。 三、对现有系统的分析 3.1组织机构调查网站的日常管理维护人员对搜索引擎系统三个组成模块的管理监控。3.2 工作流程（1）爬虫模块 原始网页集由爬虫 spider 爬取网页并且保存在本地。（2）预处理模块收集到的单个网页，需要进行两种不同的处理，一种是放入网页库，作为后续处理的原始数据；另一种是被分析之后，抽取其中的 URL 连接，放入 URL 池等待对应网页的收集。网页的保存需要按照一定的格式，以便以后数据的批量处理。建立网页的索引，并用分词器对网页进行分词进而创建倒排索引 （3）查询服务模块通过接收用户的输入，调用后台程序对输入进行分词以及查询操作之后，将返回的查询结果在网页上显示3.3 费用调查开发所需的费用及硬件由需求网站提供3.4 设备 使用windowsXP及以上操作系统，以及3.5 人员系统实时管理、维护、更新人员3名， 3.6 局限性 搜索引擎系统受限于网站提供服务器的运算能力及网页信息搜集的完全程度、还有排序算法的有效程度四、系统技术可行性分析 （一）对系统的简要描述本搜索引擎系统使用 Java 语言而不是 C/C+ 等其它语言，因为 Java 中提供了对于网络编程众多的基础包和类，比如 URL 类、InetAddress 类、正则表达式，这为我们的搜索引擎实现提供了良好的基础，使我们可以专注于搜索引擎本身的实现，而不需要因为这些基础类的实现而分心。而且三个基本结构都有实现保障并良好衔接。（二）与现有系统比较的优越性 本项目应用了更简便并通用的模块，具有良好的查询速度并具备扩展性。同时采用多种更合适的排序算法，具备了更高效率，并确保所查询的信息更准确，更合用户心意，使系统在可用性与稳健性方面有了很大的进步。而且系统投入的资金也减少了许多，更有经济效益。(三）采用建议系统可能带来的影响 1.设备:采用建议系统后，使用的设备不要求太高，但如果网站检测范围广，资料多的话，需要服务器拥有合适的运算能力。 2.现有软件:建议系统采用了先进的数据库技术以及一系列高技术含量软件，对适用平台要求为Windows xp及以上，使用平台广但要求支持java运行的组件。 3.用户:界面人性化，操作简单，便于使用。4.对系统的影响：系统规模小，功能全，运行快。 （五）技术可行性评价 本软件有本校软件专业学生开发，而且使用的开发技术已经证实可用，功能目标应该能够达到不成问题。五、系统经济可行性分析 1.支出 （1）系统开发费用 1）人员费用：保守估计本系统开发期为三周，试运行一周。开发期需要开发人员x人，试运行期需要开发人员x人。人员费用为x万元。 2）设备费：本系统所需的硬件设备费及研究费用用为x万元。 3）不可预见费：按开发费用的15%计算。 （2）系统运行费用 1）系统维护费：由网站管理人员负责，费用由网站支出。 2）设备维护费：由网站指定人员进行维护。费用网站自己支付。 2.收益 综上所述,系统开发收益费用x万元,平均每人约x元。倘若提高工作效率 ，减少工作人员可以相应的提高收益。 六、社会因素可行性分析 1.法律因素本软属于项目组开发，符合法律各项规定。2.用户使用可行性本软件加快信息的查询速度和准确性，同时结构简单通用，系统维护简单便捷，同时应用方便，界面友好，具有可行性。七、技术因素可行性分析本系统开发人员对系统采用的Window 8操作系统，服务器采用的Window 操作系统，前端开发语言使用的JAVA, 并使用现成可行的扩展。技术上是可行的。八、结论意见 根据以上分析可知，开发该搜索引擎系统不仅有巨大的经济效益，而且使用搜索引擎不仅可以提高用户的信息查找速度，提高工作效率，并且可以获得用户的实时意向数据，了解用户需求，更好的为用户服务升级。但是时间有限，本系统可能有所缺陷，但由于本系统具有良好扩展性，我们会不断改进。所以,我认为开发此系统的条件已经具备,完全是可行的。项目开发计划一、引言 （一）编写目的： 搜索引擎已经成为广大网民日常生活中不可缺少的重要部分。中国互联网信息中心(CNNIC)2009年1月第二十三次调查报告显示：搜索引擎是网民在互联网中获取所需信息的基础应用，目前搜索引擎的使用率为68.0%，已经成为中国网民最常使用的网络服务之一，且学历越高，收入越高，搜索引擎使用率越高。而目前通用搜索引擎难以满足专业或高要求的客户的需求，而且网站需要提供搜索已给访问者更好的检索本站资源的方式（二） 项目背景： 项目的任务提出者： 某网站开发者：武汉理工大学软件工程10级学生用户：需要进行专业搜索的客户或需要搜索应用的网站实现平台：某网站主页（三） 定义本搜索引擎根据开源的爬虫模块及外加网站预处理部分和查询应用及排名服务整合优化构成网络爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。（四）参考资料： 软件需求工程毋国庆 梁正平 编著 机械工业出版社软件工程导论 张海藩 编著 清华大学出版社C程序设计 谭浩强 编著 清华大学出版社UML和模式应用Craig Larman 编著 机械工业出版社java百度百科以及网站的资料参考2. 项目概述2.1 工作内容为某网站建立一个搜索引擎系统，完成软件的开发、测试及试运行，并且完成网站信息的收集、处理及查询服务。该系统使网站能为用户提供查询的检索服务，还能根据用户的检索信息分析用户需求，实时完善服务给用户更好的用体验 2.2 主要参加人员由于该项目较小，参与人数少由本人组织完成。预计该项目开发小组共4人：项目经理：本人项目成员：待定2.3 产品2.3.1 程序 搜索引擎系统2.3.2文件1.项目可行性分析报告2.项目开发计划3.需求规格说明书4.详细设计说明书5.测试计划说明书6.用户文档2.3.3服务由于该程序通用精简，操作便捷，因此只需对网站管理人员进行一个简单的培训，具体的出现问题可以查看用户文档。同时系统更新维护方便可行，交给网站维护人员维护，只需对维护人员进行一个系统的培训，本项目组不需要进行参与具体的工作。但如果发生意料之外的变化，网站可以申请本项目组的技术支持。2.3.4非移交的产品开发源程序及其资料以及相关的开发计划、需求说明、设计及测试文件，需要由开发者保存，并具有开发权，不需要交给用户。2.4 验收标准2.4.1代码的验收：由于软件缺陷造成丢失数据，不符合设计要求，响应时间太长无法接受，规定功能没有完成等问题完善解决，最终运行高效便捷2.4.2 文档验收：清晰易读，内容详尽，符合规范。2.4.3 用户服务验收：经过仔细的一系列测试后，合乎要求，同时使用户可以熟练的操作系统。2.5交付日期：一个月后2.6 批准日期及批准者:本系统自2012年10月1号正式批准，批准人为xxx。 3. 实施计划3.1 工作任务的分解与人员分工人员分工具体由项目经理根据各人特长担任具体角色，完成自己的任务。3.2 接口人员由软件发开方派专人，按客户要求，指定地点安装，调试，运行并给客户演,在后期中负责告知系统维护人员如何维护。3.3 进度包括可行性分析、需求分析、项目开发计划、软件详细设计、编码、安装、测试、编写用户文档、培训等阶段活动和任务的安排。3.4 预算3.4.1开发费用： 1）人员费用：本系统开发期为三周，试运行一周。开发期需要开发人员x人，试运行期需要开发人员x人。人员费用为x万元。 2）设备费：本系统所需的硬件设备费及研究费用用为x万元。 3）不可预见费：按开发费用的15%计算。 3.4.2系统运行费用 1）系统维护费：由网站系统管理人员负责，费用由网站支出。 2）设备维护费：由网站指定人员进行维护。费用网站自己支付。3.5关键问题（1）没有经费和硬件设施有限（2）用户需求不清，存在误解及二义性 (3)第一次开发软件，开发人员没有实际经验 (4)时间有限，没有足够的开发时间4.支持条件4.1 计算机系统支持硬件环境：服务器 若干台可以正常工作的计算机软件环境：操作系统：Windows xp及以上 Web服务器：TOMCAT7.0 Web浏览器：Google Chrome正式版 数据库：mysql其他软件：SQL-Front 软件4.2 需由用户承担的工作需要和开发组进行沟通，以获取相应的需求。由开发组成员进行培训，掌握系统的操作，了解系统的结构，能够自行的维护和信息的管理。配备相应硬件系统，做到规范操作，软件交付日期为软件安装测试人员提供环境。5.专题计划要点5.1开发人员培训计划在具体设计阶段前，对开发人员进行专门的培训计划。5.2 测试计划指定时间内对软件进行各项测试工作。5.3 质量保证计划严格按照项目开发过程中的各项步骤，认真完成各项任务确保软件的质量。5.4客户培训计划在软件实际应用后的前一周，组织对用户进行软件操作及维护具体的培训。5.5 合同计划和客户协商签订软件使用合同。需求规格说明书1.引言1.1编写目的本说明书的编写是为了掌握需求规格说明书的写法；明确本系统的详细需求，完成搜索引擎系统的详细设计；系统掌握软件开发过程中详细设计的方法；为完成搜索引擎系统的需求设计报告及开发计划并了解相关的需求，为以后的工作做准备。1.2预期的读者和阅读建议本需求的预期读者是网站的系统管理人员、维护人员，以及本项目的项目经理等参、开发的人员、测试人员和文档编写人员。用户群主要对功能的了解而后者要求对整个用户文档有一个深的了解。1.3范围及背景本项目的名称：搜索引擎系统。本项目的任务：是为网站或专业用户建立高效的搜索引擎系统,帮助用户实现实时信息检索功能，并令用户根据搜索的信息内容对其目标群体有更全面的了解，实时更新优化，用户是网站管理维护人员。本产品是主要用于网站的信息搜索的需求设计的，主要包括信息的获取，原始网页库的建立，网页信息的预处理，网页索引的建立，信息的输入查询及排序算法后的结果输出显示。1.4定义网络爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。预处理模块：进行网页预处理等功能的一部分查询服务模块：负责最终结果生成及与用户交互的部分系统管理人员：负责对系统的基本信息的管理拥有最高权限。网站维护人员：负责日常的维护及简单故障的排除。1.5参考资料软件需求工程毋国庆 梁正平 编著 机械工业出版社软件工程导论 张海藩 编著 清华大学出版社C程序设计 谭浩强 编著 清华大学出版社UML和模式应用Craig Larman 编著 机械工业出版社java语言与面向对象程序设计（第二版）王行言编著 清华大学出版社百度百科以及网站的资料参考2.项目概述2.1 产品描述通过 爬虫模块得到一个原始网页库，而通过预处理部分建立网页的索引，并用分词器对网页进行分词进而创建倒排索引，最终通过查询服务模块实现信息的链接，及查询、排序、显示。2.2 系统使用用户本系统的最终用户有三种：一是系统管理人员为计算机专业人员，熟悉数据库、网络维护工作，可以负责数据变动及系统维护；二是网站维护人员，他们可以进行日常维护及简单故障的排除；三是浏览网站的人，可以通过搜索输入框输入关键字最终得到检索信息+2.3 产品的前景随着网站信息量的不断扩大，势必需要搜索引擎来提高信息的查询效率，同时对浏览者的行为进行研究改进，应用广泛，前景光明。2.2 产品功能（1） 网页收集：网页收集的过程如同图的遍历，其中网页就作为图中的节点，而网页中的链接则作为图中的边，通过某网页的超链接 得到其他网页的地址，从而可以进一步的进行网页收集；图的遍历分为广度优先和深度优先两种方法，网页的收集过程也是如此。综上，Spider 收集网页的过程如下：从初始 URL 集合获得目标网页地址，通过网络连接接收网页数据，将获得的网页数据添加到网页库中并且分析该网页中的其他 URL 链接，放入未访问 URL 集合用于网页收集， 收集到的单个网页，需要进行两种不同的处理，一种是放入网页库，作为后续处理的原始数据；另一种是被分析之后，抽取其中的 URL 连接，放入 URL 池等待对应网页的收集。（2） 网页预处理：网页预处理的主要目标是将原始网页通过一步步的数据处理变成可方便搜索的数据形式。（3）查询服务：查询服务通过接收用户的输入，调用后台程序对输入进行分词以及查询操作之后，将返回的查询结果在网页上显示。运行环境1）硬件环境确保运算速度足够快的服务器，以及足够大的网页信息存储空间2）软件环境服务器操作系统：windows XP及以上Web服务器：TOMCAT7.0配置TCP/IP协议Web浏览器：Goole Chrome正式版 数据库：mysql其他软件：SQL-Front 软件3）接口 硬件接口 考虑到大量数据的备份等要求，需要保持与磁带机和光盘刻录机的接口，这较易实现。软件接口 这里，主要考虑软件与操作系统、数据库管理系统的接口，以及局域网和互联网软件之间的数据交换。考虑到文档处理时有可能需要较常用的办公软件。例如Microsoft的Office系列，所以应尽量实现它们之间的数据格式的自动转换。 2.3 设计与实现上的限制开发时间比较短，机器限制，开发人员的数目少、经验少，是开发系统中主要问题管理不完善，设计时没能全得到考虑，系统的数据多处理难度高，安全保密方面的问题都会影响本项目的开发进程。2.5假设和依据系统中系统由爬虫模块不断获得信息，所以要预备足够的处理空间。而为了查询的及时性，确保网站更新后的关联性。3. 功能需求3.1 需求规定在系统中，网站系统管理员需要通过此系统获得足够的网页信息库，使用户尽可能多的查到需要的相关信息。维护时需要保证信息的安全，并且做简便 网站浏览者要求能通过关键字快速检索出准确的足够多的信息。3.2 功能分类搜索引擎整体结构分类图3.3 具体需求及实现（1）信息收集需求爬虫模块工作流程图网页收集器 Gather网页收集器通过一个 URL 来获取该 URL 对应的网页数据，其实现主要是利用 Java 中的 URLConnection 类来打开 URL 对应页面的网络连接，然后通过 I/O 流读取其中的数据，BufferedReader 提供读取数据的缓冲区提高数据读取的效率以及其下定义的 readLine() 行读取函数。网页处理收集到的单个网页，需要进行两种不同的处理，一种是放入网页库，作为后续处理的原始数据；另一种是被分析之后，抽取其中的 URL 连接，放入 URL 池等待对应网页的收集。网页的保存需要按照一定的格式，以便以后数据的批量处理URL 的提取分为两步，第一步是 URL 识别，第二步再进行 URL 的整理，分两步走主要是因为有些网站的链接是采用相对路径，如果不整理会产生错误。URL 的识别主要是通过正则表达式来匹配，过程首先设定一个字符串作为匹配的字符串模式，然后在 Pattern 中编译后即可使用 Matcher 类来进行相应字符串的匹配。Dispatcher 分配器分配器管理 URL，负责保存着 URL 池并且在 Gather 取得某一个网页之后派分新的 URL，还要避免网页的重复收集。分配器采用设计模式中的单例模式编码，负责提供给 Gather 新的 URL，因为涉及到之后的多线程改写，所以单例模式显得尤为重要。重复收集是指物理上存在的一个网页，在没有更新的前提下，被 Gather 重复访问，造成资源的浪费，主要原因是没有清楚的记录已经访问的 URL 而无法辨别。所以，Dispatcher 维护两个列表 ,“已访问表”，和“未访问表”。每个 URL 对应的页面被抓取之后，该 URL 放入已访问表中，而从该页面提取出来的 URL 则放入未访问表中；当 Gather 向 Dispatcher 请求 URL 的时候，先验证该 URL 是否在已访问表中，然后再给 Gather 进行作业。Spider 启动多个 Gather 线程现在 Internet 中的网页数量数以亿计，而单独的一个 Gather 来进行网页收集显然效率不足，所以我们需要利用多线程的方法来提高效率。Gather 的功能是收集网页，我们可以通过 Spider 类来开启多个 Gather 线程，从而达到多线程的目的（2）网页信息处理需求预处理模块工作流程图建立索引网页库我们采用“网页库名偏移”的信息对来定位库中的某条网页记录。由于数据量比较大，这些索引网页信息需要一种保存的方法，本搜索系统 使用数据库来保存这些信息。数据库们采用 mysql，配合 SQL-Front 软件可以轻松进行图形界面的操作。我们用一个表来记录这些信息，表的内容如下：url、content、offset、raws。URL 是某条记录对应的 URL，因为索引数据库建立之后，我们是通过 URL 来确定需要的网页的；raws 和 offset 分别表示网页库名和偏移值，这两个属性唯一确定了某条记录，content 是网页内容的摘要，网页的数据量一般较大，把网页的全部内容放入数据库中显得不是很实际，所以我们将网页内容的 MD5 摘要放入到 content 属性中，该属性相当于一个校验码，在实际运用中，当我们根据 URL 获得某个网页信息是，可以将获得的网页做 MD5 摘要然后与 content 中的值做一个匹配，如果一样则网页获取成功，如果不一样，则说明网页获取出现问题。正文信息抽取PageGetter在正文信息抽取之前，我们首先需要一个简单的工具类，该工具类可以取出数据库中的内容并且去原始网页集中获得网页信息，本搜索系统 对于该功能的实现在 originalPageGetter.java 中，该类通过 URL 从数据库中获得该 URL 对应的网页数据的所在网页库名以及偏移，然后就可以根据偏移来读取该网页的数据内容，同样以原始网页集中各记录间的空行作为数据内容的结束标记，读取内容之后，通过 MD5 计算当前读取的内容的摘要，校验是否与之前的摘要一致。对于偏移的使用，BufferedReader 类提供一个 skip(int offset) 的函数，其作用是跳过文档中，从当前开始计算的 offset 个字符，用这个函数我们就可以定位到我们需要的记录。分词中文分词是指将一个汉字序列切分成一个一个单独的词，从而达到计算机可以自动识别的效果。中文分词主要有三种方法：第一种基于字符串匹配，第二种基于语义理解，第三种基于统计。由于第二和第三种的实现需要大量的数据来支持，所以我们采用的是基于字符串匹配的方法。倒排索引预处理模块的最后两个步骤，索引的建立和倒排索引的建立。有了分词的结果，我们就可以获得一个正向的索引，即某个网页以及其对应的分词结果。如下图所示： 正向索引 倒排索引（3） 信息查询需求查询服务模块整体结构简单查询简单的查询服务过程如下：对于用户的输入，首先进行分词，对于每个词组，搜索倒排索引获取包含该词组的网页 URL 信息， 找到各个分词对应的 URL 集合中共同的 URL，根据结果 URL 集合查询网页索引获得 URL 对应的网页信息，整合网页信息之后进行返回。后续处理通过结果集合的生成、搭建 Web 服务器提供查询服务（一般的搜索引擎都是通过 Web 程序提供应用接口，从而提供服务）等进步处理网页排名网页排名简单来说就是搜索引擎对搜索某个关键字产生的结果网页集合的返回顺序，由于对于用户来说，用户感兴趣的网页最好能够排在前面来显示，从而减少用户筛选结果的开销。网页排名策略即是考评结果网页集合排列顺序的算法策略，最基本的策略要求就是使得与用户输入最相关的网页排在之前。具体步骤：一、统计网页中，包含的关键词的总数，从而简单的确定网页的相关性。这样的方法有个问题，那就是长的网页比短的网页跟占优势，所以我们需要根据网页的长度，对关键词的次数进行归一化，也就是用关键词的次数除以网页的总字数，这个商叫做“关键词词频”(Term Frequency)二、引入关键词的权重，以区分各个关键词之间的重要性三、关键词位置信息需要在倒排索引建立的过程中进行抽取，使其尽量相邻。4.非功能需求4.1 性能需求1）精度需求保证查询的查全率和查准率为100%，所有在相应域中包含查询关键字的记录都能查到，同时保证前面的排序尽量是用户所需要的 2）时间需求系统对大部分操作的相应时间应在1-2秒内。3）灵活性 满足运行环境在允许操作系统之间的安全转换和与其他应用软件的独立运行要求，当系统操作及各种数据要做出相应相应的修改时设计的软件要做适当的调整，灵活性很大。4）故障处理 在开发阶段出现的故障由开发人员来修改和处理，测试通过之后。主要表面的常见的问题如操作设置的问题数据库