网络爬虫需求分析

1、网络爬虫需求分析目录1. 引言21.1编写目的21.2背景21.3定义31.4参考资料32. 任务概述32.1 目标32.2用户的特点42.3假定和约束42.4假设与依据43. 需求规定43.1对功能的规定43.1.1 使用库43.2对性能的规定53.2.1 精度53.2.2时间特性要求 53.2.3灵活性53.2.4安全性63.2.5 可维护性63.3输入输出要求 63.4数据管理能力要求63.5故障处理要求64. 运行环境规定 64.1 设备64.2支持软件64.3 接口 64.4控制75. 数据流图76.IPO 图87. 数据字典9(1) 数据流词条的描述 错误！未定义书签。(2) 数据

2、元素词条的描述 错误！未定义书签。(3) 数据文件词条的描述 错误！未定义书签。8. 小说明91. 引言1.1编写目的为开发人员、维护人员、客户之间提供共同的协议而创立基础，对该软件功能的实现作使命描述。本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。1.2背景软件系统的名称：网络爬虫1.3定义网络爬虫搜索引擎Web URL信息互联网1.4参考资料网络爬虫软件的研究与开发中图分类号：TP319软件导刊2011年5月 第10卷第5期软件需求-（美）Karl E.Wiegers 著陆丽娜王忠民王志敏等译2. 任务概述2.1月标JF始利用协议发送响应消息利用正则

3、蓑达式匹配网页上用户所需的字苻率用尸送择访I司阿页的遂型（F度覆索或深度搜索）系统流程图1. 客户端向服务器发送自己设定好的请求。2. 通过http 将Web服务器上协议站点的网页代码提取出来。3. 根据一定的正则表达式提取出客户端所需要的信息。4. 采用深度优先搜索从网页中某个链接出发，访问该链接的网页，并通过递归算法实现依次向下访问。5. 采用广度优先搜索从网页中某个链接出发，访问该链接网页上的所有链接，访问完成后，再通过递归算法实现下一层的访问。2.2用户的特点使用本软件面向不同领域、不同背景的广大群众，可以根据自己制定的搜索主题来使用本软件。2.3假定和约束1. 有CPU133 16兆

4、内存配置的计算机就可运行本系统。2. 在管理方针、并行操作、安全与保密方面无约束。2.4假设与依据本软件在开发的过程中，分为技术实现与软件工程两大部分，两部分都有侧重点，若技术支持出现故障或疑难问题无法解决、程序开发出现偏差，会延误工程进度，影响工程的按期完工。若软件工 程陈述出现问题，部分描述含混不清，则会影响系统的完整性与可继承性。在管理方面，如管理者没有 预见性，对出向的问题无法采用可行的解决手段，都会影响开发模块之间的互动，从而影响工程的顺利 开展，导致工程无法按期完工。3. 需求规定3.1对功能的规定3.1.1 使用库规格说明L库义件名口调用指定库|6是示所调用的教据库

5、的库结构 引言显示所调用的数据库。 输入指定的库文件名。 加工调用指定的数据库。 输出显示所指定的数据库的库结构。3.2对性能的规定3.2.1精度1. 用户在设置爱好时进行精度提示，提交给服务器后进行精短校验。2. 在进行向数据库文件提取数据时，要求数据记录定位准确，在往数据库文件数组中添加数时，要求输入数准确。3.2.2时间特性要求a. 响应时间应在人的感觉和视觉事件范围内b. 更新处理时间：随着本系统的版本升级，系统将相应的进行更新c. 数据的转换和传送时间：12秒3.2.3灵活性当需求发生某些变化时，本系统操作方式、数据结构、运行环

6、境基本不会发生变化，变 化只是将对应的数据库文件内的记录改变，或将过滤条件改变即可3.2.4安全性本软件大量的参数及文本内容全部放于汉语编程数据库中，所以参数不容易被错改、破 坏，万一参数受到破坏也不会影响源程序。3.2.5可维护性本软件利用数据库进行编程，系统结构由程序基本确定，大量的参数及文本内容全部放 于汉语编程中。修改、更新数据只要在数据库进行修改添加，而不需要对系统结构进行修 改，这样系统维护性、升级都十分方便。3.3输入输出要求用户应该输入一个合法的初始URL作为初始入口。3.4数据管理能力要求本系统采用sql server 数据库对资源进行存储，其自带的空间自增长有效的解决了数据

7、管理的问题。3.5故障处理要求当客户端多数用户同时使用，可能造成服务器负载过重，于是启用了多线程方法，同时限定最大线程数，防止服务器崩溃。4. 运行环境规定4.1设备本软件不需要特定的硬件或硬件接口进行支撑。486以上具备有java的运行环境jdk的PC机均可运行此软件。运行时需要联机。4.2支持软件本系统采用java语言制作，支持 win7/XP/Linux 等操作系统，由java虚拟机编译，测试软件为 MyEclipse;4.3 接口客户端浏览器是搜索引擎和用户之间的接口。其首先获取用户搜索条件并加以分析，然后访问索引数据库进行匹配后获得检索结果，然后根据设定的相关度进行降藉排序处理后返回

8、给用户。输出、输入 的相对时间将由pc机本身处理速度来决定。对程序的维护，需进行必要的备份。4.4控制本软件通过客户端浏览器，用户设置自己的爱好，并通过http传给服务器，服务器接受信号执行响应操作。网页第一层网页第二层学生1.11.2验证搜索方验证uw搜索方法:法有效性,正确搜索方法效性搜索配置网页2.1下载网页:1/网页2.2第三层6.IPO 图7.数据字典1. 搜索方法=搜索策略+抓取类型。搜索策略=“广度优先” | “深度优先” | “最好优先” 抓取类型=音频|视频|图片2. 网页信息=主题+内容+链接地址3. 搜索配置=搜索方法+ URL4. 下载网页=站内爬取+外链爬取5. 验证URL有效性=存在性+价值性.小说明加工编号：i.i加工名：设置搜索方法输入流：自定义搜索方法表输出流：完整的搜索方法表加工逻辑：将自定义搜索方法表及系统默认选项参数加工成完整的搜索方法表有关信息：当有选择输入时执行此加工，否则按默认执行加工编号：1.2加工名：对URL检查输入流：搜索方法中的初始URL输出流：正确的搜索配置加工逻辑：通过检查URL的存在性和价值性来判断该URL是否可行加工编号：2