03爬虫项目【项目开发计划】

1、1引言1开发计划 # 分布式互联网爬虫及其在垂直领域的使用项目开发计划TOC o 1-5 h z HYPERLINK l bookmark3 编写目的1 HYPERLINK l bookmark5 背景1 HYPERLINK l bookmark7 定义1 HYPERLINK l bookmark9 参考资料2 HYPERLINK l bookmark11 2项目概述3 HYPERLINK l bookmark13 工作内容3 HYPERLINK l bookmark15 主要参加人员3产品3程序3 HYPERLINK l bookmark20 文件4 HYPERLINK l bookmark

2、22 服务4 HYPERLINK l bookmark24 非移交的产品4 HYPERLINK l bookmark26 验收标准6 HYPERLINK l bookmark28 完成项目的最迟期限6 HYPERLINK l bookmark30 本计划的审查者与批准者6 HYPERLINK l bookmark32 3实施总计划7 HYPERLINK l bookmark34 工作任务的分解和接口人员7 HYPERLINK l bookmark36 进度7 HYPERLINK l bookmark38 预算9 HYPERLINK l bookmark40 关键问题94支持条件104支持条件1

3、0 # #计算机系统支持10 HYPERLINK l bookmark44 需由用户承担的工作11 HYPERLINK l bookmark46 由外单位提供的条件11 HYPERLINK l bookmark48 5专题计划要点11 HYPERLINK l bookmark50 开发人员培训计划11 HYPERLINK l bookmark52 测试计划11 HYPERLINK l bookmark54 质量保证计划11开发计划开发计划 项目开发计划1引言编写目的编写此计划的目的是为了合理安排组织成员，有效利用时间，以确保项目进度，预见项目风险等活动。使项目严格按照学院及老师要求开发流程进行

4、，遵循正规的顺序开展。同时，项目开发成员通过此计划书明确项目目标和各自职责。它说明相关爬虫项目的开发方法，是一种计划，以指导工作之用。背景大数据时代，互联网数据被认为规模最大、结果最复杂、潜在价值最高的源数据。开发一款具有较高数据质量、对新数据探测周期短、可灵活扩展的分布式互联网爬虫。项目相关人员在助教及老师指导下，在203机房开发。定义MVC全名是ModelViewController是模型(model)视图(view)一控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同

5、时，不需要重新编写业务逻辑。MVC被独特的发展起来用于映射传统的输入、处理和输出功能在一个逻辑的图形化用户界面的结构中。Eclipse是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse附带了一个标准的插件集，包括Java开发工具(JavaDevelopmentKit，JDK)。MySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabase

6、ManagementSystem，关系数据库管理系统)应用软件。Tomcat是Apache软件基金会(ApacheSoftwareFoundation)的Jakarta项目中的一个核心项目，由Apache、Sun和其他一些公司及个人共同开发而成。参考资料相关文档及网络资源2项目概述工作内容数据采集模板配置工程数据采集工程媒体传播分析工程用户可视化界面主要参加人员产品程序软件名称：分布式互联网爬虫及其在垂直领域的使用编程语言：Java功能：软件操作简便、快捷，数据采集部分可以通过简单、易懂的方式配置新网站数据的采集。数据分析模块通过基关键词过滤以及统计学思想计算媒体传播排名及趋势。界面设计风格采

7、用Web形式，用户界面简单明了，符合业务办理流程，具有人性化特点。软件设计结构模块化、程序结构化、数据格式标准化、代码统一化，各种文档资料规范化。文件用户操作手册：本手册详细描述软件的功能、性能和用户界面，使用户对如何使用该软件得到具体的了解,为操作人员提供该软件各种运行情况的有关知识，特别是操作方法的具体细节。软件维护手册：主要包括软件系统说明、程序模块说明、操作环境、支持软件的说明、维护过程的说明，便于软件的维护。服务计划提供以下服务：课堂培训：以讲课形式对客户进行培训，使其能够正确使用件。免费咨询：客户可以在工作时间向技术人员提出问题并获得解答。技术支持：对于某些客户，采取上门指导的方式

8、。软件维护：获取软件使用中的问题，提供补丁程序。升级通知：在软件新版本发布的时候，及时通知（Email或邮寄信件）注册的用户，并提供试用版本。软件升级：对于注册用户，只需较少的费用即可升级到新的版本。非移交的产品可行性分析报告：说明该软件开发项目的实现在技术上、经济上和社会因素上的可行性，评述为了合理地达到开发目标可供选择的各种可能实施方案，说明并论证所选定实施方案的理由。项目开发计划：为软件项目实施方案制订出具体计划，应该包括各部分工作的负责人员、开发的进度、开发经费的预算、所需的硬件及软件资源等。软件需求说明书（软件规格说明书）：对所开发软件的功能、性能、用户界面及运行环境等做出详细的说明

9、。它是在用户与开发人员双方对软件需求取得共同理解并达成协议的条件下编写的，也是实施开发工作的基础。该说明书应给出数据逻辑和数据采集的各项要求，为生成和维护系统数据文件做好准备。概要设计说明书：该说明书是概要实际阶段的工作成果，它应说明功能分配、模块划分、程序的总体结构、输入输出以及接口设计、运开发计划开发计划 行设计、数据结构设计和出错处理设计等，为详细设计提供基础。详细设计说明书：着重描述每一模块是怎样实现的，包括实现算法、逻辑流程等。测试计划：为做好集成测试和验收测试，需为如何组织测试制订实施计划。计划应包括测试的内容、进度、条件、人员、测试用例的选取原则、测试结果允许的偏差范围等。测试分

10、析报告：测试工作完成以后，应提交测试计划执行情况的说明，对测试结果加以分析，并提出测试的结论意见。开发进度月报：该月报系软件人员按月向管理部门提交的项目进展情况报告，报告应包括进度计划与实际执行情况的比较、阶段成果、遇到的问题和解决的办法以及下个月的打算等。项目开发总结报告：软件项目开发完成以后，应与项目实施计划对照，总结实际执行的情况，如进度、成果、资源利用、成本和投入的人力，此外，还需对开发工作做出评价，总结出经验和教训。软件问题报告：指出软件问题的登记情况，如日期、发现人、状态、问题所属模块等，为软件修改提供准备文档。软件修改报告：软件产品投入运行以后，发现了需对其进行修正、更改等问题，

11、应将存在的问题、修改的考虑以及修改的影响做出详细的描述，提交审批。源程序：软件开发过程中的全部代码以及注释。验收标准代码：最后在交付客户之前进行小组内评审，代码编写符合HB6465标准，与文档说明保持一致，代码书写风格统一，采用标准规范，没有下列错误：由于软件缺陷造成丢失数据，不符合设计要求，响应时间太长无法接受等问题。文档：最后在交付客户之前进行小组内评审，文档格式符合HB6465标准，功能符合与客户的合同要求，清晰易读，没有语病与歧义。服务：服务硬件达到文档说明的要求。完成项目的最迟期限交付日期为2017年7月22日本计划的审查者与批准者本项目批准者是学院相关领导老师3实施总计划工作任务的

12、分解和接口人员进度进度安排：预算关键问题项目风险因素风险排序风险项名称风险描述风险缓解方案1专业基础知识不牢本次项目开发过程中涉及的知识较多，给项目开发人员带来一定的困难进行相应的培训2经验欠缺成员开发经验不足，使项目质量难以保证只有通过不断的实践3软件性能的影响本次开发过程中部分软件可能容易出现死机现象选择合适的软件，搭建良好的配置开发环境4支持条件模板配置与数据分析应用：系统架构：MVC开发工具：Eclipse数据库:Mysql开发技术：java、bootstarp、sql、FreeChart中间件：Tomcat、jdk1.8采集工具：开发工具：Eclipse数据库：Mysql、开发技术：java、sql、线程池、MD5环境要求：CPU：1GHz以上内存：8GB以上需由用户承担的工作向本小组成员进行培训，其内容包括全文检索、httpclient等等相关技术。配备相应硬件系统，做到规范