爬虫项目项目开发计划

分布式互联网爬虫及其在垂直领域的使用——项目开发计划TOC\o"1-3"\h\z1引言 11.1编写目的 11.2背景 11.3定义 11.4参考资料 22项目概述 32.1工作内容 32.2重要参加人员 32.3产品 32.3.1程序 32.3.2文献 42.3.3服务 42.3.4非移交的产品 42.4验收原则 62.5完毕项目的最迟期限 62.6本计划的审查者与同意者 63实施总计划 73.1工作任务的分解和接口人员 73.2进度 73.3预算 93.4核心问题 94支持条件 104.1计算机系统支持 104.2需由顾客承当的工作 114.3由外单位提供的条件 115专项计划要点 115.1开发人员培训计划 115.2测试计划 115.3质量确保计划 11项目开发计划1引言1.1编写目的编写此计划的目的是为了合理安排组织组员，有效运用时间，以确保项目进度，预见项目风险等活动。使项目严格按照学院及老师规定开发流程进行，遵照正规的次序开展。同时，项目开发组员通过此计划书明确项目目的和各自职责。它阐明有关爬虫项目的开发办法，是一种计划，以指导工作之用。1.2背景 大数据时代，互联网数据被认为规模最大、成果最复杂、潜在价值最高的源数据。开发一款含有较高数据质量、对新数据探测周期短、可灵活扩展的分布式互联网爬虫。项目有关人员在助教及老师指导下，在203机房开发。1.3定义MVC全名是ModelViewController，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的办法组织代码，将业务逻辑聚集到一种部件里面，在改善和个性化定制界面及顾客交互的同时，不需要重新编写业务逻辑。MVC被独特的发展起来用于映射传统的输入、解决和输出功效在一种逻辑的图形化顾客界面的构造中。Eclipse是一种开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一种框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse附带了一种原则的插件集，涉及Java开发工具（JavaDevelopmentKit，JDK）。MySQL是一种关系型数据库管理系统，由瑞典MySQLAB公司开发，现在属于

Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最佳的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。Tomcat是Apache软件基金会（ApacheSoftwareFoundation）的Jakarta项目中的一种核心项目，由Apache、Sun和其它某些公司及个人共同开发而成。1.4参考资料有关文档及网络资源2项目概述2.1工作内容数据采集模板配备工程数据采集工程媒体传输分析工程顾客可视化界面2.2重要参加人员2.3产品2.3.1程序软件名称：分布式互联网爬虫及其在垂直领域的使用编程语言：Java功效：软件操作简便、快捷，数据采集部分能够通过简朴、易懂的方式配备新网站数据的采集。数据分析模块通过基核心词过滤以及统计学思想计算媒体传输排名及趋势。界面设计风格采用Web形式，顾客界面简朴明了，符合业务办理流程，含有人性化特点。软件设计构造模块化、程序构造化、数据格式原则化、代码统一化，多个文档资料规范化。2.3.2文献 顾客操作手册：本手册具体描述软件的功效、性能和顾客界面，使顾客对如何使用该软件得到具体的理解,为操作人员提供该软件多个运行状况的有关知识，特别是操作办法的具体细节。软件维护手册：重要涉及软件系统阐明、程序模块阐明、操作环境、支持软件的阐明、维护过程的阐明，便于软件的维护。2.3.3服务计划提供下列服务：课堂培训：以授课形式对客户进行培训，使其能够对的使用件。免费咨询：客户能够在工作时间向技术人员提出问题并获得解答。技术支持：对于某些客户，采用上门指导的方式。软件维护：获取软件使用中的问题，提供补丁程序。升级告知：在软件新版本公布的时候，及时告知(Email或邮寄信件)注册的顾客，并提供试用版本。软件升级：对于注册顾客，只需较少的费用即可升级到新的版本。2.3.4非移交的产品 可行性分析报告：阐明该软件开发项目的实现在技术上、经济上和社会因素上的可行性，评述为了合理地达成开发目的可供选择的多个可能实施方案，阐明并论证所选定实施方案的理由。项目开发计划：为软件项目实施方案制订出具体计划，应当涉及各部分工作的负责人员、开发的进度、开发经费的预算、所需的硬件及软件资源等。软件需求阐明书（软件规格阐明书）：对所开发软件的功效、性能、顾客界面及运行环境等做出具体的阐明。它是在顾客与开发人员双方对软件需求获得共同理解并达成合同的条件下编写的，也是实施开发工作的基础。该阐明书应给出数据逻辑和数据采集的各项规定，为生成和维护系统数据文献做好准备。概要设计阐明书：该阐明书是概要实际阶段的工作成果，它应阐明功效分派、模块划分、程序的总体构造、输入输出以及接口设计、运行设计、数据构造设计和出错解决设计等，为具体设计提供基础。具体设计阐明书：着重描述每一模块是如何实现的，涉及实现算法、逻辑流程等。测试计划：为做好集成测试和验收测试，需为如何组织测试制订实施计划。计划应涉及测试的内容、进度、条件、人员、测试用例的选用原则、测试成果允许的偏差范畴等。测试分析报告：测试工作完毕后来，应提交测试计划执行状况的阐明，对测试成果加以分析，并提出测试的结论意见。开发进度月报：该月报系软件人员按月向管理部门提交的项目进展状况报告，报告应涉及进度计划与实际执行状况的比较、阶段成果、碰到的问题和解决的方法以及下个月的打算等。项目开发总结报告：软件项目开发完毕后来，应与项目实施计划对照，总结实际执行的状况，如进度、成果、资源运用、成本和投入的人力，另外，还需对开发工作做出评价，总结出经验和教训。软件问题报告：指出软件问题的登记状况，如日期、发现人、状态、问题所属模块等，为软件修改提供准备文档。软件修改报告：软件产品投入运行后来，发现了需对其进行修正、更改等问题，应将存在的问题、修改的考虑以及修改的影响做出具体的描述，提交审批。源程序：软件开发过程中的全部代码以及注释。2.4验收原则代码：最后在交付客户之迈进行小组内评审，代码编写符合HB6465原则，与文档阐明保持一致，代码书写风格统一，采用原则规范，没有下列错误：由于软件缺点造成丢失数据，不符合设计规定，响应时间太长无法接受等问题。文档：最后在交付客户之迈进行小组内评审，文档格式符合HB6465原则，功效符合与客户的合同规定，清晰易读，没有语病与歧义。服务：服务硬件达成文档阐明的规定。2.5完毕项目的最迟期限交付日期为7月22日2.6本计划的审查者与同意者本项目同意者是学院有关领导老师3实施总计划3.1工作任务的分解和接口人员 3.2进度进度安排：3.3预算 3.4核心问题项目风险因素风险排序风险项名称风险描述风险缓和方案1专业基础知识不牢本次项目开发过程中涉及的知识较多，给项目开发人员带来一定的困难进行对应的培训2经验欠缺组员开发经验局限性，使项目质量难以确保只有通过不停的实践3软件性能的影响本次开发过程中部分软件可能容易出现死机现象选择适宜的软件，搭建良好的配备开发环境4支持条件4.1计算机系统支持 模板配备与数据分析应用：系统架构：MVC开发工具：Eclipse数据库：Mysql开发技术：java、bootstarp、sql、FreeChart中间件：Tomcat、jdk1.8采集工具：开发工具：Eclipse数据库：Mysql、开发技术：java、sql、线程池、MD5环境规定：CPU：1GHz以上内存：8GB以上4.2需由顾客承当的工作向本小构组员进行培训，其内容涉及全文检索、httpclient等等有关技术。配备对应硬件系统，做到规范操作，备份好数据避免数据丢失，软件交付日期为软件安