全球畜牧业生产及国际贸易信息管理系统.doc

全球畜牧业生产及国际贸易信息管理系统建设与开发方案 方案时间：二零零八年十一月五日 编写人员：开发部门 语言设置：汉语和英语 项目名称：信息管理系统 目 录一、引言（INTRODUCTION）1、1 编写目的（URPOSE）1、2 读者对象（READER）1、 编写原则（RULE）1、4 项目背景（BACKGROUND OF PROJECT） 项目名称 委托单位 开发时间1、5 定义（DEFINTINOS） 语言 数据库 开发工具 开发时间1、6 参考资料（REFERENCE）1、7 变更历史（CHANGE HISTORY）二、任务概诉（TASK DESCRIPTION）三、业务设计设计要素 ( BUSINESS DESIGN RULE )、1 设计思想 (DESIGN）、2 重点要素（IMPORTANT）、 遵循的原则（DESIGN RULE）、4 主要特点及优势（ADVANTAGE）四、业务需求调查及其系统分析（BUSINESS PROCESSES AND FLOWS & SYSTEM ANALYSIS） 4.1 系统简要说明（SYSTEM BRIEF INTRODUCTION） 4.2 功能分析（FUNCTIONAL SPECIFICATIONS） 4.3 系统模块的构成五、各功能模块详细说明 5.1 “信息采集”模块5. “客户端”模块5. “信息应用”模块5. “系统管理“模块六、客户意见及修改要求建设与开发方案说明一、引言（INTRODUCTION）1.1编写目的为了规范“全球畜牧业生产及国际贸易信息管理系统”项目组在进行系统设计、数据库规划，平台框架建设、软件开发、运行过程中的各种技术行为，保证“全球畜牧业生产及国际贸易信息管理系统”项目良好完成和实现。1.2读者对象“全球畜牧业生产及国际贸易信息管理系统”项目组的美工人员，软件开发人员，数据库建设人员，程序安装调试人员，以及“全球畜牧业生产及国际贸易信息管理系统”的管理人员和内部技术人员。1.3 编写原则（RULE） 需要对“全球畜牧业生产及国际贸易信息管理系统”的良好建设和系统运行进行分析，提供良好的项目规划、提供详细的模块搭建体。并对此给以简洁而明确的表达，使之成为成功实施的依据。1.4 项目背景（BACKGROUND OF PROJECT） 项目名称：全球畜牧业生产及国际贸易信息管理系统 项目类别：信息管理 项目编号：CHINA20081105008 委托单位： 开发单位： 编写时间：2008年11月 5日 编写人员： 1.5 定义（DEFINTINOS） 语言选择： 数据库：MICROSOFT SQLSERVER 开发工具：MICROSOFT .NET DEVELOP TOOLS 项目工具：MICROSOFT PROJOCT MANAGER 页面制作设计工具：Macromedia Dreamweaver 图片处理：Macromedia Firework And Adobe Photoshop 动画工具：Macromedia Flash1.6 参考资料（REFERENCE） GB9385-88 计算机软件需求说明编写指南 GB/T 12504-90 计算机软件质量标准保证计划规范 GB/T 12505-90 计算机软件配置管理计划规范 GB-T 16680-1996 软件文档管理指南 GB/T 14394-93 计算机软件可靠性和可维护性管理 情报科学 李广建等 元搜索引擎及其主要技术 2002-2 情报学报 朱亚君，张惠惠 动态网站管理信息系统的构建 2001-10 现代图书情报技术 张俭恭等 关于搜索引擎与元搜索引擎的讨论 2002-21.7 变更历史（CHANGE HISTORY） 序号人员日期变更详情1开发部2008年11月5日初稿1开发部2008年11月10日二稿二、任务前景描述概述 （TASK DESCRIPTION）国际兽医事务综合分析室在实施农业部兽医局下达的国际交流与合作任务中，经常要了解、掌握和使用全球或部分国家的畜牧业生产状况及国际贸易情况信息。目前获取这些信息的主要途径是通过国际互联网进行手动检索和采集。在工作过程中，经常出现因网络状况不佳页而导致的网页打开速度慢，数据采集和更新不及时、不准确和不全面的问题。而且因为没有对这些数据实行标准化的数据库管理，查询统计功能很差，严重影响了工作质量和工作时效。因此有必要建立全球畜牧业生产及国际贸易信息管理系统，对相关数据进行自动采集、自动更新和规范化的数据库管理。本系统可以通过计算机网络技术全面采集包括联合国粮农组织、各国农业部官方网站的畜牧业生产和国际进出口贸易数据，实现数据的本地化存储以及综合查询，方便用户对数据的使用，为开展重大动物疫情风险分析、进出口贸易决策提供数据支持。三、业务设计设计要素 ( BUSINESS DESIGN RULE )3.1设计思想 (DESIGN)本设计方案，为您提供全面系统的需求分析，以帮助其建立和完善业务流程，规范操作流程，建立智能性的检索系统。 3.2 重点要素 (IMPORTANT) 系统性：“全球畜牧业生产及国际贸易信息管理系统”是一项专业而系统的工程，要强调系统性和专业性。 强调整体和效用：“全球畜牧业生产及国际贸易信息管理系统”要强调整体，注重实效。 重点考虑软件规划：软件规划是构建“采集体系”的首要环节，构思严谨、富有 创意且功能完备的规划，将给“全球畜牧业生产及国际贸易信息管理系统”提 供一个坚实的支点，并为“全球畜牧业生产及国际贸易信息管理系统”未来的 发展提供一个具有可移植性的平台和可扩展性的架构。 界面设计和创意：界面设计设计决定了系统给使用者提供的第一印象与直观反 映，因而在设计中，强调开创性思维和赏心悦目相结合。 注重技术开发：在本平台中，有大部分内容须动态管理和查询，以实现智能化。因 而要注重开发和需求的结合。3.3 遵循的原则（DESIGN RULE） 先进性原则 成熟性原则 安全性原则 标准性原则 开放性原则 扩展性原则 稳定性原则 兼容性原则 简单性原则：主要指检索录入较为简单，使用户易于掌握。 精确性原则：3.4主要特点及优势（ADVANTAGE） 设计优美的网站界面 先进开放的信息平台 模块化的系统设计 更简单、更智能的浏览过程 静态和动态相结合的页面技术 功能强大效率极高的后台管理机制 四、业务需求调查及其系统分析 （BUSINESS PROCESSES AND FLOWS & SYSTEM ANALYSIS）4.1新系统简要说明（SYSTEM BRIEF INTRODUCTION）全面、系统、及时地收集FAO及各国农业部畜牧业生产及国际贸易信息数据，并对数据实现批量录入、实时更新、综合查询统计输出等功能。4.2 功能分析（FUNCTIONAL SPECIFICATIONS）开发任务为一套包含信息采集、信息处理、信息应用、系统管理的综合智能检索系统。采集全球畜牧业生产及国际贸易信息，实现24小时不间断地信息采集与监控。采集后的信息自动保存到本地数据库，用户可以随时阅读信息，而不会随着目标网站的变化而丢失信息。网络信息采集系统可以将FAO网站信息采集保存到用户的本地数据库中，并提供检索搜索服务、WEB应用服务、和数据管理功能。4.3 系统模块构成信息采集系统模块构成信息处理信息应用服务器端模块五、各功能模块详细说明本系统以批量采集数据为主，也可手工录入修改， 实现与数据库的同步自动更新、综合查询等功能。对批量采集数据要实现定时和随时数据更新，并能自动记录更新点。5、1“信息采集“ 模块 （一）. 开发约束本模块的开发基于微软公司的FrameWork2.0，C#为开发语言，C/S模式。采集过程中使用了多种优化算法，合理的使用CPU和计算机内存，不会对服务器造成极大的负载。使用多线程技术，避免采集过程中造成操作界面假死现象。并且会根据目标数据源的多少合理的增加或减少线程，并且如果是多核处理器的服务器会有很好的应用。（二）. 采集流程：1、程序启动方式：（1）、定时启动：程序每隔一段时间会读取系统文件，并根据当前时间计算距离下一次启动时间。 程序启动前，首先检测当前程序是否已经结束，如果尚未结束，会跳过当前任务，等待下一次启动时间。如果当前程序已经结束程序会首先读取数据库是否存在，读取配置文件列表，把关键词加载到内存。验证运行环境，网络环境。一切正常，程序自动启动。 （2）、人工启动2、读取配置文档：目标网站链接，详细内容链接，网站格式内容匹配等。3、 数据源： /DesktopdDefault.aspx?PageID=535&lang=zh-CN4、读取关键字5、读取目标网页6、分析目标网页7、获取网页编码8、数据重复性检查将网页URL设置为主键或者建立索引，重复的数据无法存入数据库9、文件保存：首先将整个网页保存到服务器生成文件，同时把保存的文件路径存入数据库。10、新数据标记：把该数据标示为新采集数据，方便程序进行再次数据分析。当目标网页采集分析结束，并且保存后，通知主程序线程已经结束。 11、抓取结束当所有线程都结束后，程序结束。如果采集程序时间过长，影响下一次程序的运行，程序会继续等待，直到再下一次采集时间。（三）、信息采集的需求(1)采集的内容全球畜牧业生产及国际贸易数据库覆盖近200个国家和地区从1961年到2006年大约800种产品的国际贸易情况，数据更新以年为单位，商品内容涉及了农、林、渔等行业。主要包括四个方面内容:1、商品2、科目（进口价值、进口单位价值、出口价值、出口单位价值、进口数量、出口数量）、3、国家（某个国家、发达国家、发展中国家、不发达国家等）、4、年份。表一动物及动物产品名称出口国进口国年份计量单位出口进口数量金额数量金额图一（2）、录入功能的实现1、以批量采集数据为主2、也可手工录入修改3、实现与FAO数据库同步自动更新、综合查询等功能。4、对批量采集数据要实现定时和随时数据更新5、并能自动记录更新点。（四）、设计概要1. 提取页面中的链接和文件地址采用正则表达式匹配的方式；2. 根据配置文件提取信息内容采用查找定位的方式；3. 保存的原始网页文件名采用“网页URL.mht”的格式；4. 保存后的页面中的文件全部改为相对路径，相关文件存放的目录名采用“网页URL.files”的格式。（五）设计难点1、数据查重工作 2、如果抓取时，出现非正常中断的处理措施（1）、建立中间过度型文件（2）、建立索引文件（3）、建立判断标识机制（4）、在保证文件完整性的之后，删除临时文件。（六）抓取流程 5、2“客户端“ 模块本系统主要功能是对数据库中已经存在的数据进行查询、数据统计、数据输出等操作。 1、运行方式： （1）、本模块在局域网内运行、（2）、程序为C/S结构的WINFORM 程序2、数据查询功能：1、窗口设置：在进行查询统计时，允许同时打开多个窗口，2、关键字设置查询关键字见下表，允许多选复选，并能对结果进行比对排序。表二国家（洲）商品年份3、查询统计要求：对某一时间（段）某一几全部商品某一几全部国家的进出口情况进行查询。3、查询数据结果的保存格式文件保存成Excel格式的文件。4、查询结果的输出对查询结果提供中英文两种输出方式，并提供打印功能5、数据统计 按照时间、国家、商品进行分组统计，实现图表输出 5、3“信息应用“ 模块（一）、信息应用模块说明本模块为使用的用户提供了强大的信息交互平台，用户也可以登陆系统后，检索、浏览系统收集的信息。（二、）结构设计结构：采用B/S结构，用C#和ASP.NET设计。数据：全部的数据都来自采集后的信息数据库，目前不考虑其他的数据来源。提取方式：接口程序开发完成后，所有的数据提取工作，都由计算机来完成。在编写数据接口时，可以在前期预定读取信息的条数及类别（三）功能描述模块界面类似新闻发布网站。包括分类显示、组合查询、智能输出等功能。（四）特别处理（1）、网页的背景加上带有“标识”和问题的水印。（2）、加入“防止盗链”的功能。（五）信息应用的详细结构 1、 信息应用模块构成图： 信息应用首页栏目页详细页面组合查询页面 2、“首页”组成内容页面设计（名称、图片、样式、颜色、格局、动画等）首页运行数据接口经营理念经营理念读取配制文件按最新时间提取数据（最新数据和30天的数据）数据提取按重要的关键字显示新数据（关键字和时间组合）3、“栏目页”组成内容（快报和半年报？）页面设计（名称、图片、样式、颜色、格局、动画等）栏目页接口设计经营理念经营理念显示更多的数据内容数据提取按最新时间提取数据（最新数据和30天的数据）4