数据汇集软件解决方案

数据汇集软件系统解决方案北京金水信息技术有限公司北京北科博研科技有限公司2013年8月PAGEi目录第一章 水利普查项目概述 11.1 项目背景 11.2 项目难点 11.2.1 需求的逐步完善 11.2.2 业务面广、数据指标项多、审核周期长 21.2.3 省、地、县多级用户 21.2.4 集中部署与分级部署 21.3 系统组成 31.4 系统实施与效益 4第二章 数据汇集系统 62.1 建设目标 62.2 建设原则 72.3 总体架构 92.4 技术路线 11第三章 系统功能 143.1 总体功能 143.2 功能模块 143.2.1 数据采集 143.2.2 数据审核 143.2.6 汇总分析 183.2.7 方案制作 193.2.8 任务下发 213.2.9 数据管理 223.2.10 系统管理 22第四章 系统优势 274.1 采用J2EE架构 274.2 可视化表单配置 274.3 解释性的公式审核 284.4 软件易学、易用、易管理 294.5 智能分析、深度挖掘 294.6 便捷打印、自定义报警 30PAGE30水利普查项目概述项目背景水利普查是国家基础水信息的基准性调查，也是一项涉及国情、国力情况的调查，是国家资源环境调查的重要组成部分。第一次全国水利普查包含河湖基本情况普查、水利工程基本情况普查、经济社会用水情况调查、河湖开发治理保护情况普查、水土保持情况普查和水利行业能力建设情况普查，以及灌区与地下水取水井两个专项普查。由于普查范围广、普查的对象众多、归口管理关系复杂、涉及指标多、数据量庞大，要保证全国范围内普查工作的同步开展，对于如此大规模的普查工作，必须要采用科学的方法和先进的技术手段，建立完善的数据的采集、审核、汇总、上报机制，只有通过建设信息系统来实现分布式数据收集和海量数据的存储和管理，才能确保所有普查数据能有效、快速、安全地采集和汇集，从而减轻工作量，提高工作效率和普查工作质量。项目难点需求的逐步完善普查软件的开发是在业务需求逐步确认的基础上进行的。在软件开发中不可避免的会遇到需求的变化，变化并不是项目所害怕的，最怕的是跟不上变化的步伐。从普查软件的试点走到现在，实施方案经历了几个版本的更新，实施方案的更新从业务需求上主要表现为添加业务表单、删除业务表单、增加数据指标、删除数据指标、更改名录逻辑等，每经历一次更新必会造成一系列连锁的指标修正、指标配置、配置审核、汇总更新等操作，这将增加软件在开发上、质量上和测试上的复杂度，无形中的延长了开发的开发周期。业务面广、数据指标项多、审核周期长普查软件涉及的业务面广、指标量多、审核周期长。水利普查业务共涉及八大类业务工程（23张清查表、38张普查表、3张台账表及相应的统计表），且每类业务工程中所涉及的系统逻辑均有所不同，需在软件中进行相应的业务处理，这将直接增加软件的复杂度。水利普查软件中共数千个数据指标项，在数据指标的类型、长度、精度及值域范围上根据实施方案的更新进行了反复的确认和核对工作。审核周期长，对数据指标中所涉及数据审核项的迭代审核，为做到指标项配置无误，对此类审核做到多人迭代、交替审查。省、地、县多级用户普查软件是一个全国性的数据登记及处理软件，直接涉及全国31个省（自治区、直辖市）、345个地（市）级数据审查人员、3144个县的使用人员。使用人员多，分散广，信息化程度参差不齐，对软件的使用则要求相对就高，这就要求软件有良好的适用性、易用性和稳定性。集中部署与分级部署因属于全国性的普查，故软件在部署上采用集中部署与分级部署两种模式。若全部采用集中部署则需考虑到网络的带宽、服务器的性能、访问量的多少等因素，若在访问量加大的情况下势必存在性能问题，而这些问题反映在软件上效果为反映速度慢、页面打不开等，因此需要辅以多种技术和业务手段进行控制，以达到预期的应用平衡和性能效果。若全部采用分级部署，则存在分散广的问题，对同一问题出现的频率高，对问题反馈响应比低等问题。系统组成水利普查数据处理系统由基层登记台账管理系统、普查数据处理上报系统、普查数据管理系统所构成。为各级水利普查数据的录入、编辑、审核和汇总以及数据管理、数据加工和信息发布等提供工作平台。其中：基层登记台账管理系统主要用于2011年清查登记阶段，各地用于开展清查数据处理和普查数据的预处理，用于数据录入工作；普查数据处理上报系统主要用于填表上报阶段，县、地级水利普查机构开展表格数据处理和汇总上报；普查数据管理系统主要用于填报上报阶段，省、国家(含流域)级水利普查机构开展表格数据处理和汇总上报，以及平衡分析统计服务。图1.1水利普查数据处理系统水利普查数据处理系统根据各级水利普查机构数据处理任务，分别部署到全国3433个水利普查机构，应用于清查登记、填表上报等不同阶段的水利普查数据处理工作中，全面支持水利普查数据处理工作的全过程。系统实施与效益根据各省（自治区、直辖市）和新疆生产建设兵团水利普查数据保密要求，其中28个省（自治区、直辖市）水利普查业务数据处理软件部署采取了在省级集中部署，其各地、县级水利普查机构通过计算机网络，远程开展联机数据录入和处理工作，其余省级水利普查机构及其下级，采用了分散部署。无论采用集中或分散部署，不影响各级水利普查数据采集与处理的工作流程和责任主体，水利普查数据均维持相同的数据处理模式。无论采用集中和分散相结合方式部署的水利普查业务数据处理软件，还是全部分散部署的数据处理软件，均如期顺利完成了各自数据采集与数据处理任务，以及所有数据的逐级上报、汇总和审核等一系列工作，最终形成了国家级水利普查成果。通过水利普查数据处理系统完成了全国9900多万个水利普查对象的清查，900多万张普查表的填录，4亿多笔普查数据的采集、处理、审核和汇总。全面查清了我国水系的基本情况，掌握了水资源开发、利用和保护现状，摸清了经济社会的用水状况及经济社会发展对水资源的需求，查明了水利行业能力建设及管理状况，收集整理形成了全面反映水资源及其开发、利用、治理、保护、监测和管理等方面基本情况的海量信息资源，形成了迄今为止最全面细致、系统权威的基础水信息体系，为全面建立国家基础水信息平台建立了坚实基础。

数据汇集系统建设目标基于水利普查数据处理软件开发一套综合信息的数据汇集系统平台。系统目标包括：1.强大的数据集成系统提供关系型数据库数据集成器，用于将关系型数据库的业务资源采集入库。数据采集支持各种主流关系数据库，通过计划任务的方式运行，根据不同资源类型的实时发布要求，配置资源的采集同步频率。在数据采集的过程中，支持数据的转换、合并、连接等数据处理。支持xml格式的数据导入导出。2.便捷的表单设计用户通过所见即所得的表单或表单设计工具，以简单的拖拉拽的方式完成大量表单或报表的编制工作。其中表单主要解决基础数据的采集、表单类的数据上报业务。3.智能的数据审核用户可以根据实际业务需求进行校核公式的配置，完成表内校验、表间校验、合理性校验、历史数据对比，并对审核结果进行快速定位及输出。其中具备网络环境的单位，能够直观的看到下级单位的数据填报情况及数据质量。4.灵活的数据汇总用户可以自由的选择单位和行政区划进行汇总。汇总指标之间可以通过计算公式完成表内、表间的指标计算，减少工作量，提升数据准确率。5.强大的统计分析用户可以对已有数据进行简单数据查询、历年数据查询、单位对比查询、单位排序查询、高级汇总查询等操作；可以自定义完成各种统计报表，满足不同数据分析和处理需求，形成多维数据，并以报表、图表等形式展现，真正实现从数字上进行宏观决策和微观管理。6.灵活的综合管理服务通过该平台，用户可以很轻松地完成分级组织管理、用户管理、授权管理、日志管理、任务管理。用户可以根据自己的需要，定制业务处理流程，并通过任务下发和数据上报的方式完成网络环境、单机环境以及复合环境的协同。建设原则数据汇集系统的应用对象是需进行数据采集、管理、汇总应用的主管单位和下级单位；数据汇总系统对应的数据内容，不但需要能够处理业务的结构化的报表数据，还能够处理工作计划、业务统计等非结构化的业务数据。数据汇总系统应用的形式为网络表单，通过表单模板制作、样表生成、表单组合及下发、表单填写、表单审核、表单上报、表单管理等系列操作，完成汇总分析所需要的基础数据的采集工作。数据汇集系统更加强调数据的审核、汇总和分析，为领导决策提供直接的客观依据。主要保证如下几点：保证信息的时效性运用数据汇集系统实现在线填报、离线填报、数据导入工作，提高填报工作的效率，保证填报信息的时效性。保障信息的安全性运用数据汇集系统在数据上报过程中实现数据的加密，充分保障汇总上报数据的安全性。提高数据的正确性运用数据汇集系统，根据实际业务需求，配置审核公式，所有上报数据先校核再上报，提高上报数据的准确性，确保汇总结果的正确性和可信度。统一上报数据格式通过多种技术手段保证上报数据格式的统一，从而为上级单位节约大量的时间和精力，大大提高工作效率。现实数据共享机制及关联通过技术手段，建立与各个业务系统之间的关联，自动共享业务系统中的数据，通过自动取数、自动填写报表的方式，减少人工操作可能产生的错误，同时提高数据的共享性和系统的关联性。总体架构数据汇集系统总体应用是多层次架构，分为综合管理、方案制作、任务下发、应用层次及成果展现。图2.1系统总体架构综合管理主要是辅助用户完成用户、组织、权限及流程制定、报表打印等数据采集及填报的准备工作。方案制作是指用户可以在系统内完成报表、表单模板设计及相关审核公式的配置工作。任务下发可以针对不同的报表及表单的填报应用下发多个任务，并下发给不同的下级单位。下级单位系统中进行任务导入后，即保持与上级单位报表、表单应用的一致性，无需进行二次配置。数据汇集系统从应用层次上可以划分为三个层次：数据采集层、数据汇总层、数据分析层。其中：数据采集层主要完成报表数据的采集工作，即通过浏览器本地填写、导入或者自动从业务系统中提取数据，然后保存、审核通过之后并上报。数据汇总主要完成下级单位报表数据的收集、整理，并按照上级单位的规定除上报汇总数据外，是否一起上报基础数据明细。数据汇总层对应的单位可以有多个层次，也即对应于多个中间层单位，该类单位可以对下级单位上报的报表数据进行管理、查询、统计等操作。数据汇总层主要是帮助主管单位（也可以是中间层单位）完成数据的汇总、统计等设置的。具体而言，就是主管单位根据报表相关指标、关键字等，设置汇总统计条件，建置汇总统计模型，然后基于各下级单位上报的数据或者下级单位上报的汇总数据，形成汇总统计的结果。数据分析层是数据汇总系统的重点，主要是完成数据库到数据仓库的转换，并在数据仓库建置的基础上，完成多维数据分析以及数据的钻取、切片、旋转等功能。概括的讲，数据采集是基础，数据管理是桥梁，数据汇总是重点，数据分析是目的。数据采集、管理，其重点是在此基础上的汇总和分析，主要目的是为领导的决策提供全面、准确、客观、科学的数字依据。数据采集、汇总、分析完成后数据汇总系统可将数据统计分析的成果通过分析示图、门户集成进行展现。技术路线为方便系统应用和软件管理，系统应用浏览器/服务器（B/S）体系结构，系统可以行政区划为单位各自独立运行，以逐级上报方式完成系统之间的数据交换。在技术路线的选择上，采用了符合SOA体系架构的设计思想及当前业界主流的J2EE技术路线，可以满足跨硬件平台、跨操作系统的要求。图2.2技术架构在技术体系中采用了WebService、AJAX、Hibenate、EXTJS、FLEX及持久层框架等核心技术，在保证技术先进性的同时兼顾了技术的实用性。同时，采用组件式开发技术，使彼此独立的业务组件通过Webservice、XML等松耦合的通讯方式组织在一起形成完整的业务系统。采用数据访问对象(DataAccessObject)来实现对数据库的存取，采用异步任务来处理长时间请求，采用O-RMAPPING技术保证公共数据库的可扩展性，采用XML和Webservice作为数据发布标准，采用元数据、数据映射、原生XML数据库等技术实现数据处理。Java技术由于其跨平台特性、面向对象特性、安全特性等，把数据库访问、企业级Java组件、命名和目录服务、动态页面生成、XML、事务服务等有机地集成在一起，并且提供集群等高级特性，使之特别适合构建复杂的大型应用，并保证系统具有很好的可扩展性。使用JAVA开发的B/S架构的系统，因而可以在绝大部分的硬件设备（IBM、SUN、HP等）、操作系统（Windows、Unix、Linux、Solaris等）、中间件（WebLogic、WebSphere、tomcat等）上运行，支持多种数据库及其数据相互转换.目前支持ORACLE、MYSQL等数据库，支持IE6、IE7、IE8、IE9等各种版本的浏览器。

系统功能总体功能系统由数据采集、数据审核、汇总分析、方案制作、任务下发、数据管理、系统管理等模块组成。图3.1系统功能功能模块数据采集数据采集模块任务是将关系型数据库的业务资源采集入库。数据采集支持各种主流关系数据库，通过计划任务的方式运行，根据不同资源类型的实时发布要求，配置资源的采集同步频率。在数据采集的过程中，支持数据的转换、合并、连接等数据处理。支持xml格式的数据导入导出。数据审核 数据审核是数据质量的保证，数据审核针对各阶段相关数据，在工作过程中对数据进行的质疑性、极值性、逻辑性、完整性审核，主要是数据添表人员及各级数据审核人员。为保证对象及对象间、指标及指标间、指标数据及指标数据间的合法性、一致性以及合理性，本系统可根据实施方案定义的审核规则对全体或分类数据进行全或分类范围的审核规则的系统校验，并将数据质量情况及审核结果形成报告。审核方法机审针对表中的指标数据信息，进行单一指标信息的合法性审核及边界（极值）审核；针对表格中具有逻辑关系的数据项进行逻辑一致性审核。审核关系在指标管理中进行配置，审核时根据不同的阶段和用户需求调用审核关系进行系统审核，审核结果能通过一览表形式显示，可根据用户权限提供数据编辑模块的功能。人工审核数据审核人员通过对各种数据汇总表的审核分析和历史资料比对，检查对象数量、数据分析、分类分析、区域对比分析、结构和分布的合理性，分析和核实异常值数据的可靠性。若数据存在问题，可将该类别数据设为“审核不通过”，并填写不通过原因并打印相关审核报告。审核内容全面性审核主要是依据实施方案的表填表说明、数据处理字典和审核关系，全面检查业务表必填数据的漏填情况、已填数据的有效性、边界条件、完整性和逻辑关系的一致性，计算业务数据的漏填率和错填率。并能给出各项指标的完成情况。完整性审核数据项完整性审核其审核目的是为保证业务中目标对象的覆盖范围，主要审核普登记信息表中基础信息填报正确性与数据项的完整性。以普查数据填报要求为依据，筛选出普查漏添指标项清单，要求补充普查录入。一致性审核业务对象之间具有依赖关系，依赖关系必须符合对象名录范围，对于不符和名录范围的数据要挑选出来。有数据编辑权限的人员，可在错误清单中直接进入数据编辑界面进行编辑操作。准确性审核针对登记表中的数据信息，进行单一指标信息的合法性审核。审核关系由内业人员定义，在任务管理中进行配置，审核时调用审核关系进行系统审核，并以普查对象一览表形式显示审核结果，可根据用户权限提供数据编辑模块的调用。在登记数据中筛选一定数量比例的边界值如极大值、极小值或同时筛选极大极小值。筛选出的极大极小值以一览表的清单形式展示。对与有编辑权限的人员提供普查数据编辑调用功能。审核人员可以通过极值筛选，重点核查不符合条件的数据，对这些数据进行抽查、复核。审核形式表内针对登记表中的数据信息，进行单一指标信息的合法性审核。审核关系由内业人员定义，在任务管理子系统中进行配置，审核时调用审核关系进行系统审核，并以业务对象一览表形式显示审核结果，可根据用户权限提供数据编辑模块的调用。1、选择指标合法性审核条件，进行数据合法性审核，对审核未统计名录项形成错误名录清单。2、审核错误清单可进行保存、导出等操作。3、在错误清单项中，人工标记可忽略审核错误的特例。4、有数据编辑权限的人员，可在错误清单中直接进入数据编辑界面进行编辑操作。表间专题之间及同一门类的不同类型对象之间有相互的关联关系，根据其关联依存关系，在不同门类及类型之间进行筛选，保证在不同对象类型之间关联对象的完整性。具体来说包括对象关联性，关联依存关系由内业人员提出，并在指标管理的相关审核管理功能中进行管理和维护，本模块进行相应的审核工作。系统根据关联审核确定性和质疑性的审核公式给出不符合条件的数据。对于确定性的需要重新调查、录入；对于特殊的数据可以通过填写说明。质疑性的数据要给出质疑清单，便于进一步对数据进行检查和抽查。系统能够通过用户权限判定，提供对不符合条件的数据进行编辑录入功能。汇总分析汇总分析包括查询汇总和自由汇总。查询汇总：分为数据查询和自由汇总两个主要功能。数据查询是数据汇总系统的重点，也是数据汇总系统的核心应用模块。数据查询是对数据汇集系统数据库中一套报表内任何单位、任何报表、主栏、宾栏的任意数据指标，按照用户确定的分类标准进行的综合数据汇总查询。自由汇总是系统为用户提供的对数据更灵活的汇总，用户可自由选择单位和报表进行数据汇总。图3.2.6-1自由汇总界面统计分析：主要是针对经过数据转换形成的数据仓库，完成分析模型的建置，实现基于分析模型的多维分析，并利用展现工具，根据权限设置为领导展现智能分析的结果。图3.2.6-2统计分析界面方案制作方案制作主要包括审核管理及报表中心两个主要功能模块。审核管理：上级单位可以管理和查询各下级单位填写、上报的报表数据，并对下级上报的数据进行审核（复核）。同时根据审核的结果，决定是否需要下级单位重新填写或者修改上报的数据。图3.2.7-1表内审核界面报表中心：可以满足不同用户对数据的统计需要，用户能够根据本单位业务需要，“随心所欲”地设计出自己的报表。报表中心功能模块负责管理系统内的统计报表，具体功能包括“报表分析”，“表类设置”，“报表设计”，“表式收发”四个部分。图3.2.7-2报表分析界面任务下发报表的下发、填写和上报是以任务的形式进行组织的，数据汇集系统可以针对不同的报表设置多个任务，主管单位可以进行任务的导出，下发给不同的基层单位，也可以将不同的任务下发给同一个单位。图3.2.7-1数据汇集系统——任务导入界面数据管理数据管理功能包括系统级的数据导入、数据导出、数据清空、数据备份与恢复等功能。其中数据导入导出功能是与采集系统的数据转换接口，数据任务描述文件、审核公式信息等均由数据导入功能实现，表单数据的数据通过其自身的导入导出功能，在完成向数据处理上报系统提供标准数据包的基础上，还支持多点分布式布署的本级数据合并功能。系统管理系统管理：包括数据管理、辅助打印、参数设置、代码设置、单位设置、用户管理、视图管理、运行监控、日志管理等。数据管理：从业务实际出发，提供数据导入、导出及数据备份、恢复功能。报表数据可以通过磁盘文件、邮件系统等多种渠道进入数据汇总系统。数据导出数据导入图3.2.9-2数据管理界面数据导出数据导入参数设置：充分体现数据汇集系统的软件构架灵活，能满足业务处理多样性和灵活性要求，在规定的范围内，通过调整配置参数，用户就能定制业务操作，如提示信息、页面布局及系统默然颜色等。代码设置：主要是为了保证数据汇集系统在进行数据统计时的规范性、准确性，并且也可方便用户在录入的便捷性。系统中的代码设置支持添加、编辑、删除操作。图3.2.9-3代码设置界面单位设置：主要完成对各级单位以及相关角色的日常管理工作，涉及新增、修改、查询、对应关系维护。系统管理人员可增加、删除和修改机构信息。主管领导进行审核，通过则可发布，不通过注明原因之后，由维护人员重新进行相应操作。图3.2.9-4单位管理界面用户管理：主要完成数据汇集系统具体使用用户以及相关角色的日常管理工作，涉及新增、修改、查询、用户与角色的对应关系维护等方面。管理员可以对用户进行角色分配，并可分配到指定单位、指定用户组。图3.2.9-5用户管理界面视图管理：是数据汇集系统中为用户提供的个性化显示配置功能，主要是指主菜单显项配置管理、左侧菜单显项配置管理。图3.2.9-6视图管理界面运行监控:除可以控监视数据库连接关键资源的使用情况，跟踪应用可能引起的漏洞。还可以监控内存使用情况。图3.2.9-7运行监控界面日志管理：可将系统中所有重要操作进行记录，包括系统管理相关操作、数据备份恢复操作、汇总操作、审核操作、打包上报操作、更新等重要日志信息等。可对操作的日志信息进行查询，日志中记录用户的操作情况和报错信息、数据库访问信息。日志管理落实到数据的修改细节上，比如能够记录该修改动作的操作时间、操作节点、操作者信息。图3.2.9-8日志管理界面

系统优势采用J2EE架构软件架构上采用JAVAEE5应用框架、多层的B/S体系，充分利用软件工程的工具来分析、设计和开发应用系统。该软件是基于水利普查基层开发框架构造，该框架基于J2EE应用平台，采用JAVA、SERVLET、JSP、EXT等技术、以及组件技术、数据库技术，采用多层B/S应用结构体系，使整个应用系统建立在统一的平台上，充分体现了系统的先进性、可扩展性、可移植性等。Java技术由于其跨平台特性、面向对象特性、安全特性等，把数据库访问、企业级Java组件、命名和目录服务、动态页面生成、XML、事务服务等有机地集成在一起，并且提供集群等高级特性，使之特别适合构建复杂的大型应用，并保证系统具有很好的可扩展性。使用JAVA开发的B/S架构的系统，因而可以在绝大部分的硬件设备（IBM、SUN、HP等）、操作系统（Windows、Unix、Linux、Solaris等）、中间件（WebLogic、WebSphere、tomcat等）上运行，支持多种数据库及其数据相互转换.目前支持ORACLE、MYSQL等数据库，支持IE7、IE8、IE9等各种版本的浏览器。可视化表单配置系统设计实现通用的表单模型，将业务对象表单抽象为