飞搏-部门间信息共享与服务平台方案

1、.飞搏部门间信息共享与服务平台.江苏飞搏软件技术有限公司二一四年二月.目录1产品简介 .22重点解决的问题.33产品功能 .44产品架构 .64.1基础平台 .64.2支撑平台 .64.3应用平台 .74.3.1应用服务系统 . .74.3.2数据采集系统 . .74.3.3数据集成系统 . .94.3.4门户网站 . .104.3.5平台管理监控系统 . .115产品特点 .135.1安全性和规范性 .135.2合理性和实用性 .135.3可扩展性 .145.4高性能、低成本 .145.5易配置、易操作、易管理维护.145.6基于元数据的数据管理 .155.7细粒度的数据权限控制 .156成

2、功案例 .16.1 产品简介本产品以大数据技术为基础，以下一代通信信息技术为纽带，以云计算 / 云服务技术为载体，建设形成以产、学、研、用为完整链条的产业模式，重点进行以实现数据信息共享、 避免信息孤岛为目的的拥有一体化共享服务体系的共享服务，形成在各级别行政机关应用的集汇聚、整合、清洗、分析、共享、管理于一体的部门间数据共享服务平台，提高数据共享应用水平和质量，并形成包括数据整合、数据清洗、数据汇聚子系统在内的系列服务应用体系、技术体系以及为数据共享推广服务的应用支撑体系和标准体系，创新现代数据管理应用生产模式和经营模式并最终示范推广。部门间信息共享与服务平台一方面能使党政军机关、社会企事业

3、单位对外分享及时、准确、权威的数据，实现如银行开户人员、民航乘客、参保人员的身份核查和保险车辆的信息核查等功能。另一方面也使党政军机关、 社会企事业单位能借助共享平台及时、准确、安全的获得其他政府部门和各类社会信息的数据，实现对掌握的各类外部数据资源的汇集整理工作，为综合查询和情报分析提供更丰富的数据支持。此外，党政军机关、 社会企事业单位在日常的工作过程中， 需要利用对方单位部分敏感数据， 但出于数据传输安全考虑， 这部分数据不适合直接进行数据传输，只能以服务接口方式或应用 web方式进行数据交换。 而传统服务和应用所实现的数据交换不能满足安全网域对数据共享服务的要求， 因此，共享平台的建设

4、应严格按照相关安全规范要求，采用基于边界接入数据交换平台的安全通信架构，在保证数据共享得到有效监控管理下， 实现为党政机关、 社会企事业单位提供双向的应用级的共享服务。.2 重点解决的问题部门间数据共享，是一个跨部门、跨地域、跨业务的综合信息系统，通过交换整各个部门的业务数据， 主要包括一些具有公共需求的基础数据，实现数据信息多元化、多角度的综合利用， 实现数据信息价值的最大化体现，并对以后各类物联网建设及业务信息集成共享问题的解决具有普遍指导意义。部门间数据共享服务平台响应国家 “十二五” 社会公共安全的政策， 符合行政部门数据质量优化创新工作需要。本产品将重点研究和解决以下问题：1、电子政

5、务的解决之道通过平台化的实施，本项目将致力于探索和建立软件企业与政府信息化建设互利共赢、利在长远的建设模式， 帮助政府部门减少软硬件一次性投入、避免重复投资、获得长期稳定应用服务， 软件企业同时受益于这样一条价值链，通过获取长期稳定回报以不断提高自身服务水平, 不断提供更为优异的服务。2、研究与设计部门间数据共享服务平台总体架构探索基于 SOA的部门间数据共享服务的解决方案， 建立政府行政服务机构异构信息系统间的信息协同交换机制， 集成政府行政服务机构各部门提供的各类标准服务，实现业务服务整合和系统间的互操作， 协同完成部门间数据共享服务工作。建立统一的、 高伸缩性的部门间数据共享服务平台，

6、实现业务整合和信息共享，为部门间数据共享工作提供信息化支撑。3、研究与设计部门间数据信息与服务标准研究政府行政服务机构各部门的信息采集、 交换、存储的标准化， 在国内外及行业各种现有数据标准规范的基础上， 结合本项目的实际， 制定一套完整的数据描述、封装、传输、存储标准规范，在异构系统间实现有效的信息共享。以SOA架构为基础，结合 SOAP、 WSDL、 UDDI 等标准，提供一套完整的服务接口和协议规范，向其他业务系统提供底层标准服务， 降低新需求引发的业务系统构建复杂度。.3 产品功能部门间信息共享平台坚持以满足社会管理、公共服务需求为目标， 通过交换共享、汇集整合有关部门、 单位采集的相

7、关信息资源， 建立部门间信息共享基础数据库，搭建统一的集应用门户、系统互访、接口调用、数据交换和信息查询、比对、核查等应用服务功能为一体的网上信息共享与服务平台，统一部门间信息交换路径、信息服务方式、 信息安全监管和信息管理责任，实现部门间相关信息的高效共享与服务，以此提高社会管理服务水平和部门业务工作效率。共享平台的核心功能主要包括两个方面： 一是方便可靠地获取外部信息， 将其他政府部门、 社会单位向安全内网提供的信息传输到共享平台上， 并根据业务应用的需要将相关信息加以综合利用。 二是安全可控地对外提供信息服务， 将需要对外共享的信息同步到共享平台上，以应用接口、 Web访问、数据交换等方

8、式对外提供信息共享服务。具体目标是：1、信息汇聚。采用数据交换技术，汇聚整合有关部门、单位采集的相关信息资源，建立形成网上动态更新的部门间信息共享基础数据库。2、信息服务。以部门间信息共享基础数据库为基础，构建部门间信息共享和服务平台，为有关部门、单位提供核查、信息查询、批量比对和数据复用等信息服务。3、应用支撑。依托部门间信息共享和服务平台，支撑部门业务应用和部门间业务协同工作的开展。4、安全监管。实现对各部门、单位访问用户的授权管理、访问控制和应用审计，追溯访问应用历史。系统在功能表现上包括五大主要功能模块：应用服务系统：主要为部门间信息共享提供应用服务，包括数据查询、核查比对、数据提交和

9、服务接口等。系统支持Http 请求和 SOAP请求，并能够和部门间信息共享与服务平台门户及其他部门应用系统实现对接，实现对应用服务系统各类应用服务功能的调用；数据采集系统：是一套易用、易管、高效的数据交换系统，主要实现不.同数据库、应用系统、操作系统之间的数据交换，满足分布在不同操作系统环境中的各类应用系统、数据库之间数据交换共享的需要；数据集成系统：数据集成系统对采集交换的共享数据进行清洗、转换和数据匹配映射，确保共享数据的质量和使用价值；门户网站：共享平台门户网站为各部门用户提供统一访问入口，主要提供信息查询、 核查比对、应用导航、信息公告、应用统计等服务。 其中，信息查询、比对等功能主要

10、依托应用服务系统提供的服务接口实现；平台管理监控系统： 平台管理监控系统对整个共享平台进行统一监管审计，实现注册管理、监控与统计、用户管理、系统审计等功能业务流程管理.4 产品架构4. 1 基础平台1) 数据备份管理：通过多种数据备份机制实现高可靠性的冗余备份，保证高级别的物理数据安全。2) 负载均衡和优先级控制： 系统通过自行开发的负载均衡模块， 实现负载均衡。可以保证在大并发在线用户数的情况下应用业务流程能及时准确的执行。 系统同时实现了优先级控制功能，可以根据预配的优先级调度业务流程。保证优先级较高的任务优先完成。3) 虚拟化技术：系统采用虚拟化 3.0 技术，将物理服务器分割虚拟化为虚

11、拟服务器再聚合虚拟化为虚拟计算环境提供平台支撑。4. 2 支撑平台1) 系统管理：用于配置定义各模块功能，设置系统各项参数，建立用户并分配相应权限，实现严格的分级分层管理，实现应用级别的用户分离，各用户只能管理自身应用与业务数据。包括资源管理、用户管理、授权管理、数据字典管理、操作日志、群组管理、登录日志管理等。2) 安全管理：作为提供企业级关键应用的在线服务系统，系统提供了严格的安全保障管理，包括对本平台服务器集群本身的安全控制、数据传输过程的加密控制、应用交换文件的病毒、木马过滤管理、对初始化导入/ 导出数据的质量审计评估。3) 综合查询：实现多维度、多层次的查询统计，提供基于用户配置的查

12、询统计工具，用户可以实现个性化的自定义统计查询。4) 信息发布模块：实现一个无障碍的通知与沟通平台，并且根据业务与安全要求进行分级和隔离，在重要信息发布上建立确认机制，保证信息传达的无障碍和可靠。.4. 3 应用平台应用服务系统（1）可视化业务配置器。具有图形化的业务配置器（共享流程设计器） ，满足各部门不同共享逻辑的调用需求（如简项查询、要素查询、核查比对、数据采集等），并能够根据后续的共享需求，灵活快速地调整变化的共享流程。（2）标准的 Web 服务接口。将信息查询、核查比对包装成通用的 WEB服务接口，供部门间信息共享与服务平台门户网站或者其他部门业务系统直接调用。服务接口支持 Web

13、服务常用标准协议，如 SOAP1.1/1.2、WSDL2.0等。（3）用户权限管理。集成用户管理模块，支持基于数字证书的身份认证，并可以通过对访问者的授权管理，控制访问内容。（4）信息查询。采用精确或模糊条件检索方式，对部门间信息共享数据库进行查询，并提供相应的信息及关联信息服务。（5）数据核查。根据数据核查需求，将有关部门提供的核查数据与部门间信息共享数据库进行批量比对，并将核查比对结果（是、否、真、假）返回给提出核查的部门。（6）共享痕迹留存。对信息共享查询、核查、比对、服务接口调用等应用的信息进行审计记录，并根据预设规则形成信息共享应用痕迹数据库。（7）服务门户定制。以智能化定制方式，按

14、需生成独立的服务门户，满足不同部门信息查询、 核查比对、数据提交的应用需要。 该功能主要实现在不开发应用程序、不另外部署应用服务器的情况下，提供个性化应用门户的服务。（8）监控与管理。基于浏览器方式的管理控制台，对系统、服务、组件及业务流程进行状态查询和监控管理。数据采集系统数据采集是本平台的基本功能，因此需支持多种方式方便灵活的数据采集，同时又要保证数据采集的严肃性和准确性。目前平台支持数据库同步、 文件交换和人工上传三种数据采集方式。前两种是由数据采集系统实现的，人工上传方式由应用服务系统提供。.数据采集系统的主要功能是： 将各部门前置机上的数据采集交换到信息共享数据库，或者将信息共享数据

15、库中的数据发布到各部门的前置机。对于有明确数据源的部门单位， 可直接从数据源导入数据。 对于这种信息实时传输导入的情形需支持业务平台和前置节点间的数据同步， 并提供多种数据适配接口支持各种异构数据，提供对数据库表、 Excel 文件、普通文件、 JDBC等标准适配器和适配器二次开发编程接口。 对采集源的数据进行合法性验证， 禁止格式错误或不符合要求的数据进入平台。主要功能包括：具有平台无关性支持主流硬件平台和操作平台，如 Windows、AIX 、UNIX、Linux 等；支持异构多数据源和目标数据库：如 Oracle,DB2,Microsoft SQL Server,Informix,Syb

16、ase,My Sql 、达梦等；支持上传文件： DMP、 SQL、TXT、Excel 、 CSV、ACCESS、XML，以及对应 ZIP 文件采用图形化配置方式实现所有交换业务，实现零代码开发；实现跨网络数据同步和交换；实现数据库到文件、文件到数据库、数据库到数据库、文件到文件的交换；实现内网不同类型数据库间的数据同步和交换；实现不同格式的文件之间的数据交换；实现一份源数据向多个要求各异的目标交换数据，如共享平台向多个部门单位发生数据；实现对被交换数据内容、格式、类型的转换；实现对被交换数据的协议剥离、格式检查和过滤；实现对被交换数据的抽取、解析和聚合；.实现的业务调度策略有：事件触发、时间触

17、发、消息触发；定时、实时、轮询；全量、增量等；实现实时病毒与木马过滤。数据集成系统由于不同部门提供的共享数据格式、 质量各异，在数据采集交换过程中会遇到数据不能转换或数据丢失等问题。 这就需要一套专门的数据集成系统对采集交换的共享数据进行清洗、 转换和数据匹配映射， 确保共享数据的质量和使用价值。数据集成系统的主要功能是用于数据清洗、 数据转换、数据质量审核， 按照设置的规则，对预处理数据进行清洗转换， 并将标准化后的数据装载到信息共享数据库。经数据集成系统处理后的信息数据，可在平台中平滑地流动与共享。由于信息来源的多样性， 决定了采集来的信息的多样性， 既有数据库记录方式的，又有文件方式的。

18、同时，目的端对数据的要求也是多样的。因此数据集成系统即要满足简单的数据库和文件同步外，还需支撑较为复杂的数据交换功能。平台具备以下功能：采用配置方式实现所有集成业务，实现零代码开发；支持主流硬件平台和操作平台，如 Windows、AIX 、UNIX、Linux 等；支持异构多数据源和目标数据库：如Oracle,DB2,Microsoft SQLServer,Informix,Sybase,My Sql等；支持同构数据库同步交换、异构数据库同步交换、文件同步交换，支持文件到数据库、数据库到文件的转换；支持一对一、一对多、多对一等多种数据传输方式：如一份文本文件同时向文件服务器和数据库服务器发送；

19、实现数据转换业务的多种调度策略：事件触发、时间触发、消息触发；定时、实时、轮询等；能对数据来源进行管理和跟踪；ETL 流程具备模块化、灵活性以及可扩展性；.可配置的数据抽取过程，支持增量抽取的处理方式；定制数据清洗规则，按照清洗规则和字典代码进行数据清洗及标准化，支持分层数据清洗，支持去除重复记录；支持多种字符集（ GBK、Unicode 、UTF-8）数据源的转换；对抽取到的数据能进行灵活的计算、合并、拆分等转换操作；支持各种数据类型、格式转换，支持字段名转换、字典代码转换、空值转换；支持自定义插件数据转换加工；在转换过程中支持数据比较的功能；可定时统一调度作业， ETL 作业能够并行执行；

20、具备异常处理机制，在ETL过程中，生成异常数据报告提供数据可靠传输机制：发生网络阻塞，链路故障等时保障数据交换可靠传输。数据传输完整性保证：发生网络阻塞 / 异常，链路故障等时保障交换数据的完整性。所有的业务流程支持优先级管理，确保高优先级的核心业务的运行；实现对被交换数据的协议剥离、格式检查和过滤、实现实时病毒与木马过滤；方便的管理功能；提供数据交换详细日志、报表功能，对数据交换成功记录和失败记录进行详细记录，包括业务名，条数、操作、时间、库名、表名、失败原因、操作次数、恢复次数、时间、库名、表名等信息；支持负载均衡功能，可以支持多组集群的负载均衡；门户网站共享平台门户网站为各部门用户提供统

21、一访问入口，主要提供信息查询、 核查比对、应用导航、信息公告、应用统计等服务。其中，信息查询、比对等功能主要依托应用服务系统提供的服务接口实现。（1）统一用户管理：对注册用户进行管理，包括用户ID、群组、许可权限.等。包括自助注册和管理本用户信息的WEB页面和管理用户、群组及相应权限。（2）统一用户认证（单点登陆）：注册用户登陆后，可以在授权范围内使用各类应用服务资源，无须切换。（3）页面定制：按需定制终端用户的门户内容， 包括信息和应用服务内容，外观及版式等定制功能。（4）信息公告：信息公告是用来起草、发布以及管理各类部门信息、通知通报的网上信息管理，具有信息公告的新建、编辑、删除、查找、审

22、核、发布等功能。（5）应用导航：门户提供了应用导航，用于各子系统的快速链接。门户的应用导航应包含应用服务系统、 管理监控系统具体功能的导航， 如数据查询、 数据核查、数据比对、应用统计、监控审计、数据源配置管理、系统管理等，为有关部门提供统一服务入口和平台管理者提供统一管理入口。（6）应用统计：门户网站的应用统计应能直观反映部门间信息共享服务的实际工作进展，并灵活运用各类图表展现统计数据。一方面可按时间、单位、数据类型、服务类型等维度，建立模块化、主题化的数据量统计、数据应用成效统计等功能；另一方面，应集成应用服务系统和平台管理监控系统的统计功能。（7）应用服务：依托应用服务系统提供的服务接口

23、实现信息查询、核查、比对等功能，对外提供共享应用服务。主要功能包括：简项查询、要素查询、关联查询、数据核查、批量比对、数据上传下载等。平台管理监控系统平台管理监控系统对整个共享平台进行统一监管审计，实现注册管理、 监控与统计、用户管理、系统审计等功能。（1）注册管理。对共享平台提供的所有应用服务及设备进行注册管理，包括服务单位信息、服务管理单位信息、数据源信息、业务系统信息、应用接口管理、系统设施等注册管理。（2）监控与统计。实时查看现有应用服务及系统设施的运行状态、应用流量，统计应用服务在任意时间段的使用情况、启停状态、服务流量、用户人数、审计次数、报警次数等数据。同时，对访问用户行为进行监

24、控，对用户的登录状态、操作行为、访问资源等情况进行监控并提供查询统计服务。.（3）用户管理。对用户进行分类管理，提供对用户信息进行分组查询、增减和统计等操作功能， 并对特定用户的访问情况进行详细审计记录，包括用户行为、访问资源、访问时间等信息。（4）系统审计。应用审计功能：包括应用服务信息、传输流量、传输时间、传输内容等应用痕迹信息； 设备审计功能： 包括设备启停时间、 次数和设备资源使用状况等；异常行为审计功能：包括异常发生时间、异常具体内容等。.5 产品特点5. 1 安全性和规范性共享平台以“安全” 、“规范”为建设的首要原则，以安全为出发点全方位、立体性地对不安全因素进行防范， 以相关管

25、理规范为依据进行合理设计， 保障平台的安全性和规范性。依据分类分级控制的原则严格管理各部门单位的接入安全； 应用安全由平台的门户网站和管理监控系统控制， 从系统用户、 授权控制、 应用监控和行为审计等方面进行全面管理。 接入和应用的双重安全保障， 使整个平台具有立体的、 全方位的防御能力。5. 2 合理性和实用性共享平台提供了多样化的数据采集和共享方式， 可灵活应对各类部门单位的不同 IT 状况及业务需求，具有良好的实用性和合理性。共享平台支持手工采集、 直接从数据源交换导入两种方式的采集， 数据类型包括数据库数据、 文件数据。数据自动采集汇聚是由数据采集系统按照设定的安全策略主动连接部门单位

26、的数据源（前置机） ，通过数据库同步或文件交换的方式，获取各部门提供的共享数据； 数据手工采集采用 B/S 模式，由接入终端登录应用服务区的应用服务平台，实现手工登记数据或人工上传、下载数据。 B/S 模式的数据采集方式适用于低频度、 少量数据上传， 或无业务系统支撑、 只有报表数据的接入用户。系统可自动把设定格式文本或报表数据转换为结构化数据入库。共享平台提供应用服务、 接口调用、 数据交换等数据共享方式。 网上信息共享与服务平台为各社会部门提供信息查询、核查、比对及上传下载等功能， 有权限的各部门用户可直接登录平台获取数据服务；接口调用是将信息查询、核查、比对包装成通用的WEB服务接口，供

27、部门间信息共享与服务平台门户网站或者其他部门业务系统直接调用；数据交换适用于采用双向交换共享方式的部门单位，部门单位将其提供的数据信息依托共享平台推送至安全内网，在安全内网内对这些数据进行入库比对，并将所比对出的数据依托共享平台推送回原提供单位。.5. 3 可扩展性共享平台架构设计采用先进、灵活的 SOA体系架构， 运用模块化、 工具化设计，能保证系统具有良好的可扩展性。系统提供标准的应用接入接口API，支持新服务的挂接和集成，可实现系统的平滑升级。共享平台可方便的进行扩容， 只需增加接入平台数量即可平滑扩容升级，不需要增加开发工作，符合“成熟一个、接入一个、共享一个”的策略，逐步拓展部门间信

28、息共享的内容和范围。5. 4 高性能、低成本共享平台遵循系统工程和软件工程的原理和方法 , 运用先进成熟的技术，稳定开放的体系架构以及结构化设计开发方法等 , 保障平台具有良好的成熟性、稳定性、可扩展性及可移植性。同时采用采用多线程、负载均衡等技术，提升系统整体性能。共享平台在具有高性能的同时， 能有效地降低软件维护成本； 同时平台建设时充分利用现有系统资源， 利用边界接入平台等基础设施， 可有效降低项目投资成本。共享平台建成后将所有对外共享服务接口进行统一、 规范的管理，从而避免原来各个业务部门分头建设、重复投入、维护成本高、存在安全隐患等问题，即节约了大量建设和维护成本，又提高了共享服务质

29、量和安全管理水平。5. 5 易配置、易操作、易管理维护部门间信息共享与服务平台需要对各类异构数据进行复杂的采集、抽取、转换、清洗、整合、加载等一系列数据处理，这些操作需要进行人工配置，如果过于复杂，易导致系统使用难以贯彻执行；另一方面，平台涉及多个部门单位，未来一段时间内可能还会继续接入其他业务，而每个部门单位的共享服务需求各不相同，平台应能灵活应对这些环境和需求的变化。共享平台设计时注重系统的实用性和易操作性，提供了各类简单灵活的图形化配置和工具， 能快速灵活地调整业务配置适应共享业务的需求变化，在确保系统功能合理、 流程明确的前提下， 保证系统操作的简单便捷。 强大的功能配置支.持，可方便进行服务组合发布，提供应用灵活接入。在有新业务需要接入时，可以通过简单的部署和