水资源数据交换解决方案V

水资源数据交换解决方案1、项目概述实行最严格水资源管理制度的关键是围绕水资源配置、节约和保护，确立水资源管理三条红线，建立水资源管理责任制和考核制度，确保水资源管理目标的实现。全面实行最严格的水资源管理制度，必须加强水资源监控设施建设，实时掌握来水、取水、用水和排水动态，保证第一手信息的准确性、科学性和精细化，为最严格水资源管理制度考核提供手段和依据。实行最严格的水资源管理制度，目前的关键是解决水资源管理基础薄弱的问题。水利部组织编制了《国家水资源监控能力建设项目实施方案》，提出利用三年左右时间，开展国家水资源监控能力建设项目，初步形成与实行最严格水资源管理制度近期目标相适应的国家水资源监控能力，为支撑水资源管理定量考核工作奠定基础。国家水资源监控能力建设项目建设内容以国控监测点的在线监测与传输能力建设和中央、流域、省三级监控管理信息平台建设为重点，构建包括针对8558个规模以上取用水、4493个重要水功能区、789个省界断面和重要控制断面等国控监测点组成的国家水量水质在线监测数据采集传输网络（不包括土建工程）；构建包括1个中央平台、7个流域平台和32个省级平台（含31个省、自治区、直辖市和新疆生产建设兵团）组成的国家水资源监控管理平台。2、现状与需求分析2.1、 现状目前水利相关组织架构与建设体系逐步完善，从“十一五”到“十二五”过程中，将逐步建设围绕水利核心业务的工程项目。网络环境建设方面，已经建成了连接水利部与7个流域机构、32个省级水利部门的全国水利政务外网的骨干网和水利部连接水利部在京直属单位、7个流域机构的水利政务内网，各流域机构、省（自治区、直辖市）水利部门均建成了部门内的政务外网（或政务内网）局域网，流域机构到所属单位的政务外网广域网基本建成，18个省（直辖市）已建成至各地（市）水利局、直属单位的政务外网广域网。2.2、 平台接入系统分析在本项目系统建设过程当中，涉及到众多的业务系统，此处虽无法全部列出，但从不同维度可以对各种业务系统进行分类分析，从中归纳出各类业务系统/业务对象的接入特点。建设时间维度以建设时间维度来分析，各类接入业务系统可以分为已建、待建或在建以及规划中三类。建设时间的不同将决定各个接入业务系统与数据交换平台之间的对接方式不同。对于已建的业务系统，数据交换平台应以兼容性的接入方式为主，尽量以低侵入的方式减少对已建系统的变更影响；对于在建或待建的业务系统，数据交换平台可以通过建议和规划的方式为系统提供对接的接口，以其与业务系统实现无缝集成；对于规划中的业务系统，数据交换平台应提供可扩展的接口支持，并制定相应的技术接口规范，以便于后续业务系统的规划和架构。系统类型维度此处“系统类型”主要是从交换共享业务所需信息资源的存储位置角度来定义系统。从整体上来分，本期项目所涉及的业务系统可分为部级、流域级、省级。部、流域、省三级结构的业务系统是指采用部级、流域级、省级三级部署架构的业务系统；各级独立结构的业务系统是指现阶段在每一级已经在用的的业务系统。经过调研目前已经完成系统建设的省份是江苏省，其他部级、流域级、省级信息平台都未建设。2.3、平台交互场景分析平台交换场景分析了数据交换平台与各接入系统之间的交换关系，说明了业务系统之间通过数据交换平台所完成的业务流程。横向数据交换每一级业务系统之间的横向内部数据交换，需要通过业务数据库和数据交换平台来实现。横向场景是指，在部级节点、流域节点、省级节点的水资源信息平台都需要和水利部其他业务系统（例如：防汛抗旱、水资源电子政务等）做数据采集，即将外部业务系统数据采集进入信息平台数据库。以部级业务系统为例。目前看到的横向数据交换更多的是单向的数据汇总。纵向数据交换部、流域、省三级的业务系统之间的纵向交换，需要通过部、流域、省三级的交换数据库来实现。异地数据交换方式实现了部、流域、省三级业务数据的交换。包括数据上传与数据下发两部分：数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库与部级信息平台数据的交换。数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台与流域、省级信息平台数据库的交换。以部级与流域纵向的数据交换为例，交换场景分为：•流域级业务系统向部级业务系统上报数据流域级业务系统根据部级系统的要求定时或实时的将数据信息通过数据交换平台进行上报。•部级业务系统向流域级业务系统下发数据流域级业务系统可以通过数据交换平台向部级业务系统申请共享数据，部级业务系统通过数据交换平台将共享数据下发给流域级系统。内外网数据交换数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网通过网闸、或者物理刻盘方式传输到内网，然后在内网做数据下发。反之亦然2.4、平台交互数据分析在不同交互场景之中，平台能够提供的交互内容和方式按照不同维度来分，可以分为以下若干种类。交互数据类型分析图示，如下图:2.5、 平台隔离性分析数据交换平台独立于各业务系统的业务逻辑，数据交换平台与现有的业务系统再交互上保持相互隔离和透明，数据交换平台对现有业务系统没有影响或尽量减少影响。在此基础上扩充增加业务系统，不影响数据交换平台的基础架构。考虑到平台隔离性需要引入前置概念，由前置库、交换库来屏蔽数据交换平台与业务系统的紧耦合。2.6、 平台统一性分析在本项目中需要数据交换平台需要制定统一的交换协议和数据规范，能够约束与规范平台与业务系统的数据交换。在进行数据交换时，连接到数据交换平台的各个业务系统遵循统一的标准。统一性的要求有利于在各种业务系统之间、异构数据库之间、不同网络系统之间提供整合手段，保证整个数据交换平台的数据一致性，便宜管理和监控，简化各个业务系统与交换平台互联的开发量。采用数据交换平台方式搭建，有效方式就是建设标准交换库。2.7、 平台扩展性分析数据交换与共享平台在完成本期项目建设目标和任务的基础上，还应当着眼“水资源建设体系”的整体规划，为体系内业务系统的持续建设与发展提供基础性的技术支撑，并对可预见的平台扩展性需求进行分析和考虑。主要体现在三级业务系统的横向扩展、三级级业务系统的纵向扩展以及随着规模和业务量的扩大所进行的平台升级和加固。横向扩展兼容已建的业务系统对于水利其他项目已经建设完成的业务系统，数据交换与共享平台应有能力提供系统接入和数据交换的功能支持，以适应已建系统的业务扩展。•为待建的业务系统提供支持对于本项目在建或待建的业务系统，数据交换与共享平台可以提供规范性的数据交换接口以及数据交换标准规范，为业务系统建设提供参考性意见，并能够对其进行系统接入，为其提供数据交换与共享服务。纵向扩展•流域级业务系统的接入策略数据交换平台应当考虑接入流域级信息平台不同业务逐步需要接入到部级信息平台的接入支持。•省级业务系统的接入策略数据交换平台应当考虑接入省级信息平台不同业务逐步需要接入到部级信息平台的接入支持。2.8、 平台跨平台运行分析随着业务系统规模的不断扩大，必然会涉及硬件平台需要升级，在硬件系统升级时，数据交换平台需要平滑过渡。随着业务扩展，系统升级，所有的处理过程，包括程序代码均不需要做任何修改，即可平滑的迁移到新的平台上。同时，数据交换平台能够适应各个部门的各种软硬件平台。2.9、 平台功能需求分析数据交换平台建设完毕后要纵向打通部、流域、省三级信息平台信息交换，横向打通防办、水文局、外部业务系统的信息交换。不管是纵向还是横向数据交换都需要交换平台具有如下功能:•数据采集功能•数据管理功能•数据交换功能•数据共享功能•应用集成整合功能•数据安全功能•平台扩展功能3、 建设内容本项目数据交换平台建设建设内容是：数据交换平台连接中央信息平台、流域信息平台、省级信息平台以及其他政府部门单位，在纵横双向广域网络上以星型拓扑结构实现业务数据的交换、同步，形成统一共享的数据中心。在纵向上可以由数据交换管理平台定时或实时地从下级节点取得数据，通过消息中间件向上级节点作业务数据汇总，上级节点的集成中间件取得数据，经过加工处理，送入相应节点的数据库。同时横向各相关委办局外部应用系统在进行数据交换和共享时通过数据采集工具提供的各种适配器将不同业务系统接入，并进行业务整合。4、 总体设计方案4.1、平台总体架构根据本期项目的业务要求和应用特点，提出的交换与共享平台方案，应立足为水资源的建设提供一个“基础化、可复用”的平台交换设施，交换平台将考虑未来为更多数据共享提供支撑与整合。数据交换与共享平台在设计实现上充分考虑了以下主要因素：首先其符合国家对交换信息资源交换管理的相关标准和规范；其次，采用先进的技术设计实现，包括多层设计的中间件技术体系等；再次，吸收目前东方通在政务资源交换与管理实施方面的经验和对一些技术实现的可行性验证，在平台设计上做到客观、实际、以满足业务应用需求为主导；最后，设计实现的方式完全基于东方通现有集成中间件产品，具有完整的自有知识产权。平台整体上分为部级、流域级、省级两级部署方式，整体解决方案重点强调对整体数据交换过程的松耦合、统一规范、可扩展、可管理。部级的数据交换平台由数据交换管理平台 TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator、部级前置数据库组成。其中数据交换管理平台TongDXP、消息中间件TongLINK/Q、数据采集工具TongIntegrator三个部分是平台的核心组成部分，部级前置数据库是平台中间数据的承载部分，是平台的重要补充。流域级、省级数据交换部分和部级数据交换部分配置相同。在纵向上，以部级、流域、省两级交换库构成了基础的数据同步架构，两级平台通过数据交换管理平台TongDXP完成上下级交换库之间的数据交换管理，消息中间件TongLINK/Q保障跨网络数据传输的安全。在节点交换库与节点信息平台数据库之间采用数据采集工具TongIntegrator完成数据采集、转换、加载、入库过程。在横向上，部级、流域、省级横向操作模式相同，以部级为例，重点是完成部级信息平台数据库与水利外部业务系统（例如：防汛抗旱、水利电子政务等）的数据对接工作。以业务前置库为辅的方式形成了“数据权威集中、共享需求隔离”的数据交互架构，业务系统对共享数据的个性化需求由各自的业务前置库来满足。4.2、平台组成数据交换管理平台数据交换管理平台TongDXP在本方案中承载部级节点、流域节点、省级节点逻辑上三级交换库之间的数据交换，同时也承载三级平台交换过程的数据管理。数据交换管理平台TongDXP提供业务人员易用的web管理控制台，能够对三级平台交换库之间的传输非常简易的配置，同时也可以按照集中方式统一管理、分域方式对以树形结构管理整体交换工程，例如：部级数据交换管理平台以分域形式可以管理7大流域到部级的整体数据交换过程，长江流域数据交换管理平台能够管理其下属省份到长江流域的数据交换过程。高效合理的管理方式是水资源项目后期的组织保障。数据交换管理平台TongDXP能够管理全网水资源两级信息平台交换库之间的数据交换过程、信息平台交换库与信息平台业务库的数据交换过程、外部业务前置库与业务数据库的数据交换过程。数据采集工具数据采集工具在本项目中承载业务前置库与信息平台业务库之间数据交换，信息平台业务库与信息平台交换库之间数据交换，在有可能的情况下完成业务前置库与水资源外部系统数据之间数据交换。数据采集工具TongIntegrator提供功能丰富的适配器组件技术。每个适配器不但提供功能数据交换适配和服务功能，而且无需编码，只需经过简单的配置就可以实现数据交换。数据采集工具能够通过数据库触发器、数据库时间戳直接读取数据，也可以读取数据文件、访问应用接口获取数据。消息中间件消息中间件TongLINK/Q承担在外网上传输数据信息的重要职责，亦是连接各级数据交换管理平台与各个数据采集工具的主要数据通道。消息中间件TongLINK/Q为各个相关信息系统与数据交换平台之间的数据传输提供了可靠保证。消息中间件的消息传输一次且只有一次，是可靠的传输，其可靠性主要反应在消息中间件许多内建功能的可靠上。即使在网络阻塞，物理链路暂时中断，甚至主机宕机等严重情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。信息平台交换库交换库的设置是为了解决部级信息平台与流域级信息平台、流域级信息平台、省级信息平台的接入标准化问题，通过在各级信息平台设置交换库，能够将信息平台业务库的数据已标准化方式接入，成功解耦上下级平台，权限职责分明，并最终形成数据的上传下达。信息平台交换库的设置在水资源项目实施过程中能够解耦上下级平台，搭建好传输骨干，具有良好的模式优势：第一，扩展性非常好。能够非常容易做纵向扩展，例如实施过程中，部级信息平台与7大流域信息平台、32个省级信息平台可以逐步接入，定义好交换库标准，无论7大流域信息平台是哪种方式、什么时间接入，都不会对传输骨干造成影响，每个流域信息平台接入只需要做信息平台交换库与信息平台业务库的数据标准映射。第二，能够解耦上下级平台。信息平台交换库成为平台间交换标准角色，有效减少紧耦合带来的数据交换实施工作量，同时能够较为清晰定义上下级责任边界，降低项目实施过程中“扯皮现象”，采用数据交换管理平台TongDXP可以监控具体数据传输量作为评测依据。第三，标准化定义非常清晰。信息平台交换库方式是电子政务交换体系重要组成部分，相关模式已经很清晰，在实施过程中只需要定义标准规范就可以快速复制，具体的标准规范包括：《部级信息平台数据库和流域级交换库对接标准》、《部级信息平台数据库和省级交换库对接标准》、《流域级交换库和流域信息平台数据库对接标准》、《省级交换库和省级信息平台数据库对接标准》等。业务前置库业务前置库的设置是为了解决部级信息平台与部级外部业务系统、流域级信息平台与流域级外部业务系统、省级信息平台与省级外部业务系统的接入标准化问题，通过设置业务前置库，能够将外部业务系统的数据已标准化方式前置桥接接入，并最终形成数据的上传下达。业务前置库的设置在水资源项目实施过程中能够解耦信息平台与外部业务系统，以前置方式对接外部系统，具有良好的模式优势：第一，扩展性非常好。能够非常容易做横向扩展，例如实施过程中，信息平台与防汛抗旱、水利电子政务系统等外部业务系统可以逐步接入，定义好前置标准，可以轻松的与外部系统对接，每级业务系统接入只需要做业务前置库与业务数据库的数据标准映射。第三，标准化定义非常清晰。业务前置库方式是电子政务交换体系重要组成部分，在实施过程中只需要定义标准规范就可以快速复制，具体的标准规范包括：《长江流域前置库和长江流域水资源业务库对接标准》、《广东省前置库和广东省水资源业务库对接标准》、《四川省前置库和四川省水资源业务库对接标准》等。4.3、业务场景分析数据采集场景数据采集场景是指，在部级节点、流域节点、省级节点的水资源信息平台都需要和水利部其他业务系统（例如：防汛抗旱、水资源电子政务等）做数据采集，即将外部业务系统数据采集进入信息平台数据库。数据采集场景是采用业务前置库方式解决系统紧耦合、平台扩展性。数据采集是分两步完成工作，第一步需要将外部业务系统数据库数据搬迁到业务前置库，第二步需要将业务前置库数据交换至信息平台数据库。第一步工作可以由业务系统采用主动方式将数据推送至业务前置库，同时也可以采用水资源项目提供的TongIntegrator数据采集工具通过数据库触发器、数据文件读取、应用接口访问、消息中间件对接等多种方式将数据交换至业务前置库。其中数据库触发器方式需要业务系统提供操作权限，会对业务系统数据操作一定压力负荷；数据文件读取方式，由外部业务系统形成数据文件，数据文件可以采用数据批量和增量方式提供；应用接口由外部业务系统提供标准化的webservice接口；消息中间件接口对接方式由外部业务系统提供接口。第二步工作由集成商使用TongIntegrator工具完成业务前置库到信息平台数据库的数据交换工作，因为业务前置库只是数据的存储，可以采用已经采购的Oralce数据库、地方自有的数据库或者免费的mysql数据等多种方式，使用TongIntegratorX具可以用数据库触发器方式构建数据，同时可以猜业务前置库设计过程中考虑时间戳设计模式完成数据交换。数据上传场景数据上传是指流域节点、省级节点将水资源数据上传至部级节点，即流域、省级信息平台数据库与部级信息平台数据的交换。数据上传场景同样采用松耦合架构方式建设，在流域节点、省级节点建设标准的交换库，交换库的建模标准采用和部级信息平台数据同样的建模结构，这样在39个流域、省级节点都是做流域、省级节点信息平台数据库与交换库的对接，39个交换库只是做到与部级节点信息平台数据库的同构交换。数据场景分为三步：第一步是做流域、省级节点信息平台交换库与交换库的数据交换；第二步是抽取交换库数据做数据传输；第三步获得流域、省级节点数据做入库操作。第一步是采用TongIntegrator主动从信息平台数据抽取数据到交换库，因为考虑到信息平台数据库绝大多数都是新建系统（江苏已经建设系统），系统建设规划过程就可以考虑交换数据的形式，可以把交换数据存储数据库，数据库数据有时间戳标志，交换数据以文件落地或者以应用接口方式发布，TongIntegrator采用触发器方式、时间戳方式、文件方式、应用接口方式对接。第二步是采用TongDXP从交换库中抽取数据做发布，交换库的建设考虑到项目投资，建议可以采用Oracle、MySQL两种数据库，交换库不承载业务应用只做数据交换标准化，TongDXP提供Oracle日志读取、触发器两种方式能够快速抽取业务数据。第三步采用TongDXP订阅流域、省级节点的发布数据，订阅完毕后使用TongLINK/Q搭建的可靠传输网络做数据传输，传输至部级节点的数据由TongDXP做入库操作。数据下发场景数据下发是部级节点将数据下发至指流域节点、省级节点，即部级信息平台与流域、省级信息平台数据库的交换。数据下发场景同样采用松耦合架构方式建设，在流域节点、省级节点建设标准的交换库。数据下发场景分为三步：第一步抽取部级节点业务数据发布，第二步流域、省级节点订阅部级节点发布数据入流域、省级节点交换库，第三步流域、省级节点交换库同步至信息平台数据库第一步是采用TongDXP抽取部级节点数据，考虑到部级节点数据库采用Oracle数据库，那么使用TongDXP提供的Oracle日志方式就能以低侵入方式访问部级信息平台数据库。第二步是采用TongDXP订阅部级的发布数据，采用TongLINK/Q的安全通道传输至流域、省级节点，并入库到交换库。部级节点的发布数据可以是一对多方式被流域、省级节点使用。第三步采用Tongintegrator工具将节点交换库与节点信息平台数据库做数据采集、数据转换、数据入库。从节点交换库采集数据采用触发器、时间戳两种方式。数据内外网交互数据内外网交互场景是考虑到水利数据不能在流域、省级节点内外网之间直接交互数据，数据流是流域、省级节点外网先上传至部级节点外网，然后在部级节点内网、外网通过网闸、或者物理刻盘方式传输到内网，然后在内网做数据下发。反之亦然数据内外网交互场景是数据上传、下发场景的结合，差异性在于部级节点的内外网交互，会有物理网闸和物理隔离两种方式。物理网闸方式的内外网隔离可以考虑TongLINK/Q的穿摆钟式网闸解决方案完成内外网。物理隔离方式做手工拷盘操作。4.4、 部署架构在本项目中整体的数据交换平台需要在1个部级节点、7个流域节点、32个省级节点部署数据交换管理平台、消息中间件、数据采集工具。其中在部级节点部署1套数据交换管理平台、1套消息中间件、1套数据采集工具；在流域节点部署7套数据交换管理平台、7套消息中间件、7套数据采集工具；在省级节点部署32套数据交换管理平台、32套消息中间件、32套数据采集工具，共计40套数据交换管理平台、40套消息中间件、40套数据采集工具。4.5、 标准规范本项目标准规范体系框架由总体标准规范、技术标准规范部分组成。（1）总体标准规范：包括系统标准规范目录、系统名词术语、系统建设管理办法等内容。（2）技术标准规范：包括数据标准、交换标准。4.5.1、 总体标准规范体系（1） 应用系统建设运行标准规范体系针对应用系统建设与应用的需求，根据国家已制订的标准体系或信息系统建设标准规范参考模型的基础上，制订符合国家标准要求的应用系统建设和运行标准规范体系。首先提出支持应用系统集成建设任务的标准规范体系。（2） 建设术语规范针对应用系统集成建设内容，根据国家相关标准，制订覆盖整个应用系统的业务术语规范，统一规范应用系统建设和运行的信息及其管理术语。（3） 项目建设管理办法本办法对调度运行管理系统建设集成实施规范化管理提供指导，通过明确项目管理的基本流程、项目建设和维护阶段基本流程，制订各应用系统招标投标阶段、设计阶段、实施阶段、测试验收阶段和运行及维护阶段的相关管理办法，明确有关方责任，确保项目建设有序推进和质量的提高。4.5.2、 技术标准规范体系信息系统的基础是业务规范和数据标准。为保障信息系统中信息流动畅通，应建立符合国际标准、国家标准、行业标准的应用机制，确保系统建设的实用性、先进性、规范性和统一性。接入规范鉴于本项目所要对接的各系统，数据集成交换平台、数据桥接系统所要建立的标准有：《部级信息平台数据库和流域级交换库对接标准》《部级信息平台数据库和省级交换库对接标准》《流域级交换库和流域信息平台数据库对接标准》《省级交换库和省级信息平台数据库对接标准》《长江流域前置库和长江流域水资源业务库对接标准》《广东省前置库和广东省水资源业务库对接标准》《四川省前置库和四川省水资源业务库对接标准》数据规范本项目各业务系统所涉及的业务数据有多种，在项目实施过程中都需要定义标准规范，例如：《人员信息定义及格式规范》《取水许可证数据定义及格式规范》《水文数据数据定义及格式规范》数据交换规范为保障本项目数据传输的实时性、准确性、安全性等方面，需对数据交换方面编制相应的要求，需制定《水利水资源数据共享交换规范》业务边界规范为了保障本项目系统集成整合的顺利实施，需要在两两系统整合时定义整合的业务边界规范，以明确的边界划分有效理清责任问题，避免“扯皮”现象发生，便于时候就查原因。4.6、系统实施分析本项目考虑到项目实施，需要有多重角色定义：总集成商、分集成商（流域、省级）、厂商。总集成商作为水资源项目的总体协调单位，要总体规划本项目，总集成商完成部级平台与省级平台对接，包括流域节点、省级节点交换库建模与标准规范设计，完成流域、省级信息平台与节点交换库交换实施工作，完成39个节点交换库与部级信息平台数据库数据交换实施工作。同时也参与流域、省级节点信息平台与水利外部系统业务前置库标准规范定义。分集成商作为流域、省级节点的集成补充，将参与各自流域、省级节点信息平台与水利外部系统业务前置库标准规范定义，同时完成各自流域、省级节点业务前置库与流域、省级信息平台数据库数据交换实施工作，有可能完成各自流域、省级节点业务前置库与水利外部业务系统系统数据交换实施工作。厂商作为本平台的产品提供，辅助于集成商完成标准制定，提供产品培训、现场服务。5、平台详细设计5.1、数据交换管理平台体系架构数据交换管理平台的体系图，如下图所示：在交换中心节点上的交换模块由交换流程层、传输通讯层以及中心数据源三个部分组成。交换中心节点通过数据传输通道（TLQ）消息中间件，完成与其相邻节点的数据传输，通过TongIntegrator交换流程控制引擎，控制经过本级中心的数据、文件等交换的流转，通过TongIntegrator交换服务管理模块，发布本级中心代理或者代理途经本中心的服务请求。监控管理中心数据源是中心所有交换业务异常数据、交换过程信息、管理信息的数据存储区，通过交换流程在中心流转的异常数据将保存在中心库中，由中心的异常处理流程做数据持久化和数据补偿，而中心管理库则记录所有中心交换的过程基础信息等。功能实现前置交换这里的前置交换是指数据交换平台中真正完成数据交换的一个技术实现，数据交换从整个流程上来说有数据抽取，数据处理及数据传输，通过这三个环节就完成了一个基本的数据交换的过程。数据抽取模式数据交换平台有多种数据抽取模式，每一种数据抽取模式都可以配置不同的数据抽取频率。搭建平台的设计阶段就可以根据项目的实际需求选择不同的数据抽取模式，具体包括：•日志分析模式：日志分析模式，是指通过分析数据库的日志来抽取数据变化增量数据；由于目前各个数据库日志的记录模式，开放程度都不一样，通过对目前常用的数据库分析，oracle数据库对日志的开放程度比较高，记录的比较详细，故此抽取模式只针对oracle数据库，其优点对数据库侵入性低，只需要打开数据库的归档日志即可，无需在数据库上做更多的配置。•触发器模式：触发器模式是针对目前常用数据库都支持的一种通用模式，即通过配置工具在要进行交换的数据表上自动创建一些必要的触发器，当数据发生变化是可以定时或者实时的把发生变化的数据交换出去。•时间戳模式：时间戳抽取模式是针对目前常用数据库都支持的一种通用模式，即要进行数据交换的数据表上要求有一个时间类型的字段，业务数据发送变化的时候此字段更新成变化时间，系统会定时扫描发生变化的数据进行交换。•标志位模式：标志位抽取模式是针对目前常用数据库都支持的一种通用模式，即可以指定要进行交换的数据表中的某一个字段的值是什么时候进行交换，这里称其为标志位，当完成交换后把此字段设置成另外一种状态，即已经完成交换。交换触发模式交换流程的执行触发方式可分为定时触发，实时触发，手工触发，条件触发。•定时触发：数据交换可指定某个时间，或某个周期定时执行。•实时触发：数据交换实时进行，当系统检测到数据增量变化时实时交换数据，检测频率可设定。•手工触发：可通过手工操作来执行数据交换。•条件触发：可根据某个条件，当条件满足时来触发交换流程的执行。数据处理数据处理是当数据抽取出来后需要进行的各种处理后再进行传输，包括交换模式，交换方向，数据加工，数据过滤，数据路由等功能的支持。•交换模式：是指多个节点之间进行数据交换时可以对应的几种业务模式，平台支持数据库表的一对一的交换；多个表交换到一张表中；一张表的数据交换到多张表中。•交换方向：是指在业务数据交换中支持的交换方向，平台支持数据的单向下发、上传；两个数据库数据的双向交换，即任何一方发生变化都要交换到对方；数据广播，通常用于上级数据向所有下级广播的数据交换。•数据过滤：对业务数据可以从两个方向去进行过滤，一种是可以在数据发布的时候进行有条件的发布过滤，另外就是针对不同的订阅进行各自特有的订阅条件的过滤。•数据路由：这里的路由首先是根据数据内容的路由，按业务要求不同的内容交换到不同的目的地；另外就是指数据转发的场景支持，即当两个交换节点之间网络无法直通的情况下，可以通过一个中介的网络进行路由转发。•数据关联：数据交换可对单表交换，主子表关联交换，以及数据表和文件结合的数据交换。数据传输在数据交换中，数据的传输是比较关键的一个技术，如何能及时、可靠、完整及安全的保证数据的传输是最重要的，现有平台的传输都是基于公司已有的消息中间件来完成，消息中间件经过多年在金融电信等关键行业的应用后已经非常成熟稳定，数据平台无缝的集成消息中间件，消息中间件对用户来说是透明的。现有平台在数据传输过程中支持：•链接管理：支持网络常连接和按需连接两种连接模式，以更好地适应不同的网络通讯环境，节省系统资源和提高传输效率；•断点续传：消息不重传，从中断的位置开始续传，直到消息传输完成。•压缩传输：提供数据压缩机制，提高网络传输性能。•加密传输：提供数据加密机制，加强数据传输安全控制。支持多种网络底层环境，如：租用线(Leasedline)、拨号线、分组交换网(X..25)、DDN,帧中继(FrameRelay)、卫星网络等。统一配置管理交换基础信息配置交换节点/交换通道/网络拓扑配置当要完成一个数据整合的项目的时候，必然会涉及到多个点的数据的交换，这里的交换节点主要就是指这些要进行交换的交换服务器的配置；交换节点都是在一定的权限控制下，由配置管理中心统一进行配置，这些节点的配置、管理及监控都以一个交换拓扑图为基础进行，操作简单快捷，可以定义交换节点之间的上下级关系，定义节点之间的交换路径等，当节点配置完成后，各个交换服务器上的相关配置信息就全部配置完成，整个交换的拓扑图也就自然形成，所有的交换的传输通道也已经创建完成。交换业务配置所有的交换业务、交换规则、交换路径都在这里进行配置及管理，具体配置包括：•交换数据库配置：要进行数据交换的数据库的基本信息配置管理。•发布数据库流程配置：要对外发布的数据配置管理，这里会配置哪个数据库的那个业务表要把数据交换出去；用什么模式抽取这些数据；抽取是否有条件及条件的配置；抽取的频率及相关的一些处理规则。•订阅数据流程配置：要接收发布数据的配置管理，这里会配置那个数据库的那个业务表要接收此发布数据，一个发布的资源一旦被订阅，就形成了一个交换流程，订阅可以针对已发布的资源进行过滤、转换等；一个发布资源可以被多个资源订阅，一个订阅也也可以接收多个发布的数据。•批量处理流程配置：■批量发布资源：要对外发布的数据批量配置管理，这里主要会配置哪个数据库的那些业务表要把数据交换出去；可以完成一个数据库所有表或者部分表的批量发布，这些批量发布的基本规则统一配置，发布条件等信息也可以单独进行配置。■批量订阅资源：要接收发布数据的批量配置管理，这里会配置那个数据库的那些业务表要接收发布数据，系统会出某一个数据库的所有发布，同时针对选定的订阅数据库按一定规则先进行自动匹配发布订阅流程，用户也可以手工进行匹配。统一监控管理数据交换平台的监控管理主要分为两方面：•交换环境监控：数据交换平台（基础设施监控），即交换节点、交换配置的基础信息；•交换业务数据监控：交换数据监控是指数据交换的业务数据交换统计分析，例如某个业务表在某个时间段有多少数据进行了交换。交换统计分析，可从不同角度来进行：节点交换统计，数据源交换统计，交换流程（业务表）交换统计。交换环境监控交换环境的监控主要是指各个交换节点以及整个交换网络的监控，通过之前在配置管理中配置好的一个交换网络拓扑图可以很清晰的监控到整个交换网络及网络中各交换节点的状态是否正常；当发现交换节点有异常的显示后，可以查看此交换节点详细的监控，包括交换服务器资源占用情况、交换服务器上各交换流程的运行情况等信息。•交换节点资源监控：可监控节点的基础设备资源，如：CPU，内存，硬盘使用百分比，网络使用情况等。•交换节点状态监控：可监控平台系统中的交换节点的状态，如某节点是否连通等。•交换流程监控：可监控交换流程的状态，是否启动等。•系统告警监控：当上述监控中发现异常，记录告警，并可通过配置的告警方式告警，•平台默认实现了邮件告警方式，只需要配置相应的邮件信息，当有警告产生时，会自动发送告警邮件给邮件接收者。同时平台还提供了可扩展的告警方式接口，可根据项目需要扩展不同的告警方式，如短信告警等。交换业务数据监控在数据交换中，用户最关心的是数据是否正确、完整的交换到指定的目的地，现有数据平台从多个角度去完成了数据交换的监控及告警：•节点交换统计：可以统计某一个或者某几个节点在某一个时间段内的数据交换情况，包括那个流程（即那张表），发送（中转或接收）成功数、失败数等信息。•数据源交换统计：可以统计某一个或某几个数据库某一个时间段内的数据交换情况，包括那个流程（即那张表），发送（中转或接收）成功数、失败数等信息。•发布订阅统计：可以根据节点、数据源及其上的发布或者订阅的资源进行更细的定位来统计某一个时间段内的数据交换情况，包括那个流程（即那张表），发送（中转或接收）成功数、失败数等信息。交换节点是指平台系统中实际参与数据交换的一个逻辑节点，负责根据流程的配置，从业务库/前置库中按照指定的抽取数据模式抽取数据，并进行数据处理，打包，通过数据传输模块将数据发送到指定的目标交换节点，目标交换节点接收数据，并处理数据。5.2、消息中间件设计设计思路数据交换平台的TongLINK/Q传输总线，提供松散耦合的消息通信机制。消息通信由消息中间件TongLINK/Q来完成。消息中间件TongLINK/Q负责将交付的消息传送到目标节点的目标队列。消息的发送者和消息的接收者完全不需要关注对方在什么位置，他们之间通过队列实现点对点的消息传输。同时，消息传输网络，也支持发布/订阅模型的消息传输。在应用系统进行数据通讯时，应用进程通过TongLINK/Q接口函数，将消息放入消息队列中。TongLINK/Q核心进程从消息队列中取出消息，根椐消息中的接收者的名字，通过TongLINK/Q之间建立的数据通道，将该消息传送到接收者所在TongLINK/Q核心。接收者所在的TongLINK/Q核心收到消息，若是需要可靠传输的消息写入消息队列中，接收应用进程通过调用TongLINK/Q的接口函数，从消息队列中取出消息。至此，一个消息传递完毕。消息中间件TongLINK/Q的消息传输一次且只有一次，是可靠的传输，其可靠性主要反应在TongLINK/Q许多内建功能的可靠上。即使在网络阻塞，物理链路暂时中断，甚至主机宕机等严重情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。消息可靠传递通过两种机制加以保证，一是消息收发时的事务管理，二是消息的可靠存储和可靠传递。•消息的事务管理消息的事务管理是保证消息可靠投递到队列中，或可靠地从队列中取出使用。事务管理可以保证几个消息同时放入队列都成功或都失败，保证几个消息同时从队列中取出都成功或都失败，应用处理消息不成功可以将消息回退到队列中，等待下次继续处理。•消息的可靠存储和可靠传递消息可靠存储和可靠传递是保证消息在两个队列间的可靠传输的。在传输过程中不论是机器意外停机或网络意外中断，在消息生命周期内这些故障得以恢复后，TongLINK/Q可以保证消息可以继续可靠的传递到目的队列中。体系结构本节描述TongLINK/Q的基本组成和运行方式。TongLINK/Q的体系结构如下图：在应用系统进行数据通讯时，应用进程通过TongLINK/Q接口函数，将消息放入消息队列中。TongLINK/Q核心进程从消息队列中取出消息，根椐消息中的接收者的名字，通过TongLINK/Q之间建立的数据通道，将该消息传送到接收者所在TongLINK/Q核心。接收者所在的TongLINK/Q核心收到消息后将消息写入消息队列中，接收应用进程通过调用TongLINK/。的接口函数，从消息队列中取出消息。至此，一个消息传递完毕。TongLINK/Q系统核心由以下几部分组成，包括核心程序、代理程序、用于信息登记的共享内存和记录系统运行信息的日志。•核心程序核心程序由一组守护进程构成。核心程序主要工作是建立、维护、监控数据通道；从应用队列中取出要发送的消息，通过数据通道将消息发送出去；从数据通道中接收消息，将消息通过数据通道进行转发或写入本地的应用队列，提交给本地的应用进程。对于需要可靠传输的消息，进行传输过程跟踪登记，根据网络情况和主机情况保证消息的可靠传递。•代理程序代理程序是一组依赖于核心程序，同时能够分担核心程序负载的进程组成。主要包括：监控代理、客户方代理和发布订阅代理。代理程序负责接收特定客户程序的请求，如远程监控发来的请求、瘦客户端请求等，并进行分析，将需要核心完成的工作通过特定接口交给核心，并将请求处理结果返回给客户程序。•共享内存TongLINK/Q系统的共享内存用于存放系统运行所需的一些控制信息、状态信息、统计信息，或用于消息的缓冲队列。通过TongLINK/Q系统的管理工具可以实时监控系统运行状态，获取系统运行过程的状态信息。•运行日志TongLINK/Q系统的运行日志在核心运行过程中生成，它记录具体传送的消息数据，记录系统的运行步骤和出错信息。用户可以通过操作系统工具和TongLINK/Q系统的管理工具浏览运行日志的具体内容。这些信息可以用于对系统的运行过程进行审计，可以帮助系统管理员了解系统运行过程，排除故障，调整系统运行参数。功能实现基于TongLINK/Q的数据传输子系统提供如下的功能实现：提供端到端的实时通信服务。应用不必关心网络路由和其他的网络细节，使网络的建立与网络的物理联结无关。TongLINK/Q支持多种网络底层环境，支持多种通讯链路方式，比如：租用线(Leasedline)、拨号线、分组交换网(X..25)、DDN、帧中继(FrameRelay)、卫星网络等，并能够支持在互联网进行交换数据的传输。能够通过互联网进行交换数据的传输；提供端到端的可靠传输服务。适用于分布式环境下各种不同类型的应用开发，特别是对通信的可靠性要求较高的应用，提供多层次的异步通信机制。相互通信的应用具有时间上的不相关性，发送方在发送数据时接收方应用可以还未启动。提供简单易用、高效可靠的分布式应用系统的开发平台，应用编程接口（APIs）简单且易学易用。网络环境和细节对用户完全透明并且支持多种网络底层环境，并提供了跨操作系统的Java接口；提供对多种消息传输的支持；提供快速可靠的面向事务处理的数据（块）递送功能，保证数据的完整性和可靠性；提供统一的应用集成环境。提供分布式应用的管理平台，通过名字服务和应用管理等方式，提供对分布式应用的管理和监控。应用管理提供了对服务程序的策略性调度、监控、并发（支持顺序发送）管理和异常处理等功能，为关键的应用服务提供了有效的支持。运行系统管理来维护TongLINK/Q逻辑通信链路，实时的检测网络状态，屏蔽通信中的瞬间网络故障。工作在可靠传输方式时，在应用、系统、网络从失效到恢复正常状态后能够接续原来的工作，保证一次传送，可靠到达。除了支持传统的树型逻辑结构还提供对网状结构的支持，从而强化了TongLINK/Q系统本身的多元化逻辑结构功能。提供安全管理（加/解密）功能，为客户应用之间的消息传输提供了数据安全性保证，有效保护了私有数据的保密性。支持常连接和动态连接（远程网络的拨号连接），能够更好的适应不同情况下通讯的应用。提供调试开关的功能，使用户可以根据需要及时调节系统的核心，提高效率和可靠性。提供日志定时清理和磁盘空间管理功能。Client/Server模式，优化设计的可调谐核心系统，支持高度并发，开销小，通讯效率高；具有完整的日志功能，查看系统运行情况；实时监控网络性能、动态地配置系统的参数、调协系统的性能。提供只基于开发库和代理的TongLINK/Q瘦客户系统。使TongLINK/Q系统的应用降低了对硬件环境的要求。为了提高系统的可靠性和可扩展性，TongLINK/Q系统提供了CLUSTER队列功能。队列管理队列是消息存储的地方，消息在收发过程中将存储于队列中，可靠队列中的消息存储于硬盘中，不可靠队列中的消息存储于内存BUF中。队列结构由消息索引和数据存储区两部分组成，其大小可以定义。TongLINK/Q系统提供的队列基本类型为发送队列和接收队列，另外的事件队列、发布队列、订阅队列等都为基本类型的功能延伸。发送队列发往目的地的消息要经由发送队列，被发送的消息分别被放到不同的发送队列中，核心从发送队列中取消息进行网络发送。每个发送队列都有自己唯一的名字，分别都对应于某个目的节点的一个接收队列。发送队列的大小、可存放消息数等都可以配置。每个发送队列可以拥有多个优先级，核心会根据消息的优先级，按照优先级对应的配置进行相应比例的发送。一般，优先级高的消息会得到更多的发送机会。用户在发送消息之前可以根据消息的紧急特性设置不同的优先级。•接收队列核心收到消息后，将根据发送方的设置将消息放到相应的接收队列中。每个接收队列都有唯一的名称，其大小和可存放消息的个数可以设置。一般，一类消息对应一个接收队列，用户可以根据所收到的消息的特性设置接收队列的属性：可靠和非可靠。接收队列中的消息有两种状态：Receiving和Ready，分别表示消息处于接收过程中和消息已接收完毕。•事件队列事件队列是接收队列的特殊应用，用于存放TongLINK/Q系统产生的事件，队列名为EVENT类型为可靠用户不可改变。其大小和可存放消息的个数都可以设置。•集群队列集群队列是接收队列的特殊应用，该队列可能存在于若干节点上。网关节点可以根据既定的分配策略将消息分配到不同的节点上，实现消息处理的均衡负载作用。•发布队列和订阅接收队列发布队列和订阅接收队列都为接收队列的特殊应用。在发布/订阅传输模式中，发布者发布消息时，将消息放到发布队列中，核心分析订阅者的订阅请求信息，如果为本地订阅者，则将消息复制到本地订阅者的订阅接收队列中，如果为异地订阅者，则复制到相应的发布队列中。消息通信方式TongLINK/Q支持多种消息传递方式，以满足不同应用方式的要求。点到点传输发送方将消息放入发送队列，TongLINK/Q核心负责消息在不同节点间的传递，接收方从接收队列中获取消息。发送方顺序将消息放入发送队列，接收方顺序从接收队列接收消息。•路由转发消息发往不相邻的节点。发布/订阅订阅和发布可以实现一对多，多对一，和多对多的消息传递方式。订阅者可以根据自己的需要订阅某些共享，然后在适当的时间从该共享上接收已经发布的消息。发布者将消息发布到某个共享上，TongLINK/Q核心负责将该消息分配给订阅该共享的订阅者。•集群集群提供消息的接收和处理分布到若干个TongLINK/Q节点上的机制，多个节点在一个群组内共同工作，与单独工作的节点相比提高了性能和处理能力。客户端TongLINK/Q提供多种客户端接入方式。普通接口包括C接口、Java接口、OCX接口。另外支持JMS消息接口标准。5.3、数据采集工具设计功能实现TongIntegrator提供功能丰富的适配器组件技术。每个适配器不但提供功能数据交换适配和服务功能，而且无需编码，只需经过简单的配置就可以实现数据交换。适配器的配置过程就是数据转换和处理规则的定义设置过程。适配器功能模型如下图所示：不同的系统接入数据交换平台，是通过适配器组件来实现的。适配器组件通过属性配置和脚本，实现运行环境和必要的设定，从而可以与所支持的系统进行直接的交互并对数据进行采集、载入和数据内容的处理。适配器运行于TI所提供的整体的运行环境，该运行环境提供了以组件化方式集成的整体的一致性框架。应用系统比较分散，因此，数据交换需要提供跨网络数据传输保证机制。口支持使用消息中间件、JMS等数据传输机制，消息中间件是目前最佳的数据安全、高效、可靠传输保障机制和手段，也是最常用的数据传输方式。数据处理在TI中的数据格式转换，可以通过TongIntegerator提供的TIStudio工具来完成。TIStudio提供了数据转换对象方式。数据转换对象，是针对于用户做大量的数据间传输，数据间作简单赋值的转换工具。通过图形界面的赋值连线，代替用户编写数据转换部分的代码，减少代码编辑量。数据转换对象，是一个数据转换工具，即Java服务的辅助工具，不能完成独立运行，需要嵌套在TI系统的Java服务中使用，帮助用户在编辑Java服务时，自动完成数据转换的代码编辑。数据转换对象，是完成源端数据到目的端数据赋值的编辑工具。数据转换对象采用图形界面拖拽的方式来连接两个不同（或相同）数据对象的属性，达到将源端数据赋值给目的端数据的转换。适配器组件TI产品采用框架式设计，产品提供丰富的适配器组件。能够提供主流的非结构化数据、结构化数据、通讯协议的数据接入方式，并提供扩展自定义数据接入接口。基于组件的，用户可以象搭积木一样去配置一系列的组件关系来完成数据交换工作，适配器配置简单，无需编码，从而保证了数据交换体系的快速、高效建设。为适应不同的数据交换环境和不同系统接入的要求，TI产品提供丰富的适配器组件，以解决异构系统、多种数据源、多种数据格式、是不同通信方式数据交换的需要。Tongintegrator提供全面而丰富的适配器组件群，可以满足各种复杂数据交换的需要。下图是TI适配器组件库的分类简介：对于复杂或特殊系统的数据交换交换，有时需要进行一些本地化的适配器组件开发工作才能完成。TI提供自定义组件机制，支持开发人员根据需要进行组件的定制开发，以解决特殊数据交换的需要。定制组件可以直接集成到TI的交换集成框架中。定时器适配器定时器适配器实现了数据交换流程的周期性自动运行。定时器适配器能够按照指定的运行模式和时间表进行定时自动运行，并按照配置，启动相应的业务交换流程，以完成数据交换和同步的任务。定时器适配器支持周期性运行和定时运行，能够设置运行的频率和时间点。自定义适配器自定义适配器是集成中间件Tongintegrator扩展所需的重要组成部分。在Tongintegrator系统中，适配器是多种异构系统之间互连互通及互操作的重要组件。外系统只有通过适配器，才能接入到数据交换平台中。而自定义适配器是应对那些非通用性或系统自有的系统接口而提供的一种扩展适配器。自定义适配器提供了一个基础性的系统接入框架，系统开发人员只需要实现框架内部的具体业务接入逻辑，即可完成适配器的定制。自定义适配器遵循JCA1.5标准，任何开发人员开发的适配器，只要符合JCA1.5标准，就能够互换使用。6、平台管理模式6.1、 统一化管理统一化管理平台是指通过建立基础性的监控管理服务平台，以实现部、流域、省三级数据交换平台的管理架构统一化、管理设施统一化、管理模式统一化。平台统一管理是指对运行在平台上的各节点、流程、交换资源数据与平台后续扩展的基础服务等方面进行集中管理的软件系统。通过该系统，可以对节点部署情况、流程部署及流程数量与使用情况，信息资源的更新、交换情况，信息资源交换的实施、运行情况进行监控和考核，确保信息资源共享的长期稳定运行。6.2、 分级域化管理分级域化管理是指在统一管理平台的基础上，根据部、流域、省三级管理级别，基于各个应用共享划分独立的交换管理域，保持各域之间相对独立互不影响的管理方式。每个应用共享形成各自独立的应用交换域，为了确保数据交换的安全，各应用交换域之间的运行隔离应保持互相隔离。交换域管理是对平台总体交换环境的统一管理，管理的对像包括中心节点、前置节点、节点之间的传输链路以及运行在交换节点上的交换流程。交换域管理是基于TI、TongLINK/Q产品提供API接口定制开发而来，从而实现对节点、传输链路以及交换流程的集中管理与控制。7、平台扩展模式数据交换平台作为“基础化、可复用”的交换设施，与业务系统之间是松耦合接入关系，不但应当能够支撑现有的数据交换与共享需求，还应当提供灵活可扩展的框架基础，为后续的业务信息系统接入提供简便的扩展策略。7.1、部级横向扩展兼容已建的业务系统对于部委已建的业务系统，数据交换平台提供了丰富的系统接入手段，可以便捷地对系统进行对接。按照接入方式，已建的业务系统对外提供的接口，可以分为数据层面和应用层面，如下图所示：考虑到各个已建业务系统的自身架构特性不同，数据交换平台在进行系统接入时的技术策略也不尽相同。基于集成中间件TI的数据交换平台可以在几下方面获得便利的支持，使得对接工作变得简单易行。1、 提供大量内置接入组件TI适配器集成了丰富的企业级应用组件，包括：xml、excelstxt等文件组件，FTP、HTTP、JMS等网络通讯组件，Oracle、DB2、SQLServer.SyBase、Access及JD