XXXX年水资源大会-产品应用V10.ppt

1、水资源数据交换平台 产品介绍,Programme Chapter 项目篇,数据交换平台需求总结,1. 需要支持文件、DB等形态的数据交换； 2.需要有可靠高效的广域网数据传输机制； 3.需要提供多种方式的多源数据采集； 4.需要能融合各个流域/省级节点的现实情况(如支持已有的数据交换平台，支持非同构的数据交换）； 5.需要支持未来多种数据交换方式的扩展； 6.需要有透明、开放的一体化监控管理机制； 7.能够清晰定义分段式的工作分工界面；,数据交换平台设计：架构模型,信息平台,信息平台,信息平台,水利其他业务数据,交换库,交换库,前置库,信息平台,信息平台,交换库,交换库,纵向：平台之间紧耦合。

2、逐步上线过程要做大量同质化实施工作，每个流域、省级开发商不同，接入部级没有复用性，实施工作量大。紧耦合方式扩展业务难。部级节点会成为性能瓶颈。,交换库解耦上下级平台，以标准化方式对接39个下级平台。交换库以部级模型建设，下级节点都是统一标准接入，实施工作量只需考虑自身节点工作量，集成商实施做到可控可复制。交换库与部级中心做同步操作，不涉及转换，复杂转换交给前端。每个下级节点接入做复杂转换，中心压力小。,横向：信息平台与外部系统交互要考虑到责任问题，外部业务系统一般不允许直接接入(业务系统数据库出现问题责任不清)。业务系统数据接入复杂需要有和信息平台对接的数据标准，同时考虑后续业务扩展。,前置库

3、定制了与信息平台接入数据规范，对方可以主动推送、也可以主动去抓取，接入数据可约束，能够规避双方对接责任问题。,部级,流域,省级,水利部水资源监控项目数据交换平台,信息平台与外部系统交互 纵向信息平台系统交互 消息中间件之间数据传输 纵向数据交换管理 全局数据交换管理,水资源数据交换平台：组成部件功能,Products Chapter 产品篇,东方通产品线,应用服务器 TongWeb,安全中间件 TongSEC,消息中间件 TongLINK/Q,交易中间件 TongEASY,企业服务总线 TI ESB,文件交换平台 TongGTP,业务流程 管理 中间件 TI BPM,复杂事件 处理 TI CE

4、P,移动/客户端,极限事务处理 XTP,认证授权服务,物联网平台,Portal,统一 管理 平台 TIMP,主机 消息中间件 TL/HOST,集 成 开 发 工 具 TIS,行业 领域 平台 VSP,集成 中间件,基础 中间件,互联网 文件交换平台 TongWTP,数据交换平台 TI-DXP,服务管理平台 TI-SMP,云平台 Tong Applaud,服务 资源库 TI RR,实时传输中间件 TL-RT,数据采集工具 TI2,ETL工具 TI ETL,三级交换平台 数据交换管理平台 消息中间件 通用文件传输平台 前置桥接转换 应用支撑中间件,数据交换管理平台TongDXP体系架构,TongD

5、XP管理中心 统一配置管理 统一监控管理,TongDXP交换节点 数据交换 数据传输,平台级数据应用集成框架,数据交换管理平台TongDXP部署模型,数据交换管理平台TongDXP特性,快速安装搭建数据交换平台。 统一B/S界面操作。集配置、监控、管理为一体。 屏蔽技术细节，使用简单。 业务人员配置更新更加灵活,适合业务人员快速搭建,数据交换管理平台TongDXP特性,松耦合的数据交换架构,数据交换定义为：数据发布、数据订阅。 解耦数据发布者与数据订阅者，只需关心权限，无需关心位置 增加新的订阅者，无需改动发布者,数据交换管理平台TongDXP特性,多种数据抽取、处理模式,数据交换管理平台To

6、ngDXP特性,远程部署配置,数据交换管理平台TongDXP特性,多角度监控管理及告警,数据交换管理平台TongDXP产品安装注意,TongDXP的运行是有License限制的。用户在购买时，在安装盘中将会随产品带有license.dat文件，运行TongDXP需要将license.dat文件放置在TongDXP安装路径的根目录下。 由于各种Unix平台的限制，针对不同平台的特殊处理，会在此表中进行说明：,数据交换管理平台TongDXP,数据交换多角度历史统计,数据交换管理平台TongDXP文档,TongDXP技术白皮书 TongDXP使用手册,三级交换平台 数据交换管理平台 消息中间件 通用

7、文件传输平台 前置桥接转换 应用支撑中间件,TongLINK/Q基本应用模式,节点A,TongLINK/Q 核心,监管系统,节点B,监管系统,可靠高效消息传递,应用A1,应用A2,应用A1,应用A2,事务性、伸缩性、可用性、安全性、可管理性,TongLINK/Q 核心,TongLINK/Q节点组织模型,TLQ节点,TongLINK/Q节点,树形网络,网状网络,星形网络,TLQ节点,TLQ节点,TLQ节点,TLQ节点,TLQ节点,TongLINK/Q消息管理,消息头,消息内容,消息类型,优先级,生命周期,持久性,消息控制,用户自定义,数据包 文件 事件 触发,0-9级,秒 0,无限,持久 非持久

8、,压缩 安全出口,消息,自选参数,应用数据（二进制、文本、结构化）,XML,SOAP,消息头和消息内容是相互独立的 能够使用任何类型的消息内容,TongLINK/Q消息连接方式,常连接,TongLINK/Q节点,应用1,物理机器,TongLINK/Q节点,应用2,物理机器,TongLINK/Q节点,应用1,物理机器,TongLINK/Q节点,应用2,按需连接,物理机器,TongLINK/Q消息传递模式,点到点：,消息,队列,消息,队列,应用1,应用2,队列,消息,队列,消息,队列,应用1,应用2,消息,发布者,订阅者1,订阅者2,主题,主题,路由转发：,发布/订阅：,TongLINK/Q持久化

9、队列,队列,tlqd,队列,TongLINK/Q,tlqd,队列数据持久化到磁盘，直到发送成功才删除,队列数据持久化到磁盘，直到程序接收成功才删除,TongLINK/Q,TongLINK/Q自动重连,队列,TongLINK/Q,队列,TongLINK/Q,tlqd,建立稳定的长连接以后，不断发送心跳包以维持连接,连接断开后，节点按一定的频率，不断尝试重新建立连接,tlqd,TongLINK/Q安全性,消息加密 通道加密 第三方安全出口,TongLINK/Q节点,TongLINK/Q节点,OK,TongLINK/Q跨平台性,主流平台支持:,Windows 系列,Linux 系列,HP-UINX

10、系列,AIX 系列,Solaris 系列,主流开发语言支持:,C,C+,JAVA、JMS,DELPHI,VB,HP-UX,Windows,zLinux,Solaris,AIX,OS/400,NSS OVMS,.NET (C#),VB、PB,JMS (Java),XMS (C, C+),zOS,Linux,DELPHI,TongLINK/Q,通信网络支持:,以太网,广域网,拨号上网,DDB专线,卫星网,TongLINK/Q产品安装,TongLINK/Q产品使用异常请查看TongLINKQ系统常见问题排除手册.doc,TongLINK/Q快速使用,产品安装 发送节点配置 接收节点配置 节点启动 编

11、写发送端发送程序 编写接收端接收程序 程序运行,应用统1,消息中间件TongLINK/Q 功能与特性,消息中间件TongLINK/Q文档, TongLINKQ技术白皮书 TongLINKQ快速使用手册 TongLINKQ系统安装手册_服务端安装 TongLINKQ系统安装手册_管理控制台安装 TongLINKQ系统管理手册_管理控制台 TongLINKQ系统管理手册_配置管理 TongLINKQ系统管理手册_系统工具 TongLINKQ系统开发手册_JAVA编程参考 TongLINKQ系统开发手册_JMS编程参考 TongLINKQ系统开发手册_C编程参考 TongLINKQ系统性能调优手册

12、TongLINKQ系统常见问题排除手册,三级交换平台 数据交换管理平台 消息中间件 通用文件传输平台 前置桥接转换 应用支撑中间件,TongGTP主要功能,GTP节点的主要功能是为用户提供点与点之间自动、可靠高效的通用文件传输服务。用户无需要进行任何编码，只需要进行简单的设置就可以完成传输任务的定义，GTP节点将按照用户的要求定期扫描新的文件并负责发送到目的地。,TongGTP主要功能（一）,GTP系统提供目录及文件的收发服务，支持多平台。 任务的灵活调度：周期性任务和一次性任务的立即、手工、定时执行 支持多种文件类型：文本文件，二进制文件，图像文件，图片文件，语音文件等 文件过滤 可以指定文

13、件名过滤条件：支持通配符*、？，正则表达式； 支持文件大小过滤； 支持文件修改时间过滤。 文件发送后的文件备份 发送成功后可删除、移到系统默认成功目录或用户指定的目录下； 发送失败后可移到系统默认失败目录下或指定的目录下。,TongGTP主要功能（二）,按实际时间创建接收目录，便于分类 用户可以选择按年、年月、和年月日来创建新的接收目录。 文件到达接收端可保持子目录结构或平铺 若文件包含子目录结构，到达接收端可选择平铺或保持原有子目录结构。 目的端有重名文件处理 可以选择覆盖、备份、或通知失败。 如果选择备份，重命名规则为: YYYYMMDD_HHMMSS_MMM_文件名 。 任务优先级 有三

14、种优先级：低、中和高，缺省为中优先级。优先级越高，任务优先发送的顺序就越高。 生命周期机制 生命周期是用来控制文件从开始发送到最终被用户接收所允许的最长时间。若接收节点没有启动或者网络断开等情况，则生命周期到时，正在发送的文件将被移动到失败目录，视作发送失败。,TongGTP主要功能（三）,加密压缩 用户发送文件时，根据用户需要，传输过程可选择加密压缩传输机制，也可不选择加密传输机制。其中加密算法可选，支持常用加密算法。 文件大小检查和内容校验 系统默认会对传输的文件大小做发送和接收匹配检查。根据实际需要，传输过程可以选择校验功能，系统会对文件内容做哈希校验，防篡改，如被篡改，认作传输失败。

15、文件发送前处理、接收后处理的配置入口 允许用户将业务流程及逻辑以第三方接口的形式嵌入到GTP的文件传输过程中，由用户提供前处理、后处理业务功能接口库及服务接口，来满足用户对业务文件的顺序或逻辑要求。目前提供C和JAVA配置入口。,TongGTP主要功能（四）,可在目的文件名前增加或去掉传输id 此传输id由“任务名_17位时间戳_” 组成，用户可选择是否在传输时在目的的文件名中增加或去掉传输id。 断点续传 当文件在传输过程中由于意外原因引起传输失败时，GTP将负责从传输失败点接续发送该文件，而不是将整个文件重新发送 。 节点间集群发送 节点间从单连接、单发送队列可以调整为多连接、多发送队列，

16、提高传输效率 文件组播 GTP既支持点对点方式的文件发送，也支持组播方式的文件发送。 系统告警、任务告警 通过界面可以及时看到告警信息。,TongGTP主要功能（五）,集中任务管理 可以对所有节点的任务进行集中管理，包括创建、删除、启动、停止任务。 日志管理 可以远程查看各个GTP节点的系统日志。 批量导入导出资源 1）管理员可以导入导出的资源有：用户、节点、目录、用户-节点映射。 2）操作员可以导入导出的资源只有该用户所管理的节点的任务。 3）访问员没有导入导出权限。,TongGTP主要功能（六）,传输进度实时监控 实时查看正在发送的文件、并对其传输进度进行监控。 传输查询统计 可以查询全网

17、内的文件发送接收记录，统计文件收发的累计数目。 查询结果可以以文本或excel方式导出，并且统计结果以图表方式展现。 操作查询 对主要操作事件进行精确查询，比如登录管理控制台、修改系统参数、创建节点、创建任务等。 系统监控告警 1）对全网内的节点运行状态进行监控，如有异常告警，提示用户处理。 2）对文件的发送状态进行实时监控，如有失败告警。 3）系统监控页面每5分钟刷新一次，显示最近3个小时内的发送记录。,TongGTP主要功能（七）,故障邮件告警 用户可选择订阅某些节点的故障，当产生故障时，除界面监控告警外，也会通过邮件发送故障信息 。 链路测试 对任务的传输路径进行连通性测试。 任务相关资

18、源变更提示 与任务相关资源（节点IP、目录）变更后，任务列表会提示资源变更异常 日志清理 对数据库中的发送、接收、和操作记录可以进行自动或手工清理。,TongGTP统一监控管理,TongGTP日志监控,全面的日志监控 系统日志：运行监控 告警信息：故障处理 传输日志：查询统计 操作日志：安全审计,TongGTP性能,硬件配置,测试结果,TongGTP跨平台,支持各种网络环境 10M/100M/1000M以太网 拨号线、X.25、DDN、帧中继 (Frame Relay) 、无线网、VPN等 支持各种操作系统 HP-UX、AIX、Solaris、Compaq Tru64 Unix、SCO UNI

19、X、UnixWare等主流Unix系统 Windows 9X/NT/2000/XP/2003/Vista/2008/7等Windows系统 RedHat 、Turbo、Redflag 等主流Linux系统,TongGTP快速使用手册,产品安装 系统启动 发送节点启动 接收节点启动 管理控制台启动 管理员操作: 添加节点 创建操作员用户 添加目录 操作员操作 创建任务 监控任务,TongGTP 常见问题（一）,节点安装 启动错误 操作员在管理控制台无法启动远程节点情况一 操作员在管理控制台无法启动远程节点情况二 向前调系统时间 内存空间不足 登录时，界面提示密码错误 成功或失败目录的文件数超过默

20、认的最大数2000.3 用户无法重新登录 Linux启动监控代理超时 SELINUX下GTP启动异常 GTP系统服务. 命令行工具 文件传输 Windows上，FAT32磁盘为接收方，发送超过4G文件发送失败,TongGTP常见问题(二),安装 安装中JDK的问题 无法登录管理控制中心. 访问管理控制台有乱码，无法添加节点和用户 如何查看真实IP 用户管理. 节点管理 若管理控制台和节点的之间存在防火墙 若节点间的带宽比较低，在同步传输日志的过程中，由于带宽的原因 可能会导致日志同步失败 任务管理 一次性任务 周期性任务 查询和统计 页面查询结果“少”了部分记录 动态监控常见问题 无法登录管理

21、控制台界面,应用统1,文件交换平台 TongGTP,GTP,文件交换平台TongGTP文档, TongGTP技术白皮书 TongGTP快速使用手册 TongGTP系统概述 TongGTP系统管理手册_服务节点 TongGTP系统管理手册_管理控制台 TongGTP系统安装手册_服务节点 TongGTP系统安装手册_管理控制台 TongGTP系统常见问题排除手册,三级交换平台 前置桥接转换 应用支撑中间件,TongIntegrator2系统架构,应用集成框架,应用A,数据库 Y,控制器,TongIntegrator2功能布局,流程管理,流程监控,日志管理,集中部署,事务管理服务,数据抽取,适配器

22、管理,流程编辑,数据加工处理,定时器服务,远程代理服务,数据装载,适配器开发,源组件适配器,管道组件适配器,组件组件适配器,适配接入层,系统服务层,部署管理层,TongIntegrator2,Application,TongIntegrator2,TongIntegrator2源组件,TongIntegrator2目的组件,TongIntgrator2流程控制器,控制器负责事务的开始，提交和回滚过程; 源组件创建消息并从控制器请求事务后把消息传递给控制器； 控制器把消息传递给下一个组件，依次往后传递和处理消息； 最终返回到源组件，否则，会抛出一个异常； 如果源组件收到异常，就会回滚事务，否则就

23、提交事务。,TongIntegrator2组件类别,TongIntegrator2数据转换,格式转换 内容转换,XM,XB,GZ,DH,INT,FLOAT,STRING,STRING,NAME,PAY,SEX,PHONE,INT,INT,INT,STRING,XM,XB,GZ,DH,11111111,1234.56,M,张三,NAME,PAY,SEX,PHONE,11111111,1,1234,张三,XM,XB,GZ,DH,11111111,1234.56,M,张三,XM,GZ,DH,11111111,1234.56,张三,XB=M,XM,XB,GZ,DH,11111111,1234.56,M

24、,张三,XB,GZ,DH,11111111,1234.56,M,GS,TONGTECH,XM,张三,GS=TONGTECH,过滤 添加,TongIntegrator2流程设计模式,一对一串行型流程,一对多扇出型流程,多对一扇入型流程,一对一平行型流程,TongIntegrator2异常处理,当某一个接收点出现问题，流程自动回滚将交给异常处理控制器进行处理。,集成开发工具 流程及配置工具AF编辑器,数据库导入导出工具DBMapping,TongIntegrator2文档,TongIntegrator2技术白皮书 TongIntegrator2用户使用示例向导 TongIntegrator2使用手

25、册 TongIntegrator2安装运行手册 TongIntegrator2参考手册 TongIntegrator2培训手册,三级交换平台 前置桥接转换 应用支撑中间件,TongWeb体系架构,结构更灵活 启动更快速 运行更高效,TongWeb完全支持国际标准,TongWeb新特性,完全支持JavaEE5规范 高性能的基于NIO的线程池技术 基于JMX的管理机制 管理工具 调优辅助工具 自动重启功能,TongWeb版本,TongWeb跨平台,TongWeb高性能集群,TongWeb在 1 - 64 节点大规模集群性能测试结果：,TongWeb：8个节点内集群性能呈线性增长， 64个节点内性能稳步增长 Tomcat： 最大支持4个节点,TongWeb拥有更强的大规模集群能力,TongWeb支持SOA标准,JAX-WS + WSIT + JAX