数据交换平台功能白皮书

1、数字校园系列软件产品数据交换平台功能白皮书目录1产品概述- 3 -1.1产品简介- 3 -1.2应用范围- 3 -2产品功能结构- 4 -3产品功能- 5 -3.1数据源适配器- 5 -数据源类型- 5 -数据获取方式- 5 -3.2数据抽取- 6 -抽取全量、增量数据- 6 -数据过滤- 6 -数据关联- 7 -数据分包- 8 -数据加密- 8 -数据压缩- 8 -数据备份、删除- 8 -3.3数据传输- 9 -3.4数据映射、转换- 9 -3.5数据同步- 9 -数据同步方式- 10 -数据同步异常- 10 -3.6服务调度- 10 -3.7运维监控- 11 -告警监控- 11 -流程监控

2、- 12 -资源监控- 12 -日志管理- 13 -4产品特点- 13 -4.1支持多种数据交换方式- 13 -4.2服务调度时间多种选择- 14 -4.3进行可视化的数据交换过程监控- 14 -4.4提供多种数据个性化业务处理- 14 -4.5支持海量数据处理- 14 -4.6先进的体系结构- 14 -4.7完善的安全设计- 15 -5运行环境- 15 -5.1服务器配置- 15 -5.2客户端配置- 15 -6典型客户- 15 -1 产品概述1.1 产品简介在校园信息化趋势日益高涨的同时，暴露出很多问题：Ø 信息化建设缺乏统一指导和总体规划，各部门独自为战，信息孤岛现象日益严重&

3、#216; 由于建设时期不同，采用的技术架构和建设情况各有差异，各系统之间的运行管理维护等也相对独立Ø 缺少统一应用平台，不能提供基于全面准确的标准数据及基于此的决策分析等深层次的增值服务数据交换平台正是立足于解决以上问题，通过对现有的系统进行数据整合，尤其是对相关的数据资源进行整合，消除“信息孤岛”，实现校园内各种信息系统的互通互连和数据共享，形成统一的数据服务层，为上层应用提供数据服务，为校园综合信息服务的便利、完善和高效提供可靠的数据基础。数据交换平台采用星型拓扑结构，有效的简化了网络结构，实现了数据交换智能路由功能，根据交换数据内容，能够方便实现一点对多点，多点对一点，以及发

4、送、转换、转发、接收等多种交换流程。通过采用中间件机制，很好的屏蔽了应用系统直接的耦合程度，实现了数据的无缝交换和共享访问，保证了各应用系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和可靠性。1.2 应用范围主要用户主要功能学校信息化主管领导了解学校数据集成情况以及运行情况维护人员整体交换流程监控、异常处理报告业务系统管理员监控自身数据交换情况系统管理员用户管理、系统设置、流程配置2 产品功能结构 数据交换平台功能结构图3 产品功能3.1 数据源适配器3.1.1 数据源类型数据交换平台支持各种主流、非主流的数据源，通过数据适配器可以灵活扩展。l 支持多

5、种主流关系型数据库，包括：Oralce（9i、10g、11g）、Microsoft SQL Server（2000、2005、2008）、IBM DB2、Sybasel 支持多种ODBC数据类型，包括：Microsoft Access（.mdb）、Microsoft Excel（.xls）、VisualFoxpro（.dbf）l 支持XML文件l 支持Webservicel 支持纯粹的文件类型，例如：照片、Word文件3.1.2 数据获取方式数据交换平台支持多种数据获取方式：Ø 数据库视图可以从指定数据库的视图中提取数据。Ø 数据表可以从指定数据库的表中提取数据。Ø

6、; 自定义SQL可以用自定义SQL从指定数据库中提取数据。Ø Webservice可以从指定Webservice提供的方法中提取数据。Ø 文件可以从指定XML、Excel、Access、Dbf文件中提取数据；可以把任意类型的文件从一个地方交换到另一个地方。3.2 数据抽取数据交换的第一个环节是要进行数据抽取，根据特定的业务规则进行抽取，例如：抽取全量数据、抽取增量数据、数据过滤、数据关联、数据分包、数据加密、数据删除、数据备份、数据压缩等。3.2.1 抽取全量、增量数据 根据实际业务需要，数据交换平台需要获取全量或者只提取有变化的数据，即增量数据。全量、增量数据3.2.2

7、数据过滤对于业务系统提供的数据，有些数据不是实际需要的，那么可以通过设置数据过滤条件和选择数据字段，对数据源进行过滤。选择字段设置过滤条件3.2.3 数据关联 业务系统提供的数据中，缺少某些字段，需要关联其他系统的数据后才能得到，通过数据关联可以轻松解决此问题，要关联的数据源类型和源数据一样都支持所有数据类型数据关联3.2.4 数据分包针对大数据量的抽取，一下子读取所有数据，对系统压力比较大，通过数据分包，按照数据条数可以把数据分成多个包，分包进行交换，大大减轻系统的承受压力。3.2.5 数据加密针对一些机密数据，在数据抽取过程中，会对数据进行加密，即使在交换过冲被截获，也无法获取数据的真实内

8、容。3.2.6 数据压缩针对大数据量的抽取，可以采用数据压缩，缩小数据文件的大小。3.2.7 数据备份、删除针对增量数据源的数据，数据抽取完需要删除原数据，为保证数据的完整性，在删除前，需要对数据进行备份。3.3 数据传输数据抽取完成后，下一步就是数据传输，传输时可以通过Http协议和Ftp协议进行传输。3.4 数据映射、转换数据映射、转换环节是数据交换平台中的重中之重，主要提供了以下支持：Ø 字段关联合并多个字段可以合并到一个目标字段，字段首尾可以连接自定义字符Ø 大小写转换对字段进行大小写转换Ø 首尾空格删除对字段首尾空格进行删除Ø 字段长度计算获取

9、字段内容长度映射配置数据映射关系的配置，可以通过拖曳式的操作，建立源和目标之前的对应关系3.5 数据同步经过数据抽取、数据映射转换后的数据，就可以给目标数据源进行同步了。3.5.1 数据同步方式数据同步支持的方式有：Ø 数据表目标数据源为数据表，需要指定数据表的主键，同步过程中根据主键来判断数据插入、更新。Ø 存储过程存储过程提供输出参数，在目标数据源配置中指定预期输出，在同步过程中，判断预期输出值和输入值是否一致，同时记录异常数据和异常原因。Ø Webservice通过判断Webservice调用后的返回结果和预期是否一致，判断同步是否成功，记录成功的记录数和失

10、败的记录数。Ø 文件把转换后的数据同步成文件，文件类型可以是任意文件类型3.5.2 数据同步异常数据同步过程中的异常数据，系统会自动记录下来，包括数据和错误原因，在监控平台上，可以下载异常数据和异常记录，供系统维护人员进行分析处理。3.6 服务调度每一个源数据源和目标数据源之间的数据交换频率是不尽相同的，可以为每一个流程设置运行周期调度：l 流程在启动状态时执行，满足轮询策略l 具体到某一时刻执行l 设置时间段运行l 周期运行，周期可以设置为分钟、小时、天、周、月、年服务调度3.7 运维监控数据交换平台提供了多种监控，实时反映各个数据交换流程的运行情况，服务器资源的使用情况，交换平台

11、的整体接入情况。所有的流程都可以进行启动、停止操作。3.7.1 告警监控提供平台运行过程中的异常信息。告警监控3.7.2 流程监控对每一个流程中的各个环节进行监控，针对出错的环节通过下载错误数据和错误原因分析问题具体的原因。流程监控3.7.3 资源监控实时监控服务器CPU、内存、硬盘的使用情况。资源监控整体情况监控3.7.4 日志管理平台记录了数据交换各个环节的日志。日志管理4 产品特点4.1 支持多种数据交换方式Ø 数据库表（支持ORACLE、SQLSERVER、SYBASE、DB2等）Ø 视图、存储过程Ø 数据文件（EXCEL文件、XML文件、TXT文件）&#

12、216; WebService接口4.2 服务调度时间多种选择Ø 固定时间Ø 设定周期循环（年、月、周、日、时、分）Ø 指定时间段（如：每年8、9月等）4.3 进行可视化的数据交换过程监控Ø 整个数据交换流程的运行状态Ø 各个客户端代理的运行环境Ø 异常状况的告警提醒4.4 提供多种数据个性化业务处理Ø 字段内容组合、格式转换Ø 数据验证、过滤、关联Ø 文件、图片等大字段处理Ø 支持相同架构数据源的订阅4.5 支持海量数据处理Ø 全量数据增量收取Ø 海量数据自定义分包4.6 先进的体系结构Ø 基于先进的SOA体系结构设计。Ø 采用B/S结构，使得用户通过浏览器就可以完成各种信息处理，简单易用，提高了工作效率。Ø 基于J2EE开发规范，跨平台、跨数据库、支持多种应用服务器Ø 三层体系的结构设计，使得各部分的独立性和互联性能力更强，便于扩充和维护4.7 完善的安全设计Ø 敏感信息的加密处理Ø 数据传输的加密，可以支持https协议的访问Ø 完善的数据备份机制和网络安全认证机制5 运行环境5.1 服务器配置类别最低配置推荐配置硬件CPU2GHZ3G以上内存2G4G以上硬盘80G160G