数据共享交换平台系统设计

数据共享交换平台

系统设计

2018年6月26口

数据共享交换平台系统设计前第1页/共60页

修订记录

日期修订版本修改描述作者

分发记录

持有者和角色分发日期

1

2

3

4

5

6

数据共享交换平台系统设计前第2页/共60页

目录

1引言........................................................................5

1.1编写目的................................................................5

1.2范围....................................................................5

13定义....................................................................5

1.4参考资料................................................................5

2需求分析....................................................................5

2.1教育基础数据库..........................................................5

2.2数据交换................................................................6

2.3数据分析................................................................7

3总体设计....................................................................8

3.1设计原贝................................................................8

3.1.1以需求为中心...........................................................8

3.1.2成熟性.................................................................8

3.1.3可扩展性...............................................................8

3.1.4可管理性...............................................................8

3.1.5适应性.................................................................8

3.1.6易操作性---------------------------------------------------------------8

3.1.7可靠性.................................................................8

3.1.8安全性.................................................................8

3.1.9实用性.................................................................8

3.2基本设计概念和处理流程.................................................8

3.2」概述...................................................................8

3.2.2大数据中心..............................................................10

323教育资源中心............................................................12

3.3系统总体技术..............................................................13

3.3.1技术架构...............................................................13

3.3.2用户友好性.............................................................13

3.3.3系统初始化.............................................................13

334系统维护及备份..........................................................13

数据共享交换平台系统设计前第3页/共60页

3.3.5技术路线................................................................13

3.4重点难点解决方案.....................................................—22

3.4.1优化建议...............................................................22

3.4.2建设目标...............................................................23

3.5部署要求................................................................23

3.5.1总体技术指标要求.......................................................23

3.5.2系统运行环境及部署要求................................................23

3.5.3系统逻辑架构要求......................................................23

3.6运行环境................................................................24

361数据库服务器.........................................................—24

362应用程序服务器..........................................................24

3.6.3客户端服务器............................................................24

4系统详细设计................................................................25

4.1数据标准及管理规范.....................................................25

41.1概述................................................................25

4.1.2数据分析模型标准建设.................................................25

4.1.3数据仓库标准建设......................................................25

4.1/接口标准---------------------------------------------------------------26

4.1.5管理工具..............................................................26

4.1.6数据模型标准管理......................................................27

4.1.7参考信息编码集........................................................27

4.2平台规划................................................................27

4.3集成中心库模式..........................................................28

4.3.1设计思路...............................................................28

432库模式设计..............................................................28

433集成接口支持............................................................29

4.3.4集成设计工具..........................................................29

4.3.5集成查看工具..........................................................29

4.3.6集成调度工具..........................................................29

437数据集成过程管埋........................................................30

数据共享交换平台系统设计前第4页/共60页

4.3.8数据集成监控工具........................................................32

4.4数据采集与分析平台......................................................32

441数据采集................................................................32

442数据统计................................................................39

4.4.3状态分析................................................................39

4.5数据交换................................................................48

4.5.1服务仓库...............................................................48

4.5.2服务重组...............................................................48

4.5.3数据集成...............................................................48

454多模式的数据交换........................................................49

455异构数据源的适配器.....................................................49

4.5.6管理工具...............................................................49

5系统安全设计................................................................50

5.1安全风险分析............................................................50

5.2安全策略的建立..........................................................50

5.2.1需求分析...............................................................50

522风险评估................................................................52

5.3安仝体系总体结构--------------------------------------------------------53

5.4网络级安全措施..........................................................54

5.4.1网络四个层次的安全....................................................54

5.4.2网络访问策略..........................................................55

5.5系统级安全措施..........................................................55

5.6合理规划服务器..........................................................55

5.7病毒的防护..............................................................55

5.S应用级安全措施..........................................................56

5.9用户数字证书............................................................56

5.10身份认证和密码管理......................................................56

5.10.1用户权限控制........................................................56

5.10.2程序资源访问控制...................................................56

5.10.3数据加密存储........................................................56

数据共享交换平台系统设计前第5页/共60页

5.10.4重要数据加密传输....................................................56

5.10.5智能入侵检测........................................................57

5.10.6防抵赖设计..........................................................57

5.10.7外部接口鉴权管理....................................................57

5.10.8程序设计的安全性....................................................57

5.10.9日志安全审计........................................................57

5.11用户级安全措施..........................................................58

5.12系统安全评测............................................................58

5.12.1单元测试............................................................58

5.12.2代码评审............................................................58

5.12.3集成测试............................................................59

5.12.4语法测试............................................................59

5.12.5注入测试............................................................59

5.12.6模糊测试.........................................................-59

6接口设计.....................................................................60

6.1用户接口................................................................60

6.2外部接口................................................................60

6.3内部接口----------------------------------------------------------------60

7非功能性设计.................................................................60

7.1兼容性要求..............................................................6()

7.2响应时间要求............................................................60

7.3稳定性要求..............................................................60

7.4灵活性要求..............................................................60

7.5输入输出耍求.........................................................—60

7.6容错性要求..............................................................60

7.7安全性要求..............................................................60

7.8开放性要求..............................................................60

7.9性能要求................................................................60

8系统出错处理设计..........................................................--61

8.1出错信息................................................................61

数据共享交换平台系统设计前第6页/共60页

8.1.1输入错误及解决方案....................................................61

8.1.2Web服务器错误处理设计...............................................61

8.2补救措施................................................................61

8.3系统维护设计...........................................................62

数据共享交换平台系统设计前第7页/共60页

1概述

1.1编写目的

说明对数据共享平台软件的设计考虑，包括程序系统的基本处理流程，程序系统的组织

结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和安全性设计等，为程序

的详细设计奠定基础。

1.2定义

术语、缩略语全称解释

面向服务的体系结构，

一个组件模型，它将应

Service-Oriented用程序的不同功能单元

S0A

Architecture（称为服务）通过这些

服务之间定义良好的接

口和契约联系起来。

轻量目录访问协议，基

LightweightDirectory

LDAP于X.500标准的目录访

AccessProtocol

问协议

一种描述和同步网站内

ReallySimple

RSS容的格式，是使用最广

Syndication

泛的XML应用

ApplicationProgramning

API应用程序编程接口

Interface

OnlineAnalytical

OLAP联机分析处理

Processing

ServiceOritented

SCA面向服务的组件模型

Architecture

1.3参考资料

L软件工程导论清华大学出版社张海藩2008年02月第5版

数据共享交换平台系统设计前第8页/共60页

2.软件工程概论清华大学出版社郑人杰2010年3月第1版

3.计算机软件产品开发文件编制指南中华人民共和国国家标准GB8567-88国家标准

局1988年1月7日发布

4.教育信息化技术标准CELTS-3.1学习对象元数据：信息模型规范

5.信息安全技术信息系统安全等级保护基本要求GB/T22239-2008

6.其他有关现行国家标掂、行业标准及及地方标准

2需求分析

2.1教育基础数据库

教育基础数据库是一个相对完备和稳定、面向管理和应用的基本数据库，为

各级各类应用提供标准的数据接口和视图。数据库采用区、校二级架构，由学校

采集并逐级汇总，最终汇总到市级集中库，经数据转换、整理后上报至区级教育

信息基础数据库。

（1）组织机构数据库

建立统一的组织机构数据库，形成全局电子政务的组织机构目录。实现组织

机构的集中管理、分级授权和统一认证，为跨区域、跨机构分布的资源服务提供

统一的组织机构及身份信息等服务，并提供统一的应用系统调用接口，为将来新

建各级各类应用系统提供组织机构目录等基础服务,

其建设内容包括以下几方面：

（-）建立全局的组织模型及规范；

（二）统一规范全局电子政务系统中的组织机构数据模型，主要包括区、校

两级教育部门、直属学校（单位）、人员、岗位、用户组、角色等实体对象；

（三）统一规范各实体对象之间的关系。

（2）教职员工数据库

教职员工数据库存储教育系统内教职员工的基本信息和电子档案，通过数据

共享，为各级领导提供方便、实用、灵活的查询功能，为管理决策部门及职能部

教育管理和教育资源公共服务平台技术方案

门提供人员基本信息和决策依据•，同时也为人事管理系统提供数据基础。

（3）学生数据库

学生数据库存储学生的基本信息和电子档案，实现在册学生数据的统一存储，

数据共享交换平台系统设计前第9页/共60页

为***中小学学生电子学籍系统提供数据支持，也为今后有关学生的业务系统提

供基础数据•。同时，建立区级统一的学生数据库，向其他业务系统开放接口，能

有效防止各系统之间因学生名单或者信息不统一造成的各种问题，提高学生管理

工作的效率。

2.2数据交换

1、客户端代理子系统按照预先定义好的方式自动抽取学校各个部门的数据、文件（包

括照片文件）等资源。接口方式支持多种异构数据库，如：Web服务、XMLsExcel.Text.

DBF、Oracle.SqlSorver.MySql、DB2等等。数据抽取支持实时、每天、每周、每月、每年、

时间段等多种方式。如果有新的数据需要交换，只需要配置一下即可。客户端代理子系统不

但具有数据抽取功能，还有数据同步功能。它会自动按照客户的要求把符合条件的数据送到

指定的“地点”。

2、服务端处理子系统是对应客户端代理子系统血言的，客户端代理子系统抽取完信息

以后会把信息以“XML”文件格式压缩以后传到服务端，服务端处理子系统监听到有消息过

来，则按照业务逻辑规则对消息进行分析和转换，并做一些其它安全方面的处理。最后把这

些消息发布给订阅此消息的客户端。

3、数据交换平台提供了一系列的消息处理服务，从数据生成、数据发送、消息接收、

消息转换等10几个担任独立“任务”的功能组件。它们相互协助，对数据从产牛.直至到达

目的地都进行全程的跟踪，以确保数据交换能安全、稳定、正确的完成。

4、实时监控子系统：数据的交换都是自动进行，不需要人工干预即可完成。因此想了

解各个数据流运行情况就必须要有一个监控系统。

5、平台运行审计子系统：数据交换平台提供强大的运行审计子系统，不但可以对数据

交换过程各个步骤都进行记录，同时把客户端产生的审计结果自动上传到服务端，而且还有

完善易用的审计管理功能，

6、平台配置管理子系统：平台配置管理子系统提供了许多的配置项，如：应用系统管

理、数据源管理、流程配置管理、数据订阅管理

7、应用系统集成子系统：包括学校原有应用系统与新建应用系统的集成。学校应用软

件系统的集成主要是三个层次的现有集成：数据集成、身份集成、应用发布（界面）集成。

用面向服务集成的模式来完成应用系统集成，基于统一信息门户的基础上为全校教师与学员

提供一站式服务平台。

数据共享交换平台系统设计前第10页/共60页

8、目前学校各应用系统存在信息孤岛现象，本期建设的数据交换平台是指在校园内搭

建一个面向应用、安全可靠、操作便捷、技术先进、规范统一、灵活可扩展的数据库平台，

通过数据交换工具，进行数据过滤、清洗和双向传递，实现各业务系统、共享数据服务平台

相互之间的数据交换和共享，为学校教学科研提供交流的服务平台，为学校的管理提供有效

的管理平台，满足校内各类人员的查询要求。系统基于J2EE架构开发，支持Unix、Linux、

Windows多种平台，完全支持跨平台的部署。

2.3数据分析

1、支持SCA规范：产品支持国际标准的SCA规范，能够对应用接口进行SCA服务封装，

也能够提供预置的SCA模型数据访问适配器。

2、支持SD0规范：产品支持国际标准的SD0规范，能够对SCA服务组件产生的数据进

行SD0封装。

3、支持JMS1.1规范：产品提供的川界数据传输，支持JMS1.1标准。

4、支持JSR109、JSR110、JSR18kJSR183>JSR224等JavaEE规范：中间件提

供WebServices容器，支持JavaEE体系中规定的所有NebServices相关标准。

5、支持UDDI3.0规范：产品提供UDDI容器，支持UDDI3.0规范。

6、支持消息可靠传输：能够在Internet环境中，俣障在分布式的、网络不稳定的环境

下的数据传输安全、稳定、可靠。

7、跨平台部署：平台可以在各种操作主流操作系统中部署，包括Windows.Linux.

Solaris等。

8、脚本引擎支持DSL特性：产品提供脚本引擎，并且该脚本引擎支持DSL特性。

9、实现基于•过程组件模型的服务编排引擎：平台实现基于“过程组建模型”的服务编

排引擎，能够实现SCA服务组件的灵活编排。

】（）、支持消息加密：消息传输支持消息加密。

11、支持消息压缩：消息传输支持消息压缩，以充分利用带宽。

12、支持消息集群队列：支持集群队列，支持多个节点的多个不同的队列，在逻辑上形

成一个集群队列，实现节点网络中物理队列的透明性。

13、消息智能路由：多个节点能够组成一个智能网络，智能网络中的任意两个节点之间

的数据传输，能够综合考虑路径的长度及负载情况，选择最佳路径，提高消息传输效率。

14、事件框架：平台支持事件驱动框架。

数据共享交换平台系统设计前第11页/共60页

15、服务注册库：平台提供符合UDDI标准的服务注册库。

16、支持动态元数据：能够对SD0元数据进行管理，同时支持元数据动态变迁。

17、支持自治与联邦部署模型：产品实例自身最为一个管理中心，形成一个自治网络。

同时多个平台实例之间可以根据配置的规则互联互通，形成联邦部署。

18、数据库支持：支持针对主流的数据库的主流版本进行数据访问、分析和持久。

19、OracleFlashback技术支持：在Oracle数据库环境下，支持Oracle提供的

Flashback技术。

2()、Excel支持：支持对格式化Excel文件的访问、增量分析、数据采集和持久。

21、文本文件支持：支持对格式化文本文件的访问、增量分析、数据采集和持久。

22^WebServices支持：能够对WebServices接口进行SCA标准化服务封装。

23、支持数据影射：支持异构数据之间的数据影射，

24、支持类型转换：支持异构数据之间的类型自动转换。

25、支持内容转换：支持异构数据之间的内容转换.

26、支持结构转换：支持异构数据之间的结构转换.

27、支持SCA服务组件编排：支持SCA服务组件之间的服务编排。

28、支持分支、合并：服务编排支持分支、合并，实现基于内容的消息路由。

29、分支、合并支持本地上下文：分支、合并支持本地上下文，保障不同分支的数据操

作，不会影响到其它分支的执行“

30、服务编排发布：可以将服务编排流程发布成MbService供外部系统调用。

31、支持单例：同一时间，同一个流程定义，有且仅有一个流程实例处于非完成状态,

以保障业务数据完整性。

32、脚本扩展：支持在运行期，以脚本的方式进行功能扩展。

33、业务数据操纵：脚本扩展方式，支持对进行传输的业务数据进行操作。

34、控制数据操纵：彻本扩展方式，支持对服务编排中的控制数据进行操作。

35、Java静态扩展：可以通过开发Java代码并部署的方式，提供功能扩展。

36、可视化配置：所有平台建设的过程都能够提供可视化的界面进行配置、部署。

37、模板支持：通过配置模板的方式，实现平台的建设，提高建设效率。

38、数据交换中间件在交换数据构造过程中，数据交换系统提供了数据桥接组件，能够

实现部门的业务数据库和前置数据库的数据双向桥接，并且能够在数据同步的过程中，产生

数据共享交换平台系统设计前第12页/共60页

数据比对、清洗结果集。针对没有业务库，需要通过录入方式，将数据录入到前置数据库中

的部门，采用快速开发框架，可以根据用户的具体需求快速生成Web方式的数据录入界面。

3总体设计

3.1设计原则

3.1.1以需求为中心

系统的设计和开发，均紧密围绕用户需求，在满足用户各种应用需要的前提下，努力做

到替用户思考，提供用户未想到，却非常实用的附加功能。

3.1.2成熟性

系统设计把握计算机技术、网络技术和通信技术的发展方向，采用先进成熟的体系结构,

选择己被广泛接受的、先进的软件和硬件技术构造系统的支撑平台和运行平台，保证系统的

性能和生命力。

3.1.3可扩展性

由于信息化建设和应川系统具有快速发展、高速膨胀的特点，所以就要求系统各个环节

具有高扩展性。当许可事项增加、办理流程变化时，系统亦有灵活的调整和扩充手段适应其

变化。

3.1.4可管理性

平台的可管理性既能提高软件的使用效率又能给系统管理人员带来方便。系统提供管理

工具可以对系统进行全面的监控和管理、配置，并能够帮助管理员对系统故障进行诊断、排

错和分析与规划，从而降低总体使用成本。

3.1.5适应性

系统应具有为应用提供•定程度的可适应性的能力,系统架构采用先进的基于JAYA的

技术体系，基于应用服务器的多层B/S架构进行建设，能够充分利用企业现有软、硬件和信

息资源，从而能够提高系统投资的综合性价比和长期稳定使用，保护己有的设备和技术投资。

3.1.6易操作性

系统采用B/S结构，方便用户的操作和使用，同时对系统的维护工作要求也降到了最

低。采用集中和分级相结合的用户管理模式，便于维护管理，适应部门和人员的变动调整。

对于所有用户使用统一的浏览器界面对各种信息进行访问，操作者只需借助鼠标点选即

可完成全部的查询工作。对于系统维护管理人员，同样使用浏览器实现系统维护管理工作。

这样系统方便、快捷、易于掌握。

数据共享交换平台系统设计前第13页/共60页

3.1.7可靠性

数据库的稳定性在实际应用中也是一个非常重要的方面。数据库的稳定方面也很大程度

上依靠性能的优化、数据库的监控、在线的备份与负载均衡。

3.1.8安全性

系统应用采用MD5、ETTPS、密钥等多种加密手段确保数据存储、传输的安全。

3.1.9实用性

开发过程中的每一个环节注意用户使用的方便性、系统的易学、易用性，软件与集成的

硬件具有很强的实用性。

3.2基本设计概念和处理流程

3.2.1概述

数据共享平台是一个相对复杂的系统，采用良好的结构设计，架构要有足够的灵活性,

以迨应技术快速变化的需求。同时，还必须具有足够的•致性和稳定性，以确保实施中的相

对稳定性。参考目前最主流的面向服务的设计思想，参考S0A技术架构参考模型，按层次化

思路,系统架构如下图所示:

口----------------

学校门户展现层

综合查决策应用敷簿发布自定义查询元效搪管主■管标准管

询系统系统系统管理平台理系统理系统理系统应用层

安

集

全

成

与

标

运应用支撑层

准

维

体

*«清洗飒件故■对比蛆件敷据路由飒件统件管■£件体

系THMA

g涧。件vm阻件工&件m抵因a件1Hl皿遇件系

信息资源层

基础支撑环

境层

数据共享交换平台系统设计前第14页/共60页

学校数据共享交换平台系统结构图

由上图可见：学校数据共享交换平台系统技术架构由展现层、应用层、应用支撑层、信

息资源层、基础支撑环境层、集成标准体系、安全体系和运维体系八个部分构成。

>展现层

展现层为数据交换与分析系统用户提供信息服务，根据本项目建设内容，公共数据中心

系统的应用系统、管理系统、监控系统等访问的界面，必须集成到现有的门户界面中。系统

用户可以通过门户界面，获得综合查询服务、决策应用服务、数据发布服务、自定义查询服

务、主题管理服务、标准管理服务、元数据管理服务。

>应用层

应用层提供所有的信息应用和系统管理的业务逻辑，它分解业务请求，通过应用支撑层

进行数据访问和处理，并将返回信息组织成所需的格式提供给客户端。按照本项目的要求，

将应用层分为综合杳询系统、综合报表系统、数据发布系统、自定义杏询管理平台、元数据

管理系统、主题库管理系统、标准管理系统。这些应用系统必须集成到学校现有的门户界面

中。

>应用支撑层

该层是一个应用支撑软件平台，提供大量公共服务和业务构件。并提供构件的运行、开

发和管理环境，最大限度提高开发效率，降低工程实施、维护的成本和风险。应用支撑层采

用了行业应用的先进体系结构，以建立高性能、高可靠性、高扩展性的应用系统，满足客户

快速发展业务需求。

数据交换与分析系统采用ESB,为公共数据中心的数据整合提供保障，为系统正常运转

提供有效支持。同时.，由公司自主开发的I"平台，提供智能的报表展示；领导人员可以自

由分析关注的信息资源、配置不同的数据模型、采用不同的知识模型，形成多层次、多维度

的智能报表展示，为决策分析提供支持服务。

>信息资源层

信息资源层是系统信息资源中心，涵盖所有的结构化和非结构化数据。它是其它业务数

据来源，以及共享公共数据中心数据的存储和积累，为系统应用提供数据访问服务、备份、

存储功能。

信息资源层是本项目建设的重点和关键，从业务数据来源来讲，由学校各业务系统提交

的共享数据％各业务系统提交的数据首先进入数据交换系统，数据交换系统对提交上来的数

据进行格式转换形成标准数据，并提交到共享主题数据库中；并依据共享主题数据库中的数

数据共享交换平台系统设计前第15页/共60页

据同步各个业务应用系统的数据。然后，以共享主题数据库为基础，通过数据抽取、数据指

标计算，按照新的数据组织格式加载到元数据库中。

>基础支撑环境层

基础支撑环境层属于信息化基础设施，是系统运行的基本支撑。

它们主要包括网络支撑平台、硬件支撑平台、系统软件系平台。系统软件平台由中间件、

应用服务器、数据库服务器、操作系统、网络管理软件等构成；硬件支撑平台包括：主机、

存储、备份等硬件设备；网络支撑为系统运行所依赖的网络环境。

公共数据中心系统将部署在学校公共数据中心机房中，通过防火墙和加密机与其它业务

应用系统连接。由于其它业务系统还提供了数据库管理系统，这方面的内容本文不做详细描

述。

>安全体系

安全体系设计主要是•从系统的安全威胁和风险分析，明确安全等级保护实施办法以及与

保护等级相适应的安全策略，以实效和应用为主导，管理与技术并重，从物理、网络、系统

层、信息交换层、应用层、组织管理等方面，保障系统的安全，满足系统的建设和发展要求。

>集成标准体系

标准化建设是系统实现互联互通、信息共享、业务协同、安全可靠运行的前提和基础。

学校早期的信息系统建设，普遍存在缺乏标准或标准不统•的现象，最终导致管理混乱、互

联互通不畅、信息共享程度低、信息资源开发利用滞后、安仝存在陷患等后果，严重影响了

学校信息化建设的进程。

随着学校信息化水平的提高和信息化建设的普及，学校对信息系统建设中标准化工作重

要性的认识有了很大提高，其它学校信息系统成功应用的实践证明，信息化建设必须有标准

化的支持，尤其要发挥标准化的导向作用，以确保技术上的协调一致和整体效能的实现。在

本项目设计和建设过程中，必须加强标准化建设，发挥标准化的指导、协调和优化作用，少

走方路，提而效率，确保系统运行安全，发挥预期效能.

本项目的标准建设中，要充分借鉴国家、教育部、其它学校在标准化建设方面的成果,

以保障数据交换与分析系统数据库数据的一致性。

>运维体系

在本项目的实施中，为了支持整个数据交换与分析系统，建立一个高效的运维体系是十

分必要的。具体来说，运行维护系统主要有以下三方面的作用：

1.数据交换与分析系统长期发展的需要

数据共享交换平台系统设计前第16页/共60页

2.数据交换与分析系统重要性的要求

3.数据交换与分析系统运行复杂性的要求

3.2.2大数据中心

大数据中心将统•收集、管理全校的学生数据、教师数据、办学条件数据、衍生数据和

外部数据，上述数据是大数据中心的核心资源和数据应月质量的源头保障。通过数据层将建

设结构化数据及分结构化数据的处理体系。实现对数据资产的整合统一，为数据上层应用提

供有效、准确、可持续行的数据源保障，数据层将涉及数据仓库、指标模型、ETL等组成部

分。

数据交换与共享层主要满足学校对校内各类教育数据的采集及共享需求。通过数据交换

与共享层将为全校各类教育信息化提供数据服务，支撑教育信息化管理的深入改革。

大数据中心将基于统一收集、存储、管理的全校教育数据资产提供数据分析应用，大数据中

心架构中的分析层将为教育数据的具体应用提供丰富的数据分析及数据展现技术，包括并不

限于传统算法、OLAP、数据挖掘、移动分析、预警展现、仪表盘等内容。

大数据中心的重要应用之一是为学校领导提供数据决策服务。通过数据分析，提高学校的教

育管理决策水平，使教育数据的价值最大化进行利用。

教育大数据库

教育大数据库是大数据中心的核心部分，是教育数据采集、清理、存储、管理、应用的

中转桥梁。教育大数据库的建设质量将直接影响整个项目的建设目标，数据应用、数据交换、

数据服务等其他项目内容均要以教育大数据库为基础。

大数据中心教育大数据库以业务系统实时数据库（学生库、教师库）、衍生数据、外部

数据、其他数据源、平面文件作为数据源，通过ETL服务器实现数据统一视图、数据整合工

作，形成数据中心体系。并基于教育大数据库的教师信息、学生信息等数据，为各类数据应

用于数据服务提供基础数据信息。

数据采集

数据采集包括录入、导入、同步等。

1.录入采集

根据设定的采集指标，组织并指导相关人员进行信息录入；

2.信息导入

针对客户已有的部分信息，可以根据设定的excel格式模板，先将信息整理成规范的

excel文件，然后将excel导入系统，实现信息的批量采集;

数据共享交换平台系统设计前第17页/共60页

3.信息同步

本系统的学生信息、教师信息、学院信息等数据;有些可以通过数据交换平台从其他系

统中通过信息同步获取，详见数据共享交换平台中的数据同步方案。

数据抽取

数据交换的第一个环节是要进行数据抽取，根据特定的业务规则进行抽取，包括抽取全

量/增最数据、数据过滤、数据关联、数据分包、数据加密、数据压缩、数据备份/删除、数

据传输、数据映射/转换。

1.抽取全量、增量数据

根据实际业务需要，数据交换平台获取全量或者只提取有变化的数据•，即增量数据。

2.数据过滤

对于业务系统提供的数据，有些数据不是实际需要的，那么可以通过设置数据过滤条件

和诜择数据字段，对数据源讲行过滤。

3.数据关联

业务系统提供的数据中，缺少某些字段，需要关联其他系统的数据后才能得到，通过数

据关联可以轻松解决此问题，要关联的数据源类型和源数据一样都支持所有数据类型

4.数据分包

针对大数据量的抽取，-下子读取所有数据，对系统压力比较大，通过数据分包，按照

数据条数可以把数据分成多个包，分包进行交换，大大减轻系统的承受压力.

5.数据加密

针对一些机密数据，在数据抽取过程中，会对数据进行加密，即使在交换过冲被截获,

也无法获取数据的真实内容。

6.数据压缩

针对大数据量的抽取，可以采用数据压缩，缩小数据文件的大小。

7.数据备份、删除

针对增量数据源的数据，数据抽取完需要删除原数据，为保证数据的完整性，在删除前，

对■数据进行备份。

3.2.2.4数据传输

数据抽取完成后，下一步就是数据传输，传输时可以通过Hllp协议和Flp协议进行传

输。

数据共享交换平台系统设计前第18页/共60页

数据映射电换

数据映射、转换环节是数据交换平台中的重中之重，主要提供了以下支持：

>字段关联合并

多个字段可以合并到•个目标字段，字段首尾可以连接自定义字符

>大小写转换

对字段进行大小写转换

>首尾空格删除

对字段首尾空格进行删除

>字段长度计算

获取字段内容长度

数据映射关系的配置，可以通过拖曳式的操作，建立源和目标之前的对应关系

数据同步

经过数据抽取、数据映射转换后的数据，就可以给目标数据源进行同步了。

1.数据同步方式

数据同步方式包括：数据表、存储过程、Webservice、文件。：

>数据表

目标数据源为数据表，需要指定数据表的主键，同步过程中根据主键来判断数据插入、更新。

>存储过程

存储过程提供输出参数，在目标数据源配置中指定预期输出，在同步过程中，判断预期输出

值和输入值是否一致，同时记录异常数据和异常原因。

>Webservice

通过判断Webservice调用后的返回结果和预期是否一致，判断同步是否成功，记录成功的

记录数和失败的记录数。

>文件

把转换后的数据同步成文件，文件类型可以是任意文件类型

2.数据同步异常

数据同步过程中的异常数据，系统会自动记录下来，包括数据和错误原因，在监控平台上,

可以下载异常数据和异常记录，供系统维护人员进行分析处理。

3.2.2.7数据订阅

实现源数据源和目标数据源的数据流程订阅管理。

数据共享交换平台系统设计前第19页/共60页

服务调度

每一个源数据源和目标数据源之间的数据交换频率是不尽相同的，可以为每一个流程设置运

行周期调度：

•流程在启动状态时执行，满足轮泡策略

•具体到某一时刻执行

•设置时间段运行

•周期运行，周期可以设置为分钟、小时、天、周、月、年

数据监控

数据交换平台提供了多种监控，实时反映各个数据交换流程的运行情况，服务器资源的

使用情况，交换平台的整体接入情况。所有的流程都可以进行启动、停止操作。

数据监控包括告警监控、流程监控、资源监控、口志管理等。

1.告警监控

提供平台运行过程中的异常信息。

2.流程监控

对每一个流程中的各个环节进行监控，针对出错的环节通过下载错误数据和错误原因分析问

题具体的原因。

3.资源监控

实时监控服务器CPU、内存、硬盘的使用情况。

4.日志管理

平台记录了数据交换各个环节的日志。

3.2.3教育资源中心

资源收集

以网络爬虫的建设思路为学校提供资源搜集方式，一个网络爬虫就是一种机器人，或者

软件代理。大体上，它从组耍访问的URL链接开始，可以称这些URL为种了。爬虫访问这

些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。

这些LRL按照一定的策略反复访问。

采用广度优先搜索策略和最佳优先搜索策略，能够筛选与屏蔽掉无关的网页，在资源搜

集过程中，将会把收集结果存储在教学资源库内，以供老师与学生获取。

资源辅助标识

资源辅助标识，快速定位“大”资源，“长”资源中的知识点。

数据共享交换平台系统设计前第20页/共60页

资源快速检索

支持按课标浏览、按教材浏览、按类型浏览、按媒体浏览、按专题浏览资源。

个性化推送

结合大数据挖掘技术，根据年级、学科、教材、课时、习题、考试、作'业等情况，动态推荐

匹配资源。

运营激励

资源运营激励体系，建立完整的资源评论指标体系和运营激励体系，配有积分规则、用户等

级服务、多维排行榜管理和多种激励制度，实现资源中心自我良性发展。

资源多维度元数据管理

采用资源多维度元数据管理方式，结合教育行业及实际业务，融合教育学科、课标等维

度对资源进行多维度的梳理，实现对资源真正的“管”和“理”。可以按课标浏览、按教材

浏览、按类型浏临、按媒体浏监、按专题浏览的浏监方式，快速找到所需资源。

3.3系统总体技术

系统设计符合我国国家相关标准、信息产业部部颁标准，部份功能和标准设计满足相

关规范和要求。

3.3.1技术架构

本系统采用B/S三层体系架构，客户端采用Windows网络浏览器。采用SOA开发理念,

采用模块化、组件化的架构，实现系统的快速开发和部署，根据其他业务系统需要提供相应

接口。

本系统服务器采用windows2003或以上版本的Windows操作系统，应用服务器采用

Tomcat,数据库服务器采用Oraclel()g。系统具备完善的管