主题数据平台

1、主题数据平台        摘  要  本文在解决远程开放系统的信息孤岛问题的基础上，出了一个通用的主题数据平台架构。并进一步针对它在不同的环境、采用不同的策略，给出了实现框架。     关键词  SOA；数据平台；信息暴露      1  引言    本课题来源于中央广播电视大学教务管理系统的后续开发。随着中央电大在开放式教育思想指导下的教学改革的展开，系统业务量急

2、剧猛增，原有的教学管理系统已经逐渐的满足不了应用需求。所以新一代教学管理系统正在开发中，同时由于教育业务本身的连贯性，导致了新旧系统并行的局面出现。但是由于新旧系统间缺少关联和通信以及必要的规范，导致信息“孤岛”现象严重，而旧系统又恰恰是电大不可放弃的重要投资。同时由于各个系统集成度不足，运行业务的数据库和应用程序也是在不同时期部署的，它们来自不同的供应商，使用各不相同的定制技术。从而面临着如何构建一个强壮的、可靠的，将新旧系统中的分散功能组织成可共用的标准服务来满足业务要求的平台，成为我们需要研究的难点。     通过实践我们可以发现，应用程序始终都与数据有关，

3、级的服务程序更是如此。今天，企业应用程序开发中有高达70的时间都是用于访问不同的数据。因此，对企业信息和数据按业务逻辑进行梳理和抽取，形成企业数据的统一表现实体，该实体可以在全企业范围内得到一致性的使用，是迈向面向服务的体系架构的第一步。因此我们提出了主题数据平台的概念。 2  主题数据平台结构    主题数据平台结构见图1。主题数据平台由：主题数据服务层、数据处理构件、数据处理管道、适配器构件组成。 图1 数据主题平台的设计构架        主题数据服务层：是底层接口与上层应用的中

4、间层，用于屏蔽底层接口，向上提供统一的服务。有两种角色：一种角色是数据中转站，用于保存临时数据，并等数据传输完整之后，进一步对数据进行分析和处理；另一种角色是主题数据服务层角色，用于保存数据处理的最终结果：主题数据。     数据处理构件：是数据处理的基础构件，每一个数据处理构件都封装了一部分相对独立的数据处理逻辑，包括删除不需要的数据、补充缺少的数据、对数据进行简单的四则运算、代码转换和按主题建立新的数据结构等功能。     数据处理管道：是由多个数据处理构件组成，它合理的组合和安排这些数据处理构件，从而完成复杂的数据处理逻辑。 &

5、#160;   适配器构件： 用于实现异构数据库与数据处理管道的无缝连接，从而能够方便的从异构数据库中抽取或插入数据。 3  基于局域网的主题数据平台的实现方案    基于局域网的主题数据平台的实现方案见图2。 图2 基于局域网的数据主题平台的实现方案        由于局域网有着：传输速度快、网络故障率低、即时性强、服务器固定等优点。所以我们采用：DTS技术、Nmake技术、临时库等技术来解决基于局域网的主题数据平台的实现问题。 3.1   D

6、TS技术的应用    采用DTS技术可以实现在局域网中从异构的数据库中提取或插入数据，并能对数据进行简单的逻辑操作。它可以把相对独立的数据处理逻辑封装在对应的DTS包中，从而把公用的数据处理逻辑从数据处理业务中提炼了出来，以备复用。并提供了工作流支持，保证了DTS包中数据处理业务的事务性和完整性。           适配器构件     适配器构件只是一个数据处理通道和异构数据源的连接器，它负责从异构数据源中抽取或者插入数据并将数据转移到数据处理通道中。每

7、一个数据源对应一个或多个适配器构件，每个适配器构件包含在对应的DTS包中。整个DTS包中包含一个原数据源、一个目标数据源和一个数据对应转换任务。将整个数据转换逻辑封装为一个构件，有利于适配器构件的复用。           数据处理构件     数据处理构件封装了数据处理逻辑，这些处理逻辑由数据业务驱动，包括删除不需要的数据、从不同的数据来源补齐缺少的数据、对数据进行简单的四则运算、不同信息系统之间的代码转换等功能。数据处理逻辑按其独立性和公用性被封装在不同的DTS包中，增强了数据处理

8、构件的可变性和复用性。DTS包提供了验证机制这既可以保证数据处理逻辑的正确性，又可以保证数据处理逻辑的事务性。DTS包内包含工作流，可以针对不同的情况做出不同的处理，极大地提高了数据处理构件的复用性，并可对业务性错误做出必要的处理。 3.2  Nmake技术的应用    Microsoft程序维护实用工具Nmake 是一个 32 位基于说明文件中包含的命令生成项目的工具。NMake具有丰富的选项，可以完成复杂的处理操作，并有树状文件任务处理结构，并且易于编写，结构清晰，对于实现复杂的数据处理业务提供了很大的方便。采用Nmake技术可以有效的将结构松散的、

9、相对独立的数据处理构件聚合起来，从而能够处理复杂的数据处理业务。 数据处理管道     数据处理管道是将数据处理构件有机的组合起来并封装好，对主题数据服务层提供统一的访问接口，从而把数据服务逻辑与数据处理逻辑分割开来。数据处理管道可以极大地提高数据处理构件的复用率，并把复杂的数据处理逻辑从数据处理构件中抽离了出来，当数据处理业务变动的时候不需要修改构件只要按着业务需求，重新组织构件即可解决问题。Nmake可以按着业务需求轻松地把数据处理构件组合起来形成带有业务逻辑关系的数据处理管道，并且Nmake提供了业务流功能，针对不同的业务需求可以提供不同的业务流支持，从而极

10、大的提高业务本身的灵活性。当业务需求变动时，Nmake可以通过重新组合数据处理构件来完成业务，而不需修改或者重新编写数据处理构件，从而提高数据处理构件的可复用性。 4  基于互联网的主题数据平台的解决方案    基于互联网的主题数据平台面临的主要问题是如何通过远程数据传输将互联网的异地、异构的数据源中的数据传输到主题数据服务层中。数据一旦进入主题数据平台的主题数据服务层，就可以使用和基于局域网的解决方案相同的技术对数据进行整理。通过远程数据传输将互联网的异构数据传输到主题数据服务层之后的功能与基于局域网的数据转换接口的功能相同。   

11、  中央广播电视大学远程开放教育的教务管理系统是一个跨越44个省面向全国的开放式教育体系结构。该系统包含四级平台、五种角色，由于其独特性中央电大教务管理系统基于互联网的主题数据平台的搭建有如下4方面需求：     1） 中央电大各个系统之间、中央电大教务管理系统各级平台之间需要能进行灵活的数据交换。     2）每次交换数据的数据量可能达到GB级。     3）部分数据交换有实时性要求，在规定时间内客户端必须收到响应，不能因为数据传输而推迟业务进度。     4）需要在网络状况不稳定的情况下完成数据交换，因为中央电大教务系统是跨越44个省的开放式教育系统，所以中央电大需要同44所省电大交换数据，在这种情况下网络状况不可预知、稳定性难以保证，但传输仍然需要进行。 4.1  SOAP协议与Hessian协议的比较    目前，Web服务技术是解决异构平台系统的集成及互操作问题的主流技术1。它所基于的XML已经是Internet上交换数据的实际标准，基于通用的进程间通信协议和网络传输协议屏蔽平台的差异，可