基于交换的数据存储模式研究.doc

基于交换的数据存储模式研究摘 要：随着信息技术的快速发展，许多高校在信息化建设方面已初具规模，各应用系统的数据存储量与日剧增，数据孤岛问题日益突出。因此，如何有效整合数据资源，并使数据在校内及时、准确、高效地交换和共享，成为数据交换研究的热点。本文结合清华大学数字校园建设的研究工作，分析了高校在数据交换与共享方面的研究背景、需求状况，并对基于交换的数据存储模式作了进一步研究。关键词：数据交换, 存储模式, 逻辑存储模式，物理存储模式，数据交换应用平台1 研究背景随着信息技术的高速发展，高校在信息化建设方面卓有成效，逐步建立起办公、教务、财务、人力资源等一系列的应用系统，提高了工作效率、管理水平和服务质量。清华大学从1996年开始大规模的信息化建设工作，初期的重点是应用系统的建设，并以学校基础数据分类为主线，陆续完成了学生口管理、人力资源管理、网络教学、财务管理、科研管理、设备与资产管理、后勤管理等大块应用系统。学生口管理涵盖学生入校、在校、离校三个环节，由网上招生、迎新系统、综合教务管理、学生奖助贷勤补、学生就业、离校系统、校友系统等多个子应用系统组成。到目前为止，已经有40多个应用系统在校园网上稳定运行。分阶段开发的各应用系统相对独立，随着应用系统的不断完善，各应用系统之间不断提出数据交换的需求。例如：学生口教务系统需要从人事系统获取教师的基本信息，需要从后勤获取学生宿舍地址和宿舍电话等信息；同时它又提供学生学籍与学籍变动信息的标准数据。为了满足各应用系统之间的数据交换需求，就需要将某个部门的业务数据向另一个部门授权，而部门之间对数据交换的需求又是多种多样的：有的部门需要实时访问另一个业务系统的数据，并及时更新本部门的相关数据；而有的部门则每学期或每月周期性地读取其它部门的业务数据。以上两种数据交换都采用数据库的授权管理机制来实现。因此，应用系统之间的数据授权关系越来越多，多种交换方式并存，形成一个错综复杂的网状结构，如图1所示：图1：全校数据交换的现状模型上述数据交换的形式已经运行了一段时间，但随着应用系统的不断增加，尤其是学生迎新系统、学生离校系统的投入运行（这些系统具有跨应用、跨部门的显著特点），大大增加了数据交换的复杂性，因此，原先网状结构交换方式的缺点日益突出：首先是业务数据的安全性降低，应用系统之间数据相互授权，权限没有统一管理，容易造成权限不当，直接影响业务数据的安全；其次，网状结构难以保证交换数据的一致性，同样一份数据可能存在多个出口或入口；第三，交换数据分布比较杂乱，管理困难；第四，网状结构使应用系统之间的耦合度增加，局部出了问题容易影响全局，影响信息服务的质量和效率。学校对数据交换与共享的大量需求以及网状结构交换方式存在的问题，迫切需要对数据交换进行深入研究。研究主要分两个方面：一是数据交换的存储模式，即交换数据与业务数据如何合理存放和管理，并建立相应的理想存储模型；二是在理想模型指导下，构建一个跨应用、跨部门的数据交换应用平台，统一为各应用系统提供权威的交换数据和标准的数据交换服务。本文重点在数据交换的存储模式上作了一些研究。2 数据交换的理想存储模式的探讨关于数据交换存储模式的讨论，可以从两个方面进行：一是从逻辑存储层面，二是从物理存储层面。下面将分别从这两个方面展开讨论。2.1 数据交换的逻辑存储模式设计高校的数字校园有其阶段性建设的特点，所以总体上各应用系统松散耦合、相对独立，业务数据可以根据大块应用系统进行划分，并分布在相应的业务数据库中；而应用系统之间的交换数据可以集中存储、集中管理，形成一个统一的交换数据库（包含全校共用的基础数据和各业务系统的交换数据）。应用系统之间不再具有直接的数据关联，数据交换统一由业务数据库与交换数据库之间完成（具体实现需要构建一个统一的数据交换应用平台，并为各应用系统提供标准的数据接口）。因此，应用系统之间数据交换关系由原来的网状结构变成星型结构。如图2所示：图2：全校数据交换理想的逻辑存储模型星型结构数据交换解决了原来网状结构数据交换的一些问题： 交换数据集中存储、集中管理，而且交换数据有统一的入口和出口：交换数据比较完备，并能保证交换数据的一致性。 应用系统之间无直接数据联系，各应用系统耦合度降低，符合数字校园建设应用系统插件式服务的思路。 星型结构使各应用系统数据库的安全性增强，各应用系统之间的数据关系非常清晰，且方便集中管理。星型结构数据交换同时也需要解决一些新的问题，如交换数据库的规模不断扩大，容易产生瓶颈问题，因此以后在设计数据交换应用平台时必须充分考虑效率问题。2.2数据交换的逻辑实现方式设计在数据交换的理想逻辑存储模式的基础上，我们可以进一步探讨数据交换的逻辑实现方式：即一次数据交换如何从源业务库到达交换数据库，并最终到达需要数据的目标业务库，可以简单记为“源业务库交换数据库目标业务库”。根据每个数据交换的实际需求，可以从三个维度进行分析： 第一个维度是交换数据库和目标业务库中是否需要有交换数据的真实拷贝，有两种方式：一种是有数据拷贝，另一种是存在数据的一个映射关系 第二个维度是交换数据的时效性，有两种方式：一种是目标业务库需要实时访问源业务库的数据；另一种是目标业务库每学期或每月周期性地读取源业务库的数据。 第三个维度是交换数据流动方式，有两种方式：一种是源对象主动往目标对象送数据，简称“推”；另一种是目标对象主动从源对象取数据，简称“拉”）根据三个维度的排列组合，“源业务库交换数据库目标业务库”数据交换存在许多种逻辑实现方式，其中有些组合方式无意义（如交换数据的映射关系一定是实时方式），有些组合可以合并。对各种方式综合分析和汇总后，总结出11种需要实现的逻辑实现方式。如下图所示：图3：数据交换的逻辑实现方式2.3 数据交换的物理存储模式设计在逻辑存储模式设计中，交换数据集中存储、集中管理，形成一个统一的交换数据库。但在实际的物理存储模式设计时，考虑到大块应用系统可能包含多个子应用系统，多个子应用系统的统一存放在同一个业务数据库上，所以交换数据库在物理上可以分成两个部分：一个部分是物理上单独存放的交换库，主要完成全校共用基础数据的交换以及各业务数据库之间的数据交换；另一个部分是在各业务数据库单独存放的交换库，主要完成该业务数据库上不同子应用系统之间的数据交换。清华大学2004离校系统就按照这个思路进行数据交换的物理存储模式设计，如图4所示：图4：离校系统交换数据库物理存储方案示意图图4中，学生离校系统与综合教学系统、学生奖助贷系统都是学生口应用系统的子系统，业务数据共同存放在学生口的业务数据库，它们之间的交换数据保存在学生口业务数据库上的交换数据库。而开放实验室、网络中心与离校系统不在一个业务数据库上，需要通过独立的交换数据库来实现。3 结束语实现集中统一的数据交换，还需要考虑许多方面的问题。首先是数据交换的标准，包括交换数据的存储分类、命名规则（参照全校统一的信息标准）；其次是统一的用户管理机制和数据权限管理机制，数据交换应用平台只为各应用系统建立使用帐号，不为单个部门或者个人建立使用帐号；第三是交换数据传输过程的协议标准和加密标准；第四是提供给各应用系统的程序接口标准。随着高校数字校园建设的不断深入，必将对数据、应用、业务的集成提出更高的要求。高校应用系统松散耦合的思路，给数据交换提出了更高的要求，而基于数据交换的存储模式和交换实现方式则是数据交换的核心研究内容，直接指导数据交换应用平台的建设。本文结合清华大学数字校园建设的具体工作，在这方面做了一些研究。随着信息化建设的深入开展，数据交换的存储模式和应用平台建设的理论会逐步深入、完善，将在更大范围中发挥更大的作用。参考文献：1 数据存储模式与共享应用平台建设会议纪要（第1次第6次） 清华大学计算中心2 蒋东兴等数字校园建设和我们的研究工作3 王仲等基鸥于XML的数据交换与存取技术研究 计算