（计算机应用技术专业论文）高校异构数据集成与应用平台的研究与开发.pdf

华北电力大学工程硕士专业学位论文 摘要 大学信息化建设初具规模后，随着应用需求的增加和资源的积累，又由于各部门的 数据分别分布在不同系统的不同数据库中，因而数据交换与共享的需求r 益提高，建设 集中的异构数据集成与应用平台势在必行。 由于学校很多部门管理信息系统已经存在或正在建设，因而可以使用“逆向工程” 的设计方法、数据库直连和系统间接连接的技术方法进行平台建设。作者在分析已有数 据结构的基础上，建立具有数据采( 收) 集，数据的交换与处理，数据应用功能的异构 数据交换与共享平台。 平台建设是一项大规模的应用系统建设，是克服信息孤岛现象，实现部门之间的数 据的动态交换、共享的有效办法，是本校信息化建设向更深入层次发展的战略性技术举 措。 关键词；数据交换与共享，异构数据，数据库，逆向工程，p y t h o n a b s t r a c t 铎| 凼t h ed e v e l o p m e n to fi n f o r m a t i z a t i o n a p p l i c a t i o nr e q u i r e m e n t sa n dr e s o u r c e s i n c r e a s e ，a n dd a t ao fd e p a r t m e n t sa r ei nd i f f e r e n to p e r a t i o ns y s t e m sa n dd a t a b a s e s ，s oi t s m o r ei m p o r t a n tt h a tt h e s ec e n t r a l i z e di n t e g r a t i o na n da p p l i c a t i o np l a t f o r mo fh e t e r o g e n e o u s d a t aa r eb u i l ti nu n i v e r s i t i e s b e c a u s em a n ym a n a g e m e n ti n f o r m a t i o ns y s t e m so fd i f f e r e n td e p a r t m e n t sh a v eb e e n a p p l i e do ra r eb e i n gc o n s t r u c t e d ，d e s i g nm e t h o do f “r e v e r s ee n g i n e e r i n g ”，d i r e c t l yl i n k i n g d a t a b a s ea n di n d i r e c t l yl i n k i n go fs y s t e m sc a nb eu s e dt ob u i l dt h i sp l a t f o r m b a s e do nt h e a n a l y s i so fd a t as t r u c t u r e s ，w ec o n s t r u c tap l a t f o r mo fe x c h a n g ea n ds h a r eh e t e r o g e n e o u sd a t a w h i c hc a r lc o l l e c t ，e x c h a n g e ，p r o c e s sa n da p p l yt h e s ed a t a p l a t f o r mc o n s t r u c t i o ni sal a r g ea p p l i c a t i o nc o n s t r u c t i o n ，w h i c hi sav a l i dm e t h o dt o e x c h a n g ea n ds h a r ed a t ad y n a m i c a l l yb e t w e e nd e p a r t m e n t st oa v o i d “i n f o r m a t i o ni s l a n d ” a n di ti sat e c h n o l o g i c a ls t r a t a g e m i c a lm e t h o dt od e v e l o pi n f o r m a t i z a t i o nc i r c u m s t a n c eo fo u r t m i v e r s i t yd e e p l y z h a n gx i a o h u a ( c o m p u t e rt e c h n o l o g ya p p l i c a t i o n ) d i r e c t e db yp r o f w uk e h e k e yw o r d s ：e x c h a n g ea n ds h a r e d d a t a ，h e t e r o g e n e o u sd a t a ，d a t a b a s e ，r e v e r s e e n g i n e e r i n g ，p y t h o n 华北电力大学工程硕士专业学位论文 摘要 大学信息化建设初具规模后，随着应用需求的增加和资源的积累，又由于各部门的 数据分别分布在不同系统的不同数据库中，因而数据交换与共享的需求r 益提高，建设 集中的异构数据集成与应用平台势在必行。 由于学校很多部门管理信息系统已经存在或正在建设，因而可以使用“逆向工程” 的设计方法、数据库直连和系统间接连接的技术方法进行平台建设。作者在分析已有数 据结构的基础上，建立具有数据采( 收) 集，数据的交换与处理，数据应用功能的异构 数据交换与共享平台。 平台建设是一项大规模的应用系统建设，是克服信息孤岛现象，实现部门之间的数 据的动态交换、共享的有效办法，是本校信息化建设向更深入层次发展的战略性技术举 措。 关键词；数据交换与共享，异构数据，数据库，逆向工程，p y t h o n a b s t r a c t 铎| 凼t h ed e v e l o p m e n to fi n f o r m a t i z a t i o n a p p l i c a t i o nr e q u i r e m e n t sa n dr e s o u r c e s i n c r e a s e ，a n dd a t ao fd e p a r t m e n t sa r ei nd i f f e r e n to p e r a t i o ns y s t e m sa n dd a t a b a s e s ，s oi t s m o r ei m p o r t a n tt h a tt h e s ec e n t r a l i z e di n t e g r a t i o na n da p p l i c a t i o np l a t f o r mo fh e t e r o g e n e o u s d a t aa r eb u i l ti nu n i v e r s i t i e s b e c a u s em a n ym a n a g e m e n ti n f o r m a t i o ns y s t e m so fd i f f e r e n td e p a r t m e n t sh a v eb e e n a p p l i e do ra r eb e i n gc o n s t r u c t e d ，d e s i g nm e t h o do f “r e v e r s ee n g i n e e r i n g ”，d i r e c t l yl i n k i n g d a t a b a s ea n di n d i r e c t l yl i n k i n go fs y s t e m sc a nb eu s e dt ob u i l dt h i sp l a t f o r m b a s e do nt h e a n a l y s i so fd a t as t r u c t u r e s ，w ec o n s t r u c tap l a t f o r mo fe x c h a n g ea n ds h a r eh e t e r o g e n e o u sd a t a w h i c hc a r lc o l l e c t ，e x c h a n g e ，p r o c e s sa n da p p l yt h e s ed a t a p l a t f o r mc o n s t r u c t i o ni sal a r g ea p p l i c a t i o nc o n s t r u c t i o n ，w h i c hi sav a l i dm e t h o dt o e x c h a n g ea n ds h a r ed a t ad y n a m i c a l l yb e t w e e nd e p a r t m e n t st oa v o i d “i n f o r m a t i o ni s l a n d ” a n di ti sat e c h n o l o g i c a ls t r a t a g e m i c a lm e t h o dt od e v e l o pi n f o r m a t i z a t i o nc i r c u m s t a n c eo fo u r t m i v e r s i t yd e e p l y z h a n gx i a o h u a ( c o m p u t e rt e c h n o l o g ya p p l i c a t i o n ) d i r e c t e db yp r o f w uk e h e k e yw o r d s ：e x c h a n g ea n ds h a r e d d a t a ，h e t e r o g e n e o u sd a t a ，d a t a b a s e ，r e v e r s e e n g i n e e r i n g ，p y t h o n 声明 本人郑重声明：此处所提交的工程硕士专业学位论文基于s o ls e r v e r 的高校 异构数据交换与共享平台的研究与开发，是本人在华北电力大学攻读工程硕士 专业学位期间，在导师指导下进行的研究工作和取得的研究成果。据本人所知，除了文 中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得华北电力大学或其他教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 畔 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 r 涉密的学位论文在解密后遵守此规定) 曩缈 日 期：6f 。蚀 日 期：皿笸：笸：丝 华北电力大学工程硕士专业学位论文 1 1 选题背景及其意义 第一章引言 经过多年在大学网络与信息中心的工作和对其他大多数院校信息化工作的调 查，很多院校的信息化现状是：一方面由于学校早期的信息化管理缺乏统一的规划 和信息标准，各部门管理信息系统在很大程度上是在独立运行，也就是大家通常说 的“信息孤岛”，而且在缺乏总体规划的情况下，应用系统建设的越多，“信息孤岛” 现象就越严重。另一方面，随着学校信息化建设步伐的加快，特别是近几年来信息 化水平的不断提高，部门间信息流通的需要会越来越强烈，信息标准化和信息资源 的共享及流通问题越来越突出。【l ” 具体表现在：第一，学校信息化建设的应用领域不断延伸，已覆盖了全校办公、 教学、科研、人事、财务、实验、医疗、图书与后勤等学校的各项事务。第二，部 门信息系统之间的差别，如各部门根据自己的业务需要，建立了各种信息系统。它 们之间存在的开发工具不同，数据库类型不同，操作系统不同，数据格式不同等情 况；有的信息系统是网络版的，有的是单机版：有些生产信息的部门和使用信息的 部门还没有建立信息系统等各种现象同时存在，整个学校的数据的共享和流通问题 日益严重，信息资源难以交流与共享，大大减少了信息资源的有效利用。第三，学 校的信息资源由于缺乏统一标准和规范而无法实现共享，影响着学校教育信息基本 数据的收集、交换和应用。举个例子，有些学校的学生编码就有好几套，教务处一 套，图书馆一套，校医院一套，后勤集团一套。第四，全部重新改造学校各部门管 理信息系统和相关工作人员培训的成本太高，周期太长，而且，各个部门信息系统 都在运行，每天都在进行数据采集和加工。第五，大多数高等院校投入建设校园信 息化的资金比较有限，类似于网络与信息中心这样的学校信息化建设部门技术人员 不是很充足，而且队伍不稳定，因而，所有的部门信息系统全部由信息化管理部门 如网络与信息中心开发也不现实。 综上所述，在学校各部门信息系统已经存在的情况下，利用逆向工程的方法， 在全校范围内建立一个大学的异构数据集成与应用平台。该平台的建设为校园网统 一规划、整合校内资源、突破信息资源瓶颈，疏导全校的数据流，为进一步进行数 据应用和建立数据仓库准备条件，是整个校园网络信息管理进行可持续发展的当务 之急，而人员信息的集成与应用是该平台实现数据交换与共享功能的首先要解决的 问题。 本人在华北电力大学网络与信息中心工作，在学校信息化发展总体规划 ( 2 0 0 2 ) 中，异构数据集成与应用平台的建设是总体规划工作的一部分，本人在中 华北电力大学工程硕士专业学位论文 心领导的安排下，自2 0 0 3 年底开始进行这项工作，解决学校内部异构数据的共享 问题。这种具有现实意义和社会价值的需求，正是本文选题的意义所在。 1 2 数据集成的研究分析 随着企业( 或事业单位) 规模的不断扩大和业务需求的不断变更，为了能够更 好地实现企业内部的数据共享，及时准确地做出决策分析，对于将各个部门的信息 进行集成的需求己经越来越迫切。目前存在着许多种信息集成的方式，常见的有： 1 ) 联邦式数据库。数据源是独立的，但一个数据源可以访问其它数据源以提供信 息。2 ) 数据仓库。来自几个数据源的数据副本存储在单一数据库中。3 ) m e d i a t o r 。 m e d i a t o r 是一种软件组件，它支持虚拟数据库，用户可以查询这个虚拟数据库， 就像它己物化( m a t e r i a l i z e d ) ( 己实际创建，就如数据仓库一样) 。m e d i a t o r 不存 储任何自己的数据，而是将用户的查询翻译成一或多个对数据源的查询。然后， m e d i a t o r 将那些数据源对用户查询的回答进行综合处理，将结果返回给用户。i l l 以上三种方法，存在的一个关键问题是：当数据从信息源提取时，对于异构数据需 要进行数据转换。 另一个问题是：对于许多中小型企业( 或中小型的事业单位) 来讲，很多的问 题既不是联机事务处理( 0 l t p ) ，又不是高层决策分析( d s ) ，而是一个各部门管理 者经常要解决的日常管理和控制的决策问题。这就导致了在建立信息系统的时候， 对于所需处理的数据不能明确地划分为操作型或分析型。数据集成与应用平台可以 弥补了基于d r ( 数据库) 一d w ( 数据仓库) 两层体系结构的不足，使得企业中各个 部门都能够有效地利用资源，满足了数据处理的多层次要求，将决策所需的数据从 日常运行环境中分离出来，使用户能够方便地提取所需数据，同时又不干扰数据库 的正常运行。 根据以上情况的分析，可以开发一个数据集成与应用平台，将学校各个部门的 信息进行集成。各个部门内部仍然沿用自己的部门管理信息系统，在数据集成与应 用平台的数据库中保存大家都需要共享的信息，这样当某个部门需要其它部门的信 息时，就可以直接从平台的数据库中获得，而不再需要通过手工方式从其它部门获 得。平台的信息只来一个部门，如人事信息来自人事处，而科研信息来自科技处， 这样可以保证平台的数据库中数据的统一性和正确性，这种使得数据来源始终只有 一个入口，还可以避免平台的数据库中数据的冗余和不一致。同时由于学校的人员 数据信息相对来说比较小，可以在平台上建立面向人员主题的集成数据环境，适用 于人员数据的交换与共享和辅助完成日常的数据分析处理( 0 l a p ) ，而且对各部门 信息系统的数据库性能的影响也不会很大。 2 华北电力大学工程硕士专业学位论文 1 3 课题研究内容 该课题研究对象的是在全校范围内建立一个异构数据集成与应用平台，包括： 数据采集，数据交换与处理系统，平台中心数据库，数据应用服务系统和使用数据 的部门( 或系统) 。 建立全校异构数据集成与应用平台是为全校各部门信息系统使用各类标准编 码提供一个环境：为学校各部门信息系统的数据交流和共享提供渠道；把全校目前 混乱的信息流进行疏导( 引导全校数据的流动方向) ；为以后建设全校数据仓库做 好准备。 平台数据源是由各生产数据的部门或其管理信息系统的数据库系统构成。 平台中心数据库的组成：由元数据库、各类人员信息数据库等构成。 其中的元数据是用来详细或全面描述大学各类信息的学校元数据标准内容，是 数据集生产者在提供学校数据集时必须要提供的信息。具体来说元数据是使数据充 分发挥作用的重要条件之一。它可以用于许多方面，包括数据文档建立、数据发布、 数据浏览、数据转换等。元数据对于促进数据的管理、使用和共享均有重要的作用。 人员信息数据库是存储供各部门系统交换和使用的学校人员数据信息。这是此 次研究和实施的重点。 数据交换与处理系统是平台和各部门数据库之间进行数据传输，数据转换，数 据处理，数据存储等功能的一个集合。 平台数据应用服务系统是数据在经过传输、交换、处理和存储后，以数据库为 基础，建立起来的数据应用服务系统，包括数据直接服务和通过w e b 提供综合服务 两种形式。是实现平台价值之所在。 由于学校各部门的信息系统数据库大多采用m ss q ls e r v e r 数据库系统，为了 让平台中心数据库和部门数据库能平滑连接，平台中心数据库采用了m ss q l s e r v e r 2 0 0 0 数据库系统。 系统的用户是数据的使用者，包括以下两类：一类是使用数据的部门( 或系统) 是指校内使用这些数据的部门，如图书馆，校医院等：另一类是使用数据的系统如 邮件系统，机房管理系统，用户认证系统等。 华北电力大学j = 程硕士专业学位论文 第二章涉及的理论和技术的研究 2 1 异构数据库概述 异构数据库是指结构相异的数据库，这里的异构有两个级别的含义：系统级的 异构和语义级的异构。 ( 1 ) 系统级的异构主要表现在数据源所依赖的运行环境不同和各数据库管理 系统( d b m s ) 的不同。具体表现如下： 计算机体系结构的异构：各个参与集成的数据库系统可以分别运行在大型机、 小型机、工作站、p c 或嵌入式系统中。 网络体系结构的异构：各个数据库系统运行在不同的网络环境中，例如运行在 广域网中的数据库系统和运行在局域网中的数据库系统等。 基础操作系统的异构：各个数据库系统的基础操作系统可以是u n i x 、 w i n d o w s n t 、l i n u x 等。 d b m s 本身的异构：可以是同为关系型数据库管理系统的o r a c l e ，s q ls e r v e r 等，也可以是不同数据模型的数据库管理系统，如关系型数据库系统和文件型数据 库系统等。 ( 2 ) 语义级的异构主要源于不同数据库对相同或相关数据的理解、解释及使 用的不一致性。譬如，在两个数据库中。对同一个属性名的具体含义、定义不同或 对同一属性的数据值在两个数据库中的精度定义不同，都可能引起语义差异。一个 显著的差异便是各个关系型d b m s 在数据类型上并不完全一致，在集成时必需进行 一定的转换。1 4 1 异构数据库系统是相关的多个数据库系统的集合，它屏蔽各参与数据库( 称为 局部数据库或局部站点) 之间的异构性，实现各局部数据库的信息共享和透明访问。 每个数据库系统在加入异构数据库系统之前就己经存在，拥有自己的d b m s ，异构 数据库的各个组成部分具有自身的自治性，在实现数据共享的同时，每个数据库系 统仍保有自己的应用特性、完整性控制和安全性控制。实现异构数据库系统的集成 目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的综合利 用。1 6 1 异构数据库集成( 亦被称为异构数据库联合使用) 是指在计算机网络环境中， 实现用户对多个异构数据库完全透明的访问，且支持不同数据库系统问的相互动 作。集成之后，既能保证全局数据的共享，又能保证各应用系统及其数据库管理系 统的自治，确保基于异种系统平台实现对异构数据库的查询和联合使用，提供一个 独立于特定数据库管理系统的统一数据使用界面。具体地讲，就是要将数据库管理 华北电力大学j = 程硕士专业学位论文 系统的不同、操作系统的不同、计算机平台的不同或者底层网络的不同屏蔽掉，使 得用户可以将异构数据库系统看成普通的数据库系统，用自己熟悉的数据处理语言 去访问数据库，如同访问一个数据库一样，对其进行透明的操作。 5 1 在我国，数据库应用开展较晚，关系模式( 关系数据库) 为主流存储模式，所 以异构数据库的集成对象主要是异种关系型数据库，本文主要针对关系型数据库之 间的集成进行讨论。 2 2h ss q ls e r v e r 数据库的基本结构 s q ls e r v e r 是由微软公司开发的一个数据库管理系统，是一个庞大而复杂的软 件包。它的核心是一个强大的关系型数据库引擎，同时还包含相关的服务、工具及 开发技术等。数据库引擎是整个数据库管理系统的核心，s q ls e r v e r 数据库引擎本 身包括两个主要的组件：查询处理器( q u e r yp r o c e s s o r ) 和存储引擎( s t o r a g ee n g i n e ) 。 查询处理器使用s q l 语句表达，它可将s q l 语句划分为若干原子级别的执行步骤， 使查询能够被串行或者并行的处理。进而，它将在一定的范围内选择查询计划，并 适当的利用索引。存储引擎的任务是负责数据库物理结构上的操作：它组织数据库 文件结构，直接访问磁盘上的数据完成相应的功能。 数据库引擎的两个组件，可以被其它应用程序通过调用o l ed b 接口的方式来 使用。o l ed b 是一个独立于数据库的通信层，它允许s q l 语句在任何兼容的数据 库上执行，它的优点是可以通过s q ls e r v e r 链接不同的数据库，允许一个s q l 语 句查询访问多个数据库。绝大多数时候，人们不会直接在数据库中使用查询语句， 而是通过应用程序来操作数据库，应用程序访问数据库可以通过a d o ( a c t i v e xd a t a o b j e c t s ) 来实现，a d o 是比o l ed b 更加高级的对象，同样也可以使用查询分析 器，来执行输入的s q l 语句。 s q ls e r v e r 的管理通过微软管理控制台( m i c r o s o f tm a n a g e m e n tc o n s o l e m m c ) 和企业管理器( ( s q le n t e r p r i s em a n a g e r , s q l e m ) 实现，s q l e m 并不 直接与数据库引擎交互，而是与一个已经编译好的s q l 分布式管理对象( ( s q l d i s t r i b u t e dm a n a g e m e n to b j e c t s ，s q l - d m o ) 的c o m 库通信。 数据转换服务( d a t at r a n s f o r m a t i o ns e r v i c e sd t s ) 在构建数据仓库以及数据 转移中都非常有用，d t s 支持双向的任何o l e d b 或o d b c 数据源，它提供了脚本 语言的程序接口，d t s 己经和分析服务集成在了一起，这意味着可以从多个分散的 数据源中导入数据，并在此过程中处理这些数据。 英语查询( e n g l i s hq u e r y ) 可以使简单的英语问题转化为数据库语言，也就是 实实在在的s q l 语句代码，元数据服务( m e t ad a t as e r v i c e s ) 经常用来存储有关数 据来源的信息，分析服务中也常利用元数据服务存储多仓多维数据集和数据库源数 据，包括数据源、结构以及多维数据集的属性等。 e 华北电力大学工程硕士专业学位论文 分析服务的结构可以划分为客户机部分和服务器部分，其中，客户机部分用于 提供前端应用软件界面，服务器部分则存储各种功能和服务的引擎。客户部分和服 务部分有各自独立的构成，可以通过不同的途径访问。a n a l y s i ss e r v i c e s 系统可以构 造用于分析的多维数据集，同时a n a l y s i ss e r v i c e s 系统还提供对多维数据集信息的 快速客户端访问。a n a l y s i ss e r v i c e s 将数据仓库中的数据组织成包含预先计算聚合数 据的多维数据集，以便为复杂的分析查询提供快速解答。a n a l y s i ss e r v i c e s 使您可以 从多维( o l a p ) 和关系数据源这两者创建数据挖掘模型，还可以对这两类数据应 用数据挖掘模型。1 7 】 2 3 元数据 元数据( m e t a d a t a ) 一词的原意是关于数据变化的描述，即关于数据的数据， 或者说是组织数据的数据。通俗地说在信息系统中，元数据就是实体及其属性的集 合，或者说就是基本表的表名与字段名的集合。通过元数据可以检索、访问数据库， 可以更有效地利用计算机的系统资源，还可以对数据进行加工处理和二次开发等。 为对单独存放的数据文件中的数据直接进行查询、管理，实现数据重用、共享， 各种数据库管理系统( d b m s ) 能够有效的存取和操作大量数据。d b m s 中元数据描 述数据结构的信息，如实体关系模型、属性名、属性的数据类型等信息。在s q l s e r v e rd b m s 中，元数据单独存储在数据文件中。1 2 3 2 4 采用的模块与技术 在平台开发过程中，课题采用的主要技术包括如下几个方面 2 4 1s o ls e r v e r 的数据转换服务( d t s ) 模块 d t s 技术在平台的各系统接口和数据传输中使用最多的技术。d t s 通过提供 一组工具，使您得以将来自完全不同的源的数据析取、转换和合并到d t s 连通性 所支持的单个或多个目的，以满足这些重要的应用需求。通过使用d t s 工具图形 化地生成d t s 包或使用d t s 对象模型编制包，可创建适合您单位的特殊商业需 要的自定义数据移动解决方案。 d t s 包是一个有组织的连接、d t s 任务、d t s 转换和工作流约束( 该工作流 约束使用d t s 工具或编程装配并保存到m i c r o s o f t s q ls e r v e r t m2 0 0 0 、s q l s e r v e r2 0 0 0m e t ad a t as e r v i c e s ，保存为结构化存储文件或m i c r o s o f tv i s u a lb a s i c 文件) 的集合。 当包运行时，每个包都包含一个或多个顺序或并行执行的步骤。执行后，包连 接到正确的数据源、复制数据和数据库对象、转换数据，然后通知其他用户或事件 进程。可以对包进行编辑、密码保护、调度执行和按版本检索。 6 华北电力大学丁程硕士专业学位论文 d t s 任务是一组离散的功能，在包中作为单个步骤执行。每个任务都定义了要 执行的工作项作为数据移动和数据转换进程的一部分，或者作为一个要执行的作 业。 d t s 提供了许多任务，它们是d t s 对象模型的一部分，并且可以通过d t s 设计器图形化或者通过编程方式访问。这些可以单独配置的任务范围广泛，包括数 据复制、数据转换和通知状况。例如：导入和导出数据，转换数据，复制数据库对 象，将消息发送到其他用户和包以及从其他用户和包接收消息，对数据源执行一组 t r a n s a c t s q l 语句或m i c r o s o f t a c t i v e x 脚本，操纵列数据，d t s 包工作流等。 d t s 基于o l ed b 结构数据源的高连通性，该结构使得用户很方便从不同的数 据源中复制和转换数据，在不需要大量编程的情况下实现异构数据源之间的数据交 换。 d t s 包括一系列各种用途的工具，如：d t s 导入导出向导；d t s 设计器；在 s q ls e r v e r 企业管理器控制台树中的“数据转换服务“节点用于查看、创建、装载和 执行d t s 包、控制d t s 设计器设置以及管理执行日志；包执行实用工具包括： 实用工具通过使用命令提示选项启动d t s 导入导出向导命令d t s w i z 和实用工具 从命令提示运行包命令d t s r u n ；d t s 运行实用工具( d t s r u n u i )：d t s 查询设计 器。 另外，元数据d t s 包含将包元数据和数据沿袭信息保存到m e t ad a t as e r v i c e s 并将信息的那些类型链接的功能。可以为在包中引用的数据库存储目录元数据，以 及为数据集市或数据仓库存储有关数据特定行的历史记录的计帐信息。 2 4 2 存储过程模块 s q ls e r v e r 存储过程是用t r a n s a c t s q l 语句c r e a t ep r o c e d u r e 创建的， 并可用a l t e rp r o c e d u r e 语句进行修改。存储过程定义包含两个主要组成部分； 过程名称及其参数的说明，以及过程的主体( 其中包含执行过程操作的t r a n s a c t s q l 语句) 所有设计优良的m i c r o s o f ts q ls e r v e r2 0 0 0 应用程序都应当使用存储过程。不 论是否将应用程序的业务逻辑写入存储过程都应如此。甚至连没有业务逻辑组件的 标准t r a n s a c t s q l 语句，在用参数打包成存储过程后也能获得性能收益。编译进存 储过程的t r a n s a c t - s q l 语句在执行时可省去大量的处理。存储过程的另一个优点是 客户端执行请求使用网络的效率比将等效的t r a n s a c t s q l 语句发送到服务器高。如 果s q ls e r v e r 存储过程中包含业务服务逻辑，因为业务服务逻辑将处理移动到数据， 而不是将数据移动到处理，因而存储过程能提供更大的性能收益。 华北电力大学工程硕士专业学位论文 2 4 3 用户用户组管理策略 工程设计企业传统的组织结构按专业及职责设置，是面向部门的层次管理结 构。这种组织结构管理层次多，各个机构阳j 协调复杂，造成了信息交流和传递困难， 设计周期长等问题。同时，长期以来，在设计单位已经形成了一个以处、科室为单 位的人员组织体系。因而，在设计系统的人员管理策略及组织模型时，必须充分考 虑并尊重这一体系，但是也应该考虑从使用功能的模块来划分，以使得系统正常运 行。系统是一个多用户系统，需要实现基于s q ls e r v e r 角色的多用户n 户组管理 模式。【”1 2 4 4p y t h o n 脚本语言 p y t h o n 是一种解释型、面向对象、动态语义、语法优美的脚本语言自从1 9 8 9 年由g u i d ov a nr o s s n m 设计出来后经过十余年的发展已经同t c l ，p e r l 一起成为目 前应用最广的三种跨平台脚本语言p y t h o n 支持现有的各种主流操作系统，如 m i c r o s o f tw i n d o w s ，s o l a r i s ，m a co s ，l i n u x 等，甚至包括p a l mo s 这样的嵌入式 环境它的源程序和二迸制代码可以免费获得。由于其强大灵活的功能，简洁优美的 语法和源代码免费开放，p y t h o n 被著名国际自由软件项目k d e 计划选定为标准系 统脚本语言。 与同为脚木语言的t e l ，p e r l 相比，p y t h o n 的特点有： ( 1 ) 面向对象，p y t h o n 提供类，类的继承，类的私有和公有属性，例外处理 等完善的对面向对象方法的支持。 ( 2 ) 虚拟机，像j a v a 一样，p y t h o n 程序在执行前要先编译成字节码，再通过 一个虚拟机解释执行。 ( 3 ) 高级数据结构，p y t h o n 内置了对列表，关联数组等常用数据结构的支持。 ( 4 ) 语法简洁优美，p y t h o n 的语法非常简单易学，并且采用缩进来表示程序 的块层次结构，这样做不仅仅减少了不必要的块符号，更重要的是强制程序员用一 种清晰统一的风格书写程序，增加了程序的可读性，降低了维护开销。 ( 5 ) 易于扩展和嵌入，p y t h o n 语言本身只提供了一个编程语言所需功能的最 小内核，其它许多丰富的功能都由扩展模块实现。由于在设计时就考虑到了扩展性， 可以很方便地用c 或者c + + 编写p y t h o n 的扩展模块以添加新的功能，或者把p y t h o n 解释器自身嵌入到其他程序内部。i ” 在整个平台的开发过程中，还使用到f t p 服务，j s p j a v a 编程技术，t o m c a t 配 置，a p a c h e 配置，基本的网络技术，a n s i 标准的s q l 语句等技术，在此就不一一 说明。 华北电力大学工程硕士专业学位论文 第三章平台简介 3 1 建设平台的基础条件分析 随着学校信息化的快速发展和人们的信息化意识增强，各部门间的信息交换显 得日益重要，包括各类人员数据和重要的业务数据等。在没有建立数据集成与应用 平台时，各部门之间进行数据交换时的接口示意图如图3 一l 所示。 圈例： 曰数据库 + 一m 数撬谤l 图3 - i 建设数据集成与应用平台前的数据交换接口图 与此相对应则要求各部门：( 1 ) 有一名以上熟悉数据库的操作人员和开发人员； ( 2 ) 有一个高性能的数据服务器；( 3 ) 有一名以上的系统维护人员和网络维护 人员；( 4 ) 建设一个安全和高效的电源和网络环境等。 建立数据集成与应用平台后，各部门之间进行数据交换时接口示意图如图3 - 2 所示。 9 、一 一峨 、。 华北电力大学工程硕士专业学位论文 图3 - 2 建设数据集成与应f i 平台后的数据交换接口图 关于接口数量：当数据库的数量n = 6 时，前者的总接口数量为2p ：= 6 0 ，后者 的总接v i 数量为4 n = 2 4 ，接口数相差3 6 个；但当n 增加到1 0 时，2p ：= 1 8 0 ，4 n = 4 0 ，接口数相差1 4 0 个。这样就大大减少了数据交换的频率和对服务器、网络的 数据传送压力。 与此相对应对各部门的要求则为：( 1 )由数据集成与应用平台工作人员配合各 部门建立数据交换接口；( 2 ) 有一个普通的数据库服务器；( 3 ) 系统及数据库维护 人员只要维护本部门的系统；( 4 ) 普通的网络和电源环境( 数据交换失败时，数据 集成与应用平台设计数据保护系统) 。 这样就在很大程度上降低了系统间数据交换的成本，增加数据交换的命中率。 3 2 平台规划设计原则 在规划设计本校数据集成与应用平台时，遵循以下原则： ( 1 ) 平台的实用性：尽可能地收集现有各部门管理信息系统数据库中有效的共 享数据；和现有大部分部门管理信息系统的数据库进行平滑连接；让各部门或其管 理信息系统能更方便使用共享数据。 ( 2 ) 接口的灵活性：对于学校的数据集成与应用平台来讲，其面对的部门管理 信息系统和服务对象有一定的差异，这些差异使得平台在设计时要多注意接口问题 并尽量构造接口的共性模型，减少维护成本；但又要重视差异，使这些接口程序在 1 0 华北电力大学工程硕士专业学位论文 无需作大的改动情况下能在其它环境下使用。 ( 3 ) 平台的可扩展性：平台因为受各种因素的影响，其功能会有些增加和改变； 又因为用户需求的多样性和需求的变化，使得平台需要不断地进行功能扩展与更 新。平台和各部门管理信息系统之间采取松散耦合型连接，做一些必要的数据冗余。 另外在平台建设前期，本部门制定了相关的编码标准和采用了教育部的相关编码标 准。 ( 4 ) 数据的完整性和统一性：数据的完整性和统一性是数据集成与应用平台最 重要的性能之一。在平台和部门管理信息系统间增加一个应用服务层来采( 收) 集 和处理数据；在进行程序设计时注意出错处理；在出现断网等意外事故时事件回滚 等技术措施的使用来保证平台数据的完整性。并建立相应的数据备份系统这样的数 据安全环境建设来保护数据安全。 3 3 平台建设方法 由于学校很多部门管理信息系统已经存在或正在建设，而校园数据集成与应用 平台建设基本上是落后于部门管理信息系统建设。因而采用管理信息系统建设方式 之一“逆向工程”( r e v e r s ee n g i n e e r i n g ) 的设计方式进行数据集成与应用平台建设。 “逆向工程”是考虑现有设计，提取潜在逻辑内涵的过程。逆向工程有助于应用系 统的集成，平台逆向工程可以独立于各部门管理信息系统，而且面向对象模型为逆 向工程过程提供了很好的实现方法。在这方面作者建议只要把握好这个原则就可 以，不需要在细小的概念上花费太多时间。i i ” 3 4 平台的结构设计 平台按数据流转过程的逻辑关系分为五个层面，分别为： ( 1 ) 数据源层，平台的数据源部分是各部门管理信息系统的数据库系统， 包括：研究生院数据库系统，教务处管理信息系统数据库系统，人事 处管理信息系统数据库系统，成教学院数据库和培训学院数据库等。 ( 2 ) 数据传输层，数据传输方式根据数据来源方式不同分为三种：数据库 系统的直接连接，通过f t p 的方式进行数据收集，手工导入数据。 ( 3 )数据处理层，数据处理的方式根据数据来源的不同有不同的处理方法， 最后形成标准数据。本文将在下一章进行详细的说明。 ( 4 ) 数据存储层，将处理完的标准数据进行分类和集中存储，为数据更好 地使用做好准备。 ( 5 ) 数据应用层，将标准数据信息进行数据库直接连接服务，异构资源的 x m l 服务，手工的f t p 服务和综合的w e b 服务 异构数据集成与应用的功能结构图如图3 3 所示 i l 华北电力大学工程硕士专业学位论文 f t p 菱务w e b 综合服务数据库直接服务 乓 丘乡 权限控制模块卜叫p 台数据库 平台元数据库 t 转换成 ，j i 蹴数据弗伎输到f 台数据库中 数据接e i a数据接口b数据接口n | 数据源a数据源b数据源n 图3 - 3 异构数据集成与应用平台功能结构图 3 5 标准编码及基本信息元数据描述 网络与信息中心根据学校文件2 0 0 2 年关于执行校内第一批基本信息标准的通 知和2 0 0 5 年关于执行华北电力大学( 北京) 基本信息编码标准补充修订意见 的精神，制定出各类人员的编码执行标准。标准情况简述如下：【2 0 】1 2 2 2 j 3 5 1 学号的编码标准 学号采用1 0 位数字编码( 取值范围均为o 一9 ) ：第1 位为校区( 0 ：保定，1 ： 北京) ：第2 3 位为入学年份后两位；第4 位为招生管理部门( 见表2 ) ；第5 1 0 位为该校区某一招生部门当年招生的流水编号( 由0 0 0 0 0 1 开始) ，各部门可以根据 实际情况制定该6 位编码的编码规则，但必须上报给网络建设委员会办公室备案( 网 络与信息中心) ，编码规则见表3 一l 。 表3 - 1学号各位的含义 第1 伉第2 3 位第4 位第5 1 0 位 学生入学年份的招生管理部fj 校区编码所属部门当年流水号 后两位( 学生入口部门) 华北电力大学1 _ = 程硕士专业学位论文 表3 - 2 第4 位编码的含义 i23456 学生处 研究生院 成教学院国际教育学院培训学院教务处 ( 教务处协同工作) 其数据字典简图如表3 - 3 所示。 表3 - 3 成教生信息表数据字典 部门成教学院报表名称 s t u c j 字段名称说明字段类型字段长度 x h 学号c h a r ( n o tf l u l l )1 0 姓名 v a r c h a r ( n o tr a l l l )1 0 x b 性别c h a r2 b j m h班级编号 v a r c h a r ( n o tn u l l )1 0 3 5 2 教工号的编码标准 教工号采用8 位数字编码( 取值范围均为0 - 9 ) ：第1 3 位为该教工校内所在 部门的部门码；第4 8 位为该教工的教工内码，由人事管理信息系统按本校教工 报到顺序以流水号形式生成，不足5 位的在左侧以0 补足。 编码部门：人事处 教工号事例：1 0 0 0 0 0 2 教职员工编码执行规则见表3 4 。 表3 - 4 教职员工编码执行规则 i 0 0 ( 第1 3 俺) 0 0 0 0 2 ( 第4 8 位) 该教_ 所在的部门 该教工的校内内码( 校内唯一)