（计算机应用技术专业论文）结构工程网格数据管理子系统的研究与实现.pdf

摘爰 摘要 数据网格致力于计算密集型和数据密集型的应用问题。这些应用通常包含非 常大的数据集合，且其用户和资源广泛地分布在各地。此外，数据网格还致力于 解决数据存储、数据管理、网络密集型的数据传输和数据访问优化等问题，同时 数据网格还需要保持数据的高度可靠性和可用性。结构工程领域中分布、异构的 数据可能散布在不同的管理域中，有的由异构的数据表示，有的包含不同的语义， 为了使结构工程研究人员或者其他应用能够方便地访问异地异构数据( 如文件系 统、数据库系统、结构化半结构化数据、虚拟数据等) ，本文研究了这些异质数 据的集成方法，包括提供命名、透明定位、数据与元数据信息的集成以及高可靠 数据传输服务等。 本文首先研究和分析了结构工程实验领域的背景知识，在对拟动力实验等结 构抗震基本实验进行深入分析的基础上，建立了较为系统的数据概念模型：在明 确结构工程数据管理系统基本数据需求的基础上，设计了基于网格技术的结构工 程数据管理子系统的体系结构。 本文在网格环境下实践了基于g r i d f t p 的可靠高效的数据传输、基于r l s 的 数据副本管理和基于m c s 的文件元数据管理等基本功能模块，并详细描述了网格 环境下，用于文件管理的网格中间件的技术细节。 此外，数据异构性的处理是本文研究的一个重点，本文利用o g s a d a i 管理 异构数据资源，实现数据资源的无差异化访问，但由于o g s a d a i 尚不能解决数 据库模式的异构性，因此，本文基于x m l 技术建立了面向结构工程实验语义的元 数据模型，管理异构数据资源与系统统一数据模型的映射关系，实现异构数据库 模式的统一。 最后，本文根据结构工程本地实验系统的数据使用需求，设计并实现了一个 本地数据管理系统；同时利用本地数据管理系统，配合全局数据管理系统中的相 关功能，验证了历史数据装载、实验数据查询、数据删除和本地文件管理等基本 数据访问流程。 关键词网格技术；结构工程；数据管理：数据异构性；o g s a d a i a b s t r d c t a b s t r a c t d a t ag r i di sd e d i c a t e dt os o l v i n gp r o b l e m si nc o m p u t a t i o n i n t e n s i v ea n d d a t a - i n t e n s i v ea p p l i c a t i o n s t h e s ea p p l i c a t i o n sa r ec h a r a c t e r i z e d 硒c o m p r e h e n d i n g l a r g e s c a l ed a t as e t s ，邪w e l l 舔h a v i n gi t sc l i e n t sa n dr e s o u r c e sw i d e l yd i s t r i b u t e d f u r t h e r m o r e ，i s s u e st h a td a t ag r i dw o u l df u r t h e rm a n a g ei n c l u d ed a t as t o r a g e ，d a t a m a n a g e m e n t , d a t at r a n s f e r i nn e t w o r k - i n t e n s i v ee n v i r o n m e n ta n dd a t aa c c e s s o p t i m i z a t i o n , a tt h es a m et i m e ，i te n s u r e sm a i n t a i n i n gl i a b i l i t ya n da v a i l a b i l i t yo f d a t a o nt h eo t h e rh a n d ，t h e r ei sah u g em o u n to fd a t aw i d e s p r e a di nd i f f e r e n tm a n a g i n g d o m a i n si ns t r u c t r u r a le n g i n e e r i n gr e s e a r c h ；s o m eo ft h e ma r eh e t e r o g e n e o u s ，w h i l e o t h e r sh a v ed i s t i n c ts e m a n t i c s t oe n a b l er e s e a r c h e r sa n da p p l i c a t i o n st oc o n v e n i e n t l y a c c e s sh e t e r o g e n e o u sd a t af r o md i f f e r e n tr e g i o n s ( f i a tf i l es y s t e m s ，d a t a b a s e s ， s t r u c t u r a ld a t a , s e m i s t r u c t u r a ld a t a , v i r t u a ld a t a , e t c ) ，t h ep a p e rf o c u s e so nt h e m e t h o d so fi n t e g r a t i n gt h e s ed a t a , s u c h 觞p r o v i d i n gn a m e s p a c e ，t r a n s p a r e n tl o c a t i o n , m e t a d a t as e r v i c ea n dr e l i a b l ed a t at r a n s f e r t h ep a p e rf i r s t l yp a y sa t t e n t i o nt ob a c k g r o u n dk n o w l e d g eo n s t r u c t u r a l e n g i n e e r i n ga n de s t a b l i s h e sas y s t e m a t i cs t r u c t u r a le n g i n e e r i n go r i e n t e dd a t am o d e l o nt h eb a s i so fd e e p l yi n v e s t i g a t i n gb a s i cs e i s m i ce x p e r i m e n t ss u c ha sp s e u d o d y n a m i c ； a n dt h e n , ag r i d - e n a b l e ds t r u c t u r a le n g i n e e r i n go r i e n t e dd a t am a n a g e m e n ts y s t e m a r c h i t e c t u r ei se s t a b l i s h e da f t e rd a t ad e m a n di su n a m b i g u o u s l yb r o u g h tu p ag r i d f t pb a s e dr e l i a b l ee f f i c i e n td a t at r a n s f e rm e t h o d , ar l s ( r e p l i c a l o c a t i o ns e r v i c e ) b a s e dr e p l i c am a n a g i n gm e t h o d ，a sw d la sam c s ( m e 。t a d a t a c a t a l o gs e r v i c e ) b a s e df i l e m e t a d a t am a n a g i n gm e t h o da r ep r a c t i c e du n d e r 鲥d e n v i r o n m e n t ；w h a t sm o r e ，ad e t a i l e dd s c r i p t i o no ft h e s e 鲥dm i d d l e w a r et e c h n o l o g i e s i sp r o v i d e di nt h ep a p e r a d d r e s s i n go fd a t ah e t e r o g e n e o u i t yi saf o c a lp o i n ti nt h ep a p e r a no g s a - d a i b a s e da p p r o a c hi sa d o p t e dt oi n t e g r a t eh e t e r o g e n e o u sd a t ar e s o u r c e ，a n dt om a k e s t a n d a r dd a t aa c c e s sar e a l i t y h o w e v e r , o g s a - d a ii sn o tc a p a b l eo ft r u l yi n t e g r a t i n g d a t ac o n t e n tf r o md i f f e r e n td a t as c h e m a s ，s oax m lb a s e dm e t a d a t am o d e lw h i c h i s s p e c i f i c a l l yd e v i s e dt ob es t r u c t u r a le n g i n e e r i n gs e m a n t i co r i e n t e di s i n t r o d u c e dt o m a ph e t e r o g e n e o u s d a t as c h e m at ot h es t a n d a r dd a t as c h e m a ；a sar e s u l t ， m u l t i d a t a b a s e si n t e g r a t i o nu n d e rg r i de n v i r o n m e n ti sa c h i e v e d f i n a l l y , al o c a ls t r u c t u r a le n g i n e e f i n ga p p l i c a t i o nd a t am a n a g e m e n ts y s t e mi s d e s i g n e da n di m p l e m e n t e do nt h ep r e m i s eo ff i g u r i n go u ts y s t e md e n a a n d s w 五a f i s m o r e ，f u n c t i o nt e s t i n gf o rm ea p p l i c a t i o n a ls y s t e mi sc a r r i e do u tt ov e i l f yt h ek e y d a t a p r o c e s s e s ，s u c ha sa r c h i v a ld a t au p l o a d i n g ，e x p e r i m e n t a ld a t aq u e r y i n g ，d a t ad e l e t i n g a sw e l la sl o c a lf i l em a n a g e m e n t 北京t 业大学t 学硕 j 学化硷文 一i i l k e y w o r d sg r i d ，s t r u c t u r a le n g i n e e r i n g , d a t am a n a g e m e n t ，d a t ah e t e r o g e n e i t y , o g s a d a i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 隰珥监 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 第1 章绪论 第1 章绪论 1 1本研究课题的课题来源 本研究课题来源于北京工业大学校园网格中心研究项目基于网格的工 程结构协作与遥现环境的研究与实现，该项目正在积极申请成为北京市教育委员 会科技发展计划重点项目。 校园网格中心的研究致力于将工程结构的测试仪器以及试验数据集成到网 格基础设施中，将高速网络、分布式计算和协同技术引入到工程结构实践中，创 建一个集成实验数据、模拟数据、档案数据和大型设备的协同工作环境，在该环 境内实现工程结构设备、数据和研究人员之间的资源共享和协同工作方式。为此 需解决：使能研究人员远程透明参与试验的遥现技术；异构资源的服务化封装以 及服务质量管理和安全运行环境等问题。该研究将为基于网格的大型仪器设备的 共享奠定技术基础，推动网格技术及其应用的发展；通过支持大范围的团体访问 昂贵的测试设备，最大限度的提高设备的使用率，同时创建一种新的分布式协同 工作方式。 结构工程试验数据的存储、结构化和共享是本课题的研究重点，也是校园网 格中心大项目背景下解决数据管理问题研究的重要组成部分，为解决包括试验数 据的远程采集技术和远程显示技术、数据流服务、试验数据的结构化模型及其采 集工具以及试验数据的在线和离线分析等关键问题提供了有力的支撑。因此，本 课题着眼于处理结构工程应用领域的数据管理和使用需求，引入网格环境下的数 据管理和访问技术，致力于建立一个基于网格技术的结构工程数据管理子系统。 从某种意义上讲，本课题更多地体现了数据网格应用研究方面的诸多特点。 1 2 本研究课题的学术背景 1 2 1 数据网格的不断发展 在不同的科研领域，伴随着科学研究的深入、研究方式的多样化以及复杂度 的增加，大规模的模拟仿真、数据分析和科研协作都扮演起越来越重要的角色。 而这就要求利用一种新的技术使大规模分布式的实验设备共享、数据共享、人力 资源共享等成为可能。网格技术在它近年来的发展和自我完善过程中，不断适应 着这种共享资源的需求，而网格环境下的数据管理正是将分布地存在于不同站点 的数据组织和管理起来，组成数据仓库【2 】，使用户可以通过网络访问和使用这些 有价值的数据。 特别地，在数据密集型科学领域，传感器、存储系统、计算机、网络处理能 力和容量的显著提高使创建海量数据文件成为可能。天文、生物、医药、环境、 工程和高能物理等研究领域很快会出现容量为p b 数量级的文件。这些海量数据 北京t 业人学t 学硕i j 学位论文 的分析和研究将会帮助领域内的科学家产生意义深远的新见解【l j 。 网格的一个重要目的在于鼓励科学数据以一种比现在更为开放的方式进行 公布【2 1 。地理上广泛分布的科研工作者或用户都希望能够访问和分析这些庞大的 科研数据，但其分析方法往往是计算复杂、计算量大，许多数据分析处理要求千 亿次或万亿次规模的计算能力。而现有的数据管理体系结构、方法和技术已经不 能满足人们对高性能、大容量分布存储和分布处理能力的要求。因此，在计算网 格的基础上人们提出了数据网格( d a t ag r i d ) 的构想，以解决上述应用所面临的 问题。 实际上，数据管理不仅在数据密集型应用中发挥重要作用，对网格自身来说， 系统化的数据访问和集成方法也是必需的。数据管理本身能够处理在大规模计算 和数据移动中所涉及到的问题，并且提供了处理分布在不同平台上的多样性结构 化数据集的机制。为了实现上述目标，网格环境下的数据管理系统必须克服来自 三个方面的挑战，具体体现在： 管理数据源的能力：包括为数据传输分配空间，数据导入硬盘，预留存 储系统的带宽等； 数据发现、移动和复制：数据移动的一个重要原因是要产生副本以减少 访问延迟，维护对必须的数据进行的本地控制。在数据移动技术上，数 据子集的选取、数据移动的可靠性问题、副本数据的一致性问题都是关 键； 数据分析和处理 分布、异构的数据可能散布在不同的管理域中，有的由异构的数据表示，有 的包含不同的语义，为了使用户或者其他应用能够方便地访问异地异构数据( 如 文件系统、数据库系统就、结构化半结构化数据、虚拟数据等) ，我们必须有能 力集成这些完全不同的数据，使之成为一致的数据集藏【2 l ，集成的方法包括提供 命名、透明定位、数据与元数据信息的集成以及高可靠数据传输服务等。数据集 藏中的不同数据被看作数字实体，网格环境中将数字实体分为数据、信息( 元数 据) 、知识三类。数据存放在数据仓库中，主要以文件的形式进行组织和管理； 信息一般存放在数据库中，目前大多使用关系型数据库；知识存放在关系数据库 中，包含了数据实体对象间重要的关系信息。图1 1 显示了基于数据、信息、知 识的数字实体管理系统的特征，它基本反映了当前网格环境下，数据管理系统的 功能需求和技术需要。 如图所示，在该二维图表中，最下面一行代表数据管理系统，中间一行代表 信息( 元数据) 管理系统，最上面一行代表知识处理系统。 左面一列代表了数字实体载) , , ( i n g e s t i o n ) 数据仓库的机制，在数字实体的载 入过程中，一个重要的问题就是数据是如何组织起来的，即一个特定科研领域内 的数据模型p j 是如何建立的。 中间一列代表了存储空间的管理( m a n a g 锄e 1 1 t ) ，对于存储系统，我们有许多 选择，包括文件系统，关系数据库，以及越来越受到重视的x m l 数据库。数据 ；一 田i 1 报字实体管理系统的特征 f i g u r e1 - 1f e a e o f d a t ae l i 衄m a n a g e m e n t s y s l c m 可以以文件的形式存在于文件系统中，或者以b l o b 的形式存放在大型数据库 中( 目前o r a c l e 数据库已经很好地支持b l o b 对象的存取) ，信息目前比较多的 在关系数据库中作为元数据属性存储，知识同样存储在关系型数据库中。对存储 空间的管理力求屏蔽来自多种存储系统的复杂性，通过建立统一的命名空同，不 仅实现存储系统的集成，更使用户对存储空间的访问高度透明化。 右面一列代表对数据管理系统的访问f a c c c 蛐，该部分考虑的是用户访问时 的便利性、可靠性和透明性等问题。例如，文件系统中的文件总是通过显式的文 件名来访问访问文件系统就需要知道该文件系统中所有的文件的名字，而在查 询文件过程中，更需要基于特征分析的查询机制，来帮助使用者定位具有特定内 容的文件的位置( 逻辑存在或物理存在) ；访问数据库的人不仅要知道所有属性 的名字和含义，还需要知道属性值的范围。而在存储空间( 文件系统和数据库系 统) 以一种高集成度的形式展现在使用者面前对，如何帮助使用者定位所需数据 更成为了关键问题。 在图1 - 1 的数字实体管理系统中，连接各个矩型的网格显示了系统各个部分 的互操作机制。网格靠下一行反映的正是物理上屏蔽存储空间异构性的过程，而 网格的上面一行强调的是通过面向语义的概念模型或数据模型解决逻辑层到物 理层的映射，解决逻辑语义层面的异构性。网格的左列表示的是每一种数字实体 类型的编码标准。右列则体现了和存储系统交互时的标准化访问机制。 综上所述数据网格是一个专注于处理大量分布数据的网格计算系统，它多 数情况下与计算网格融合在一起。伴随着新的科研实验方法的诞生和新型数据传 北京丁业人学t 学硕i j 学位论文 一 感器的使用、计算和数据存储设备成本的下降和性能的提升，科研领域的数据量 将继续呈现几何级数的递增，数据网格将会得到长足的发展。 当前，世界大型的数据网格项目包括有b i o m e d i c a li n f o r m a t i c sr e s e a r c h n e t w o r k ( b i r n ) ，t h es o u t h e mc a l i f o r n i ae a r t h q u a k ec e n t e r ( s c e c ) ，以及t l l e r e a l - t i m eo b s e r v a t o r i e s ，a p p l i c a t i o n s ，a n dd a t am a n a g e m e n tn e t w o r k ( r o a d n e t ) ， 他们都在为不同领域的科学研究提供有效的支撑平台。 1 2 2 远程协同结构试验研究的发展 国内外已经开展了基于i n t e m e t 的远程协同结构试验研究【3 0 。3 2 1 ，如美国的 “n e e s ”计划；欧洲的“减轻地震风险的欧洲网络 协同研究计划：日本建立 了世界上最大的振动台e 2 d e f e n s e ，同时还开展了桥梁结构远程协同拟动力试验 的研究：我国台湾地区国家地震工程研究中心( n c r e e ) 建立了地震工程研究平 台i s e e ，同美国斯坦福大学合作完成一系列的远程协同试验研究。 我国在远程协同结构试验研究方面正在进行相应的探索。由国家自然科学基 金资助的2 个重点项目“现代结构拟动力地震模拟协同试验方法与系统以及 “结构振动台模型试验技术及其远程协同试验方法研究 已经启动，旨在结合我 国现有国情建立远程协同结构试验示范系统，解决相关的关键科学技术问题。 目前，有关单位已向我国相关部门提出在我国建设中国版n e e s 的建议书， 国内高校及相关单位也密切注视着n e e s 在全球的发展，期望加入中国n e e s 项 目的建设。 远程协同结构试验经常产生大量的试验数据，大部分试验数据很难被实时地 共享给广泛分布的研究人员；而且，很多试验数据不仅对发起试验的科研人员重 要，更对今后的相关研究至关重要。因此，对于远程协同结构试验的数据产生了 两方面的需求，一是试验数据的实时共享和处理，有效的解决办法是提供可靠的 远程遥现技术；二是试验数据的归档和二次使用，有效的解决办法是提供系统的 历史档案数据管理系统，对有价值的试验数据实施安全且系统的管理，并提供访 问这些数据的基础设施。 1 3 研究现状 在研究和开发基于网格技术的结构工程数据管理子系统的初期，本文调研了 国内外许多相关工作，这些调研对本文的工作有启迪作用，并为本文最终确定设 计方案和技术路线奠定了基础。 我们在设计并实践结构工程应用系统的过程中借鉴了美国的n e e s 项目， n e e s 建立了一个地震研究社区，建立中央和本地数据仓库以存储和共享地震工 程数据，促进地理上分离的参与者之间的协作和实验的参与度，使实验人员可以 模拟并进行可视化实验。它在地震工程领域提出的数据概念模型以及面向地震工 程应用的数据管理全系统体系结构对本文的研究很有帮助。 此外本文主要调研的相关项目还包括地球系统网格和大学数字博物馆网 格。前者致力于解决气候研究人员与机构在共享科研数据方面的问题，它采用了 一系列网格环境中的数据共享技术，值得本文借鉴：后者则主要研究了模式复用 技术在数据库系统集成方面的使用，并在异构数据库访问方面提供了很好的思 路。 1 3 1 地球系统网格( t h ee a r t hs y s t e mg r i d ，e s o ) e s g 4 ) 致力于使广泛分布的气候研究人员能够更有效地工作，更快地从大量 的分布数据中获得新的知识，并且能够共享研究成果。e s g 的目标是提供一个 实用的系统，以方便气候科学家处理e s g 数据为气候数据发现提供复杂的元 数据服务，以及对数据进行过滤以减少数据传输量。 气候模型模拟产生的p b 级数据( 最终将达到p b 级) 目前使用高性能存储 系统( h i g h - p e r f o r m a a c e s t o r a g es y s t 蜘a ，m , s s ) 存储，而在数据分析阶段，数据要 被复制到分析站点，大数量级的数据文件会在各个站点的存储系统间传输。e s g 采用s r m ( 存储资源管理器) 实现数据的存入和取出以及可靠的站点间数据复 制。e s g 根据。口曲队p 数据访问协议来访问和过滤数据。在肘o i 瞎- n d a p 服务 器的实现进行了修改并借助于用格安全基础设旄6 8 1 来提供用户的认证后，建 立了o p e n d a p - g 。与此同时，既0 采用g r i d f r p 数据传输协议来提高性能。图 1 2 显示了e s g 的基础设施构件体系。 幽i - 2 e s g 基础设施的构件 h g a m i - 2 e s g h 缸s 帅d l 啪c o m p o n e n t 13 2 大学数字博物馆网格( u n i v e r s i t yd i g i t a lm u s e u mg r i d ，简称 u d m g r i d ) u d m g r i d t 5 ”整合和共享分布在8 个城市1 2 个大学数字博物馆的异构数据库 资源，提出了一种网格环境下模式复用的异构数据库访问和集成方法，该方法首 先提出了一种模式复用的虚拟数据库构建策略，定义了异构数掘库资源的全局统 视图；在此基础上给出了数据库资源注册方式和虚拟数掘库查询映射方法，为 固圈雷。i 习习萤嘲1 薰i 鎏面团国- 雹 1 3 3 地震工程模拟网格( t h en e t w o r k f o re a r t h q u a k ee n g i n e e r i n g a n ds i m u l a t i o n ，n e e s g r i d l n e e s 7 为成员建立了一个专注于地震工程领域的科研虚拟社区，旨在为研究 人员建立中央数据仓库以存储和共享地震工程数据，促进地理上分离的参与者之 问的协作和实验中的参与，并且使实验人员在实验过程中可以模拟和可视化实 验。 n e e s 中的数据管理 3 4 1 包括针对数据仓库的数据产生、数据组织、数据保存、 第1 帝绪论 数据获取各个环节的系统管理，它使用户可以轻松的发现并获取与自身研究有关 的数据【10 1 ，此外，它支持数据重用，为用户二次利用实验数据提供语义支持。 n e e s 的数据管理系绀1 1 l 包含一个数据仓库和一个元数据仓库，数据仓库允 许科研数据【1 2 1 8 1 通过数据装载【1 9 1 工具增量地载入仓库；n e e s 的数据和元数据仓 库使用g t 中的g s i 安全认证体系，同时使用g r i d f t p 协议实现文件传输，元数 据对象通过n e e s 中的n m d s 2 0 - 2 6 】( 元数据服务) 进行管理，数据文件通过n e e s 中的n f m s 2 7 。2 8 1 ( 文件管理服务) 进行管理，这些服务使用f a d e 【2 9 1 模式集成， 很好的实现了用户使用数据仓库的透明性。 n e e s g l i d 数据管理系统结构与功能描述： n e e s g r i d 中与数据仓库相关的数据操作服务允许：数据及其元数据增量 地插入到系统中央数据库：用户可以进行数据后续下载、分析和处理。 n e e s g r i d 数据仓库使用g s i 认证方式并使用g r i d f t p 传输文件。 元数据通过n m d s 服务管理，n m d s 与其它元数据管理系统的不同在于 它的m e t a d a t as c h e m a 被看作是一级对象，可以像其他对象一样被管理； 数据文件通过n f m s 服务管理；n f m s 主要提供两个功能：逻辑文件名 空间和? 。n f m s 同时提供插件a p i ，支持引入其他方式的传输协议。 n m d s 和n f m s 通过f a i ( ；a d c 模式进行偶合，同时可以允许独立的工作 方式： 系统提供数据装载工具( 从数采系统的本地磁盘上传数据到中央数据仓 库) 。 系统提供一个专用s c r v l c t 负责g r i d f t p 与h t t p s 间的交互。 t o u _ 曩1 图1 - 4n e e s g r i d 数据仓库系统结构 f i u g u r e1 - 4n e e s g r i dd a t aw a r e h o u s ea r c h i t e c t u r e 1 3 4 采用数据网格技术解决结构工程应用领域中的数据管理问题 采用数据网格技术解决结构工程应用领域中的数据管理问题是本文的研究 北京t 业人学_ t 学硕 学位论文 | 重点。结构工程应用系统致力于将地震测试仪器以及实验数据集成到网格基础设 施中，将高速网络、分布式计算和协同技术引入到结构工程实践中，创建一个集 成实验数据、模拟数据、档案数据和大型设备的协同工作环境，在该环境内实现 结构工程设备、数据和研究人员之间的资源共享和协同工作方式。由于结构工程 网格以大型地震数据采集设备为应用核心，同时需要进行大数据量传输、实时数 据的共享，因此，它兼具数据网格和设备网格的特征。结构工程应用系统数据管 理子系统关注的正是结构工程应用系统的数据网格特征，旨在为不同级别的用户 ( 科研人员、从业人员、教育者等) 提供数据( 特别是档案数据) 的访问、获取、 更新和管理功能。 因此，本文需要首先明确结构工程领域的科研人员和数据用户究竟对哪些数 据感兴趣，他们希望以怎样的方式使用这些数据：在明确了用户需求的前提下， 本文进而着力于网格环境下数据管理系统的技术细节，以解决系统构建过程中亟 待解决的技术难题；最终，形成完整、可行的、面向结构工程领域的数据管理系 统。 1 4 本研究课题的意义 1 、校园网格中心整体项目通过将地震工程测试仪器以及实验数据集成到网 格基础设施中，将高速网络、分布式计算和协同技术引入到地震工程实践中，创 建一个集成实验数据、模拟数据、档案数据和大型设备的协同工作环境，扩展测 试的范围，支持大范围的团体访问昂贵的测试设备，提高对大型设备的利用率， 进而形成一种新的分布式测试方法。而本课题的研究致力于从技术上解决海量实 验数据和模拟数据的有组织化存储和管理、便捷性访问以及历史档案数据的形 成，是整体项目的重要组成部分。本课题的研究不仅为最终实现基于网格技术的 结构工程数据管理子系统奠定理论和实践基础，而且也在数据网格这一研究领域 进行了关键技术方面的研究。 2 、目前，国内外在结构工程数据网格领域的研究还处于起步阶段，美国的 n e e s g r i d 项目堪称此方面研究的典范。n e e s g r i d 在其数据管理发展路线中计划 开发一个独立于上下文的数据模型，并通过应用逐步修正；此外，它还将与国际 上的相关领域工作者合作，致力于建立一个同领域内的联邦数据库体系，支持数 据的共享和统一访问。目前，n e e s g r i d 已经设计了一套参考数据模型用于地震 工程实验和模拟领域，其中包括面向震动台实验、面向计算机模拟实验等子数据 模型。但问题也随之暴露出来，目前，尚无一套统一的数据模型能够处理同一领 域内的所有研究，数据模式的异构性已经成为阻碍不同研究机构间数据共享的主 要瓶颈。 本文在数据异构性的屏蔽技术方面做了深入研究，致力于利用相关技术建立 统一标准的数据概念模型，整合相关技术( o g s a d a i 、x m l 等) ，实现异地异构数 据资源的无缝连接，透明访问，并且建立统一的结构工程领域数据模式，这也是 本文研究的重点。 第l 帝绪论 1 5 本研究课题的主要研究内容 本研究课题的核心内容是基于网格技术的结构工程数据管理系统，主要包 括： ( 1 ) 面向结构工程实验语义的数据需求分析及数据模型的建立，以及基于网 格技术的结构工程数据管理子系统体系结构的建立。前者明确了本文研究的数据 管理系统的操作对象是什么；后者讨论了如何操作这些数据对象，主要从网格环 境下的数据库集成和网格环境下的文件管理两方面着手，详见第二章； ( 2 ) 网格环境下的数据管理技术研究，侧重于网格环境中文件管理的相关技 术，包括文件索引功能、副本管理功能、文件元数据管理功能等，对第二章中提 出的基于网格技术的结构工程数据管理子系统中有关数据文件管理的部分进行 了技术上的研究，详见第三章； ( 3 ) 网格环境中数据异构性的处理，侧重于网格环境中数据库的集成和数据 异构性的屏蔽技术，同时，本部分内容正是第二章中提到的基于网格技术的结构 工程数据管理子系统体系结构中元数据管理服务部分的研究与实现。首先研究了 基于o g s a d a i 的数据源异构性的屏蔽，在此基础上，本文研究了基于) o i l 技术的 统一数据库元数据模型服务的构建，用于弥补o g s a d a i 在处理数据模式异构性上 的欠缺，内容详见第四章； ( 4 ) 本地结构工程数据管理系统解决方案，本文在研究网格环境下的数据管 理的同时，研究了全局数据管理和本地数据管理的关系，并设计开发了本地结构 工程实验系统数据管理子系统，详见第五章，本章内容详细描述了该应用系统的 设计、本地数据库系统的设计、数据处理流程以及数据应用场景等。 第2 章结构工程网格数据管理系统解决方案 2 1 结构工程网格概述 2 1 1 结构工程网格总体框架 结构工程网格的设计目标主要有两个：( 1 ) 聚集异构的地理上分布的实验室 结构实验设备、建筑项目检测现场、历史实验或现场检测监测数据、结构模拟系 统、专家知识、计算资源、存储资源以供网格用户共享和利用：( 2 ) 实现相关领 域研究、设计和工程技术人员之问的协同工作。其总体结构如图2 - 1 所示。 菇 圈2 - 1 结构工程同格应用场景 f i g u r e 2 - 1s n u 删e g i n 靠j n g g r i d a p p l i c a t i o n s 托晴 由图可知，项目的框架中主要包括实验现场和数采设备、网格接口、网格平 台及用户接口。 i 、实验现场和数采设备 ( 1 ) 实验现场：包括实验室模拟实验现场和野外测试现场，主要通过在实验 对象或野外测试对象中部署各种传感器，获取振动、位移、应力、应变、挠度、 温度、风等模拟数据进行实验分析。 ( 2 ) 数采设备：数采设备与传感器连接，其功能主要包括： 获取传感器收集的数据 北京t 业人学t 学硕i j 学位论文 - 数据的a d 转换 实验数据的临时存储 2 、网格接口 网格接口提供了实验现场和数采设备接入网格平台的通道，是针对不同的数 采设备及其采集数据实现网格化管理的基础。其功能主要包括： 数据格式转化：将从数据采集设备采样到的数据进行格式转换，以利于 数据的存储和传输； 数据压缩：采用高效的压缩算法，能有效提高数据传输率； 数据传输：实现采样数据和设备状态数据的传递； 本地实验信息管理：支持管理员对实验的编排。 3 、网格平台 网格平台实现对面向结构工程研究的多样化、异构化的仪器设备资源、计算 资源、存储资源及数据信息资源的集成、整合和共享。该网格平台通过门户向一 般用户和系统管理员提供服务。在该平台中将利用数据仓库、远程遥现和远程控 制等技术实现远程协同结构试验。 一格门户屡 鼍卫门户 i m w m 门p 一。 厂、 试奠f 曩门户 誓li 主萎 ：磊蠢妻【茎耋l ：雾嘉棼茬主i1 霉盏喜l 喜萎盏l 主要差耋i 爵史t 射，转换晨务；i 潞 一兰掣粤翌一孽曼一擘鍪一箩蓁 _ 纠姐瓣蔓匣匿罄翌誉荽掇 仿真【最据洗!设备控翻! 宴验管理l 元t 据 软件：服务暑 系统系统 i 曩型 j ! 霎：计算_ 一! ：二二_ l ，j 一7 图2 - 2 结构工程网格体系结构图 f i g u r e2 - 2s t r u c t u r a le n g i n e e r i n gg r i da r c h i t e c t u r e 网格平台是北京工业大学校园网格中心研发项目的核心部件及研究重点之 一。图2 2 网格平台环境下的结构工程网格体系结构图。 该结构工程网格体系结构提供的服务包括网格环境下的基础服务和面向结 一安全集柯 j，j，ff 一一藉一 _ 翻毗 一譬 一 醒州怒 一车一二务 磊一 | ；| 麟一 盖一一 ，= - l 一 一 瞄斛 一 据潭一 t壹一 _ j 一 巾钔一 一一鲁设一设橐一一翻采 一 观据 一一。敦一 一 ，一 一 壹鲁一 i 设一 一 设t 一 一 层 一 一 夤 第2 幸结构t 程网格数据管珲系统解决方案 构工程应用的高级特色服务。基础服务包括资源管理、作业管理、信息管理、数 据管理、q o s 、安全。面向结构工程的高级服务包括试验管理、健康档案管理、 监测模型管理、数据遥现、仿真混合实验、协同工作、数据分析、数据挖掘等。 图中标黄的模块与结构工程数据管理子系统关联。 1 ) 网格门户层 该层位于系统的最顶层，直接与用户交互。主要包括三个部分：试验管理门 户、语义门户和数据管理门户，分别针对结构工程网格不同的应用子系统。 2 1 语义服务层 该层是在网格服务的基础上应用本体技术对不同结构、不同领域的知识进行 统一语义定义，并通过服务实现对分布式的知识与数据进行统一的组织、执行以 及协调，以便有效地管理语义、数据元以及可视化工具的语义描述。主要根据全 局本体和局部本体的映射规则对用户的查询语句进行分解，最终生成面向各个局 部数据源的子查询。然后分发各个子查询任务到服务层，通过服务层提供的网格 服务和w 曲服务实现对网格资源的访问。其作用是分解和执行应用层的基于语 义的数据访问应用，并根据应用的具体需求，提供给下层的网格中间件，实现对 相应的资源的调度运行。 3 ) 网格核心服务层 网格核心服务层提供面向结构工程领域的专有服务，包括实验管理服务和档 案数据管理服务。实验管理服务为研究人员提供了通过网格系统访问实验资源、 设备资源等的系统化服务，研究人员不仅可以实现在线提交、远程遥现等实验环 节，同时也可以进行模拟实验、混合实验等，并与其他研究人员进行协同；档案 数据管理服务将结构工程网格中的数据资源管理起来，为用户提供统一的访问服 务，它不仅提供实验数据的档案化管理，同时为用户对数据进行二次使用提供方 便。 4 ) 网格中间件层 该层是基于g l o b u st o o l k i t 所提供的网格服务运行环境，利用和改造了g l o b u s t o o l k i t 中提供的网格公共服务。它介于网格资源与面向结构工程应用的核心服务 之间，根据上层对网格资源的需求，实现网格资源的部署注册( g r a m ) 、调度 ( m d s ) 、监控和消息服务等管理功能，同时包括作业管理服务( c o n d o r ) ，数据传 输服务( c 诵d r r e ) 和副本服务( r l s ，m c s ) 等。 5 1 服务封装层 结构工程网格使用的各类资源需要通过网格化处理，封装成网格服务，方可 被网格用户使用，服务封装层提供了这一功能。 6 ) 资源层 结构工程网格使用的各类资源的集合，包括理论研究中用到的模型资源和计 算资源，科研实验中用到的设备资源( 观测设备和试验设备等) 和基础数据资源 ( 包括研究结果、实验数据和工程信息等) ，还包括结构工程实验管理系统等。 4 、用户接口 北京t 业人学t 学硕f j 学位论文 用户接口是一个基于w e b 的门户，为系统管理员和一般用户提供访问入口。 系统管理员可以通过它进行远程控制、设备状态管理、作业编排管理、档案数据 管理等系统管理工作，一般用户可以通过它进行数据遥现、仿真混合实验、协 作、数据分析、数据挖掘等工作。 2 1 2 结构工程网格数据管理任务 本文研究并设计的基于网格技术的结构工程数据管理子系统是2 1 1 节中结 构工程应用系统的重要组成部分，数据管理系统将作为网格平台建设的重要支 撑，将网格平台体系结构中各个层次的数据管理关键功能有效的串联起来。图 2 2 中标注黄色的部分均为本文研究的相关功能组件。 具体来说，结构工程网格数据管理系统主要研究如何进行海量试验数据的存 储、共享和分析。系统实现的基础是明确操作对象数据，即建立清晰的结构 工程数据管理系统数据概念模型；系统实现的核心是建立基于网格技术的结构工 程数据管理子系统体系结构，进而运用各种技术实现数据管理系统的目标