（地球探测与信息技术专业论文）地震前兆数据交换系统设计.pdf

目录 第一覃绪论1 1 1 研究背景与意义1 1 2 研究目的3 1 3 研究内容与思路3 1 4 论文组织结构4 第二章相关技术发展动态5 2 1 地震前兆数据传输发展动态5 2 2 相关技术进展6 2 2 1 数据集成方法简介6 2 2 2 消息中间件技术9 2 2 3 分布式数据库复制技术1 0 2 2 4o r a c l e 数据库相关技术1 2 2 3 本章小结15 第三章地震前兆数据交换系统需求分析与总体设计1 6 3 1 地震前兆系统结构分析1 6 3 1 1 地震前兆系统物理拓扑结构分析1 6 3 1 2 地震前兆系统数据流程分析1 7 3 1 3 地震前兆数据资源结构分析1 7 3 2 地燧前兆数据分析1 8 3 2 1 地震前兆元数据需求分析18 3 2 2 地震前兆观测数据需求分析2 1 3 3 地震前兆数据交换总体设计2 3 3 4 地震前兆数据交换系统关键技术2 4 3 5 本章小结2 6 第四章地震前兆元数据交换管理子系统设计2 7 4 1 地震前兆元数据交换管理体系结构设计2 7 4 1 1 地震前兆元数据管理模型2 7 4 1 2 地震前兆元数据交换管理子系统体系结构2 8 4 2 地震前兆元数据交换管理模块设计3 2 4 2 1 三级节点管理设计3 2 4 2 2 学科中心节点管理设计3 7 4 2 3 地震前兆元数据四级交换设计3 8 4 3 本章小结4 1 第五章地震前兆观测数据交换子系统设计4 2 5 1 地震前兆观测数据增量交换算法设计4 2 5 2 地震前兆观测数据交换模块体系结构设计4 3 5 3 地震前兆观测数据交换模块设计4 5 5 3 1 交换订阅模块设计，4 5 5 3 2 交换策略模块设计4 6 5 3 3 交换任务执行模块设计4 8 5 3 4 监控模块设计5 5 5 4 备份模块设计5 7 5 4 1 备份模块体系结构- 5 7 5 4 2 备份恢复设计5 7 5 5 本章小结5 8 第六章系统测试5 9 6 1 测试环境5 9 6 2 系统测试6 0 6 2 1 元数据交换管理模块测试6 0 6 2 2 地震前兆观测数据交换模块测试6 4 6 2 3 地震前兆备份模块测试。7 0 6 3 本章小结71 第七章论文总结7 2 7 1 论文成果7 2 7 2 成果展示7 3 7 3 进一步工作设想7 4 参考文献7 5 豸【谢7 7 附录i 数据库链接测试7 8 附录i i 数据删除一致性保障设计8 0 附录i ll 地震前兆数据交换系统页面展示81 攻读硕士学位期间所发表的论文8 5 作者简介8 5 摘要 随着“中国数字地震观测网络”项目建设的展丌，我国地震行业的信息化建设进入 了一个崭新的历史发展时期。目前在我国的地震系统中已经建成了台站到区域中心，区 域中心到国家中心，国家中心到各学科中心的专有行业网络，并且从行业的信息整体上 对数据库系统和操作系统以及数据库结构进行统一规划，从而为加快实现地震信息化建 设铺平了道路。经过“十五”期间地震i j 兆台网建设和改造的完成，我国的地震前兆台 网观测台( 点) 达到了1 0 0 0 多个，地震前兆观测手段同趋于完善，观测密度不断地增 加，业已建立了相对完善的地震前兆观测系统。如何有效地把全国分布式的现代化前兆 观测系统纳入一个观测整体，并给全国的地震分析预报人员提供及时可靠的地震观测数 据资料是一个急需要求解决的问题。 本文的研究目的是在分析地震前兆台网分和式环境数据资源交换需求基础上，设计 并实现我国地震前兆台网的数据交换和有效管理。 本文的主要工作和取得的成果如下： ( 1 ) 详细分析了地震前兆台网总体结构及前兆数据资源的内容、特点和交换需求， 并在此基础上提出了地震前兆数据交换总体设计方案。 ( 2 ) 提取出地震前兆元数据交换管理模型，并基于o r a c l e 快照复制机制，设计地 震前兆元数据的交换管理模块，实现了地震前兆元数据的有效管理和共享。 ( 3 ) 设计一种地震前兆数据交换增量算法模型，并基于o r a c l e 数据库链接技术， 设计地震前兆观测数据的交换模块，实现了地震前兆观测数据在节点问的数据交换。 ( 4 ) 根据地震前兆系统需求，设计了地震前兆数据备份模块和数据恢复功能模块。 最后，搭建了真实测试环境，测试本论文设计的地震前兆数据交换系统。测试结果 验证了地震前兆数据交换系统设计的合理性和可靠性。 目前，基于本论文研究成果基础上设计的中国地震前兆台网数据管理系统已经在全 国地震前兆系统实现运行，很好的满足了地震前兆系统数据相关业务需要。 关键词：地震前兆，元数据，观测数据，数据交换，数据库链接 i n f o r m a t i o nc o n s t r u c t i o n d u r i n gt h ep e r i o do ft h et e n t hf i v e - y e a rp l a n ，t h ei n f r a s t r u c t u r eo fc h i n ae a r t h q u a k e p r e c u r s o r yn e t w o r kc o n s t r u c t i o nh a sa c h i e v e dg r e a tp r o g r e s s t h en u m b e ro ft h ee a r t h q u a k e p r e c u r s o r yo b s e r v a t i o n s t a t i o nh a sa c h i e v e dt oa b o u t10 0 0 w i t ht h ed i v e r s i f i e d o b s e r v a t i o n a lm e a s u r e m e n t sa n dt h eh i g hd e n s i t yo ft h eo b s e r v a t i o ns t a t i o n s ，t h ee a r t h q u a k e p r e c u r s o r yn e t w o r kh a sb e c o m ea ni n t e g r a t e dp r e c u r s o r yo b s e r v a t i o n a ls y s t e m h o wt o i n t e g r a t et h e s em o d e r nd i s t r i b u t e do b s e r v a t i o n a ls y s t e m sa n dt op r o v i d et h es e i s m o l o g i c a l r e s e a r c h e r sw i t ht h es e i s m o l o g i c a lo b s e r v a t i o nd a t ai sa ne m e r g e n tp r o b l e mt or e s o l v e i nt h i sp a p e r , t h ea u t h o rt r i e st od e s i g nad a t ae x c h a n g em a n a g e m e n ts y s t e mi nt h es t a t e e a r t h q u a k ep r e c u r s o r yn e t w o r kb a s e do n t h ec o m p l e t ea n a l y s i so ft h ed a t ar e s o u r c ec o n t e n t s ， c h a r a c t e r i s t i c sa n de x c h a n g ed e m a n d , a n dt or e a l i z et h ee f f i c i e n td a t am a n a g e m e n ta n d s h a r i n g t h em a i n w o r k sa n da c h i e v e m e n t sa r ea sf o l l o w s ， ( 1 ) a n a l y z et h ec o n t e n t sa n dc h a r a c t e r i s t i c so f t h ed i s t r i b u t e de a r t h q u a k ep r e c u r s o r yd a t a r e s o u r c ea n dt h ee x c h a n g ed e m a n d ，a n dt h e ng i v et h ed a t ae x c h a n g ed e s i g ns y s t e m ( 2 ) d e s i g nap r e c u r s o r ym e t a d a t ae x c h a n g em a n a g e m e n tm o d e l w i t hi t ，d e s i g na n d r e a l i z et h ee a r t h q u a k ep r e c u r s o r ym e t a d a t ae x c h a n g es y s t e mb a s e do nt h eo r a c l es n a p s h o t ( 3 ) d e s i g na ne a r t h q u a k ep r e c u r s o r yo b s e r v a t i o nd a t ae x c h a n g ea r i t h m e t i c ，d e s i g na n d r e a l i z eae a r t h q u a k ep r e c u r s o r yo b s e r v a t i o nd a t ae x c h a n g es y s t e m w i t ht h i ss y s t e m ，t h e o b s e r v a t i o nd a t ae x c h a n g ep e r f o r m a n c eh a sb e e ni m p r o v e ds i g n i f i c a n t l y ( 4 ) a c c o r d i n gt o t h ed e m a n do ft h ee a r t h q u a k ep r e c u r s o r yn e t w o r ki n f o m a a t i o n c o n s t r u c t i o n ，d e s i g nad a t a b a s eb a c k u ps y s t e m ，a n dr e a l i z et h ef a i l r e c o v e rf u n c t i o n a tl a s t ，d e p l o yas i m u l a t i n gt e s te n v i r o n m e n tf o rt e s t i n gt h ed e s i g no ft h ee a r t h q u a k e p r e c u r s o r yd a t ae x c h a n g es y s t e m t h et e s tr e p o r ts h o w st h a tt h ed e s i g no ft h ed a t ae x c h a n g e s y s t e mi nt h i sp a p e ri sr e a s o n a b l ea n dr e l i a b l e n o w , t h ec h i n ae a r t h q u a k ep r e c u r s o r yn e t w o r kd a t am a n a g e m e n ts y s t e mb a s e do nt h e d e s i g no ft h ee a r t h q u a k ep r e c u r s o r yd a t ae x c h a n g es y s t e mi nt h i sp a p e ri sd e p l o y e da l lo v e r t h ee a r t h q u a k ep r e c u r s o r ys y s t e mi nc h i n aa n ds a t i s f i e st h ed e m a n do ft h ec h i n ae a r t h q u a k e p r e c u r s o r yd a t am a n a g e m e n t k e y w o r d s ：e a r t h q u a k ep r e c u r s o r , m e t a d a t a , o b s e r v a t i o nd a t a , e x c h a n g e ，d a t a b a s el i n k s 第一章绪论 1 1 研究背景与意义 第一章绪论 中国地震前兆台网的作用是获取地震孕育过程中引起的重力、地磁、形变、地电、 流体等地球介质物理的和化学的变化信息，为地震预测预报提供基础数据，同时服务于 地球科学研究、国民经济建设和国防建设的科学观测网络体系。地震前兆台网建设工程 是我国“十五”期间“中国数字地震观测网络”的一个重要分项工程。 地震f i l s 兆台网是由5 0 0 多个台站、近千个测点，几十种类数千套( 不包括“九五 观测设备和模拟观测设备) 观测仪器构成。是一个涉及多学科、多测项的庞大的分布式 科学观测体系，分别归属于3 0 多个省、自治区、直辖市地震局及中国地震局直属机构 运行管理和数据应用，而从专业角度，分别由重力、地磁、形变、地电和地下流体台网 中心负责专业化数据处理与服务。 图1 1 地震前兆台网系统结构示意图 中国地震前兆台网系统的总体结构如图1 1 所示，采用分层拓扑结构，由观测仪器、 观测点、非信息节点台站、信息节点台站、区域前兆台网部、国家前兆数据中心、学科 台网中心构成。在台站上有多种前兆观测设备通过有线、无线或微波等链路与信息节点 台站或直接与区域前兆台网部连接。整个系统是一分层的四级互联互通分布式系统，由 台站、区域中心、国家中心和学科中心构成。在前兆数据管理上，各区域中心各不相同。 些壁堕! ! 塾堡窒堡墨竺坠生 台站可以直接管理本台站的观测设备和数据，也可以允许其有多个子台，通过网络直接 管理其子台的观测设备和数据。同时区域中心也可以通过网络直接管理其直属台站观测 设备和数据。从业务数据流程上看，地震前兆系统采用了分布式的存储体系，分别在各 级建有存储资源，即台站、区域中心分别管理自身管辖的数据资源，为本级提供数据服 务，同时区域中心汇集所有下属台站的数据同时往国家中心汇集，而国家中心则根据各 学科不同实行数据分拣，分别向各学科中心汇集，从而实现地震前兆数据管理与共享， 其中在区域中心、国家中心和学科中心分别部署有备份数据库用于数据备份，保证数据 的安全性。 “十五 期间以前，中国地震前兆行业长期以来，在地震前兆数据共享领域主要采 用f t p 、e m a i l 以文件形式进行数据传送( 首都圈实现了数据库复制共享) 。各省级 区域中心和国家中心以及各学科中心分别建有自己的数据库资源，用于存储本区域的观 测数据和相关信息资料。台站观测人员需要手工收取数据然后经过人工转换，按照一定 格式打包然后通过e m a i l 或者f t p 的形式发送到上一级节点单位指定的服务器或者 账号上，而上一级的数据管理人员则首先收取这些数据然后手动解压入库，整个过程需 要大量人工参与数据的传送和入库，造成各数据资源节点之间不能有效的实现互联互 通，与国际水平存在差距，影响了我国地震科学研究的发展。 “十五”期间，我国地震行业的信息化建设进入了一个崭新的历史发展时期。在硬 件资源方面，台站、区域中心、国家中心和各学科中心都相继完成了信息节点的建设。 各节点之间通过行业网络实现了各信息节点间的互联互通，在软体方面，则统一规划、 统一部署，数据库系统软件和数据资源结构( 地震前兆数据结构规范) 都得到了统一， 整个地震前兆台网系统采用了统一的数据库管理系统o r a c l e l o g 和操作系统s u s e l i n u x l 0 系统，因此给我国的地震前兆行业的信息化加快发展带来了很好的契机。 经过“十五”期间地震前兆台网建设和改造的完成，我国的地震前兆观测手段r 趋 于完善，观测密度不断地增加，业已建立了相对完善的地震前兆观测体系。如何有效地 把全国分布式的现代化前兆观测系统纳入一个观测整体，并给全国的地震分析预报人员 提供及时可靠的地震数据资料是一个急需要求解决的问题。 因此系统研究我国地震前兆数据交换管理需求，统一设计适应于我国地震前兆数据 交换管理的前兆数据交换系统，实现各级数据资源节点间前兆数据有效管理和共享具有 很大的实际意义。 第一章绪论 1 2 研究目的 中国地震前兆台网数据管理系统( 以下简称数据管理系统) 研究项目是整合地震前 兆行业的所有前兆观测设备，实现地震前兆观测数据自动采集和其他相关信息的入库； 自动完成所有信息在台站、省级区域中心、国家前兆台网中心和各学科中心的数据交换， 为地震科学研究人员提供及时可靠的数据服务，同时对整个前兆系统设备进行有效监 控。 数据管理系统由设备采集模块，交换管理模块、监控模块和服务模块构成。交换管 理模块作为数据管理系统的一个关键子模块系统，需要为其他模块功能提供元数据支持 并实现地震前兆数据在各级节点间的数据交换，同时实现数据备份功能。 地震前兆系统是一个元数据丰富的分布式观测系统，因此本研究的目的是深入分析 地震前兆元数据的内容和特点，设计一种管理机制实现前兆元数据在各级节点间的有效 管理，为其他模块功能提供元数据支持。同时深入分析地震前兆观测数据的内容和业务 需求，设计并实现地震前兆数据在各级节点间的自动交换，同时完成前兆数据备份功能， 保证前兆数据在各节点间的数据一致性、完整性和及时性，从而实现地震前兆数据的有 效管理和共享。 本文研究的最终目的是将本文研究的成果形成产品，采用b s 架构与数据管理系统 其它模块集成，部署到全国地震前兆系统中，供全国地震前兆行业使用，满足地震前兆 行业的数据管理和交换需求。 1 3 研究内容与思路 根据前面提出的研究目的，本文的研究内容分为两大块： 1 前兆元数据交换管理研究 1 ) 分析地震前兆元数据的内容，得出前兆元数据特点； 2 ) 根据前兆元数据的内容和特点，提取出元数据交换管理功能需求； 3 ) 根据前兆元数据特点和功能需求以及前兆台网总体结构，提取出一种前兆元数 据交换管理模型； 4 ) 根据前兆元数据交换管理模型，设计前兆元数据交换管理体系结构； 5 ) 利用o r a c l e 相关技术，设计并实现元数据交换管理的各项功能模块。 2 前兆观测数据交换研究 1 ) 分析地震前兆观测数据的内容，数据量、产出时间，为地震前兆观测数据交换 地震前兆数据交换系统设计 设计提供基础。 2 ) 分析地震前兆系统数据流程，提取出地震前兆观测数据交换的功能需求； 3 ) 研究分析前兆观测数据交换中的关键技术，并设计一种增量交换的算法模型。 4 ) 基于增量交换算法模型和功能需求，设计地震前兆观测数据交换系统体系结构： 5 ) 利用o r a c l e 相关技术，设计并实现前兆观测数据交换系统中各模块的功能。 最后采用b s 架构对前兆数据交换管理系统进行统一封装，集成到前兆数据管理系 统中进行系统测试。 1 4 论文组织结构 本文的组织结构如下： 在第一章中，阐述论文研究工作的背景和意义，同时提出了论文研究工作目的和研 究内容及思路。 在第二章中，介绍地震前兆数据传输发展动态及相关技术动态。 在第三章中，分析地震前兆台网的总体结构，进而分析地震前兆数据的特点和需求， 在此基础上提出地震前兆数据交换系统的总体设计设想，并分析前兆数据交换系统采用 的关键技术。 在第四章中，根据地震前兆元数据的特点和需求及前兆台网系统结构，提取一种元 数据交换管理模型，设计地震前兆元数据交换管理体系结构，并详细介绍了地震前兆元 数据交换管理的各模块功能的设计与实现。 在第五章中，首先研究一种增量交换算法模型，基于前兆观测数据功能需求和算法 模型，设计地震前兆观测数据交换模块体系结构。并详细介绍了地震前兆观测数据交换 系统各功能模块的设计。最后简要介绍了数据备份模块体系结构设计及备份恢复功能设 计。 在第六章中，采用b s 架构，对前兆数据交换系统进行统一封装进行系统测试。本 章简要介绍了地震前兆元数据交换管理模块、地震前兆观测数据交换模块及地震前兆数 据备份模块测试情况。 在结论部分，对本论文的研究工作做了总结，并对今后的研究工作重点提出了展望。 第_ 二章相关技术发艘动态 第二章相关技术发展动态 2 1 地震前兆数据传输发展动态 在“九五期间以前，我国的地震观测仪器主要是以人工仪器观测和模拟仪器观测 为主，即将地震信号记录在记录纸上，然后把记录纸传送到数据收集中心。限于当时的 科技发展水平，以纸介质形式记录数据主要有两方面缺点，一方面是人工记录下来的数 据很容易造成较大误差，仪器产出数据的精度和采样频率都不能很好的反映地球物理或 地球化学发生的变化，另一方面观测数据在地震研究和分析预报单位之间的传送带来了 很大的不便。在这期间，数据的报送一般采用电话报数或者电台报数( 庄灿涛等2 0 0 7 ) ， 数据获取方式和报送方式落后，很难实现实时处理和提高数据的利用率，满足不了短临 地震预测工作的需要，造成了当时我国地震预测预报水平滞后。 随着科学技术的进步和计算机网络的普及，“九血 期间，我国对全国大部分地震 前兆台站进行了数字化改造。地震前兆仪器由原来的模拟、人工观测改为数字化仪器观 测，通讯方式由原来的电台、电报、电话报数，改为利用计算机串口在本地直接收取数 据或远程电话拨号收取数据。较原来的模拟前兆观测仪器，数字化地震前兆仪器不仅提 高了采样率和采样精度，而且在通讯方式有较大的进步，由于观测数据的数字化产出， 观测数据的传输效率有了很大的提高。一般省局的前兆台网中心通过电话拨号方式就能 够在当天收取前一天的前兆数据( 王秀英等2 0 0 5 ) 。台站也可以在本地收取前兆数据然 后通过f t p 或e - m a i l 上传到本省的前兆台网中心，省局的前兆台网中心对观测数据进 行处理之后入本地数据库，当时采用了m ss q ls e r v e r 数据库系统，然后通过f t p 或e m a i l 形式把数据文件上传到国家前兆台网中心指定的服务器或账户上，台网中心 工作人员也同样把文件解压分类录入到国家台网中心的数据库，而学科中心则是通过台 站直接每周发送的e m a i l 的形式和年底送光盘形式传送数据。这期间，分析预报人员 使用的最新前兆数据可以到前一天，但还不能够使用当天的数据，但数据的及时性有了 较大的提高。这期间，在数据的传送过程中还是需要很多人工参与，这样容易造成数据 的传送错误或者丢失。“九五 期间，我国的地震科技人员在数据库复制上也做了大量 的工作，并且在“首都圈防震减灾示范工程中采用m ss q ls e r v e r2 0 0 0 复制技术 成功的实现了北京市、天津市和河北省之间地震前兆数据相互复制和共享( 周克昌等 2 0 0 3 ，李圣强等2 0 0 2 ) ，在技术实现上有了很大的进步，但仍需要进一步完善。 科技水平的发展和网络技术的全面应用，带动了整个社会的信息化发展。在“十五 地震前兆数据交换系统改计 期间，中国地震局根据整体规划，在全国地震系统采用行业专用网络，实现了台站、省 级区域中心、国家中心和学科中心的互联互通，物理带宽产生了质的飞跃。同时地震前 兆观测仪器也实现了i p 到仪器，采样率和数字化程度都比“九五一期间有较大的提升。 在软体方面，地震局系统统一采购了o r a c l el o g 数据库系统和s u s el i n u x l 0 操作系统， 数据资源结构也得到了统一。如何实现地震前兆数据及时可靠在台站、省级区域中心、 国家前兆台网中心和学科中心之间进行数据交换与共享，更好的为我国地震监测预报服 务，是急需要求解决的问题。 2 2 相关技术进展 2 2 1 数据集成方法简介 在大型的信息系统中，由于在信息建设过程中具有一定的阶段性和分布性，导致大 量的“信息孤岛”现象。“信息孤岛”造成系统中存在大量的数据资源浪费或者孤立， 但无法实现数据资源间的有效利用，从而降低了信息的利用率。为解决这一问题，人们 开始关注数据集成的研究。数据集成的核心任务是要将互相关联的分布式异构数据源集 成到一起，使用户能够以透明的方式访问这些数据源。集成是指维护数据源整体上的数 据一致性、提高信息共享利用的效率；透明的方式是指用户无需关心如何实现异构数据 曰 靛辩蹲l数懈潍2 数栽潞3 图2 1 数据集成系统模型 源的访问，只关心自己需要访问的数据。实现数据集成的系统称作数据集成系统( 如图 2 1 所示) ，它为用户提供统一的数据源访问接口，执行用户对数据源的访问请求。 数据集成的难点( h a s s e l b r i n gw2 0 0 0 ) 以下主要方面： ( 1 ) 异构性：被集成的数据源通常是独立开发的，数据模型异构。 ( 2 ) 分布性：数据源是异地分布的，依赖网络传输数据，这就存在网络传输的性 能和一致性等问题。 9昌9 第_ 二章相关技术发展动态 ( 3 ) 自治性：各个数据源有很强的自治性，它们可以在不通知集成系统的前提下 改变自身的结构和数据，给数据集成系统的健壮性提出挑战。 为了解决这些难题，人们提出了以下几种典型的数据集成方法：模式集成方法和数 据复制方法。 1 模式集成方法( 陈跃国等2 0 0 4 ) ： 模式集成是人们最早采用的数据集成方法。其基本思想是，在构建集成系统时将各 数据源的数据视图集成为全局模式，使用户能够按照全局模式透明地访问各数据源的数 据。全局模式描述了数据源共享数据的结构、语义及操作等。用户直接在全局模式的基 础上提交请求，由数据集成系统处理这些请求，转换成各个数据源在本地数据视图基础 上能够执行的请求。模式集成方法的特点是直接为用户提供透明的数据访问方法。一些 学者也把模式集成方法称作虚拟视图集成方法。 模式集成要解决两个基本问题：构建全局模式与数据源数据视图问的映射关系；处 理用户在全局模式基础上的查询请求。 联邦数据库和中间集成方法是现有的两种典型的模式集成方法 ( 1 ) 联邦数据库 o p 是早期人们采用的一种模式集成方法。联邦数据库中数据源之间共享自己的一部分 数据模式，形成一个联邦模式。由于联邦数据库在集成时需要为每个数据源单独编写大 量的通讯接口，因此现在单纯的联邦数据库方法很少采用。 ( 2 ) 中间件集成方法 此集成方法是另一种典型的模式集成方法，它同样使用全局数据模式。与联邦数据 库不同，中间件集成系统不仅能够集成结构化的数据源信息，还可以集成其他的数据源 信息。典型的基于中间件的数据集成系统( 如图2 2 所示) 主要包括中间件和包装器， 其中每个数据源对应一个包装器，中间件通过包装器和各个数据源交互。中间件注重于 全局查询的处理和优化，相对于联邦数据库系统的优势在于：它能够集成非数据库形式 的数据源，有很好的查询性能，自治性强。 地震前兆数据交换系统设计 应朋层 a 询结果一、 ， 、 中问件 卜1 | 一7 ij ( m e d i a t o r ) ：全局数据 _ 了 ， 、，邀武， 一一 一一- 一 封装器 封装器 ( w r a p p e _ 一_ j w m 孵 ，一 ，一 ( ：+)(、) j 一_ 一 。、 j。 数据源i 数据源n 图2 2 基于中问件的数据集成模型 2 数据复制方法 数据复制方法将各个数据源的数据复制到与其相关的其它数据源上，并维护数据源 整体上的数据一致性、提高信息共享利用的效率。数据复制可以是增量复制也可以完全 复制。 最常见的数据复制方法就是数据仓库方法。该方法将各个数据源复制到同一处 数据仓库，用户可以访问普通数据库一样直接访问数据仓库。 数据复制方法可以从数据传输方式和数据复制触发方式两个方面划分。数据复制通 常直接采用端到端方式，也有一些数据集成系统使用专为数据周转服务的数据平台。数 据复制时，数据发布者先将数据传送到这个数据平台上，由数据平台处理后转发给数据 订阅者。数据平台要处理好网络幅度那和并发控制问题。使用数据平台的好处是单点控 制、便于管理。但数据平台增加了系统的复杂性，降低了系统的可靠性。 3 集成方法对比 以上两种数据集成方法各有优缺点及使用范围。模式集成方法为用户提供了全局数 据视图及统一的访问接口，透明度高；但该方法并没有实现数据源间的数据交互，用户 使用时经常需要访问多个数据源，因此该方法需要系统有很好的网络性能，网络依赖性 很高。数据复制方法在用户使用某个数据源之前，将用户可能用到的其他数据源的数据 预先复制过来。用户使用时只需访问某个数据源。这会大大的提高系统处理用户请求的 效率；但数据复制通常存在延时，使用该方法时，很难保障数据源之间的实时性和一致 性。 模式集成方法适用于被集成的系统规模大、数据更新频繁、数据实时性一致性要求 高的情况。 第_ 二章相关技术发展动态 数据复制则使用与数据源相对稳定、用户查询模式已知或有限的情况。当数据分布 性比较广，也可考虑采用数据复制集成方法。但是由于配置极其复杂，需要专业人员才 能够维护数据库之间的复制，而这对于地震前兆行业人员来说无非增加了负担。 目前，在数据集成领域，大量采用基于x m l 技术大部分实现异构数据集成系统的 研究属于模式集成方法，但在实现和部署过程比较复杂，需要投入大量的人力和时问， 笔者认为不适合目前地震前兆系统的应用。 2 2 2 消息中间件技术 当前，c o r b a 、d c o m l r m i d 等r p c 中间件技术已广泛应用于各个领域。但是面 对规模和复杂度都越来越高的分布式系统，这些技术也显示出其局限性：( 1 ) 同步通信： 客户发出调用后，必须等待服务对象完成处理并返回结果后才能继续执行；( 2 ) 客户和 服务对象的生命周期紧密耦合，客户端和服务端之间必须同时在线；( 3 ) 点对点通信， 客户的一次调用只发送给某个单独的目标对象( 隋杨等2 0 0 6 ) 。 一般认为，消息中间件是一种由消息传送机制或消息队列模式组成的中间件技术， 利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式 系统的集成。与其他中间件技术不同( 例如o r b 和r p c ) ，一般来说，消息中间件并 不要求系统具备一个可靠的底部传输层，而是通过以消息的形式实现应用程序之间的通 信。信息可以同步传送，也支持异步传送。在异步方式下，应用程序并不需要消息即时 即刻传送到对方，只是由m o m 确保把信息以消息的方式传送到适当的目的地，并且只 传送一次。 消息中间件的主要特点包括以下6 个方面：( 1 ) 异步传送；( 2 ) 防御通信；( 3 ) 并 发执行；( 4 ) 日志通信；( 5 ) 多种通信方式；( 6 ) 应用程序与网络复杂性相隔离( 徐晶 等2 0 0 5 ) 。在分布式网络环境中构建基于消息通信中间件的数据传输系统，通过消息中 间件在不同的计算机之间异步传递数据消息，能有效的满足数据传输的可靠性、安全性 和一致性等企业级需求，因而被广泛使用。目前广泛应用在金融、邮电、交通、政府等 数据传输频繁、交易量最大的行业。 消息中间件有两种主流通信模式：消息队列模式和消息传递模式。其中消息传递模 式包括点对点模式和发布订阅模式。 ( 1 ) 点对点模式 点对点模式是一种程序到程序的直接通信模式。主要优点是实现简单，缺点是紧耦 合，扩展性差。 地震前兆数据交换系统i 5 汁 ( 2 ) 发布订阅模式 目前这种技术仅仅被少数的产品所使用，但是这种技术已经达到了一定程度的成熟 ( 徐晶等2 0 0 5 ) 。发布订阅模式的主要特点是通过发布订阅系统实现具体的交互，因 此发布者和订阅者不需要同时处于活动状态，具有良好的松耦合性。 ( 3 ) 消息队列模式 消息队列模式是一种程序之间的非直接通信模式，它允许程序通过消息队列进行通 信。消息队列模式通常意味着无连接模式，并不要求对方程序一定可用。这种方式运行 程序按照不同的速度独立运行，而不需要双方之间建立一条逻辑连接。 尽管目前消息队列产品在实现上有差异( 徐晶等2 0 0 5 ) ，但是都具有以下功能：( 1 ) 通常都开发了相应的a p i ，方便应用程序使用以进行消息传递；( 2 ) 系统中包含了一个 固有组件一队列管理器。它处理本地队列，并保证消息传送到存在与本机或者网络中某 个位置的目的地。( 3 ) 队列管理器与其它节点上的队列管理器合作控制网络路由机制； ( 4 ) 支持不同的服务质量；( 5 ) 消息队列可以是永久性或者非永久性的。( 6 ) 支持触 发；( 7 ) 采用了事务消息的概念；( 8 ) 支持多路复用技术。 消息队列模型的主要优点是支持异步通信，使得消息的发送方和接收方之间不必存 在直接链接，实现了发送方与接收方在时间上的耦合性：缺点是队列需要配置，性能不 高，且队列一旦丢失，整个系统将受影响( 李路等2 0 0 7 ) 。 目前消息中间件产品比较成熟的主要有i b m 的m q s e d e s ，m i c r o s o f t 的m s m q 和 t a l a r i a 的s m a r t s o c k e t 。近年来我国中间件厂商的发展极其迅速，东方通、中创、金蝶， 科诺、信雅达等众多中间件厂商都已开发出非常优秀的消息中间件产品。在开源领域有 a p a c h e a c t i v e m q 等优秀中间件产品。所有消息中间件产品都各具有优势。 在实际使用开发中，每个节点都需要部署有消息中间件，因此在地震前兆行业中应 用商业消息中间件的费用较为昂贵。而开源消息中间件在地震前兆数据交换的实际应用 开发过程中，消息队列阻塞问题一直不能得到有效解决，增加了开发难度。 2 2 3 分布式数据库复制技术 当前分布式数据库技术已经成熟，并且由于计算机功能的增强而成本下降以及通信 费用的降低而得到广泛应用。然而分布式数据库系统既要提供局部自治又要实现全局控 制，带来了很大的挑战( 王婉菲等2 0 0 3 ) 。引入分布式数据库技术的复制机制，通过使 用数据库的复制技术实现了集中和自治相结合的控制机制，可以大大提高整个分布式数 据库系统的可靠性和响应速度。与传统的分布式数据库系统相比，采用复制技术的分布 第一二章相关技术发展动态 式数据库系统更具优势： ( 1 ) 良好的可靠性和可用性，数据在多个站点存在复制副本，增加了数据的安全 性，同时也增加了系统的可用性。 ( 2 ) 提高了系统效率，降低了通信的负载。 但采用数据库复制技术的系统也有缺点如数据冗余性，虽然目前存储设备价格有下 降的趋势，但对于大数据量存储设备，价格仍然比较昂贵。 数据复制实际上是对统一数据复制多个副本，根据需要将各副本存放在不同站点 中，从而保持数据库与目标数据库数据的一致性，以提高数据查询处理的本地性，是利 用一定的技术把数据从某地点的数据库拷贝到另一地点的数据库总以支持分布式应用。 目前地震前兆台网系统的业务数据流程就有此特点。 1 数据复制技术分类 从时间的先后顺序可以把数据复制分为同步复制和异步复制两类( 张文东等2 0 0 3 ) ( 1 ) 同步复制 复制数据在任何时间，任何复制节点均保持一致，在分布式环境中任何时候任何节 点的数据如果出现了更新操作，这种更新将立刻会反映到其他所有的复制节点。同步复 制环境下，整个分布式数据库系统采用传统的两段提交协议( 2 p c ) 的分布式事务处理j 方式。对任以复制站点上的复制数据的更新和传播是作为一个事务来进行，只有所有复 制站点都顺利提交了这次更新，事务才能完成，否则整个事务将会回滚到初始状态。这 种技术使用于那些对于实时性要求很高的应用中，如银行、电信等企业。采用同步复制 技术的优点是复制成员之问的数据拷贝始终能保持一致，无数据冲突。但采用同步复制 技术有难以克服的缺点：( 1 ) 系统对客户请求的响应时间将变长；( 2 ) 客户操作成功的 概率将降低；( 3 ) 需要更多的硬件和网络资源；( 4 ) 一旦一个站点出现问题，整个系统 就可能会失效( 王婉菲等2 0 0 3 熊曾刚等2 0 0 4 ) 。 ( 2 ) 异步复制 异步复制采用的异步分发数据数据库技术也称为存储转发复制技术。在分布式环 境中复制节点的数据在一定时间内是不同步的。如果复制环境中的一个节点的复制数据 发生了更新( d m l ) 操作，复制节点之间的数据在间隔几秒、几分、几小时甚至几天 后是不同步的，但数据传播的最终结果将保证所有复制节点间的数据一致。在异步复制 环境中，对任何一个复制站点的复制数据的更新将会在本地捕捉到，生成一个延迟事务 放入延迟事务队列。在预定的时间间隔或是根据需要，延迟事务队列中的延迟事务被传 播到其它复制站点，并在站点上执行。如果事务在一个站点上执行不成功，则只有该站 地震前兆数据交换系统设汁 点的事务发生回滚，不影响其它的复制站点。 与同步复制相比，异步复制要求比较少的网络和硬件资源，并且提供了更好的可用 性和性能，因此在实际应用中多采用异步复制方式。 2 数据冲突 在复制环境中，尽管在数据库和应用程序设计过程中，会尽量避免各站点问的数据 冲突发生，但在一个大的分布式数据库系统中，特别是在地震前兆行业系统中，数据冲 突的可能性是完全存在的，所以需要按照具体的业务规则设计冲突解决机制，使各站点 问的数据保持一致性。 目前，各主要数据库厂商的r d b m s 产品都提供了多种复制功能，如：快照复制、 事务复制、实时复制、定时复制、双向复制等。数据库的数据复制技术一般应用于同一 种数据库系统之间。有些产品也支持异种数据库系统间进行数据复制，如s y b a s e 数据 库与o r a c l e 数据库之间进行数据复制( 周克昌等2 0 0 5 ) 。 数据库复制技术支持局域网、广域网，适应快速的网络