基于主从架构的可扩展地震前兆数据采集系统设计与实现

1、基于主从架构的可扩展地震前兆数据采集系统设计与实现第32卷第5期2011年1O月地震地磁观测与研究SEISM0L0G1CALANDGE0MAGNETIC0BSERVAT10NANDRESEARCH基于主从架构的可扩展地震前兆数据采集系统设计与实现王晨D赵银刚'1)中国北京100081中国地震局地球物理研究所2)中国潍坊262100山东省地震局安丘地震台摘要提出地震前兆数据管理系统中可扩展的分布式数据采集系统架构,该架构可以快捷地使用第三方资源对系统能力进行扩展,从而很好的应对变化的资源需求.在传统的主从模型基础上,通过创建执行器来执行任务和分配资源,可以有效执行任务.关键词地震前兆;协

2、同系统;主从模型;数据采集0引言作为物联网应用的重要领域之一,地震观测数据系统的设计不仅需要考虑每天日常的例程数据采集过程,而且要考虑在紧急情况下系统做出实时的反应.但是,如果数据采集系统按照紧急情况的负载去设计,则会因为紧急情况发生的概率不高导致系统硬件使用率过低,而如果按照日常的例程负载设计系统,则会导致系统无法在紧急情况下做出反应(胡星星,2008).源的协同和虚拟化,而且这些系统也都有充足的专用硬件,按照达到系统的峰值负载为目的进紧急情况时使系统能做出实时反应,同时又能在每天的例程服务中减少资源的消耗,提高总体资源使用率,一个可行的办法是使用第三方资源,如计算云或者计算网格资源等来扩展

3、系统.本文提出了一个SCADAS系统架构及其实现,使数据采集系统能够使用外部第三方资源动态扩展系统,来提高系统对于紧急情况的实时反应速度,并且提高资源总体使用效率.1相关工作进行介绍和分析.CIMA(Atkinson,2007;Bramley,2006;Devadithya,2007;Du,2008)(CommonInstru作者简介:王晨(1977),男,硕士,助理研究员,主要从事地震前兆软件研发与地磁观测仪器设备研制工作基金项目:地震行业专项"地震台网动态监控与产品在线加工技术研究"(201008002)本文收到日期:2011一O7一O8第5期王晨等;基于主从架构的可扩

4、展地震前兆数据采集系统设计与实现101一设备访问和控制API,CIMA可以很好的实现异构设备的虚拟化和远程控制.GridCC(McGough,2007)(GridenabledRemoteInstrumentationwithDistributedCon资源,计算资源以及存储资源的封装和对应WebService的构建,实现了虚拟化协同工作环境.NEESGrid(Peng,2004)(Spencer,2004)(NetworkforEarthquakeEngineeringSimula息索引服务,数据存储服务以及授权和验证服务,实现了安全的远程设备访问和面向事务的设备协同.2主从模型主从模型(M

5、asterWorker技术)是一种常见的集群计算模型,又称TaskFarmer模型.点,负责任务初始化,子任务的分割与分发,计算负载的调度,与Worker节点的通信工作,结果收集和汇总.另一类称为Worker节点.一个Master节点有多个Worker节点,分别执行制,只与Master节点进行通信,Worker节点之间没有直接的通信.在主从模型中,Master节点只进行少量的计算,而主要的计算工作由Worker节点进行.主从模型适用于子任务之问没有或只有弱约束关系的计算应用,该模型广泛地应用于分布式并行程序的开发.采用主从模型,使高任务量情况下系统压力瓶颈分散,提高大规模设备观测数据采集效率,

6、为系统稳定运行提供保障.针对不同地区观测设备密度不一致的情况,可以通扩展性.3系统架构sCADAs体系结构见图1,由接口层,采集任务管理层,采集任务执行层与资源层组成.控接口,实时波形接口和设备监控接口.主要提供采集模块中间件进程的实时运行状态,设备和系统资源状态等信息,而采集接口则包括仪器观测数据采集接口和仪器日志数据采集接口,主要提供负责接收用户的手动和自动的设备数据采集请求并且向下传递给采集任务管理层的任务调度器,等到获得采集结果后,向上通知用户任务完成.采集任务管理层是采集模块的任务引擎和资源状态管理器,负责采集任务的分发,任务结果的返回,以及系统资源的状态管理.其中,采集任务的分发和

7、任务结果的返回由任务调度器负载状态管理的基础上,通过业务接口层的观测数据访问接口对业务层的自动和手动观测数1O2地震地磁观测与研究32卷任务执行实例的负载,从而对任务分发模块提供合适的采集任务执行实例,为队列调度模块提供调度所需的负载信息.资源监控管理器主要是维护采集模块在运行当中的当前状态信息,监控的资源包括采集任务管理器和采集任务执行实例所在主机的内存资源,节点CPU资源,硬盘资源,带宽资源以及中间件状态资源等4种资源,这些资源状态通过部署在这些主机上的连接请求.保证设备的实时数据连接响应.图1地震前兆台网数据采集系统架构采集任务执行层是采集模块的任务执行模块,主要负责任务的执行和资源的状

8、态采集.采集任务执行实例包括多个任务处理线程.每个线程包括任务命令构造,资源获取,命令执行,设备通信,结果格式验证,结果处理6个子模块,这6个子模块主要是按照命令队列调度分发的设备资源访问请求,使用同设备资源之间的空闲通道向设备资源发出命令,并获护和更新采集任务执行层在运行当中的当前状态信息,并将更新的信息汇聚到上层的采集任务管理器中.设备监控执行实例负责接收设备监控请求,最后将设备的状态结果返回到上层.实时数据连接实例负责接收设备监控请求,并且执行设备监控请求,最后将设备的状态结果返回到上层.基于主从架构的地震前兆台网数据采集系统示例实现了架构的所有功能,实现中可以获一数据接口模块一一系统日

9、志管理第5期王晨等:基于主从架构的可扩展地震前兆数据采集系统设计与实现1O3得主节点和从节点的系统动态信息和负载信息,并且在此基础上进行作业调度.4结束语通过介绍基于主从架构的地震前兆台网数据采集系统的设计和实现,详细说明了该系统的各层模块组成和对应的关系,本系统通过创建执行器来执行任务和分配资源,可以有效执行任务.参考文献胡星星,滕云田,王喜珍,等.地震波形数据实时监控软件的实现口.地震地磁观测与研究,2008,29(1):109114.basedcyberinfrastructureforremoteaccesstOscientificinstrumentsandcollaborative

10、eresearch/ProceedingsofthefifthAustralasiansymposiumonACSWfrontiersc.Ballarat,Australia.:AustralianComputerSociety,Inc.2007:310.BramleyR,ChiuK,DevadithyaT,eta1.InstrumentMonitoring,DataSharingandArchivingUsingCommonInstrumentMiddlewareArchitecture(CIMA)J.JournalofChemicalInformationandModeling,2006,

11、46(3):lo171025.DevadithyaT,ChiuK,HuffmanK,eta1.Thecommoninstrumentmiddlewarearchitecture:overviewofgoalsandimplementation/ProceedingsoftheFirstInternationalConferenceone-ScienceandGridComputingc.IEEE,2005:8-585.DuBoulayDJ,CheeC,ChiuK,eta1.RemoteinstrumentcontrolwithCIMAwebservicesandweb2.0technology

12、J.iJOE,2008,4(1):5.McGoughAS,AkramAsif,GuoLi,eta1.GRIDCC:Realtimeworkflowsystem/Proceedingsof2ndworkshop0nWorkflowsinsupportoflargescalesciencec.ACMNewYork,NY,USA,2007:312.umonEarthquakeEngineeringinthePastandFutureFiftyYearsC.Harbin,China,2004.SpencerB,FinholtT,FosterI,eta1.NEESgrid:Adistributedcol

13、laboratoryforadvancedearthquakeengineeringexperimentandsimulation/Proceedingsof13thWorldConferenceonEarthquakeEngineeringc.Vancouver,BC,Canada,2004.ThedesignandimplementationofascalabledataacquisitionsystemforearthquakeprecursordatamanagementsystembasedonMaster-Work-erModelWangChenandZhaoYingang.1)I

14、nstituteofGeophysics,ChinaEarthquakeAdministration,Beijing100081,China2)AnqiuSeismicStation,EarthquakeAdministrationofShandongProvince,Weifang262100,ChinaAbstraetThedataacquisitionsysteminWebbasedIOTneedstoconsidernotonlytherequirementsofthedailyroutineanalysisofthedata,butalsotherequirementsfromtherealtimereactionofanemergency,whichpresentsadilemmaforsystemdesign.Inthispaper,ascalabledataacquisitionsystemforearthquakep