面向水利的高效能平行系统设计与实现

面向水利的高效能平行系统设计与实现

平行系统是指由一个自然现实系统和一个或多个虚拟或理想的人工系统连接起来的系统。随着网格计算的发展，提出了计算和实验的方法，不能还原复杂系统中的分析和经验，允许计算机对复杂系统进行各种“实验”，从而达到预测和评估复杂系统的行为和能力的目的。使用计算实验方法，可以支持平行网络系统，并对系统中的行为进行比较和分析。完成实际系统的管理和开发、相关行为和决策的实验评估、系统学习和培训以及其他实际系统的评估和评估。当前,水利信息资源的快速增加,导致传统水利应用系统无法对实际进行还原分析或进行大量原型实验,使得水利应用系统间的数据交换、数据访问、高效利用以及不同系统的复用等逐步暴露出一系列问题.水利复杂业务的开展对高效率处理服务及高精度计算服务的需求逐渐增大,单处理机模式的计算服务已不能满足应用的要求,迫切需要一种高效能计算力资源来解决实际复杂的水利应用问题.为此,本文采用网格计算,构建面向水利应用的高效能平行系统,提供高效能计算力资源调度环境,在该环境下对应用进行划分及有机组合,基于组件开发和原子化拆分的思想,通过高性能平行系统为水利应用提供高效的计算服务.1平行系统方案设计基于水利应用平行系统及高效能计算力资源调度服务,采用模块化思想设计了面向水利应用的高效能平行系统框架结构,如图1所示,主要由4部分组成.a.过程参数及数据预测分析模块.该模块是不同功能模块和计算单元之间的桥梁,其通过模块之间数据交换的“整体性”实现水利应用服务的实时性和并行性,为模块的运行提供最初的动力,保证各模块之间的平行关系.b.数据集成模块.复杂水利应用需要大量底层数据的支撑,平行系统采用一种零等待的动态数据集成方案,方案采用数据生成与数据集成的双通道集成方式,利用过程参数及数据预测分析模块中的数据拟合引擎来生成所需数据,并且根据实际获得数据不断修正完善的计算结果.c.预报模型模块.水利应用的特殊性使得部分数据有规律可循,基于原始数据的预报可以提高对应用的支持,引入预报模型模块,对应用自身具有的或者系统外部提供的预报模型进行封装.d.学习记忆模块.该模块主要完成数据和知识的积累,是保证平行系统稳定运行的基础,也是不断提升平行系统计算准确度的核心部件,其由编码组件、反馈数据、解析引擎以及补充数据组合而成.2水利高性能平行系统的计算能力资源规划2.1计算力资源调度算法针对自然系统中水利应用存在的一系列问题,在网格计算的基础上,为实现高效能计算力,构建面向水利的计算实验环境.在这个环境下,实现不同业务在平行系统中的优化服务,根据水利业务的复杂度,按照功能分解为不同的作业,每一个作业按照系统内部算法进行拆分,使用细粒度的算法结构来描述特定的业务应用,形成一个面向业务逻辑并相互独立,具有较好可扩展性与复用性的算法结构单元,不同的原子按照用户需求在计算力资源调度中实现平行优化.在计算力资源调度中,作业是一个有向无环图,是原子之间的一种逻辑依赖关系.资源图是一个物理拓扑图,它在一定程度上抽象地表示各节点之间的连接关系.根据作业图的并行集,将作业中的所有原子划分为一系列集合,每个集合内部的原子都相互独立,可以并行执行.从而高效能计算力调度被视为,如何在信任模型下将并行集与特定的资源节点相互连接起来,这种连接所建立的次序就是原子被调度的时序.调度过程简化为一个二分图的逐步建立过程,即依靠并行集的偏序结构来调配原子给节点就可得到计算力资源的调度算法.2.2原子并行化及运行管理平行系统下高效能计算力资源调度服务流程如图2所示,由基础层、操作层与管理层3个层次构成.基础层包括原子的注册服务以及作业的编排,先将复杂的业务逻辑划分为原子,根据规范形成标准化的组件服务,然后将多个原子通过规则编排形成作业模型,快速搭建业务应用,并将业务应用中的原子按其逻辑进行并行化,提炼出可并行运行集.操作层由参数映射、长连接池、心跳机制及关键路径的计算共4部分组成,对平行系统中用于传递的入口参数和出口参数进行标准化,依照统一的数据结构实现在异构计算力资源上的数据传递.当进行作业编排时,前驱原子给后继原子所传递的数据内容需要通过参数映射来实现,参数映射给出了当前原子参考其他相关原子的具体方案,采用长连接池和心跳机制能够实现原子操作合理调度,通过调整作业执行的关键线路,可以压缩时间.管理层由计算力评价、原子执行和管理服务构成,按照计算力评价模型对各个节点的计算力进行评估,并将需要执行的原子调配给评估值高的计算节点,原子执行采用反射机制动态地给在线节点装载将要执行的原子,并将执行结果按照表转化参数类型输出,管理服务主要是完成计算节点用户、原子、作业和参数类型的管理.3文明安河农业保险的运行实验错峰调度是指通过调洪手段对干流注入处和多条支流注入交会处发生的洪峰进行控制,使各支流的洪峰以不同时间到达,而避免由于洪峰叠加而产生灾害.下面以渭河陕西段为例给出平行系统的应用方法.渭河全长818km,流域面积13.43×105km2,上游以及北岸泾河、洛河等支流流经黄土高原,并夹带大量泥沙.渭河流域降水集中在夏季,多为暴雨,水土流失严重.渭河流域属于干旱半干旱地区,年平均气温6～14℃,年平均降水量450～700mm,年蒸发量1000～2000mm,无霜期120～220d.渭河陕西段(从魏家堡至华县)上共有4个大型水库,分别是冯家山水库、金盆水库、羊毛湾水库和石头河水库,其分别使用逐次优化算法(POA)、动态规划算法(DP)、和改进的克隆选择算法(ICSA)进行调度,并采用调节冯家山水库调度方式来消减下游洪峰流量.在平行系统中首先对错峰调度应用进行组件封装,将各算法进行拆分,构建错峰调度方法库、洪水演进参数估计库、水库调度方法库,然后在这些应用库的基础上搭建洪水演进错峰调度系统.通过可交互模式来实现实验系统的实际系统的平行,使得可在手动调节下自动形成不同的调度方案.以平行系统为基础,在知识可视化综合集成支持平台上搭建的渭河流域洪水演进及错峰调度的实验结果见图3.图3为洪水期间(2005-09-28—2005-10-12,共14d)错峰调度时的华县流量(q)过程,从图3可以看出,经过错峰调度,洪峰流量被消减,从而减少