基于网格的水污染运移模拟平台构建

基于网格的水污染运移模拟平台构建

0流域水环境协同治理的研究目前，世界水资源问题日益突出，尤其是严重水污染事件频发。由于水污染具有影响范围大、不确定因素多、距离人员密集地较近等特点,对人民生命财产安全及生态系统的稳定都造成了巨大的威胁。因此,如何对水污染事件进行有效地控制,对污染面积及污染物的运移进行相应的监控,已成为当前研究的热点之一。目前,国内外学者对于水污染的研究取得了一定的进展。杨菁荟等利用SWAT模型模拟流域的各种水环境过程、土地利用类型、管理措施,对流域水污染进行监测和评价,为水污染的有效治理提供了支持平台。张学成通过成分因子提取推导,建立了水污染模拟序列模型,经过对黄河花园口断面的水污染实测分析,较好地模拟了水污染指标的变化趋势。张波等利用系统动力学的基本概念,建立了一维水质模拟的系统动力学模型,并且对松花江特大水污染事故的现场监测数据进行模型参数率定,以及模型验证,模型在一定程度上反映了污染物在河道内浓度峰值与峰值出现时间,取得了一定的效果。Kolstad,Yeung运用博弈模型分析了跨界污染问题中的不确定性问题。Savy和Jane提出通过生态补偿理论解决流域跨界污染问题。但是,这些研究多局限于水污染物迁移扩散的模型开发,对其运移过程的模拟还没有成熟的方案,特别是对全河道污染物的运移的可视化模拟,由于单处理机模式的计算力不足从而无法实现。针对目前研究中存在的不足,文中将网格技术与水污染运移模拟仿真需求相结合,通过网格计算构建面向水污染运移仿真模拟的高效能计算力环境,基于组件化的平台开发思想和原子化拆分思想,利用多图层叠加技术及融合DEM确定高程形成剖面,通过对全河道进行不规则的三角划分,实现了全河道范围内污染运移可视化仿真模拟,为水资源监测和水污染治理提供了一定的保证。1关键技术分析1.1网格计算的优势网格计算是专门针对复杂科学计算的新型计算模式,其基本原理是利用Internet把地理上分散的计算机进行有效地整合,使之形成一个虚拟的高性能计算环境,以解决单个计算机计算力不足的问题。在模拟水污染运移方面,网格计算具有3大优势:具有超强的数据处理能力;能够充分利用所购建的虚拟网络上的闲置计算资源;网格计算提供的高效处理服务和高精度计算服务能够满足复杂的、基于全河道的污染物运移模拟对计算服务的迫切需求。根据河流水污染具有影响面大、危害大和发展情况瞬息万变的特点,利用网格技术构建的面向水污染运移的网格基础平台,能够满足水污染运移模拟中的数据交换、数据访问需求,同时还能提供高效能的计算力环境,使得污染物在全河道的运移和扩散过程得到模拟仿真,为制定控制全河道污染应急方案,提供直观、形象和全景式的信息支持。由此可见,“物理分散,逻辑集中,按需获取,分布处理,统一调度”的网格技术平台完全可以引入到水污染运移等具体的水利业务中。1.2提高了决策的科学性信息可视化源于计算机图形学,其主要是对抽象的信息提供交互式的可视化表现形式,增强人们对复杂信息的认知能力,成为人们解释现象、发现规律、辅助决策的强有力的工具。信息可视化技术将水污染迁移过程可视化,把数据转变为可见的图像,使得水污染迁移的相关数据能有机地组织在一起,并形成生动地显示数据所表现的内容之间的关系,从而提高了决策的科学性和合理性。信息可视化技术的核心是为使用者提供信息直观的、可交互可视化的环境。针对水污染运移的具体水利业务,其具有以下特点:(1)位置特征,所有对象均与地理位置密切相关。(2)交互性,用户可以通过调整可视化变量,使得水污染运移以不同的方式表现出来。(3)多维性,信息以3维形式表现其多个属性,可以按其每一维的值,将其分类、排序、组合和显示。水污染运移涉及的数据较为抽象且庞大,运行机制也较为复杂。为了提高对污染面积及污染运移的有效监控,将信息可视化技术引入水污染运移的模拟仿真中,设计开发基于网格的水污染运移可视化仿真平台,这样可以使得对全河道污染物运移的监控成为可能。2需求分析和系统设计2.1基于网格的水污染运移模拟在进行水污染运移过程可视化模拟时,系统对数据存储、高性能计算、信息综合服务、决策服务等方面都表现出迫切的计算需求。传统的人工系统显然无法满足水污染模拟对高效能计算力的需求,这就需要采用以空间地理数据、历史数据、影像数据、非结构化数据为数据源,在异构环境下构建基于网格的水污染运移模拟仿真平台。该平台具有集成性、共享性和离散性的特点。网格集成化平台将现有的数据资源、计算资源、网络资源进行有效地整合,提供标准化的访问接口及一致性的接入方式,不仅充分利用现有计算力资源,同时将作业在网格中进行了有效地调度,实现了计算力的最大化,并且借助网格集成化平台,将地理上较为分散的污染数据进行分布式共享,提高了污染数据资源的共享性。同时,按照原子拆分操作思想,通过给出原子的形式化定义,将调度作业将其拆分为可在网格上调度执行的原子,通过中间件技术在网格环境下实现对水污染运移应用的划分和有机的结合,以网格环境为水污染运移的控制提供高效的计算服务。2.2平台总体框架在对全河道污染物的运移过程进行模拟中,涉及到了大量的实测数据和空间数据。在这些数据中,GIS/WebGIS信息为水污染运移模拟提供了基本的地理空间信息,空间数据为水污染运移的有效监控提供了高清晰的航拍影像,使得实测数据能够和空间位置相结合。但就目前的研究现状来看,水污染运移实测数据与运移空间数据的融合上还存在诸多的不足,无法完全展现水污染在全河道运移的整体面貌,给决策带来了诸多不便。针对信息融合的问题,文中以3S集成技术为基础,构建了面向水污染运移的网格基础计算平台,通过实测数据与空间数据的有效融合,实现了具有互操作能力的一体化水污染运移服务环境,完成了对水污染运移过程及相关数据的直观展示。面向水污染运移的网格基础平台在网格环境所提供的高性能计算力的支持下,由一系列层次递进的模型框架构成,基于五层沙漏结构的水污染运移模拟仿真平台总体框架如图1所示。整个系统按自下向上划分层次,内部逻辑上划分为5个层次。底层为采集数据层,其主要功能是收集全河道内的地形地貌数据,采集该河道水文的历史数据、影像资料和一些非结构化的数据,同时提供了向上访问这些基础数据的接口。第二层为连接层,该层实现了资源间的互联互通,同时定义了核心的通信协议与认证协议。第三层为数据资源层,主要是按照需求将底层采集到的基础数据传入数据库,为资源的共享提供支撑。第四层为汇聚层,在安全机制的协调下,负责多个资源的共享访问,提供资源发现的目录服务,将复杂的水污染运移计算任务分解为原子,统一进行任务调度服务,同时提供系统监控和出错诊断服务等。第五层为应用层,提供了水污染运移虚拟环境接口,其主要包括:面向资源整合的网格平台、水污染运移支撑平台以及水污染运移预报平台,这3个有关污染运移的应用共同支撑了对水污染运移环境的模拟仿真,分别提供了在互操作网格基础平台的支持下,进行资源整合、应用支撑和集成服务,以支持对全河道的水污染运移应用业务的模拟仿真。2.3水质模拟的基本原理在对全河道污染物的浓度进行拟合计算时,文中通过定义一个四元组A对计算模型进行符合网格调度要求的原子化处理,即A=(P1,P0,Faction,P),其中,输入参数P1与输出参数P0,通过原子参数K对系统结构进行抽象表述,四元组A是有限个K子集的笛卡尔积。K由集合{Si}给定,Si=(IDSi,Fistore,Fiaccess,Fiserialize,Fideserialize),集合{Si}规定了系统内可使用的原子参数的类型、数量、存储方式、访问方式和序列化方法。Faction是一维恒定流水质模型模拟各算法中的输入参数与输出参数之间的映射,对于一段并行算法逻辑,Faction负责将输入数据进行规范化处理,并输出规范化的输出数据,从而实现对河道水质模拟影像信息的处理,并且原子参数也可以通过规范化的定义在原子之间进行有效地传递,从而能够通过原子构建一个复杂的水质模拟应用。P是原子属性的集合,原子属性为计算网格的并行化处理提供依据,通过定义P={IDA,NexpireTime,NmaxErrorNum,NTimecost}以提高原子操作在调度过程中的处理效率,其中,IDA表示系统为每个原子操作分配的UUID号,具有唯一性;NexpireTime表示系统对原子操作的超时限定;NmaxErrorNum表示系统对原子操作的最大差错数的限制值;通过对NexpireTime和NmaxErrorNum的定义确保了系统在有限次数内的正常运转;NTimecost是由计算网格调度中心对原子运行时间代价的估计,是对原子进行初始调度的重要依据。在给定的水质模拟系统中,原子的数量在系统需要时可以予以扩充,但是总的数量是有限的,水质模拟作业在文中采用GMT=(T,F)来描述。GMT基于DGA(DirectedAcyclicGraph)建立,其中,T表示作业中可调用的原子集合,是Q的非空子集,Q表示系统中所有原子的集合。F是按原子之间的标准化参数引用方式建立的一个有向流关系F:T→T,并且dom(F)∨cod(F)=T,即在T中不存在没有有向流关系的原子。水质模拟作业的等价二元谓词也可看作一个有向图,其标准化形式表示为(T≠Ø)∧(F∈T×T)∧(dom(F)∨cod(F)=T),T可看作有向图中的点集,F看作边的集合。通过上述思想将恒定流水质模型的计算过程按照原子化的思想,经拆分和组合形成了一个在计算网格上运行的细粒度模型,从而利用网格的高性能计算能力模拟全河道的污染物运移过程。在影像分析阶段,主要任务是对像素与成果数据之间进行的计算,恒定流水质模型中包含3个基本的数据类型:①IDS1=CRGB,用于描述以6位十六进制方式存储的像素,表示成果影像中的红蓝绿三分值;②IDS2=L,用于描述色阶,不同的CRGB与实际成果数据之间的对应关系通过2个线性列表存储,L可以通过快速的插值方式计算出某一像素所对应的指数值;③IDS3=double用于存储计算的中间结果和关键数据,时间空间坐标、过水断面面积、水力半径等。此时,原子参数K可定义为集合{IDS1,IDS2,IDS3},即{CRGB,L,double}。各基本类型定义的Fiserialize和Fideserialize采用WebServices方式进行序列化和反序列化,序列化后的字符串则通过SOAP表转化协议在不同的网格节点之间传递。(2)纳污能力与模拟网格下的污染物离散浓度拟合需要对河道内水流的水位、流量和污染物的浓度进行计算,采用一维恒定流水质模型模拟污染物沿河道纵向迁移的过程,通过对河道的网格划分,使得网格节点能够与划分的河道节点污染物浓度及水质拟合。描述一维水流运动的方程组为:其中Z为水位,Q为流量,B为水面宽度,A为过水断面面积,R为水力半径,C为系数,q为单位河道侧入流量,t和s分别为时间空间坐标。采用原子化的思想对流量Q、过水断面面积A和单位河道侧入流量q三个分量建立一系列原子模型,能在原子中通过高性能计算获得每个节点上的水流流量和水位。通过因变量与其差分形式的计算,可得到对于N个断面的河道,有N-1个河段,共有2(N-1)个水流运动方程,可解出N个各断面出的水位Z和流量Q。纳污能力是指在一定的水量设计条件下,能满足水环境质量标准要求的污染物最大允许负荷量。对污染物在河道运移过程中能够均匀混合的中小型河段,文中采用一维恒定流水质模型模拟污染物沿河道纵向迁移的过程,流过长度为L后,污染物浓度计算公式如下:,式中,CL表示河段末端污染物的浓度,单位为mg/L;C0表示河道初始断面的污染物浓度,单位为mg/L;k表示污染物综合衰减系数,单位为1/s;u为断面的平均流速,单位为m/s。河段纳污能力的计算公式为:,其中M表示河段纳污能力;CS表示水质的目标浓度,单位mg/L;Q表示河段的流量,单位为m3/s;对于水流速度较慢污染物不能均匀混合的河段,其水质与污染物的入河位置无关,可以看作一个均匀的混合水体,采用零维水质模拟计算,公式如下:,河道纳污能力M=[CS-C0exp(-kt)]exp(kt)V,式中C0、Ct分别表示起始时刻与t时刻水体污染物浓度,单位为mg/L;V为水体容积,单位为m3。在对两种河段进行污染物浓度计算时,文中都采用原子化拆分思想,将纳污能力值的计算看作一个复杂任务,将这个任务拆分为可在网格上运行的原子,此时,纳污能力作业被定义为一个有唯一出口和入口的DGA(DirectedAcyclicGraph),每个原子代表一个小的任务,用以获取纳污能力计算的模型。通过将不同的河道污染物浓度信息赋予网格上不同的节点,可以实现污染物运移情况的表现,然而污染物运移模型计算的是离散点的污染物浓度信息,这些点在空间上并不与网格点一一对应,需要进行相应的拟合才能实现污染物运移的三维模拟。为此,进一步将河道按一定的距离进行相应的分割,对分割后的河道通过利用不规则三角网模型对河道进行剖分,在每一河段内通过最小二乘法拟合,得到水质模拟方程的差分方程,将差分方程按照原子化进行拆分和重新组合,提交网格进行并行化计算,从而拟合出河道不同采集点的污染物浓度信息。(3)运移特征的提取由于河道长短不一,在对河道纳污能力进行计算后,要对污染物的运移情况进行定位,利用数字高程模型(DEM)分析河道内实际污染物起伏的状况,将河道定义在x,y域离散点,以高程表达河道内实际污染物起伏形态的数字集合。DEM的核心是全河道特征点的三维数据和对全河道污染物运移提供连续描述的算法。常见的数字高程建立方法有三角网模型和格网模型,三角网模型相对于格网模型,建网比较复杂,但是三角网模型精度较高。格网模型采用了等间隔数据表示法,该数据结果在河道平缓区易产生大量的数据冗余,格网精度往往不能满足要求,尤其是在描述污染物在河道内运移时,只能粗略地描述水流从一个格网到相邻的格网的运动,没有对汇流的水流方向进行描述,所以存在一定的缺陷。全河道污染物运移过程通常都是呈带状走向的,采样点的分布也是不均匀的,如河道较宽,则采样点的分布密度较小。反之,河道较窄,则采样点的密度分布较大。综合考虑三角网模型和格网模型,利用融合DEM格网和等高线模型的不规则三角网模型结构,以格网和数字线划图为基础,生成DEM,充分利用数据属性及其拓扑关系,按照数字线划图为基准对格网进行空间细化,提取污染物在河道内的运移特征对河流轨迹进行剖分,既可以精确地描述污染物在河道内的运动方向,同时也继承了格网模型的规则,便于运移特征的提取与算法的设计。具体算法如下:①将河道的地形图通过扫描转化为栅格图像,采取河道的高程信息,生成等高线文件,以此为原始数据对河道采样点信息进行等高线差值与平滑处理,生成DEM。②在对河道进行数字化处理后,提取所需的DEM格网与河流的交点,对离散化的控制节点利用斜率计算进行删除,当某点两侧斜率相等时,该点是河流与DEM网格的交点,应予以保留;否则,予以删除。③按照河道地形坡度比降最大处,为不规则三角网的一边的基本原则,将河道进行三角化,鉴于河道与网格空间关系的复杂性,确定网格横边上的河流节点和纵边上的河流节点,建立网格数据库,计算边界点和表示边界点的属性值之和,根据格网上的边界点数以及边界点位置来确定调用的计算模块。按照上述算法,将河流进行了数字高程的空间三角剖分,得到不规则三角网的三角顶点数据,如图2所示。3污水运移模拟仿真松花江是我国的七大主要河流之一,干流长约950km2,流域面积约55.65km2,流经黑龙江、吉林两省和内蒙古自治区东部地区,共25个地(市、州、盟)105个县(旗、区、市),流域总人口约6500万。随着我国振兴东北老工业基地战略的全面铺开,松花江水污染问题日渐显现,历史上形成的工业结构分布不尽合理,流域产业结构以重化工业为主,都使得松花江成为我国目前受污染最严重的河流。2005年11月13日中国石油天然气股份有限公司吉林石化分公司双苯厂的苯胺车间发生剧烈爆炸并引起大火,导致大量含有苯和硝基苯的污水绕过污水处理通道直接流入了松花江,导致松花江硝基苯和苯等污染物严重超标,形成了长达80km的污染带,对松花江下游沿岸的哈尔滨、佳木斯,以及松花江注入黑龙江后俄罗斯的哈巴罗夫斯克市等面临严重的城市生态危机。该例中松花江河流污染物的运移可视化是通过图形图像的方式对河流中污染物进行跟踪、显示,展现出污染物在河道中