（计算机应用技术专业论文）中尺度数值预报模式mm5的并行技术分析与研究.pdf

摘婴 中尺度数值预报模式m m 5 的并行技术分析与研究 数值天气预报是当今气象预报不可缺少的重要工具，它的发展使气象 预报成为了一个和超级计算机以及并行计算关系密切的领域。本论文从介 绍数值天气预报的历史及其计算方法的特点开始，对美国宾州大学和美刚 大气研究中心的中尺度数值预报模式m m 5 的算法及其可劳行性作了详细分 机。沦文从软件和硬件两方面综述了目前和数值天气预报相关的并行计算 研究的现状，通过对矩阵相乘算法的并行编程实现及运行试验，验证了并 行计算的些普遍规律。 沦文的主要部分是对中尺度数值预报模式m m 5 的并行化技术的分析与 研究。通过对其单源一同源并行化思想的解释，以及并行化的关键技术 f o r t r a n 循环下标转换器( f l i c ) 和运行时间系统库( r s l ) 的分析，说明了。 尺度数值预报模式m m 5 在并行计算机上运行的原理。通过中尺度数值预报 模式m , 1 5 在不同机群系统上的运行试验，对其并行运行的特点进行了研究， 从中得了些关于其并行运行的结论。 最后论文对影响中尺度数值预报模式m m 5 并行运行效率的两个因素一 负载平衡和并行i o 进行了分析，通过分析其原因给出了可能的解决办法 并对令后的研究方向作了规划。 关键字 数值预报并行计算并行化r s lf l i c t h e a n a l y s i sa n d r e s e a r c ho nt h e t e c h n i q u e o fp a r a l l e l i z a t i o n o ft h ef i f t h g e n e r a t i o np e n ns t a t e n c a rm e s o s c a l em o d e l ( m m 5 ) n u m e r i c a lw e a t h e rp r e d i c t i o ni sa ni m p o r t a n tt 0 0 1i nc u r r e n tw e a t h e rp r e d i c t i o n w o r k ，i t sd e v e l o p m e n th a sm a d ew e a t h e rp r e d i c t i o nb e c o m ea na r e aw h i c hh a sa c l o s er e l a t i o n s h i pw i t hs u p e r c p m p u t e ra n dp a r a l l e lc o m p u t i n g t h i sp a p e rb e g i n sw i t h t h ei n t r o d u c t i o no ft h e h i s t o r y a n d a l g o r i t h m o fn u m e r i c a lw e a t h e r p r e d i c t i o n a n a l y z e s t h e a l g o r i t h m a n dt h e p o s s i b i l i t y o ft h e p a r a l l e l i z a t i o n o ft h e f if 1 【h - g e n e r a t i o np e n ns t a t e ，n c a rm e s o s c a l em o d e if m m 5 1i nd e t a i la f t e rm a k i n g as u m m a r yo np a r a l l e lc o m p u t i n g ，i n c l u d i n gt h eh a r d w a r ea n ds o f t w a r e ，ii m p l e m e n t t h e a l g o r i t h mo fp a r a l l e lm a t r i xm u l t i p l i c a t i o n a n dd os o m et e s tt ov a l i d a t es o m e g e n e r i ct h e o r yo f p a r a l l e lc o m p u t i n g t h em a i np a r to ft h i sp a p e ri st h ea n a l y s i sa n dr e s e a r c ho nt h et e c h n i q u eo ft h e p m l a l l e l i z a t i o no fm m 5b ye x p l a i n i n gt h et h o u g h to fs i n g l es o u r c ea n ds a m es o u r c e i n p a l a l l e li m p l e m e n t a t i o na n da n a l y z i n gt h ek e yt e c h n i q u eo f t h ep a r a l l e l i z a t i o n 一 f o r t r a nl o o pa n di n d e xc o n v e r t e r ( f l i c ) a n dp a r a l l e lr u n t i m es y s t e ml i b r a r y ( r s l ) ， a ne x p l a n a t i o no ft h ep a r a l l e l i m p l e m e n t a t i o no fm m 5 i s p r e s e n t e d i nt h i s p a p e r p m l f oz i - n a n c er e s u l t so b t a i n e d b yr u n n i n gt h ep a r a l l e l m o d e lo nd i f f e r e n t p a r a l i e l s y s t e ma l ea l s op r e s e n t e d i nt h el a s t p a r to ft h ep a p e r , ia n a l y z et h el o a d b a l a n c i n ga n dp a r a l l e l i 0t h a t i m p a c tt h er u n n i n ge f f i c i e n c yo fm m 5 sp a r a l l e lr u n n i n ga n dg i v es o m ep o s s i b l e s o l v i n g ，m a k eo u tap l a no f r e s e a r c h i nt h ef u t u r e k e 、，w o ! d s n u m e l i c a lw e a t h e r p r e d i c t i o np a r a l l e l c o m p u t i n g p a r a l l e l i z a t i o nr s lf l i c 1 1 论文背景 第一章绪论 天气预报是一种计算和数据密集型的应用，也是当今国际上公认的重大挑战 性课题之一，提高天气预报的准确率和尽可能延长预报时效一直是大气科学的重 要任务。数值天气预报要想提高准确度，一般采取两种方式：提高预报区域的网 格分辨率和采用更逼近真实大气复杂物理过程的模式，而两种方式都将带来计算 量的猛增。我们常说气象预报对计算能力的要求是无限的，因为随着计算网格密 度的增加，计算量将成几何级数增加。 2 0 0 8 年的奥林匹克运动会对我国气象领域的科学计算提出了新的挑战，国 际奥委会规定，奥运会承办城市的气象预报的网格精度要做到1 公里。国外已经 有产品可以做出1 0 0 米网格精度的气象预报，而目前我国的城市气象预报网格精 度一般为1 5 公里，国家气象中心神威i 上用于特殊气象服务的m m 5 的网格精 度最高也只能达到5 公里。 天津作为奥运会的分会场，其气象预报的任务也相当重，对预报结果定点、 定时、定量的要求使得要在尽量短的时间内处理尽量多的资料，得到最接近准确 解的预报结果。为了进一步开展天津地区中尺度数值试验研究，保证顺利完成 2 0 0 8 年奥运会的预报任务，天津市气象局于2 0 0 1 年引进了清华同万探索一1 0 8 ” 并行计算机作为并行计算应用的平台，并成立了中尺度数值试验研究课题组，最 终目的是要为天津气象局的预报工作提供一个客观的天气预报业务系统。在硬件 平台就绪后，从北京市气象局引进了美国宾州大学和美国大气研究中心研究的非 静力的中尺度数值预报模式( t h en c a r p e n ns t a t em e s o s c a l em e t e o r o l o g ym o d e l ， 其第五代模式简称m m 5 ) ，并在“探索一1 0 8 ”并行计算机上运行成功，实现了 空间分辨率为1 5 k m 、时间分辨率为逐小时、预报时效为3 6 小时的降水、风向、 风速和温度等气象要素的业务预报，运行时间为2 小时。 同年年底，天津市气象科学研究所在天津市科委申请了一个预警研究类社会 公益研究专项资金项目，项目的名称是“渤海海洋气象中尺度数值预报试验系统 研究”。该项目的主要研究内容为：建立渤海地区非静力中尺度数值预报应用试 验系统。提供空间分辨率为1 0 k r a 、时间分辨率为逐小时、预报时效为3 6 4 8 小 时的天气、风向、风速和能见度等气象要素的定时定点定量预报产品及客观评估 方法。项目的数值模式选择的是m m 5 中尺度数值预报模式，我的任务是掌握并 行编程方法，在系统研究后期，负责系统的并行试验和业务化的工作。我的论文 就是在学习并行编程和并行计算方法、分析m m 5 模式的并行化原理的过程中完 成的。 1 2 数值天气预报与中尺度数值预报模式概述 1 2 1 数值天气预报的发展过程 在5 0 年代，气象学家提出了尺度分析理论，建立了准地转模型，并于1 9 5 0 年和用这个模型在e n i v a c 计算机上成功地做出第一张数值天气预报图，成功 地说明了天气预报能够从经验估计变成客观的、定量的预报，使得天气预报变成 了一门科学，从此数值天气预报也有了它的定义：以计算机为工具，通过解流体 力学、热力学、动力气象学组成的预报方程，来制作天气预报。 5 0 年代气象学家通过大量环流的统计和物理量输送的计算。对大气环流事 实有了比较清楚的认识，在理论上对大气环流演变的动力、热力过程也有了一定 认识；并且，随着电子计算机投入业务使用，在日常天气预报业务上已可以使用 计算机进行数值天气预报。这两方面的研究成就导致人们想到利用流体力学方程 的数值模式，在电子计算机上来模拟大气环流的实际情况，因此，在5 0 年代后 半期大气环流的数值模拟研究就开始了，并于1 9 5 6 年用二层准地转模式第一次 成功地模拟了大气环流。大气环流数值试验的成功不仅形象地证明了r o s s b y 所 提出的环流的物理图像是正确的，而且为6 0 一7 0 年代数值试验的大发展奠定了基 础。 6 0 年代中期，从两层大气环流模型成功地进行大气环流数值试验以后，人 们认识到大气环流数值试验具有许多用解析解无法达到的优点，因此，国际上许 多研究小组开始研究如何改进大气环流的数值模式。此间，数值天气预报大量使 用原始方程模式，并在许多国家推广，世界上许多研究小组也利用原始方程模式 来模拟大气环流，如美国的地球流体动力学实验室( g f d l ) 加利福尼亚大学洛 杉矶分校( u c l a ) 、美国大气研究中心( n c a r ) 等都先后构造了原始方程模式， 对大气环流进行了数值模拟。 从7 0 年代起，由于大型计算机迅猛发展以及计算数学的发展，大气环流数 值试验相当活跃，世界上许多国家都先后发展了大气环流数值模拟，美国、英国、 日本、加拿大、澳大利亚及苏联都先后发展了自己有代表性的大气环流数值模式， 特别是美国的g f d l 模式、n c a r 模式、u c l a 模式、o l a s 模式等已成为国际 上代表性的数值模式。这时期的大气环流模式与6 0 年代相比要究善得多，可以 说，从2 0 世纪7 0 年代开始由于大气环流和气候的数值模拟迅速发展，使得大气 科学有可能像物理学、化学、生物学在实验室作试验一样，可以在高速超大型计 算机上进行大气环流演变以及大气科学其它分支学科的各种数值试验。 到了9 0 年代，由于数值天气预报模式的分辨率的提高以及气象卫星遥感资 料的大量应用，使得数值天气预报的时效大大延长，并开始试验月和季的数值气 候预报，天气预报已从主观估计变成了客观、定量的数值天气预报。 1 2 2 中小尺度气象学的研究 一个地方的天气变化，是由于其中一个个移动的大大小小的系统( 高压、低 压等) 引起的，这些系统称为天气系统。大大小小的天气系统是相互交织、相互 作用着、在大气运动过程中演变着的。最大的天气系统范围可达2 ，0 0 0 公里以上， 最小的还不到l 公里。常见的天气系统见表1 。 表1 常见的各种尺度的天气系统 平尺度( k m ) 2 + 1 0 32 + 1 0 22 度定义大尺度中间( 天气) 尺度中尺度小尺度 温带超长波、长波气旋、锋背风波雷暴 副热带副热带高压副热带低压、切变线飑线、暴雨龙卷风 热带热带辐合带、季风台风、云团热带风暴、对流群对流单体 天气的变化不仅与控制该地区的天气系统的种类相关，还与天气系统的尺度 有密切的关系。人们发现在中小尺度天气系统( 几公里到2 0 0 0 公里左右范围) 控制下的地区常发生狂风暴雨，造成严重的天气灾害，带来严重的经济损失；而 且，随着经济的发展，由天气异常造成的灾害及其经济损失也愈来愈大，使得人 们越来越关注天气的异常变化。因此，在2 0 世纪7 0 年代，为了掌握中小尺度天 气系统的发生和发展规律，及时准确地对天气进行预报，世界各地加强了中小尺 度气象学的研究，使中小尺度气象学有了很大发展。中小尺度气象学研究的是几 公里到2 0 0 0 公里左右的天气系统的特征、发生规律及其机理。随着天气监测网 愈来愈密集，使得中小尺度气象学的研究成为可能。 在2 0 世纪中小尺度气象学中一个突出的研究进展是根据观测和试验提出了 关于超级雷暴单体、多雷暴单体、飑线、中尺度对流复合体( m c c ) 等不同类 型的中尺度强风暴概念模型；并且，从风切变、重力波、中尺度运动的稳定性以 及中尺度系统与环境场的相互作用中提出了中尺度天气系统的演变过程和机理， 中尺度模式的研究随之展开。大气环流数值模拟的发展也使发展非静力平衡的中 尺度数值模式成为可能。 从8 0 年代起，非静力平衡的中尺度数值模式不仅能模拟积云的发展，而且 能模拟中尺度飑线和中尺度对流复合体：到了9 0 年代，由于超高速计算机的发 展和卫星资料四维同化的应用，中尺度模式在许多发达国家已用于对中尺度天气 系统控制下的区域进行天气预报和暴雨的l 临近预报( n o w c a s t i n g ) 。 1 2 3 区域中尺度数值预报模式 中尺度气象是现代气象科学中发展迅速的一个重要分支，它所研究的大气中 尺度运动，关系到区域重要灾害性天气的生消和发展。中尺度气象一方面应用卫 星、雷达、风廓线仪和自动观测站等一系列新的探测工具，通过中尺度野外试验， 揭示中尺度观测事实，另一方面通过中尺度数值模式，对中尺度天气过程进行深 入的模拟研究和预报试验。数值模拟是应用高空、地面、海洋等多种气象要素实 测资料，根据天气动力学原理，考虑影响天气系统变化的各种物理机制，在一定 的初始条件和侧边界条件下，进行数值积分计算，来求取未来各时刻的多气象要 素预报场。随着计算机技术的迅速发展，近年来中尺度数值模式已日趋成熟，成 为中尺度气象的个重要的研究和应用手段，受到预测、航空舷海、环保、军事 等部门的重视，并开始获得巨大的经济效益和社会效益。 限于计算能力和关注的重点不同，区域性的数值天气预报，越来越受重视， 如地方气象部门、军队的气象台站、环境监测部门、航海部门、机场、水库等， 是社会发展对气象需求的多元化、多层次、多方位所决定的。 从气象预报技术上来说，区域性的数值天气预报已被证明具有国家中心大范 围数值预报所无法取代的功能：它既能为各种地方用户提供详细的多种时空高分 辨率的数字产品，对晴雨、大风、高低温、沙尘、暴雨等重要天气现象的预报和 研究都有很大帮助，同时能比国家中心更了解和更易得到所在地区的日益增多的 各种探测资料，通过数值模式的四维资料同化功能，可更及时地对这些观测数据 进行质量控制和有效的综合使用，从而改进对预报至关重要的初始场的质量。 从社会需求来说，一是围绕地方经济的发展。省、地市等气象台站如何紧扣 这个主题，提供保障和服务一直是地方政府关注的重点；二是天气预报内容的内 涵也在不断扩大和深化，跨学科交叉融合、跨行业相互配合的内容越来越多，如 森林火灾管理、高速公路沿线的天气保障、大气污染预测等。 因此由美国宾州大学和美国大气研究中心联合开发的第五代中尺度非静力 数值预报模式m m 5 得到了各国的普遍应用。这种国际通用的中尺度数值预报模 式可考虑高分辨的地形和陆面使用状况等重要的局地迫动因子，并可使用复杂的 物理参数化方案，来研究和预测高分辨的局地中尺度天气现象，其相对于大模式 的灵活性、细致性，使其应用范围迅速扩大，如各种中尺度天气系统的研究；实 时预报：中尺度集成预报；区域气候预报；航空航海的气象保障；利用m m 5 来 模拟产生军事训练和分析的协同环境；在空气质量和大气化学研究中的应用等 等。 1 2 4 国内外m m 5 模式的应用情况 随着计算机技术的飞速发展，m m 5 所使用的计算平台发生了显著的变化， 从仅可用于c r a y 等巨型机过渡到可以使用于通用计算机，并从只能在有单个 c p u 的计算机上运行发展到可在含有多个c p u 的分布共享内存的并行计算机上 运行。计算效率的迅速提高，使得中尺度模式走出了少数研究中心，得到了越来 越广泛的应用，并从单纯的研究手段逐渐成为了实时业务预报的工具。目前m m 5 在美国已为4 0 多所院校、近3 0 个国家实验室和军事单位以及2 0 多个工业咨询 公司所使用，在全世界各大洲约有5 0 多个单位使用。比如意大利的气象部门， 他们将非静力的m m 5 模式作为唯一的高分辨非静力业务预报模式，实践表明 m m 5 模式的降水预报有助于确定暴雨灾害的可能发生区。 主要应用方面： 1 ) 将m m 5 模式作为一种数值研究工具开展各种中尺度天气系统的研究。 2 ) 将m m 5 模式作为一种业务预报工具开展实时预报业务。目前全球约有3 0 余个单位使用m m 5 模式开展实时区域天气预报，并在国际互联网上发布。 3 ) 集合预报采用几种不同的途径进行天气分析，m m 5 模式作为其中的一种， 与其他方法一起用来改进单一方法的业务预报。 4 ) 区域气候模式作为全球气候模式与中尺度气象模式相结合的产物，已灵活 地用于全球各区域过去、现在和将来气候的研究，m m 5 模式的引入解决了全球 气候模式分辨率低的问题。目前我国也开始利用中尺度气象模式进行江淮汛期季 风雨带季节性变动的区域气候模拟试验，得到了较为逼真的结果。 5 ) m m 5 模式已用于香港、台湾的航空保障业务预报系统，作为航空站点与航 线的预报分析工具，加强了航空安全、效率和能力，预报结果输出并上网，供有 关人员及时调用。 6 ) 随着m m 5 模式可有效地运行于工作站上，已可因地制宜地产生各个特定 地区的大气模拟场，可用以产生环境背景数据库，模拟产生军事训练的协同环境。 7 ) m m 5 模式在空气质量和大气化学研究中被用于模拟天气系统的小尺度特 征。 在我国的高性能计算应用方面，国家气象中心可以说走在了最前列，它是我 国应用计算机最早、对计算精度、可靠性、可用性要求较高的部门。表2 显示了 其采用的几款产品的应用情况。 表2 中国气象中心拥有的高性能并行机群 机器名安装时间峰值计算性能处理器数主要用途 c r a y c 9 21 9 9 4 2g f l o p s2 数值预报模式运行 i b ms p 21 9 9 585g f l o p s3 2研究、试验 曙光1 0 0 0 a1 9 9 8 3 2g f l o p s9气候模式研究 神威1 9 9 9 3 8 4g f l 0 1 3 s3 8 4 集合预报 银河_ i i i e1 9 9 92 0g f l o p s1 7 数值预报开发和业务备份 i b ms p2 0 0 07 1g f l o p s8 8 数值预报业务 运行在国家气象中心高性能计算机及网络集成环境下的天气预报服务系统 是数值预报系统( n w p 系统) 。该系统通过对实时气象资料的加工和处理，制作 出数值天气预报产品，为最终发布气象信息的预报员提供温度场、气压场、风场 的各种气象要素资料，从而为准确有效的气象服务提供强有力的支持。 n w p 系统主要包括：全球预报模式系统、有限区域预报模式系统、台风预 报系统、客观要素预报系统、侯旬月预报系统、火险预报系统、集合预报系统、 部分备份系统等子系统组成。 m m 5 模式目前仍是省、市级单位建立合理的气象预报系统的最佳方式，一 般利用m m 5 模式针对当地局部地区的地理环境特点，以较高的时空分辨率进行 时间为2 4 小时到4 8 小时的短期数值天气预报。通过采用适合当地天气演变规律 的更为复杂的物理过程以及提高预报网格的分辨率，来使预报准确率得到提高。 目前国内除了北京、上海、天津等地外，其它省市也相继购置了高性能机群 计算机系统，利用m m 5 模式开展了实时的区域中尺度数值天气预报业务。 宁夏气象局引进的是高性能计算机s g io r i g i n3 0 0 ，系统主设备为一台适合 大规模并行运算的超级服务器，主要由8 个5 0 0 m h zo r i g i n 高性能节点、个内 置式控制台、一台前端机、磁盘阵列等组成，具备峰值浮点运算速度1 2 0 亿次 秒以上的运算能力。m m 5 模式的应用改为三重嵌套，最小分辨率为5 公里。该 系统于2 0 0 2 年1 0 月底进行了终验。 陕西省气象局于今年引进了华云神箭一1 0 0 高性能机群计算机系统，该系统 采用国际主流的s m pc l u s t e r 结构，由千兆以上网络承担并行计算机的数据 交换，8 个计算节点的计算机浮点峰值速度为6 4 0 亿次秒，实测运算速度达到 3 5 8 亿次，秒。运行m m 5 模式时，使用国家气象中心中期数值模式的大尺度数值 预报场和高空、地面实时观测数据，重点同化了本地高空和地面观测的实时资料， 加入了当地的地貌地形特征，采用了三重嵌套技术方案，在空间分辨率达到了 1 5 公里。m m 5 模式运算一次仅需要7 6 分钟，就可以获得全省9 7 个县( 区) 未 来三天时效的天气预报，在预报时效上精细到以每小时为单位。该系统可以输出 未来每小时的地面降水、海平面气压、温度、湿度、风向风速等气象要素，还可 以预报出某天的最高气温、最低气温、平均气温、日降水量、最大风向风速。系 统提供的可视平台，使预报员在很短的时间内了解预报的各种气象要素物理场分 布及演变过程，预报内容丰富、客观、定量。 1 2 5 m m 5 的新发展 鉴于社会对中尺度数值模拟日趋增加的应用需求，目前美国大气研究中心和 大气海洋局以及些大学的科学家正在合作研制新一代中尺度天气研究和预报 数值模式( w r f ) ，它将为中尺度研究和业务数值天气预报提供共同的框架，它 被设计用于1 1 0 k m 格距的模拟，与将来一般计算平台上典型的实时预报能力 是相适应的。预期今后m m 5 将过渡到这一模式，成为业务部门和大学研究人员 之间的桥梁，可使目前这一领域的各部门之间在人员和思路的交换上更为容易和 广泛，w r f 模式也将为理想化的动力研究和完整物理的数值天气预报以及区域 气候模拟提供共同的框架。 1 3 本论文的研究意义 气象科研人员在中尺度数值预报模式的研究中，为了能找到更适合于本地实 际情况的预报方法，需要运用不同的个例数据及不同的物理方案对m m 5 模式的 预报结果进行检验。当对物理方案进行检验时，一方面，需要将足够多的个例数 据输入模式，将得到的计算值与实际观测结果进行比对，如果这一多次计算的过 程采用单机串行运行的话是十分耗时的，例如，在“渤海海洋气象中尺度数值预 报试验系统研究”项目中使用单台计算机进行1 0 公里网格分辨率下的2 4 小时模 拟，一次计算需要3 0 多个小时的时间，所以必须有相应的手段，使科学研究尽 量多地使用并行技术，以缩短反复运算所消耗的时间，加快科研开发的进度。另 一方面，如果在模式中选用了新的物理方案，如何令其与现有的物理方案很好地 并行协调运行，也是科研中常遇到的问题之一，这不但需要知道物理方案的知识， 还需要对模式的并行编译及运行机制有深入的了解，因此对m m 5 模式的并行编 译及运行技术的掌握也是项目研究的重要任务之一。 在中尺度数值预报模式的研究中，一般是由气象科研人员完成对物理方案的 改进和新的物理方案的开发，由于编程人员习惯串行编程，加之对并行知识的缺 乏，这些物理方案的程序一般都是采用串行方式编制的，在其基本调试完成后， 如果经过数据检验是适用的，就可进行其与整个模式系统的整合。改动后的程序 要对其并行性的完好程度进行检验，以保证对其的改动不影响其并行性；新开发 的程序要进行串行到并行的转换工作，以使其与其它并行程序的运行协调一致， 同时对新程序还要对其并行效率及对整个模式运行时间的影响进行分析；经过整 合后的模式要业务运行，必须要根据业务运行时限、预报分辨率及预报时效的要 求，来确定用何种配置的机群运行模式或者如何裁减及优化模式，以便在有限的 时间内计算出符合要求的结果。这些工作都需要在研究的基础上一项项解决，在 今后的数值预报模式研究过程中，也还会有新的并行问题出现，因此为了能够充 分利用所具有的并行计算资源，解决应用中的各种问题，研究并行编程和并行计 算、分析m m 5 模式的并行化方法及其与计算机软硬件平台的关系就变得十分重 要。 第二章中尺度数值预报模式m m 5 的算法及可并行性分析 2 1 模式大气 我们赖以生存的大气空间是一个非常复杂的物理系统，大气的运动各式各 样，不论在空间上还是在时间上都有很宽的尺度谱。大气运动不仅包含多时空尺 度的非线性相互作用，还受多种物理过程制约。对这样的运动，要想用一个包罗 万象的方法进行预报，困难是很大的。由于大气运动的高度复杂性，使得数值求 解的难度增加，计算量巨大。不过，在不失去大气主要特征的情况下，气象学者 往往把非常复杂的实际大气理想化、简单化。这就是所谓的“模式大气”。虽 然现在模式大气已经从绝热的、运动着的、无粘性的简单干燥大气发展为较复杂 的非绝热大气了，但仍然是对实际大气作了相当的简化的。 长期以来，计算机的计算能力一直是制约气象数值模拟和预报发展的瓶颈。 为实现数值天气预报的业务化，往往采取简化大气运动方程和物理过程的不得以 而为之的办法，以牺牲预报准确率来换取预报时效。 2 2 m m 5 模式的算法分析 2 2 1m m 5 的基本控制方程组 m m 5 的三维非静力基本控制方程组如下 3 】 水平动量守恒方程； 堕= - m 2 ( o p u u l m + o p v u l m ) 一篁竺+ “d ，矿一巫i 熊一! 劲 印- 2 - - l a t出 a y 7 a 口 p 文p 麟 + 豇，i v p e w c o s 0 + d 、。( 2 一】) 莩= - - m 2 ( o p u v m + 笪业) 一业+ 倒矿一亚j 篁一三蔓壁 a以 a y 7 00p l 出p a yo c t j f p u + p e w s i n o + bf 2 2 ) 垂直动量守恒方程 挲：一ia p u w l 型+ 业| _ a p * g w + 。d ，矿+ 翌五f 三蔓+ 互一堕 a ， l 缸砂j a 仃 p l p a 盯。t 劢。j p g ( q 。+ g ，) + p e ( u c o s 0 一vs i n o ) + d 。 连续性方程 垃一2|丝迹+地也卜垃+pdi矿耐p垆ato i x o y la r t ” ( 2 - 3 ) l a u m 盯印+ a u 3 v 坍 仃劫o vi o w 。 l 百一万i 丽+ 可一万号石卜卯石叩删 ( 2 4 ) 热力学能量守恒方程 警一学+ 学卜害+ 聊n 瓦1 i d p i 一咿p 和 上式中删= m 2 。1 3 p 融u m + 学 + 害 ；：掣w 一等莩。一等莩。 ppopo y ( 2 5 ) ( 2 - 6 ) ( 2 7 ) t a n = - - c o s 中凳笔豢 (2-8)a 巾却 ” 其中 为经度，中为纬度，e = 2 qc o s 巾，q 为地球自转角速度。 水汽守恒方程： 煎a t 删2 ( 笔竽+ 学) 一警啊( 名叱。一晶喝m 咄) ( 2 _ 9 ) 、 反 却 7 a 盯 州地 c 棚 “o o 川1 、”八7 警= 前学+ 学卜垃+ p ( - p ，o a c t晶峨心m 。2 - 1 0 ，a 、 加 7 m 一。删”7 一、o 。”7 () 字一( 妞o x 也+ 虹a y 玛一警彬( 巴域以) + 等魄，) a j 。8 0 j f 。“一“。r 2 a 6 x t 9 ( 2 - 1 1 ) 其中q 。、q i w 、q 。分别是水汽、云冰( 云水) 和雪( 雨水) 的混合比，p 。p 。 p m 、p 。是水汽、云水、雨水、云冰和雪之间的转换率。v 。是雨水或雪的落速。 p n 是冰核浓度决定的冰晶核化生成项，p i p 是由核化生成的冰晶在达到冰面过饱 和时的凝化项。 2 2 2 中尺度数值预报模式的差分近似算法 上述中尺度数值模式m m 5 的控制方程组都是非线性的，目前在数学上还没 有一个普遍的解析求解方法。在中尺度数值模式m m 5 中通常采用差分近似的方 法，用差商代替微商把微分方程化为差分方程，然后用代数方法在网格上求数值 解。 下面以一维平流方程为例，讨论数值解的计算方法。该方法容易推广到二维 和三维情形中去。设下列一维平流方程： 丝：一“丝( 3 1 ) a舐 方程中a 为需要计算的气象要素。方程左边为气象要素的局地变化项，方程右 边为气象要素的平流项。求解在x 轴上线段a b 间的气象要素a 的分布。在数 值解法中实际上是把a b 分成有限个是区域网格，在网格点上求气象要素的 数值解。具体解法是：从t = 0 开始，先给出气象要素在备网格点上的初始值钟， 然后计算( 3 - 1 ) 式中右端项，得出丰刀始时刻各格点上的警卜下一时刻t 2 a t 的气象要素爿f 1 贝。为爿? ：爿? + f 。警l 。按这种方法依次向前推进，可以求 甜l 得任意时刻的气象要素分布。下标i 表示差分格式中的第i 个格点。图2 1 为数 值解步骤的流程图。数值解计算的关键是如何把平流方程中的气象要素局地变化 项和平流项用有限差分格式表示出来。 开始p 图2 1 数值解步骤的漉程图 丝和塑是气象要素a 的时间导数和空间导数，采用不同的有限差分方法， 所计算出的导数的精度也不同。在数值预报中将来的状态是未知的，要通过模 式的计算来获取，因而要求设计的差分格式必须是计算稳定的。而用差商代替微 商，误差是不可避免的，只有将计算误差控制在一定范围内，才能保证数值积分 的正常进行。 在离散的等距网格点x 上，出气象要素a ( x 的泰勒展开可得： 扯一6 x ) = a ( x ) - - - 等i ，甜到。等 b ， 利用上述两式可以导出垒i 的三个表达式，即 赳 ：a ( x + 6 x ) - a ( x ) 血 误差量级是x 丝i = a ( x ) - a ( x - a x )误差量级是x c l ，缸 丝1 ：a ( x + a x ) - a ( x - a x ) 误差量级是x 2 x j 。 2 x 上面三个差分式分别叫向前差分、向后差分和中央差分，误差的量级取决于 泰勒展开式中被略去项的前一项的量级，也就是说这种误差是由截去了泰勒展开 式中的高阶无限小项引起的，所以也叫截断误差。一般来说，截断误差的阶数越 高，则有限差分近似式越精确。对于平流方程( 3 - 1 ) ，在时间和空间上都采用中 央差分，可以得到： 型二丛：一监丛二坠丛( 3 - 4 ) 2 f2 x 或者表示为： 1 刊而“鸽一“船) 尝 ( 3 1 5 ) 这种差分格式也称为蛙跃格式，在一定条件下是稳定的。 上述方法可以扩展到多维差分方程的求解。利用时间分裂的概念，可将任意 多维差分方程分解成若干个一维差分方程，逐个去积分求解。 如二维平流方程： 塑：一“塑一v 丝( 3 6 ) a ，出 印 可以分解为两个平流方程： 0 a i ；一“型和丝1 ：一v 0 a ( 3 - 7 ) ( 3 - 8 ) o t l ， 融 o t l ，劫 丝：丝l + 丝l ( 3 - 9 ) 8 t 8 t 。o t l 。 对上式按中央差分方法分别求解。如果一个格式对于一维是稳定的，用分步 法计算多维时仍然是稳定的，稳定性条件并不发生变化。采用分布法还能改进解 的精度。 中尺度大气运动模式方程组的数值求解方法很多，大致分三类，一是前面讲 的差分方法，二是用某种基函数( 如球谐函数) 将场变量展开为有限项的线性组 合，再利用基函数的特性，将偏微分方程化为以展开系数及其对时间微商的常微 分方程组，然后再用差商代替微商求数值解，称为谱方法：三是把偏微分方程问 题变为泛函极小问题求解，如里兹法和有限元方法。这三种方法中差分方法应用 最广泛且显示出它的优越性，在全球范围的中期模式和大气环流模式中被广泛使 用。 2 2 3m m 5 模式涉及的其他方法 1 套网格技术2 】 常用预报方程差分格式的截断误差主要是空间截断误差。要减小这种误差， 不论提高空间分辨率或提高空间差分的精度都可以达到目的。但是要在整个计算 域内提高空间分辨率，会使计算量迅速增加，从而限制了我们对复杂模式的计算： 而提高空间差分精度，又往往比在低阶差分的情形难于找到合适的边界条件并容 易导致计算不稳定( 全球预报除外) 。这就促使人们寻找另外的途径套网格 技术。 套网格是指对计算的大区域取较粗的网格，而对其中所关心的小区域( 重要 天气系统所在的地区) 取细网格，使得既可以改善预报质量，又可以使得计算量 的增加不致太大。如果在细网格区域中再取更细的网格，我们称为多重套网格。 当细网格区域相对于粗网格位置不变时称为固定套网格，否则称为移动套网格。 当只有粗网格影响细网格取值时，称网格是单向的，否则称网格是双向的。m m 5 模式的设计就采用了双向多重移动套网格方案，因而在做模拟研究时可以方便地 跟踪天气系统。 2 四维变分资料同化【2 要准确地制作数值天气预报必须具备两个基本条件：一是数值模式能足够精 确地反映我们所关心的天气过程的演变规律：二是模式初始值能足够精确地反映 初始时刻的大气状态。近年来随着数值预报技术的日益完善和计算能力的迅速提 高，以及人们对大气中各种物理过程更深入的了解，使我们能够设计出越来越精 细的数值模式，可以相当真实地描写和模拟出实际天气过程的演变发展。但是这 些模式在应用时，常因初值不理想而不能发挥应有的作用。业务上广泛使用的间 歇同化分析系统并不能充分有效地利用大量卫星资料和雷达资料所提供的有效 信息，为数值模式提供理想初值，因此在2 0 世纪9 0 年代发展了全新的四维变分 资料同化方法。 这种方法将动力约束与资料约束以及不同时刻的一切观测资料作为个整 体同时考虑，依据变分原理和共轭方程理论，利用同化时段内多时次资料中所包 含的时间演变信息，求解出一个最优的初始条件。这种最优初值既与数值模式相 协调，又能使同化时段内的模式预报值最大限度地符合实际观测值。与传统的四 维同化方法相比，变分同化方法具有明显的理论优势和广阔的应用前景。m m 5 模式就加入了四维资料同化系统，从而可以进一步改进预报效果。 2 3m m 5 模式并行计算的可行性分析 并行计算给气象模拟与预报技术的发展带来了极好的机遇，国内外都在积极 开展这方面的研究。研究人员关心的是并行计算技术在大气科学领域应用的可行 性问题。这个问题不仅取决于计算机技术人员和气象工作者的勤奋与聪明才干， 而且也与大气科学的性质有关。 大气运动的物理特征是适合于并行处理的。如大气中的水平、垂直运动，各 种非绝热物理过程，在定程度上都可以看作是相互独立的。由于大气的水平尺 度远远大于垂直尺度，在数值模式的设计中，可以把大气的运动在水平和垂直方 向适当加以分解。水平方向上主要是与大气水平运动有关的不同尺度或同一尺度 的平流运动以及非线性相互作用；垂直方向主要是与大气层结有关的非绝热过 程。可以以此为基础设计大气运动数值模式的并行计算方案。 大气的水平结构尤其具有相对独立性。对于天气系统的研究，如气团、雨带、 锋面等都可以分块隔离式地进行模拟。还可以根据天气系统发生发展的扰动特 征，分别按照超常波、长波、短波系统来研究天气现象发生、发展、维持、崩溃 的机制。对影响大气运动的物理过程而言，也可以单独计算某一物理过程。 大气结构具有明显的垂直层结特征，如热力学层结、层流和湍流特征等，在 垂直方向上通常把大气分为边界层、中间层和热层等，各层问有明显的分界面。 考虑到大气层结的不同特征，可分别建立相应的模型方程，以内外边界相连结， 构成多层整体模式。 对于采用显式时间积分和有限差分方法的大气模式，可采用分区域并行计 算，把一个格点上的垂直气柱看成一个柱体，把整个预报区域分成若干子区域， 并行地进行各子区域的计算，通过某种方式，在各子区域之间交换必要的信息， 基于这样特点的模式可有很高的并行度。目前大多数中尺度数值模式都采用有限 差分方法，因此更容易实现并行计算( 见图2 2 ) 。 圈2 2 中尺度模式格点结构： 每个圆柱体为一个格点位置，先依次对每个柱体由下 向上积分，再分片由南向北积分，晟后由西向东积分 上述大气的可分性是相对的，大气模式的可分性与耦合性与预报对象的时间 尺度和空间尺度有关。但这也同时表明，大气科学问题的可分性与耦合性是实现 此类问题并行计算的物理基础。 而且使用有限差分的大气模式的与最临近部分交换数据的通信模式已被证 明是最适合并行实现的，所采用的划分方法一般是将模式的数据域按处理器数目 等分，将子域的数据装入各处理器的数组，再对数组进行相应的扩充，以存放计 算中可能需要与临近处理器交换的数据，并在每一时间步计算完毕后进行更新。 见示意图2 3 。 d12 p - 1 图2 3 模式域划分和通信示意图 综上所述，在数值预报模式中实现并行计算是可行的，尽管在算法及模式结 构上还有许多问题需要探索，但并行计算技术在数值天气预报领域有着广泛的应 用前景。 第三章中尺度数值预报模式与并行计算 3 1 天气预报中的计算与计算科学 随着计算机和计算方法的飞速发展，几乎所有的学科都走向定量化和精确 化，从而产生了一系列诸如计算物理、计算化学、计算生物学、计算地质学、计 算气象学和计算材料学等的计算科学，在世界上逐渐形成了门计算性的学科分 支，即计算科学与工程。当今计算科学已经和传统的两种科学，即理论科学和实 验科学，并列成为第三门科学，它们彼此相辅相成地推动着科学发展与社会进步。 气象科学本质上是实验性科学，但由于无法建造“真实大气实验室”，只能以 “模式大气”替代“真实大气”，因此，计算就成为求解气象问题的主要手段。多年 来气象科学家和计算机科学家在不断的研究和实验的过程中对天气预报中用到 的计算方法和相关理论进行总结并针对不同的问题逐渐将求解思路固定下来，最 终形成了用计算作为主要手段解决该类问题的一套固定的解题思路或称为“模 式”，如本论文涉及的中尺度数值预报模式就是为了用计算手段解决中尺度天 气系统的预报问题而形成的一套求解思路和计算方法。 将计算引入天气预报极大地增强了人们从事气象科学研究的能力。与此同时 气象科学研究也对计算机的性能提出了更高的要求，成为了科学和工程计算中的 重大挑战性课题，从美国的“高性能计算和通信”计划( h i g hp e r f o r m a n c e c o m p u t i n ga n dc o m m u n i c a t i o n ，简称h p c c 计划) 中提出的计算需求中( 见图 3 1 1 ) 就可以看出，天气预报对计算机能力的要求是很高的，对内存的要求可能 到g b 级，对系统计算速度的要求则可能到t f l o p s 级。 图3 1 1h p c c 方面的重大挑战性课题的需求 利用数值模式进行天气预报需要功能非常强大的计算机，因为大气建模是通 过将大气层划分成三维网格区域来完成的，模型使用相当复杂的数学方程来估测 各种影响。实质上在某一时间间隔内的每个网格中的条件( 温度、压力、湿度、 风俗和风向等) 是通过使用在前一时间间隔中的条件进行计算得到的，每个网格 的计算要重复许多次以模拟时间的推移。使得大气模式具有有效性的关键在于必 须有足够多的网格数，并且由于大气层会受远距离事件的影响，为预报数天豹天 气，必须有较大的覆盖范围。假定将整个地球大气层分成大小为1 英里1 英里1 英里的许多网格，布满从地面至1 0 英里的高度( 即1 0 个网格高) ，粗略地估算 约有5 1 0 8 个网格。假设每个网格的计算需要2 0 0 次浮点运算，则在一个时间步 中就必须完成1 0 “次浮点运算。如果想预报l o 天以上的天气，使用的时间间隔 为1 0 分钟，此时就需要1 0 4 个时间步和总计1 0 ”次浮点运算，那么对一个运算 速度为1 0 0 m f l o p s ( 1 0