NCEP集合预报系统在亚欧和北美区域的预报效果对比

NCEP集合预报系统在亚欧和北美区域的预报效果对比段明铿;王盘兴;李驰钦【摘要】使用NCEP集合预报系统(EPS)输出的500hPa位势高度场预报资料和相应的NCEP/NCAR再分析资料，针对集合平均预报和概率预报，采用多种预报效果检验评价方法，对该系统在亚欧和北美区域的预报效果进行全面的分析比较总体而言，NCEP—EPS对亚欧区域的环流集合预报效果不亚于其对北关区域的预报效果。1)ACC检验表明，亚欧区域的集合平均预报效果在除冬季外的三个季节都明显优于北美区域，可用预报的时效相差达0.6~1d,且夏季的差别最大。RMSE检验表明，亚欧区域的预报效果在四个季节里均优于北美区域。2)集合概率预报可靠性的季节差别不明显，均为预报时效较短(长)时，北关(亚欧)区域的可靠性更好。系统对亚欧区域的事件识别范围相对较小，但其预报可靠性较高，北美区域则正好相反。3)夏季亚欧区域的集合概率预报效果明显优于北美区域，秋季和冬季北关区域的预报效果较好，春季在预报时效小于5d时北美区域占优，而其后则是亚欧区域的预报分辨能力更好。％Basedontheforecastdatasetof500hPageopotentialheightfieldsfromNCEPensemblepredictionsystem(EPS)andthecorrespondingNCEP/NCARreanalysisdataset,theensembleforecastingperformanceinEurasiaregion(EA)iscomparedwiththeperformanceinNorthAmericaregion(NA).Byseveralforecastverificationandevaluationmethods,thecomparisonsfocusontheensemblemeanforecastsandensembleprobabilisticforecasts.Ingeneral,theNCEP-EPScirculationensembleperform-anceinEAisnothinglessthanthepredictioninNA.1)ACCshowsthat,exceptinwinter,theensemblemeanforecastsinEAintheotherthreeseasonsareclearlysuperiortothoseinNA,andtheirdifferenceofmaximalleadtimeofuseableforecastsis0.6-1d,withthelargestdifferenceinsummer.RMSEshowsthattheforecastresultsinEAinthefourseasonsarebetterthanthoseinNA.2)Theseasonaldifferencesofreliabilityofensembleprobabilityforecastingarenotevident.Fortheshorter(longer)leadtime,thereliabilityinNA(EA)isbetter.TheidentificationrangeofsynopticeventsinEAisrela-tivelysmaller,butthereliabilityisrelativelyhigherintheregion.ThisconclusionisoppositeinNA.3)Insummer,theensembleprobabilitypredictionsinEAareclearlysuperiortothoseinNA.Inautumnandwinter,therearebetterresultsinNA.Inspring,whentheleadtimeislessthan5d,theresultsinNAarebetter,butwhenitismorethan5d,thereisbetterforecastingresolutioninEA.期刊名称】《大气科学学报》年(卷),期】2012(035)006【总页数】11页(P641-651)【关键词】集合预报;NCEP；亚欧区域;北美区域;预报效果【作者】段明铿;王盘兴;李驰钦【作者单位】南京信息工程大学气象灾害省部共建教育部重点实验室,江苏南京210044;南京信息工程大学气象灾害省部共建教育部重点实验室,江苏南京210044;南京信息工程大学气象灾害省部共建教育部重点实验室,江苏南京210044【正文语种】中文【中图分类】P457集合预报是近20a来迅速发展并广泛应用的一种数值预报方法(陈静等，2002;段明铿和王盘兴，2004)。它可以取得比单一确定性预报更好的预报结果，且可凭借其多成员优势提供更为合理的概率预报结果，提高预报的可用性。欧洲ECMWF(Moltenietal.，1996)、美国NCEP(TothandKalnay，1993)和加拿大CMC(Houterkameretal.，1996)等采用不同方法构建了集合预报系统(EPS)，并已发展成为数值天气预报领域的重要预报手段(麻巨慧等，2011)。以此为基础，中国(皇甫雪官，2002)、日本和南非等国也相继建立了集合预报系统。2003年，世界气象组织实施了与此有关的THORPEX计划，其目标之一就是检验和展示多虱多模式和多分析的全球集合预报系统的效果(WMO,2005)。至U目前为止，该计划已经为全球各国集合预报系统的发展和共享做出了巨大贡献(智协飞和陈雯，2010)。对预报结果进行检验评价是使用和发展数值预报系统的重要一环，通过检验可以了解模式系统的预报特点(Zhuetal.,1998;段明铿等，2009,2011)，有助于进一步改进和发展预报系统(JolliffeandStephenson,2003)。对用户而言，对预报效果的检验评价既可以帮助其深入认识预报系统对不同要素在不同区域的预报效果，从而有选择地直接应用预报产品，也是其对模式产品进行进一步开发利用的基础。后者是近年来新的研究重点和发展方向，例如利用多国集合预报系统有关结果构建超级集合预报系统时，作为基础，就需要对各分系统的预报产品进行检验评价，然后根据其预报能力赋予不同的权重，以期得至最优的超级集合预报结果(林春泽等，2009；智协飞等，2009;Zhietal.,2012)。由于各国集合预报系统所关注的重点不同，在初始场、初始扰动生成方法、模式框架、模式参数化方案和集合成员数等方面均有不同之处，因此其预报效果也具有明显的时间和空间差异(Buizzaetal.,2005;Duanetal.,2012)。具体到本文所针对的NCEP集合预报系统(NCEP-EPS)，对该系统的检验评价通常关注的是整个北半球或者北美地区，而很少关注东亚及其上游地区，如果在我国或东亚地区使用该系统的预报结果，就有必要对该系统在亚欧区域的环流预报进行深入的检验评价。鉴于此，本文利用NCEP-EPS提供的500hPa位势高度场预报资料，对亚欧和北美地区的集合平均预报和概率预报效果进行全面分析对比，包括3个方面内容:集合平均预报效果比较;集合概率预报结果的可靠性比较;集合概率预报结果的分辨能力比较。通过对比，旨在说明该预报系统在亚欧地区预报结果的可用性。使用的资料有两类:NCEP-EPS预报资料(TothandKalnay，1993)和NCEP/NCAR再分析资料(Kalnayetal.，1996)。预报资料为该系统10个集合扰动预报成员的全球500hPa高度预报场，起报时刻为2002年9月1日至2003年8月31日的每日00时(世界时，下同)，预报时效为0.5-16d,间隔为0.5d,格点分辨率为2.5°x2.5。。再分析资料有两类，其中1950—1999年的逐日全球500hPa高度场资料用于确定气候等概率区间，而2002、2003年每日00时和12时的资料则作为预报效果检验的实况分析场，其时空分辨率与预报资料对应。分析时以季节为单位，分别对秋季(2002年9—11月)、冬季(2002年12月—2003年2月)、春季(2003年3—5月)和夏季(2003年6—8月)四季进行。其中2003年7月12日和8月27日预报资料缺失，因此四个季节参与对比分析的预报日数分别为91、90、92和90d。在整个分析时段内NCEPEPS没有大的调整，因此集合预报效果主要反映的是季节间的差异。选择的分析区域分别为亚欧区域(40~150°E,15~80°N)、北美区域(60~170°W,15~80°N)。这两个区域所处的经、纬度间隔相同，格点数相同，面积相等。这样可以使比较结果更加客观。本文对确定性预报和概率预报分别进行检验评价。Duanetal.(2012)较全面地讨论了对这两类预报进行检验评价的具体方法和原理，因此这里仅作简要说明。对确定性预报的检验，采用常见的距平相关系数(ACC)和均方根误差(RMSE)检验(刘还珠和张绍晴，1992)。而对集合概率预报的检验评价则相对较复杂，预报总体结果既要与气候平均状况一致(可靠性，reliability),又要具有对个别天气事件的识别和预报能力(分辨能力，resolution).预报的可靠性可以利用历史资料进行订正，而分辨能力不可订正。这里采用Talagrand分布和可靠性曲线来揭示预报系统对天气事件的预报概率与其实际发生频率的差别，反映预报系统的可靠性。Talagrand分布首先将集合成员进行非降序排列后形成区间，然后统计实况分析值落在各区间内的频率分布(Hamill,2001)。可靠性曲线则通过比较事件的预报概率和观测频率的对应关系，来反映系统的可靠性。理想情况下，事件的观测频率和预报概率应当相等(Hamill，1997)。作为分析预报系统可靠性的常用方法，两者分析的侧重点不同，前者可以分析得到系统性偏差的基本特征(例如整体偏高或偏低等情况)，而后者则可以更详细地得到不同频率天气事件的预报概率状况(例如系统对某种频率事件的预报概率偏高，而对另一种频率则偏低)。对分辨能力的评价主要采用ROC(relativeoperatingcharacteristic)分析。它是信号探测理论在预报检验中的应用(ViatcheslavandFrancis,2003)。在某预报时效下，对检验区域和时段内的所有格点，考虑预报出现或不出现两种状态，然后用实况去检验预报结果，其结果必是下列4种情况之一:命中(h)、正确否定(c)、漏报(m)和空报(f)，显然有h+f+m+c=1,且有_o=h+m,表示事件的气候频率。可以定义预报命中率H和空报率F分别定义为ROC分析就是通过计算预报的命中率和空报率来描述系统的预报能力。命中率越高，空报率越低，则预报效果越好。这仅仅是针对确定性预报的处理方法。对概率预报而言，还需要确定多个概率阈值p*(如取p*=0%,10%，…，100%)，当天气事件的预报概率不小于概率阈值时，认为预报天气事件发生，否则不发生;然后根据不同的概率阈值将概率预报转化为确定性预报，再进行分析(Talagrandetal.,1997）。本研究以落在同一气候等概率区间（Tothetal.,2001）的集合成员数与总成员数之比作为概率阈值。下面对NCEP-EPS在亚欧和北美区域的500hPa位势高度场的集合平均预报效果进行比较。由图1可看出，秋、春、夏季NCEP-EPS对亚欧区域500hPa高度场的预报效果明显优于北美区域，而冬季则北美区域的预报效果更好。总体来看，秋、春、夏季两个区域的预报效果差别特别明显。具体表现为:在预报刚开始的2~3d,预报效果的区域差别并不明显;进入中期预报阶段后，亚欧区域的预报效果就开始比北美区域好，而且随着预报时效的增加，差别越来越大;直到预报后期（10d以后），北美区域在秋、夏季的预报效果才会比亚欧区域好，但此时预报的误差已经很大，ACC值仅为0.1~0.3，预报结果基本不可用。在冬季，从预报一开始，北美区域的预报效果就比亚洲区域好，并且随着预报时效的增大两者的差异也越来越大，直到预报结束（16d）。通常以ACC值大于0.6的预报作为可用预报。根据图1和表1,比较ACC等于0.6时的预报时效（可用预报的最大预报时效），可以看出，在秋、春和夏季，两个区域的预报时效相差0.5-1d,其中以夏季的差别最大。亚欧区域的可用预报时效可达8d，而北美区域仅为6.5~7d。在冬季两者的差别达到1d。对每个区域的可用预报最大时效的季节差异进行比较,可以发现,其预报效果在两个区域都表现为:在秋、春季的预报效果相当,冬、夏季差别明显。其中亚欧区域在夏季的预报效果更好,而北美区域则在冬季的预报效果更好;亚欧区域在秋、春季节的预报效果是全年中最好的，达到8d，夏季次之，冬季最差。北美区域在冬季的预报效果是全年中最好的,秋、春季次之,夏季最差。图2是两个区域的集合平均预报的RMSE分析结果，与ACC分析的结果略有不同。可以看出,在所有被检验的4个季节,亚欧区域的预报效果均优于北美区域,且其差异随着预报时效的增加而增大。其中，秋、春、夏季两者的差别非常明显，而冬季预报初期（预报时效小于5d）基本没有差别，但此后的差异越来越大。综合上述两种检验方法的结果可见，在分析时段内NCEP-EPS在亚欧区域的集合平均预报总体上明显优于北美区域。对两个区域高、低分辨率单一预报的比较也得到了类似的结论（图略）。这说明两个区域预报效果的差异主要是由于预报系统在不同区域的预报能力和预报对象本身的可预报性决定的，不同的预报技术（集合预报或单一预报）对确定性预报结果的相对大小影响不大。该结果初步说明NCEP-EPS在亚欧区域的确定性预报效果是较好的，可以用于对该区域中期天气过程的分析。前述指出，一个预报系统提供的有技巧概率预报结果必须满足的首要条件就是可靠性。下面分析NCEP-EPS对亚欧和北美区域500hPa高度场概率预报结果的可靠性问题。分析主要针对以下2个问题:1）集合成员的预报结果作为预报概率密度函数中的取样，实况检验值是否落在这个取样的范围之内?2）高度场的预报概率与观测频率之间有何差别?根据问题的性质，对上述2个问题分别采用Talagrand分布和可靠性曲线来进行分析。图3给出了夏季亚欧和北美区域集合结果的Talagrand分布。根据Talagrand分布原理，10个集合成员非降序排列后可划分为11个区间，理想的Talagrand分布应该在所有区间一致，也就是说实况值落在每个区间的概率是相同的（图中黑色直线）。但实际情况并非如此，其概率分布会呈现出不同的形态。概率分布左右不对称表示集合平均存在偏差。如果实况分析场落在第1和第11个区间内就表示落在集合成员的包络之外，也就是说所有的集合成员都出现了预报偏差。具体地，落在第1（11）个区间表示集合预报结果整体偏高（低）。从集合离散度的角度来考虑，落在第1和11个区间的概率之和大于期望值（这里是2x（1/11）^0.182）就说明集合成员的离散程度不足，没有把实况分析值包括在预报概率密度函数的取样空间内在图3中，无论是亚欧还是北美区域都是这种情况。这也是目前集合预报系统存在的普遍问题（Talagrandetal.,1997）。夏季落在第11个区间的概率明显大于其他季节，说明集合预报结果整体上易偏低，并且随着预报时效增加，偏低的概率增高。在预报初期（图3a、b和c），各区间之间的概率差别相对较小，落在中间区间（第6个区间）的概率与落在第1个区间的概率差别不大，因此预报可靠性相对较高。预报时效为7、10d（图3d、e）时，偏差越来越明显，实况分析值落在集合成员包络外的概率越来越大。就两个区域的比较而言，在1、3、5d时，北美区域的预报效果较好，7、10d时亚欧区域的预报效果较好。对其他3个季节的比较可以得到上述类似结果。进一步分析四季的Talagrand分布的均方差（图4）可以看出，在预报初期（时效小于6~7d）,四季的亚欧区域均方差都大于北美区域，且差异非常明显，说明北美区域的预报可靠性相对较高。此后，除了秋季的两者相当之外，其他3个季节都是亚欧区域的预报可靠性更高。整体而言，秋季均方差最小，冬、春季次之，夏季最大;时效为3~7d的均方差增长迅速。如前所述，可靠性曲线分析的目的是了解预报系统对天气事件的预报概率与其实际发生的频率是否一致，以及预报系统可以识别哪些观测频率下的事件。这种对比是建立在统计平均基础上的，也就是说必须基于大样本数分析。本文研究的区域和涉及的时段完全可以满足这一要求。图5为夏季两个区域的500hPa高度场集合预报可靠性曲线（图中对角线表示理想状态，预报概率与观测频率完全一致）。可以看出，低（高）于10%~15%预报概率的事件，其观测频率一般相对偏高（低），曲线上相应的点位于对角线以上（下）。随着预报时效的延长，预报与观测的差别越来越大，特别是预报概率高于10%~15%的事件。到预报时效为10d时，北美区域预报概率为70%的事件对应的观测频率仅为20%左右，预报偏差特别明显。对两个区域的比较可以看出，在预报时效较短（1、3、5d）时，北美区域的预报可靠性高于亚欧区域;在时效为7、10d时，亚欧区域的整体预报可靠性略高。对其他几个季节的分析表明，秋、冬季北美区域在所有的预报时效下均比亚欧区域预报可靠，而春季与夏季的特征相似，亚欧区域在预报时效较长时较可靠。可靠性曲线还可以给出系统可以识别的事件观测频率范围，也就是当预报概率从0%变化到100%时，对应的观测频率的变化范围，由所有预报概率下的观测频率最小值和最大值确定。表2给出的就是与图5对应的夏季NCEP-EPS集合预报结果可以识别的观测频率的范围。可以看出，两个区域在预报初期（1、3d）的识别能力相差不大，此后尽管亚欧区域在低观测频率一端的范围大一些，但总体上还是北美区域的识别能力更强。对其他季节进行这样的分析后发现，总体上NCEP-EPS对北美区域的识别能力更强。综上所述，尽管对北美区域的事件识别范围更大，但是其预报可靠性相对较低，而在亚欧区域则正好相反。在上述可靠性分析的基础上，下面对集合概率预报结果的分辨能力进行对比。按照第2节给出的分析方案，对四季的集合概率预报结果进行ROC分析。图6给出了夏季预报时效为1、3、5、7、10d时，两个区域的集合概率预报ROC曲线。图中每条曲线上的点由不同概率阈值下的命中率和空报率确定，自右上角到左下角的点（包括点（1，1）和点（0，0））分别对应概率阈值为0%、10%、…、100%时的命中率和空报率。显然，曲线越靠近左上角，命中率越高、空报率越低，说明预报效果越好。左上角的点对应理想预报（所有的预报均正确，命中率为1、空报率为0）。曲线越靠近对角线，则说明预报效果越差。在对角线上，命中率和空报率相等，认为其预报结果与气候预测结果相当，已经不能识别具体的天气事件，对天气预报而言没有价值。如果曲线位于对角线以下，则说明其预报结果还不如气候预测。比较两个区域夏季的ROC曲线可以看出，当预报时效为1d时（图6a），两个区域的差别不太明显，曲线非常接近。两者的差别主要表现在:低概率阈值（10%、20%）下亚欧区域预报效果略好于北美区域，预报的空报率更低;概率阈值大于30%时，北美区域的预报效果更好。预报时效为3d和5d的结果（图6b、c）类似，主要是低概率临界值下，北美区域的预报命中率和空报率都较高，最终的结果是两者的差别不明显。预报时效达到7d后（图6d、e），两个区域的预报出现了明显差别，在所有的概率阈值下，亚欧区域的预报效果均优于北美区域，表现为命中率高、或者空报率低、或者两者兼而有之。从整个预报的演变过程来看，随着预报时效的增加，预报效果整体下降;当预报时效达到10d时，北美区域的ROC曲线已经很接近对角线了。尽管ROC曲线可以反映预报评价的详细信息，但是限于篇幅，不便于给出所有预报时效下的ROC曲线。为了了解ROC分析的整体结果，使用ROC面积对各季节的ROC分析结果进行比较。所谓“ROC面积”就是ROC曲线下方包围的面积。与上述分析相对应，理想预报结果的ROC面积为1,面积越小则预报效果越差;当ROC面积小于0.5时，说明系统的预报效果还不如气候预测。图7给出了亚欧和北美区域四季的ROC面积。在秋季（图7a），预报时效小于5d时，亚欧区域的预报明显优于北美区域，但大于5d后两者之间没有明显差别。在冬季（图7b），北美区域的预报效果总体上优于亚欧区域，在预报时效小于7d和大于10.5d时最明显，该结果与第3节的集合平均预报效果分析结论基本一致。在春季（图7c），预报时效小于5d时，北美区域的预报效果较好，而大于5d后，亚欧区域的预报效果更好，且后者的差别比前者的差别大很多。结合图5可以看出，在夏季（图7d），两个区域在预报时效小于5d时差别很小，仅仅在2d的预报中北美区域更好;而预报时效大于5d后，亚欧区域的预报显著优于北美区域的预报。综上所述，对集合概率预报的分辨能力而言，NCEP-EPS对亚欧区域的预报整体上不亚于北美区域，特别是在夏季，该系统对亚欧区域的预报效果明显优于北美区域。秋季和冬季则是北美区域的预报效果较好，春季在预报时效小于5d时北美区域占优，而其后则是亚欧区域的预报效果更好。采用ACC和RMSE检验、Talagrand分布和可靠性曲线以及ROC分析方法，分别对亚欧和北美区域的确定性预报、概率预报结果的可靠性和分辨能力进行了全面检验评价，对比分析了NCEP-EPS在这两个区域各季节的预报能力，得到如下结论:1） 集合平均预报的ACC检验表明，亚欧区域的预报效果在除冬季外的3个季节都明显优于北美区域，可用预报的时效相差达0.6-1d,且夏季的差别最大。RMSE检验则认为，亚欧区域的预报效果在4个季节里均优于北美区域。2） 针对集合概率预报可靠性的Talagrand分布分析表明，系统这方面的特征在4个季节均比较一致，表现为预报时效较短（长）时，北美（亚欧）区域的可靠性更好。可靠性曲线的分析则说明，系统对亚欧区域的事件识别范围相对较小，但其预报可靠性较高，北美区域则正好相反。3） 针对集合概率预报分辨能力的ROC分析表明，夏季亚欧区域的预报效果明显优于北美区域，秋季和冬季则是北美区域的预报效果较好，而春季在预报时效小于5d时，北美区域占优，而其后则是亚欧区域的预报效果更好。需要说明的是，本文是基于1a预报资料对NCEP-EPS的分季节检验评价，尽管从统计学的角度看，其结果已相当可靠（Duanetal.,2012），但考虑到天气气候的年际差异，对多年预报结果进行更全面的评价也是非常有意义的。此外，本文的检验评价仅涉及500hPa位势高度场，要全面了解预报系统的性能，还需要对其他更多变量进行检验，例如地面气温场等。这些都有待在后续的研究中进一步完善。致谢:本研究使用的预报资料由NOAA-NCEPEnvironmentalModelCenter提供，实况分析资料由NOAA-CIRESClimateDiagnosticsCenter提供，谨致谢忱！陈静，陈德辉，颜宏.2002.集合数值预报发展与研究进展[J].应用气象学报，13（4）:497-507.段明铿，王盘兴.2004•集合预报方法研究及应用进展综述[J]•南京气象学院学报，27(2):279-288.段明铿，王盘兴，吴洪宝，等.2009.夏季亚欧中高纬度环流的集合预报效果检验[J]•应用气象学报，20(1):56-61.段明铿，王盘兴，吴洪宝.2011.500hPa位势高度场极端天气事件的NCEP集合概率预报效果分析[J].大气科学学报，34(6):717-724.皇甫雪官.2002•国家气象中心集合数值预报检验评价[J].应用气象学报，13(1):29-36.林春泽，智协飞，韩艳，等.2009.基于TIGGE资料的地面气温多模式超级集合预报[J].应用气象学报，20(6):706-712.刘还珠，张绍晴.1992.中期数值预报的统计检验分析[J].气象，18(9):50-54.麻巨慧，朱跃建，王盘兴，等.2011.NCEP、ECMWF及CMC全球集合预报业务系统发展综述[J].大气科学学报，34(3):370-380.智协飞，陈雯.2010.THORPEX国际科学研究新进展[J].大气科学学报，33(4):504-511.智协飞，林春泽，白永清，等.2009.北半球中纬度地区地面气温的超级集合预报[J].气象科学，32(5):569-574.BuizzaR，HouterkamerP，TothZ，etal.2005.AcomparisonoftheECMWF，MSC，andNCEPglobalensemblepredictionsystems[J].MonWeaRev，133(5):1076-1097.DuanM，MaJuhui，WangPanxing.2012.PreliminaryComparisonontheCMA，ECMWF，NCEPandJMAEnsemblePredictionSystems[J].ActaMeteorSinica，26(1):26-40.HamillTM.1997.Reliabilitydiagramsformulticategoryprobabilisticforecasts[J].WeaForecasting，12(4):736-741.HamillTM.2001.Interpretationofrankhistogramsforverifyingensembleforecasts[J].MonWeaRev，129(3):550-560.HouterkamerL，LefaiverL，DeromeJ，etal.1996.Asystemsimulationapproachtoensembleprediction[J].MonWeaRev，124(6):1225-1242.JolliffeI，StephensonD.2003.Forecastverification:Apractitioner'sguideinatmosphericscience[M].NewYork:JohnWiley＆Sons.K