统计预报方法

1、统计分析及预报方法 陈长胜 2009.10 内容 n第一章 气象资料表示方法、常用统计量 n第二章 选择最大信息的预报因子 n第三章 回归分析 n第四章 二分类预报（略） n第五章 主成分分析 n第六章 EOF和SVD n第七章 判别分析 n第八章 聚类分析 第一章 气象资料及其表示方法 n单个要素的气象资料 气象资料绝大多数是以数据形式给出。可以用 变量x表示某个气象要素的取值。 n多个要素 ),.,1( ,nix i Xn为样本容量 ),.,1;,.,1(,njpixijX 或 ji x X i为变量指标,j为样本指标 2 基本统计量 n平均值：描述资料数 字平均状态的量 n i i x

2、n x 1 1 方差 n i di n i ix x n xx n s 1 2 1 22 1 )( 1 均方差 2 xx ss 距平（异常）： nixxx idi , 1 方差：描述样本中资料与平均值差异的统计量，资 料围绕平均值变化的幅度。 2 基本统计量 2.2.3标准化变量 目的：气象要素中，各个要素的单位不一 样，平均值及标准差亦有所不同。为使 他们能在同一水平上进行比较，常使用 标准化的方法。 特点：均值为0，方差为1. x di x i zi s x s xx x 2基本统计量 2.3.1协方差与相关系数(衡量任意变量之间关系的统 计量) 1 ddx xs n 协方差: 1 dli

3、dkikl xx n s 或 协方差是反映了两个要素异常关系的平均状 况。 协方差是带单位的一个统计量，在比较不同 要素时常常带来不便。 2基本统计量 相关系数 1 zz n xxR 或 1 zlizkikl xx n r 2 1 22 1 2 1 l n i lik n i ki lk n i liki lk kl kl xnxxnx xxnxx ss s r 相关系数-标准化资料的协方差 2基本统计量 2.5.自协方差与自相关系数 自协方差 自相关系数 n t tt n t tt xxxx n s xxxx n s 1 * 1 )( 1 )( )( 1 )( n t tt n t tt s

4、 xx s xx ns s r s xx s xx ns s r 1 2 * * 1 2 )( 1)( )( )( 1)( )( 2基本统计量 2.7.峰度系数与偏度系数（用来衡量随机变量分布密度曲 线形状的数字特征） 偏度系数（分布曲线的峰点与平均 值的距离） 峰度系数（描述分布曲线的陡度） 2 3 2 3 1 m m g 3 2 2 4 2 m m g n i k ik xx n m 1 )( 1 式中的mk为k阶中心矩 3常用的分布 n1.正态分布 n2.分布 n3.2分布 n4.t分布 n5.F分布 4显著性检验 1.均值的显著性检验 一般说来，大样本检验遵从正态分布，小样本检验遵从t

5、 分布,在气象上大多使用t分布。 目的：在气候变化的研究中，常常要研究某一特殊年份 有何显著特点。经常使用的方法就是将这一特殊年份的 气象要素与其他年份的平均值进行比较。 设x0为某一统计量，x1,xn为统一统计量的其他样本， 则有 且互相独立。假设),(),1() 1 1 ( 20 2 1 ii n n Nxnt n n s xx t 然后查t分布表得t(n-1),这里为显著水平，一般取 5%，n-1为自由度，若tt,这说明有显著差异，否 则认为无显著差异。 4显著性检验 2.均值差异的显著性检验 气象中的模型试验经常要遇到异常年份与一般年份差 异的显著性检验。 设一般年份有m年，气象要素x

6、在其中的均值为xc，特 殊年份有n年，在其中的均值为xa。在假定它们的总体 均值无显著差异的情况下，有 2 )()( )2( )( 1 2 1 2 2 11 2 1 nm xxxx s nmt s xx t n i aa i m i cc i nm ac 4显著性检验 3.方差的显著性检验 目的：检验两个样本状态变化是否显著差别 设样本1（x1 ）,样本容量为m, 样本2 （x2 ）,样本容量为n,则 ) 1, 1( ) 1( ) 1( 2 2 2 1 nmF smn snm F n m 然后查F分布表得F/2(m-1,n-1),这里为显著水平，一般取 5%，m-1,n-1为自由度，若F F/

7、2(m-1,n-1) ,这说明有显著 差异，否则认为无显著差异。 信噪比法(公式略) 4显著性检验 4.相关系数的显著性检验 )2( 1 2 )1 ( )( )( )( 2, 1 )1 ( )()( )( )( 1915 2 2 2 2 1 2 2 2 2 1 2 1 2 1 2 2 4 nt r r nt dt v t v drrf nvr rrf Rfisher v n v v v t v t n n 故 其中令 的密度函数年导出相关系数估计量于 注：这种检验只适用于无持续性的变量 间的相关系数检验。 当计算相关系数的两个变量本身具有强 的持续性或高自相关时，t检验的自由度 不能用n-2，

8、应该用有效自由度。 )()( 2/ 1 yy n xx RRT T n 其中 有效自由度为 第二章 选择最大信息的预报因子 n概率 频率和概率：衡量事件出现可能性大小的数量 指标，当观测次数足够大，频率稳定的接近某 个常数，这就是该事件的概率。 频率是概率的估计值，概率是频率的理论值。 n条件概率 在事件B已出现的条件下、计算事件A的概率， 则这种概率叫做事件A在事件B已出现的条件下 的条件概率，记为P（A/B）。 是统计方法做预报的基础。B取为A以前t时刻 的某气象条件。 天气预报指标 n寻找合适的条件概率作为天气预报指标，必须具 有两个经验性的条件 1） 可靠性： nP(A/B)P(A)或

9、者P(A/B)P(A) 2）准确率： n P(A/B) 1 或 P(A/B) 0 n天气预报指标的检验 可靠性：二项分布检验天气预报指标是检验某一条件 概率所指示的时间是属于偶然性还是具有规律性的方 法。 准确性：历史拟合 第三章 回归分析 n目的：用来寻找若干变量之间统计联系关 系的一种方法。利用统计关系对某变量作 出未来时刻的估计，称为预报值。比如 MOS方法。 n内容： 一元线性回归 多元线性回归 逐步回归 1一元线性回归 1.1一元线性回归模型 距平其中， 或 ，则有， 其离差最小，若，一个自然的想法是令，如何确定即 如果假定是线性模型估计量对数据对于一组因子与预报量 , , )( )

10、( 0, 0)()( , ),( 0 2 1 2 1 0 1 2 0 00 xxxyyy bxy xbyb s s xx yyxx b b Q b Q yybbQ bbbxby yyyx dd dd x xy n i i n i ii n i ii ii iiii （1.1） x y 1一元线性回归 1.2回归的方差分析 ,i ii yye定义误差值可以证明 22 2 eyy sss 总离差平方和为 残差平方和为 回归平方和为 也可写成 n i iyy n i ii n i i yy yyS yyQ yyU QUS 1 2 1 2 1 2 )( )( )( （1.2） 为误差方差 为回归方差

11、为预报量方差 n i iie n i iy n i iy yy n s yy n s yy n s 1 22 1 22 1 22 )( 1 )( 1 )( 1 (1.2a) 1一元线性回归 1.3相关系数与线性回归 22 2 2 4 2 1 2 1 22 1 2 1 2 00 1 2 1 2 2 2 )( )( )( )( )( )( )( xy yx xy y x x xy n i i n i i n i i n i i n i i n i i y y yy r ss s s s s s yy xxb yy xbbbxb yy yy s s S U xy x y x y yx xy x xy

12、 r s s s s ss s s s b 2 回归系数与相关系数的关系 解释方差 （1.3） （1.4） 1一元线性回归 1.4回归方程的显著性检验 b s s r nFF y x xy n r r n s s n Q U e y )2, 1 ( 2 1 1 2 1 2 1 2 2 2 2 可以证明 回归系数的检验（略） （1.5） 2多元线性回归 2.1多元线性回归模型 npnn p p n p n ii xxx xxx xxx e e e y y y eNe 21 22221 11211 2 1 1 0 2 1 2 1 1 1 , ), 0(, Xey eXy 之间独立且各 ),.,1(

13、),.,.,( ) ,., , ( , ),.,( ),.,( 21 1010 210 21 pkxxxx bbb bbbb yyy nkikkkk pp p n 为因子向量，x b xxxy Xby p21 （2.1） （2.2） 2多元线性回归 n2.2的估计 n2.3 b的统计性质 n2.4 回归问题的方差分析 n2.5 回归方程的显著性检验 或 Monte Carlo检验 )1,( )1( )1 ( )1( 2 2 pnpF pn R p R pnS Q pS U F yy yy 5逐步回归 n目的：在气象预报中，对预报量的预报常常需要从可能影 响预报y的许多因素中挑选一批关系较好的作

14、为预报因子， 建立多元回归方程。但如何保证在已选的一批因子里得到 “最优”的回归方程呢？ n从可提供挑选的变量中，根据一定的显著性标准，每步只 选入一个变量进入回归方程，并要求当步选出的变量是所 有可供挑选的变量中能使剩余方差下降最多的一个。 n逐步回归时，由于新变量的引进，可使已进入回归方程的 变量变得不显著，从而在下一步给以剔除 应用注意事项 n（1）变量是否遵从正态分布 n（2）是否线性（可以用预报量与估计量之 间的差进行） n（3）重视因子的天气意义 n（4）重视回归方程的稳定性（检验相关系 数或回归系数随时间变化刀切法） 第四章 二分类预报 n二分类预报，也称正反预报，只对两种天 气

15、状态做预报。 n当预报因子也是二分类时 n（1）天气预报指标群的分片包干 n（2）多因子综合预报方法 n当预报因子是连续数据时二组判别分 析 第五章 主成分分析 n功能：从多变量序列中提取出主要的相互 独立的新变量序列，用少数几个新变量序 列反应原多个变量的变化信息，或者说降 低资料的自由度或维数。 1 e 2 e 3 e 4 e 1 x 2 x 3 x n x 1n x 4 x 1 两个变量的主分量 1.1主分量的导出 （方差极大原则） 使得 组成一新变量设由空间变量 max,)( 1 , , 1 22 2211 21 n i iy yy n s xvxvy xx 无关的不同的主分量之间是

16、变化较小轴的变化，而可归结为在 部分个点的变化（方差）大在二维平面上 y2y1 n 1.2主分量的性质 x1 x2 y1 y2 2 多变量的主分量分析 n略 注：主成分分析一般很少单独使用： a，了解数据。(screening the data)， b，和cluster analysis一起使用， c，和判别分析一起使用，比如当变量很多，个案 数不多，直接使用判别分析可能无解，这时候可 以使用主成份发对变量简化。（reduce dimensionality） d，在多元回归中，主成分分析可以帮助判断是否 存在共线性（条件指数），还可以用来处理共线 性。 3 典型相关分析 n典型相关分析是分析两

17、组随机变量间线性密切程 度的统计方法，是两变量间线性相关分析的拓广。 。有最大相关，以此类推（与第一对不相关）具 第二对指标具有最大相关，然后选首先，两组选一对指标 量间的相关。间的关系来反映两组变通过研究两组综合指标 合指标，择若干个有代表性的综在每一组变量中，都选 得出合适结论。 相关系数，不能逐个之间求研究两组之间的关系， 和分布的变量假定两组具有联合正态 21 111 , 211 pp xxxx pppp 第六章 EOF和SVD nEOF（empirical orthogonal function,经验正交 函数分解） nSVD（singular value decomposition

18、,奇异值分 解） n目的：一类是一种要素场时间序列的时空结构分 析，另一类是两种要素场时间序列间相关联系的 时空结构分析。 n体现在数学上： EOF主成分分析 SVD典型相关分析 前者针对气象要素场 EOF方法几何影像和推广 EOF方法的推广方法的推广 1 向量向量EOF分析分析（EOFV） 2 扩展扩展EOF分析分析（EEOF） 3 复复EOF分析分析（CEOF） 4 旋转EOF分析（REOF） 第七章 判别分析 n概念： 在气象预报中，为了使用需要，一些预报量常 常分成若干级别或类别。根据这些类别，选择 一些前期因子，利用在不同类别的样本内，寻 找因子和预报量的关系，建立针对不同类别的 预

19、报量的方程式，选择适当的判别规则，判别 某个因子观测样本所属的类别，来实现对预报 量的预报。 1费歇判别准则 1.1费歇(Fisher)判别准则 P 晴 雨 T-e 客观性？ 1费歇判别准则 1.1费歇(Fisher)判别准则 y(x) x y1(x)y2(x) 12 max )()( 21 1 2 22 1 2 11 2 21 n i i n i i yyyy yy 21 yy 判别方程建立原则：类间的方差与类内的方 差壁纸为最大可作为判别方程建立的原则 1费歇判别准则 1.1费歇(Fisher)判别准则 2211 xcxcy c yy y 1 x 2 x 第八章 聚类分析 n概念:研究样本

20、或变量指标分类问题的一种 多元统计分析方法。 n判别分析和聚类分析的区别 判别：类型与其类型数是已知的 聚类：都是未知 1相似性度量 1.1相似性度量 数个空间点之间的相关系个空间点与第为第 空间相关距离系数 个时间点的样本个空间点的要素场，设有 lkr r np kl klkl arccos . 1 p k jk p k ik p k kjik ij kl ijij xx xx s lks s 1 2 1 2 1 arccos . 2 度个时间点之间的相关程个时间点与第为第 时间相似系数 (1.1) (1.2) 1相似性度量 1.1相似性度量 之间的距离分别表示个体 与，其中 应满足三角不等

21、式如果使用距离系数，还 之间的相似性同步变化随 ，则有之间的相似系数与设个体 相似系数的性质 RQP QRdRPdQPd QRdRPdQPd BABA BA ABBA BABA , ),(),(),( ),(),(),()4( ,),() 3( 0),()2( ),(),() 1 ( ),( 1相似性度量 1.1相似性度量 p k jkikij p k jkikij p k jkikij xxd xx P d xxd 1 1 2 1 2 )3( )( 1 )2( )( ) 1 ( . 2 域块距离 平均距离 欧氏距离 常用距离系数 (1.3) (1.4) (1.5) 1相似性度量 1.1相似性

22、度量 个空间点样本向量，包括与 个时间点的协方差阵为 距离 距离 常用距离系数 p n d sMahalanobi s xx d Pearson ji jijiij p k k jkik ij xx S xxSxx)()( )5( )( )4( . 2 1 1 2 2 (1.6) (1.7) 2逐级归并法 2.1逐级归并法 直至归并为一个组 重复 均相似系数组的相似系数规定为平 其中并继续把最相似的两个合 点将已合并组看成为一个 一组把最相似的两个合并为 个组个点为假设 基本步骤： )2)(1 () 3( , ,2 ,1 . 1 pp 3平均权重串组法 3.1平均权重串组法 15 ),min() 1 ( 0323. 3793. 2800. 3447. 1251. 4 323. 30047. 3490. 1824. 2445. 1 793. 204