回归分析法预测A课件

1、 第八讲 回归分析法预测（Regression Analysis） 第1页，共33页。主要内容第一节 引 言第二节 一元线性回归第三节 多元线性回归第四节 逐步回归分析简介第2页，共33页。函数关系：变量间的确定性关系，有精确的数学表达式。统计关系：根据大量观测或试验数据建立起来的一种经验关系。变量间的关系 一、引 言第3页，共33页。矿床研究和矿产勘查结果表明，矿床的形成及矿床规模受各种地质条件的控制。矿床统计预测的主要目的就是建立矿床值（矿化强度）y与各种地质变量（控矿地质因素和找矿标志）（xi）之间函数关系，即 y = f (xi) （i=1, 2, , p） 一旦这种函数关系建立起来以

2、后，便可以对未知单元进行成矿预测，这就是利用回归分析数学模型进行矿床统计预测的任务。 第4页，共33页。（1）建立回归方程确定自变量（控矿因素和找矿标志）与因变量（矿床值）之间是否存在相关关系，找出它们之间合适的数学表达式；在矿床统计预测工作中，回归分析主要解决以下几个方面的问题：（2）确定各自变量的重要性及与因变量的相关程度在共同影响因变量的许多变量（自变量）之中，找出哪些是重要的，哪些是次要的，以及它们之间有什么关系。（3）成矿远景区预测根据一个或几个变量值（自变量，相对而言较易测定），来预测另一个地质变量（因变量）的估计值，并确定预测精度；第5页，共33页。概括地说，回归分析就是要研究随

3、机变量之间的数理统计关系，从大量不存在确定性关系的观测数据中，找出相关变量之间固有的规律性联系，建立自变量对因变量的回归方程；同时，它可以从多个自变量中选出最重要的、与因变量关系最密切的那些自变量。回归分析的数学模型是： 因变量y的回归估计值。 xi自变量，即控矿地质因素或找矿标志。 b0常数， bi待定系数，亦叫权系数（coefficient of weight）第6页，共33页。利用回归分析进行矿床统计预测的基本步骤 . 根据预测对象、预测范围和预测比例尺，将研究区划分成若干个单元，并选取控制单元。 2变量的选取和研究（取值、变换、构置、筛选）。地质数据预处理（标准化、均一化等） 3. 根

4、据控制单元建立最优回归方程，并对其进行显著性检验。 4. 若回归方程通过检验，则可用于未知单元的预测，圈定成矿远景区，对远景区进行地质分析，检查和评价；若未通过检验，说明变量选取了不当或控制区选择不合理，重复上述步骤。第7页，共33页。二、线性回归分析（Linear Regression Analysis）1. 一元线性回归分析（Univariant linear regression analysis） 设某种控矿因素x与矿床值y之间有如下图所示的关系。 xy第8页，共33页。显然，y和x之间的关系可用一条直线方程来拟合： 该方程就称为y对x的线性回归方程，其中： x自变量（控矿地质因素）

5、xi所对应的y的回归估计值，称回归估值a常数，回归直线的截距(intercept ) b待定系数，此时称回归系数（regression coefficient），数值上等于回归直线的斜率（slope）误差项 a + bx + 第9页，共33页。显然，对同一批散点（样本），可以有无数条直线来拟合y与x的关系，但其中只有一条是最优的，这条直线所对应的函数关系就是我们要求的回归方程。 那么，如何寻找这条最优的直线呢？数学上就是要寻找一对常数a和回归系数b，使偏差(deviation) -yi的平方和达到最小，即(最小二乘法) 第10页，共33页。根据极值的求法，欲使Q达到最小，只需分别求a, b的偏

6、导数，并令其等于零，即：可以写成 第11页，共33页。解上述方程组可得：于是得到最优一元线性回归方程： x1 y1x2 y2x3 y3 . . . . . .xn yn第12页，共33页。 2. 多元线性回归方程（multiple regression analysis） 数学模型： 建立最优回归方程的关键仍然是计算b0 和bi。方法如下： (1) 利用原始观测数据矩阵求bi设研究区选取有n个控制单元，选取了p个地质变量，因此需要对（p+1）个变量（xi, y）进行n次观测，获得n组观测数据和由n个方程组成的方程组。 b0b1bpB = + 第13页，共33页。n x1 x2xp x1 x1x

7、2 x1xp x2 x2x1 x2xp xp x px1 xpx2 b0 b1 b2 bp = y x1y x2y xpy x11, x21, , xn1表示第1个变量在第1, 2, , n个单元中的取值第14页，共33页。 以A，B，C分别代表上述三个矩阵，则A B = C 1 1 1 1 x11 x12 x1p x11 x21 xn1 1 x21 x22 x2p x12 x22 xn2 1 x31 x32 x3p = x1p x2p xnp 1 xn1 xn2 xnp n x1 x2xp x1 x1x2 x1xp x2 x2x1 x2xp xp x px1 xpx2 矩阵A =为一对称矩阵

8、，可通过原始数据的增广矩阵X表示如下第15页，共33页。矩形C可写成: 1 1 1 y1 x11 x21 xn1 y2 C= x12 x22 xn2 y3 = x1p x2p xnp yn于是， B就是我们所需要的回归系数矩阵（有p个元素b0,b1,b2,bp组成） A-1是A 的逆矩阵（inverse matrix）第16页，共33页。 （2）利用相关矩阵求 将原始数据标准化以后，计算相关矩阵如下： 1 r12 r13 r1p r1y r21 1 r23 r2p r2y rij= r31 r32 1 r3p riy= r3y rp1 rp2 rp3 1 rpy第17页，共33页。 数学上可以

9、证明： 1 r12 r13 r1p b1 r1y r21 1 r23 r2p b2 r2y r31 r32 1 r3p b3 = r3y rp1 rp2 rp3 1 bp rpy简写为：B = rij -1riy B就是回归系数矩阵。求出bi后，利用以下公式计算b0,第18页，共33页。 （3）用离差平方和/离差叉积和矩阵求bi回归系数矩阵B为： B=SSij-1SSiy (i ,j =1, 2, p) 其中，第j 个变量的离差平方和为： （i = 1, 2, 、n ） 第j个和第k个变量的离差叉积和为： ( j k ) 第19页，共33页。三、标准回归系数（standardized regr

10、ession coefficient ）和偏回归系数（partial regression coefficient） 根据相关矩阵求出的回归系数称为标准回归系数，记为bi, 而根据原始数据矩阵和离差平方和-离差叉积和矩阵求出的系数称为偏回归系数，记为bi。 其中，标准回归系数的绝对值大小真实地反映了各自变量在回归方程中的重要性，bi的绝对值越大，则xi对y的影响越大，条件是各xi之间的相关性很小。第20页，共33页。 bi与bi有以下关系： Sxi自变量xi的标准差， Sy因变量y的标准差。 至此，我们已求出回归系数，并可以建立回归方程。换句话说，我们已经根据地质模型建立了数学模型；该模型是否

11、能有效地用于未知单元的预测。需要以过显著性检验。第21页，共33页。四、回归方程的显著性检验 对回归方程进行显著性检验，目的是考查回归方程对预测区矿床值预测效果的好坏；在数学上就是考察回归方程中自变量与因变量之间线性关系的程度，常用方法有： 1. 回代法 在已知的n个控制单元中只选取其中的m个（mn）单元建立回归方程，然后用此方程对其余n-m个已知单元进行预测，并将预测值与实际观测值相比较，若二者接近，说明回归方程显著；反之不显著。第22页，共33页。 2. 拟合度检验首先计算（研究）反映因变量y的变异特征的三个指标: （1）总离差平方和（Total sum of Squares） 它反映了n

12、个观测对象（单元）的总变化， （2）回归因素平方和SSR (Sum of Squares due to regression)第23页，共33页。 反映回归估计值 与原始观测值平均数 之差的平方和，如果 与yi一一对应，则SST与SSR应该相等，说明所有观测点均落在回归直线上；反之，SST与SSR不相等，其差为： （3）剩余平方和/偏差平方和SSD（Sum of Squares due to deviation ） 现在我们就可以进行拟合度的计算了。第24页，共33页。 （4）拟合度（goodness of fitting） (回归方程对n个观测值yi的拟合优度) 实际上，SSR和SSD都可以

13、用来衡量回归效果，但SST，SSR，SSD都与y的量纲有关，为了消除量纲的影响，我们引入一个无量纲的指标R来表示回归方程对观测值yi的拟合优度。 R2就称为拟合度，R称为复相关系数（multiple correlation coefficient）。 0 R1， R越大，表明回归效果越好。第25页，共33页。 3. F检验（Test of F-distribution）R的大小与自由度（回归方程中自变量的个数p和控制单元数n)有关。为了综合考虑N和P的影响，引入一个比R更有效的统计量，即： 这就是方差分析中的F统计量，它服从第一自由度为1 (p), 第二自由度为2 (N-P-1)的F分布。 第

14、26页，共33页。给定信度（ = 0.05, 0.01, 0.1），查表求 如果统计量： ,则回归高度显著（回归在 = 0.01水平上显著）, 则回归在 = 0.05水平上显著 ，则回归在 = 0.1水平上显著 , 则回归不显著。 第27页，共33页。五、回归系数的显著性检验 通过回归方程显著性检验后，便得到一个“最优”的回归数学模型，但是回归方程显著，并不意味着方程中每一个自变量都与因变量的关系密切，我们希望从回归方程中剔除那些次要的变量，回归效果更好。 由于自变量的重要性体现在标准回归系数上， 越大，则xi与y的关系越密切，于是，我们用另外一个统计量来检验自变量的重要性，即:第28页，共3

15、3页。 式中： 第j个自变量的标准回归系数。 Cjj相关矩阵中对角线上的第j个元素 SSD 剩余平方和 若Fj ，则认为bj在信度水平上（0.01, 0.05, 0.1）显著。即xi对y的影响重要，反之，可将xj从方程中剔除。 第29页，共33页。这里又出现一个问题，因为各自变量之间可能存在一定的相关性，所以从回归方程中剔除一个变量后，其他变量的回归系数将会有所变化。因此，每剔除一个变量后，就应该重新计算新的回归系数 ，建立新的回归方程。 当变量xi被剔除后， 与bj有以下关系： （i j） bi被剔除变量xi在原方程中的回归系数 bj未剔除变量xj在原方程中的回归系数 剔除xi后，xj的新回

16、归系数 Cij和 Cii原p元回归相关矩阵C=Cij中的相应元素。第30页，共33页。六、确定回归估计临界值（critical value ）(或者阈值，threshold value)，进行成矿远景区预测1. 将各控制单元的自变量代入最优回归方程，求出各控制单元的回归估计值。 这样，每个单元都有一个观测值yi和回归估值 。以控制单元为横坐标，以矿床值（或其对数值）为纵坐标，绘出矿床值上升序列曲线图。根据上升序列曲线图及各单元的矿化情况，确定回归估计临界值。确定回归估计临界值时要考虑以下因素。（1） 已知单元矿床值的大小及预测要求。（2） 上升序列曲线的变化趋势。第31页，共33页。回归估计临界值也可采用：已知有矿控制单元回归估计值的平均