逐步回归分析(教材).doc

第6节 逐步回归分析 逐步回归分析实质上就是建立最优的多元线性回归方程，显然既实用而应用又最广泛。6.1逐步回归分析概述1 概念逐步回归模型是以已知地理数据序列为基础，根据多元回归分析法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之间变化关系的最优回归模型。逐步回归分析是指在多元线性回归分析中，利用求解求逆紧奏变换法和双检验法，来研究和建立最优回归方程的并用于地理分析和地理决策的多元线性回归分析。它实质上就是多元线性回归分析的基础上派生出一种研究和建立最优多元线性回归方程的算法技巧。主要含义如下： 1）逐步回归分析的理论基础是多元线性回归分析法； 2）逐步回归分析的算法技巧是求解求逆紧奏变换法； 3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法； 4）逐步回归分析的核心任务是建立最优回归方程； 5）逐步回归分析的主要作用是降维。 主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评价等等。 2 最优回归模型 1）概念 最优回归模型是指仅包含对因变量有显著影响的自变量的回归方程。逐步回归分析就是解决如何建立最优回归方程的问题。 2）最优回归模型的含义 最优回归模型的含义有两点： （1）自变量个数 自变量个数要尽可能多，因为通过筛选自变量的办法，选取自变量的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越好，这也是提高回归模型分析效果的重要条件。 （2）自变量显著性 自变量对因变量y有显著影响，建立最优回归模型的目的主要是用于预测和分析，自然要求自变量个数尽可能少，且对因变量y有显著影响。若自变量个数越多，一方面预测计算量大，另一方面因n固定，所以增大，即造成剩余标准差增大，故要求自变量个数要适中。且引入和剔除自变量时都要进行显著性检验，使之达到最优化状态，所以此回归方程又称为优化模型。 3 最优回归模型的选择方法 最优回归模型的选择方法是一种经验性发展方法，主要有以下四种： (1）组合优选法 组合优选法是指从变量组合而建立的所有回归方程中选取最优着。其具体过程是： （1）建立变量组合的所有回归方程 （2）优选回归方程 首先对每一个方程及自变量均作显著性检验，优选原则：自变量全部显著，剩余标准差较小，既可选得最优回归方程。 2）剔除优选法 剔除优选法适指从包含全部自变量的回归方程中逐个剔除不显著自变量而求得最优回归方程的优选方法。其具体过程是： （1）建立多元回归方程 （2）优选回归方程 剔除自变量的原则是先求取偏回归平方和最小者并作显著性检验，若不显著则剔除。终止原则是直至不显著自变量剔除完为至，而仅保留对因变量y有显著影响的自变量。 3)引入优选法 引入优选法是指将所有自变量经显著性检验而逐个引入对因变量有显著影响的自变量的优选方法。其具体过程是： （1）建立一元回归方程 （2）优选回归方程 引入原则是偏相关系数绝对值最大者，引入后并进行显著性检验，若显著则继续引进自变量，直至再无显著自变量引进为止。 4）逐步回归分析法 逐步回归分析法是指运用回归分析原理采用双检验原则，逐步引入和剔除自变量而建立最优回归方程的优选方法。具体含义是： （1）每步有二个过程 即引进变量和剔除变量，且引进变量和剔除变量均需作F检验后方可继续进行，故又称为双重检验回归分析法。 （2）引入变量 引入变量的原则是未引进变量中偏回归平方和最大者并经F显著性检验，若显著则引进，否则终止。 （3）剔除变量 剔除原则是在引进的自变量中偏回归平方和最小者，并经F检验不显著，则剔除。 （4）终止条件 即最优条件，再无显著自变量引进，也没有不显著自变量可以剔除，这也是最优回归方程的实质。 由此可知，它并没新的理论，只是多元回归分析基础上派生出的一种算法技巧。现在就来介绍逐步回归分析的具体建模原理和方法步骤。6.2逐步回归分析的数学模型逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。6.2.1 变量重新编号 1 新编号数学模型 令，自变量个数为k-1，则其数学模型为： 式中，=1，2，3， ，n n：样本个数 其中： 的偏回归平方和为： ：为的算术平均值 ：的偏回归系数 ：为逆矩阵对角线对应元素 2 回归数学模型 新编号的回归数学模型为： 6.2.2 标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。 1 标准化回归数学模型 令 j=1，2，3， ，k 其中： ！为离差平方和的方根 注意：它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。 则回归数学模型为： 2 标准化回归数学模型的正规方程组 标准化回归数学模型正规方程组的一般形式为： 因为， ， 所以上述正规方程组可变为： 这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为： 这样，数据标准化后的估计值应为0，并令，则可得： 其中: 称为相关系数矩阵。 解此方程组，即可求出，故可得标准化后的回归模型为： 标准化的回归模型的矩阵形式： 6.2.3 标准化前后回归模型的关系 1标准化前后的回归模型 1）标准化前后回归模型为： 2）标准化后回归模型为： 2 标准化前后的偏回归系数 标准化前后偏回归系数的关系可从变化过程反演得知： 令代入标准化前的回归模型可得： 整理后得：将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为： j=1,2,3,k-1 于是，只要求出，即可求出，今后仅讨论标准化后的回归模型。 3标准化后的各种离差平方和 6.3 求解求逆紧凑变换法 逐步回归分析每引进和剔除一个变量都要用到求解求逆紧奏变换法进行矩阵变换，最后求出方程组的解和逆矩阵。现介绍其变换原理和方法步骤。6.3.1 求解求逆紧奏变换法的基本公式 由上述介绍可知，标准化后的正规方程组为： 可得增广矩阵，由经高斯消元法变换为，既可求出解和相应的逆矩阵。 故 经高斯消元法变换为：= D 其变换公式为： 说明：公式（1）是好理解的； 公式（2）是指求算非主行和非主列的元素，实质上就是该元素减去其对应的主行与主列元素相乘并除以主元素。 举例，解下列方程组： 解：利用上述高斯消元法的（1）（2）公式，解上述方程组的求解求逆变换过程如下：由上述方程组可得高斯求解求逆变换法矩阵形式： 当=1，主元素为：，根据高斯求解求逆变换法原理和方法，可得： 当=2，主元素为：，根据高斯求解求逆变换法原理和方法，可得： 当=3，主元素为：，根据高斯求解求逆变换法原理和方法，可得： X 提出问题：由上述高斯削元法变换可知，单位矩阵只是从后k逐列移至前k列，而只是起到形式作用。这样，若利用计算机程序求解求逆就要多占用k * k个单元，试想能否节省k * k个单元呢？从以上变换可知，如果能将后k列经过变换后放置前k列去，这样k * k个单元即可节省。如何做呢？这要找出后k列变换前后的关系。 若经过（-1）次变换得到，则第k+1+列除了第个元素为1，其余均为0，即，第k+1+列各元素值为： 若再对变换一次得，则第k+1+列各元素可由高斯消元法的公式（1）（2）变换为为： 这就相当于第k+1+列的第个元素1除以主元素，其余的元素都除以主元素并变号，于是可将第k+1+列放到对应的前列中，这样单位矩阵就节省了，上述整个过程就称为矩阵的求解求逆紧奏变换法。 将上述公式合并即得求解求逆紧奏变换法的公式： 说明：（1）式为求主行各元素； （2）式为求非主行非主列的各元素；用公式（2）求非主行所有元素，如： 。 （3）式为求主元素； （4）式为求主列个各元素。 举例：利用求解求逆紧奏变换法解上述方程组： 解： 当=1，主元素为：，根据求解求逆紧凑变换法原理和方法，可得： 当=2，主元素为：，根据求解求逆紧凑变换法原理和方法，可得： 当=3，主元素为：，根据求解求逆紧凑变换法原理和方法，可得： X 由两种方法比较可知，其结果一样，故求解求逆紧奏变换法可节省K*K个存储单元。 6.3.2 基本性质 1 每作一次变换，就求得一组解和相应的逆矩阵； 2 对作变换得，同变换次序无关，即与哪个作主元素无关；3 当,即，同一主元素作两次变换可还原； 4 在矩阵中，具有下列对称性： 6.3.3 求解求逆紧奏变换法与回归分析的关系 由上述分析可知，逐步回归分析要求解的正规方程组为： 则逐步回归分析中的求解求逆紧奏变换法的增广矩阵是： 在逐步回归分析中，每引进一个变量或者剔除一个变量，都要对R进行一次求解求逆紧奏变换法变换，最后求得，再恒等变换为，所以求解求逆紧奏变换法在逐步回归分析中十分有用。6.4 逐步回归分析的步骤 根据逐步回归分析的原理和方法，现介绍其具体步骤。以表6 3（）中地理数据为例。 地理数据4-5台风编号 7503 14.51 27.0 8.8 2.0 - 0.5 8.0 248.0 900 6509 7.57 27.7 10.8 7.0 0.8 5.0 81.0 354 6003 1.94 28.3 13.6 13.0 - 0.2 1.7 124.8 566 6521 3.04 27.3 12.1 13.0 0.2 1.5 314.6 521 7301 8.07 28.5 5.7 - 2.0 - 0.6 2.7 110.4 333 6122 4.64 28.5 15.8 14.0 1.4 2.0 109.6 359 7412 3.02 27.4 5.4 0.0 0.6 4.6 110.0 589 6213 6.20 28.2 12.0 12.0 0.0 2.5 378.0 416 6615 2.69 29.0 12.7 6.0 1.3 15.7 87.8 289 6005 2.85 27.5 5.0 12.0 0.0 6.8 152.2 254 6126 1.02 27.0 20.7 1.0 1.0 10.0 148.5 209 6208 1.62 27.5 7.0 4.0 1.5 6.0 48.0 428 6513 7.02 27.3 5.8 - 17.0 1.8 10.0 230.0 673 6312 2.09 27.3 14.5 - 11.0 0.0 8.5 110.5 395 5904 0.83 28.7 11.8 - 13.0 2.3 4.0 125.0 327 6007 4.56 27.0 7.0 - 4.0 - 0.3 4.0 240.0 829 6306 5.43 29.0 7.2 - 4.0 - 1.5 4.0 157.2 266 7504 4.05 26.9 4.2 - 1.0 - 0.3 2.8 80.0 653 5901 3.78 28.0 11.6 8.0 - 1.0 12.2 97.0 187 6102 1.11 29.0 13.6 - 3.0 - 0.5 14.0 144.0 178 7207 7.17 27.0 11.0 2.0 - 1.0 10.6 157.3 160 7123 5.00 26.0 33.6 - 27.0 2.7 23.3 206.4 280 7010 3.88 27.0 16.0 - 7.0 1.0 9.5 134.0 234 5612 0.74 26.5 - 1.2 6.0 - 2.0 9.0 368.0 264 5622 3.05 27.8 13.4 - 7.0 - 1.7 2.7 165.2 216 6214 0.30 28.0 11.0 - 7.0 - 0.7 8.0 144.2 294 6911 3.44 28.0 8.0 - 4.0 - 0.2 11.7 256.0 268 6001 5.94 25.0 10.0 1.0 - 2.7 5.2 201.6 185 6906 3.12 27.2 9.1 6.0 1.0 17.3 173.0 246 4.092 27.57 10.90 0.00 0.083 7.7 169.04 374.9 15.589 4.814 32.760 50.851 6.768 27.870 439.19 1039.3第一步求初始相关系数矩阵由表6 - 3中地理数据可求得初始相关系数矩阵为：第二步逐步优选变量 该步是指逐步优选变量以建立最优回归方程。 1 选择第一个变量 首先，引入第一个变量以建立一元回归模型： 1）确定F1=F2=5（本例最好为2.5），即引进与剔除变量的F检验值。2）引进变量的原则与方法 如何确定先引入哪一个变量呢？ （1）选择原则 引入原则为偏回归平方和最大者，也称为方差贡献最大者。由前述可知，回归平方和越大，回归方程的效果就越好。 （2）选择方法 如何选择偏回归平方和最大者呢？方法有两钟，即：一般方法和直接方法。 一般方法： 一般方法是指从建立后的回归方程求得，公式为： 这样看来，工作量相当大，设想一下，能否从中直接求得各偏回归平方和再从中选择最大者呢？回答是肯定的！因为是从中变换得来的，所以，它们之间有数量联系。 直接方法： 直接方法是指从中直接求得偏回归平方和最大者。如何从中直接求呢？这就要从求解求逆紧凑变换法中找出中的关系。 由上述变换可知： 于是，中的偏回归平方和可得： 此式表明，完全可以从中直接求得。于是可拓展到： 3）引进变量(1)确定引进变量，即：求便可确定。运用直接方法即可求算所有偏回归平方和，并选取者。由于的对角元素均为： 所以，最后一列绝对值最大者便为偏回归平方和最大者。本例为，即： 由此可知，故引入的第一个变量为： ，即： (2)引进变量检验 方法为F检验法，首先，应经验性确定临界值，其大小主要与信度和自由度有关，所以，不宜太大，否则，引进变量较少，不实用。本例K=7，若试选4个变量，则，即： ，选2.5为宜。因为F3=5.81F1=2.5，所以引进的第一个变量为。(3)求算经求解求逆紧凑变换法可求得为：4) 剔除变量由于刚引进第一个变量，故略。2选择第二个变量1) 引进变量(1)确定引进变量，求算，并求取，j=2，3，4，5，6，7同理可求得：，由此可知(2)引进变量检验因为F3=3.75 F2=2.5，所以应引进变量，并对进行求解求逆紧凑变换得，如表 所示。2）剔除变量由于变量刚刚引进，现只需对作检验。 （1）确定剔除变量，求算，并求取，j=1，6 （2）剔除检验 因为，所以不应剔除，继续引进变量。 3 选择第三个变量(1)确定引进变量，求算，并求取，j=2，3，4，5，7 同理可求得： ，由此可知(2)引进变量检验 因为，所以,应引进变量，并对进行求解求逆紧凑变换得，如表 所示。 2）剔除变量由于变量刚刚引进，现只需对，作剔除检验。 （1）确定剔除变量，求算，并求取，j=1，6 由此可知，为最小，故对做剔除检验。 （2）剔除检验 因为，所以不应剔除，继续引进变量。 说明：有两钟情况，即： 时，不应剔除变量，并继续引进新的变量； 时，应剔除变量，并对做变换，这时，还要对变量作剔除检验，若时，则终止剔除检验，继续引进新的变量；如时，则继续做剔除检验，直到没有不显著变量存在为止。 4 选择第四个变量 1) 引进变量(1)确定引进变量，求算，并求取，j=2，3，4，7 同理可求得： ，由此可知(2)引进变量检验因为，所以,应引进变量，并对进行求解求逆紧凑变换得，即：，如表 所示。 2）剔除变量由于变量刚刚引进，现只需对，作检验。 （1）确定剔除变量，求算，并求取，j=1，3，5，6 。 ， 由此可知，为最小，则先对作剔除检验。 （2）剔除检验 因为，所以不应剔除变量，继续引进新的变量。 5 选择第五个变量 1) 引进变量(1)确定引进变量，求算，并求取，j=2，4，7同理可求得：，由此可知 为最大，故确定引进变量 。(2)引进变量检验因为F3=1.5208F2=2.5，所以不应引进变量，同时表明再无显著变量可以引进，则应终止，并即可求出最优回归模型。第三步建立回归方程，即最优回归方程。1、求算，j=1，3，5，6根据求解求逆紧凑变换法的基本原理和方法步骤，由可知： 2、求算，j=1，3，5，6 。(1)求有关项 ，(2)求 (3)求算 故求得逐步回归分析的最优回归方程为：第五步显著性检验1、求有关项 或者2、求F3、求查表可得：因为F=4.6933，所以该回归方程显著，可以应用于地理分析。例2根据逐步回归分析的原理和方法，现介绍其具体步骤。以表4.9中地理数据为例。表4.9地理数据序号140165140230243185339231.1328186653231.3441185143231.8528186653235.1656234253235.3740204450235.5847196243236932185658236.11042193552237.211572253552381231193267239.21367206232239.91434213166240.31551195847241.41647232873249.9第一步求初始相关系数矩阵由表4.9中地理数据可求得初始相关系数矩阵为： 第二步选择第一个变量1、确定F1=F2=5，即引进与剔除变量的F检验值。2、引进变量(1)求，即求算所有偏回归平方和，并选取者。同理可求得：，由此可知(2)引进变量检验因为F3=11.7680F1=5，所以引进的第一个变量为z2。(3)求算经求解求逆紧凑变换法可求得为： 2、剔除变量由于刚引进第一个变量，故略。第三步选择第二个变量1、引进变量(1)求算，并求取，j=1，3，4同理可求得：，由此可知(2)引进变量检验因为F3=2.5155F2=5，所以再无显著变量引进，故引进变工作结束。2、剔除变量由于未引进变量，剔除工作也结束。第四步建立回归方程，即最优回归方程。1、求算，j=2由可知： 2、求算，j=2(1)求有关项 ，(2)求 (3)求算 故求得逐步回归分析的最优回归方程为： 第五步显著性检验1、求有关项2、求F3、求查表可得：因为F=11.7606，所以该回归方程显著，可以应用于地理分析。为了全面掌握逐步回归分析的步骤，若设时，则第三步选择第二个变量的引进变量检验中，因为F3=2.5155F1=2.5，所以引进的第二个变量为。这样就须继续进行。求由经求解求逆紧凑变换法可求得为： 现已引进、两个变量，由于刚引进，故只须对作剔除检验，具体步骤如下：(1)求(2)求因为F3=5.7319F2=2.5，所以是显著变量，不应剔除。继续选择第三个变量，若还有显著变量引进则继续进行，具体步骤同上述，若再无有显著变量引进，则结束，即可建立回归方程，具体步骤如下：(1)求，j=2，4由 (2)求算bj，j=2，4求有关项 ，求算，j=2，4 求 故求得逐步回归分析的最优回归方程为： 对回归方程进行显著性检验，具体步骤如下：(1)求有关项(2)求F(3)求查表可得：因为F=11.9350，所以该回归方程显著，可以应用于地理分析。6.5 逐步回归分析的实习指导6.5.1 实习目的 1、巩固逐步回归分析的基本原理及方法步骤。 2、掌握逐步回归分析程序的使用方法及技巧。 3、求取最优回归方程并应用于预测等。 4、掌握逐步回归分析程序的变换应用方法。6.5.2实习内容1、标识符说明N样本个数M自变量数F1、F2F检验的临界值Q存放选入l个自变量以后的剩余平方和Q2存放y的剩余标准差估计值L选入自变量的个数X(N, M+1)存放变量X1, X2, X3, , Xm+1=y的数据(=1, 2, 3, , N)R(M+1, M+1)存放相关系数B(M)存放回归系数b0, b1, b2, , blT(M)临时存贮单元，开始时用以标记自变量是否选上，当xi未选入时T(I)=0，一旦xi选入，则T(I)存放R1对角线元素。 Z(I)存放回归系数显著性检验的t统计量A(M+1)存放自变量xi和y的平均数V(M+1) 存放离差平方和的均方根（i=1, 2, 3, m+1）。 存放各自变量和y的离差平方和均方根之比i=1, 2, 3, , m。FF检验值Sa剩余标准差yi原始y值pyi预测y值Er预测误差Er%相对预测误差2、程序5REM逐步回归分析程序10INPUT“样本数N，自变量数M, F检验数F1, F2=”；N, M, F1, F215Y=M+120DIM X(N, Y), A(Y), R(Y, Y), V(Y), U(Y), T(M), Z(M), B(M), E(N)25FOR I=1 TO N30FOR J=1 TO Y35READ X(I, J)40PRINT X(I, J);45NEXT J50PRINT55NEXT I57REM 形成相关系数矩阵60FOR J=1 TO Y65T=070D=075FOR I=1 TO N80T=T+X(I, J)85D=D+X(I, J)*X(I, J)90NEXT I95T=T/N100A(J)=T105D=SQR(DN*T*T)110V(J)=D115NEXT J120FOR I=2 TO Y125FOR J=1 TO I1130G1=0135FOR K=1 TO N140G1=G1+(X(K, I)A(I)*(X(K, J)A(J)145NEXT K150G1=G1/(V(I)*V(J)155R(I, J)=G1160R(J, I)=G1165NEXT J170NEXT I175FOR I=1 TO Y180R(I, I)=1185U(I)=V(Y)/V(I)190NEXT I195PRINT“R Matrix”200FOR I =1 TO Y202FOR J=1 TO I205PRINT R(I, J),208NEXT J209PRINT210NEXT I213REM选因子和剔除因子的过程215T1=0220L=0225Q=1230T1=T1+1235V1=0240V2=10245FOR I=1 TO M250T(I)=0255D=R(I, I)260IF D0THEN 300275T(I)=D280IFW=V2THEN 315285V2=W290I2=I295GOTO 315300 IF W=V1THEN 315305V1=W310I1=I315NEXT I320IF T1F2 THEN 360335L=L1340K=I2345K1=K350PRINT“Imin=”；K1，“L=”；L355 GOTO 390360IF L=MTHEN 475362F3=(NL2)*V1(QV1)365IF F3F1 THEN 475370L=L+1375K=I1380K1=I1385PRINT“Imax=”；K1,“L=”；L387REM求解求逆紧凑变换390FOR I=1 TO Y395FOR J=1 TO Y400IF I=K THEN 420405IF J=K THEN 415410R(I, J)=R(I, J) R(I, K)*R(K,J)/R(K, K)415NEXT J420NEXT I425FOR I=1 TO Y430IF I=K THEN 445435R(K, I)=R(K, I)/R(K, K)440R(I, K)=R(I, K)/R(K, K)445NEXT I450R(K, K)=1/R(K, K)453REM求，F比，455Q=R(Y, Y)460F=(NL1)*(1Q)/(L*Q)465Q2=SQR(Q/(NL1)*V(Y)470GOTO230475PRINT“* * * * * * * * * * * * * * * * * * * * *”480IF L=0 THEN 500485PRINT“L=”；L，“F=”；F，“Sigma=”；Q2490GOSUB 510495GOTO 505500PRINT“Y is Independent With X”505END507REM求回归系数b0和bi510D=0515FOR I=1 TO M520IF T(I)0 THEN 540525B(I)=0530Z(I)=0535GOTO 560540D1=R(I, Y)545B(I)=U(I)*D1550D=D+B(I)*A(I)555Z(I)=D1/SQR(T(I)*Q/(NL1)560NEXT I565B(0)=A(Y)D570PRINT“b0=”，B(0)575PRINT“I”，“bi”，“Ti”580FOR I=1 TO M585PRINT I, B(I), Z(I)590NEXT I595E1=0600K2=0605PRINT“I”，“Yi”，“Pyi”，“Er”，“Er”610FOR K=1 TO N615D=B(0)620FOR I=1 TO M625IF B(I)=0THEN 635630D=D+B(I)*X(K, I)635NEXT I640E(K)=X(K, Y)D645D1=E(K)*100/X(K, Y)650PRINT K, X(K, Y), D, E(K), D1655IF ABS(E(K)=ABS(E1) THEN 670660E1=E(K)665K2=K670NEXT K675PRINT“Kmax=”；K2，“Ermax”；E1680RETURN710DATA40, 16,51, 40, 230, 43, 18, 53, 39, 231.1, 28, 18, 66, 53,231.3720DATA41, 18, 51, 43, 23