12第十二章多元回归分析[1].ppt

1、第十一章,多元回归,本章介绍多元回归的最基本知识，运用多元回归进行多项式回归分析的一般步骤，回归方程的显著性检验,矩阵的复习： 什么叫矩阵 方阵 对称阵 单位阵 行列式 矩阵的运算 矩阵的求逆,在许多情况下，影响一个变量的因素往往有许多个，因此，仅用简单回归进行预测其结果不够理想，因此应当研究一个依变量和多个自变量的关系 这种研究多个自变量和一个依变量的关系就是多元回归分析，简单回归分析仅研究一个自变量和依变量的关系，因此可以将简单回归看作是多元回归的一种特例，是多元回归的基础 这里所研究的多元回归也是线性回归，称为多元线性回归,有两个自变量（x1、x2）时，称二元线性回归 有三个自变量（x1

2、、x2、x3）时，称三元线性回归 有m 元自变量（xi）时，称 m 元线性回归 以此类推,例如：影响家畜发病的因素有很多种，如致病菌、营养、环境、消毒、污染、抗病力、药物等 又如：影响动植物生化指标的因素也很多，既有外部因素，也有内部因素 又如：影响牧场经营效益的因素有规模、品种、饲料、饲养密度、管理水平、药物的使用、保健成本、防疫等 其中，有些影响因素是数量性质的，而有些虽是质量性质的，但可以进行量化,将这些影响因素（自变量）与被影响的因素（依变量）组合成一个线性函数，即建立一个多元线性回归方程来定量地说明这种回归关系，其效果往往好于一般的分析,第一节 偏回归与复回归,一、偏回归 设影响依变

3、量 y 的自变量 xi 有 m 个 （ i = 1 , 2 , , m） 我们可以建立一个多元线性回归方程： 其中，b0 是常数项： 而 b1、b2、bi、.、bm 分别为 x1、x2、xi、xm 对 y 的偏回归系数,Bi 的含义是当 x1、x2、xi-1、xi+1、xm 固定不变时，xi 每变化一个单位，y 发生变化的平均量 二、多元回归方程的一般配置方法 多元回归方程中 bi 的求解是通过最小二乘法来确定的 即所选取的 bi 必须使得离回归平方和 Q 最小，即： 为最小 为了使方程的求解容易一些，先消去 b0,消去 b0： 代入Q式： 令 则,分别求 Q 对 bi 的偏微分，并令之为 0

4、：,整理之，得正规方程组： 其中：,用矩阵形式表示之： 得： 这一形式可以简写为： 由于系数矩阵是一个对称的方阵，且一般满秩，因此可求逆，有解，且是唯一解,当方程仅为二元或三元时，可用行列式或消元法求解，但方程多元时，手工计算很麻烦，且不太可能，因此必须借助统计软件进行求解 例题请参阅兽医统计学P149150 猪的瘦肉量是猪育种工作中一个非常重要的指标，一般认为，猪的瘦肉量与猪的眼肌面积、胴体长、背膘厚有关 今根据三江白猪育种组对 54 头杂种猪的资料，得到如下一级数据，试作多元回归分析,x1：眼肌面积（cm2） x2：胴体长（cm） x3：背膘厚（cm） y：瘦肉量（kg）,其正规方程组的矩

5、阵形式是： 对系数矩阵进行求逆，然后将逆左乘方程两边，即得解，进一步求解 b0，即可写出一个多元回归方程,由于 因此，,三、多元回归方程的估计标准误 求解多元回归方程我们用的是最小二乘原理： 由于每一个 y 不可能与 相同，因此 Q 称为多元离回归平方和 Q 越大，表示 y 与 的差距越大，方程的预测效果就越差，因此可以用 Q 来表示多元回归方程的预测效果，即多元回归方程的估计标准误为： 其中，n 为样本量，m 为自变量个数,由于 因此， 本例中，,四、偏回归系数标准误 多元回归方程求出后，应对偏回归系数进行显著性检验： 为 b 的标准误 其中， 为高斯乘数，即系数矩阵的逆 中主对角线上与每个

6、自变量相应的元素,三个偏回归系数的标准误分别为： 对三个偏回归系数进行显著性检验：,将所有的自变量全纳入多元回归方程，这样的多元回归方程称为全回归方程 对每一个 bi 进行检验，将不显著的自变量剔出方程，方程内保留全部显著的自变量，而方程外不再有显著的自变量，这样的多元回归方程称为“最优”回归方程 剔出不显著的自变量后，方程应作相应的变化 统计软件中，计算“最优”回归方程的常用方法为逐步回归法,由于在一般情况下，我们都是借助于统计软件进行回归分析，因此剔出不显著的自变量后方程如何变化这里不再作介绍（参看书 PP151153） 本例中，由于第二个变量的偏回归系数最不显著，因此可将其首先剔除，对第

7、一、三个变量的偏回归系数作相应的变动，获得一个包括第一、第三变量在内的二元回归方程： 有兴趣的同学可以了解一下逐步回归法的思路和解题步骤,第三节 相关分析,多元回归方程建立以后，用这一方程来预测 y ，其准确度如何，这种准确度的度量，就是多元相关分析 用来进行多元相关分析的指标就是复相关指数 R2 R 称为复相关系数，它表示 y 与回归方程中自变量线性组合关系的密切程度 而 R2 则是用多元回归方程进行预测的准确程度,上例中，复相关指数为： R2 的分布范围为 0，1 R2 的显著性检验为： 也可在求得 R 以后，将其与 r 附表中相应的 r 值相比较，但要注意变量的个数,如果 R r0.05

8、 ，表示 R 显著 如果 R r0.01 ，表示 R 极显著 这种比较与前页的 F-test 的结果是相同的 本例的 R 为极显著 FR = 9.493 我们也发现本例中的复相关指数虽然是极显著的，但不足 50%，这说明，还有一些与猪的瘦肉量有关的因素还没有被找到，因此还需要继续寻找（研究），直到复相关指数超过 85%,第三节 多项式回归,在曲线回归分析中，有些曲线可以经直线化转换成直线方程来配置，有些则不能经直线转换，如多项式回归 将多项式回归方程中的每一项 xi 看作是一个自变量xi 则多项式回归可以转换成多元回归方程进行求解 多变量的多项式同样可以经多元回归进行转换 任何一个函数在一个不

9、大的范围内都可以用一个多项式作任意的逼近 即取适当的项数所得到的多项式与任意函数方程两者的曲线可以有理想的拟合效果,因此，在很多情况下，我们可以不考虑自变量与依变量的确切函数关系，而用合适的多项式来进行分析 例：太阳光的紫外线强度随时间的改变而改变，今测得某地 56 月份晴天一日内不同时间的紫外线强度如下，试作回归分析 时 间t 6 8 10 12 14 16 18 紫外线强度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48 画散点图，可以看出，紫外线强度与一日内的时间大致呈抛物线关系，因而可以配置抛物线方程 今简化数据，令,1.2 1.0 0.8 0.6 0.4 06 0

10、8 10 12 14 16 18,则一级数据为： 计算二级数据：,组建正规方程组： 解之，得： 将 代入，得： 计算各时间段的估测值，得下表,时 间t 6 8 10 12 14 16 18 紫外线强度I 0.6 1.0 1.07 1.17 1.09 0.89 0.48 预 测 值 0.62 0.94 1.12 1.17 1.09 0.85 0.48 -0.02 0.06 -0.05 0.0 0.01 0.04 0.0 对该多项式方程作显著性检验：,复相关指数 该多项式回归方程的估计标准误为：,两偏回归系数的高斯乘数分别为： 因此 b1 和 b2 的标准误分别为：,两回归系数的显著性检验： 即两偏回归系数均达到极显著水平 如果抛物线方程的拟合效果还不理想，可用高次方中的任几项进行拟合，使复相关指数达到一个较理想的值 下面看一个实例：,研究饲料的含磷量与饲料系数的关系，得如下数据，试进行回归分析 含磷量x% 0.35 0.77 1.04 1.36 1.70 饲料系数y 2.65 2.01 1.77 2.25 4.27 配置抛物线方程，得方程 1： 增加高次方项，并进行筛选，得方程 2： 显然，方程 1 要好于方程 2，两者的预测值也表明方程 2 要更接近于实测值：,含磷量x% 0.35 0.77 1.04 1.36 1.70 饲料系数y 2.65 2.01 1.77 2.25