第八讲 非线性回归（课堂PPT）

非线性回归函数,1,线性回归的最大特点是：总体回归函数的斜率为常数。故X变化一个单位对Y的效应不依赖于X本身的取值。我们今天研究的非线性回归中，总体回归函数的斜率不再是常数，X的变化对Y的效应依赖于一个或多个自变量的取值。,2,3,非线性回归函数的一般建模方法,我们考虑测试成绩和地区收入的关系,4,5,二次回归模型,6,在stata中需要用gen命令产生一个新的变量表示：Income2。genincome2=income2regTestScoreincomeincome2,通过t检验我们发现，Income2显著，所以，可以得出结论，二次模型优于线性模型。,7,如何决定是用线性还是非线性？最简单的办法是利用t检验考察二次方的显著性：对于方程我们需要检验income2前的系数2是否显著。,8,非线性设定形式中X变化对Y的效应,想知道在固定其他自变量X2、X3Xk的情形下，当自变量X1变化X时，预期因变量Y如何变化。当总体回归函数为线性时，很容易计算这个效应，Y=1X1但当回归函数为非线性时，由于Y的预期变化依赖于自变量的取值，因此其计算较复杂。,9,我们假定非线性总体回归的一般公式为,10,书中的两个例子1。地区收入从10-11（单位是千美元）2。地区收入从40-41,11,可以看出，income对testscore的弹性逐渐变小。,12,效应估计的标准误差,在上例中,13,利用多元回归建立非线性模型的一般方法,(1)确定一种可能的非线性关系。最佳做法是利用经济理论和你对实际应用的了解提出一种可能的非线性关系。在看数据之前，问自己联系Y和X的回归函数斜率是否依赖于X或其他自变量的取值。(2)确定一个非线性函数并用OLS估计其参数。后续章节将会学习多种非线性函数形式。,14,(3)确定非线性模型是否改进了线性模型。大多数情况下可以利用t统计量和F统计量来检验总体回归函数是线性的原假设和非线性的备择假设。(4)画出非线性回归函数估计图。（线性拟合图）。(5)利用前面讲的公式估计X变化对Y的效应。,15,非线性函数的形式,一。多项式函数,16,常用的多项式函数：r=2二次回归模型r=3立方回归模型,17,是否需要多项式函数,然后利用F统计量进行检验,18,到底应该采用几阶多项式,1。最直观的办法是画散点图。2。很多涉及经济数据的应用中，非线性函数都是光滑的，也就是不存在急剧的跳跃或“尖峰”。则选择较小的多项式最高阶数，如2,3或4较合适。,19,二次方、三次方和四次方曲线,20,选取好最高阶数后，按照下列步骤进行：(1)选定最大的r值并估计r阶多项式回归。(2)利用t统计量检验Xr的系数r为零的假设。如果拒绝原假设，则Xr应包含在回归中，故使用r阶多项式。,21,(3)如果在步骤(2)中不能拒绝r=0，则从回归中剔除Xr并估计r-1阶多项式回归。接着检验Xr-1的系数是否为零。如果拒绝则使用r-1阶多项式。(4)如果在步骤(3)中不能拒绝r-1=0，重复这一步直到回归中最高次方的系数统计显著为止。,22,例一,23,例二,在工资方程中，建立ln(wage)与exper的多项式关系。,24,对数形式,对数形式经常用于表示变量的百分率变化。例如：在消费者需求的经济分析中，通常假定价格上涨1%导致需求量下降一定的百分率。称价格上涨1%引起的需求下降百分率为价格弹性(elasticity)。,25,26,对数形式是经济学中最常用的形式，广泛地应用在各个领域中：例如：在宏观经济学中，我们如果想研究投资的增长率，通常用表示，其中一般可以表达为：,27,28,三种对数回归模型,29,关键问题是理解1的含义,因为该模型中Y不是对数形式而X是，所以有时称它为线性对数模型。,在线性对数模型中，1表示X变化1%引起Y的变化为0.011。,30,推导：我们考察自变量X变化X的过程。此时：,即X变化1%时，为0.01。,31,例子,收入每增加1%时，成绩会增加0.01*26.42=0.3642分。,结论：线形对数形式一般用来表示当自变量变化1%时，因变量变化的具体数值。,32,书中的两个例子1。地区收入从10-11（单位是千美元）2。地区收入从40-41,33,例一：Y=557.8+36.42ln(11)-557.8+36.42ln(10)=36.42*ln(11)-ln(10)=3.47Y=557.8+36.42ln(41)-557.8+36.42ln(40)=36.42*ln(14)-ln(40)=0.90,34,线性对数回归函数,35,如何理解1的含义,因为该模型中Y是对数形式而X不是，所以有时称它为对数线性模型。,在线性对数模型中，1表示X变化1个单位引起Y的变化为(100*1)%。,36,推导：我们考察自变量X变化X的过程。此时：,37,我们考虑一个大学毕业生年龄和收入关系的例子。很多雇佣合同都指出职工多工作一年，则他或她的收入就增加一定的百分率。,由该回归知年龄每增加1岁，预计收入增加(100*0.0086)*=0.86%,再考虑工资方程中，教育年限每增加1年工资增加的百分率。,38,注意：因为自变量不包含任何对数形式，所以对数线性模型的拟合图是一条直线。,39,40,如何理解1的含义,因为该模型中Y是对数形式X也是，所以有时称它为双对数模型。,在线性对数模型中，1表示X变化1%个单位引起Y的变化为1%。,41,42,43,双对数函数最典型的例子是生产函数production。,44,45,原则1：在解释变量均显著的前提下，当被解释变量Y的函数形式相同时，可以通过adjR2比较模型的优劣。,但如果被解释变量Y的函数形式不同，例如一个是ln(Y)，而另一个是Y，则通过adjR2比较模型的优劣没有意义。,46,47,原则二：根据经济理论和对问题的实践认知确定用Y的对数形式是否有意义。经常使用对数形式表示增长率的经济指标：GDP投资消费工资成绩等等。,48,测试成绩和地区收入的多项式和对数模型,挑选一种最好的函数形式：到底选择多项式还是对数？在多项式和对数中哪种形式最好？多项式和对数的组合效果如何？,49,1。多项式形式,结论，立方形式改进了方程，并且income3前的系数显著，因此采用立方形式。,50,我们尝试使用对数的高次方形式,51,立方和线性对数形式的比较,因为是线性对数，所以可以比较adjR2。由于本题线性对数较高，所以采用线性对数形式。,52,53,自变量的交互作用（交乘项）,解释变量之间往往不是相互独立的，当两个解释变量之间相互影响，对被解释变量具有交互作用时，往往引入交乘项。即某个自变量变化对Y的效应依赖于另一个自变量取值。,54,我们将分三种情况考虑：1。两个自变量都是虚拟变量；2。一个自变量是虚拟变量而另一个是连续变量；3。两个变量都是连续变量。,55,两个虚拟变量的交互作用,其中Y是工资的对数，D1表示性别（1为女性），D2表示是否拥有大学学位（1为有）。,56,按照上，固定性别时，无论男性女性，拥有大学学位的效应是一样的。但现实情况是，在劳动市场中文凭的价值对男性和女性而言是不同的。显然，上述形式没有考虑到性别和获得大学学位的交互作用，因此我们引入一个交乘项D1*D2进行修正。,57,58,分析：1。给定D1的取值，D2=0和D2=1的数学期望为：E(Y|D1=d1,D2=0)=0+1d1E(Y|D1=d1,D2=1)=0+1d1+2+3d1第二项减去第一项，得2+3d1这是大学毕业生和非大学毕业生对Y的影响效应之差。但我们发现，这种效应依赖于d1。,59,当d1=0(男性)对Y的效应为2当d1=0(女性)对Y的效应为2+3,3即是女性和男性获得大学学位的效应之差。可见，是否大学毕业(D2)对工资对数的影响效果不仅取决于它本身，而且取决于性别(D1)。,60,在固定英语学习者百分率HiEL时的情况下，从低学生/教师比学区变到高学生/教师比学区的效应预测值为2+3d1，在本题中为-1.9-3.5HiEL。,61,在本题中我们还可以求以下数据：1。低学生/教师比和低英语学习者百分率学区的样本平均侧试成绩。2。低学生/教师比和高英语学习者百分率学区的样本平均侧试成绩。3。高学生/教师比和低英语学习者百分率学区的样本平均侧试成绩。4。高学生/教师比和高英语学习者百分率学区的样本平均侧试成绩。,62,连续变量和二元变量的交互作用,其中Yi为工资的对数，Xi是连续变量，表示工作经验；Di为虚拟变量，表示是否拥有大学学位。,63,64,1。仅截距不同,2。仅斜率不同,3。截距、斜率均不同,65,除了画图法，还可以通过F检验和t检验确定构造交乘项的必要性。,66,67,教育收益和性别差异,教育除了能让你感受到获取知识的愉悦外，还能带给你经济上的回报。学历较高的职工往往比学历较低的同等职工赚得更多。但至