营销研究 第十章 一元线性回归

1、营销研究 第十章 一元线性回归第十章 一元线性回归第一节 一元线性回归模型第二节 一元线性回归模型的显著性检验第三节 一元线性回归模型的残差分析第四节 利用估计的回归方程进行估计和预测营销研究10第一节 一元线性回归包含一个自变量和因变量，两者关系可以用一条直线近似的回归分析，这种分析称为一元线性回归分析。 一元线性回归分析的模型： y= ?0 + ?1x+?模型参数误差项，是随机变量，在模型中假定它的数学期望值等于0。于是，y也是随机的，即，当自变量x取一个值，因变量y是一个与自变量x和误差?有关的随机量，但是： E(y)= ?0 + ?1x这就是y的平均值如何依赖于x的回归方程。营销研究1

2、0一元线性回归的几何含义E(y)xx1y与x有一定的线性关系，但也有些非线性的因素。比如企业产品销量在一定时间内与时间变量有线性关系，但也受天气影响。天气好y1天气不好y1E(y)E(y1)营销研究10一元线性回归的可能回归线E(y)x?0斜率?1的回归线正相关E(y)x?0斜率?1的回归线负相关E(y)x?0不相关截距截距截距营销研究10举例有家连锁饮食公司，其饮食店主要在大学附近，从饮食店汇总的数据看，这些店的月度销售收入与大学的学生人数呈正相关性。从这家公司抽取了10家这样的店，提供的数据如下：26101492291692081572071371661171251188488831056

3、25821销售收入(yi)千元学生人数(xi)千人连锁店(i)营销研究10估计的回归方程对于y，我们用一个估计的回归方程（如下）去估计它。 y=b0+b1x即对于某个y，由对应的x代入以上方程的函数近似它。xyy实质是用E(y)近似y。营销研究10b0、b1的估计最小二乘法：利用已知的x，y数据，按min?0(yiyi)2原则确定b0、b1。其中yi是第i 次观察值， yi = b0+b1xi是第i次观察值yi的估计值。由此，由微积分运算，可以得到b1 =?0xi yi (?0xi?0yi )/n?0xi2 (?0xi )2/nb0=y b1 xxi 第i次观察的自变量观察值yi 第i次观察的

4、因变量观察值x 自变量的样本平均值y 因变量的样本平均值n 总的观察次数营销研究10举例的回归方程b1 =5， b0 =130514=60，回归方程 （散点图、图表栏中的添加趋势线）： y = 60+5x 营销研究10判定系数判定系数是估计的回归方程的一个拟合优度的度量。因变量的观察值yi和因变量的估计值yi之间的差称为残差，记为?= yiyi ， 表示用yi估计yi的误差。这里的残差平方和?0(yiyi)2是举例一个极小化的量，称为误差平方和，记为SSE，即： SSE= ?0(yiyi)2举例中的SSE计算如下： SSE=1530 营销研究10总的平方和SST如果用样本观察值yi的平均值y去

5、估计每一个yi，则观察值与估计值的离差yiy的平方和称为总的平方和，记作SST，即： SST = ?0(yiy)2举例中的SST为：SST=15730?0?0?0?SST可看成是观察值在y周围的密集程度。而SSE是观察值在y周围的密集程度。?0? 营销研究10回归平方和把回归线上的 y和平均值 y的偏差的平方和作为一种反映估计值在平均值周围的密集程度度量，成为回归平方和，即： SSR=?0(yi y)2 ?0? ?0?其中，有SST=SSR+SSE SST= 15730 = 14200 + 1530判定系数：r2=SSRSSTr2=1420015730=0.9027营销研究16(xix)(yi

6、y)?6(xix)2 ?6(yiy)2=(b1的符号)判定系数r =0.950123营销研究10模型假定 估计的回归方程确定以后，即使判定系数r值很大，我们还得对模型假定的合理性进行分析。 对回归模型y= ?0 + ?1x+?误差项?的假定： 1、误差项?是一个平均值或期望值为零的随机变量，即E(?)=0。于是，给定的x值， E(y)= ?0 + ?1x 2、对所有的x值， ?的方差是是相同的，即 ?(x)的方差=?2。于是对所有的x值，y的方差也都等于?2。 3、 ?的值是互相独立的，即?(x)随机变量是独立，于是， y(x)随机变量也是独立。 4、 ?是一个满足正态分布的随机变量。于是y满

7、足正态分布的随机变量。营销研究10模型假定的几何意义E(y)x1天气好y1天气不好y1E(y)E(y1)营销研究10第二节 一元线性回归的显著性检验E(y)= ?0 + ?1x，当?1不等于零时， E(y)与x满足线性关系，如果 ?1等于零则E(y)与x不存在线性关系。于是判定?1是否等于零，是检验线性回归是否合理的依据。我们利用假设检验来判断?1是否等于零。由于检验，需要得到?的方差?2的估计。由统计知识，这个估计均方误差?2的估计：s2 =SME=SSEn2n2是SSE的自由度，因为SSE=?0(yiyi)2 = ?0(yib0 b1x)2有两个参数要估计。 举例中的均方误差?2的估计，

8、s2 =1530102=191.25营销研究10t 检验一元线性回归模型y= ?0 + ?1x+?，如果x和y之间存在一个线性关系，则应该?1 0。为此，我们需要对此进行检验，采用t检验。H0 ： ?1 =0，H1： ?1 0，如果检验后，拒绝接受H0则认为?1 0，即x和y之间存在一个显著的线性关系，反之，我们就没有理由认为x和y之间存在一个显著的线性关系。 ?1的估计量b1的值与样本有关，选不同的样本， b1的值可能不一样， b0也可能不一样，即估计的回归方程也不一样。比如举例中估计的回归方程是y=60+5x，如果换一个样本估计，可能方程是另外的截距和斜率。 b0 ， b1是样本统计量。b

9、1 =?0xi yi (?0xi?0yi )/n?0xi2 (?0xi )2/nb0=y b1 x营销研究16xi2 (?6xi)21n标准差分布形式： 正态分布b1是?1无偏估计， ?用前面给出的估计s。举例中的s=13.829b1估计的标准差sb1 =s?6xi2 (?6xi)21nb1?1统计量sb1服从自由度为n 2的t分布举例中的sb1 =0.5803营销研究10回归方程的显著性检验原假设 H0 ： ?1 =0，研究假设 H1： ?1 0,显著性水平 ?t=b10sb1如果，t t?/2，则拒绝H0 ，即x和y之间线性关系是显著的。其中t?/2是自由度n2的截尾概率?的t分布值。 举

10、例的t检验： ?=0.01检验步骤：t=b10sb1=8.62=50.5803T0.005 =3.355，因为8.62 3.355，所以?1显著不等于0。营销研究10F检验构造满足F分布的统计量，利用该分布也能检验回归方程的显著性。已知MSE是?2的一个估计量。如果假设H0 ： ?1 =0成立，那么均方回归MSR是?2的另一个估计量。MSR=SSR回归自由度回归中的自变量的个数。这里等于1。如果假定原假设（ H0 ： ?1 =0）成立， MSR和MSE是?2两个独立的估计量，并且MSR/MSE抽样分布服从分子自由度1和分母自由度n2的F分布。可见，原假设成立， MSR/MSE接近于1。所以如果

11、MSR/MSE比较大1，则可判断原假设不成立，即x和y之间有显著的线性关系。营销研究10F检验步骤原假设 H0 ： ?1 =0，研究假设 H1： ?1 0,显著性水平 ?检验统计量F=MSRMSE如果F F? ，则拒绝原假设H0 ，即x和y之间有显著的线性关系。 F?是?水平的分子自由度1和分母自由度n2的F分布的上侧分位数。举例的F检验：?=0.01F=MSRMSE=14200191.25=74.25F0.01 =11.26，我们拒绝原假设H0营销研究10第三节 一元线性回归的残差分析残差分析是确定假定的回归模型是否适宜的重要方法。第i 次观测的残差： yiyi 其中， yi 因变量的观测值

12、 yi 因变量的估计值 假设回归模型：y= ?0 + ?1x+?残差提供了有关误差项?的最佳信息，因此残差分析是确定误差项?的假定是否成立的重要步骤。许多残差分析都是在对残差图形的仔细考察基础上完成的。营销研究10关于x的残差图关于x的残差图，横坐标表示自变量x，纵坐标表示残差值yiyi， xi对应的是残差yiyi，用举例的数据看， xi =2， yiyi =12。 1220226-2114922916920-315720-313716-311712181188-12888151056-12582yiyi月销售y千元学生数x（千人） 营销研究10残差图分析残差图主要出现的三种形式yiyi x满

13、意模式yiyi x非常数方差yiyi x模型形式不合适营销研究10关于y的残差图关于y的残差图，横坐标表示因变量的估计值y，纵坐标表示残差值yiyi， 营销研究16( xi x )2第i 个观测值的标准差残差：yiyi syi-yi 标准化残差图能对误差项?服从正态分布的假定提供一个直观的认识。如果这一假定被满足，那么标准化残差的分布也应服从正态分布。因此，在残差图中，应该95%的标准化残差介于2和+2之间。营销研究10举例中的标准化残差图结论：所有的点都在2和+2之间。故模型是合适的。营销研究10正态概率图确定误差项?服从正态分布的假定成立的另一个方法是正态概率图。首先介绍正态概率图的横坐标

14、的正态分数： 假设从一个平均值为0，标准差为1的正态概率分布中随机地抽取10个数值，并将这一抽样过程反复进行，然后把每个样本中的10个数值从小到大的顺序排列。考虑其中最小数值，这个最小数值是一个随机变量，称为一阶顺序统计量。统计证明，来自标准正态分布的容量为10的样本，一阶顺序统计量的期望值为1.55。这个期望值就称为正态分数。 对于样本容量n=10的情形，有10个顺序统计量和10正态分数。一般样本容量n，有n个顺序统计量和n正态分数。1.5510 0.1251.0090.3740.6580.6530.3771.0020.1261.551正态分数顺序统计量正态分数顺序统计量n=10的正态分数营

15、销研究10正态分布图将标准化残差按小到大排列，与正态分数排列一致。在坐标中，纵坐标表示标准化残差，横坐标表示正态分数。如果标准化残差近似服从正态分布，那么在图上标出的散点应密集在通过坐标原点的450线附近。这个散点图称为正态概率图。举例的正态概率图：1.4230091.55-0.22956 0.121.2224011.00-0.237170.371.0792030.65-0.948670.650.7115040.37-1.07921.00-0.229560.12-1.711361.55有序标准化残差正态分数有序标准化残差正态分数营销研究10残差分析：异常值和有影响的观测值通过残差分析识别异常的

16、或特别与影响的值。异常值的检测：通过两个变量的散点图，可以观察到异常的值。通过标准化的残差，也能识别异常值。如果一个观测值与散点图上其余数据点的散布格局有一个大的偏离，则对应的标准化残差的绝对值也将是大的。根据标准化残差的分布应服从正态分布，即应该95%的标准化残差介于2和+2之间。如果检测的某标准化残差超出了这个范围，则该y值是异常值。检测出异常值有助于我们分析该观测值到底是什么原因引起，并进行修正。如156403255753354502304551453451yixiyixi营销研究16( xi x )2营销研究10第四节 利用估计的回归方程进行估计和预测估计的回归方程通过了前面的判定和检

17、验后，认为x和y之间有显著的线性关系，对给定数据的拟合是好的。为此，可以用该回归方程进行估计和预测。通过估计的回归模型，给定一个自变量x，就可以得到一个因变量y平均值的估计值或预测值。这种估计有点估计和区间估计两种。营销研究10点估计点估计y的平均值。以前举例为例：已知估计的回归方程是：y = 60+5x 估计在10000（10千）名学生的校园附近饮食店的平均销售收入，将此值代入方程得，估计值为110千元。同样，如果预测在学生人数达12000（12千）名学生的校园附近开设连锁饮食店月度收入是多少？预测结果是120千元。营销研究10 y平均值的置信区间估计 因变量y的区间估计分为置信区间估计和预

18、测区间估计。置信区间估计是对一个给定x值，求出对应的y的平均值置信区间。而预测区间估计则是对一个给定x值，求出y的个别值的置信区间。 y平均值置信区间估计是指对给定的自变量x的一个特定值xp，求E(y)的置信区间估计。已知E(y)的估计值等 yp = b6xi2 (?6xi)21ns2 = SME=SSEn2营销研究10E(yp)的置信区间估计的一般表达ypt?/2sp 其中，1?是置信度， t?/2是自由度n2的t 分布的?双尾分布值。求举例中，xp=10时， ?=0.6xi2 (?6xi)21n=4.95自由度102=8的t0,025值等于2.306，而y=110，故所求置信区间 110 2.306 4.95=11011.415 营销研究10