直线回归法的公式推导.ppt

直线回归法的原理 及推导公式,主要内容,一、直线回归法的原理,直线回归发的原理微积分极值原理,从散布图法可以看出，我们总能设法找到一条尽可能通过所有坐标点，也就是所有误差最小的惟一直线y=a+bx 。 设ei为当业务量为xi时，实际值（又称观测值）yi与计算值（a+bxi）的误差，即 ei = yi (a+bxi),二、直线回归法公式推导,怎样判断一条直线方程就是我们所要找的所有误差最小的那条直线y=a+bx 呢？可以考虑的办法有三： 第一，判断所有误差的代数和是否最小。即： ei =0 但由于误差有正有负，可能相互抵消，会存在无数满足上述条件的直线，因而无法据此作出最终判断。,二、直线回归法公式推导,所有误差的代数和是否最小示意图？,二、直线回归法公式推导,第二，判断所有误差绝对值的合计是否最小。即：ei =0 但上式展开后，涉及到绝对数运算，非常麻烦： ei = e1e2 e3 en-1 en 因而也无法据此作出判断。,二、直线回归法公式推导,第三，判断所有误差平方和是否最小。即：ei2 =0 这种方法既排除了正负误差的符号问题，又避免了绝对值运算的麻烦。 因此，可以根据误差的平方和是否达到最小，来判断直线方程y=a+bx的总误差是否达到最小。 此法又称最小二乘法或最小平方法。,二、直线回归法公式推导,根据上述道理，回归直线法就是求能使ei2 =0成立的回归系数a和b的值。 因为 ei = yi (a+bxi) 所以 ei2 = yi (a+bxi) 2 按照微分极值原理，令上式=0，并分别对a和b求偏导数，就可以求出能满足ei2 达到极小值的a和b。 按照此法推导的a，b计算公式，称为 公式法。,二、直线回归法公式推导,e2=y (a+bx) 2 = y 22 y (a+bx)+ (a+bx) 2 = y 22ay 2bxy+a2 +2abx+ b2x2 =y22ay2bxy+na2+2abx+b2x2 令： y 22ay 2 bxy+na2 +2abx+ b2 x2=0 对上式求a的偏导数，得： 2y +2na +2bx=0 整理得 y =na +bx （1）式,1.按公式法推导a，b计算公式的过程,对y22ay2bxy+na2+2abx+b2 x2=0 求b的偏导数，得： 2xy +2ax+ 2bx2 =0 整理得 xy = ax+ bx2 （2）式 解联立方程，即可求出a，b的值。,1.按公式法推导a，b计算公式的过程,2.用行列式求二元一次方程组中a和b的解,因为下列联立方程中，未知数为a和b，y,xy 为已知常数， n,x和x2分别为a和b的系数，则有,常数列 y xy,用行列式的方法解法如下：,2.用行列式求二元一次方程组中a和b的解,y = na+bx,可以同时计算出a和b,必须先计算出b，然后才能计算 a,2.用行列式求二元一次方程组中a和b的解,上述联立方程也可以不用求偏导数的方法来建立，可利用一种所谓简捷法来实现。, y=a+bx y = (a+bx)=na+bx （1）