双变量回归模型估计问题.ppt

1、双变量回归模型：估计问题,cht03,3.1 method of ordinary least squares,普通最小二乘法-德国 C.F.Gauss,回顾双变量PRF：无法直接观测到,我们可通过SRF去估计它：,3.1 method of ordinary least squares,SRF又是怎样被决定的呢？,我们将上述公式改写得：,图示如下：,Y,X,Y,Y,X,Y,min,最小,平方,least squares,最小二乘法,最小化,微分法得到下列方程：,正态方程 Normal equations,估计量，estimators,上面的估计量由最小二乘原理演算出来，也叫最小二乘估计量，O

2、LS estimators,3.1 method of ordinary least squares,估计量的数值性质 是指运用OLS方法而得以成立的性质，不管数据是怎样产生的。 估计量的统计性质 仅在数据产生的方式满足一定的假设下才得以成立的性质。,3.1 method of ordinary least squares,OLS估计量是纯粹由可观测的样本表达的，易于计算。 OLS estimator 是点估计量 point estimator 后续将介绍 区间估计量，即对未知的总体参数的可能值提供一个范围。 一旦从样本数据得到OLS估计值，便容易画出样本回归线。,3.1 method of

3、ordinary least squares,回归线的一些性质： 它通过Y和X的样本均值。 估计的Y的均值等于实测的Y的均值 残差 的均值为零 残差 和预测的Y值不相关 残差 和X值不相关,数值性质,Y,X,Y,Y,X,Y,SRF,性质1的说明,性质2的说明,性质3的说明,在求解最小化问题时，微分得到,性质4的说明,由性质3，5直接可得。,性质5的说明,在求解最小化问题时，微分得到,3.2 CLRM:OLS的基本假定,假定 1：线性回归模型。 即回归模型在参数上是线性的，这是CLRM 的起点，全书将保持这种线性性假定。 假定2：在重复抽样中，X值是固定的，非随机的。 这个假定的根本意思就是，我

4、们的回归分析是条件回归分析，以给定的解释变量x 值为条件。,3.2 CLRM:OLS的基本假定,假定 3：干扰项具有零均值。,Y,X,Y,Y,X,Y,PRF,条件均值,X1,X2,X3,X4,3.2 CLRM:OLS的基本假定,假定 4：干扰项具有同方差（Homoscedasticity）,条件方差,无条件方差,X1,X2,X3,Y,X1,X2,X3,Y,3.2 CLRM:OLS的基本假定,假定 5：干扰项之间不存在自相关（No autocorrelation between the disturbances）。 给定任意两个 X 值，对应的两个干扰项之间的相关（correlation）等于0

5、。,3.2 CLRM:OLS的基本假定,假定 6： ui和Xi 之间的协方差等于0。,3.2 CLRM:OLS的基本假定,假定 7：观察值的个数n 必须大于要估计的参数的个数。 假定 8：X 值的变化必须足够大。,3.2 CLRM:OLS的基本假定,假定 9：回归模型正确设定 设定偏误 Specification bias or error,货币工资变化率,失业率,3.2 CLRM:OLS的基本假定,假定 10：不存在多重共线性（multicollinearity）。 也就是说，在解释变量之间不存在完全的线性关系。这实际上是多元回归中的假定。这里先提一下。,3.3最小二乘估计的精度或标准误差,

6、Var 代表方差，se 代表标准误，,上述公式，除方差外，都有数据，那么 方差如何计算？,的特点,1、 的方差与 成正比，与 成反比。 2、 的方差与 成正比， 与 , n 成反比。 3、由于 和 是估计量，它们是互相依赖的。, 3.4 最小二乘估计量的性质：高斯马尔科夫定理,Gauss-Markov Theorem: Given the assumptions of the classical linear regression model, the least-squares estimators, in the class of unbiased linear estimators, h

7、ave minimum variance, that is, they are BLUE.,最优线性无偏估计量（best linear unbiased estimator, BLUE），即： 1. It is linear. 2. It is unbiased. 3. It has minimum variance in the class of all such linear unbiased estimators; an unbiased estimator with the least variance is known as an efficient estimator., 3.5 判定系数r2 :拟合优度的一个度量,样本回归线 样本点 正负的残差,X,Y,定义：, 3.5 判定系数r2,如上定义的r2，我们称之为判定系数。 它是对回归线拟合优度最为常用的度量 r2测度了在Y的总变异中由回归模型解释的那个部分所占的比例或百分比。 r2 的两个性质： 1、非负； 2、0 r2 1。,r2的快捷 计算公式,r2的快捷 计算公式,一个与判定系数r2 紧密相关但是概念上却不同的统计量