管理统计学9一元线性回归课件

回归分析适合研究哪类问题?回归方程的显著性检验适合什么情况?回归系数的显著性检验适合什么情况?

1例

设有10个厂家的投入和产出如下，根据这些数据，我们可以认为投入和产出之间存在相关性吗？厂家12345678910投入20402030101020202030产出3060406030404050307029.1回归分析的基本概念9.1.1因变量(Y)及自变量(X)之间的关系根据因变量及自变量之间的关系不同，可以分为两种类型：函数关系统计关系39.1.1因变量(Y)及自变量(X)之间的关系1.函数关系即对两个变量X，Y来说，当X值确定后，Y值按照一定的规律唯一确定，即形成一种精确的关系。

例：某商品的销售额y及销售量x之间的关系可表示为y=px(p是单价)，圆的面积可表示为s=piR^249.1.1因变量(Y)及自变量(X)之间的关系2.统计关系即当X值确定后，Y值不是唯一确定的，但大量统计资料表明，这些变量之间还是存在着某种客观的联系。59.1.2回归分析在直角坐标平面上，标出了10个观测点的坐标位置，他们表示以家庭为单位，某种商品年需求量及该商品价格之间的10对调查数据69.1.2回归分析回归分析(RegressionAnalysis)就是应用统计方法，对大量的观测数据进行整理、分析和研究，从而得出反映事物内部规律性的一些结论。79.2一元线性回归模型9.2.1统计关系的特征统计关系特征观测点散布在统计关系直线周围，此种情况说明Y的变化除了受自变量X影响以外，还受其他因素的影响。因此试图建立这样一个回归模型，通过对此模型所作的一些假设，可以体现出上述统计关系所刻划的特征。因变量Y随自变量X有规律的变化，而统计关系直线描述了这一变化的趋势。89.2.2一元线性回归模型假设根据统计关系特征，可以进行下述假设：假设(2)这些Y的概率分布的均值，有规律的随X变化而变化(1)对于自变量的每一水平X，存在着Y的一个概率分布；99.2.3一元线性回归模型Y及X具有统计关系而且是线性建立回归模型Yi=β0+β1Xi+εi

(i=1,2,···,n)

其中，(Xi,Yj)表示(X,Y)的第i个观测值，β0,β1为参数，β0+β1Xi为反映统计关系直线的分量，εi为反映在统计关系直线周围散布的随机分量ε

i～N(0,σ2)。109.2.3一元线性回归模型对于任意Xi值有：⑴Yi服从正态分布⑵E(Yi)=β0+β1Xi；⑶⑷各Yi间相互独立

Yi～N(β0+β1Xi,σ2)。119.2.3一元线性回归模型图9-2129.2.4一元线性回归方程最小二乘法Y及X之间为线性关系选出一条最能反映Y及X之间关系规律的直线139.2.4一元线性回归方程Yi=β0+β1Xi+εi

β0和β1均未知根据样本数据对β0和β1进行估计β0和β1的估计值为b0和b1

建立一元线性回归方程

149.2.4一元线性回归方程一般而言，所求的b0和b1应能使每个样本观测点(Xi,Yi)及回归直线之间的偏差尽可能小，即使观察值与拟合值的误差平方和Q达到最小。图9-4回归方程原理图159.2.4一元线性回归方程令

Q达到最小值b0和b1称为最小二乘估计量微积分中极值的必要条件令偏导数为0解方程169.2.4一元线性回归方程(9-5)(9-6)179.2.5最小二乘估计量b0,b1的特性b0,b1的特性线性无偏性189.2.5最小二乘估计量b0,b1的特性(1)线性特性由（9-5）得令则表明b1是Yi的线性组合199.2.5最小二乘估计量b0,b1的特性同理，可得b0是Yi线性组合209.2.5最小二乘估计量b0,b1的特性(2)无偏性可以证明b0和b1分别是β0和β1的无偏估计

21引例分析故回归方程为：22引例分析厂家投入(x)产出(y)预测值残差1203042.6316-12.63162406066.3156-6.31563204042.6316-2.63164306054.47365.52645103030.7896-0.78966104030.78969.21047204042.6316-2.63168205042.63167.36849203042.6316-12.631610307054.473615.526423包含残差的散点图真实值及预测值的差就是回归直线在每个给定点上的误差，我们称之为残差（residual）。从几何上讲，残差是回归直线到样本数据点之间的垂直距离，确定斜率和截距的方程使回归直线位于样本点之间。这样，从回归直线到样本点之间的垂直距离相互抵消，使总和为0。引例分析24引例分析投入及产出例子中沿轴的残差分布残差也用来确定异常点（outliers），异常点就是及其他点偏离，与总体趋势不符的数据点。异常点往往使残差幅度加大，在散点图中很容易识别。回归直线方程会受到计算中每个点的影响，因此，异常点的存在可能会使回归直线向异常点偏离。25回归方程的显著性检验（总体显著性检验）

9.3.1总平方和分解269.3.1总平方和分解

图9-5总平和分解图279.3.1总平方和分解

总离差平方和它表示没有X的影响，单纯考察数据中Y的变动情况。289.3.1总平方和分解回归平方和表示各的变动程度，该变动是由于回归直线中各Xi

的变动所引起的，并且通过X对Y的线性影响表现出来。299.3.1总平方和分解

误差平方和表示各Yi围绕所拟合的回归直线的变动程度SST=SSR+SSE309.3.1总平方和分解

SSE=SST-SSR319.3.2自由度的分解SST自由度ƒT为n-1SSEβ0和β1用了两个正规方程自由度ƒE为n-2SSR自由度ƒR为1329.3.2自由度的分解自由度的分解可以表示为n-1=1+（n-2）ƒT=ƒR+ƒE339.3.3回归均方及误差均方

(9-10)(9-11)回归均方误差均方349.4样本确定系数及样本相关系数9.4.1样本确定系数(9-12)注:Y的总变差中能被X解释的那部分所占的比率359.4.1样本确定系数

r2的取值范围样本的全部观察值都落在所拟和的回归直线上

SSE=0，r2=1当X及Y无关，Y的变差完全由于随机因素引起，此时，SSR=0

r2=0369.4.2样本相关系数样本相关系数注:r及b1的分母均为正，分子相同,故r与b1有相同的符号。379.4.2样本相关系数r的取值情况情况一图9-6389.4.2样本相关系数情况二图9-7399.4.2样本相关系数情况三图9-8409.4.2样本相关系数情况四图9-941不相关正相关负相关相关但无线性关系42引例分析厂家投入(x)产出(y)x2y2xy12030400900600240601600360024003204040016008004306090036001800510301009003006104010016004007204040016008008205040025001000920304009006001030709004900210043引例分析平均投入220/10=22,平均产出450/10=45449.5一元线性回归显著性检验在回归函数E(Y)=β0+β1X中，如果β1=0，则对于X的一切水平E(Y)=β0，说明Y的变化及X的变化无关，因而，我们不能通过X去预测Y。所以，对模型Yi=β0+β1Xi+εi

检验β1=0是否成立，等价于检验Y与X之间是否存在线性关系。459.5.1b1的抽样分布为了检验β1=0是否成立，需要构造一个合适的统计量，因此，首先讨论b1的抽样分布。469.5.1b1的抽样分布b1是观测值Yi的线性组合Yi服从正态分布且相互独立b1也服从正态分布479.5.1b1的抽样分布以下可以证明b1的方差489.5.1b1的抽样分布证明：因为且Yi相互独立，其中所以，b1服从499.5.2F检验在一元线性回归中，为了检验Y对于X线性关系的统计显著性，对β1进行F检验1）提出假设：H0：β1=0，H1：β1≠0。

2）构造并计算统计量：3）查F分布临界值表，得临界值4）比较：接受H0，认为Y及X不存在一元线性关系。509.5.2F检验若F>拒绝H0，认为Y及X存在一元线性关系。表9-1方差分析表51

dfSSMSFSignificanceF回归分析11065.7891065.78910.872480.01090193残差8784.210598.02632总计91850

529.5.3t

检验1）提出假设

H0:H1:2）构造并计算统计量步骤：3）查t分布临界值表得临界值539.5.3t

检验4）比较若，接受H0

若，拒绝H0

54查表得，落在了拒绝域，即自变量x及因变量y之间相关关系明显，投入量对产出量的影响显著。559.5.4利用样本相关系数进行统计检验步骤：1）提出假设H0:ρ=0H1:ρ

2）计算简单相关系数r3）查相关系数临界值表得临界值ρ是总体Y及X的线性相关系数569.5.4利用样本相关系数进行统计检验4）比较若，接受H0

若，拒绝H0

57589.6模型适合性分析在对一元线性回归模型的适合性进行分析时,由于误差项是不可观测或测量的,需借助残差的图像,来考察模型是否存在以下情况：异方差性和自相关性。599.6.1误差项的异方差性检验若不具有常数方差,称模型存在异方差性。此时,残差如下图所示，数据点呈现发散或收敛趋势。在此种情况下,最小二乘法失效,因此需按照一定方法对数