84回归分析.ppt

第四节一元线性回归分析 一 变量间的两类关系 二 一元线性回归模型 四 回归方程的显著性检验 三 回归系数的最小二乘估计 五 估计与预测 变量间的关系 1 确定性关系或函数关系y f x 人的身高和体重家庭的收入和消费商品的广告费和销售额粮食的施肥量和产量股票的时间和价格学生的期中和期末考试成绩 2 非确定性关系 变量间相关关系不能用完全确定的函数关系表示 但平均意义下有一定的定量关系表达式 研究这种定量关系表达式就是回归分析的主要任务 回归 一词由英国生物学家兼统计学家高尔顿提出 x y 实变量 随机变量 相关关系 一 变量间的两类关系 regression 回归分析便是研究变量间相关关系的一门学科 它通过对客观事物中变量的大量观察或试验获得的数据 去寻找隐藏在数据背后的相关关系 给出它们的表达形式 回归函数的估计 x y 采集样本信息 xi yi 回归分析 散点图 回归方程 回归方程的显著性检验 对现实进行预测与控制 基本思想 如果数学关系式描写了一个变量y与另一个变量x之间的相关关系 则称其为一元回归分析 并且称y是响应变量 ResponseVariable 因变量 DependentVariable 称x是预报变量 自变量 IndependentVariable 回归变量 回归分析是根据变量观测数据分析变量间关系的常用统计分析方法 通常把变量观测数据称为样本 如果数学关系式描写了一个因变量与另多个自变量之间的相关关系 则称其为多元回归分析 第一类回归问题当x也是r v时 在知道x的取值后y的条件密度为p y x 我们关心的是y的平均取值E y x 它是x的函数 称为y关于x的理论回归函数这是第一类回归问题 第二类回归问题若x可被人为控制 成为非r v 只是y为r v 它们之间的关系可表示为 y f x 其中 为随机误差 一般假设 N 0 2 则Ey f x 我们仍关心的是回归函数f x 的确定 这是第二类回归问题 本书主要研究第二类回归问题 且是线性回归问题 例1 合金强度估计与碳含量有关 为生产出强度满足用户要求的合金 如何控制碳含量 若已知碳含量 如何预测合金强度 现收集了12组数据如下表 为了研究这些数据中所蕴含的规律性 先由12对数据作出散点图 从图中看到 这些点不完全在一条直线上 这表明x和y的关系并没有确切到给定x就可以唯一确定y的程度 但数据点大致落在一条直线附近 这告诉我们变量x和y之间大致可看作线性关系 通常假定 上式表明 y与x间有线性关系 但受到随机误差的干扰 y称因变量 x称自变量 称为随机误差 0 1称为待估计的回归参数 0为截矩 1为直线斜率 它表示x每增加一个单位 y的增加量 两个变量之间的线性关系 可表为 二 一元线性回归模型 在对未知参数做区间估计或假设检验时 还通常假定 如果由数据获得 0 1的估计分别为 则经验回归方程为 其图形称为回归曲线 给出x x0后 称 两个变量之间的线性关系 其回归模型为 设对y及x做n次观测得数据 xi yi i 1 2 n 为回归值 拟合值 预测值 即 y关于x的回归方程 回归系数估计 以 xi yi 为坐标在平面直角坐标系中描点 所得到的图形称之为散点图 若散点呈直线趋势 则认为y与x的关系可以用一元线性回归模型来描述 三 回归系数的最小二乘估计 一般用最小二乘方法 由数据获得 0 1的估计 1 由最小二乘估计可得到回归方程 记 其中 二元函数的最小值点称为 0 1的最小二乘估计 简记为LSE 由正规方程组 所以方程组有解 解得 其中 由最小二乘估计所得回归方程为 例1 续 应用合金强度与碳含量的数据 试求回归方程 解 回归方程为 这表明 2 最小二乘估计的性质 四 回归方程的显著性检验 H0 1 0vsH1 1 0 提出假设 为寻找检验H0的方法 将x对y的线性影响与随机波动引起的偏差平方和分开 数据总的波动的偏差平方和 回归值记为 残差记为 反映了回归自变量的波动 反映了其它因素的影响 记 回归平方和 残差平方和 可证 见下页 在计算时 1 F检验 0 回归场合下偏差平方和的分解的推导 其中 故 回归平方和 残差平方和 定理 P402 设y1 y2 yn相互独立 且 则上述记号下 有 1 2 3 SR与Se 独立 即独立 关于SR与Se的分布 故 进一步 若H0成立 则有 选择检验统计量 对于给定的显著性水平 当时 就拒绝H0 认为回归方程有显著意义 注 等价地 也可采用t检验 t检验 t n 2 当 t t1 2 n 2 时拒绝H0 整个检验也可列成一张方差分析表 例1 续 应用合金强度与碳含量的数据 得到了回归方程 试验证回归方程的显著性 解 经计算有 列方差分析表 若取显著性水平 0 01 查表可得 由于279 02 10 0 故在0 01水平下认为回归方程是显著的 例1 续 应用合金强度与碳含量的数据 得到了回归方程 试用相关系数法验证回归方程的显著性 查 r 分布的临界值表 附表9 得r1 n 2 当 r r1 n 2 时拒绝H0 检验统计量 样本相关系数r 提出假设H0 0vsH1 0 2 相关系数检验 设 为二维总体 x y 的相关系数 查表得临界值r1 n 2 r0 99 10 0 708 从而拒绝H0 0 01时 注 称r2为判定系数 它度量了经验回归方程对观测数据的拟合程度 0 r2 1 它的值越大 表明因变量与自变量之间的相关性越强 在一元线性回归场合 三种检验方法是等价的 在相同的显著性水平下 要么都拒绝原假设 要么都接受原假设 不会产生矛盾 F检验可以很容易推广到多元回归分析场合 而其他二个则否 所以 F检验是最常用的关于回归方程显著性检验的检验方法 已知 寻求均值的点估计与区间估计 且与相互独立 1 Ey0的点估计 即为回归方程计算所得回归值 当回归方程经过显著性检验之后 可用来估计和预测 五 估计与预测 1 Ey0的估计问题 2 Ey0的区间估计 由于 置信区间为 参数 所求即x x0时 对应y0的1 取值区间 所以y0的1 预测区间为 由于 则 2