3.1回归分析的基本思想及其初步应用

1、1.1回归分析的基本思想及其初步应用,必修3(第二章 统计)知识结构,收集数据 (随机抽样),整理、分析数据估计、推断,简单随机抽样,分层抽样,系统抽样,用样本估计总体,变量间的相关关系,用样本的频率分布估计总体分布,用样本数字特征估计总体数字特征,线性回归分析,比数学3中“回归”增加的内容,数学统计 画散点图 了解最小二乘法的思想 求回归直线方程 ybxa 用回归直线方程解决应用问题,选修2-3统计案例 引入线性回归模型 ybxae 了解模型中随机误差项e产生的原因 了解相关指数 R2 和模型拟合的效果之间的关系 了解残差图的作用 利用线性回归模型解决一类非线性回归问题 正确理解分析方法与结

2、果,1、两个变量的关系,不相关,相关关系,函数关系,线性相关,非线性相关,问题1：现实生活中两个变量间的关系有哪些呢？,相关关系：对于两个变量，当自变量取值一定时，因变量的取值带有一定随机性的两个变量之间的关系。,相关关系与函数关系的不同,函数关系中的两个变量间是一种确定性关系 相关关系是一种非确定性关系,函数关系是一种理想的关系模型 相关关系在现实生活中大量存在，是更一般的情况,函数关系是一种因果关系, 相关关系不一定是因果关系,也可能是伴随关系.,问题2：对于线性相关的两个变量用什么方法来刻划之间的关系呢？,2、最小二乘估计,最小二乘估计下的线性回归方程：,各点到该直线的距离的平方和最小，

3、 这一方法叫最小二乘法,回归直线必过样本点的中心,3、回归分析的基本步骤:,画散点图,求回归方程,预报、决策,回归分析是对具有相关关系的两个变量进行统计 分析的一种常用方法.,由散点图支持了我们从数据表中得出如下结论：,如果所有的样本点都落在某一函数曲线上，就用该函数来描述变量之间的关系。,b.如果所有的样本点都落在某一函数曲线附近，变量之间就有相关关系。,c.如果所有的样本点都落在某一直线附近，变量之间就有线性相关关系。,我们把由一个变量的变化去推测另一个变量的方法称为回归方法。,回归分析知识结构图,解：1、选取身高为自变量x，体重为因变量y，作散点图：,2.回归方程：,探究：身高为172c

4、m的女大学生的体重一定是60.316kg吗？如果不是，你能解析一下原因吗？,答：用这个回归方程不能给出每个身高为172cm的女大学生的体重的预测值， 只能给出她们平均体重的估计值。,考察女大学生的体重y和身高x之间的关系是否可以用一次函数y=bx+a来严格刻画？,由于所有的样本点不共线，而只是散布在某一直线的附近，所以身高和体重的关系可以用线性回归模型来表示：,其中a和b为模型的未知参数，e称为随机误差.,随机误差e中包含体重不能由身高的线性函数解释的所有部分， 它是一个随机变量，一般假定它的均值为0，,E(e)=0，,即有E(y)=bx+a,也就是y的期望值是x的一次函数。,在实际问题中，线

5、性回归模型适用的范围要比一次函数的适用范围大得多。,线性回归模型的完整表达式为,(3)观测误差。由于测量工具等原因，得到的y的观测值一般存在误差，（例如一个人的体重是确定的数，不同的秤可能会得到不同的观测值，它们与真值之间存在误差),这样的误差也包含在e中。,产生随机误差e的主要来源：,(2)忽略了某些因素的影响。影响变量y的因素不只变量x一个，可能 还包括其他许多因素（例如在描述身高和体重关系的模型中，体重不 仅受身高的影响，还会受遗传基因、饮食习惯、生长环境等其他因素 的影响），但通常他们每一个因素的影响可能都是比较小的， 它们的影响都体现在e中。,（1）用线性回归模型近似真实模型所引起的

6、误差。 （真实模型是客观存在的，通常我们并不知道真实模型到底是什么） 可能存在非线性的函数能够更好地描述y与x之间的关系，但是现在却 用线性函数来表达这种关系，结果就会产生误差。这种由于模型近似 所引起的误差包含在e中。,上面三项误差越小，说明我们的回归模型的拟合效果越好。,随机误差,e的估计量,对于样本点：,相应的随机误差为：,随机误差的估计值为：,称为相应于点 的残差.,称为残差平方和.,线性回归模型：,问题二：在线性回归模型中，e是用bx+a预报真实值y的随机误差， 它是一个不可观测的量，那么应如何研究随机误差呢？,误差与残差，这两个概念在某程度上具有很大的相似性， 都是衡量不确定性的指

7、标，可是两者又存在区别。 误差与测量有关，误差大小可以衡量测量的准确性，误差越大则表示测量越不准确。误差分为两类：系统误差与 随机误差。其中，系统误差与测量方案有关，通过改进测量方案可以避免系统误差。随机误差与观测者，测量工具，被观测物体的性质有关，只能尽量减小，却不能避免。 残差与预测有关，残差大小可以衡量预测的准确性。残差越大表示预测越不准确。残差与数据本身的分布特性，回归方程的选择有关。,问题三：如何发现数据中的错误？如何衡量随机模型的拟合效果？,(1)我们可以通过分析发现原始数据中的可疑数据，判断建立模型的拟合效果。,R2的值越大，说明残差平方和越小，也就是说模型拟合效果越好。,因此相

8、关指数R2可以作为度量模型拟合效果的一种指标。,（2）我们可以用相关指数R2来刻画回归的效果，其计算公式是,从整体上描述了用估计量来近似预报变量的效果， 它越小，说明模型的拟合效果越好；,仅与样本数据有关，与所选用的模型无关。,R2的值越大，说明残差平方和越小，也就是说模型拟合效果越好。,在线性回归模型中，R2表示解释变量对预报变量变化的贡献率。 即代表自变量刻画预报变量的能力。,R2越接近1，表示回归的效果越好（因为R2越接近1，表示解析变量 和预报变量的线性相关性越强）。,如果某组数据可能采取几种不同回归方程进行回归分析，则可以通过 比较R2的值来做出选择，即选取R2较大的模型作为这组数据

9、的模型。,相关指数R2是度量模型拟合效果的一种指标。,相关系数的性质 (1)|r|1 (2)|r|越接近于1，相关程度越强；|r|越接近于0，相关程度越弱 注:b 与 r 同号 问题：达到怎样程度，x、y线性相关呢？它们的相关程度怎样呢？,在一元线性回归模型中，R2和两个变量的相关系数r都能刻画用线性回归模型拟合数据的效果。,r的绝对值越大，R2就越大，用线性回归模型拟合数据的效果就越好。,相关系数,正相关；负相关通常： r-1,-0.75-负相关很强; r0.75,1正相关很强; r-0.75,-0.3-负相关一般; r0.3, 0.75正相关一般; r-0.25, 0.25-相关性较弱;,

10、|r|越接近于1，相关程度越强； |r|越接近于0，相关程度越弱,下面表格列出了女大学生身高和体重的原始数据以及相应的残差数据。,残差图的制作和作用：,制作：,作用：,坐标纵轴为残差变量，横轴可以有不同的选择.,横轴为样本编号：,可以考察残差与编号次序之间的关系， 常用于调查数据错误.,横轴为解释变量：,可以考察残差与解释变量的关系，常用于研究模型是否有 改进的余地.,判断模型的适用性若模型选择的正确，残差图中的点应该分布 在以横轴为中心的带形区域.,残差图的制作及作用。 坐标纵轴为残差变量，横轴可以有不同的选择； 若模型选择的正确，残差图中的点应该分布在以横轴为心的带形区域； 对于远离横轴的

11、点，要特别注意。,身高与体重残差图,几点说明： 第一个样本点和第6个样本点的残差比较大，需要确认在采集过程中是否有人为的错误。如果数据采集有错误，就予以纠正，然后再重新利用线性回归模型拟合数据；如果数据采集没有错误，则需要寻找其他的原因。 另外，残差点比较均匀地落在水平的带状区域中，说明选用的模型计较合适，这样的带状区域的宽度越窄，说明模型拟合精度越高，回归方程的预报精度越高。,R2 0.64，可以叙述为“身高解析了64%的体重变化”，或者说“女大学生的体重差异有64%是由身高引起的。 所以，身高对体重的效应比随机误差的效应大得多。,用回归方程预报体重时应注意：,1.回归方程只适用于我们所研究

12、的样本的总体。 2.我们建立的回归方程一般都有时间性。 3.样本取值的范围会影响回归方程的适用范围。 4.不能期望回归方程得到的预报值就是预报变量的精确值。,涉及到统计的一些思想： 模型适用的总体；模型的时间性； 样本的取值范围对模型的影响；模型预报结果的正确理解。,建立回归模型的基本步骤为：,（1）确定研究对象，明确哪个变量是解释变量，哪个变量是预报变量。,（2）画出确定好的解释变量和预报变量的散点图，观察它们之间的关系 （如是否存在线性关系等）。,（3）由经验确定回归方程的类型（如我们观察到数据呈线性关系，则选用线性回归方程y=bx+a）.,（4）按一定规则估计回归方程中的参数（如最小二乘

13、法）。,（5）得出结果后分析残差图是否有异常（个别数据对应残差过大，或残差呈现不随机的规律性，等等），若存在异常，则检查数据是否有误，或模型是否合适等。,问题六：若两个变量呈现非线性关系，如何解决？（分析例2）,例2 一只红铃虫的产卵数y和温度x有关。现收集了7组观测数据列于表中：,（1）试建立产卵数y与温度x之间的回归方程；并预测温度为28oC时产卵数目。 （2）你所建立的模型中温度在多大程度上解释了产卵数的变化？,方法一：一元函数模型,产卵数,气温,变换 y=bx+a 非线性关系 线性关系,对数,方法三：指数函数模型,当x=28 时，y 44 ，指数回归模型中温度解释了98%的产卵数的变化

14、,由计算器得：z关于x的线性回归方程,相关指数,因此y关于x的非线性回归方程为,最好的模型是哪个?,显然，指数函数模型最好！,定量变量的取值一定是实数，它们的取值大小有特定的含义，不同取值之间的运算也有特定的含义.,如身高、体重、考试成绩、温度等等.,变量,定量变量,分类变量,两个定量变量的相关关系分析：回归分析（画散点图、相关指数R2、残差分析）,（定性变量）,对于性别变量，其取值为男和女两种，这种变量的不同“值”表示个体所属的不同类别，像这样的变量称为分类变量.,在日常生活中，主要考虑分类变量之间是否有关系：,如是否吸烟、宗教信仰、是否患肺癌、国籍等等.,例如，吸烟是否与患肺癌有关系？ 性

15、别是否对于喜欢数学课程有影响？等等.,分类变量也称为属性变量或定性变量，它们的取值一定是离散的，而且不同的取值仅表示个体所属的类别，如性别变量，只取男、女两个值,1.2 独立性检验的基本思想及其初步应用,两个分类变量的相关关系的分析： 通过图形直观判断两个分类变量是否相关； 独立性检验.,由列联表可以粗略估计出，在不吸烟者中，有0.54%患有肺癌；在吸烟者中，有2.28%患有肺癌。因此，直观上可以得到结论：吸烟者和不吸烟者患肺癌的可能性存在差异.,与表格相比，三维柱形图和二维条形图能更直观地反映出相关数据的总体状况.,为调查吸烟是否对患肺癌有影响，某肿瘤研究所随机地调查了9965人，得到如下结

16、果（单位：人）：,吸烟与患肺癌列联表（列出两个分类变量的频数表）：,1、列联表,2、三维柱形图,3、二维条形图,从三维柱形图能清晰看出各个频数的相对大小.,从二维条形图能看出，吸烟者中 患肺癌的比例高于不患肺癌的比例.,4、等高条形图,等高条形图更清晰地表达了两种情况下患肺癌的比例.,上面我们通过分析数据和图形，得到的直观印象是吸烟和患肺癌有关，那么事实是否真的如此呢？这需要用统计观点来考察这个问题.,现在想要知道能够以多大的把握认为“吸烟与患肺癌有关”，为此先假设：,H0：吸烟与患肺癌没有关系,把数字用字母代替，得到如下用字母表示的列联表：,假设吸烟与患肺癌没有关系，那么吸烟者中不患肺癌的比

17、例应该与不吸烟者中相应的比例差不多即,为了使不同样本容量的数据有统一的评判标准，基于上述分析，我们构造一个随机变量,若H0成立，即“吸烟与患肺癌没有关系”，则K2应很小.,由列联表中数据，利用公式（1）计算得K2的观测值为：,（1）,其中n=a+b+c+d为样本容量.,在H0成立的情况下，统计学家估算出如下的概率：,也就是说，在H0成立的情况下，对随机变量K2进行多次观测，观测值超过6.635的频率约为0.01，是一个小概率事件.现在K2的观测值为56.632，远远大于6.635，所以有理由断定H0不成立，即认为“吸烟与患肺癌有关系”,但这种判断会犯错误，犯错误的概率不会超过0.01，即我们有

18、99的把握认为“吸烟与患肺癌有关系”.,利用随机变量K2来确定在多大程度上可以认为“两个分类变量有关系”的方法称为两个分类变量的独立性检验.,独立性检验：,如果 ，就判断H0不成立；否则就判断H0成立.,H0：吸烟与患肺癌没有关系,独立性检验的基本思想：,类似于数学上的反证法，对“两个分类变量有关系” 这一结论成立的可信程度的判断：,（1）假设该结论不成立，即假设结论“两个分类变量 没有关系”成立.,（2）在假设条件下，计算构造的随机变量K2，如果由观测数据计算得到的K2很大，则在一定程度上说明假设不合理.,（3）根据随机变量K2的含义，可以通过（2）式评价假设不合理的程度，由实际计算出的k6

19、.635，说明假设不合理的程度约为99%，即“两个分类有关系”这一结论成立的可信程度约为99%.,一般地，假设有两个分类变量X和Y，它们的可能取值分别为x1,x2和y1,y2,其样本频数列联表（称为2x2列联表）为：,利用独立性检验来考察两个分类变量是否有关系，能较精确地给出这种判断的可靠程度.,具体作法是：,（1）根据实际问题需要的可信程度确定临界值k0；,（2）由观测数据计算得到随机变量K2的观测值k；,（3）如果k6.635，就以 1-P(K26.635)100%的把握认为“X与Y有关系”；否则就说样本观测数据没有提供“X与Y有关系”的充分证据.,（1）如果k10.828，就有99.9%

20、的把握认为“X与Y有关系”；,（2）如果k7.879，就有99.5%的把握认为“X与Y有关系”；,（3）如果k6.635，就有99%的把握认为“X与Y有关系”；,（4）如果k5.024，就有97.5%的把握认为“X与Y有关系”；,（5）如果k3.841，就有95%的把握认为“X与Y有关系”；,（6）如果k2.706，就有90%的把握认为“X与Y有关系”；,（7）如果k=2.706，就认为没有充分的证据显示 “X与Y有关系”.,临界值,解：根据题目所给数据得到如下列联表：,根据联表1-13中的数据，得到,所以有99%的把握认为“秃顶患心脏病有关”。,因为这组数据来自住院的病人，因此所得到的结论适

21、合住院的病人群体,例1 在某医院，因为患心脏病而住院的665名男性病人中，有214人秃顶；而另外772名不是因为患心脏病而住院的男性病人中有175人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系？你所得的结论在什么范围内有效？,例2 为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取300名学生，得到如下联表：,由表中数据计算K2的观测值k4.513。在多大程度上可以认为高中生的性别与是否喜欢数学课程之间有关系？为什么？,解：在假设“性别与是否喜欢数学课程之间的关系”的前提下K2应该很小，并且,而我们所得到的K2的观测值k4.513超过3.841，这

22、就意味着“性别与是否喜欢数学课程之间的关系”这一结论错误的可能性约为0.05（或小于0.05） ，即有95%（或大于 95%）的把握认为“性别与是否喜欢数学课程之间有关系”。,利用残差计算公式：,由残差平方和：,故指数函数模型的拟合效果比二次函数的模拟效果好.,或由条件R2分别为0.98和0.80，同样可得它们的效果.,在散点图中，样本点没有分布在某个带状区域内，因此两个变量不呈现线性相关关系，所以不能直接利用线性回归方程来建立两个变量之间的关系.,令z=lny，则变换后样本点应该分布在直线z=bx+a（a=lnc1，b=c2）的周围.,利用线性回归模型建立y和x之间的非线性回归方程.,当回归

23、方程不是形如y=bx+a时，我们称之为非线性回归方程.,根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线 的周围，其中c1和c2是待定参数.,课堂知识延伸,我们知道，刑警如果能在案发现场提取到罪犯的脚印，即将获得一条重要的破 案线索，其原因之一是人类的脚掌长度和身高存在着相关关系，可以根据一个人的 脚掌长度来来预测他的身高 我们还知道，在统计史上，很早就有人收集过人们的身高、前臂长度等数据， 试图寻找这些数据之间的规律 在上述两个小故事的启发下，全班同学请分成一些小组，每组4-6名同学，在老 师的指导下，开展一次数学建模活动，来亲自体验回归分析的思想方法，提高自己的 实践能力。 数学建模的题目是：收集一些周围人们的脚掌长度、前臂长度中的一个数据及其 身高，来作为两个变量画散点图，如果这两个变量之间具有线性相关关系，就求出回 归直线方程，另选一个人的这两个变量的数据，作一次预测，并分析预测结果。 最后以小组写出数学建模报告，报告要求过程清晰，结论明确，有关数学论述准 确，以下两个问题需要注意： （1）如果脚掌长度不方便，可