数据处理及回归分析ppt课件

1、数据处置及回归分析数据处置及回归分析几种常见的数据处置方法 线性回归分析目 录1 1 列表法列表法 - -三线式表格三线式表格表格的根本构造：通常由表头、工程栏和数据栏组成表格的根本构造：通常由表头、工程栏和数据栏组成表表 头头:表格的编号、称号。表格的编号、称号。 工程栏工程栏 ：相关物理量，单位等。：相关物理量，单位等。数据栏：记录丈量数据。数据栏：记录丈量数据。 无边框的表格，只由三条横线组成。分别是：无边框的表格，只由三条横线组成。分别是： 起始线：表格序号和称号应写在起始线上方。起始线：表格序号和称号应写在起始线上方。分隔线：用来分隔工程栏和数据栏。分隔线：用来分隔工程栏和数据栏。终

2、止线：数据到此为止。终止线：数据到此为止。 列表的要求是：列表的要求是：1简明。简明。2标明物理量的意义，注明单位及数量级。标明物理量的意义，注明单位及数量级。3正确反映丈量结果的有效数字。正确反映丈量结果的有效数字。 2 2 图解图示法图解图示法 图示法可以笼统、直观地显示出物理图示法可以笼统、直观地显示出物理量之间的函数关系，也可以得出某些物理量之间的函数关系，也可以得出某些物理参数，因此它是一种重要的数据处置方法。参数，因此它是一种重要的数据处置方法。作图时要先整理出数据表格，并要用坐标作图时要先整理出数据表格，并要用坐标纸作图。纸作图。 图解法是将实验丈量数据按其对应关系在坐图解法是将

3、实验丈量数据按其对应关系在坐标纸上描画出一条光滑的曲线。此曲线可以显示标纸上描画出一条光滑的曲线。此曲线可以显示出物理量间的关系。出物理量间的关系。 作图要求：作图要求：坐标轴坐标轴 ：普通以自变量为：普通以自变量为X X轴轴, ,应变量为应变量为Y Y轴。并画出坐轴。并画出坐标轴，用箭头标明坐标轴方向，写上物理量称号或符号、标轴，用箭头标明坐标轴方向，写上物理量称号或符号、单位。单位。定标尺：标明坐标纸上的一小格代表的大小。定标尺：标明坐标纸上的一小格代表的大小。描点：明晰准确地标出实验数据点。描点：明晰准确地标出实验数据点。选坐标纸选坐标纸 ：选择适宜的坐标纸：选择适宜的坐标纸, ,包括类

4、型和大小。包括类型和大小。连线：用直尺、曲线板等把数据点连成直线或光滑曲线。连线：用直尺、曲线板等把数据点连成直线或光滑曲线。连线时应该使数据点均匀分布在图线两边。连线时应该使数据点均匀分布在图线两边。标上图名。标上图名。 I (mA)U (V)8.004.0020.0016.0012.0018.0014.0010.006.002.000 02.004.006.008.0010.001.003.005.007.009.00电阻伏安特性曲线图电阻伏安特性曲线图A(1.00,2.76)B(7.00,18.58)由图上由图上A、B两点可得被测电阻两点可得被测电阻R为为：)k(379. 076. 25

5、8.1800. 100. 7ABABIIUURxxxxn(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃资料色散曲线图玻璃资料色散曲线图图图1曲线太粗曲线太粗，不均匀，不均匀，不光滑，不光滑。应该用。应该用直尺、曲直尺、曲线板等工线板等工具把实验具把实验点连成光点连成光滑、均匀滑、均匀的细实线的细实线。错在哪里？错在哪里？n(nm)1.6500500.0700.01.67001.66001.70001.69001.6800600.0400.0玻璃资料色散曲线图玻璃资料色散曲线图I (mA)U (V)0 02.008.0

6、04.0020.0016.0012.0018.0014.0010.006.002.001.003.00电学元件伏安特性曲线图电学元件伏安特性曲线图横轴坐标分度选取横轴坐标分度选取不当。横轴以不当。横轴以3 cm 代表代表1 V，使作图，使作图和读图都很困难。和读图都很困难。实践在选择坐标分实践在选择坐标分度值时，应既满足度值时，应既满足有效数字的要求又有效数字的要求又便于作图和读图，便于作图和读图，普通以普通以1 mm 代表代表的量值是的量值是10的整数的整数次幂或是其次幂或是其2倍或倍或5倍。倍。错在哪里？错在哪里？I (mA)U (V)o o1.002.003.004.008.004.00

7、20.0016.0012.0018.0014.0010.006.002.00电学元件伏安特性曲线电学元件伏安特性曲线定容气体压强温度曲线定容气体压强温度曲线1.20001.60000.80000.4000图图3P(105Pa)t()60.00140.00100.00o120.0080.0040.0020.00图纸运用图纸运用不当。实不当。实践作图时，践作图时，坐标原点坐标原点的读数可的读数可以不从零以不从零开场。开场。错在哪里？错在哪里？物理实验中心定容气体压强温度曲线定容气体压强温度曲线1.00001.15001.20001.10001.0500 P(105Pa)50.0090.0070.0

8、020.0080.0060.0040.0030.00t()图解法图解法 根据已有图线，采用解析方法得出物理量之间的函数关根据已有图线，采用解析方法得出物理量之间的函数关系，这种由图线求阅历公式的方法称为图解法。系，这种由图线求阅历公式的方法称为图解法。斜率计算及不确定度斜率计算及不确定度曲线的改直在实践任务中，许多物理量之间的关系并不都是线性的，但仍可经过适当的变换而成为线性关系，即把曲线变换成直线，这种方法叫做曲线改直。作这样的变换不仅是由于直线容易描画，更重要的是直线的斜率和截距所包含的物理内涵是我们所需求的，例如：1 ，式中a，b为常量，可变换成 的线性函数斜率为b，截距为lg a。2

9、，式中a，b为常量，可变换成 的线性函数，斜率为lg b，截距为lg a。 byaxxyablglglglglgybxayx，为lglgb xlglgyayx，为3PV=C，式中C为常量，可变换成P=C(1/V)，P是1/V的线性函数，斜率为C。4 ，式中p为常量，可变换成 的线性函数，斜率为 。5 ，式中a，b为常量，可变换成 的线性函数，斜率为a，截距为b。22ypx1/21/22pxyyx ， 为2p/yxabx1/1/1/1/yaxbyx ，为目的：在数据处置过程中，能把一目的：在数据处置过程中，能把一切的数据都用上，这样可以使误切的数据都用上，这样可以使误 差小一点。差小一点。 3

10、3 逐差法逐差法 砝码质量(Kg) 弹簧伸长位(cm) 0.00 x0 1.00 x1 2.00 x2 3.00 x3 4.00 x4 5.00 x5 6.00 x6 7.00 x7例：丈量每添加例：丈量每添加1kg，弹簧的平均伸长量？弹簧的平均伸长量？丈量弹簧的顽强系数数据表丈量弹簧的顽强系数数据表逐项逐差法处置逐项逐差法处置677122011.XXXXXXXXX77)(.)()(07671201XXXXXXXXX这样这样,弹簧的平均伸长量为弹簧的平均伸长量为:这样处置的缺陷在哪里？这样处置的缺陷在哪里？跳项逐差法处置跳项逐差法处置首先把数据分为两组首先把数据分为两组3210XXXX7654

11、XXXX374263152041XXXXXXXXXXXX然后计算每添加然后计算每添加4kg，弹簧的伸长量，弹簧的伸长量，最后算出每添加最后算出每添加1kg，弹簧的平均伸长量。，弹簧的平均伸长量。1644321076544321XXXXXXXXXXXXX不确定度？不确定度？优点：充分利用数据，到达多次丈量以减小误差优点：充分利用数据，到达多次丈量以减小误差的效果。的效果。适用条件适用条件因变量和自变量之间为线性关系。因变量和自变量之间为线性关系。自变量是等量变化。自变量是等量变化。4 最小二乘法最小二乘法 1 相关与回归相关与回归 客观世界中普遍存在着变量间的关系，而客观世界中普遍存在着变量间的

12、关系，而变量间的关系普通可分为两类：确定性关变量间的关系普通可分为两类：确定性关系和非确定性关系。系和非确定性关系。 确定性关系：变量间的函数关系。确定性关系：变量间的函数关系。 非确定性关系：不能用函数来表示的变量间关系，非确定性关系：不能用函数来表示的变量间关系，也称为相关关系或统计关系。也称为相关关系或统计关系。 身高与体重；血压与年龄；树高与生长时间；商身高与体重；血压与年龄；树高与生长时间；商品的销售量与单价品的销售量与单价 相关关系：对于两个变量，当自变量取值一定是，相关关系：对于两个变量，当自变量取值一定是，因变量的取值带有一定随机性的两个变量之间的因变量的取值带有一定随机性的两

13、个变量之间的关系关系 2 回归分析回归分析 1确定变量之间数量关系的能够方式，确定变量之间数量关系的能够方式，并用一个数学模型来表示这种关系方式并用一个数学模型来表示这种关系方式 2X是非随机变量或随机变量，是非随机变量或随机变量，Y是随是随机变量，对机变量，对X的每一确定值的每一确定值 都有都有Y的一个的一个确定分布与之对应。确定分布与之对应。回归分析回归分析多元回归多元回归一元回归一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归3 3 相关分析和回归分析的区别与联络相关分析和回归分析的区别与联络 1. 1.联络联络 二者具有共同的研讨对象，而且在详细二者具有

14、共同的研讨对象，而且在详细运用时，经常必需相互补充。相关分析需求运用时，经常必需相互补充。相关分析需求依托回归分析来阐明景象数量相关的详细方依托回归分析来阐明景象数量相关的详细方式，而回归分析那么需求依托相关分析来阐式，而回归分析那么需求依托相关分析来阐明景象数量变化的相关程度。只需当变量之明景象数量变化的相关程度。只需当变量之间存在着高度相关时，进展回归分析寻求其间存在着高度相关时，进展回归分析寻求其相关的详细方式才有意义。相关的详细方式才有意义。 2. 2. 区别区别 1 1相关分析研讨变量之间相关的方向和程度，相关分析研讨变量之间相关的方向和程度，但不能指出变量间相互关系的详细方式，也无

15、法从但不能指出变量间相互关系的详细方式，也无法从一个变量的变化来推测另一个变量的变化情况。一个变量的变化来推测另一个变量的变化情况。 回归分析那么研讨变量之间相互关系的详回归分析那么研讨变量之间相互关系的详细方式，它对具有相关关系的变量之间的数量联络细方式，它对具有相关关系的变量之间的数量联络进展测定，确定一个相关的数学方程式，根据这个进展测定，确定一个相关的数学方程式，根据这个数学方程式可以从知量来推测未知量，从而为估算数学方程式可以从知量来推测未知量，从而为估算和预测提供一个重要的方法。和预测提供一个重要的方法。 2 2相关分析可以不用确定变量中哪相关分析可以不用确定变量中哪个是自变量，哪

16、个是因变量，其所涉及的个是自变量，哪个是因变量，其所涉及的变量可以都是随机变量。而回归分析那么变量可以都是随机变量。而回归分析那么必需事先研讨确定具有相关关系的变量中必需事先研讨确定具有相关关系的变量中哪个为自变量，哪个为因变量。哪个为自变量，哪个为因变量。 4. 回归分析主要处理的问题：回归分析主要处理的问题： 从一组数据出发，确定这些变量之间的从一组数据出发，确定这些变量之间的数学表达式数学表达式回归方程或阅历公式。回归方程或阅历公式。 对回归方程的可信程度进展统计检验，对回归方程的可信程度进展统计检验，并从影响某一特定变量的诸多变量中找出并从影响某一特定变量的诸多变量中找出哪些变量的影响

17、显著，哪些不显著。哪些变量的影响显著，哪些不显著。 利用所求的关系式，根据一个或几个变利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并量的值，预测或控制另一个变量的值，并要知道这种预测或控制可到达的精细度。要知道这种预测或控制可到达的精细度。 5 回归分析的根本过程回归分析的根本过程 1 1、在定性和定量分析的根底上确定变量间、在定性和定量分析的根底上确定变量间的相关关系。的相关关系。 2 2、建立回归分析模型。、建立回归分析模型。 3 3、对模型中的参数求解。、对模型中的参数求解。 4 4、对回归模型的显著性进展检验。、对回归模型的显著性进展检验。 5 5、回归模型的修

18、正和改良。、回归模型的修正和改良。6 6 回归模型的建立回归模型的建立1 1一元线性回归模型一元线性回归模型 假定因变量假定因变量y y主要受自变量主要受自变量x x的影响，的影响，它们之间的简单线性回归模型如下它们之间的简单线性回归模型如下 ： 为参数，为参数， 为随机误差项。为随机误差项。y y是是x x的线性函数部分加上误差项的线性函数部分加上误差项线性部分反映了由于线性部分反映了由于x x的变化而引起的变化而引起y y的变化的变化 xy1010、对于误差项，在回归分析中有如下假设：对于误差项，在回归分析中有如下假设： 1 1误差项是随机变量，它的期望值为误差项是随机变量，它的期望值为0

19、 0； 2 2对于一切的对于一切的x x值，误差项的方差值，误差项的方差 为常数；为常数； 3 3误差项之间相互独立，即与一个值相误差项之间相互独立，即与一个值相联络的误差对与另一个值相联络的误差没有联络的误差对与另一个值相联络的误差没有影响；影响； 4 4随机误差项服从正态分布。随机误差项服从正态分布。27 7一元线性回归方程一元线性回归方程 描画描画y y的均值或期望与的均值或期望与 x x的关系的方程叫的关系的方程叫做回归方程。做回归方程。 由由于于 ， ， 所以所以 不难看出，简单线性回归方程的图形是不难看出，简单线性回归方程的图形是一条直线。这条直线被称为总体回归直线。一条直线。这条

20、直线被称为总体回归直线。 是回归直线的截距，是回归直线的截距， 是回归直线的斜率，是回归直线的斜率，E(y)E(y)是给定某个是给定某个x x的值的值y y的均值或期望值。的均值或期望值。 各实践观测点与总体回归线垂直方向的各实践观测点与总体回归线垂直方向的间隔，就是随机误差项间隔，就是随机误差项，即，即00)(E11)(E0)(ExyE10)(01)(yEy 假设因变量假设因变量y y与自变量与自变量x x的相关关系是近似直线的相关关系是近似直线的关系，那么一元线性回归的模型为：的关系，那么一元线性回归的模型为：bxayyy的估计值或预测值，的估计值或预测值，ba .回归系数。回归系数。确定

21、了确定了a与与b的值，直线的位置也就相应地确定了。的值，直线的位置也就相应地确定了。8 8 最小二乘法确定模型参数最小二乘法确定模型参数 最小二乘法的根本原理就是寻一条总的看来最小二乘法的根本原理就是寻一条总的看来离各散点最近的一条直线，使实践值离各散点最近的一条直线，使实践值y 与与 相应的相应的实际值实际值 之间的误差到达最小。即：之间的误差到达最小。即：y minbxayy yQ22 根据微积分的极值定理，根据微积分的极值定理，Q Q最小的必要条件为：最小的必要条件为：02bxayaQ02xbxaybQ 整理后得如下方程，称最小二乘法的规范方程：整理后得如下方程，称最小二乘法的规范方程：

22、xbnay2xbxaxy解方程得解方程得22xxnyxxynbxbyxbyna1例：以下表的数据拟合消费费用对产量的回归直线方程例：以下表的数据拟合消费费用对产量的回归直线方程企业编企业编号号产量产量x生产费用生产费用y123456789101112404250556578841001161251301401301501551401501541561701671801751851 6001 7642 5003 0254 2256 0847 05610 00013 45615 62516 90019 60016 90022 50024 02519 60022 50023 71627 22528

23、90027 88932 40030 62534 2255 2006 3007 7507 7009 75012 01213 86017 00019 37222 50022 75025 900合计合计1 0251 921101 835310 505170 0942x2yxy将表中有关数据代入公式中：将表中有关数据代入公式中：420701025101835121921102517009412222.)(xxnyxxynb15124121025420701219211.xbyxbyna消费费用对产量的直线回归方程为：消费费用对产量的直线回归方程为：xy4207. 015.124 其中其中a124.15

24、千克的含义为消费费用千克的含义为消费费用的起点值；的起点值；b0.4027表示产品产量每添加表示产品产量每添加1千件，千件，消费费用平均添加消费费用平均添加0.4027千元。千元。以下图可看散点图与回归直线的关系：以下图可看散点图与回归直线的关系： 9 9 回归效果的回归效果的F F检验检验 从一组数据根据最小二乘法可以拟合出一从一组数据根据最小二乘法可以拟合出一元线性方程，但是假设散点图中的数据点元线性方程，但是假设散点图中的数据点分散，不呈线性，此时的线性回归方程是分散，不呈线性，此时的线性回归方程是没有意义的。因此，提出了所得到的直线没有意义的。因此，提出了所得到的直线能否有显著意义，即

25、能否与两个变量问实能否有显著意义，即能否与两个变量问实践关系相符合的问题，即必需对回归的效践关系相符合的问题，即必需对回归的效果做显假设性检验。果做显假设性检验。 回归显著性检验回归显著性检验(regression (regression significant test)significant test)方法有：相关系数方法有：相关系数r r检验法、检验法、t t检验法、检验法、F F检验法，下面讨检验法，下面讨论论F F检验法检验法 。ybxayyyyyyy ),(iiyx 丈量值y1,y2,yn之间的差别，是由两个方面的缘由引起的：一是自变量x取值的不同；二是丈量误差等其他要素的影响。

26、为了对线性回归的效果进展检验，需求将他们分别出来，将变量y的n个测值yi与其平均值的偏向 分解为有x的不同取值引起的 回归偏向 和由丈量误差等其他要素呵斥的剩余误差 即 iiy y yiyyiy iiii()()yyyyyy 两端平方后求和有两端平方后求和有niiiniiniiyyyyyy121212并进一步用并进一步用n个取值的偏离平方和来描画它们，个取值的偏离平方和来描画它们， 分别记为分别记为 总偏向平方和总偏向平方和 分解为回归平方和分解为回归平方和 及剩余平及剩余平方和方和 。回归平方和。回归平方和 反映了在反映了在y总的偏向总的偏向中因中因x和和y的线性关系而引起的线性关系而引起y

27、变化的大小。剩余变化的大小。剩余平方和平方和 反映了在反映了在y总的偏离中除了总的偏离中除了x对对y线性线性影响之外的其他要素而引起影响之外的其他要素而引起y变化的大小。这些变化的大小。这些要素包括丈量误差，要素包括丈量误差，x和和y不能用直线关系描画的不能用直线关系描画的因柬以及其他未加控制的要素等。如上节所述，因柬以及其他未加控制的要素等。如上节所述，回归分析的要求就是使剩余平方和最小，即回归分析的要求就是使剩余平方和最小，即残残愈小，回归效果愈好。愈小，回归效果愈好。 残总回残回总偏差平方和 回归平方和 残余平方和 意义 反映因变量的n个观测值与其均值得总偏差 在总的偏差中因x和y的线性

28、关系而引起变化的大小在总的偏离中除了x对y线性影响之外的其它因素而引起y变化的大小三个平方和的意义三个平方和的意义 ： 由回归平方和及剩余平方和的意义可知，一个线性由回归平方和及剩余平方和的意义可知，一个线性回归方程能否显著，取决于回归方程能否显著，取决于 和和 的大小。的大小。假设假设 愈大而愈大而 愈小，那么阐明与的线性回愈小，那么阐明与的线性回归的关系愈亲密。构造统计量：归的关系愈亲密。构造统计量： 残残回回/F/vv回回残残其中，其中， 为回归平方和的自在度，为回归平方和的自在度， 为剩余平为剩余平方和的自在度方和的自在度 回v残v 自在度是指独立观测值的个数，因自在度是指独立观测值的

29、个数，因 中中n个观测个观测值值 受平均值受平均值 的约束，那么有一个观测值不的约束，那么有一个观测值不是独立的，即失去了一个自在度，是独立的，即失去了一个自在度， =n-1, 中只需中只需b是独立变化的，即自在度是独立变化的，即自在度 =1。那么那么 =n-2, 那么有那么有总总v回v回总残v-vvyiy）（残回21Fn 在给定显著性程度在给定显著性程度下，由下，由F分布表差得临分布表差得临界值界值 ，将计算值，将计算值F与与 比较，比较，假设假设F ，那么以为该回归效果显著，那么以为该回归效果显著，反之，那么不显著。反之，那么不显著。 F(1 ,n 2)F(1 ,n 2)F(1,n 2)

30、中的分母为剩余方差： 2n 残s2ii1()n2n2yy残剩余规范差为： 它的意义表征除了它的意义表征除了x与与y线性关系之外其他要素影响线性关系之外其他要素影响y值偏的大小值偏的大小 ）（残回21Fn10 回归直线的拟合优度及测定系数 拟合优度：回归直线与各观测点的接近程度称为拟合优度：回归直线与各观测点的接近程度称为回归直线对数据的拟合优度。回归直线对数据的拟合优度。 工具一工具一断定系数：对估计的回归方程拟合优度断定系数：对估计的回归方程拟合优度的度量工具。的度量工具。222)()(yyyySSTSSRrii 工具二工具二估计规范误：度量各实践察看估计规范误：度量各实践察看点在直线周围的

31、离散情况的统计量，其本点在直线周围的离散情况的统计量，其本质是对误差项质是对误差项e e的规范差的估计的规范差的估计, ,它可以看它可以看做是在排除了做是在排除了x x对对y y的线性影响后，的线性影响后，y y随机随机动摇大小的一个估计量。动摇大小的一个估计量。2)(22nyynSSEsiie11 11 非线性回归非线性回归 1. 化曲线拟合为直线拟合的步骤：化曲线拟合为直线拟合的步骤： 选择回归模型。根据实验数据散点图分布的特选择回归模型。根据实验数据散点图分布的特点以及所掌握的物理规律，选择可线化函数的模点以及所掌握的物理规律，选择可线化函数的模型型 作线性化变量变换后，按一元线性回归问题计作线性化变量变换后，按一元线性回归问题计算待定的系数、原的剩余平方和。算待定的系数、原的剩余平方和。 假设对拟合结果不称心，再选择其它模假设对拟合结果不称心，再选择其它模 型，反复以上步骤型，反复以上步骤 。 比较不同模型拟合所得的原剩余平方和，选最比较不同模型拟合所得的原剩余平方和，选最小者即为所求。小者即为所求。 常见的几种变换方式：常见的几种变换方式： 1、双曲线、双曲线 1bayx11,yxy