第十二讲统计模型数据拟合方法.ppt

1、,统计模型,统计模型,（一）数据拟合方法 （二）多元回归方法 案例：软件开发人员的薪金问题,投资的收益和风险,市场上有n种资产（如股票、债券等）Si(i=1，2，n)供投资者选择，某公司有数额为M的一笔相当大的资金可用作一个时期的投资。公司财务人员对这n种资产进行了评估，估算出了这一时期内购买Si的平均收益率为ri，并预测出购买Si的风险损失率为qi。考虑到投资越分散，总的风险越小，公司确定，当用这笔资金购买若干种资产时，总体风险可用所投资的Si中最大的一个风险来度量。,课堂讨论,购买Si要付交易费，费率为pi，并且当购买额不超过给定值ui时，交易费按购买ui计算（不买当然不付费）。另外，假设

2、同期银行利率是r0（r0=5%），且既无交易费也无风险。,相关数据如下表所示。,试给该公司设计一种投资组合方案，即用给定的资金，有选择的购买若干资产或银行生息，使净收益尽可能大，而总体风险尽可能小。,投资的相关数据表,1 问题分析,问题为,以投资组合为决策变量的双目标随机规划问题。,西北大学数学系,投资策略：,为了使净收益尽可能大，风险尽可能小确定最优投资组合。,投资组合：确定给资产Si投资多少的问题。,1.确定设计变量和目标变量,2.确定目标函数的表达式,净收益、风险额为目标变量,给每种资产的投资额为设计变量,3.寻找约束条件,寻找设计变量与目标变量之间的关系,设计变量所受的限制,2 符号说

3、明,3 模型的建立,净收益 = 投资平均收益 交易费,风险额 = 各个风险额的最大者,总投资 = 购买各种资产的费用+交易费用,所建优化模型为,双目标的优化模型,4 模型的转化,目标函数的确定,交易费函数的线性化,风险函数的转化,整数线性规划模型,5 模型的求解,用软件可以求解,当人们对所研究的对象的内在特征和各因素的关系比较充分时，用机理分析的方法建立数学模型；由于客观事物的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，因此无法建立合乎机理规律的数学模型。,方法：搜集大量的数据，基于对数据的统 计分析去建立数学模型。,统计分析方法,数据拟合方法,最小二乘法,数据拟合建模,给定一

4、组有序的数据点，这些点可以是从实验中测量得到的，也可以是设计员给出的。,构造一条曲线顺序通过这些数据点，称为对这些点进行插值，所构造的曲线称为插值曲线。,构造插值曲线所采用的数学方法称为曲线插值法。,希望,测量所得或设计员给出的数据点本身就很粗糙，要求构造一条曲线严格通过给定的一组数据点就没有什么意义。,注意到,构造一条曲线使之在某种意义下最接近给定的数据点将更为合理，称之为对这些点进行曲线逼近。,构造逼近曲线所采用的数学方法称为曲线逼近法。,相应的有曲面插值（逼近）问题。,常用的拟合方法有： 1、一般插值法 2、样条插值法 3、最小二乘法,最小二乘法的基本原理,在实验中收集到一组数据,可以由

5、这组数据分析出一个经验公式：,其中 为一组待定参数，使得,取到最小值，从而确定出参数 的值。,这样就得到由这组数据确定的拟合函数。,假设我们预想到一个确定形式的模型，并且已经收集了数据并进行分析。在这里用最小二 乘准则来估计各种类型曲线的参数。,拟合直线,用 记作 的最小二乘估计。这时运用最小二乘准则 ，则要求极小化,最优的必要条件是,改写为,将 和 的值全部代入，方程组就变为二元一次代数方程组,斜率,截距,例1 在钢线碳含量对电阻的效应研究中，得到以下数据：,试求其线性拟合曲线 ，并估计在碳含量的这一改变过程中对电阻的总效应。,对给定的数据点集用最小二乘准则拟合直线,设A与B最小二乘估计为

6、a ，b,计算得,最小二乘近似模型为,利用Mathematics 软件，可得,拟合幂曲线,对给定的数据点集用最小二乘准则拟合 形式的曲线， 为确定的数，现在来估计 的值,即研究模型 的最小二乘估计。,运用最小二乘准则要求极小化,最优的必要条件是,为确定的数,注意,类似的，可以将最小二乘准则用于其它模型。应用该方法的限制在于计算最优化过程中要求的各种导数，令这些导数为零，解这些方程组，求出模型类型中的参数。,例2 用下表给出的数据拟合二次曲线 ，,并预测 x=2.25时 y 的值。,最小二乘估计 a ，由 确定。,计算得,最小二乘近似模型为,由此模型可计算当 x=2.25 时，预测 y 的值为1

7、6.1337,经变换的最小二乘拟合,例如，用最小二乘准则拟合模型,最优化的必要条件是,在理论上最小二乘准则很易应用，但在实践上可能是有困难的。,研究模型的最小二乘估计,许多简单的模型会产生很复杂的求解过程，或者很难解的方程组。基于这一原因，我们要使用变换，得出近似的最小二乘模型。,解这个非线性方程组是不容易的。,通过对数据分析研究，发现先变换数据再对变换后的数据拟合直线很方便。,例如，图形拟合 ，可以作变换,而对于 和x的图却是直线。对变换后的数据拟合直线，可用于最小二乘准则，简化拟合过程的计算。,特别地，如果找到一个方便的变换，问题变成在变换后的变量X和Y间采用 的形式。,方程两边取对数得,

8、假设我们想对这数据点集拟合幂曲线,用 记的估计， 记的估计。,在变量对 的图中，上方程构成一条直线。,是此直线的截距， 是此直线的斜率。用变换后变量和个数据点，有,对于数据,从所给的数据得到,所以方程的最小二乘最佳拟合为,产生,由此模型可计算当 x=2.25 时，预测 y 的值为16.4348,假设仍想对这数据点集拟合二次曲线,仍用 记的估计，对方程 两边取对数得,对于数据,在变量对 的图中，上方程是一条斜率为2 截距为 的直线。利用最小乘法计算得,所以方程的最小二乘最佳拟合为,由此模型可计算当 x=2.25 时，预测,思考：,没有变量代换,经变量代换,这两个模型哪个更好？,2001年全国大学

9、生数学建模竞赛赛题A,血管的三维重建,曲 线 拟 合,2005年全国大学生数学建模竞赛赛题A,长江水质的评价和预测,2006年全国大学生数学建模竞赛赛题A,艾滋病疗法的评价及疗效的预测,软件开发人员的薪金,一家高技术公司人事部门为研究软件开发人员的薪金与他们的资历、管理责任、教育程度等因素之间的关系，要建立一个数学模型，以便分析公司人事策略的合理性，并作为新聘用人员工资的参考。 他们认为目前公司人员的薪金总体上是合理的，可以作为建模的依据，于是调查了46名开发人员的档案资料，如下表。 其中资历一列指从事专业工作的年数，管理一列中1表示管理人员，0表示非管理人员，教育一列中1表示中学程度，2表示

10、大学程度，3表示更高程度（研究生等）。,西北大学数学系,西北大学数学系,开发人员的薪金与他们的资历、管理责任、教育程度,西北大学数学系,1、分析与假设,建模的目标：,西北大学数学系,薪金按照资历（年）的增长而增加 管理人员的薪金高于非管理人员 教育程度越高薪金越高,寻找软件开发人员的薪金与其 资历、管理责任、受教育程度之间的关系,薪金记作,，资历（年）记作,为了表示是否为管理人员定义,1，管理人员 0，非管理人员,为了表示三种教育程度，定义,1，中学 0，其它,1，大学 0，其它,这样，中学用,表示，大学用,表示，,研究生则用,表示。,西北大学数学系,为了简单起见，我们假定资历（年）对薪金的作

11、用是线性的，即资历每加一年，薪金的增长是常数； 管理责任、教育程度、资历诸因素之间没有交互作用。,基本模型,西北大学数学系,多元线性回归模型为,其中，,是待估计的回归系数，,是随机误差。,利用MATLAB的系统工具箱可以得到回归系数及其置信区间 （置信水平 ）,、检验统计量,的结果，见表。,2、模型的建立,西北大学数学系,3、结果分析,从表中，,，即因变量（薪金）的95.7%可由模型确定，,值超过,检验的临界值，,远小于,，因而模型从整体来,比如，利用模型可以估计（或估计）一个大学毕业、有2年资历、非管理人员的薪金为,看是可用的。,模型中各个回归系数的含义可初步解释如下：,的系数为546，说明

12、资历每增加一年，薪金增长546；,的系数为6883，说明管理人员的薪金比非管理人员 多6883；,的系数为-2994，说明中学程度的薪金比大学程度少 2994；,但是应该注意到：,的置信区间包含零点，所以这个系数的解释是不可靠的。,注意：上述解释是就平均值来说的，并且，一个因素改变引起 的因变量的变化量，都是在其它因素不变的条件下才成立的。,的系数148，说明大学程度的薪金比研究生多148。,4、进一步讨论,的置信区间包含零点，说明上述基本模型存在缺点。为了,寻找改进的方向，常用残差分析法（残差,指薪金的实际值,与模型估计的薪金,之差，是基本模型中随机误差,的,估计值，这里用同一个符号）。,管

13、理教育组合,西北大学数学系,将影响因素分成资历与管理教育组合两类。,管理-教育组合定义如表。,下图给出,与资历,的关系、,与管理,-教育,组合间的关系。,与资历,的关系,与,组合的关系,与资历,的关系,从左图看，残差大概分成3个水平，这是由于6种管理教育组合混在一起，在模型中未被正确反映的结果； 从右图看，对于前4个管理教育组合，残差或者全为正，或者全为负，也表明管理-教育组合在模型中处理不当。,在模型中，管理责任和教育程度是分别起作用的，事实上，二者可能起着交互作用，如大学程度的管理人员的薪金会比二者分别的薪金之和高一点。,应在基本模型中增加管理,与教育 的交互项,增加,与,的交互项后，模型

14、记作,利用MATLAB的统计工具箱得到的结果如表：,西北大学数学系,5、更好的模型,由上表可知，这个模型的,做该模型的两个残差分析图，可以看出，已经消除了 不正常现象，这也说明了模型的适用性。,和,值都比上一个模型有所改进，,并且所有回归系数的置信区间都不含零点，表明这个模型完全 可用。,与,的关系,与,组合的关系,西北大学数学系,从上图，还可以发现一个异常点： 具有10年资历、大学程度的管理人员（编号33）的实际薪金明显低于模型的估计值，也明显低于与他有类似经历的其他人的薪金。 这可能是由我们未知的原因造成的。 为了使个别数据不致影响整个模型，应该将这个异常数据去掉，对模型重新估计回归系数，

15、得到的结果如表。 残差分析见图。 可以看到，去掉异常数据后结果又有改善。,西北大学数学系,西北大学数学系,与,的关系,与,组合的关系,对于第二个模型，用去掉异常数据（33号）后估计出的系数得到的结果是满意的。,西北大学数学系,6、模型的应用,模型的应用之一，可以用来“制订”6种管理教育组合人员的“基础”薪金（即资历为零的薪金）， 这是平均意义上的。 利用第二个模型和去掉异常数据后得到的回归系数，可以得到如下结果：,西北大学数学系,可以看出：大学程度的管理人员薪金比研究生程度管理人员薪金高，而大学程度的非管理人员薪金比研究生程度非管理人员薪金略低。 当然，这是根据这家公司实际数据建立的模型得到的结果，并不具普遍性。,7、评注：,从建立回归模型的角度，通过这个问题的求解我们学习了：,思考：在这里我们由简到繁，先分别引进管理和教育因素，再 引入交互项。试直接对6种管理-教育组合引入5个01变量，建 立模型，看结果如何？,西北大学数学系,1） 对于影响因变量的定性因素（管理、教育），可以引入 01变量来处理，01变量的个数比定性因素的水平少 1（如教育程度有3个水平，引入2个01变量）。,2）