《线性回归分析》word版

1、.第三章 线性回归分析§3.1 一元线性回归模型一、回归分析变量之间的关系，大体分为两类：一类是函数关系；另一类是统计相关关系，或称随机关系。具有相关关系的变量间虽然不具有确定的函数关系，但可以根据大量的统计数据，找出变量之间在数量变化上的统计规律，这种统计规律称为回归关系。用以近似地描述具有相关关系的变量间的函数关系称为回归函数。有关回归关系的计算方法和理论称为回归分析技术。回归分析的主要内容是：1. 根据样本观察值对模型参数进行估计,求得回归方程;2. 对回归方程、参数估计值进行显著性检验;3. 利用回归方程进行预测与控制。二、总体回归方程1、例子假设一个地区的人口总体由60户组

2、成。我们要研究每月家庭消费支出Y与每月可支配家庭收入X的关系。也就是说知道了家庭的每月收入，要预测每月消费支出的（总体）平均水平。为此，将这60户家庭划分为组内收入差不多的10组，以分析每一收入组的家庭消费支出。表2.1给出了假定的数据.表1.1 X,每月家庭收入(元) XY800100012001400160018002000220024002600每月家庭消费支出550600650700750-650700740800850880-790840900940980-8009309501030108011301150102010701100116011801250-11001150120013

3、0013501400-12001360140014401450-1350137014001520157016001620137014501550165017501890-1500152017501780180018501910共计325046204450707067807500685010430966012110表2.1说明:对应于每月800元收入的5户家庭的每月消费支出为550到750元不等.类似地,给定X=2400元,6户家庭的每月支出在1370元和1890元之间.即表2.1的每个纵列给出对应于给定收入水平X的消费支出Y的分布.;也就是说,它给出了以X的给定值为条件的条件分布.表2.1的数

4、据代表一个总体.我们可计算出给定X的Y的条件概率.计算如下表2.2 表2.2 与表2.1的数据相对应的条件概率 X800100012001400160018002000220024002600条件概率 1/51/51/51/51/5-1/61/61/61/61/61/6 1/51/51/51/51/ 1/71/71/71/71/71/71/71/61/61/61/61/61/6- 1/61/61/61/61/61/6-1/51/51/51/51/5-1/71/71/71/71/71/71/71/61/61/61/61/61/6-1/71/71/71/71/71/71/7Y的条件均值650770

5、8901010113012501370149016101730如: 以上述条件均值作散点图,可以看出,Y的条件均值随X增加而增加,散点图说明这些条件均值落在一条有正斜率的直线上,这条直线叫做总体回归直线,具体描述如下. 2、 总体回归方程描述两个变量X与Y之间的线性关系可用以下数学式子表示。 （2.1.1）（2.1.1）式中一部分是由于X的变化引起Y线性变化的部分，即；另一部分是由其它一切随机因素引起的，记为。（2.1.1）式确切地表达了变量X与Y之间的密切程度，但密切的程度没有达到由X唯一确定Y的地步。（2.1.1）式称为Y对X的一元线性回归理论模型，Y称为被解释变量（因变量），X称为解释变

6、量（自变量），式中是未知参数，称为回归参数，表示随机因素的影响，是一随机变量。一般假定和，在此假定下有，或，称为一元线性总体回归方程，它是解释变量取给定值时因变量的条件均值或条件期望值的轨迹.三、样本回归方程取一个容量为N的样本，代入（2.1.1）式有， （2.1.2）（2.1.2）称为一元线性回归模型.基本假定:1. 零均值假定 (2.1.3) 由于存在随机扰动因素, 在期望值附近上下波动,如果回归方程假定正确, 相对于的正偏差和负偏差都会发生,随机扰动项可正可负,发生的概率大致相同,零均值假定说明平均来看,这些随机扰动项有相互抵消的趋势.2. 同方差假定 (2.1.4)这个假定说明, 对每

7、个, 随机扰动项的方差等于一个常数, 即解释变量取不同值时, 相对各自均值(零均值)的分散程度是相同的, 因变量具有与相同的方差.因此，该假定同时说明因变量可能取值的分散程度是相同的。3无自相关假定 （2.1.5） 假定说明产生干扰的因素是完全随机的，此次干扰与彼次干扰互不相关，因此变量的序列值之间也互不相关。4解释变量与扰动项互不相关的假定 （2.1.6） 这个假定说明与互不相关，即随机扰动项和解释变量是各自独立地对因变量产生影响的。事实上，在回归分析中，在重复抽样（观测）中固定取值，是确定性变量，故与不相关的假定一般总是满足。5解释变量的各观测值不能近似相同（解释变量之间不存在多重共线性）

8、这个假定说明与常变量之间不存在某种线性关系。在多元条件下，这个假定要求解释变量之间不能存在线性相关。6随机误差项服从正态分布 此假定是为方便于模型参数的假设检验。 四、模型参数的估计 在上述假定下， i=1，2，N (2.1.7)或, i=1，2，N (2.1.8) 对于N组样本观测值,对进行估计，用分别表示的估计值，则有 （2.1.9）（2.1.9）称为Y关于X的一元线性样本回归方程。如何求出的估计值，最常用的方法是普通最小二乘法（OLS）（Ordinary Least Squares). 设有N组观测值, 作散点图. Y 。 。 。 。 。 。 X设估计直线为 （2.1.10）将代入（2.

9、1.10） (2.1.11)由（2.11）中所求的值称为理论估计值，则实际观测值与理论估计的误差为: （2.1.12）根据最小二乘法的原理，欲使（2.1.1）式最适合于实际数据（所求回归直线是在一切直线中最适合实际数据的直线）必须使这些误差的平方和最小。即必须使 （2.1.13）为最小（因正误差与负误差都是误差，因此要用平方和消去符号）。根据微积分求极值的原理，欲使（2.1.13）式最小，则必要条件为：即亦即 （2.1.14）解得:因此可确定回归方程 （2.1.15）若记_ X的样本方差 _ X与Y的样本协方差 _ Y的样本方差则可证: 五、一元线性回归模型的统计检验根据变量和的样本观测值，应

10、用最小二乘法求得的样本回归方程，作为总体回归方程的近似。这种近似是否恰当，必须进行统计检验。统计检验包括：拟合优度检验、相关系数检验、参数显著性检验以及回归总体线性的显著性检验。（一）、 拟合优度检验（检验） 0 拟合优度检验是指对样本回归直线与样本观测值之间拟合程度的检验，度量回归拟合程度的指标是判定系数。（1） 总离差平方和的分解设由样本观测值得回归直线 由上图可看出，Y的第个观测值与样本均值的总离差可以分解两部分，即为样本回归直线理论拟合值与观测值的平均值之差，是由回归直线解释的部分.为实际观测值与回归拟合值之差，是回归直线不能解释的部分。离差大小反映了变量与平均数之间的波动大小，而全部

11、数据的总离差可由这些离差平方和表示，可以证明：记-总离差平方和(Total Sum of Squares)-残差平方和(Residual Sum of Squares)-回归平方和(Explained Sum of Squares)故 方差分析表方差来源方差平方和自由度均方差F统计量回归平方和1残差平方和总离差平方和（二）、判定系数在总离差平方和中，如果回归平方和所占比例越大，残差平方和所占比例就越小，说明回归直线与样本点拟合得越好。定义判定系数为: (2.1.16),若,说明全部样本观测值均在估计回归直线上，观测与回归值完全拟合，若，说明完全不拟合，,线性模型完全不能解释变动，越接近1，拟合

12、程度越好，反之越差。（三）、相关检验（r检验）变量之间通常是相关的，问题是相关程度如何，如果在相关程度过低的变量间建立线性模型，就没有很大的意义。两个变量和之间真实的线性相关程度是由总体相关系数表示:由于总体未知，无法计算，我们可利用样本值给出一个估计.定义样本相关系数 (2.1.17)是的一个无偏估计量.由(2.1.16)式和(2.1.17)式知:故样本相关系数与判定系数在计算上是一致的。但两者的概念不同，判定系数是对变量与作方差分析得出的，用来衡量拟合优度；而相关系数是对与作相关分析得出的，用以判定与的线性相关程度。线性相关检验的具体作法如下：1） 建立假设: 2） 根据计算样本相关系数3

13、） 根据样本容量N和显著性水平查相关系数表得临界值（表中N-2为自由度）4） 判断：若，则拒绝，认为与有显著的线性相关关系； 若,则接收，认为与的线性相关关系不显著。或用F统计量进行线性相关检验1） 建立假设 2） 选取统计量在成立的条件下, 3） 对于给定的检验水平，查表得临界值，4） 根据样本观测值计算出统计量值；5） 下结论：若，则否定。认为与之间存在线性相关关系； 若，则接收，认为与之间线性关系不显著。事实上这两种检验方法是一致的。因故，的值较大等价于较大。（四）回归参数的检验1. 最小二乘估计的性质在第二节中求得的模型总体参数的估计量在基本假定下，具有以下性质：(1) 线性性和为线性

14、组合。而，令则，即是的线性组合。其中,故 也是的线性组合。因为是随机变量,故和也是随机变量.(2) 无偏性无偏性是指估计量和的期望等于总体回归参数的和的期望。 因为而 故，由基本假定，所以 因为由基本假定,知 最小方差性证明:和的方差为:假设是关于的线性无偏估计量，而故由的无偏性知比较上式两边得 由的表达式和可证明因此 因为,故,当且仅当等式成立. 是有效估计.同理可证明也是有效估计.2、和的分布定理：在以下模型中其中,记分别是的最小二乘估计量，则（1），即（2），即和的标准差分别为，2、随机扰动项方差的估计由于总体方差未知，因此和的方差实际上无法计算，又由于随机项不可观测，我们只能从的估计残

15、差出发，对总体方差进行估计。可以证明总体方差的无偏估计为，这样和的样本方差和样本标准差分别为：的样本方差：的样本方差：的样本标准差：的样本标准差：4、关于的检验（1） 建立假设： （2） 选取统计量, 其中在成立的条件下, （3） 在给定的显著性水平,查表得临界值（4） 根据样本观测值计算统计量的值（5） 若，则接收,若，则拒绝，接收.5、 关于的检验(1)建立假设： (2)选取统计量,其中在成立的条件下, (3)在给定的显著性水平,查表得临界值(4)根据样本观测值计算统计量的值(5)若，则接收,若，则拒绝，接收.六、预测预测是回归分析应用的重要方面.预测可分为点预测和区间预测两类.点预测是指

16、当时,利用样本回归方程,求出相应的样本拟合值,以此作为因变量个别值和均值的估计.由于抽样波动的影响,以及随机扰动项的零均值假设不完全与实际相符.点预测值与因变量个别值及其均值都存在一定的误差.以一定的概率把握误差的范围,从而确定和的波动范围,此为区间预测.（一）、点预测总体回归方程的随机设定形式为: (2.1.18)样本回归方程为: (2.1.19)当时,Y的个别值为 (2.4.3)其总体均值 (2.1.20)样本回归方程在时的拟合值为: (2.1.21)对(2.1.20)式两边求期望得: (2.1.22)由(2.1.22)说明,在时,由样本回归方程计算的 是总体均值的无偏估计.因此可以用 作

17、为和的预测值.（二）、区间预测 总体均值的预测区间(1) 令,则由模型基本假定服从正态分布.(2) 的期望和方差 (2.1.23) = =可以证明 (2.1.24的方差为= (2.1.25)(3) 从而有 (2.1.26)将标准化 (2.4.27)用代替,由样本理论分布及的定义,有 (2.1.28)从而可得的预测区间为:(2.1.29)其中为显著性水平.2.总体个别值的预测区间(1)定义残差 (2.1.30)则由模型基本假定服从正态分布.(2)的期望和方差 (2.1.31)因与相互独立,故 (2.1.32)(3) 从而有 (2.1.33)将标准化 (2.1.34)用代替,由样本分布理论及的定义

18、,有 (2.1.35)从而可得的预测区间为:(2.1.36)其中为显著性水平.§2.2 多元线性回归分析在许多实际问题中影响因变量Y的自变量往往不止一个，比如有k个。讨论一个变量对两个及两个以上变量的统计依存关系，就是多元回归模型，如果变量之间是线性关系，则称为多元线性回归模型。一、多元线性回归模型（一）、多元线性总体回归方程假定因变量Y与K个自变量具有线性相关关系， （2.2.1）对应于解释变量的每一组观察值，因变量的值是随机的，其可能取值的集合形成一个总体，记为。称(2.2.1)式及因变量Y的总体条件期望函数 (2.2.2)为K元线性总体回归方程。（二）、多元线性样本回归方程多元

19、线性总体回归方程是未知的，只能通过抽取样本观察值对之进行估计。对应于(2.2.2)式的总体回归结构, 多元线性样本回归方程的形式为 , (2.2.3)或者, (2.2.4)其中, 是总体均值的估计值, 是总体偏回归系数的估计,残差是随机项的估计。（三）、模型的矩阵表示设有N组观察值，代入(2.2.1)式,得N个随机方程令则多元线性总体回归方程的矩阵形式为：或 （2.2.5）式中，N维因变量观察值向量 解释变量观察值矩阵 N维随机项向量 维总体回归参数向量类似地，多元线性样本回归模型可用矩阵表示如下： （2.2.6）或者 (2.2.7)简写为 (2.2.8) 或者 (2.2.9)其中, N维因变

20、量回归拟合值向量 维总体回归参数估计值向量 N维残差向量一、 模型的基本假定1.零均值假定 （2.2.10）即2.同方差和无自相关假定, (2.2.11) （2.2.12） 即随机项的方差协方差矩阵为： (2.2.13) 其中E为N阶单位矩阵。 3解释变量X与随机项互不相关的假定 （2.2.14）即 或者 （2.2.15） 4解释变量观察值矩阵满秩的假定 （2.2.16）如果该假定成立，X至少有k+1阶子式不为零，说明解释变量之间不存在线性相关关系，此时矩阵也是满秩的。 所以行列式存在。 在这些假定下，多元线性回归模型常写成： （2.2.17）或进一步假定为： （2.2.18）二、参数的最小二

21、乘估计及其性质（一）、参数的最小二乘估计类似于一元线性回归，采用最小二乘估计法，设样本回归方程如(2.2.3)式,残差要求的估计使残差平方和 (2.2.19)达到最少。若令 (3.2.20）由极值原理得正规方程组： (2.2.21)整理得关于的线性方程组： （2.2.22）解上述方程组得的最小二乘估计。(2.2.21)也可写成 (2.2.23)或者 (2.2.24)在样本回归方程的矩阵形式两边同时左乘以观察值矩阵X的转置得 (2.2.25)由极值条件(2.2.24)式,正规方程组用矩阵形式表示为： （2.2.26）又由X满秩的假定(可逆)），则参数的最小二乘估计向量为 （2.2.27）（二）、

22、最小二乘估计的性质拟合值向量用矩阵表示为 (2.2.28)其中称为“帽子矩阵”。 残差向量用矩阵表示为:。残差平方和，记为，即最小二乘估计有以下几个性质：1. 线性性是的线性函数.2. 无偏性 即证明: 由模型的基本假定得 (2.2.29)3. 最小方差性 证明：（1）求 的方差-协方差矩阵 = = = = 该矩阵主对角上给出了各个参数估计值的方差，而在其余部分给出了不同的参数估计值和的协方差。由及基本假定有= (2.2.30)若记中的元素为,则 （2.2.31） (2.2.32) （2.2.33）仅当时与不相关。(2) 若是的线性无偏估计,设,令则可以表示为 (2.2.34)从而 (2.2.

23、35)因是的无偏估计,又由基本假定知从而 (2.2.36)于是 (2.2.37)的方差-协方差矩阵为=+= +=+=+ (2.2.38)在此,用到,也有，及. (2.2.39)而为半一正定矩阵，其主对角线上的元素大于等于零，设其主对角线上的元素为，则， （2.2.40）因此,且只有时,这时。这说明最小二乘估计量是最优线性无偏估计量。三、 残差和随机扰动项方差的估计在参数估计量的方差和标准差的表达式及中,随机扰动项未知,故需从残差平方和出发对进行估计.（一）、残差的性质残差向量 （2.2.41）记 (2.2.42)则有 (2.2.43)或者 (2.2.44)P是对称的幂等矩阵(基本幂等矩阵),即

24、有 1. 残差的期望为02.残差的方差-协方差矩阵 (2.2.45)这说明N个残差间通常是相关的，因为 （2.2.46）其中,是”帽子矩阵”的第行第列的元素.3 =0这一性质说明残差与间是不相关的，即 (2.2.47)（二）、残差平方和的矩阵表示残差平方和 因为故残差平方和是矩阵的主对角线上元素平方和，即矩阵的迹 (2.2.48)（三）、方差的估计对两边求期望得 (2.2.49)（矩阵的迹的性质：） 记则， 是的无偏估计。是随机扰动项的无偏估计，或称估计标准误差。这样参数估计量的方差、标准差、协方差分别可用其样本方差、样本标准差、样本协方差加以估计。 (2.2.50) (2.2.51) (2.

25、2.52)定理： 当时，且与独立。这一性质说明，当假定回归模型中相互独立且时，而的估计与分布有关，且与是独立的。此性质为模型的检验提供了依据。四、 多元线性模型的统计检验（一）、拟合优度检验1 总离差平方的分解及矩阵表示总离差平方和 =ESS+RSS=回归平方和+残差平方和 (2.2.53) (2.2.54) (2.2.55) 2 样本判别系数（判定系数） （2.2.56），越接近于1，回归直线拟合程度越高，说明一组自变量对因变量Y的解释程度。3 校正可决系数从的表达式可以看出，的大小还受到解释变量个数k的影响.增大解释变量的个数，将增大，回归平方和增大，从而增大，由于增加个数引起的增大与拟合

26、好坏无关，在变量个数k不同的模型之间比较拟合优度时，就不是一个合适的指标，必须加以调整。调整的思想是将残差平方和与总离差平方和之比的分子分母分别用各自的自由度去除，变成均方差之比，以剔除变量个数对拟合优度的影响。 定义校正系数为 (2.2.57)或 （2.2.58）消除了解释变量个数的影响。从（2.2.58）式可以看出，（1）当时，这意味着随着自变量x的个数的增加，校正系数小于；（2）尽管总是非负的，但却可能为负，若遇到为负的情形，可以认为其值为零。在实际应用中我们常常将它与F检验结合起来使用。（二）、相关系数检验相关系数是用来描述变量间的线性密切程度的一种数量指标，通常用或来表示。相关系数有

27、简单相关系数、复相关系数、偏相关系数。1 简单相关系数简单相关系数用来描述两个变量间线性关系的密切程度的。如变量Y与X的简单相关系数的计算公式为： （2.2.59）或 （2.2.60）2 复相关系数 复相关系数是用来描述变量Y与自变量之间线性相关程度的指标，其计算公式为： （2.2.61） (2.2.62）在此与可决系数的计算公式一样，但说明一组自变量对因变量Y的解释程度。，越大说明自变量所引起的变动越大，也就是自变量对Y的影响越大。说明Y与存在完全的线性关系，它们之间高度相关，说明y与无关，在大多数情况下，。3 偏相关系数在多数问题中，两个变量之间的相关程度总要受到其他有关变量的影响，例如，

28、某旅游地热饮料的销售量Y与该地区游客数量的关系要受到天气条件的影响。这时Y与的简单相关系数不能反映Y与的真实相关程度。如果要研究Y与的真实相关就必须剔除对它的影响。在多元回归分析中，当其他变量被固定后，给定的任两个变量的相关系数，叫做偏相关系数，它是度量k+1个变量Y，之中任意两个变量的线性相关程度，而这种线性相关是在去掉其余k-1个变量后任意非空子集合影响下的线性关系。特别是利用偏相关系数来度量Y与某一自变量之间的依赖关系。设k个自变量，每两个自变量间及与因变量Y的影响的简单相关系数矩阵为：r 简单相关系数所构成的行列式为：其中 （2.2.63） （2.2.64）因变量Y与自变量的偏相关系数

29、： （2.2.65）这里都是中元素的代数余子式，都是对称行列式。以下给出一个递推公式： 是剔除的影响后Y与的偏相关程度的度量。 （三）、总体回归方程的显著性检验（F检验）与一元回归分析一样，多元线性回归模型的F检验就是检验总体回归方程是否显著，即检验假设： 若与之间线性关系显著，就拒绝，否则就接受。具体步骤如下：（1） 建立假设：； 不全为0（2） 列出方差分析表离差平方和名称表达式自由度 ESS= （3） 在H0成立的条件下，统计量由样本观测值，计算F值；（4） 检验：给定显著性水平，查表得临界值。 若，拒绝H0，回归方程显著成立； 若，接收H0，回归方程不显著。（四）、参数的显著性检验t检

30、验是检验解释变量对因变量线性作用是否显著的一种统计检验。虽然已经由F检验对总体回归方程的显著性作了检验，但在多元回归分析中，总体回归方程的显著性还不能说明每个解释变量对的影响都是重要的。这就需要对每个解释变量检验其对的线性作用是否显著。即检验：若对的作用显著就拒绝H0，否则就接收H0。具体步骤如下：（1） 建立假设：； （2） 在H0成立的条件下，统计量其中是中的主对角线上第个元素，根据样本观测值，计算t值；（3） 检验：给定显著性水平，查表得临界值。 若，就拒绝H0，对有显著线性作用； 若，就接收H0，对的线性作用不显著。五、预测多元线性回归模型为根据样本观测值，利用最小二乘法已求得样本回归

31、方程预测就是给定解释变量样本外的某一特定值向量对因变量值及进行估计。（一）、点预测由将代入可得,可作: 1、的个别值的预测 2、 的平均值的预测（二）、区间预测设是因变量观测值向量与其预测值向量之差.则有将代替,得的标准差估计值可以证明,统计量即对于给定的显著性水平,查分布表,可得临界值,因变量个别值的预测区间: (2.2.66)同理可得均值的预测区间为 (2.2.67)六、多元线性回归分析计算步骤及主要计算公式根据前几节的内容可归纳多元线性回归分析计算步骤及主要计算公式如下:1 由样本观测值，写出，2 计算 3 计算最小二乘估计量4 计算残差以及残差平方和， 5 估计标准误差6 计算可决系数

32、和校正可决系数,作拟合优度检验7 计算参数估计的标准差,其中8 计算检验统计量和值,分别作回归总体和参数估计的显著性检验.9 预测: 在处进行点预测和区间预测(显著性水平为)§2.3 非线性回归分析前面讨论的线性回归模型, 如其结构具有两个特点：（1）被解释变量是解释变量的线性函数，即解释变量线性。（2）被解释变量也是相应的参数的线性函数，即参数线性。但在客观现象中，变量之间的关系并非都是线性关系，如柯布一道格拉斯生产函数模型： 在此模型中,产出Y对劳动力投入L和资金投入K或者对参数和都不是线性的，对这种非线性模型，参数如何估计，是本节要讨论的问题，解决此问题的一个基本思想是把非线性

33、关系转化为线性关系，这在很多场合是可以做到的，然后再运用线性回归分析方法进行参数估计。这种对非线性模型进行线性处理的方法，常用的有代换法和泰勒级数展开法。一、 代换法（一）、多项式函数模型 （2.3.1）令 (2.3.2)则可用多元线性回归分析的方法进行处理（二）、双曲线模型 （2.3.3）令，则可化（2.3.3）式为 （2.3.4）（三）、指数曲线模型1、 （2.3.5）若c0，令则 (2.3.6)其中若c0，令则 （2.3.7）其中，2 (2.3.8)若c0，令,则 (2.3.9）其中若c0 令,则 （2.3.10）其中（四）、 幂函数模型 （2.3.11）若c0，令，则 （2.3.12）

34、若c0，令 则 (2.3.13)其中 （五）、S型曲线模型 （2.3.14）令 ，则 （2.3.15）（六）、对数函数模型1双对数函数模型 (2.3.16)令, 则 （2.3.17）2半对数型 （2.3.18）令，则 （2.3.19）或 （2.3.20）令则 （2.2.21）二、 泰勒级数展开法当建立的非线性模型无法用代换法进行线性化时，模型参数的估计可以借助泰勒级数展开式进行逐次的线性近似估计。给出一般的非线性模型为： + （2.3.22）k为解释变量个数，P为参数的个数，为非线性函数，利用泰勒级展开式作线性近似估计的步骤如下：（1）根据理论与实际资料，选定一组参数初值（）,把函数在初值展开

35、+ （2.3.23）其中，e是级数展开式的高阶项及随机项的和，把（2.3.23）式化为 (2.3.24）作变量代换，令 则（2.3.24）式可以写成 （2.3.25）（2） （2.3.25）式是一个多元线性回归模型，可用OLS法估计出一组系数;（3）重复步骤（1）对作另一次泰勒级数展开，得新的线性近似。利用OLS法估计出一组系数（4）如此重复，得到一系列 ，使其收效为止，即满足以下条件 （2.3.26）由是计算精度而定的。这种方法计算量较大，而估计是否收敛也是一个问题。这同初值的选取有一定关系。*;薃肀莂蒃袂肀肂虿袈聿芄薂螄肈莇螇蚀肇葿薀罿肆腿莃袅肅芁薈螁膄莃莁蚇膄肃薇薃膃芅荿羁膂莈蚅袇膁蒀蒈

36、螃膀膀蚃虿腿节蒆羈芈莄蚁袄芈蒆蒄螀芇膆蚀蚆袃莈蒃蚂袂蒁螈羀袁膀薁袆袁芃螆螂袀莅蕿蚈衿蒇莂羇羈膇薇袃羇艿莀蝿羆蒂薆螅羅膁蒈蚁羅芄蚄罿羄莆蒇袅羃蒈蚂螁羂膈蒅蚇肁芀蚁薃肀莂蒃袂肀肂虿袈聿芄薂螄肈莇螇蚀肇葿薀罿肆腿莃袅肅芁薈螁膄莃莁蚇膄肃薇薃膃芅荿羁膂莈蚅袇膁蒀蒈螃膀膀蚃虿腿节蒆羈芈莄蚁袄芈蒆蒄螀芇膆蚀蚆袃莈蒃蚂袂蒁螈羀袁膀薁袆袁芃螆螂袀莅蕿蚈衿蒇莂羇羈膇薇袃羇艿莀蝿羆蒂薆螅羅膁蒈蚁羅芄蚄罿羄莆蒇袅羃蒈蚂螁羂膈蒅蚇肁芀蚁薃肀莂蒃袂肀肂虿袈聿芄薂螄肈莇螇蚀肇葿薀罿肆腿莃袅肅芁薈螁膄莃莁蚇膄肃薇薃膃芅荿螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀

37、袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇

38、蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂

39、蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆

40、螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀

41、薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅

42、袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿

43、蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆芄薆袀腿蕿蒂衿芁莂螁袈羁薇蚇袇肃莀薃羆膅薆葿羆芈荿螇羅羇膁螃羄膀莇虿羃节芀薅羂羂蒅蒁羁肄芈螀羀膆蒃蚆肀芈芆薂聿羈蒂蒈肈肀芅袆肇芃薀螂肆莅莃蚈肅肅薈薄蚂膇莁蒀蚁艿薇蝿螀罿荿蚅蝿肁薅薁螈膄莈薇螈莆膀袆螇肆蒆螁螆膈艿蚇螅芀蒄薃螄羀芇葿袃肂蒃螈袂膄芅蚄袂芇蒁蚀袁肆