偏最小二乘回归数学模型及其算法研究1

1、LOGO偏最小二乘回归数学模偏最小二乘回归数学模型及其算法研究型及其算法研究华北电力大学华北电力大学数理学院数理学院陆洪涛陆洪涛LOGO目录目录选题背景及意义选题背景及意义1国内外研究国内外研究现状现状2课题研究内容课题研究内容3研究方案研究方案及可能的创新点及可能的创新点LOGO选题背景v 回归分析回归分析 确定两种或两种以上变数间相互依赖的定量关系的一种统确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。计分析方法。 按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。LOGO选题背景多元回归问题多元回

2、归问题考查某一个变量(通常称为响应变量、因变量或指标)与其余多个变量(通常称为自变量或因素)的相互依赖关系多元回归分析多因变量的多元多因变量的多元回归问题回归问题同时考查p个因变量与m个自变量的相互依赖关系LOGO选题背景需假设自变量之间不存在严重的多重需假设自变量之间不存在严重的多重相关性相关性处理处理多因变量对多自变量的回归建模多因变量对多自变量的回归建模时乏力时乏力不不易于辨识系统信息与噪声易于辨识系统信息与噪声最小二乘回归方法缺陷LOGO选题背景能在自变量有多重相关性的条件下进行回归建模；能在自变量有多重相关性的条件下进行回归建模；允许样本点个数少于变量个数允许样本点个数少于变量个数回

3、归的最终模型中将包含原有的所有自变量回归的最终模型中将包含原有的所有自变量易于辨识系统信息与噪声（甚至一些非随机性的噪声）易于辨识系统信息与噪声（甚至一些非随机性的噪声）每一个自变量的回归系数将更容易解释每一个自变量的回归系数将更容易解释偏最小二乘回归方法特点LOGO国内外研究现状国内外研究现状60年代年代70年代年代80年代年代1996年年10月月欧洲经济计量学家提出了偏最小二乘回归的思想。瑞典经济计量学家Herman Wold等人提出了非线性迭代偏最小二乘回归算法。计量化学研究者首先将偏最小二乘回归成功地运用于计量化学，获得巨大成功。在法国巴黎召开了第一次有关偏最小二乘回归方法的理论与应用

4、的国际学术专题研讨会议LOGO课题研究内容课题研究内容 设有p个自变量 和q因变量 。为了研究因变量和自变量的统计关系,我们观测了n个样本点,由此构成了自变量与因变量的样本阵X= np和Y= nq。 偏最小二乘回归分别在X与Y中提取出成分t1和u1(也就是说, t1是 的线性组合, u1是 的线性组合)。 qyy ,.,1qyy ,.,1pxx ,.,1pxx ,.,11,.,qyypxx ,.,LOGO课题研究内容课题研究内容 在提取这两个成分时在提取这两个成分时,为了回归分析为了回归分析的需要的需要,有下列两个要求有下列两个要求:(1)t1和和u1应尽可能大地携带它们各自数应尽可能大地携带

5、它们各自数 据表中的变异信息据表中的变异信息;(2)t1和和u1的相关程度能够达到最大。的相关程度能够达到最大。LOGO课题研究内容课题研究内容 在第一个成分t1和u1被提取后,偏最小二乘回归分别实施X对t1的回归以及Y对t1的回归。如果回归方程已经达到满意的精度,则算法终止;否则,将利用 X被t1解释后的残余信息以及Y被t1解释后的残余信息进行第二轮的成分提取。如此往复,直到能达到一个较满意的精度为止。 若最终对 X共提取了m个成分t1、t2、tm,偏最小二乘回归将通过实施yk(k=1、2、q)对t1、t2、tm的回归,然后表达成yk关于原变量x1、x2、xp的回归方程。LOGO研究方案熟悉偏最小二乘回归基本理论知识熟悉偏最小二乘回归基本理论知识熟悉偏最小二乘回归的熟悉偏最小二乘回归的建模步骤建模步骤将将最小二乘回归方法应用于水资源最小二乘回归方法应用于水资源承载能力研究承载能力研究中。中。LOGO可能的创新点将偏最小二乘方法应用于承载力的评价中，优于主成将偏最小二乘方法应用于承载力的