第一章 一元回归与相关分析

1、高级生物统计Advanced Biometrics主要内容主要内容: :1.1.回归分析回归分析 包括包括: :线性、逐步、非线性回归，相关、通径分析。线性、逐步、非线性回归，相关、通径分析。2.2.判别分析判别分析 包括包括: :距离判别、距离判别、BayesBayes判别、判别、FisherFisher判别等。判别等。3.3.聚类分析聚类分析 包括包括: :系统聚类、动态聚类等。系统聚类、动态聚类等。4.4.主成分分析与典型相关分析主成分分析与典型相关分析5.5.近代回归分析近代回归分析 包括包括: :岭回归、主成分回归等。岭回归、主成分回归等。6.6.回归设计回归设计 包括包括: :回归

2、正交设计、旋转设计、最优设计等。回归正交设计、旋转设计、最优设计等。一、变量间的关系一、变量间的关系 1.确定性关系确定性关系 已知一个或几个变量的值，能严格计已知一个或几个变量的值，能严格计算出另一个变量的值。如算出另一个变量的值。如 S=R2，S=v t 等。等。2.相关关系相关关系 变量间虽有一定的依赖关系，但由一个或变量间虽有一定的依赖关系，但由一个或几个变量的值，不能准确求出另一变量的值。例如，作几个变量的值，不能准确求出另一变量的值。例如，作物产量与施肥量之间的关系；体重与身高之间的关系；物产量与施肥量之间的关系；体重与身高之间的关系；孩子的身高与其父母的平均身高等。孩子的身高与其

3、父母的平均身高等。 细分；单向依存关系和相互依存关系，分析方法分细分；单向依存关系和相互依存关系，分析方法分别为回归别为回归(regression)分析和相关分析和相关(correlation)分析。分析。二、相关与回归分类二、相关与回归分类 1. 基于变量的多少基于变量的多少 简单相关与回归；多元相关与回归；偏相关与偏回归。简单相关与回归；多元相关与回归；偏相关与偏回归。 2. 基于变量间关系形式基于变量间关系形式 线性相关与回归；线性相关与回归； 非线性相关与回归。非线性相关与回归。三、相关与回归分析的作用三、相关与回归分析的作用 1.寻求描述变量间数量关系的数学模型寻求描述变量间数量关系

4、的数学模型回归方程；回归方程； 2.利用数学模型（回归方程）对变量进行预报或控制；利用数学模型（回归方程）对变量进行预报或控制； 3.在影响某一变量的诸多变量中，分析其主次顺序。在影响某一变量的诸多变量中，分析其主次顺序。四、认识相关关系的方法（相关关系的表现形式）四、认识相关关系的方法（相关关系的表现形式） 1.列表法列表法 如某作物的株高如某作物的株高y(cm)与苗龄与苗龄x(d)之间的关系。之间的关系。苗龄苗龄x(d)株高株高y(cm)2.图象法图象法 如散点图、折线图、曲线图等。如散点图、折线图、曲线图等。3.解析法解析法 如数学方程（数学模型）。如数学方程（数学模型）。一、一元线性回

5、归方程的建立一、一元线性回归方程的建立0 ybbx22011()()nniiiiiiQyyybbx0iiybbx 设对两变量设对两变量x,y进行进行n次试验后得次试验后得n对观测值对观测值(xi, yi)，i=1, 2,n。其散点图呈线性，用近似线性方程。其散点图呈线性，用近似线性方程表示表示, 称为称为y依依x的直线回归方程。的直线回归方程。(xi , yi)xixyyi0 ybbxb0为截距，为截距，b为回归系数为回归系数(斜率斜率)。它们应使它们应使达到最小。达到最小。22011()()nniiiiiiQyyybbx达到最小达到最小, 由多元由多元要使要使函数的极值定理，将函数的极值定理

6、，将Q分别对分别对b0，b求一阶偏导数并令求一阶偏导数并令其等于零得方程组其等于零得方程组010012()02()0niiiniiiiQybbxbQybbx xb 整理得整理得01120111(1)(2)nniiiinnniiiiiiib nbxybxbxx y由由(1)式得式得0bybx并代入并代入(2)式得式得整理得整理得01120111(1)(2)nniiiinnniiiiiiib nbxybxbxx y由由(1)式得式得0bybx并代入并代入(2)式得式得11112221111()()()()1()()nnnniiiiiixyiiiinnnxxiiiiiix yxyxxyylnblxx

7、xxn 这种求这种求b0、b的方法称为最小二乘法，的方法称为最小二乘法， b0、b称为最称为最小二乘估计小二乘估计(LSEleast square estimate)。例例1.1 某作物的株高某作物的株高y(cm)与苗龄与苗龄x(d)的试验结果如下表：的试验结果如下表：苗龄苗龄x(d) 5 10 15 20 25 30 35株高株高y(cm) 2 5 9 14 19 25 33解解 xi=5+10+15+20+25+30+35=140试求株高试求株高 y 依苗龄依苗龄 x 的回归方程。的回归方程。 yi=2+5+9+14+19+25+33=107 xi2=52+352=3500 yi2=22+

8、332=2381 xiyi=5 2+35 33=2855 lxy= xiyi ( xi)( yi)/n=2855-140 107/7=715 lxx= xi2( xi)2/n=3500-1402/7=700 lyy= yi2( yi)2/n=2381-1072/7=745.43从而得从而得 回归系数回归系数 b=lxy/lxx=715/700=1.020107/7 1.02 140/715.286 1.02 205.14bybx 5.14 1.02yx 因此得苗龄与株高的回归方程为因此得苗龄与株高的回归方程为解解 xi=5+10+15+20+25+30+35=140 yi=2+5+9+14+1

9、9+25+33=107 lxy= xiyi ( xi)( yi)/n=2855-140 107/7=715 lxx= xi2( xi)2/n=3500-1402/7=700 lyy= yi2( yi)2/n=2381-1072/7=745.43二、一元线性回归的数学模型二、一元线性回归的数学模型 设因变量设因变量y与自变量与自变量x的内在联系是线性的，当做了的内在联系是线性的，当做了n次试验后，得次试验后，得n组数据组数据(xi，yi)，i=1,2,n. 满足满足 yi= 0+ xi+ei， i=1,2,n其中其中 0、 是未知参数，称为回归系数，是未知参数，称为回归系数，x是一般变量，是一般

10、变量，e1,en是相互独立的随机误差，方差均为是相互独立的随机误差，方差均为 2，数学，数学期望为期望为0的正态分布，即的正态分布，即eiN(0, 2)。这就是一元线性。这就是一元线性回归的数学模型。回归的数学模型。20,(0,),1,2,iiiiyxeeNin简记为简记为20,(0,),1,2,iiiiyxeeNin222011()(),( )xxxxxD bD bnll简记为简记为显然显然 yi N( 0+ xi， 2)可以证明：可以证明： E (b0)= 0 ，E(b)= ，E(Q/(n-2)= 2，b0，b为为 0， 的最小二乘估计。的最小二乘估计。检验检验x与与y之间是否存在显著的线

11、性关系，即检验假设之间是否存在显著的线性关系，即检验假设 H0： =0，Ha： 021()nyyiilyy三、回归关系的显著性检验三、回归关系的显著性检验1.1.回归方程的检验回归方程的检验( (方差分析方差分析) )总平方和总平方和iyy(xi , yi)xixyyi0 ybbxiiyyy1()niiiyy2()iyy21()niiiyy21()niiyy(交叉项的和等于交叉项的和等于0)= Q + u21()nyyiiilyy21()niiyy其中其中= Q + u21()niiiQyy21()niiuyy分别称为剩余平方和与分别称为剩余平方和与回归平方和。回归平方和。2220011()(

12、)nniixyiiubbxbbxbxxblQ=lyy-u=lyy-blxy .自由度自由度 fT=n-1，fu=1，fQ=n-2.它们的计算公式为它们的计算公式为2220011()()nniixyiiubbxbbxbxxblQ=lyy-u=lyy-blxy .自由度自由度 fT=n-1，fu=1，fQ=n-2.均方：均方：22,uQuQuQSSff在在H0成立的条件下成立的条件下22(,)(1,2)uuQQSFF ffFnS 当当FF (1,n-2)时，否定时，否定H0，即，即x与与y存在显著的线存在显著的线性关系；否则线性关系不显著。性关系；否则线性关系不显著。在上例中在上例中因为因为 lx

13、y=715，lyy=745.43，b =1.02自由度自由度 fT=n-1=7-1=6，fu=1，fQ=n-2=7-2=5.均方：均方：2216.13729.3,3.2265uQuQuQSSff20.012729.3226.07(1,5)16.263.226uQSFFS所以回归方程极显著，即苗龄与株高有极显著的线性所以回归方程极显著，即苗龄与株高有极显著的线性关系。可列方差分析表（略）。关系。可列方差分析表（略）。所以所以 u=blxy =1.02 715=729.3， Q=lyy-u=745.43-729.3=16.13对上例对上例2.回归系数的回归系数的 t 检验检验H0： =0，Ha：

14、0在在H0成立的条件下成立的条件下 (2)(2)xxbtt nQnl 当当|t|t /2(n-2)时，否定时，否定H0，即，即x与与y存在显著的线性存在显著的线性关系；否则线性关系不显著。关系；否则线性关系不显著。0.01/21.021.0215.13(5)4.0320.067416.13(72) 715tt故回归系数极显著，即苗龄与株高线性关系极显著。故回归系数极显著，即苗龄与株高线性关系极显著。3.一元线性回归的一元线性回归的SAS程序程序对例对例1.1的的SAS程序如下程序如下:DATA ex1_1;DATA ex1_1;INPUT x y;INPUT x y;CARDS;CARDS;5

15、 2 10 5 15 9 20 14 25 19 30 25 35 33;PROC REG; PROC REG; MODEL y=x; MODEL y=x; RUNRUN; ;方差分析与参数估计方差分析与参数估计输出结果输出结果:PROC GPLOT;PROC GPLOT;PLOT yPLOT y* *x;x; SYMBOL V=star I=RL CV=orange CI=blue; SYMBOL V=star I=RL CV=orange CI=blue;RUN;RUN;其中：其中：CVCV、CLCL分别表示点的符号和回归线的颜色分别表示点的符号和回归线的颜色上例作上例作y关于关于x的回归

16、和散点图。增加如下程序：的回归和散点图。增加如下程序：当所求回归方程当所求回归方程0 ybbx 此值即为点预测（估计）。另外还有区间预测（估此值即为点预测（估计）。另外还有区间预测（估计），其计），其1- 的置信区间为的置信区间为 四、预测问题四、预测问题x=x0的值预测的值预测 y 的值，其预测值为的值，其预测值为显著时，可对给定的显著时，可对给定的000 ybbx0,yl0yl其中其中202()1(2)12xxxxQltnnnl202()1(2)2xxxxQltnnnl(1)单个单个y(2)y的平均值的平均值202()1(2)12xxxxQltnnnl显然，显然，l 越大，预测精度越低。预

17、测区间长度为越大，预测精度越低。预测区间长度为2l。当当x0 越远离越远离，预测精度越低。原则上，预测精度越低。原则上x0的取值要在的取值要在x试验范围之内，即：试验范围之内，即：x0 minx1,xn,maxx1,xn如上例中，当如上例中，当x=28时，时，y的的1-0.05=95% 的预测区间的预测区间0005.14 1.02 2823.42ybbx 202()1(2)2xxxxQltnnnl如上例中，当如上例中，当x=28时，时，y的的1-0.05=95% 的预测区间的预测区间0005.14 1.02 2823.42ybbx 20.05216.131(2028)(5)12.57 1.8

18、1.054.8657700lt023.424.8618.56,yl 028.28yl 即当苗龄为即当苗龄为28天时，株高的天时，株高的95% 预测区间为预测区间为 18.56，28.28厘米。厘米。SAS程序如下：程序如下：DATA ex1_1;DATA ex1_1;INPUT x y;INPUT x y;CARDS;CARDS;5 2 10 5 35 3328 .;PROC REG; MODEL y=xPROC REG; MODEL y=x/CLM/CLM; RUN; RUN; ;1.3 相关分析相关分析（correlation analysis) 一、相关系数一、相关系数22(, )()(

19、)()()COV X YE XEXYEYDX DYE XEXE YEY两个随机变量两个随机变量X、Y之间的总体相关系数之间的总体相关系数样本相关系数样本相关系数12211()()()()niixyinnxxyyiiiixxyylrllxxyy二、相关系数的性质二、相关系数的性质-1 r 122xyxxyyyylurlll因为因为r2称为确定系数或决定系数。称为确定系数或决定系数。且且 u lyy ， 所以所以当当|r|=1时，称时，称x与与y完全相关；完全相关；当当r=0时，称时，称x与与y不相关；不相关；当当r0时，称时，称x与与y正相关；正相关； 当当r r0.01(5)=0.874，所以

20、，所以x与与y相关相关关系极显著。关系极显著。2. t 检验法检验法在在 H0 成立的条件下成立的条件下22 (2)1r ntt nr当当|t| t /2(n-2) 时，拒绝时，拒绝H0，即，即x与与y相关系数显著。相关系数显著。注：注： 1.对一元线性回归与相关而言，对一元线性回归与相关而言，F 检验、检验、t 检验、检验、相关系数相关系数 r 的检验，其检验结果一致。的检验，其检验结果一致。2. 当检验结果为不显著时，可能存在的原因：当检验结果为不显著时，可能存在的原因：（1） x与与y之间根本没有关系，此时需要寻找影之间根本没有关系，此时需要寻找影响响 y 的其它变量；的其它变量；（2）

21、 x与与y之间有关系，但不是线性关系，这时需之间有关系，但不是线性关系，这时需要非线性回归。要非线性回归。相关分析的相关分析的SAS程序程序DATA ex1_1;DATA ex1_1;INPUT x y;INPUT x y;CARDS;CARDS;5 2 10 5 15 9 20 14 25 19 30 25 35 33;PROC CORR; PROC CORR; VAR x y; VAR x y; RUNRUN; ;1.4 曲线回归曲线回归一、求曲线回归方程的步骤一、求曲线回归方程的步骤1. 确定变量之间的函数类型确定变量之间的函数类型（1）根据专业知识或理论推导或实践经验确定；）根据专业知

22、识或理论推导或实践经验确定；（2）根据散点图的分布趋势确定函数类型；）根据散点图的分布趋势确定函数类型；（3）用多项式逼近。）用多项式逼近。2. 确定方程（函数）中的未知参数确定方程（函数）中的未知参数 一般采用最小二乘法。若非线性函数能转换成一般采用最小二乘法。若非线性函数能转换成线性函数，则可以用线性回归求解；若不能化成线性函数，则可以用线性回归求解；若不能化成线性函数，则采用最优化方法求解。线性函数，则采用最优化方法求解。二、可化为线性模型的情况二、可化为线性模型的情况1. 指数函数指数函数例例1.2 栖霞果树站测定了覆膜条件下，国光苹果长枝的栖霞果树站测定了覆膜条件下，国光苹果长枝的叶

23、面积生长量，其前期数据如下表。试进行回归分析。叶面积生长量，其前期数据如下表。试进行回归分析。解：解：由散点图其函数类型为由散点图其函数类型为 y=kebx=ea+bx两边取自然对数两边取自然对数 lny=a+bx令令 y=lny，则，则 y=a+bx天数天数x(d) 0 5 10 15 20 25 30叶面积叶面积y(cm2)5.7 43.7 76.7 102.3 183.4 225.1 344.2x102030401002003004000yx 0 5 10 15 20 25 30y=lny1.740 3.777 4.340 4.628 5.212 5.417 5.841将原始数据将原始数

24、据(xi,yi)转换为转换为(xi,lnyi)=(xi,yi)，由，由(xi,yi)求求参数参数a、b， 本例本例建立建立 x与与y的线性回归方程。的线性回归方程。 lxx= xi2( xi)2/n=2275-1052/7=7007,15,4.4298nxy lxy= xiyi ( xi)( yi ) /n=546.5845-105 31.0088/7=81.4525 lyy= yi2( yi)2/n=148.1672-31.00882/7=10.8035解：解：由散点图其函数类型为由散点图其函数类型为 y=kebx=ea+bx两边取自然对数两边取自然对数 lny=a+bx令令 y=lny，则

25、，则 y=a+bx lxx= xi2( xi)2/n=2275-1052/7=7007,15,4.4298nxy lxy= xiyi ( xi)( yi ) /n=546.5845-105 31.0088/7=81.4525 lyy= yi2( yi)2/n=148.1672-31.00882/7=10.8035从而得从而得 回归系数回归系数 b=lxy/lxx=81.4525/700=0.11634.42980.1163 152.6853aybx2.68530.1163yx因此得回归方程因此得回归方程对此回归方程检验对此回归方程检验(F检验、检验、t检验、检验、r检验任选其一即可检验任选其一

26、即可)用相关系数用相关系数r检验：检验： 81.45250.9366700 10.8035xyxxy ylrll2.68530.1163yx因此得回归方程因此得回归方程对此回归方程检验对此回归方程检验(F检验、检验、t检验、检验、r检验任选其一即可检验任选其一即可)用相关系数用相关系数r检验：检验： 81.45250.9366700 10.8035xyxxy ylrll查相关系数临界值表查相关系数临界值表r0.01(5)=0.8745|r|=0.9366 r0.01(5)=0.8745，所以，所以x与与y相关关系极显著。相关关系极显著。故故 x与与y的回归方程为的回归方程为2.6853 0.1

27、1630.116314.6582xxyee其其SAS程序如下：程序如下：data ex1_2; input x y;yp=log(y);cards; 0 5.7 5 43.7 10 76.7 15 102.3 20 183.4 25 225.1 30 344.2;proc reg;model yp=x;run;2.65939 0.1163xye214.382.610.27yxx本例如果用二次多项式模型，则程序如下：本例如果用二次多项式模型，则程序如下：data five; input x y;x2=x*x;cards; 0 5.7 5 43.7 10 76.7 15 102.3 20 183.

28、4 25 225.1 30 344.2;proc reg;model y=x x2;run;R2=0.9872(指数模型指数模型R2=0.8569)，二次多项式模型为，二次多项式模型为2. 幂函数幂函数例例1.3 测定甘薯薯块在生长过程中的鲜重测定甘薯薯块在生长过程中的鲜重x(g)和呼吸强度和呼吸强度y(Co2mg/g/h)的关系，得如下数据。试进行回归分析。的关系，得如下数据。试进行回归分析。解：解：由散点图其函数类型为由散点图其函数类型为 y=axb两边取以两边取以e为底的对数为底的对数 lny=lna+blnx令令 y=lny，a=lna，x=lnx 则则 y=a+bx x 10 38

29、80 125 200 310 445 480 y 92 32 21 12 10 7 7 6x100 200 300 400204060800y500100data ex1_3;input x y;xp=log(x);yp=log(y);cards;10 92 38 32 80 21 125 12 200 10 310 7 445 7 480 6;proc reg;model yp=xp;run;SAS程序如下：程序如下：输出结果：输出结果：6.051880.6998 yx因此得回归方程因此得回归方程0.6998424.91yx3. S型曲线型曲线 也称为生长曲线、也称为生长曲线、logisti

30、c曲线等。一般形式曲线等。一般形式其中其中 k，a，b为待估参数。为待估参数。1bxkyaexyk k 的确定方法：的确定方法： (1)经验法经验法(k 为终极量为终极量)； (2)若若y是累积频率，则是累积频率，则k =1； (3)取三对观测值取三对观测值(x1, y1)，(x2, y2)，(x3, y3)，其中，其中 x2=(x1+x3)/2，则，则22131232213()2yyyy y ykyy y线性化方法：线性化方法：1bxkyae则则 y=a+bx 将将(xi, yi)变换为变换为(xi, yi) =(xi, ln(k-yi)/yi)，利用，利用(xi, yi)建立建立x与与y的

31、直线回归方程，所以的直线回归方程，所以xyxxlbaybxl由由得得bxkyaey，两边取自然对数，两边取自然对数ln()lnkyabxyln(),lnkyyaay令例例1.4 国光苹果长枝的叶面积生长量（国光苹果长枝的叶面积生长量（n=15），其数据），其数据如下表。试进行回归分析。如下表。试进行回归分析。确定确定k值：值：天数天数x(d) 0 5 10 65 75叶面积叶面积y(cm2)5.7 43.7 76.7 454.0 454.3 x 0 5 10 65 75y=ln(473.6-y)/y 4.408 2.286 1.644 -3.143 -3.159数据转换：数据转换：取三对观测值

32、取三对观测值(x1, y1)，(x2, y2)，(x3, y3)为为(5，43.7)，(30，281.6)，(55，452.3)，得，得k=473.615,35,0.7017nxy 15,35,0.7017nxy 回归系数回归系数 b=lxy/lxx=-712.547/7000=-0.10180.70170.1018 352.8610aybx 2.861 0.1018yx因此得回归方程因此得回归方程对此回归方程检验对此回归方程检验, 用相关系数用相关系数r检验：检验： 712.5470.96457000 77.9644xyxxy ylrll lxx=7000， lxy=-712.547， ly

33、y=77.9644 x 0 5 10 65 75y=ln(473.6-y)/y 4.408 2.286 1.644 -3.143 -3.1592.861 0.1018yx 712.5470.96457000 77.9644xyxxy ylrll 查相关系数临界值表查相关系数临界值表r0.01(13)=0.641|r|=0.9645 r0.01(13)=0.641，x与与y相关关系极显著。相关关系极显著。因为因为 a=2.861，所以，所以 a=e2.861=17.4789故故 x与与y的的logistic方程为方程为0.1018473.61 17.48xye 当当k不能事先确定时不能事先确定时

34、, 用非线性用非线性(最优化最优化)方法求解。方法求解。见见P29的求解方法。的求解方法。 例例在进行米氏方程和米氏常数推算时，测得酶比活力在进行米氏方程和米氏常数推算时，测得酶比活力y与底物浓度与底物浓度x(mmol/L)之间的关系，得之间的关系，得9对数据如下对数据如下:x 1.25 1.43 1.66 2.00 2.50 3.30 5.00 8.00 10.00y17.65 22 26.32 35 45 52 55.73 59 60由此图可认为底物浓度与酶比活力的关系为由此图可认为底物浓度与酶比活力的关系为:1/y=a+b/xy102030405060 x12345678910DATA

35、three;DATA three;INPUT x y;INPUT x y;xp=1/x; ypxp=1/x; yp=1/y;=1/y;CARDS;CARDS;1.25 17.65 1.43 22.00 1.66 26.32 2.00 35.00 2.50 45.00 3.30 52.005.00 55.73 8.00 59.00 10.00 60.00;PROC REG;PROC REG; MODEL yp=xp MODEL yp=xp; ;RUN;RUN;SASSAS程序如下：程序如下：其指数方程：其指数方程：1/y=0.00655+0.05437(1/x)即即:0.006550.05437

36、xyxr=0.95050.00640.0547xyxr=0.9946220.01450.0638xyxr=0.9953330.01750.0800 xyxr=0.99842.52.50.01620.0714xyxy102030405060 x12345678910注意：注意：（1）当曲线方程不能线性化时，可用最优化方法）当曲线方程不能线性化时，可用最优化方法来解决；来解决；（2）“线性线性”是对未知参数而言，如是对未知参数而言，如 y=a+bx2，对，对x而言是曲线（非线性），但对而言是曲线（非线性），但对a,b而言是而言是“线性线性”；（3）常见曲线的线性化方法见）常见曲线的线性化方法见P25。三、不能化为线性模型的情况三、不能化为线性模型的情况建立酒精含量建立酒精含量y与时间与时间x的数学模型。的数学模型。(2004年竞赛题年竞赛题)时间时间( (小时小时) ) 0.250.50.7511.522.533.544.55酒精含量酒精含量306875828277686858515041时间时间( (小时小时) )678910111213141516酒精含量酒精含量3835282518151210