第二课 从非线性回归到多元回归

1、第二课从非线性回归到多元回归11_曲线回归12_非线性回归多元线性回归分析多元线性回归是简单线性回归的直接推广，其包含一个因变量和二个或二个以上的自变量。简单线性回归是研究一个因变量（Y）和一个自变量（X）之间数量上相互依存的线性关系。而多元线性回归是研究一个因变量（Y）和多个自变量（Xi）之间数量上相互依存的线性关系。多元线性回归模型与参数估计设有自变量x1,x2,xp和因变量Y以及一份由n个个体构成的随机样本(x1i,x2i,xpi,，Yi），且有如下关系：E(y)=B0+B1x1+B2x2+Bpxp(模型）参数的最小二乘估计与简单回归类似，我们寻求参数B0、B1、B2和Bp的适宜估计数值

2、b0、b1、b2和bp,，使实际观察值和回归方程估计值之间残差平方和最小。回归方程的假设检验：建立回归方程后，须分析因变量Y与这p个自变量之间是否确有线性回归关系，用F分析。H0：B1B2.=Bp=0H1：H0不正确FMS回归/MS误差MS回归SS回归pMS误差SS误差(n-p-1)偏回归系数的假设检验H0：Bj=0H1：Bj不为零F（Xj的偏回归平方和1）/MS误差Xj的偏回归平方和：某一个自变量的集合中去掉Xj后回归平方和的减少量MS误差：包含Xj的原自变量集合的残差均方差。标准化偏回归系数：需要将所有自变量和因变量标准化之后，建立的回归方程系数，标准化偏回归系数：bj=bj(sj/sy)

3、决定系数：简记为R2，即回归平方和SS回归与总离均差平方和SS总的比例。R2SS回归SS总复相关系数：R=sqrt(R2)Y与多个自变量之间的线性相关程度，亦即观察值Y与估计值之间的相关程度。回归分析中的若干问题样本量n足够大，至少应是自变量个数的5-10倍资料要求：总体服从多元正态分布。但实际工作中分类变量也可做分析。分类变量在回归分析中的处理方法有序分类：用一个自变量即可：x=0(无效)x=1(有效)x=2(治愈)无序分类：则每一个无序k分类变量，要用k1个自变量(0-1变量)(伪变量)来描述回归方程中自变量的选择选择变量的统计学标准R2R2SS回归SS总调整的R2最大调整的R21MS误差

4、/MS总Cp值最接近p+1Cp（n-p-1)(MS误差.p/MS误差.全部-1）（p+1)选择变量的方法最优子集回归分析法：p个变量会有2p1个候选的方程逐步回归分析向前引入法(forwardselection)向后剔除法(backwardselection)逐步引入剔除法(stepwiseselection)向前引入法（forwardselection)自变量由少到多一个一个引入回归方程。要求对新引入的变量进行偏回归系数假设检验时，统计显著性p值，是所有候选变量中最小的，且小于预先给定的阈值。向后剔除法（backwardselection)自变量先全部选入方程，每次剔除一个使上述检验最不能拒绝H0者，p值最大者，直到不能剔除为止（所有p值都小于预先给定的某阈值）。逐步引入剔除法（stepwiseselection)先规定两个检验水准alpha引入和alpha剔除，当候选变量中最小P值=alpha剔除时，剔除相应变量。如此交替进行直到无引入和无剔除为止。13_14测量了27名糖尿病人的血清总胆固醇x1、甘油三酯x2、空腹胰岛素x3、糖化血红蛋白x4、空腹血糖y，试建立空腹血糖与其他4个指标的多元线性回归方程。多重共线