预备知识1线性模型

二元回归模型预备知识1：线性模型矩阵形式估计量估计量方差其中最小二乘估计（ordinaryleastsquares,OLS）总平方和回归平方和为预测值残差平方和判定系数（coefficientofdetermination）Rsquared调整Rsquaredfi

如果这里为已知协方差矩阵估计量方差广义最小二乘（generalizedleast-squares,GLS）可加效应模型预备知识2：固定效应模型方差分析（analysisofvariance,ANOVA）假设

偏差平方和的分解交互效应模型方差分析假设偏差平方和的分解随机效应模型方差分析假设检验统计量预备知识3：三大检验似然比检验LRWald检验拉格朗日乘子检验LM（1）模型是非线性的（2）约束是非线性的（3）扰动项分布是非正态的，在这些情况下，F检验不再适用，通常需要采用LR、Wald、LM其中之一来检验约束条件是否成立。三大检验的引入这三个检验方法都是渐进等价的，他们所用统计量的小样本分布是未知的，但大样本下都渐进服从自由度为约束个数的卡方分布。三大检验方法是三种基于极大似然法的大样本检验方法。

根据模型的特点采用不同的检验方法。模型视为给定参数的数据生成过程的集合。三大检验方法共同点极大似然估计（ML）（一）极大似然原理假设对于给定样本

，其联合概率分布存在。将该联合概率密度函数视为未知参数

的函数，则

称为似然函数（LikelihoodFunction）,即观测到所给样本的可能性.极大似然原理就是寻找未知参数

的估计

，使得似然函数达到最大，或者说寻找使得样本

出现的概率最大的

。求极大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程

极大似然估计，是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。极大似然估计量（MLE）的性质（1）一致性：是的一致估计量，即（2）渐进有效性：是渐进有效的且达到所有一致估计量的Cramer-Rao下界，即是所有一致渐进正态估计量中方差最小的（3）渐进正态性检验思想：如果参数约束是有效的，那么加上这样的约束不应该引起似然函数最大值的大幅度降低。也就是说似然比检验的实质是在比较有约束条件下的似然函数最大值与无约束条件下似然函数最大值。似然比定义为有约束条件下的似然函数最大值与无约束条件下似然函数最大值之比。以似然比为基础可以构造一个服从卡方分布统计量似然比检验（LR）似然比检验（LR）1、似然比命题：如果约束是无效的，有约束的最大似然函数值当然不会超过无约束的最大似然函数值，但如果约束条件“有效”，有约束的最大值应当“接近”无约束的最大值，这正是似然比检验的基本思路。似然比：无约束模型似然函数值：有约束模型似然函数值：显然。如果原假设是真，则趋近于1；如果太小，则约束无效，拒绝原假设。可以证明，对大样本来说，检验统计量为，拒绝域，似然比检验另一种表达，检验思想：如果约束是有效的，那么在没有约束情况下估计出来的估计量应该渐进地满足约束条件，因为MLE是一致的。以无约束估计量为基础可以构造一个Wald统计量，这个统计量也服从卡方分布Wald检验Wald检验如果约束条件为真，则不应该显著异于零，其中是无约束极大似然估计值。当显著异于零时，约束条件无效，拒绝原假设。检验统计量。Wald检验实际基于g（β）和C之间的距离。Wald只需要估计无约束模型，但需要计算渐进协方差矩阵。在线性约束条件下，Wald检验拒绝域，Wald统计量另一种表达形式，检验思想：在约束条件下，可以用拉格朗日方法构造目标函数。如果约束有效，则最大化拉格朗日函数所得估计量应位于最大化无约束所得参数估计值附近。这里也是构造一个LM统计量该统计量服从卡方分布。拉格朗日乘子检验（LM）拉格朗日乘子检验（LM）拉格朗日乘子检验（LM），又称为Score检验。该检验基于约束模型，无需估计无约束模型。假设约束条件为，在约束条件下最大化对数似然函数，另表示拉格朗日乘子向量，此时，拉格朗日函数为约束条件下最大化问题就是求解下式根，

如果约束成立，对数似然函数值不会有显著变化。这就意味着在一阶条件下，第二项应该很小，特别是应该很小。因此，约束条件是否成立检验转化成检验，这就是拉格朗日乘子检验的思想。

但是直接检验比较困难，有一个等价而简单的方法。如果约束条件成立，在约束估计值处计算对数似然函数的导数应该近似为零，如果该值显著异于零，则约束条件不成立，拒绝原假设。对数似然函数的导数就是得分向量，因此，LM检验就是检验约束条件下参数估计值的得分向量值是否显著异于零，因而，LM检验又称为得分检验。在最大似然估计过程中，通过解似然方程，可以求出无约束估计量；如果计算有约束估计量在此处得分，则一般不为零，但是如果约束有效，则趋近于零。在原假设成立条件下，对于线性约束将有关量代入上式得，拒绝域，LM统计量另一种表达形式，LR、Wald、LM关系(一般情况下成立)：

对于似然比检验，既需要估计有约束的模型，也需要估计无约束的模型；对于Wald检验，只需要估计无约束模型；对于LM检验，只需要估计有约束的模型。一般情况下，由于估计有约束模型相对更复杂，所有Wald检验最为常用。对于小样本而言，似然比检验的渐进性最好，LM检验也较好，Wald检验有时会拒绝原假设，其小样本性质不尽如人意。

多层线性模型hierarchicallinearmodel（HLM）分层线性模型（hierarchicallinearmodelHLM）又名多层线性模型（MultilevelLinearModelMLM）、层次线性模型（HierarchLinearMode1）、多层分析（MultilevelAnalysis/Model）。HLM又被通俗的称为“回归的回归”。一般线性回归和多重线性回归都是发生在单一层面，HLM相对于更适用于嵌套数据（nestdata）。”

概念由于个体行为不仅受个体自身特征的影响，也受到其所处环境（群体/层次）的影响。相对于不同层次的数据，传统的线性模型在进行变异分解时，对群组效应分离不出，而增大模型的误差项。而且不同群体的变异来源也可能分布不同，可能满足不了传统回归的方差齐性假设。在模型应用方面，不同群体（层次）的数据，也不能应用同一模型。鉴于传统方法的局限性，分层技术则解决了这些生态谬误（EcologicalFallacy）。

假设个体层面：这个与普通的回归分析相同，只考虑自变量X对因变量Y的影响。群组层面：群组因素W分别对个体层面中回归系数和截距的影响。两个层面的假设：个体层面：

群组层面：

涉及到多个群组层次的时候原理与之类似，可以把较低级层次的群组，如不同的乡镇层面与不同的县市层面，可以这样理解，乡镇即是一个个体，群组即是不同的县市。更多层次的可以这样理解，一直是下一层对上一层回归系数和截距的回归。与普通的“回归的回归”不同的是，整个计算过程通过迭代过程完成。

数学模型：合并模型固定（非随机项）

为固定参数随机项随机参数和。令固定j不独立则模型的GLS表达方式假设这里则不同j相互独立。GLS迭代估计固定系数。这里X内部变量（within），W外部变量（between），WX交互作用(cross-level)矩阵形式这里并相互独立这里大矩阵形式

方差记为记GLS估计多层线性模型的适用范围非常广，凡是具有嵌套和分层的数据均可使用多层线性模型进行分析。此外，多层线性模型还可以用于纵向研究。采用多层分析的方法处理重复测量数据与时间变量之间的关系。在多层结构中可以对非平衡测量数据得到参数的有效估计。因此用多层分析法处理重复测量的数据，不要求所有的观测个体有相同的观测次数。在纵向调查研究中，由于各种各样的原因，被试个体观测值部分缺失的情况时有发生，因此多层分析法处理缺失数据而不影响参数估计精度的这一特征，使得多层分析法处理在处理纵向观测数据时，比传统多元重复测量方法有很大的优势。

应用多层分析法通过考虑测量水平和个体水平不同的差异，明确表示出个体在水平1（不同测量点）的变化情况，因而对于数据的解释（个体随时间的增长趋势）是在个体与重复测量交互作用基础上的解释，即不仅包含了不同测量点的差异，而且包含了个体之间存在的差异。

处理多元重复测量数据，多层分析法优点：

多层分析法对数据资料较传统多元重复测量方法有较低的要求，对于重复测量的次数和重复测量之间的时间跨度都没有严格的限制。不同个体可以有不同的测量次数，测量与测量之间的时间跨度也可以不同。

多层分析模型可以定义重复观测变量之间复杂的协方差结构，并且对所定义的不同的协方差结构进行显著性检验。在多层分析模型中，通过定义第一水平和第二水平的随机变异来解释个体随时间的复杂变化情况，当数据满足传统多变量重复测量模型对数据的要求和假设时，层次分析法得到与传统固定效应多元重复测量模型相同的参数估计和假设检验结果。用多层分析模型可以考虑更高一层的变量，如不同地区儿童对个体增长的影响。用于多层分析模型的参数估计方法较传统估计参数的方法要复杂得多。不能处理变量之间间接的影响关系和处理复杂的观测变量和潜变量之间的关系。缺点1线性回归：fit<-lm(mathach~ses,hs)summary(lm(mathach~Sector/ses-1,hs))主效应Sector，交互效应Sector:sessummary(lm(mathach~ses*Sector-1,hs))主效应Sector,ses，交互效应Sector:seslm1<-lm(matach~factor(school)/ses-1,hs)主效应school,交互效应school:sesSummary(lm(matach~factor(school)*ses-1,hs))主效应school,ses,交互效应school:ses2固定效应模型

ddu<-up(hs,~factor(school))dim(ddu)ind<-ddu$Sector=="Catholic"L<-rbind("Catholic"=ind,"Public"=1-ind)L<-L/apply(L,1,sum)L<-cbind(rbind(L,0,0),rbind(0,0,L))rownames(L)<-c("CathInt","PubInt","CathSlope","PubSlope")L%*%lml$coefficientswald(lml,L)diffmat<-rbind("Int"=c(-1,1,0,0),Slope=c(0,0,-1,1))diffmat%*%L%*%lml$coefficientswald(lml,diffmat%*%L)#differentofsectorWaldtestlibrary(nlme)lcoefs<-coef(lmList(mathach~ses|factor(school),hs))lm.mult<-lm(as.matrix(lcoefs)~Sector,up(hs,~factor(school)))summary(lm.mult)3多元方差分析（MANOVA）fit.eco<-lm(mathach~ses,up(hs,~factor(school),all=T))summary(fit.eco)library(nlme)fit<-lme(mathach~ses*Sector,hs,random=~1+ses|school)summary(fit)wald(fit,'ses')#overalltestfor'ses'wald(fit,'Sector')5分层线性模型fitc<-lme(mathach~ses*Sector+cvar(ses,school),hs,random=~1+ses|school)summary(fitc)wald(fitc)wald(fitc,-1)#overalltestofFEmodelwald(fitc,'ses')#overalltestofall'ses'effectswald(fitc,'Sector')#overalltestofall'Sector'effectswald(fitc,':')#overalltestofallinteractioneffectscvarandcvarsareintendedtocreatecontextualvariablesinmodelformulas.If'x'isnumerical,cvarisequivalenttocapply(x,id,mean)andcvarsisequivalenttocapply(x,id,sum).6加入背景变量（contextualvariables）的HLMWald检验fitcd<-update(fitc,.~dvar(ses,school)*Sector+cvar(ses,school))fitcd<-lme(mathach~dvar(ses,school)*Sector+cvar(ses,school),hs,random=~1+ses|school）summary(fitcd)summary(fitc)fitca<-update(fitc,random=~1+dvar(ses,school)|school)summary(fitca)summary(fitc)anova(fitca,fitc)UsingCWGinsteadofraweffect

qqnorm(fitc)qqnorm(fitc,abline=c(0,1),id=.01)plot(fitc)#notasgenerousasinlm,needtomakeyourown:#Thisisaplotofresiduals(z-sc