统计建模与数据分析

参考书籍：主要内容引言横截面数据：因变量为实数轴上的数量变量横截面数据：因变量为分类变量及因变量为计数变量的情况纵向数据（多水平数据、面板数据）多元分析（不分因变量和自变量）路径建模（结构方程建模）数据的PLS分析多元时间序列数据引言统计是科学统计是科学？科学的基本特征是其方法论：对世界的认识源于观测或实验的信息(或者数据),总结信息时会形成模型(亦称为假说或理论),模型会指导进一步的探索,直到遇到这些模型无法解释的现象,这就导致对这些模型的更新和替代.统计可以定义为``收集、分析、展示和解释数据的科学,或者称为数据科学(scienceofdata).统计应用于几乎所有领域.统计与数学、计算机的关系统计的思维方式是归纳(induction),也就是从数据所反映的现实得到稍微一般的模型,希望以此解释数据所代表的那部分世界.这和以演绎(deduction)为主的数学思维方式相反,演绎则是在一些人为的假定(比如一个公理系统)之下,推导出各种结论.在统计发展的前期,没有计算机,只能在对数据加上一些数学假定后,建立一些假定的数学模型,推导出结果的性质,诸如置信区间,假设检验的p值,相合性等等.在数据分布与假定的正态分布相差甚远的情况,人们又利用诸如中心极限定理或大样本定理得到渐近正态的结果.据此又得到大样本时的各种性质,包括置信区间或置信带,p值,相合性等等.统计的这种发展方式,给统计打上了很深的数学烙印.在现成的数学模型无法处理大量的复杂数据的情况下，计算机领域的研究人员和部分概率论及统计学家开发了许多计算方法，处理了传统统计无法解决的大量问题。诸如人工神经网络、决策树、boosting、随机森林、支持向量机等大量算法模型。统计研究逐步由数据或者问题驱动，创造模型的目的是适应现实数据。随着时代的前进,院系现在也出现了诸如数据挖掘、机器学习等课程,统计杂志也开始逐渐重视这些研究.这些算法模型大都不是用封闭的数学公式来描述,而是体现在计算机算法或程序上.参考书籍：TheElementsofStatisticalLearning:DataMining,Inference,andPrediction.

SecondEdition.TrevorHastie,RobertTibshirani,JeromeFriedman,Springer学术期刊Top期刊TheAnnalsofStatistics.JournaloftheRoyalStatisticalSociety,SeriesB.JournaloftheAmericanStatisticalAssociation.Biometrika.JournalofMachineLearningResearchEconometrikaBiostatistics文献检索文献检索的一点经验Nosweat,Nosweet.数据分析的实践数据收集.首先要根据实际目的.有数据不一定能够得到需要的结论,我们需要的是与所关心问题充分有关的变量的数据.数据预处理.

缺失值寻找适合的模型：为了寻找模型，首先要对数据进行探索性分析，利用图形、各种统计量、或者比较复杂的探索方法来查看数据的关联性、线性性、异方差性、多重共线性、聚类特征、分布形状等。有了对数据的粗略认识之后，就寻找合适的模型。数据分析的实践比较模型的标准.传统统计中:各种判别准则(各种检验、一些统计量的临界值等等).都是在对数据分布及描述变量之间关系的模型所做的假定之下得到的.在使用算法模型时,由于没有传统模型的那些假定,判断模型好坏通常都用交叉验证(crossvalidation)。对结果的解释.

选择模型并不是目的,目的是解释模型所产生的结果,而结果必须是应用领域的结果,必须有实际意义.仅仅用统计术语说某个模型较好,某个变量显著之类的话是不够的.R软件入门R软件的安装最初几步一些简单运算pi*10^2#能够用?”*”来看基本算术运算方法,pi是圆周率pi*(1:10)^-2.3#可以对向量求指数幂x=pi*10^2xprint(x)#和上面一样(x=pi*10^2)#赋值带打印pi^(1:5)#指数也可以是向量print(x,digits=12)#输出x的12位数字简单图形x=rnorm(200)#200个随机正态数赋值到xhist(x,col="lightblue")#直方图(histogram)rug(x)#在直方图下面加上实际点的大小stem(x)#茎叶图x<-rnorm(500)y<-x+rnorm(500)#构造一个线性关系plot(y~x)#散点图a=lm(y~x)#做回归abline(a,col="red")#或者abline(lm(y~x),col="red")在散点图上加拟合直线print("HelloWorld!")paste("x的最小值=",min(x))#打印数据输入输出序列等等矩阵矩阵继续nrow(x);ncol(x);dim(x)#行列数目x=matrix(rnorm(24),4,6)x[c(2,1),]#第2和第1行x[,c(1,3)]#第1和第3列x[2,1]#第[2,1]元素x[x[,1]>0,1]#第1列大于0的元素sum(x[,1]>0)#第1列大于0的元素的个数sum(x[,1]<=0)#第1列不大于0的元素的个数x[,-c(1,3)]#没有第1、3列的x.diag(x)#x的对角线元素diag(1:5)#以1:5为对角线,其它元素为0的对角线矩阵diag(5)#5维单位矩阵x[-2,-c(1,3)]#没有第2行、第1、3列的xx[x[,1]>0&x[,3]<=1,1]#第1中大于0并且相应于第3列中小于或等于1的元x[x[,2]>0|x[,1]<.51,1]#第1中小于.51或者相应于第2列中大于0的元素("或")x[!x[,2]<.51,1]#第一列中相应于第2列中不小于.51的元素(“非”)apply(x,1,mean);apply(x,2,sum)#分别对行(第一维)和列(第二维)做均值和求和运算x=matrix(rnorm(24),4,6)x[lower.tri(x)]=0;x#得到上三角阵,#为得到下三角阵,用x[upper.tri(x)]=0)矩阵与向量之间的运算缺失值,数据的合并airquality#有缺失值(NA)的R自带数据complete.cases(airquality)#没有缺失值的那些行中那些是缺失的which(complete.cases(airquality)==F)#没有缺失值的行号sum(complete.cases(airquality))#完整观测值的个数na.omit(airquality)#删去缺失值的数据#附加,横或竖合并数据:append,cbind,rbindx=1:10;x[12]=3(x1=append(x,77,after=5))cbind(1:5,rnorm(5))rbind(1:5,rnorm(5))cbind(1:3,4:6);rbind(1:3,4:6)#去掉矩阵重复的行(x=rbind(1:5,runif(5),runif(5),1:5,7:11))x[!duplicated(x),]unique(x)list#list可以是任何对象(包括list本身)的集合z=list(1:3,Tom=c(1:2,a=list("R",letters[1:5]),w="hi!"))z[[1]];z[[2]]z$Tz$T$a2z$T[[3]]z$T$w如何写函数#下面这个函数是按照定义(编程简单,但效率不高,计算量大)求n以内的素数,缺省值n=100ss=function(n=100){z=2;for(iin2:n)if(any(i%%2:(i-1)==0)==F)z=c(z,i);return(z)}#fix(ss)#用来修改任何函数或编写一个新函数ss()#计算10