第11章-统计分析

2020/5/26,数据仓库与数据挖掘,1,第11章统计分析,2020/5/26,数据仓库与数据挖掘,2,11.1线性回归模型,11.1.1线性回归模型的参数估计11.1.2线性回归方程的判定系数11.1.3线性回归方程的检验11.1.4统计软件中的线性回归分析11.1.5SQLSever2005中的线性回归应用,2020/5/26,数据仓库与数据挖掘,3,11.1.1线性回归模型的参数估计,多元线性回归模型线性回归分析就是根据因变量Y和自变量X对模型中的回归系数j(j=0,1,2,k)进行参数估计，进而利用线性回归模型进行预测和分析,2020/5/26,数据仓库与数据挖掘,4,11.1.1线性回归模型的参数估计,回归系数的估计值为(j=0,1,2,k)可以通过下述方式计算其中,2020/5/26,数据仓库与数据挖掘,5,11.1.2线性回归方程的判定系数,因变量的真实值与估计值之间的接近程度通常用判定系数来进行度量。判定系数的定义式为其中yi是因变量的真实值，是yi的估计值，的取值为,2020/5/26,数据仓库与数据挖掘,6,11.1.3线性回归方程的检验,在实际应用中，只能利用总体中的一部分进行统计分析。根据部分数据样本进行统计分析得到的计算结果能否代表总体的真实情况？这需要通过假设检验的方法加以判断。假设检验通常采用t检验和F检验。,2020/5/26,数据仓库与数据挖掘,7,11.1.4统计软件中的线性回归分析,请参考书本P214P215。,2020/5/26,数据仓库与数据挖掘,8,11.1.5SQLSever2005中的线性回归应用,创建AnalysisServices项目创建数据源创建数据源视图创建线性回归挖掘结构设置线性回归挖掘结构的相关参数建立线性回归挖掘模型查看挖掘结果,2020/5/26,数据仓库与数据挖掘,9,11.2Logistic回归模型,11.2.1Logistic回归模型的参数估计11.2.2统计软件中的Logistic回归的结果分析11.2.3SQLSever2005中的Logistic回归应用,2020/5/26,数据仓库与数据挖掘,10,11.2.1Logistic回归模型的参数估计,Logistic回归模型P为因变量Y取值为1的概率，P/(1-P)称为发生比P的估计值可以通过如下的公式计算得出,2020/5/26,数据仓库与数据挖掘,11,11.2.2统计软件中的Logistic回归的结果分析,请参考书本P221P222。,2020/5/26,数据仓库与数据挖掘,12,11.2.3SQLSever2005中的Logistic回归应用,创建AnalysisServices项目创建数据源创建数据源视图创建逻辑回归挖掘结构设置逻辑回归挖掘结构的相关参数建立逻辑回归挖掘模型查看挖掘结果,2020/5/26,数据仓库与数据挖掘,13,11.3时间序列模型,11.3.1ARIMA模型11.3.2建立ARIMA模型的步骤11.3.3使用统计软件估计ARIMA模型11.3.4SQLSever2005中的时间序列分析,2020/5/26,数据仓库与数据挖掘,14,11.3.1ARIMA模型,差分自回归移动平均模型产生于20世纪60年代末根据不同设定可以简化成以下几种模型：AR模型MA模型ARMA模型,2020/5/26,数据仓库与数据挖掘,15,11.3.1ARIMA模型,AR模型（自回归模型）MA模型（移动平均模型）ARMA模型,2020/5/26,数据仓库与数据挖掘,16,11.3.1ARIMA模型,根据Box、Jenkins的建模思想，只有时间序列满足平稳性和可逆性的要求时上述模型才有意义。对于不平稳的时间序列，必须先转化为平稳的时间序列以后才能建立ARMA模型。差分是最常用的时间序列平稳化手段。就是用时间序列的当前值减去前面一个观测值。,2020/5/26,数据仓库与数据挖掘,17,11.3.1ARIMA模型,ARIMA模型其中：d：差分次数B：后移算子,2020/5/26,数据仓库与数据挖掘,18,11.3.2建立ARIMA模型的步骤,根据时间序列的图形或者其他方法对序列的平稳性进行判断对非平稳序列进行平稳化处理，一般使用差分的方法对于差分后的平稳序列，根据时间序列模型的识别规则建立相应的模型对模型中的参数进行估计对模型中参数的显著性、拟合效果等进行检验和分析通过检验的模型就可以用来进行预测了,2020/5/26,数据仓库与数据挖掘,19,11.3.3使用统计软件估计ARIMA模型,请参考书本P230P231。,2020/5/26,数据仓库与数据挖掘,20,