统计方法与应用.ppt

统计方法与应用,2,主要内容,一、统计的理解二、统计方法的理解三、向量自回归模型四、结构方程模型五、PanelData模型六、应用的思考,3,一、统计的理解,数据采集整理分析科学艺术数据规律有用的信息目标对象数据的类型定性定量数据的分布已知未知正态非正态数据不同，方法（模型）不同,4,1.异常（缺失）值处理,数据的预处理,数据表现异常值的判断观察数据的变化是否有异常数据出现原因分析规律分析是否有冲击或干扰瞬间持续,5,60000,80000,100000,120000,140000,98,99,00,01,02,03,Y,6,5.0E+08,1.0E+09,1.5E+09,2.0E+09,2.5E+09,3.0E+09,3.5E+09,99:01,99:07,00:01,00:07,01:01,01:07,02:01,02:07,Y,7,8,2.数据的转换,原因现象的量变与质变数据转换后将更有意义更便于解释方法重新分类编码虚拟变量（哑变量）引入连续变量离散化如年龄收入多项选择的转化,9,二、统计方法的理解,1.数据的基本描述特点基本规律表图特征值(示例)分组(类)检验2.变量之间关系截面线性回归模型被解释变量:连续离散解释变量:连续离散,10,11,12,虚拟变量当解释变量不是定量测量数据，或在不同的情况下，所产生的结果不同，就需要将解释变量区分开，可以采用设虚拟变量的方法。虚拟变量是取值仅取1或0的变量。一般，基础类型、肯定类型取值“1”，比较类型、否定类型取值“0”。,13,14,工具变量法引入工具变量的目的是改善由解释变量与误差项相关导致OLS估计的不一致性工具变量Z是与解释变量X高度相关，但与误差项不相关的一组变量，且这些变量间是线性独立的,15,16,线性回归模型广义线性模型因子分析潜变量结构方程模型3.变量随时间变化规律时序模型纵向数据模型,17,4.模型的应用分析实际现象之间变化关系现象之间关系有一定理论做依据,大体关系已知回归模型模型应用的条件多水平结构方程联立方程现象之间关系没有一定理论做依据,但有相互关系单变量时间序列模型ARMAARMAARIMA多变量时间序列模型VARSVARVECPanelData模型作用定量的角度分析探讨现象或之间的数量关系,18,VAR、SVAR与VEC模型多变量序列之间动态变化关系VAR(p)多平稳序列之间动态变化规律描述没有变量序列之间同期的相互关系SVAR(p)多平稳序列之间动态变化规律描述存在变量序列之间同期的相互关系VEC具有协整关系的多变量序列之间动态变化规律描述,三、向量自回归模型,19,(一)向量平稳性检验我国出口额（）、进口额（）和外汇储备（）,示例、进出口与外汇储备,20,21,一阶差分后序列图,22,23,（二）模型识别对模型阶数p作出选择1.阶数的初选阶数p的初选，通常可以借助序列间的互相关函数进行。阶数p要足够大，以完整反映变量之间的动态特征；p不宜过大，模型待估计参数增多，自由度减少，没有足够的样本数目时，可能导致参数不能得到正确有效的估计。和普通线性回归一样，一个待估计参数，一般来说，至少需要10个观测期的数据。,24,2.利用评价指标确认利用初选的阶数p可以构建VAR模型，参数估计后，可以利用几个评价指标帮助判断合适的阶数（1）LR检验（似然比检验）：附加约束是正确的服从自由度为M的分布（2）最终预测误差FPE（Finalpredictionerror）其中，是滞后p期时模型残差的方差估计，n是样本量，k是待估计参数的个数。,FPE（p）=,25,（3）AIC（Akaikeinofcriterion）准则其中：指VAR(p)模型残差的协方差阵的行列式；n是有效的观测数目；m是变量序列的数目；p是阶数（4）SC（Schwarzcriterion）准则（5）HQ（Hannan-Quinncriterion）准则其中：L是似然函数，k是待估计参数的个数，其它符号意义同上,AIC=log,+2m2p/n，p=1,k,SC=log,+（logn）,，p=1,k,+（logn）,HQ=,26,差分后序列滞后4阶检验结果,27,VAR（3）AR特征多项式系数,28,AR特征多项式根的倒数分布图,29,原序列VAR（3）AR特征多项式系数,30,原序列VAR（3）AR特征多项式根的倒数分布图,31,迹检验结果,(三)变量间协整关系检验选择序列有线性趋势，协整方程有截距的情况，并选p=3,32,最大特征值检验结果,33,(四)向量误差修正模型协整方程为,VEC模型为,34,35,四、结构方程模型（StructuralEquationModeling，SEM）,（一）问题的提出研究学生学习成绩与什么因素有关学习成绩学习能力教师要求自信同学关系,36,回归分析,假设自变量非随机（不存在测量误差）自变量之间不存在相关关系,学习成绩,学习能力,教师要求,自信,同学关系,因变量,自变量,37,因果关系分析直接因果效应间接因果效应,观测变量的变异：随机误差的变异、系统误差的变异、潜变量的变异因子分析,学习成绩,教师要求,自信,同学关系,学习能力,38,因子分析探索性因子分析已有数据探索其规律关系验证性因子分析已知可能有某种关系利用数据验证,39,结构方程模型（StructuralEquationModeling，简称SEM），亦称协方差结构模型（ConarianceStructureModels，简称CSM），也称线性结构模型（LinearStructuralRelationsModels），或称LISREL模型。SEM是一般线性模型的扩展，主要用于研究不可直接观测变量（潜变量）与可测变量之间关系和潜变量之间的关系。,（二）模型形式,40,协方差结构模型由两部分组成：测量模型结构模型潜变量（LatentVariable）无法直接测量的变量,亦称隐变量；可测变量（ManifestVariable）可以直接测量的变量,亦称显变量。外生、内生变量,41,测量模型（MeasurementModel）,亦称为验证性因素分析模型，主要表示观测变量和潜变量之间的关系。模型形式,42,其中，为q1阶外生观测变量向量，为p1阶内生观测变量向量；为n1阶外生潜变量向量，为m1阶内生潜变量向量；为qn矩阵，是外生观测变量在外生潜变量上的因子载荷矩阵；为pm阶矩阵，是内生观测变量在内生潜变量上的因子载荷矩阵；为q1阶测量误差向量，为p1阶测量误差向量，它们表示不能由潜变量解释的部分。,（1）,（2）,43,结构模型（StructuralModel）又称为潜变量因果关系模型，主要表示潜变量之间的关系。模型形式为,(3),其中，和分别是内生潜变量和外生潜变量向量；是内生潜变量的系数矩阵，亦是内生潜变量间的通径系数矩阵；是外生潜变量的系数矩阵，也是外生潜变量对相应内生潜变量的通径系数矩阵；为残差向量。,44,模型的假设,假定：与相互独立，与相互独立，与相互独立，、及为相互独立；在对角线上为0，且为非奇异阵。,45,（三）模型的设定,初始理论模型的设定根据理论或以往研究的成果，构建潜变量和观测变量以及潜变量和潜变量之间的关系，即设定初始模型。通常采用路径图的形式表示。一个潜变量通常会对应几个可测变量，至于究竟对应多少，根据研究的具体问题而定，但一般不宜少于两个。潜变量可以可以根据理论确定，也可以利用因子分析提取。注意因子分析的运用：因子之间关系,46,47,48,作业量,学习状态,玩耍状态,朋友数目,言语,推理,数学,英语,统计,提问次数,例1学生成绩的影响因素,49,50,测量模型,=,+,51,=,+,结构模型,=,+,+,52,（四）模型参数的估计,参数估计的思路和方法估计方法最小二乘偏最小二乘最大似然途径如何实现目标算法样本量：不同估计方法所需样本量不同为什么？,53,参数估计的思路当初始模型确定，模型（1）、（2）中变量的数目随之确定。模型中，变量和是不可观测的，因而无法直接估计。但是，如果模型定义正确，总体协方差矩阵与模型拟合协方差矩阵应该相等。其中，是总体协方差矩阵，是含有待估计参数的模型拟合协方差矩阵。待估计的参数：,=,54,总体协方差矩阵未知，需要用样本协方差矩阵估计.若S为样本观测变量之间方差和协方差的矩阵，即要有=S。于是，对协方差结构模型的参数估计就转化为求解一组参数，使得与S的差距达到最小。求解模型参数的过程，是不断的将一些参数代入模型，计算出方差和协方差，使得模型拟合协方差矩阵中的每一个元素都尽可能的接近S中相应元素的过程。与S的接近程度可以通过定义的拟合函数得到测定。,55,不同的估计方法定义的拟合函数不完全相同,极大似然估计法对应的拟合函数,其中，是模型拟合协方差矩阵，p是外生变量的数目，q是内生变量的数目，tr是求矩阵的迹,（4）,若与S越接近，则S越接近一个(p+q)(p+q)阶的单位阵，也就是越趋近于(p+q)，此时，第一项与第二项也越接近。因此，当等于S时，极大似然估计的拟合函数为零。,56,（四）模型的评价,模型与数据间的拟合程度评价,残差矩阵-S的各个元素越接近于0，表明模型越能很好地拟合数据，所建模型越有效,两类指标：绝对拟合指数（AbsoluteIndex）相对拟合指数（RelativeIndex）,57,（五）模型的修正,模型拟合效果变量的选择变量之间关系的确定模型的调整,58,公司形象,工作期望,工作感受,满意度,忠诚,抱怨,0.55321,0.66772,-0.03061,0.659226,0.15566,0.18339,0.15484,0.55376,0.65787,75.00,71.21,77.74,80.63,65.35,80.00,全国的客户满意度情况（03年）,59,全国的客户满意度情况（05年）,60,人文奥运工程实施效果,人文奥运，是一个非常抽象的概念.初始模型设定六个潜变量对人文奥运氛围产生直接影响，每个潜变量都有若干个可测指标测度。数据采集电话调查共得到有效样本336份参数估计模型修正,61,62,63,模型能够同时反映研究对象在时间和截面单元两个方向上的变化规律及不同时间、不同单元的特性。模型形式根据模型截距和斜率参数的不同可以有几种形式：斜率相同且截距相同,五、PanelData模型,64,斜率相同但截距不同,斜率和截距都不同,65,模型类型固定效应随机效应参数估计模型检验回归系数显著拟合优度检验D.W.检验,66,67,统计模型应用为目的模型用以解决实际问题宏观微观模型改善以应用为前提依据为什么要用如何用结果解释解决什么问题如何解决的效果如何上市公司财务与业绩不同收入居民的消费行为,六、应用的思考,68,研究内容示例,影响心理的因素,证券投资者心理,证券投资者行为,心理学范畴,行为金融学范畴,69,参考文献,侯杰泰、温忠麟、成子娟：结构方程模型及其应用，教育科学出版社，2004年7月黄芳铭：结构方程模式理论与应用，中国税务出版社，2005年4