多元统计分析方法概述_第1页
多元统计分析方法概述_第2页
多元统计分析方法概述_第3页
多元统计分析方法概述_第4页
多元统计分析方法概述_第5页
已阅读5页,还剩17页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

多元统计分析方法概述

目录

引言...............................................第四页

多元线性回归方法原理简介...........................第四页

多元线性回归案例叙述分析...........................第四页

多元线性回归分析方法在社会的应用...................第八页

聚类分析方法原理简介...............................第八页

聚类分析案例叙述分析...............................第八页

聚类分析方法在社会的应用...........................第十页

主成份分析方法原理简介.............................第十页

主成份分析案例叙述分析...........................第十一页

主成份分析方法在社会的应用.......................第十四页

因子分析方法原理简述.............................第十四页

因子分析案例叙述分析.............................第十四页

因子分析方法在社会的应用.........................第十七页

偏最小二乘回归分析方法原理简介...................第十八页

偏最小二乘回归分析案例叙述分析...................第十九页

偏最小二乘回归分析方法在社会的应用.............第二十一页

总结...........................................第二十一页

参考文献.......................................第二十二页

谢辞...........................................第二十三页

摘要

本文主要概述了多元统计分析的各个方法,然后在后面介绍了多

元统计分析方法在社会生活等方面的实际案例以及分析。并由案例分

析找出各个统计分析方法的对应使用领域。

关键词

多元统计分方法回归分析聚类分析因子分析主成份分

析偏最小二乘回归分析因素股市模型财务

Summary

TheChemometricsincludeschemicalexperimentaldesignand

optimization(suchasorthogonaldesign,simplexmethodand

varianceanalysis),chemicalpatternrecognition(suchasclusters,

PCA,k-nearestneighbouranalysis,SIMCAandANN),

multi-variancecalibration(suchasMLR,CLS,PCRandPLS)and

spectrumanalysis(SuchasITTFA,EFAandFSWEFA),signal

processing(suchasfiltering,smoothing,derivationand

convolution).

keyword

multivariatestatisticalanalysismethodregressionanalysis

clusteranalysisfactoranalysisprincipalcomponentanalysis

linearleastsquaresestimatecomplicationequitymarketmodel

finance

一、引言

多元统计分析的基本方法。多元统计分析是数理统计学30多年来迅速发展

起来的一个分支随着计算机的普及,各种统计软件不断推出,多元统计分析方法

已广泛应用到教育管理的各个领域。多元统计分析是运用数理统计的方法来研究

多变量问题的理论和方法,它是一元统计学的推广在许多教育问题中,教育现象

涉及到的变量不是一个,而是多个变量,且这些变量间又存在一定的联系,需要

处理多个变量的观测数据,如果用一元统计方法就要对多方面分别进行分析,而

一次分析一个方面,同时忽视了各方面之间存在的相关性,这样会丢失很多信息,

分析的结果不能客观全面地反映情况。

多元统计分析方法主要包括线性回归分析方法、判别分析方法、聚类分析方

法、主成份分析方法、因子分析方法、对应分析方法、典型相关分析方法以及片

最小二乘回归分析方法等。在这里我们主要针对了最常用的回归分析方法、聚类

分析方法、主成份分析方法、因子分析方法以及偏最小二乘回归分析方法结合实

际案例进行分析总结。最终总结出各个方法所使用的领域。

二、多元线性回归分析方法

(-)多元线性回归分析方法原理简介

根据相关性的大小把变量分组,使得同组内的变量之间的相关性较高,但不

同组的变量相关性较低各个因子间互不相关,所有变量都可以表示成公因子的线

性组合。因子分析的目的就是减少变量的数目,用少数因子代替所有变量去分析

整个问题。

(二)多元线性回归案例叙述分析

公路客货运输量多元线性回归预测方法探讨

1.背景

公路客、货运输量的定量预测,近几年来在我国公路运输领域大面积广泛地

开展起来,并有效的促进了公路运输经营决策的科学化和现代化。

关于公路客、货运输量的定量预测方法很多,本文主要介绍多元线性回归方

法在公路客货运输量预测中的具体操作。根据笔者先后参加的部、省、市的科研

课题的实践,证明了多元线性回归方法是对公路客、货运输量预测的一种置信度

较高的有效方法。

2.多元线性回归预测

线性回归分析法是以相关性原理为基础的.相关性原理是预测学中的基本原

理之一。由于公路客、货运输量受社会经济有关因素的综合影响。所以,多元线

性回归预测首先是建立公路客、货运输量与其有关影响因素之间线性关系的数学

模型。然后通过对各影响因素未来值的预测推算出公路客货运输量的预测值。

3.公路客、货运输量多元线性回归预测方法的实施步骤:

影响因素的确定

影响公路客货运输量的因素很多,主要包括以下一些因素:

(1)客运量影响因素

人口增长量裤保有量、国民生产总值、国民收入工农业总产值,基本建设投

资额城乡居民储蓄额铁路和水运客运量等。

⑵货运量影响因素

人口货车保有量(包括拖拉机),国民生产总值,国民收入、工农业总产值,

基本建设投资额,主要工农业产品产量,社会商品购买力,社会商品零售总额.铁

路和水运货运量等。

上述影响因素仅是对一般而言,在针对具体研究对象时会有所增减。因此,

在建立模型时只须列入重要的影响因素,对于非重要因素可不列入模型中。若疏

漏了某些重要的影响因素,则会造成预测结果的失真。另外,影响因素太少会造

成模型的敏感性太强.反之,若将非重要影响因素列入模型,则会增加计算工作

量,使模型的建立复杂化并增大随机误差。

影响因素的选择是建立预测模型首要的关键环节,可采取定性和定量相结合

的方法进行.影响因素的确定可以通过专家调查法,其目的是为了充分发挥专家

的聪明才智和经验。

具体做法就是通过对长期从事该地区公路运输企业和运输管理部门的领导

干部、专家、工作人员和行家进行调查。可通过组织召开座谈会.也可以通过采

访,填写调查表等方法进行,从中选出主要影响因素为了避免影响因素确定的随

意性,提高回归模型的精度和减少预测工作量,可通过查阅有关统计资料后,再

对各影响因素进行相关度(或关联度)和共线性分析,从而再次筛选出最主要的影

响因素.所谓相关度分析就是将各影响因素的时间序列与公路客货运量的时间序

列做相关分杯事先确定一个相关系数,对相关系数小于的影响因素进行淘汰.关

联度是灰色系统理论中反映事物发展变化过程中各因素之间的关联程度,可通过

建空公路客、货运量与各影响影响因素之间关联系数矩阵,按一定的标准系数舍

去关联度小的影响因素.所谓共线性是指某些影响因素之间存在着线性关系或接

近于线性关系.由于公路运输经济自身的特点,影响公路客,货运输量的诸多因

素之间总是存在着一定的相关性,持别是与国民经济有关的一些价值型指标。

4.建立经验线性回归方程利用最小二乘法原理寻求使误差平方和达到撮小

的经验线性回归方程:J/=斯+。1处+。2々2+•••+

y——预测的客、货运量

g——各主要影响因数

5.数据整理

对收集祸历年客、货运输量和各主要影响因素的统计资料进行审核和加工整

理是为了保证预测工作的质量。

资料整理主要包括下列内容:

(1)资料的补缺和推算。

(2)对不可靠资料加以核实调整.对查明原因的异常值加以修正。

(3)对时间序列中不可比的资料加以调整和规范化;对按当年价格计算的价

值指标应折算成按统。

6.多元线性回归模型的参数估计

在经验线性回归模型中,Q(),Q1,Q2,・・・,4是要估计的参数,可通过数理

统计理论建立模型来确定。在实际预测中,可利用多元线性回归复相关分析的计

算机程序来实现对模型参数的估计值进行检验。

此项工作的目的在于判定估计值是否满意、可靠。一般检验工作须从以下儿

方面来进行。

(1)经济意义检验

(2)统计检验

(3)拟合度检验

(4)回归方程的显著性检验

(5)参数估计值的标准差检验

应当强调指出.统计检验相对于经济意义检验来说是第二位的。如果经济意

义检验不合理,那么即使统计检验可以达到很高的置信度,也应当抛弃这种估计

结果,因为用这样的结果来进行经济预测是没有意义的。

7.最优回归方程的确定

经过上述的经济意义和统计检验后,挑选出的线性回归方程往往是好几个、

为了从中优选出用于进行实际预测的方程,我们可以采用定性和定量相结合的办

法。

从数理统计的原理来讲,应挑选方程的剩余均方和S-E较小为好.但作为

经济预'删还必须尽量考虑到方程中的影响因素更切合实际和其未来值更易把握

的原则来综合考虑。当然、有时也可以从中挑选巴好几个较优的回归方程.通过

预测后,分别作为不同的高、中、低方案以供决策人员选择。

8.模型的实际预测检验

在获得模型参数估计值后,又经过了上述一系列检验而选出的最优(或较优)

回归方程,还必须对模型的预测能力加以检验。入难理解、最优回归方程对于样

本期间来说是正确的,但是对用于实际预测是否合适呢?为此,还必须研究参数

估计值的稳定性及相定于样本容量变化时的灵敏度,也必须研究确定估计出来的

模型是否可以用于样本观察值以外的范国,其具休做法是:

(1)采用把增大样本容量以后模型估计的结果与原来的估计结果进行比较,

并检验其差异的显著性。

(2)把估计出来的模型用于样本以外某一时间的实际预测,并将这个预测值

与实际的观察值作一比较,然后检验其差异的显著性。

9.模型的应用

公路客、货运输量多元线性回归预测模型的研究目的主要有以下几个方面。

(1)进行结构分析,研究影响该地区的公路客、货运输量的主耍因素和各影

响因素影响程度的大小,进一步探讨该地区公路运输经济理论。

(2)预测该地区今后年份的公路客、货运输量的变化,以便为公路运输市场、

公路运输政策及公路运辅建设项目投资作出正确决策提供理论依据。另外,还可

以通过公路客.货运输量与公路交通量作相关分析来对公路的饱和度发展趋势进

行预测。从而为公路的新建、扩建项目的投资提供决策分析。

(3)模拟各种经济政策下的经济效果,以便友有关政策进行评价。

四、经调查分析,影响某地区旅客运输量的因素为。

X\---国民收入

X七一一工农业总产值

葛一一社会总产值

Xi----人口

后一一客车保有量

靛一一城乡居民储蓄存款

经计算得下列相关系数表:

X?X、为不及

Y0.94390.92870.90430.99140.96700.7021

Z0.97360.96140.93260.86450.93210.6678

Y——客运盈

Z一—旅客周转量

若令a=0.85,则可以舍去E这个影响因索,也就是认为“城乡居民储蓄

存款”不能作为响旅客运输量的主要因素。

2.经调查分析、影响某地区旅客运输量的因素为;

X\----国民收入

X?——工农业总产值

司----社会总产值

用----人口

照一一客车保有量

及一一国民生产总值

内——公路通车里程

经计算得客运量和旅客周转量的经验线性回归方程如下:

Y-a0+口西+a2互+a5X5I,2=0.9997

丫=")+a/i++Q:必R-2=0.9962

Z-Bo+B,1必+B5X5+BR-2=0.9983

Z=4+阻4+风方+即7If=0.9990

Y——客运盈

Z——旅客周转量

各自变量问的相关系数表如F:

卬Kl区3心七x6'•1

0.98360.96210.97100.93420.90360.9344

\

勺0.98360.95230.96070.94660.98250.9823

\

*30.96210.85230.89240.92050.97730.9114

A0.97100.96070.8924\0.93480.97660.8928

\

叼0.93420.94660.92050.93480.93170.9036

0.90360.9825097730.97660.98170.9715

X70.93440.98230.91140.89280.90360.9715

由上述计算可知,四个方程中均未出现月/)〃的情况.因此可以认为各自

方程中的影响因素之间不存在严重共线性问题。

3.经调查分析,影响某地区货运周转量的因素为:

M----国民收入

质——工农业总产值

为一一基建投资额

蜀一一原煤产量

扁一一钢铁、化肥、水泥、粮食总产量

商----国民总产值

为一—社会商品零售总额

见一一相邻地、市工农业总产值的平均值

=2+a[X\+员左+a7x7(1)

其中:川=0.9875F=206.33S・E=1673.24

亡尸-2.8321备=3.1407f7=2.7431

K=&+b2x2+上及(2)

其中:1二0.9764F=164.59S•E=1044.27

(三)多元线性回归分析方法在社会的应用

由上述案例分析可知多元线性回归分析方法在通过线性约束等条件将一个

事物进行多元的分析处理,最终能筛选出影响这个事物发展的因素。这样就能通

过多元线性回归分析将一个事物进行资源最优化配置,在交通、航运的等领域都

比较实用。

三、聚类分析方法

(-)聚类分析方法原理简介

聚类分析是研究事物分类的一种方法,是将一批样本或变量按照它们在性质

上的亲疏程度加以分类。实质是按照距离的远近将数据分为若干个类别,以使得

类别内数据的差异尽可能小,类别间的“差异”尽可能大。聚类分析中包括:层

次聚类法,费层次聚类法,智能聚类法等多种详细的方法。

(-)聚类分析案例叙述分析

1.问题的提出

随着我国市场经济建设的高速发展,人们的金融意识和投资意识日益增强,

而作为市场经济的组成部分一股票市场,正逐步走向成熟与规范,越来越多的投

资者把眼光投向了股票,历史已经证明股票是一种不仅在过去已提供了投资者可

观的长期利益,并且在将来也将提供良好机遇的投资媒体。然而,股价涨跌无常,

股市变幻莫测,投资者要想在股市投资中赢取丰厚的投资回报,成为一个成功的

投资者,就得认真研究上市公司的历史、业绩和发展前景,详细分析上市公司的

财务状况,树立以基本分析为主,技术分析为辅的投资理念,找出真正具有投资

价值的股票,进行长期投资。

股票投资的基本分析分为宏观分析、中观分析、微观分析三大部分,宏观分

析指对国家的国民经济以及政治、文化的分析,微观分析指公司分析,而中观分

析主要指行业分析和地区分析等,板块分析主要归属于中观分析,兼有微观分析。

中国股市从无到有,发展至今已颇具规模,前些年,在中国股市发展的初生阶段,

由于市场规模小,上市公司数量不多,加上股民的投资思维和操作方法不太成熟,

因此,投机性特强,这时用不上多少板块分析。但是,随着股市发展、投资手法

和证券监管方法的成熟,以及上市公司数量的不断增多,如果再和以往一样,面

对上千种股票胡乱抓一气,碰运气,甚至受各种股评和谣言所左右,则很难走向

理性化,进而难以最终取得投资成功。因此,在成熟股市中,一个股民若想成功,

必须学会板块分析,习惯理性操作,树立板块投资理念。

2.聚类分析在股市板块分析中的应用

系统聚类分析的基本思想是首先将每个样本当作•类,然后根据样本之间的

相似程度并类,并计算新类与其它类之间的距离,再选择相近者并类,每合并一

次减少一类,继续这一过程,直到所有样本都并成一类为止。在聚类过程中,我

们选用欧氏距离来度量类与类之间的相似程度,聚类方法采用类平均法。

我们以高科技板块中的31个上市公司为研究对象,分析中选取了这31个上

市公司1997年的每股收益、每股净资产、股东权益率、净资产收益率、净利润

率等五个反映上市公司综合盈利能力的指标,数据取自[4](略)。应用SAS软

件中的系统聚类过程CLUSTER对31个样本进行聚类,得到表1所示的聚类过程。

表1中NCL为聚类数;ClustersJoined为每次奏成一个新类的2个样品(标有

0B)或旧类(标有CL);FREQ为新类中所含有的样品数;SPRSQ为半偏R2,它表示

每一次合并对信息的损失程度,看这一列的数值可知:从4类合并成3类时信息

损失(为0.1042)最多,此统计量表明聚成4类较合适;CCC在NCL=4时达到唯一

的峰值-2.49,它支持分4类;PSF为伪F统计量,PSF出现峰值时所对应的分类

数较合适,从这一列的数值可知PSP在NCL=17>NCL=12>NCL=9和NCL=4时4次

达到峰值,但在NCL=4时峰更陡些;PST2为t2统计量,PST2出现峰值的前一行

所对应的分类数较合适,从这一列的数值可知NCL=3时出现峰值9.8,它也支持

分4类。综合这四个统计量可知:将31个样本分成4类较合适。根据表1,作

出图1所示的聚类谱系图。当我们取分类阀值为L0时,31个样本被分成了各

类包含的样本如下:

表1系统聚类过程

;HCLClustersJoinedPBEQSPRSQcccPSFPST2DIST

300B20B1920001819.00.2330

290B160B3020.002616.10.2792

280B90E2320.002815.70.2804

270B250B27200027•15.702839

i260B60B282000411430.3516

25CL300B2030005612.6310.3751

0B3CL2730005811.7220.3880

I230B10B2620006311204Mo

|22CL25CL285001169.53404492

!21OBIT0B3120.00709.50.4599

20CL240B540.0087•9.22.10.4654

190B100B152000759404744

160B40B82000829.504952

*

170B110B212000829.70496S

16CL26CL294001334.004998

15CI-200B750Olli9.51.90.5228

14CL23CL1840.01439.5200.5660

130B14CL2130.01299.71.80.5857

120B130B2420.01419.906512

1I

11CL22CL1690.04278.57.20.6546

100B12CL1340.01858.81.90.6848

CL190B2230.02249.13.007485

CL11CL15140.08687.09.20.7943

70B180B2920.0213•7.8•0.7989

6CL14CL1760.0492-3.127.85.30.8501

5CL8CL12160.0573-2.858.03.80.9007

4CL9CL1070.0703-2.49845.10.9533

.3CL6CL5220.1745-3.556.29.81.0341

2CL3CL429I0.1656-3.494.8671.0618

i

1_________CL2CL7310.1428-0.004.81.3179

第一类:第18(天津磁卡),第29(燕化高新);

第二类:0B22(深科技),0B15(实达电脑),0B10(清华同方),0B12(东大阿

派),0B14(长城电脑),0B31(风华高科),0B17(东方通信);

第三类:0B1(华光科技),0B26(佛山照明),0B4(国脉通信),0B8(工大高新),

OB11(振华科技),0B21(彩虹股份);

第四类:0B2(冰箱压缩),0B19(同济科技),0B20(华东电脑),0B9(长安信

息),0B23(中科健),0316(湘计算机),0B30(倍特高新),0B6(南华西中0B28(深

圳华强),0B7(厦门信达),0B25(华意压缩),OB27(粤TCL),0B3(复华实业),

0B5(南洋实业),0B13]中国高新),0B24(深华源)。

第一、二类公司在经营规模、经营实力、技术水平等方面具有一定优势,竟

争能力强,经营业绩优良,综合财务状况良好,属高科技板块的绩优龙头股,颇

具发展潜力和长期投资价值,是高科技板块中投资者的首选投资对象。其中第一

类的天津磁卡、燕化高新1997年净利润率分别为45.86%和44.32%,净利润增长

率分别是93.6%和96.95%,其获利能力远远大于其它公司。第四类公司业绩一般,

投资者应谨慎介入,可多加观望。

(二)聚类分析方法在社会的应用

由上述案例可以看出聚类分析能综合多项财务指标来反映上市公司的盈利

能力和水平,所得聚类结果与公司的实际财务状况和经营状况相吻合。我们还可

以对所选出的各个板块的龙头潜力股冉进行聚类分析,找出最具实力的板块龙头

股。因此聚类分析方法适用于分析社会上的一些公司的盈利能力和水平,在经济

类比较突出。

四、主成份分析方法

(-)主成份分析方法原理简介

主成分分析是将多指标化为少数几个综合指标的一种统计方法主成分分析

是从原始变量中导出少数几个主分量,使他们尽可能多地保留原始变量的信息,

且彼此互不相关主成分分析的应用目的是数据的压缩、数据的解释,它常被用来

寻找判断某种事物或现象的综合指标,并且给综合指标所包含的信息以适当的解

释,从而更加深刻地揭示事物的内在规律。

(-)主成份分析案例叙述分析

1.中学生身体四项指标的主成分分析

在某中学随机抽取某年级30名学生,测量起身高(XI),体重(X2),胸围

(X3)和坐高(X4),数据如下表。试对这30名中学生身体四项指标数据做主成

分分析。

114841727816152357379

213934717617149478279

316049778618145357077

414936€77919160477487

515945808620156447885

614231€67621151427382

715343768322147387378

815043777923157396880

915142778024147306575

1013931€87425157488088

1114029647426151367480

1216147788427144366876

1315849788328141306776

1414033677729139326873

1513731667330148387078

2.对数据的相关阵作主成分分析,有

>pr.stud<-princomp(student,cor=TRUE)

>summary(pr.stud,loadings二TRUE)

Importanceofconponents:

Comp.1Conp.2Comp.3Comp.4

Standarddeviation1.88178050.559806360.281795940.25711844

ProportionofVariance0.88527450.078345790.019852240.01652747

CumulativeProportion0.88527450.963620290.983472531.00000000

Loadings:

Comp.1Comp.2Comp.3Comp.4

XI-0.4970.543-0.4500.506

X2-0.515-0.210-0.462-0.691

X3-0.481-0.7250.1750.461

X4-0.5070.3680.744-0.232

其中Standarddeviation为主成分的标准差,即方差的开方,也就是相应

的特征值的开方。ProportionofVariane表示方差的贡献率,而Cumulative

Proportion表示方差的累计贡献率。Loadings=FALSE或缺省就不列出loadings。

3.分析:从主成分分析结果可看出前两个主成分的累计贡献率高达96%,选择两

个主成分。

第一个主成分对应系数的符号都相同,其值在0.5左右,反映了中学生身材

的魁梧程度,身材高大的学生,他的四个部分的尺寸都比较大,因此第一主成分

的值就较小。而身材矮小的同学他的四部分都比较小,第一主成分的值较大,第

一主成分为大小因子。

第二主成分是高度和围度之差,比较大表明该学生细高,比较小为“矮胖”,

称第二因子为形体因子。

看一下各样本的主成份值

画第一个主成分的散点图,可看出10,11,15,29值较大,说明学生比较瘦

小,而3,5,25值较小,说明学生比较高大.

predict(pr.stud)->score

plot(1:30,scorc[,1])

plot(1:30,score[,2])

Comp.1

从这个图很容易看此那些学生属于高大魁梧型,比如25号学生,3、5号学

生,那些学生属于高瘦型比如23、19、4等等。

(三)主成份分析方法在社会的应用

根据主成分分析的定义及性质,我们已大体上能看出主成分分析的一些应

用。概括起来说,主成分分析主要有以下几方面的应用。

1.主成分分析能降低所研究的数据空间的维数。即用研究m维的Y空间代替p

维的X空间(mVp),而低维的Y空间代替高维的x空间所损失的信息很少。即:

使只有一个主成分Y1(即m=l)时,这个Y1仍是使用全部X变量(p个)得到的。

例如要计算Y1的均值也得使用全部x的均值。在所选的前5个主成分中,如果

某个Xi的系数全部近似于零的话,就可以把这个Xi删除,这也是一种删除多余

变量的方法。

2.有时可通过因子负荷aij的结构,弄清X变量间的某些关系。

3.多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图

形,多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是

不可能的。然而,经过主成分分析后,我们可以选取前两个主成分或其中某两个

主成分,根据主成分的得分,画出n个样品在二维平面上的分布况,由图形可直

观地看出各样品在主分量中的地位。

4.由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x

做回归分析。

5.用主成分分析筛选回归变量。回归变量的选择有着重的实际意义,为了使模型

本身易于做结构分析、控制和预报,好从原始变量所构成的子集合中选择最佳变

量,构成最佳变量集合。用主成分分析筛选变量,可以用较少的计算量来选择量,

获得选择最佳变量子集合的效果。

五、因子分析方法

(-)因子分析方法原理简述

因子分析在某种程度上可以被看成是主成分分析的推广和发展,它对问题的

研究更加深入,研究相关阵或协方差阵的内部依赖关系,它将多个变量综合为少

数几个因子,以再现原始变量与因子之间的相关关系,也是多元统计分析中降维

的一种方法。因子分析是通过研究多个变量间相关系数矩阵的内部依赖关系,找

出能综合所有变量的少数几个随机变量,这几个随机变量是不可测量的,通常称

为因子。然它们在性质上的亲疏程度加以分类.实质是按照距离的远近将数据分

为若干个类别,以使得类别内数据的差异尽可能小,类别间的“差异”尽可能大。

(-)因子分析案例叙述分析

众所周知,建立套利定价模型的关键在于因素的筛选,计算量很大。而因子

分析能将为数众多的原始指标变量经过分析综合为少数几个公共因子变量,从而

大大减少计算的复杂度。本文利用因子分析的方法对11个因素进行筛选,确定

四个能够很好地反映所有因素包含的信息但又互不相关的公共因子变量,并建立

套利定价模型,实证检验说明,通过该方法进行因素筛选建立的套利定价模型具

有较好的定价效果。

1.问题的提出

1976年,StephenRoss提出了著名的资产定价模型——套利定价理论(Arbitrage

PricingTheory,APT)。该理论假设任何风险证券的收益率受K个因素的影响,

由一个K—因素线性模型给出:ri=ai+kk=lb汰fk+£i,i=l,2,

n(l)其中:E(ei)=E(fk)=E(cicj)=E(Eifk)=0;E(£2i)

=s2i<S2;ri为第i种风险证券的收益率;ai表示所有影响风险证券

收益率的因素都为零时风险证券i的平均收益率;fk表示第k个因素的值;b汰

表示风险证券i对第k个因素的敏感性;si为随机扰动项。当不存在渐进套

利机会时,由K—因素线性模型可以得到如下的近似定价模型——套利定价模型

(APT):E(ri)=a记入0+Kk=lbikXk(2)其中,Xk称为风险

证券i对第k个因素的风险溢价。如果将误差记为

vi=ai-XO-Kk=lbikXk,则当不存在渐进套利机会时,有

limn—*ooInni=lv2i=0.建立套利定价模型的关键在于因素的筛选。然而,

一种风险证券的收益率受多方面因素的影响,同时我们也不知道究竟需要多少个

因素来构造APT.假设有n个因素对证券的收益率有影响,则可能nm=lCmn

种因素的组合。要从如此众多的因素组合中筛选出最优的因素组合,其计算量可

想而知。一般来说,因子的辨识和确定有两种基本的方法:统计方法和推理方法。

统计方法涉及从一个全面的资产收益集(通常远超过用来估计和检验的样本资产

收益)来确定因子,采用这些收益的样本数据来构造表示因子的资产组合,如

Connor和Korajczyk(1988)、Lehmann和Modest(1988),前者使用因子分析方

法,后者利用主元分析方法。推理方法是基于捕捉经济的系统风险原则来辨识因

子的,例如Fama和French(1988,1996)使用公司特征来构建因子资产组合。

在这类研究中,在将股票分组后,对每一组股票首先采用因子分析方法来估

计影响股票收益率的因子数目,并估计每只股票的因子载荷;然后,利用股票收

益率数据和己估计出的因子载荷做横截面回归,估计因子的风险溢价,进而检验

多因子模型的适用性。此外,由于APT认为股票收益率的风险可以分为可分散

风险和不可分散风险,其中可分散风险部分的均值为零,在大样本中可忽略不计,

而不可分散风险部分由K个共同因子决定,并通过K个因子系数反映股票收益

率与每个非零风险溢价之间的关系。但是,现实中可能某一变量本身与不可分散

风险不相关(即不应当作为因子出现),但在APT模型中却被不恰当定价,成

为一个共同因子。虽然由实际数据生成的因子模型通过了显著性检验,但却无法

肯定这些因子就是不可分散风险的溢价,也无法排除可分散风险成为共同因子的

可能。鉴于此,我们有必要对APT进行“自方差”检验这里用“自方差”只是一种

强调性说法,其实质就是该项资产收益率的方差从长期来看,证券收益率的

自方差与收益率均值之间总是保持很高的相关性,而自方差又是每一种证券所特

有的,属于可分散风险。如果APT有效,那么单个证券的自方差就不应当对期

望收益率起作用,因为APT认为只有不可分散的风险才对定价起作用,才可以

成为定价因子。“自方差”检验就是要证明单个股票收益率的自方差是否为共同因

子,可否用于定价,要接受还是否定APT.鉴于此,他们也利用“自方差”检验来

对多因子模型做了补充研究。到目前为止,我国在套利定价理论因素确定方面

的研究并不多,主要是利用多元线性回归构造套利定价模型,这一方法的计竟量

大,其包含的因素要么过多要么不全面,而且因素之间的关联程度较高。而因

子分析是一种常用的统计降维技术,能够利用原始指标变量中某些指标之间的相

关性对多变量的面板数据进行最佳综合和简化,将为数众多的指标综合为少数几

个公共因子,以较少的几个公共因子变量反映原始指标变量的大部分信息,从而

大大降低了分析问题的难度。

2.用因子分析法确定APT中的因素组合

在已有的研究中,一般认为APT中至少包含有三类不同的因素:反映总体

经济活动的指标、通货膨胀率以及某些类型的利率因素。鉴于此,本文将国民生

产总值、工业生产总值、第二产业生产总值、第三产业生产总值、全国居民消费

水平、通货膨胀率、全社会固定资产投资增长速度、社会消费品零售总额、货币

供应总量、年净出口贸易总额、利率期限结构等11个因素作为原始指标变量,

利用我国1980年到200=3年《统计年鉴》中的数据进行因子分析。

(1)对原始指标变量进行相关性分析

因子分析从众多的原始指标变量中构造出少数几个具有代表意义的公共因

子变量,它要求原始指标变量之间要具有比较强的相关性,否则就无法从中综合

出能反映某些变量共同特性的少数公共因子变量来,原始指标变量就不适于进行

因子分析。因此,在因子分析之前需要对原始指标变量进行相关性分析。本文

采用的是KMO(Kaiser-Meyer-Olkin)检验和Bartlett球度检验。统计量KM0的

值为0.771,大于0.6,根据统计学家Kaiser给出的标准,原始指标变量适合做因

子分析;Bartlett球度检验给出的自由度为55的卡方近似值为780.924,相伴概

率为0.000,小于显著水平0.05,适合进行因子分析。由KM0检验和Bartie口球

度检验结果可知,原始指标变量适合做因子分析。与此同时,本文还对11个

原始指标变量进行了反映像相关矩阵检验,在反映像相关矩阵中,所有偏相关系

数的绝对值均小于0.05,说明所有的原始指标变量都适于进行因子分析。

(2)构造公共因子变量

构造公共因子变量是因子分析的一个核心问题。因子分析中确定公共因子变

量的方法很多,本文采取的是主元分析法。

①确定保留公共因子变量的数目

根据公共因子变量与其特征值的散点图(图1)可以看出,前面4个公共因

子变量的特征值变化非常明显,从8.744到0.126,而从第5个公共因子变量开

始,特征值的变化趋于平稳。这说明提取前4个公共因子变量对原始指标变量的

信息描述有显著作用。为了能够得到更精确的APT,本文确定保留4个公共因

子变量0

.②因子分析效果

因子分析的最终解解释了每个原始指标变量99.5%以上的方差,每个原始指

标变量的共同度几乎都在98%以上,与1非常接近,也就是说,原始指标变量

所携带的信息不能被公共因子变量解释的部分不到2%。这说明提取出的公共因

子变量基本上已经反映了原始指标变量所有的信息,只有极少数信息丢失。可见,

因子分析的效果非常好。

.③因子提取和因子旋转的结果(表略)

根据公共因子变量与其特征值的散点图的判断,木文提取了四个公共因子变

量对原始指标变量总体进行描述。这4个公共因子变量的方差贡献(特征值)分

别为8.744、1.348、0.729和0.126.由11个公共因子变量构成的初始解中,前四

个公共因子变量解释了原始指标变量总方差的99.522%,尤其是第一个公共因子

变量,解释了11个原始指标变量总方差的79.490%。在进行因子旋转以后,

这四个公共因子变量的特征值分别为8.444、1.231、1.102和。171,分别可以解

释原始指标变量的76.192%、11.194%、10.014%和1.552%,共解释了11个原

始指标变量总方差的99.522%。可见,提取的四个公共因子变量反映了原始指

标变量的儿乎所有信息,能够代替11个原始指标变量构造多因素线性模型。

由上面的分析可知,第一个公共因子变量主要反映一个国家总体经济水

平,第二个公共因子变量主要反映通货膨胀率,第三个公共因子变量反映了全社

会固定资产投资增长速度,第四个公共因子变量反映了利率期限结构。由此可以

看出,风险证券的预期收益率主要与国家的总体经济水平有关,同时还与国内的

通货膨胀率、全社会固定资产投资增长速度、利塞期限结构这三个因素有关。

统计分析表明,这四个公共因子变量都是均值为0,方差为I的随机变量,同时

两两之间完全不相关。因此很适合作为APT的因素。

3.APT的实证检验

经由以上分析,确定了国家总体经济水平,通货膨胀率,全社会固定资产投

资增长速度和利率期限结构四个公共因子变量,并通过公共因子得分由11个原

始指标变量1980-2003年的年数据计算出了这四个公共因子变量相应的值。为了

构造套利定价模型,本文首先根据式(1),选取了广电电子、爱使股份、华源

制药、方正科技等十只股票1995年到2005年的年收益率分别作为被解释变量,

以四个公共因子变量相应的1995年到2005年的数据为解释变量进行了多元线性

回归,得到每只股票的ai、bil、bi2、bi3和bi4;然后根据式(2),

以ai为被解释变量,bik(k=l,2,3,4)为解释变量再次进行多元线性回

归,得到套利定价模型:

ai=O.189-1.05IX1+0.02067入2-0.0233入32.238入4(3)在式(3)中,

我们注意到:一方面,风险证券i只是对通货膨胀率的敏感性为正数,即风险证

券i对通货膨胀率的风险溢价越大,该证券的期望收益率也就越大;另一方面,

风险证券i对国家总体经济水平、全社会固定资产投资增长速度和利率期限结构

的敏感性均为负数,即风险证券i对通货膨胀率等的风险溢价越大,该证券的期

望收益率也就越小。为了检验本文得到的套利定价模型的效果,本文另外选取

ST兴业、豫园商城、金杯汽车、深达声、ST亿安等10只股票,利用式(3)对

其进行定价,以模型预测值和实际平均收益率的差异作为评价模型的标准。由于

APT只是一个近似的定价模型,应用于个别股票可能存在较大误差,所以常用

来对投资组合进行定价。因此本文构造以上十只股票的简单等权组合,用

y=lnni=I(ri预测-ri实际)2度量误差,计算结果为y=0.129.实证

检验表明,本文得到的套利定价模型(3)具有较好的定价效果,但仍存在12.9%

的定价误差。本文认为可能是由于如下原因造成的:我国对宏观经济指标的统

计起步较晚,很多宏观经济指标的数据不齐全,统计标准也不太一致,而且2000

年以前的宏观经济指标基本上只有年数据,由此造成可供利用的样本数据太少。

与此同时,由于宏观经济指标采用年数据,为了与之对应,股票的收益率也只能

采用年数据,但我国股票市场只有12年左右的历史,这进一步造成样本容量最

多只可能为12.在构建APT时,为了尽可能地扩大样本容量,本文只选取了有

10年左右历史的股票,造成股票数目较少,类别比较单一。因此在回归分析中

可能导致回归方程的显著性和拟合优度不高(本文在利用回归分析得到APT的

过程中,确实发现有一些回归方程的显著性和拟合优度不高),最终导致预测结

果存在较大误差。本文相信,如果有更好的样本数据,我们能够进一步减小APT

的定价误差。

(三)因子分析方法在社会的应用

通过引入因子分析法,对国民生产总值、全国居民消费水平、全社会固定资

产投资总额、通货膨胀率、利率期限结构等11个因素进行了综合和简化,提取

了4个具有明确经济意义的公共因子,分别反映了国家总体经济水平、通货影胀

率、全社会固定资产投资增长速度和利率状况。有关的统计分析说明因子分析法

提取的这四个公共因子变量效果非常好。本文利用这四个公共因子变量构建了套

利定价模型,并对模型进行了实证检验。实证检验表明,本文通过因子分析法进

行因素筛选得到的套利定价模型具有较好的定价效果。因此因子分析方法在股市

等经济领域能很好的应用。

六、偏最小二乘回归分析方法

(-)偏最小二乘回归分析方法原理简介

偏最小二乘判别分析(Partialleastsquaresdis-criminationanalysis,

PLS—DA)是一种稳健的判别分析统计方法,特别适合于解释变量数多且存在着多

重共线性,样本观测数少,且干扰噪声大的情况,而这种情况在基因微阵列表达

谱数据是极为常见的。偏最小二乘判别分析首先将样本类别用哑变量作处理,采

用克罗内克儿符号(Kronecker6),即:

=1当第i个样本属于第,类时

心=0当第,个样本不属于第,类时

然后,运用偏最小二乘回归建立解释变量与反应变量(哑变量)之间的关系模

型。最后,通过比较模型的反应变量预测值大小,来确定各样本的类别,即若某

个哑变量分量的预测值最大,则判定该样本属于该哑变量所对应的类别。见图1。

首先,从基因学说角度来说,某类疾病较为特异的特征通常与部分基因的表

达水平的变化有关,而不是全部基因;其次,若笼统地用全部基因表达水平来进

行分类,则将会因解释变量空间的维度过高导致讦算时间和内存容量要求急剧增

类I类2…类M解释变量空间

nXmnXk

图1偏最小二乘判别分析基本原理

加,使得计算难以进行;最后,受到引入模型中的众多解释变量(基因)噪声干扰

累积效应的影响,也将会使得模型判别效果下降,影响分类的预测精度和拟合精

度。因此,在偏最小二乘判别分析中,一个较为常用的解释变量筛选统计指标是

Wold于1994提出的变量投影重要度(VariableImpor-tancefortheProjection,

VIP),它按照解释变量的影响强度来进行变量筛选,是衡量解释变量对反应变量

(类别)解释能力的统计量。变量投影重要度(VIP)定义式如下:

v%=J而Wf点RW川通

式中,whj是第h个主成分的权重向量的第歹个分量;Rd(Y;lh)是Y与第h个主成

分之间的决定系数;Rd(Y;tl,tm)是丫与第1至m个主成分的决定系数之和。

本文将采用统计软件SAS的PLS过程及编制相关宏完成急性白血病识别模型

的构建。

(-)偏最小二乘回归分析案例叙述分析

1999年Golub等人的研究表明,利用基因微阵列技术,构造基于基因表达谱

的肿瘤分型预测模型,可以为肿瘤的诊断提供一种更为客观和准确的方法。因而,

本文采用了Golub等收集的急性白血病基因表达谱数据集作为实验样本集,该数

据集共含72例样木,每个样木均含7129个基因的表达数据。通过常规临床诊断

和组织学检查,该数据集中有47例样本被诊断为急性淋巴性白血病(ALL),25例

样本被诊断为急性髓性细胞白血病(AMI)。

表IALL和AML基因表达微阵列数据

训缥集测试奥

序号基园基因编号

样本1样本2…样本38样本39样本70-样本72

1AEFX_BioB_5_8t(fndog(nouscontrol)AFFX-BioB-5.at-214-139…-72-342-87--131

2AFFX-BioB-M_al(endogenouscontrol)AFFX-BwB-M_al-153-73-139-200-248-126

3AFFX-BtoB-3_at(endogmouscontrol)AFFX-BioB-3.at-58一1•••-141262--50

■••••*

•••••••••*

7129GBDEF=mRNA(clone1A7)Z78285J_at-37-14•••0-70-21-2

*;完整蚊据及描述详见Golub梃住的数据集

由于样本量较小,变量较多,变量数远远多于样大量,为了获得较为可靠的白血

病分型错误率估计,更好地评价所建模型的拟合与预测效果,并同Golub等人的

研究进行对照比较,因此,本研究采用了如下四个步骤进行样本分类错误率的估

计。

1.样本划分:为了使本研究与Golub等人的研究具有可比性,仍然采用与

Golub等研究完全一致的样本划分,整个数据集划分为训练样本集与独立测试样

本集,其中训练样本集含急性淋巴性白血病(ALL)病例27例,急性髓性细胞白血

病(AML)ll例,测试样本集中含20例AILT4例AML

2.拟合精度评价:利用训练样本集建立白血病分型识别模型,采用Jackknife

法评价通过偏最小二乘判别分析(PLS—DA)所建立的识别模型在训练样本集上的

拟合效果,即每次保留一个不同的样本作为测试用,其余样本用作训练样本集,

考察识别模型分类正确与误判的情况;并且,分析运用VIP指标筛选基因前后所

建识别模型的实际拟合效果。

3.预测精度评价:在进行拟合精度评价的同时,采用与拟合精度评价相类似

的步骤,利用独立测试样本集考察通过偏最小二乘判别分析(PLS〜DA)所建立的

识别模型预测白血病分型正确与误判情况,以评价其实际预测精度。

4.方法对照比较:对通过PLS—DA所建模型和Golub等人所建模型的拟合精度

和预测精度予以对比分析,评价它们对白血病分型的实际效果。

在未作基因筛选的原始数据和经过基因筛选的相关数据集上,使用偏最小二乘判

别分析(PLS-DA)分析亥数据集,建立急性白血病识别模型,并分别进行上述步

骤,对其判别效果予以评价。其中,基因筛选采用VIP得分,提取前50个影响强

度最大的基因。

表2基于PLS-DA的白血病分型识别模型分型效果

训练集(JackKnife法)测试集

方法•

正确分类错误分类正确分类错误分类

未经嘛选362313

基因筛选380340

由表2可见,未经基因筛选的偏最小二乘判别分析在训练集的正确分类率约

为95%,而在测试集上的正确率则约为91%;经过基因筛选的偏最小二乘判别

分析无论在训练集上,还是测试集上,其正确率均为100%。由此可见,经过基

因筛选的偏最小二乘判别分析,无论拟合精度,还是预测精度均优于未经筛选的

偏最小二乘判别分析。

针对肿瘤的基因表达微阵列数据特点,Golub等首先采用了一种类似于t统计

量的信噪比形式作为基因对肿瘤的辨识性度量指标,用以分别检测每个基因在白

血病骨髓中表达水平的差异程度。Golub等利用该指标选取出50个对肿瘤辨识性

较大的基因,并在此过程中利用邻域分析(NeighborhoodAnalysis)方法对急性

白血病进行分类,从而构建出急性白血病的识别模型。

由于经过基因筛选的偏最小二乘判别分析的判别效果优于未经筛选的偏最

小二乘判别分析,因而,以下仍将根据VIP得分,提取前50个

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论