MRAF-Ver.2C11 数据分析

1、1第第11章章 数据分析数据分析 2开篇案例：开篇案例：中国互联网络发展状况分析报告 从2005年6月中国互联网络发展状况统计调查所展现的数据可以看出，2005年上半年的中国互联网络在整体上保持增长态势的同时，网民特征结构、上网途径、上网行为等各方面也出现了一些较为明显的变化。 在网上查找CNNIC最近一次互联网络发展状况的完整分析报告，概括说明报告中所使用的主要分析方法以及图表工具。311 111 1 数据分析概述数据分析概述 数据分析的价值，根本上在于它最终能够以精炼的数字来综合和概括大量的事实，使人们得以正确地认识事物。最大量使用的数据分析方法是描述性分析。 描述性分析是将原始数据转换成

2、一种易于理解和解释的形式。它主要通过有关统计量(关于样本或总体的)来描述数据特征、找出数据的基本规律。 有关统计量(样本/总体)是用来描述数据特征的概括性数字度量，它是根据样本/总体数据计算出来的一些量，是样本/总体的函数。 描述性分析主要包括： 单变量数据的分析 双变量和多变量数据的分析 数据的深度分析4112 单变量数据的分析 描绘样本数据，就是以一种简明且有意义的方式对结果进行研究和解释。 单变量数据分析的方法： 对数据进行重新排列； 对数据进行分类或分组； 数据概括； 数据分布状态分析。5数据分类/分组与频数分布 市场调研的对象常常是一些随机现象，在大量观察条件下呈现出一种内在的数量规

3、律性，即它们发生的可能性(概率)是一定的。 频数分布频数分布是单一统计变量的各个类别或每个值出现的次数和频率的一种分布状态。频数分布始于数据的分类/分组，重点是变量的各类别或每个值出现次数的统计，最终通过适当的图表工具展示该变量的频数分布。 频数分布统计，关键是要区分变量及数据类型： 对类别和顺序变量的数据主要是作分类统计， 对等距与等比变量的数值型数据则主要是作分组统计。 6类别或顺序数据的频数分布CN域名类别域名个数百分比AC.CN8870.1%COM.CN22659536.5%EDU.CN23580.4%GOV.CN198023.2%NET.CN283254.6%ORG.CN121161

4、.9%行政区域.CN388596.3%.CN29359247.3%表11-1 按类别划分的CN域名频数分布表 类别或顺序变量的取值实际是指变量的类别或不同等级，而不是具体数值。所以，类别或顺序数据本质上属于计数型数据，主要作分类统计。 类别或顺序数据的频数分布展示一个变量各个类别的频率，即落在这一类别中的观测数。通常使用的图表展示工具包括： 频数分布表 累积频数表 条形图 柱状图 饼图 环形图 7类别或顺序数据的频数分布帮助程度学习工作生活百分比(%) 累积百分比(%) 百分比(%) 累积百分比(%) 百分比(%) 累积百分比(%)非常大比较大一般不太大几乎无47.81.

5、447.877.094.998.6100.039.935.739.975.696.199.2100.025.533.625.559.192.798.6100.0表11-2 用户认为当前互联网的帮助程度 当需要比较两个以上总体的结构或一个总体的结构变化当需要比较两个以上总体的结构或一个总体的结构变化时，可使用环形图展示。环形图中间有一个时，可使用环形图展示。环形图中间有一个“空洞空洞”，总体中的每一类别数据用环中的一段表示。总体中的每一类别数据用环中的一段表示。顺序数据还可通过累积频数来展示。累积频数顺序数据还可通过累积频数来展示。累积频数(频率频率)是是

6、指顺序变量各类别频数指顺序变量各类别频数(频率频率)的逐级累加。见表的逐级累加。见表11-2。使用使用EXCEL软件可以将累积频数以折线图方式展示出来，软件可以将累积频数以折线图方式展示出来，见图见图11-3。8数值型数据分组与频数分布数值型数据分组与频数分布连续型变量数据的等距分组的步骤连续型变量数据的等距分组的步骤： 确定组数：可以按确定组数：可以按 Sturges 提出提出的经验公式来确定组数的经验公式来确定组数K 确定组距：即确定组距：即 组距组距(最大值最小值最大值最小值)组数组数 统计出各组的频数并整理成频数统计出各组的频数并整理成频数分布表。分布表。 2 lgn lg1K 数值型

7、数据可以是离散数据，或者是连续数据。的频数分布是将每一个变量值作为一组，统计每组变量值出现的频数，列出频数分布表。的频数分布要求首先对变量值进行分组，然后统计出变量每一组值出现的次数或频度。变量值可以采用等距分组或不等距分组。 9频数趋势分析 在描述分析中，研究者不仅需要了解数据的分布结构规律，也了解数据结构的变化趋势，从而加深对市场现象的认识。 将当前的调查数据与历史数据结合起来建立频数分布表，并通过绘制多样本的柱状图以及雷达图等，可以做到在展示分类/分组数据的分布结构的同时，又能展示数据分布结构的发展变化趋势。 10数据集中趋势的概括 集中趋势集中趋势是指数据分布趋向集中于一个分布的中心。

8、集中趋势概括集中趋势概括是指用一个数值来代表变量值的分布情况，根据这个数值可以估计每一个研究个案该变量的值。 概括数据分布集中趋势的统计量包括 众数 中位数 平均数 不同类型的数据适用不同的集中趋势度量，低层次数据的集中趋势度量同样适用于高层次数据，但是，高层次的概括却不适用于低层次数据。11集中趋势的概括- -众数众数 众数众数(mode)是总体中各单位在某一标志上出现次数最多的变量值。例如，在一项SRS抽取500户农民的农业调查中，有280户填写了“小麦”，那么“小麦”就是众数。又例如，调查显示50%以上大学生每月观看电影4次，那么4次这个值就是众数。 在三个统计量中，众数适用于各种数据。

9、而且，众数是对类别数据的集中趋势概括的唯一适用统计量。 众数也有许多不足之处。 首先，它对数据的描述不够，因为最普遍的类别未必经常出现。例如，一项有关网民通常使用互联网的时段的调查，共询问了200人，结果显示几乎没有两个人的答案是相同的。 其次，众数可能有多个取值，因为变量几个类别可能同时具有最高频数。12集中趋势的概括- -中位数中位数 中位数中位数(median)是一组数据按数值大小排序后，位置居于最中间的那个值。各变量值与中位数的离差绝对值之和最小。 中位数既适用于定量数据，也适用于顺序数据，而且中位数是描述顺序数据集中趋势的最好度量。 与均值相比，中位数的主要优点在于它更少受极端值影响

10、；缺点是较难用于推断性数据分析。 确定中位数应区分两种情况： 根据原始数据计算中位数 根据分组数据计算中位数 13分组数据的中位数度量按费用分组30-3940-4950-5960-6970-7980-89用户数(频数)149541用户累积数1514192324表11-5 某地区网民每月实际上网费用的频数和累积频数 分组资料中位数式中：L中位数所在组的下限 W中位数所在组的组距 n数据(个案)总数 cf低于中位数所在组下限的累计频数 f中位数所在组的频数 fcf2nW LMe 首先，建立频数和累积频数分布表，见表11-5。 其次，确定中位数所在位置。中位数位置(24+1)/212.5，从用户累积

11、数看，它在50-59这个组。 根据分组资料使用公式计算中位数。Me50+10(24/25)/957.8 14四分位数度量其中， QL位置=（n+1）/ 4 QU位置=3（n+1）/ 4QL和QU值为对应位置的变量值，或对应位置两个变量值的均值（当位置并非整数时）。25%QLQUQM25%25%25%图11-7 四分位点和四分位数的确定 对数值型数据，可以使用四分位数等位置统计量概括。 度量四分位数(quartile)，首先需要将数据排序，然后将整个数据分成四等分，每一部分都包含25的数据，其中，处于25%和75%位置上的值就是下四分位数和上四分位数。四分位点和四分位数的确定通过图11-7予以说

12、明。 四分位数及其相关统计量经常通过箱线图来集中展示。15集中趋势的概括- -平均数平均数 平均数或均值(mean)是统计分析中最常用的集中趋势统计量。在SRS抽样中，均值就是算术平均值。对于复杂的抽样设计，样本均值的计算需要考虑最终样本权数。 平均数有两个数学性质： 一是各变量值与平均数的离差之和等于零； 二是各变量值与平均数的离差平方和最小。 平均数度量有许多优点： 易于计算与理解，且可用于计算其它统计量(如样本方差) 。 对于许多抽样设计来说，样本均值是总体均值的无偏估计。 样本均值度量也有不足之处： 均值不能用于概括类别或顺序数据的集中趋势。 均值会向极端值的方向靠近，受极端值影响很大

13、。16平均数度量 根据原始数据计算平均数根据原始数据计算平均数 在简单随机抽样中，样本均值就是变量的原始数据之和除以数值个数。设某变量的一组数据为：x1，x2 ， ，xn ，则 根据分组数据计算平均数根据分组数据计算平均数 设某变量的一组数据为：x1，x2 ， ，xn 各组的组中值为：M1 ，M2 ， ，Mk 相应的频数为：f1 ， f2 ， ，fk 则分组数据平均数实际上是一种加权平均数： 算术平均数 nxxn1ii加权平均数 nfMxk1iii17众数、中位数和平均数的比较 表11-6 数据类型和所适用的集中趋势统计量数据类型数据类型类别数据类别数据顺序数据顺序数据等距数据等距数据等比数据

14、等比数据适用的统计量众数中位数平均数平均数四分位数中位数调和平均数众数四分位数几何平均数众数中位数四分位数众数均值=中位数=众数均值 中位数 众数众数 中位数 均值 左偏分布 对称分布 右偏分布 图11-9 在不同分布状态下众数、中位数与均值的关系 18数据离散趋势的概括数据离散趋势的概括 离散趋势离散趋势是指数据分布偏离其分布中心的程度。离散趋势测量离散趋势测量是指求出一个数值，以表示变量值分布的离散程度以及变量值之间的差异程度。 离散趋势测量与集中趋势测量之间，实际上是一种相互补充和相互说明的关系。 集中趋势测量求出的是一个最有代表性的值，这个值代表性高低取决于个案之间在变量取值上的差异程

15、度(离散度)。差异越大，则说明集中趋势的统计量的代表性越差；反之，代表性就越好。同时进行集中和离散趋势测量，利于更全面、准确地认识事物的特征。19数据离散趋势的测量数据离散趋势的测量 数据的离散趋势分析所使用的统计量包括： 离异比率 四分位差 标准差与标准差系数离异比率离异比率n)fn (Vm四分位差四分位差 QdQUQL未分组数据未分组数据 标准差标准差 1XXSn1i2in）（分组数据分组数据的标准差的标准差 1fXMSk1ii2in）（标准差系数标准差系数XSVS20离散趋势测量例题 例例11.2 某地区行业组织抽查5家企业月销售额和销售利润数据(单位：万元)，如表11-7第2行所示。试

16、根据上述数据比较销售额和销售利润的离散程度。 根据5家企业的月销售额数据和月销售利润数据分别计算其平均数、标准差以及标准差系数，分别列于表11-7的第3-5行。月销售额月销售利润企业甲企业乙企业丙企业丁企业戊1702203904304808.012.018.022.026.0 平均数33817.2 标准差 S135.57.3标准差系数0.400.42表11-7 某行业5家企业月销售额与利润数据VX21离异比率、四分位差与标准差离异比率、四分位差与标准差的比较的比较 表11-8 数据类型和所适用的离散趋势统计量数据类型数据类型类别数据类别数据顺序数据顺序数据数值型数据数值型数据适用的统计量离异比

17、率四分位差标准差离异比率标准差系数(用于比较目的)四分位差离异比率22数据分布的差异分析 在数据分布集中趋势和离散趋势测量的讨论中，已经多次非正式地将调查数据的分布与正态分布进行比较，以判断数据分布的集中或离散趋势。 数据分布的差异分析则是正式地进行这种比较，即通过分析数据分布的偏度与峰度，以描述调查数据分布与正态分布之间的差异程度。23偏度及其测量偏度及其测量 ，表示数据分布的不对称方向和程度。正态分布的偏度值为零。图示方法可用来比较和判断分布的对称性，如图11-10。具有显著正偏度的分布有很长的右尾；具有显著负偏度的分布有很长的左尾。准确测度偏斜程度，需要计算偏态系数偏态系数。统计上经常以

18、三阶中心矩作为测定偏态的一个指标。SK0时，说明分布是对称的；当SK0时，说明大于平均数的数据次数比小于平均数的数据次数要多，为右偏分布；当SK0时，说明分布为左偏，SK值越小说明左偏程度越高。 24峰度及其测量峰度及其测量 ，表示数据分布与正态曲线相比的尖峭或扁平程度。如图11-11。若数据分布比正态曲线低且尾部较短，则属于扁平分布；若数据分布比正态曲线瘦高且尾部较长，则属于尖峭分布。 统计上常用四阶中心矩作为测定峰度的指标。将四阶中心矩除以标准差的四次方，得到峰度系数峰度系数，表示数据分布的相对峰度。 当峰度值K0时，说明数据分布为正态曲线。当峰度值K0时，表示观察值聚集程度比正态分布高，

19、为尖峭分布。当峰度值K0时，表示观察值聚集程度比正态分布低，数据为扁平分布。25分布偏度与峰度例题例例11.3 假设根据某班40名学生管理学考试成绩整理为分组数据如表11-9中1-3列所示。现要求分析成绩分布偏度。解：首先根据分组数据计算平均数，并准备用于计算偏度系数的中心矩数据，列于表11-9中的5-7列。 表11-9 某班40名学生管理学成绩偏度及峰度计算表成绩(分)组中值Mi频数fiMifi(Mi- ) fi fi fi5059606970798089901005565758595271112811045582510207602414461611521372176432204827648

20、19208704259232768663552268912281615552524288合计4031705170122001475120X3i)X-(M2i)X-(M4i)X-(M分组数据分组数据的平均数的平均数40/3170nfMXk1iii偏态偏态系数系数 21. 038.114012200Sn f) xM(SK33ik1i3i峰度峰度系数系数 -0.8311.384014751203Sn f)xM(K44ik1i4i分组数据分组数据的标准差的标准差405170nfXMk1ii2i）（2611 113 3 双变量及多变量数据的描述分析双变量及多变量数据的描述分析 交叉列表分析可以清楚地表示

21、两个变量之间的相互关系。交叉列表可以看成是分类的频数表，即一个变量的频数分布是根据另一个变量的取值来进一步细分的，所以又称为联合分布表。 理论上讲，百分数既可以以列合计为基数计算，也可以以行合计为基数计算。但是，实际上到底应该按照哪一种方式计算，则取决于自变量的选择。一般准则是按照自变量各类的合计来计算因变量各类的百分数。 一份完整交叉表，每格内包含四个数字，分别表示频数、行百分数、列百分数和总百分数（见表（见表11-12）。27多变量交叉列表分析 市场中变量之间的关系是复杂的。利用二维列表分析可能发现两个变量之间似乎密切相关，但是再引进一个变量后，可能发现原来两个变量之间的相关关系变弱或消失

22、了；相反地情况也可能发生。 因此，单纯考虑两个变量之间的联系很可能导致错误判断。为避免这类错误，要求在双变量交叉列表分析的基础上，引入第三个变量作多维交叉列表分析。2811 114 4 多变量数据的深度分析多变量数据的深度分析 对于双变量及多变量数据，通常还需要进行深度分析，以深刻揭示数据之间的关系和变化规律。 双变量以及多变量数据的深度分析包括很多种方法，这里扼要介绍： 相关分析 因子分析 判别分析 聚类分析 29相关分析 相关是指一个变量与另一个变量之间的连带性。即，如果相关是指一个变量与另一个变量之间的连带性。即，如果一个变量的值发生变化，另一个变量值也随着发生变化，一个变量的值发生变化

23、，另一个变量值也随着发生变化，则两个变量就是相关的。则两个变量就是相关的。 相关分析相关分析 既包括线性相关，也包括非线性相关；既包括线性相关，也包括非线性相关； 既包括顺序变量的相关，也包括等距变量的相关。既包括顺序变量的相关，也包括等距变量的相关。 简单相关系数简单相关系数 研究等距及等比变量的线性相关，又称皮尔逊积矩相关。研究等距及等比变量的线性相关，又称皮尔逊积矩相关。 相关系数相关系数 22)()()(YYXXYYXXrriiiiyxxy备选表达备选表达 其中，x2X的方差； y2Y的方差； X和Y的协方差 22yxxyyxxyrrNYYXXiixy)(30相关分析相关矩阵是汇报相关

24、结果的标准形式它可以同时将一个变量与其他多相关矩阵是汇报相关结果的标准形式它可以同时将一个变量与其他多个变量之间的相关关系集中展示出来。个变量之间的相关关系集中展示出来。表表11-18展示了一个相关矩阵，将销售人员销售业绩与销售人员自身展示了一个相关矩阵，将销售人员销售业绩与销售人员自身量数量数(如工作满意度、语言能力、工作压力感知如工作满意度、语言能力、工作压力感知)以及一些销售管理量以及一些销售管理量数数(如任务明确性、区域市场潜力以及工作量等如任务明确性、区域市场潜力以及工作量等)相联系。相联系。表11-18 关于销售人员业绩与其他变量之间的积矩相关矩阵变量销售业绩工作满意度语言能力工作

25、压力任务模糊区域潜力工作量(销售业绩)100(工作满意度)045100(语言能力)-036-013100(工作压力)-048-006-002100(任务模糊)-026-024-005044100(区域潜力)049031-009-038-026100(工作量)045011-012-027-02204910031解释相关关系时应注意问题解释相关关系时应注意问题 解释相关关系时一定要小心，相关性并不意味着因果关系。相关是指变量之间的连带性，相关系数可能仅仅说明变量之间具有某种共变关联。 相关分析与回归分析之间关系比较微妙，例如在回归分析中，利用相关系数的平方来计算决定系数。 但是，两者存在一些重要区

26、别： 在相关分析中，两个变量都是随机变量，处于同等地位； 在回归分析中，因变量属于随机变量；自变量可以是随机变量或非随机变量，用于预测因变量的变化。 相关分析主要用于描述两个变量之间线性关系的密切程度； 回归分析不仅可以揭示变量X对变量Y的影响大小，还可以由回归方程进行预测和控制。32聚类分析聚类分析(Cluster Analysis) 将被认识的对象进行分类，以便寻找其中同与不同的特征，往往是人们认识世界的基础。 在市场营销领域，有很多这种分类问题。例如， 零售商和消费品公司定期地对有关客户购买习惯、性别、年龄、收入水平等数据应用聚类技术进行分析，以便公司可以为每组消费者设计营销和产品开发战

27、略，以增加销售额和建立品牌忠诚度。 营销管理者也许对某些城市中的某些商店(个案)的聚类问题感兴趣，通过聚类分析就可以选择可比较的城市来检验各种市场营销战略了。33聚类分析的原理聚类分析的原理 是根据样本单元各个变量的取值，将样本(观察对象或变量)自动分类的分析方法。聚类分析的目的是把物体或人分成很多相对独立且较为固定的组，并进一步观察一批样本之间的差异和共性。 聚类分析始于聚类过程的选择，不同的聚类过程使用不同的算法。主要的聚类过程包括：(K-Means Cluster)过程可以完成由用户指定类别数目的大样本资料的逐步聚类分析。所谓逐步聚类分析就是先把被聚对象进行初始分类，然后逐步调整，得到最

28、终分类。(Hierarchical Cluster)分析过程只限于较小的数据文件。在系统聚类分析中，用户事先无法确定类别数。系统聚类分析有两种形式，一是对研究对象本身进行分类，称为Q型举类；另一是对研究对象的观察指标进行分类，称为R型聚类。34聚类分析过程的算法聚类分析过程的算法 聚类分析的核心问题是怎样定量地计算多变量情况下各样本之间的差距。聚类分析可提供多种计算各样本之间差距的方法：欧氏平方距离、欧氏距离、绝对值距离、切氏距离、夹角余弦距离等。 如，对某些商店作聚类分析，商店A两属性(变量)值分别为73和68，商店B两属性(变量)值分别为66和69。则利用欧氏距离计算商店A和商店B之间的距

29、离为：(7366)2+(6869)21/2707用绝对值距离计算商店A和商店B之间的距离为：7366+68698 聚类分析过程将根据某种指定方法，计算出所有样本间的距离，然后将距离最近的两样本聚成一类，然后依次类推，直到将所有样本聚为一大类为止。35聚类分析实例聚类分析实例 例例11.411.4某人力资源咨询机构对应聘某特殊职业的29名候选者进行了包括体格检查、修养测试、知识测验、心理测试、语言艺术以及工作能力测试，测验结果如表11-19所示。由于多项测试成本高、耗时长，所以希望通过聚类分析(即R型指标聚类)筛选代表性指标，以便经济快捷地对应聘者做出评价。表11-19 某特殊职业29名应聘者素

30、质与能力测验评分编号N0.体格评分X1修养测试X2知识测验X3心理评分X4语言艺术X5能力测验X6123282954.8972.4953.8173.8947.3130.8642.6152.8632.9428.55448.70467.30425.61312.50294.700.0120.0080.0040.0640.0051.0101.6401.2201.1500.83813.5013.0013.757.257.0036判别分析判别分析 (Discriminant) 判别分析是在已知若干样本分类的情况下，根据收集到的多变量数据，建立差别函数，从而推断未知样本分类的分析方法。 判别分析的特点表现在

31、： 用于推导分类规则的样本的所属类别必须事先已知； 由已知样本推断未知样本，是检验假设的一种方法。 例如，营销经理可能对某产品的购买使用者与未购买者之间的差别感兴趣，在通过市场调研收集了大量有关潜在消费者的数据后，他可能进一步想知道具有哪些人口统计及生活方式特征的潜在消费者具有较高的购买可能性。37判别分析的步骤及要点 1）确定两个或多个组(如使用者和未使用者、某种疾病的患者与非患者)在平均判别分方面是否存在统计显著性差别； 2）为根据自变量的值将个体(或对象)分类而建立判别函数模型； 3）确定两组或多组平均得分方面的差异有多少可以用自变量解释。 在仅涉及两个组的判别分析中通常只需要一个判别函

32、数(最简单且常见的判别函数为线性模型)。 判别分Z，是根据公式为各个个体或对象计算得来的，这个分值是预测特定对象或个体属于哪个组的基础。 判别系数，通过判别分析程序计算出来。与特定自变量相联系的判别系数的大小由判别函数中变量的方差结构决定。在各组之间差别性大的自变量，判别系数就大；反之，判别系数就小。Zb0+b1X1+b2X2+b3X3+.+bnXn 式中，式中，Z对应于个体的判别分；对应于个体的判别分； bi对应于第对应于第i个自变量或预测变量的判别系数，个自变量或预测变量的判别系数，b0为常数项；为常数项； Xi对应于第对应于第i个个体的自变量或预测变量的值。个个体的自变量或预测变量的值。

33、38判别分析实例判别分析实例 例例11.5 11.5 为研究优秀推销员的素质特征，某营销研究机构随机抽选了业绩突出的优秀推销员15人(优秀组)以及业绩平平的非优秀推销员16人(非优秀组)就其素质进行了综合测评，测评结果被归纳为两个因子感同力和自我驱动力。其中，感同力是指能设身处地地为顾客着想的能力；自我驱动力则是指完成销售任务的强烈愿望程度。31个调查样本的感同力和自我驱动力的综合评分列于表11-22中。试作判别分析，建立判别函数以便在推销员招聘实践中筛选候选者。 表11-22 推销员综合素质感同力和自我驱动力的综合评分编号优秀组编号非优秀组感同力X1自我驱动力X2感同力X1自我驱动力X2123159.8613.3314.6613.335.183.733.895.961231610.6612.5313.339.332.074.453.063.6339因子分析因子分析(Factor Analysis) 因子分析是这样一种统计方法，为了从大量的可测量的数据(如等级评分)中总结出相对少数的简明信息，即因子，研究者通过构造少量的因子来反映原有