演示文稿分类数据分析

演示文稿分类数据分析当前第1页\共有87页\编于星期五\4点（优选）分类数据分析当前第2页\共有87页\编于星期五\4点概述

第七、八章介绍的估计和检验方法仅主要针对数值型变量。而列联分析是针对分类变量进行分析的方法。当前第3页\共有87页\编于星期五\4点第9章分类数据分析9.1分类数据与c2统计量9.2拟合优度

检验9.3列联分析：独立性检验9.4列联表中的相关测量9.5列联分析中应注意的问题当前第4页\共有87页\编于星期五\4点学习目标1. 解释列联表进行c2

检验拟合优度检验独立性检验3. 测度列联表中的相关性当前第5页\共有87页\编于星期五\4点9.1

分类数据9.1.1分类数据补充：列联表的构造

列联表的分布9.1.22统计量当前第6页\共有87页\编于星期五\4点分类数据分类变量的取值表现为类别例如：性别(男,女)各类别可用符号或数字代码来测度例如：性别(男用1表示,女用0表示)顺序数据也可以看作分类数据原料的质量等级：一等品、二等品、三等品数值型数据也可以转化为分类数据数学期末考试成绩是一个数值型数据，可以根据分数段将成绩为“优秀”、“良好”、“及格”和“不及格”几个类别对分类数据的描述和分析通常使用列联表当前第7页\共有87页\编于星期五\4点列联表的构造当前第8页\共有87页\编于星期五\4点列联表

(contingencytable)由两个以上的变量交叉分类的频数分布表行变量的类别用r

表示，ri

表示第i

个类别列变量的类别用c

表示，cj

表示第j

个类别每种组合的观察频数用fij

表示表中列出了行变量和列变量的所有可能的组合，所以称为列联表一个

R行C

列的列联表称为R

C

列联表当前第9页\共有87页\编于星期五\4点列联表的结构

(22列联表)列(cj)合计j=1j=1i=1f11f12f11+f12i=2f21f22f21+f22合计f11+f21f12+f22n列(cj)行(ri)当前第10页\共有87页\编于星期五\4点列联表的结构

(r

c

列联表的一般表示)列(cj)合计j=1j=2…i=1f11f12…r1i=2f21f22…r2:::::合计c1c2…n列(cj)行(ri)fij

表示第i

行第j

列的观察频数当前第11页\共有87页\编于星期五\4点列联表

(例题分析)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420【例】一个集团公司在四个不同的地区设有分公司，现该集团公司欲进行一项改革，此项改革可能涉及到各分公司的利益，故采用抽样调查方式，从四个分公司共抽取420个样本单位(人)，了解职工对此项改革的看法，调查结果如下表当前第12页\共有87页\编于星期五\4点列联表的分布当前第13页\共有87页\编于星期五\4点观察值的分布边缘频数行边缘分布（频数）行观察值的合计数的分布例如，赞成改革方案的共有279人，反对改革方案的141人列边缘分布（频数）列观察值的合计数的分布例如，四个分公司接受调查的人数分别为100人，120人，90人，110人条件分布与条件频数表中每个具体的观察值都是变量X条件下变量Y

的频数，或在变量Y

条件下变量X

的频数，称为条件分布（频数）当前第14页\共有87页\编于星期五\4点观察值的分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32753331141合计10012090110420行边缘分布列边缘分布条件频数当前第15页\共有87页\编于星期五\4点百分比分布

(概念要点)条件频数反映了数据的分布，但不适合对比如二分公司赞成人数比一分公司多，并不表明二分公司比一分公司更赞成该方案，因为两公司调查人数不同。为在相同的基数上进行比较，可以计算相应的百分比，称为百分比分布行百分比：行的每一个观察频数除以相应的行合计数(fij

/ri)列百分比：列的每一个观察频数除以相应的列合计数(fij

/cj)总百分比：每一个观察值除以观察值的总个数(fij

/n)当前第16页\共有87页\编于星期五\4点百分比分布

(图示)一分公司二分公司三分公司四分公司合计赞成该方案6875577966.4%24.4%26.9%20.4%28.3%68.0%62.5%63.3571.8%—16.2%17.8%13.6%18.8%—反对该方案3245333133.6%22.7%31.9%23.4%22.0%32.0%37.5%36.7%28.2%—7.6%10.7%7.9%7.4%—合计23.8%28.6%21.4%26.2%100%总百分比列百分比行百分比当前第17页\共有87页\编于星期五\4点列联分析是利用列联表来研究：()A.两个分类变量的关系B.两个数值型变量的关系C.一个分类变量和一个数值型变量的关系D.两个数值型变量的分布

以下列联表中，最右边一列称为：()A.列边缘频数；B.行边缘频数；C.条件频数；D.总频数练习（1）AB男学生女学生合计赞成454287反对10578183合计150120270当前第18页\共有87页\编于星期五\4点(3)对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，在男女生赞成的比例相同的前提下，男女生赞成该措施的期望频数分别为：()A.48和39B.102和81

C.15和14

D.25和19

A男学生女学生合计赞成454287反对10578183合计150120270当前第19页\共有87页\编于星期五\4点统计量当前第20页\共有87页\编于星期五\4点概述

2检验(Chi-squaretest)是现代统计学的创始人之一，英国人K.Pearson（1857-1936）于1900年提出的一种具有广泛用途的统计方法，因此又称为Pearson2检验。可用于两个或多个率或构成比间的比较，定性资料的关联度分析，拟合优度检验等等。

当前第21页\共有87页\编于星期五\4点

统计量用于检验列联表中变量间拟合优度和独立性检验统计量为：或2统计量可以看作是检验真实值与期望值的接近程度。当前第22页\共有87页\编于星期五\4点

统计量分布与自由度的关系当前第23页\共有87页\编于星期五\4点9.2拟合优度检验(goodnessoffittest)当前第24页\共有87页\编于星期五\4点

统计量拟合优度检验：用于检验一个分类变量中各类别的期望频数和观察频数是否有显著差异。其实际为假设检验在原假设为观察频数和实际频数一致的前提下，有如下检验统计量：当前第25页\共有87页\编于星期五\4点拟合优度检验的期望频数的计算

若可求出第i行第j列元素的期望概率pij，则一个实际频数fij

的期望频数eij

，是总频数的个数n乘以该实际频数fij

的期望概率pij当前第26页\共有87页\编于星期五\4点期望频数的计算举例

举例：要检验各分公司对某项改革方案的看法是否相同？一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32453331当前第27页\共有87页\编于星期五\4点期望频数的分布

(例题分析)一分公司二分公司三分公司四分公司赞成该方案实际频数68755779期望频数100*66.4%=66150*66.4%=8090*66.4%=60110*66.4%=73反对该方案实际频数32753331期望频数100*33.6%=34150*33.6%=4090*33.6%=30110*33.6%=37在全部420个样本中，赞成改革方案的人数为279，占66.4%；反对的人数占33.6%。在各分公司对改革方案看法相同的前提下，各分公司赞成（反对）这项改革不同态度的期望频数为分公司总样本数*66.4%（33.6%）。等价于检验各分公司赞成方案的实际频数与期望频数是否一致。当前第28页\共有87页\编于星期五\4点期望频数的分布

(例题分析)A公司B公司其它公司广告后购买人数实际频数1028216期望频数200×0.45200×0.4200×0.15在广告宣传战之前，A公司、B公司和其它公司的市场占有率分别为45%、40%和15%。上表给出了广告后对200个消费者购买意愿的调查的结果，检验广告战前后各公司的市场占有率是否发生了变化？

等价于检验三个公司的期望购买人数和实际购买人数是否一致。当前第29页\共有87页\编于星期五\4点拟合优度检验

(例题分析1-1)【例9.1】1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平(0.05)检验存活状况与性别是否有关。当前第30页\共有87页\编于星期五\4点拟合优度检验

(例题分析1-2)分析：在这次海难中，幸存者共718人，即总存活比例为718/2208=0.325。若存活状况与性别无关，则男性存活的期望人数为：0.3251738＝565人，女性存活的期望人数为：0.325470＝153人，若男女性期望的存活人数和实际的存活人数非常接近，则可以认为存活率与性别无关，反之，则认为存状况与性别相关。因此可以利用2统计量来检验。男女合计实际生存人数374344718总人望生存人数1738×0.325470×0.325当前第31页\共有87页\编于星期五\4点拟合优度检验

(例题分析1-3)H0:生存状况与性别无关（观察频数与期望频数一致）H1:生存状况与性别相关（观察频数与期望频数不一致）

=0.05df=

(2-1)=1临界值(s):统计量:

在

=0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关决策:结论:203.8415=0.1当前第32页\共有87页\编于星期五\4点拟合优度检验

(例题分析2-1)【例】

一项统计结果声称：某市老年人口（年龄在65岁以上）所占的比例为14.7%，该市老年人口研究会为了检验该项统计是否可靠，随机抽选了400名居民，发现其中有57人年龄在65岁以上。调查结果是否支持该市老年人口比例为14.7%的说法？（=0.05）。当前第33页\共有87页\编于星期五\4点拟合优度检验

(例题分析2-2)解：要回答观察的老年人数与期望的老年人数是否一致，检验如下假设：

H0：老年人口比例为14.7%（观察频数与期望频数一致）

H1：老年人口比例并非14.7%（观察频数与期望频数不一致）老年人非老年人实际人数57343期望人数500×0.147＝59500×0.853＝341当前第34页\共有87页\编于星期五\4点拟合优度检验

(例题分析2-3)

=0.05df=

(2-1)=1临界值(s):注意：教材P223中作的双侧检验有误。统计量:

在

=0.05的水平上接受H0有较充分的理由认为老年人比比例为14.7%相关决策:结论:203.8415=0.1当前第35页\共有87页\编于星期五\4点拟合优度检验

(例题分析2-1)注意：第8章介绍的总体比例检验只能用于二项分布，而2统计量可用于多项分布的比例检验。当前第36页\共有87页\编于星期五\4点9.3列联分析：独立性检验9.3.1列联表（已讲）9.3.2独立性检验当前第37页\共有87页\编于星期五\4点两个变量的独立性检验当前第38页\共有87页\编于星期五\4点独立变量检验

(goodnessoffittest)检验两个分类变量是否独立检验的步骤提出假设H0：变量X和Y独立j；H1：X和Y

不独立

在原假设成立的前提下，可得到以下检验统计量

进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2

若2>2，拒绝H0；若2<2，接受H0当前第39页\共有87页\编于星期五\4点期望频数的计算假定行变量和列变量是独立的一个实际频数fij

的期望频数

eij

，是总频数的个数n乘以该实际频数fij

落入第i

行和第j列的概率，即当前第40页\共有87页\编于星期五\4点期望频数的分布

(例题分析)由于观察频数的总数为n

，所以f11

的期望频数e11应为例如，第1行和第1列的实际频数为f11

,它落在第1行的概率估计值为该行的频数之和r1除以总频数的个数n

，即：r1/n；它落在第1列的概率的估计值为该列的频数之和c1除以总频数的个数n

，即：c1/n。根据概率的乘法公式，该频数落在第1行和第1列的概率应为当前第41页\共有87页\编于星期五\4点独立性检验

(例题分析1-1)【例9.2】一种原料来自三个不同的地区，原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验，结果如下表所示，要求检验各个地区和原料质量之间是否存在依赖关系？(0.05)

一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500当前第42页\共有87页\编于星期五\4点独立性检验

(例题分析1-2)解：(1)确定假设H0：地区和原料等级之间是独立的（不存在依赖关系）

H1：地区和原料等级之间不独立（存在依赖关系）(2)计算期望频数以及

2统计量的值

一级二级三级合计甲地区526424140期望频数(162/500)×(140/500)*500(188/500)×(140/500)*500(150/500)×(140/500)*500乙地区605952171丙地区506574189合计162188150500当前第43页\共有87页\编于星期五\4点独立性检验

(例题分析1-3)当前第44页\共有87页\编于星期五\4点独立性检验

(例题分析1-4)（3）作出判断

19.82>0.05(4)=9.488故拒绝H0，接受H1

，即地区和原料等级之间存在依赖关系，原料的质量受地区的影响当前第45页\共有87页\编于星期五\4点独立性检验

(例题分析2-1)【例】某集团公司欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32753331当前第46页\共有87页\编于星期五\4点独立性检验

(例题分析2-1)解：若员工态度不受影响，则所在分公司与对改革方案的态度是相互独立的。可设定原假设和备择假设分别为

(1)确定假设H0:

员工所在分公司和对改革方案的态度是相互独立的H1:员工所在分公司和对改革方案的态度并非相互独立当前第47页\共有87页\编于星期五\4点独立性检验

(例题分析2-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730(2)计算期望频数及2统计量的值当前第48页\共有87页\编于星期五\4点独立性检验

(例题分析2-4)(3)作出判断

0.05(3)=7.8147.故接受H0。即员工所在分公司与其态度是相互独立的。当前第49页\共有87页\编于星期五\4点2检验的实质独立性检验等价于检验多个比例是否相等或由期望的比例算出的期望频数与实际频数是否相等。检验的步骤提出假设H0：1=p1,2=p2,…j=pj；H11=p1,2=p2,…j=pj至少有一个不成立原假设意为在一个分类变量C的不同取值下，另一个分类变量R的某一类别的占该R比例是否等于某个期望比例当前第50页\共有87页\编于星期五\4点2检验的实质在原假设成立的前提下，可得到以下检验统计量若列联表中其中一个分类变量只是考虑的一个类别的观测值，则使用以下统计量（拟合优度检验）进行决策根据显著性水平和自由度(r-1)查出临界值2

若2>2，拒绝H0；若2<2，接受H0若列联表中两个分类变量都考虑至少有两个类别的观测值，则使用以下统计量进行决策根据显著性水平和自由度(r-1)(c-1)查出临界值2若2>2，拒绝H0；若2<2，接受H0当前第51页\共有87页\编于星期五\4点2检验举例

(例题分析1-1)【例9.3】某集团公司欲进行一项改革，从所属的四个分公司中共随机抽取了420名职工，了解它们对改革方案的态度（见下表），以=0.1的显著性水平检验员工态度是否受所在分公司的影响。一分公司二分公司三分公司四分公司赞成该方案实际频数68755779反对该方案实际频数32753331当前第52页\共有87页\编于星期五\4点2检验举例

(例题分析1-2)解：若员工对改革方案的态度不受所在子公司的影响，四个分公司对赞成改革方案的比例是一致的。，设i为第i个分公司赞成改革方案的百分比）。可设定原假设和备择假设分别为：

H0:

1=2=3=4

H1:

1,2,3,4

不全相等当前第53页\共有87页\编于星期五\4点2检验举例

(例题分析1-3)实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.15000.49320.11760.62500.30000.9730合计：3.0319当前第54页\共有87页\编于星期五\4点拟合优度检验

(例题分析1-3)H0:

1=2=3=4

H1:

1,2,3,4

不全相等

=0.1df=

(4-1)=3临界值(s):统计量:

在

=0.1的水平上不能拒绝H0可以认为四个分公司对改革方案的赞成比例是一致的决策:结论:206.2153.0319=0.1当前第55页\共有87页\编于星期五\4点2检验

(例题分析2-1)【例】

1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有共2208人，其中男性1738人，女性470人。海难发生后，幸存者为718人，其中男性374人，女性344人，以的显著性水平(0.05)检验存活状况与性别是否有关。男女合计实际生存人数374344718实际死亡人前第56页\共有87页\编于星期五\4点2检验

(例题分析2-2)分析：设男女存活率分别为1和2

若男女存活率相同，则均为718/2208=0.325

本问题等价于检验如下假定：H0:1=2H1:12男女合计实际生存人数374344718总人望生存人数1738×0.325470×0.325当前第57页\共有87页\编于星期五\4点2检验

(例题分析2-3)H0:1=2H1:12

=0.05df=

(2-1)=1临界值(s):统计量:

在

=0.05的水平上拒绝H0有较充分的理由认为生存状况与性别相关决策:结论:203.8415=0.1当前第58页\共有87页\编于星期五\4点思考1问题1：为什么2检验采用右单侧检验而不采用双边检验？答：因为应用2检验时，原假设H0实际上可以概括为:观测频数＝期望频数，备择假设H1为：观测频数期望频数，而2统计量的值越小，表明观测频率与期望频率越接近，越因该接受原假设，因此，拒绝域应该在2分布的右侧，故采用右单侧检验。当前第59页\共有87页\编于星期五\4点思考2问题2：如何解释2统计量的自由度为(R-1)(C-1)？C1C2C3C4合计R1RT1R2RT2R3RT3合计CT1CT2CT3CT4当前第60页\共有87页\编于星期五\4点品质数据的假设检验品质数据拟合优度（比例）检验独立性检验Z

检验一个总体

检验Z

检验

检验两个以上总体两个总体当前第61页\共有87页\编于星期五\4点(1)对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例（1

和2）是否相同，则提出的原假设为：()A.H0:1=2=0.678B.H0:1=2=45

C.H0:1=2=0.322

D.H0:1=2=42检验(1)所使用的2统计量的自由度为()

采用（）(左侧，右侧，双边)检验

练习（2）C男学生女学生合计赞成454287反对10578183合计1501202701右侧当前第62页\共有87页\编于星期五\4点(3)对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，即检验H0:1=2=0.322，若给定=0.05，得出的结论是：()A.拒绝原假设B.不拒绝原假设C.可以拒绝也可以不拒绝原假设D.既不拒绝也不接收原假设

B男学生女学生合计赞成454287反对10578183合计150120270当前第63页\共有87页\编于星期五\4点9.4列联表中的相关测量9.4.1

相关系数9.4.2列联相关系数9.4.3V

相关系数当前第64页\共有87页\编于星期五\4点列联表中的相关测量品质相关对品质数据(分类和顺序数据)之间相关程度的测度列联表变量的相关属于品质相关列联表相关测量的统计量主要有相关系数列联相关系数V

相关系数当前第65页\共有87页\编于星期五\4点

相关系数

(correlationcoefficient)测度22列联表中数据相关程度对于22列联表，

系数的值在0～1之间

相关系数计算公式为当前第66页\共有87页\编于星期五\4点

相关系数

(原理分析)一个简化的22列联表因素Y因素X合计x1x2y1aba+by2cdc+d合计a+cb+dn当前第67页\共有87页\编于星期五\4点

相关系数

(原理分析)列联表中每个单元格的期望频数分别为将各期望频数代入的计算公式得当前第68页\共有87页\编于星期五\4点

相关系数

(原理分析)将入

相关系数的计算公式得ad等于bc，=0，表明变量X与Y

之间独立若b=0

，c=0，或a=0

，d=0，意味着各观察频数全部落在对角线上，此时||=1,表明变量X与Y

之间完全相关，||

越接近1，相关程度越大，列联表中变量的位置可以互换，的符号没有实际意义，故取绝对值即可当前第69页\共有87页\编于星期五\4点

相关系数取值范围

(原理分析)对2×2列联表，-11对非2×2列联表，故对非2×2列联表，系数将随着R或C的变大而增大，且值没有上限，故不适合用系数测定两个变量的相关程度。当前第70页\共有87页\编于星期五\4点列联相关系数C

(coefficientofcontingency)列联相关系数C用于测度大于22列联表中数据的相关程度计算公式为C的取值范围是，其中m=min(R,C)C=0表明列联表中的两个变量独立C的数值大小取决于列联表的行数和列数，并随行数和列数的增大而增大当前第71页\共有87页\编于星期五\4点列联相关系数

(优缺点)优点：计算简单，对总体分布没有任何要求。缺点：根据不同行和列计算的列联相关系数不便于比较。当前第72页\共有87页\编于星期五\4点V相关系数

(Vcorrelationcoefficient)由Gramer提出，计算公式为

V的取值范围是0V1

V=0表明列联表中的两个变量独立

V=1表明列联表中的两个变量完全相关不同行和列的列联表计算的列联系数不便于比较当列联表中有一维为2，min[(r-1),(c-1)]=1,此时V=当前第73页\共有87页\编于星期五\4点列联表中的相关测量

(例题分析)【例9.2】一种原料来自三个不同地区，原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验，结果如下表。分别计算系数、C系数和V系数，并分析相关程度（假设已检验得到地区和材料质量相关）地区一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500当前第74页\共有87页\编于星期五\4点列联表中的相关测量

(例题分析)解：已知n=500，＝19.82，列联表为33结论：三个系数均不高，表明产地和原料等级之间的相关程度不高当前第75页\共有87页\编于星期五\4点、C、V的比较同一个列联表，、C、V的结果会不同在对不同列联表变量之间的相关程度进行比较时，不同列联表中的行与行、列与列的个数要相同，并且采用同一种系数当前第76页\共有87页\编于星期五\4点(1)对于学生宿舍上网收费的新措施，男女学生的抽样调查结果如下列联表所示，如果要检验男女生赞成上网的比例是否相同，若根据数据计算得到||=1，则：()A.男学生全部赞成，女学生全部反对

B.男女学生全部都赞成C.男女学生全部都反对

D.男学生全部赞成，女学生全部反对；或男学生全部反对，女学生全部赞成练习（3）D男学生女学生合计赞成454287反对10578183合计150120270当前第77页\共有87页\编于星期五\4点(2)以下测度列联表中数据的相关程度的参数，取值范围有可能不在[0,1]范围内的是：()A.相关系数B.C相关