统计学原理-列联表和卡方拟合优度非参数检验方法-课件

统计学原理列联表和卡方拟合优度非参数检验方法9、1分类数据与列联表9、1、1分类数据9、1、2列联表的构造9、1、3列联表的分布9、1、1定性数据

数据的类型与列联分析数据定量数据(数值型数据)定性数据(品质数据)离散数据连续数据列联分析......review:品质数据品质随机变量的结果表现为类别例如:性别(男,女)各类别用符号或数字代码来测度使用定类或定序尺度您吸烟不?1、是;2、否您对某种产品售后服务的满意度?1、满意;2、说不行;3、不满意对品质数据的描述和分析通常使用列联表可使用检验9、1、2列联表的构造由两个以上的变量进行交叉分类的频数分布表行变量的类别用r

表示,ri

表示第i

个类别列变量的类别用c

表示,cj

表示第j

个类别每种组合的观察频数用fij

表示表中列出了行变量和列变量的所有估计的组合,因此称为列联表一个

r行c

列的列联表称为r

c

列联表列联表的概念列联表的结构

(2列联表)列(cj)合计j=1j=1i=1f11f12f11+f12i=2f21f22f21+f22合计f11+f21f12+f22n列(cj)行(ri)列联表的结构

(r

c

列联表的一般表示)列(cj)合计j=1j=2…i=1f11f12…r1i=2f21f22…r2:::::合计c1c2…n列(cj)行(ri)fij

表示第i

行第j

列的观察频数列联表的一个实际例子一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32453331141合计10012090110420【例】一个集团公司在四个不同的地区设有分公司,现该集团公司欲进行一项改革,此项改革估计涉及到各分公司的利益,故采纳抽样调查方式,从四个分公司共抽取420个样本单位(人),了解职工对此项改革的看法,调查结果如下表9、3、1列联表中的分布边缘分布行边缘分布列边缘分布条件分布与条件频数变量X条件下变量Y

的分布,或在变量Y

条件下变量的分布每个具体的观察值称为条件频数观察值的分布边缘分布行边缘分布行观察值的合计数的分布例如,赞成改革方案的共有279人,反对改革方案的141人列边缘分布列观察值的合计数的分布例如,四个分公司接受调查的人数分别为100人,120人,90人,110人条件分布与条件频数变量X条件下变量Y

的分布,或在变量Y

条件下变量X

的分布每个具体的观察值称为条件频数图示:观察值的分布一分公司二分公司三分公司四分公司合计赞成该方案68755779279反对该方案32453331141合计10012090110420行边缘分布列边缘分布条件频数百分比分布

(概念要点)条件频数反映了数据的分布,但不适合进行对比为在相同的基数上进行比较,能够计算相应的百分比,称为百分比分布。行百分比:行的每一个观察频数除以相应的行合计数(fij

/ri)列百分比:列的每一个观察频数除以相应的列合计数(fij

/cj

)总百分比:每一个观察值除以观察值的总个数(fij

/n)百分比分布(例示)一分公司二分公司三分公司四分公司合计赞成该方案24、4%26、9%20、4%28、3%—68、0%62、5%63、3571、8%—16、2%17、8%13、6%18、8%66、4%反对该方案22、7%31、9%23、4%22、0%—32、0%37、5%36、7%28、2%—7、6%10、7%7、9%7、4%33、6%合计23、8%28、5%21、5%26、2%100%总百分比列百分比行百分比概念要点:期望频数假定行变量和列变量是独立的一个实际频数fij

的期望频数eij

,是总频数的个数n乘以该实际频数fij

落入第i

行和第j列的概率,即期望频数的分布

——一个例子由于观察频数的总数为n,因此f11

的期望频数e11

应为例如,第1行和第1列的实际频数为f11

,它落在第1行的概率估计值为该行的频数之和r1除以总频数的个数n

,即:r1/n;它落在第1列的概率的估计值为该列的频数之和c1除以总频数的个数n

,即:c1/n。依照概率的乘法公式,该频数落在第1行和第1列的概率应为期望频数的分布

——一个例子(续)依照上述公式计算的前例的期望频数一分公司二分公司三分公司四分公司赞成该方案实际频数68755779期望频数66806073反对该方案实际频数32453331期望频数344030379、2拟合优度检验9、2、1统计量9、2、2拟合优度检验皮尔逊拟合优度检验属于非参数检验,是一种特别重要且简便的非参数检验。它既可用于分布拟合检验,也可用于独立性、样本齐一性等检验。9、2、1

统计量用于检验列联表中变量之间是否存在显著性差异用于检验变量之间是否独立用于样本齐一性等检验。计算公式为一个例子——表9-5实际频数(fij)期望频数(eij)fij-eij(fij-eij)2(fij-eij)2eij687557793245333166806073344030372-5-36-253-64259364259360、06060、31250、15000、49320、11760、62500、30000、9730合计:3、0319

统计量的特征非负与自由度有关描述了观测值和期望值之间的接近程度品质数据的假设检验品质数据比例检验独立性检验Z

检验一个总体

检验Z

检验

检验两个以上总体两个总体9、2、2拟合优度检验的应用1

——列联表中的独立性检验检验列联表中目标变量之间是否存在显著性差异检验的步骤为提出假设H0:P1

=P2

=

…

=Pj

(目标变量的各个比例一致)H1:P1

,

P2

,

…

,

Pj

不全相等

(各个比例不一致)计算检验的统计量进行决策:依照显著性水平和自由度(r-1)(c-1)查出临界值2。若22,拒绝H0;若2<2,接受H0拟合优度检验的例子

(例9、1)提出假设H0:P1

=P2

=

P2

=P4

(赞成比例一致)H1:P1

,

P2

,

P3

,

P4不全相等

(赞成比例不一致)计算检验的统计量【例9、1】续前例,检验职工的态度是否与所在单位有关？(0、1)依照显著性水平＝0、1和自由度(2-1)(4-1)=3查出相应的临界值2=6、251。由于2=3、0319<2=6、251,不能拒绝H0,职工的态度与所在单位无关。9、3拟合优度检验应用小结:

独立性检验检验列联表中的行变量与列变量之间是否独立检验的步骤为提出假设H0:行变量与列变量独立H1:行变量与列变量不独立计算检验的统计量进行决策依照显著性水平和自由度(r-1)(c-1)查出临界值2若22,拒绝H0;若2<2,接受H0独立性检验的一个例子【例9、3】一种原料来自三个不同的地区,原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验,结果如下表。检验各地区与原料之间是否存在依赖关系(0、05)地区一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500独立性检验的一个例子提出假设H0:地区与原料等级之间独立H1:地区与原料等级之间不独立计算检验的统计量依照显著性水平＝0、05和自由度(3-1)(3-1)=4查出相应的临界值2

=9、488。由于2=19、82>2＝9、448,拒绝H09、4列联表中的相关测量列联表变量的相关属于品质相关品质相关对品质数据(定类和定序数据)之间相关程度的测度列联表相关测量的指标9、4、1

相关系数9、4、2列联相关系数9、4、3V

相关系数9、4、1

相关系数测度22列联表中数据相关程度的一个量关于22

列联表,

系数的值在0～1之间

相关系数计算公式为

相关系数

(原理分析)一个简化的22列联表因素Y因素X合计x1x2y1aba+by2cdc+d合计a+cb+dn

相关系数

(原理分析)列联表中每个单元格的期望频数分别为将各期望频数代入的计算公式得

相关系数

(原理分析)3、将入

相关系数的计算公式得ad等于bc,=0,表明变量X与Y

之间独立若b=0

,c=0,或a=0

,d=0,意味着各观察频数全部落在对角线上,此时||=1,表明变量X与Y

之间完全相关列联表中变量的位置能够互换,的符号没有实际意义,故取绝对值即可9、4、2列联相关系数用于测度大于22列联表中数据的相关程度计算公式为C的取值范围是0C<1C=0表明列联表中的两个变量独立C的数值大小取决于列联表的行数和列数,并随行数和列数的增大而增大依照不同行和列的列联表计算的列联系数不便于比较9、4、3V相关系数计算公式为

V的取值范围是0V1

V=0表明列联表中的两个变量独立

V=1表明列联表中的两个变量完全相关不同行和列的列联表计算的列联系数不便于比较当列联表中有一行或者一列为2时,min[(r-1),(c-1)]=1,此时V=9、4、4数值分析一个实例【例】一种原料来自三个不同地区,原料质量被分成三个不同等级。从这批原料中随机抽取500件进行检验,结果如下表。分别计算系数、C系数和V系数,并分析相关程度地区一级二级三级合计甲地区526424140乙地区605952171丙地区506574189合计162188150500一个实例(续)解:已知n=500,依照前面的计算＝19、82,列联表为33结论:三个系数均不高,表明产地和原料等级之间的相关程度不高、C、V的比较同一个列联表,、C、V的结果会不同不同的列联表,、C、V的结果也不同在对不同列联表变量之间的相关程度进行比较时,不同列联表中的行与行、列与列的个数要相同,同时采纳同一种系数9、5列联分析中应注意的问题9、5、1条件百分表的方向9、5、2c2分布的期望值准则9、5、1条件百分表的方向一般是把自变量放在列的位置,条件百分表也多按自变量的方向计算。便于表现原因对结果的影响。一分公司二分公司三分公司四分公司合计赞成68755779279反对32453331141合计100120901104209、5、2c2分布的期望值准则假如只有两个单元,要求每个单元的期望频数不小于5假如有两个以上单元、要求20%的单元的期望频数不小于5。解决方法:合并单元Pearson检验的应用2

——样本齐一性检验列(cj)合计j=1j=2…样本1f11f12…r1样本2f21f22…r2:::::合计c1c2…nPearson检验的应用3

——总体是否服从某种分布

卡方检验:Pearson定理Pearson定理是基于实际频数与理论频数之间的差异得出的。总频数为n,fi

为第i组的频数,pi为观测值落在第i组的理论概率。依照概率的相对频数定义,观测值落在第i组的概率的估计值为fi

/n。能够想象,假如随机变量x服从某种分布的话,那么把观测值适当分组后,观测值落入每个组内的频率应该与相应组内的理论概率值相近。皮尔逊检验是一种特别重要且简便的非参数检验。它既可用于分布拟合检验,也可用于独立性、样本齐一性等检验。一、什么是分布拟合分布拟合,是指经验分布与理论概率分布的拟合。分布拟合检验,是判定依照实际数据提出的假设分布与理论分布是否相符。皮尔逊检验的基本步骤1、提出关于总体X的基本假设H0

;2、对来自X的一组样本值,将其分为r组:,以vi表示观察值落入第i组的个数——实际观测频数;3、在基本假设H0成立的条件下,计算落入第i组的期望个数——理论期望频数;其中4、计算检验的统计量5、确定假设H0的否定域在基本假设H0成立的条件下,当样本容量n充分大时,统计量近似服从自由度为v=r–

m-1的

分布,其中r为组数,m为总体分布中的未知参数的个数。Pearson检验中分组的个数Pearson检验统计量的分布的自由度取决于分组的个数,因此,为了幸免分组时的任意性,一般要求每个类别的理论频数大于等于5。假如某个类别的频数低于5