数据基础分析及研究 1

马秀麟社会科学统计软件及应用2019年4月第6讲对不明形态数据的差异性检验

（非参数检验）线上模拟与自诊断系统利用学校提供的虚拟桌面下载虚拟桌面程序安装虚拟桌面运行“考试系统”程序以“msp学号”登录，目前：客观题和Excel题自动评分SPSS题人工阅卷。一、差异显著性检验基本算法0、差异显著性检验基本算法高测度正态数据——参数检验方法T检验方差分析高测度非正态数据通过技术手段转化为近正态分布，然后借助参数检验手段利用秩分(排列定距变量的秩分)利用符号利用频数（或百分比）正态得分——对定距变量计算其正态得分直接使用非参数检验算法一、差异显著性检验基本算法差异显著性检验的其他算法卡方期望检验——与期望值对比游程检验面向交叉表的卡方检验二项分布检验一、差异显著性检验基本算法

一、差异显著性检验基本算法(3)卡方检验的用法(1)面向期望值的卡方检验已有观测数据，然后还有期望比例，检验实际观测数据是否符合期望比例。操作方法：菜单分析—非参数检验—旧对话框—卡方细项选择“检测量”分区段的频数设置“期望值”数据输入数值添加新值执行，“确定”按钮注意：如果选中“所有类别相同”，则是“均匀”检验一、差异显著性检验基本算法2、卡方检验的推广(1)基于交叉列联表进行卡方（X2）检验基本条件对于不满足正态分布的变量或者变量为低测度的定序、定类变量不适合进行参数检验的变量目标实施多组数据（非正态数据）的差异性检验多组数据可来自同一个变量，此时需借助另外的变量进行分组一、差异显著性检验基本算法(2)低测度数据的特点及分析思路特点区分度低不便于用均值检查其差异性思路期望在各个分类上的频数是均匀的（交叉表频数均衡）计算其频数，分析频数间的逻辑关系（求其卡方距离）利用卡方值，决定两变量间的关系美术系中文系计算机系物理系艺术451120文学215731科学1152742一、差异显著性检验基本算法操作过程菜单分析—描述统计—交叉表细项选择行变量（定序或定类量）选择列变量（待分析差异性的量，定序或定类量）在“统计量”中选择“卡方”。还可以选择其他的复选框，比如：肯德尔系数等最后，执行“确定”按钮。注意：一定不能选择连续变量。例如：检测几个院系的男女生分布情况是否相同。检测几个院系在语文、数学成绩上是否没有显著性差异（应先对成绩进行分段、编码，基于编码分析）一、差异显著性检验基本算法3、游程检验(Run检验)(1)概念在变量序列中，连续出现的取值相同的数据称为游程。例如：序列中：1112223444445，111/222/3/44444/5都被称为游程。(2)目标检验样本所代表总体的分布是否满足随机性。(3)思路对于有序序列，按照某一规则划分为2组，检查其组号的游程数量。若游程数较大，则随机分布；否则为非随机分布一、差异显著性检验基本算法

(4)基本要求事先基于某一变量的有序序列——在其他变量上的分布是否随机被检验变量必须是整数型；被检验变量是定类或者定序型，不是连续的定距型变量(5)操作方法准备数据准备一列数据，数据类型为定类的编号或者定序的序号，必须为整数型。例如：全校大排名后，从第一名开始依次罗列出的学生所在班级号。或者对全校学生成绩（百分制）除以20并取整，变成5分制，按照学号排列。检验成绩是否随机分布。一、差异显著性检验基本算法菜单分析—非参数检验—旧对话框—游程细项选择“检验变量”；选择“检验类型”（即割点方式）左下角“割点”处，选择一种计算方式执行“确定”按钮。一、差异显著性检验基本算法阅读检验结果观察对应分布形态之下的检验概率P。若P>0.05，满足随机分布。若P<0.05，不满足随机分布。一、单样本的几种检验（拟合）检查“语文”成绩在不同专业是否随机分布请先按照“语文分”排序；对“专业”字段实施“游程”检验。一、差异显著性检验基本算法4、二项分布检验概念与适应性概念二项分布检验是专门针对结果变量为二元数据，然后基于已有的数据分析事件发生概率的检验方式。适应性检验变量的值域只有2个形态，具有很低的区分度。基本方法检验事件发生的概率是否与指定的值有显著性差异二项分布检验的目标通过样本数据分析研究的总体是否满足：服从指定概率值p的二项分布一、差异显著性检验基本算法操作方法——二项分布检验菜单分析—非参数检验—旧对话框—二项分布细项选择“检验变量”在Test框中输入检验概率值（基准值）选择变量值类型（左下角）若检验变量已经是二元变量，则直接选“从数据中获取”若检验变量不是二元变量，则选“割点”,输入分界值。小于此值的观察值达到某一百分比的可能性。执行“确定”按钮一、差异显著性检验基本算法阅读检验结果观察对应分布形态之下的检验概率P。若P>0.05，满足所测验的分布形态若P<0.05，不满足所测验的分布形态。一、差异显著性检验基本算法5、单样本判定的概念单样本判定在差异性检验中的地位如果与期望值（指定标准值）进行差异性检验单样本的数据判定如果与标准分布进行比较单样本的分布形态检验如果与另一样本组进行差异性检验普通的非参数的差异性检验一、差异显著性检验基本算法基本目标判断单样本是否满足某一特点（拟合优度）判断单样本中数据达到某一指标的可能性基于割点的二项式的判定判断单样本中的取值是否满足某一期望序列基于期望值的卡方检验判断单样本是否满足随机分布基于游程的检验判断单样本是否满足某一分布形态（分布检验）正态分布、指数分布与泊松分布判定K-S检验随机分布基于游程的检验一、差异显著性检验基本算法6、K-S拟合优度检验含义K_S分布检验的目标是检查样本的分布是否满足某种数学模型。例如，检查某一分布是否符合正态分布模型？K-S检验的算法首先，在0假设成立的前提下，计算各观测值在理论分布中出现的理论累计概率；其次，计算样本观测值的实际累计概率；第三，计算理论累计概率与实际累计概率的差值；第四，计算出二者差值之中的最大绝对值D，此值就是K-S统计量。根据D统计量的概率p作为检验概率。一、差异显著性检验基本算法K-S检验的用途检查样本是否符合某种分布模型正态分布、泊松分布、指数分布等检验两列数据是否没有分布的差异性补充说明K-S检验的本质仍然是检查不明分布形态的两列数据是否不存在分布的差异性。如果以某一标准分布模型为基准，差异性检验就会变成检测当前样本是否符合某种分布形态的检验。一、差异显著性检验基本算法操作方法1——以K-S检验判断单样本分布形态菜单分析—非参数检验—旧对话框—1样本K-S细项选择“检验变量”选择分布类型在左下角，“常规”即正态分布检验执行“确定”按钮阅读检验结果观察对应分布形态之下的检验概率P。若P>0.05，满足所测验的分布形态若P<0.05，不满足所测验的分布形态。注意：对于小容量样本，建议使用“精确”方式进行判定二、非参数检验的概念1、非参数检验的目标对不明分布形态数据的检验不明形态数据数据的形态不满足正态分布数据的测量区分度差（定类数据、二元数据作为因变量）数据样本量过少如何解决不明形态数据的检验直接使用非参数检验方法通过技术手段转化为近正态分布，然后借助参数检验手段利用秩分(排列定距变量的秩分)利用符号利用频数（或百分比）正态得分——对定距变量计算其正态得分二、非参数检验的概念非参数检验的主要内容检查样本的类型与分布特点——单样本检验K-S检验面向期望的卡方检验二项分布检验单样本的分布随机性检验——游标检验进行差异性检验——多组样本检验基于交叉表的卡方检验两独立样本的差异性检验多独立样本的差异性检验两关联样本的差异性检验多关联样本的差异性检验三、独立样本的非参数检验1、独立样本非参数差异性检验的概念基本特点对样本的分布的要求不满足正态、或样本的测量区分度不强样本来源于不同的总体，或者是对不同样本的多次抽样几组样本数据之间没有一一对应的关联性检验的方式不通过均值比较其差异性通过分布形态比较其差异性分类两独立样本对比多独立样本的对比三、独立样本的非参数检验2、两独立样本的分布差异性检验检验方法曼-惠特尼U检验即WilcxonW(威尔克科逊)等级和检验，本质上是一种检验平均秩的检验。即把全部样本混在一起求秩，然后根据两组样本的平均秩分求取差异。摩西极端反应的差异检验（MosesExtremereaction）这是通过检验极端值反应的差异检验。即对全体样本混合求秩分，根据两端的极端秩分值确定其差异性。三、独立样本的非参数检验两独立样本的K-S检验这是基于秩分累计频数的检验方式。即对全体样本混合求取秩分，然后针对秩分的累计频数或累计频率进行差异性检验。沃尔德-沃尔夫威茨游程检验这是基于秩分排列的游程检验。即对全体样本混合求取秩分，基于秩分变量形成游程标记。通过对标记的游程检验，判断两组样本在混合序列中的排列是否为随机的。若两组样本在混合序列中的排列是随机的，则两组样本之间没有显著性差异。三、独立样本的非参数检验实现过程菜单分析——非参数检验——旧对话框——2个独立样本细项选择“检验量”可以选择一项，也可以选择多项选择“分组变量”务必定义分组变量，以便把数据分为2组2组样本值对应比较选择“检验类型”选择其他参数（可选）最后，执行“确定”。三、独立样本的非参数检验阅读执行结果观察检验概率sig：检验概率《0.05，则分布有显著性差异检验概率>0.05，则分布无显著性差异观察不同类型的检验策略所获得的检验效果：三、独立样本的非参数检验2、多独立样本的差异性检验概念与说明存在多组独立样本，样本值不满足参数检验的条件多组样本之间可能有相互影响多组样本可来源于不同数据列，也可来源于基于同一因素的分组三、独立样本的非参数检验检验算法K-W平均秩检验（Kruskal-WailisH）这是一种平均秩的差异性检验。相当于基于秩分的一种方差分析。中位数检验（Median）这是基于数据中位数的差异的检验。基本思路：求取混合后数据的中位数，利用卡方分布统计量来计算每个样本组内中位数两侧个案数的差异性。分组分布检验（Jonckheere）这是通过检验多个样本组是否具有相同分布来判断差异性的方法。样本的分组根据分组变量定义。三、独立样本的非参数检验实现过程菜单分析——非参数检验——旧对话框——多个独立样本细项选择“检验量”可以选择一项，也可以选择多项选择“分组变量”【必选】务必定义分组变量，以便把数据分为多组选择“检验类型”选择其他参数（可选）最后，执行“确定”。注意：准备好分组变量尤其重要。对于原来位于多列中的对比变量，需先整理到1列内。三、独立样本的非参数检验示例例如1：文档xx.sav中给出了全校15个院系学生的计算机分级考试成绩单。由于数据比较分散，不符合正态分布的要求。请检查各个院系同学的计算机分级考试成绩是否有显著性的差异。例如2：文档xx.xls中的三张数据表中给出了哲学系学生的历史、哲学、数学成绩单。由于数据比较分散，学生成绩不符合正态分布的要求，而且历史成绩、哲学成绩和数学成绩分别位于3张表中，不存在一一对应的关系。请检查哲学系同学的历史、哲学和数学成绩是否有显著性的差异。三、独立样本的非参数检验阅读执行结果观察检验概率sig：检验概率《0.05，则分布有显著性差异检验概率>0.05，则分布无显著性差异观察不同类型的检验策略所获得的检验效果：四、关联样本的非参数检验1、非正态分布关联样本的非参数检验(1)基本特点对样本的分布的要求不满足正态、或样本的测量区分度不强样本来源于同一总体，或者是对相同样本的多次抽样几组样本数据之间存在一一对应的关联性检验的方式不可以通过均值比较其差异性通过分布形态比较其差异性(2)分类两关联样本对比多关联样本的对比四、关联样本的非参数检验2、两关联样本的分布差异性检验检验方法符号平均秩检验（Wilcoxon）即基于符号检验的方法，本质上是一种检验平均秩的检验。即把样本的两次观测值相减，记录差值的符号和绝对值，并基于绝对值升序求秩分，比较两组数据正值秩分与负值秩分，从而确定其差异性。纯符号检验（Sign）这也是通过符号检验的方法，但它仅仅通过正负号进行检验，适合于极低测度的非定距数据。即对样本的两次测量值相减求取符号，根据符号情况确定其差异性。四、关联样本的非参数检验变化显著性检验（McNemar）基于两次测量差值情况的检验方法，仅适用于两个变量均为二分数据的情况。即把样本的两次观测值相减，记录差值，然后通过校验公示处理后，求取卡方值。基于卡方检验决定其差异性。边缘一致性检验（MarginalHomo）基于两次测量差值情况的检验方法，但变量不局限于二分数据，还可以面向多值的分类变量。主要通过把先后测量的两组样本值进行卡方检验。四、关联样本的非参数检验实现过程菜单分析——非参数检验——旧对话框——2个关联样本细项选择“检验量1”选择“检验量2”选择“检验类型”选择其他参数（可选）最后，执行“确定”。说明：有时可同时选择多组数据。四、关联样本的非参数检验阅读执行结果观察检验概率sig：检验概率《0.05，则分布有显著性差异检验概率>0.05，则分布无显著性差异观察不同类型的检验策略所获得的检验效果：四、关联样本的非参数检验示例例如1：文档xx.sav的结构如下：学号、单位、性别、姓名、历史、哲学、数学成绩单。由于数据比较分散，学生成绩不符合正态分布的要求，但历史成绩、哲学成绩和数学成绩与学号都存在一一对应的关系。请检查哲学系同学的历史和哲学成绩对之内、数学与哲学成绩之内是否有显著性的差异。四、关联样本的非参数检验2、多配对样本的差异性检验概念与说明存在多组配对的检测量，检测量的分布及属性不满足参数检验的条件多组样本之间可能有相互影响多组样本可来源于不同数据列，也可来源于基于同一因素的分组，但数据之间一定存在一一对应的关联性四、关联样本的非参数检验检验算法双向等级方差分析（FriedMan）这是基于K个变量降序秩分的差异性检验。即基于秩分的一种方差分析，先对样本的K个检测量进行降序求秩分，然后按照秩分做方差分析。比较适合于定序变量的数据分析。肯德尔和谐系数检验（Kendall）这是基于肯德尔和谐系数的差异性检验。基本思路：计算K个检测量的肯德尔和谐系数来判断观测值的分布是否具有一致性。其解决手段也是基于秩分的平均等级分析。比较适合于定序变量的处理。四、关联样本的非参数检验二