信效度分析课件

信度分析（ReliabilityAnalyze）指采用同样的方法对同一对象重复测量时所得结果的一致性程度，多以相关系数表示信度高低，此时相关系数可称为信度系数。定义重测信度法、复本信度法、同质性信度法（分半信度法、库德-理查逊（Kuder&Richardson）信度法、Cronbachα信度系数法）常用方法第1页/共49页信度分析（ReliabilityAnalyze）一、重测信度法定义：用同样的量表（测验或问卷）对同一组被调查者间隔一定时间重复施测，计算两次施测结果的相关系数，又称稳定系数（跨时间的一致性）要求：同一量表试测两次前后，被调查者不受到外界因素影响，前后无差异适用范围：事实式问卷（如性别、出生年月）和少数态度、意见式问卷（兴趣、爱好、习惯）局限：由于重测信度法需要对同一样本试测两次，被调查者容易受到各种事件、活动和他人的影响，而且间隔时间长短不好把握也有一定限制因此在实施中有一定困难第2页/共49页信度分析（ReliabilityAnalyze）二、复本信度法定义：让同一组被调查者一次填答两个量表，计算两个量表结果的相关系数，又称等值系数（跨形式的一致性）要求：两个量表为平行测验两份问卷除表述方式不同外，在内容、格式、题数、难度和对应题项的提问方向、指导语说明等方面要完全一致

两份试卷试题类型完全相同，难易程度相当，但具体题目不同局限：构造出两份或两份以上的真正平行量表，是一个很难达到的条件，因此采用这种方法者较少第3页/共49页信度分析（ReliabilityAnalyze）三、分（拆、对）半信度法定义：将量表中的调查项目或试题分为尽可能相等的两半，计算两半得分的相关系数，又称内在一致性系数（跨项目的一致性），记为rhh分半方法：按前后、或题号基偶、或题目难度、或题目内容等用斯皮尔曼-布朗（Spearman-Brown）公式进行校正，求出整个样本的信度系数，记为rxxrxx=2rhh/（1+rhh）要求：问卷或试卷能分成两个平行的量表，类似复本信度法适用范围：态度、意见式问卷（常见形式是5级李克特（Likert）量表）局限：如果一个测试量表无法分成对等的两半则不宜使用分半信度法第4页/共49页信度分析（ReliabilityAnalyze）四、库德-理查逊（Kuder&Richardson）信度法概念：一套常用的测验可靠性的方法，依一定公式估量测验的内部一致性，作为信度的指标，它克服部份折半法的缺点，是目前研究最常使用的信度指标，它是测量一组同义或平行测验“总和”的信度适用范围：并非全是二分计分的量表五、克隆巴赫（Cronbach）α信度系数法适合用于题目全部为二分计分法的量表内部一致性信度分析第5页/共49页信度分析（ReliabilityAnalyze）信度评价标准rxx=1信度达到最高rxx

=0信度降到最低rxx

>0.9信度很高0.8<rxx

<0.9信度较高0.7<rxx

<0.8可接受rxx

<0.7存在问题（备注：在一般情况下，信度系数不会高到1.00，也不会降到0.00，而是在两者之间；标准化测试的信度系数要求在0.90以上，课堂测试的信度系数则以0.70-0.80之间为可接受性系数）第6页/共49页信度分析（ReliabilityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss第7页/共49页信度分析（ReliabilityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→Scale→ReliabilityAnalyze4.指定变量5.选择信度估计方法第8页/共49页信度分析（ReliabilityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→Scale→ReliabilityAnalyze4.指定变量5.选择信度估计方法6.单击OKα信度系数大于0.7，可接受第9页/共49页信度分析（ReliabilityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→Scale→ReliabilityAnalyze4.指定变量5.选择信度估计方法6.单击OK第10页/共49页信度分析（ReliabilityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→Scale→ReliabilityAnalyze4.指定变量5.选择信度估计方法6.单击OK分半信度系数大于0.8，信度较高第11页/共49页效度分析（ValidityAnalyze）指测量工具或手段能够准确测出所需测量的事物的程度，即在多大程度上反映了事物的客观真实性。定义内容效度、准则效度、结构效度类型第12页/共49页一、内容效度分析定义：又称表面效度、逻辑效度，分析所设计的题项能否代表所要测量的内容或主题方法：逻辑分析+统计分析效度分析（ValidityAnalyze）第13页/共49页一、内容效度分析定义：分析所设计的题项能否代表所要测量的内容或主题方法：逻辑分析+统计分析效度分析（ValidityAnalyze）逻辑分析由研究者或专家评判所选题项是否“看上去”符合测量的目的和要求如成绩测验就是看题目能体现教学目标与教材要求的程度，由专家把所有的题目按照考试内容和考查目标分布进行双向分类，形成“题目双向分类表”与测验之前的“命题双向细目表”进行比较来分析第14页/共49页一、内容效度分析效度分析（ValidityAnalyze）表1题目双向细目表表2命题双向细目表第15页/共49页一、内容效度分析定义：分析所设计的题项能否代表所要测量的内容或主题方法：逻辑分析+统计分析效度分析（ValidityAnalyze）统计分析采用单项与总和相关分析法获得评价结果，即计算每个题项得分与题项总分的相关系数，根据相关是否显著判断是否有效第16页/共49页二、准则效度分析定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系方法：相关分析或差异显著性检验效度分析（ValidityAnalyze）第17页/共49页二、准则效度分析定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系方法：相关分析或差异显著性检验效度分析（ValidityAnalyze）自编测试PISA测试效标数据1数据2相关分析或差异显著性检验第18页/共49页二、准则效度分析定义：又称效标效度或效标关联效度，根据已经得到确定的某种理论，选择一种指标或测量工具作为准则（效标），分析量表题项与准则的联系方法：相关分析或差异显著性检验局限：选择一个合适的准则往往十分困难，使这种方法的应用受到一定限制效度分析（ValidityAnalyze）第19页/共49页三、结构效度分析定义：测量结果体现出来的某种结构与测值之间的对应程度，即题目是否能够测量到理论上的某种结构方法：主成分因子(因素)分析效度分析（ValidityAnalyze）第20页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构效度分析（ValidityAnalyze）主成分因子分析第21页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构效度分析（ValidityAnalyze）主成分因子分析主成分因子分析方法的优点考察各个因子与假设的结构维度之间的对应吻合关系，进而对原始量表中的题目进行筛选，重新调整结构将一些有较高关联度的原始观测变量合并在一个因子之下作进一步的分析讨论，达到缩减变量的数目和简化数据分析的目的第22页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）效度分析（ValidityAnalyze）主成分因子分析第23页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）效度分析（ValidityAnalyze）主成分因子分析KMO（Kaiser-Meyer-Olkin）检验原理：比较各原始变量间的简单相关系数和偏相关系数的大小评判标准：KMO值在0-1之间，KMO值越接近1，就越适合做因子分析KMO值

0.9~1效果最佳0.8~0.9效果较好0.7~0.8效果尚可0.6~0.7效果较差0.5~0.6最低水平0.5以下不适合第24页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）效度分析（ValidityAnalyze）主成分因子分析巴特利特球形检验（BartlettTestofSphericity）原理：由于做因子分析需要一个单位矩阵，因此此检验用于考察变量的相关系数是否为一个单位矩阵评判标准：巴特利特球形检验的卡方值必须达到显著水平，即P<0.05第25页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（FactorLoading）、因子旋转（FactorRotation）效度分析（ValidityAnalyze）主成分因子分析第26页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（FactorLoading）、因子旋转（FactorRotation）效度分析（ValidityAnalyze）主成分因子分析特征根（Eigenvalue）因子影响力的指标，代表引入该因子后可以解释平均多少原始变量的信息，它也是确定主成分的数量（提取因子的数量）的根据，特征根的值越大，说明该因子越重要变量共同度（Communalities）解释某一变量有多大比率是由某一因子所决定的，其值等于变量在所有因子上的载荷量平方值的总和，取值在0-1之间，值越大，说明该原始变量能被因子说明的程度越高因子载荷（FactorLoading）反映因子和各个原始变量之间的密切程度，也反映某一因子对某一变量所作贡献大小的指标，其值等于因子与各原始变量间的相关系数，绝对值越大，说明因子对该原始变量的影响程度越大，贡献程度越高因子旋转（FactorRotation）就是一种坐标转换，使因子载荷的差异尽可能变大，让每个原始变量在尽可能少的因子上有较高的载荷，即尽可能让每个原始变量只跟一个因子有较高的相关性，才好将变量归为那个因子之下第27页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（FactorLoading）、因子旋转（FactorRotation）确定公共因子数量的原则与方法：Kaiser原则、“碎石图”检验法（Screetest）、累积贡献率效度分析（ValidityAnalyze）主成分因子分析第28页/共49页三、结构效度分析定义：从量表全部变量（每一题代表一个变量）中提取一些公共因子，各公共因子分别与某一群特定变量高度关联，这些公共因子即代表了量表的基本结构要求：各原始变量之间要有相关性，如果变量之间没有共同包含的信息，将无法从中提取因子常用的检验方法：KMO（Kaiser-Meyer-Olkin）检验、巴特利特球形检验（BartlettTestofSphericity）相关统计量：特征根（Eigenvalue）、变量共同度（Communalities）、因子载荷（FactorLoading）、因子旋转（FactorRotation）确定公共因子数量的原则与方法：Kaiser原则、“碎石图”检验法（Screetest）、累积贡献率效度分析（ValidityAnalyze）主成分因子分析主成分因子分析所提取的因子数量是那些特征根的值大于1的因子数量（注意：采用Kaiser原则确定因子数量时，量表的题目最好不要超过30个，题目的平均共同度最好在0.7以上，如果样本数量大于250名，则题目的平均共同度应该在0.6以上；如果量表题目在50个以上了，可能会提取过多的因子）Kaiser原则：“碎石图”检验法（Screetest）提取公共因子数量是碎石图中最大拐点前“碎石”的数量累积贡献率贡献率是指各因子所提供的方差占总方差的百分比，贡献率越高，说明该因子所能代表的原始信息量越大。根据前几个成分累计贡献率所达到的百分比来确定，当累计贡献率达到80%时，即此前有K个成分所包含的信息占总信息的80%，就取这K个成分作为公共因子第29页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss第30页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue第31页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue第32页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue第33页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK0.35第34页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK第35页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OKKMO=0.797,约等于0.8，P<0.05,达到显著水平，表明该数据适合做主成分因子分析第36页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK变量共同度表变量的初始共同度第37页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK变量共同度表提取公共因子后变量的共同度第38页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK从左至右依次为特征值、贡献率、累积贡献率第39页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK前6个因子的特征值大于1，最大拐点处在第7个因子第40页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK旋转前各原始变量与各公共因子之间的相关系数矩阵第41页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan0.35→OK旋转后各原始变量与各公共因子之间的相关系数矩阵第42页/共49页效度分析（ValidityAnalyze）SPSS操作步骤：1.创建数据文件2.将数据文件导入spss3.Analyze→DateReduction→FactorAnalyze4.指定变量5.Descriptives→KMO选项→Continue6.Extraction→Screeplot→Continue7.Rotation→Varimax→Continue8.Option→Sortedbysize、Suppressabsolutevalueslessthan→OK旋转后各原始变量与各公共因子之间的相关系数矩阵