调查问卷的信度效度分析方法

调查问卷的信度效度分析方法 问卷调查法是教育研究中广泛采用的一种调查方法 根据调查目的 设计的调查问卷是问卷调查法获取讯息的工具 其质量高低对调查 结果的真实性 适用性等具有决定性的作用 为了保证问卷具有较 高的可靠性和有效性 在形成正式问卷之前 应当对问卷进行试测 并对试测结果进行信度和效度分析 根据分析结果筛选问卷题项 调整问卷架构 从而提升问卷的信度和效度 信度和效度分析的方 法包括逻辑分析和统计分析 本文主要讨论后者 一 信度分析 信度 Reliability 即可靠性 它是指采用同样的 方法对同一对象重复测量时所得结果的一致性程度 信度指标多以 相关系数来表示 大致可分为三类 稳定系数 跨时间的一致性 等值系数 跨形式的一致性 和内在一致性系数 跨项目的一致性 若以信度系数来表示信度的大小 信度系数越大 表示测量的可信 程度越大 究竟信度系数要多少才算有高的信度 学者 DeVellis 1991 认为 0 60 0 65 最好不要 0 65 0 70 最小可 接受值 0 70 0 80 相当好 0 80 0 90 非常好 由此 一份 信度系数好的量表或问卷 最好在 0 80 以上 0 70 至 0 80 之间还算 是可以接受的范围 分量表最好在 0 70 以上 0 60 至 0 70 之间可以 接受 若分量表的内部一致性系数在 0 60 以下或者总量表的信度系 数在 0 80 以下 应考虑重新修订量表或增删题项 信度分析的方法主要有以下四种 1 重测信度法 这一方法是用同样的问卷对同一组被调查者间隔 一定时间重复施测 计算两次施测结果的相关系数 显然 重测信 度属于稳定系数 重测信度法特别适用于事实式问卷 如性别 出 生年月等在两次施测中不应有任何差异 大多数被调查者的兴趣 爱好 习惯等在短时间内也不会有十分明显的变化 如果没有突发 事件导致被调查者的态度 意见突变 这种方法也适用于态度 意 见式问卷 由于重测信度法需要对同一样本试测两次 被调查者容 易受到各种事件 活动和他人的影响 而且间隔时间长短也有一定 限制 因此在实施中有一定困难 2 复本信度法 复本信度法是让同一组被调查者一次填答两份问 卷复本 计算两个复本的相关系数 复本信度属于等值系数 复本 信度法要求两个复本除表述模式不同外 在内容 格式 难度和对 应题项的提问方向等方面要完全一致 而在实际调查中 很难使调 查问卷达到这种要求 因此采用这种方法者较少 3 折半信度法 折半信度法是将调查项目分为两半 计算两半得 分的相关系数 进而估计整个量表的信度 折半信度属于内在一致 性系数 测量的是两半题项得分间的一致性 这种方法一般不适用 于事实式问卷 如年龄与性别无法相比 常用于态度 意见式问卷 的信度分析 在问卷调查中 态度测量最常见的形式是 5 级李克特 Likert 量表 进行折半信度分析时 如果量表中含有反意题项 应先将反意题项的得分作逆向处理 以确保各题项得分方向的一致 性 然后将全部题项按奇偶或前后分为尽可能相等的两半 计算二 者的相关系数 rhh 即半个量表的信度系数 最后用斯皮尔曼 布 朗 Spearman Brown 公式 ru 2rhh 1 rhh 求出整个量表的信度系 数 ru 4 信度系数法 Cronbach 信度系数是目前最常用的信度系 数 其公式为 n n 1 1 Si2 ST2 其中 n 为量表中题项的总数 Si2 为第 i 题得分的题内方差 ST2为 全部题项总得分的方差 从公式中可以看出 系数评价的是量表 中各题项得分间的一致性 属于内在一致性系数 这种方法适用于 态度 意见式问卷 量表 的信度分析 二 效度分析 效度 Validity 即有效性 它是指测量工具或手 段能够准确测出所需测量的事物的程度 效度分为三种类型 内容 效度 Face Validity 准则效度 Criterion Validity 和架构效度 Construct Validity 效度分析有多种方法 其测量结果反映效度的 不同方面 常用于调查问卷效度分析的方法主要有以下几种 1 单项与总和相关效度分析 这种方法用于测量量表的内容效度 内容效度又称表面效度或逻辑效度 它是指所设计的题项能否代表 所要测量的内容或主题 对内容效度常采用逻辑分析与统计分析相 结合的方法进行评价 逻辑分析一般由研究者或专家评判所选题项 是否 看上去 符合测量的目的和要求 统计分析主要采用单项与 总和相关分析法获得评价结果 即计算每个题项得分与题项总分的 相关系数 根据相关是否显著判断是否有效 若量表中有反意题项 应将其逆向处理后再计算总分 2 准则效度分析 准则效度又称为效标效度或预测效度 准则效 度分析是根据已经得到确定的某种理论 选择一种指标或测量工具 作为准则 效标 分析问卷题项与准则的联系 若二者相关显著 或者问卷题项对准则的不同取值 特性表现出显著差异 则为有效 的题项 评价准则效度的方法是相关分析或差异显著性检验 在调 查问卷的效度分析中 选择一个合适的准则往往十分困难 使这种 方法的应用受到一定限制 3 结构效度分析 结构效度是指测量结果体现出来的某种结构与 测值之间的对应程度 架构效度分析所采用的方法是因子分析 有 的学者认为 效度分析最理想的方法是利用因子分析测量量表或整 个问卷的架构效度 因子分析的主要功能是从量表全部变量 题项 中提取一些公因子 各公因子分别与某一群特定变量高度关联 这 些公因子即代表了量表的基本架构 透过因子分析可以考察问卷是 否能够测量出研究者设计问卷时假设的某种架构 在因子分析的结 果中 用于评价架构效度的主要指标有累积贡献率 共同度和因子 负荷 累积贡献率反映公因子对量表或问卷的累积有效程度 共同 度反映由公因子解释原变量的有效程度 因子负荷反映原变量与某 个公因子的相关程度 为了提升调查问卷的质量 进而提升整个研 究的价值 问卷的信度和效度分析绝非赘疣蛇足 而是研究过程中 必不可少的重要环节 Cronbach 系数 柯隆巴哈 Cronbach 1951 提出计算一个测量系统 问卷或测验 的信度称为 Cronbach 系数 简称 系数 是目前社会科会研究 最常使用的信度 当一个研究主题 或构面 由很多项目组合 每 个问项都与主题相关 由总分的变异数与问项的变异数做为评量信 度的指标即为 系数 01 Cronbach 系数的定义 利用各问项变异数之和与整份量表分数的变异数的比值 可用来估 计一份量表的信度 柯隆巴哈 Cronbach 提出 系数为 此式为最常作为信度指标 其中 s2i表示第 i 个问项 xi的变异数 s2H 表所有问项总和 H x1 x2 xn 的变异数 即整份测验分数的 变异数 n 是问项个数 02 Cronbach 系数的实施技巧 要做信度分析需先检查每个问项是否都是同方向的 即都是正面问 法 也就是题间的相关系数都是正的 如有一题与其它题相关系数 都是负的 应考虑将此题先 变号 或 删除 后再进行计算 系 数 如有受测者乱答 可将它的数据删除后再算 值 对问卷调查当有题目与其它题目是负相关时须注意是否反向问法 如是 则应先将得分反向 再计算 信度或是删除该题 若为测验 则不能做反向处理 只能做删除题目 03 标准化 Cronbach 系数的定义 若一份量表有 n 题 题间的平均相关系数为 r 则此量表的标准化 系数为 04 利用 SPSS 进行信度分析 在 SPSS 中 专门用来进行测验信度分析的模块为 Scale 下的 Reliability Analysis 使用 Data Reduction 之下的 Factor 模块 Reliability Analysis 模块主要功能是检验测验的信度 主要用来检验 折半信度 库李及 a 系数以及 Hoyt 信度系数值 至于重测信度和复 本信度 只需将样本在二次 份 测验的分数的数据合并到同一数 据文件之后 利用 Correlate 之下的 Bivariate 求其相关系数 即为重 测或复本信度 而评分者信度则使用的 Spearman 等级相关及 Kendall 和谐系数 表 1 Reliability Analysis 模块的 Model 选项的参数术语 关键词功 能 AlphaCronbach a 系数 Split half折半信度 n 是第二份量表的题数 GuttmanGuttman 最低下限真实信度法 Parallel各题目变异数同质时的最大概率 maximum likelihood 信度 Strict parallel各题目平均数与变异数均同质时的最大概率信度 表 2 Reliability Analysis 模块的 Statistics 部分选项的参数术语 关键词功 能 F testHoyt 信度系数 Friedman ChiFriedman 等级变异数分析及 Kendall 和谐系数 Cochran ChiCochran s Q 检验 适用于答案为二分 如是非题 的量表 Hotelling s THotelling s T2 检验 Tukey sTukey 的可加性检验 Intraclass量表内各题目平均数相关系数 建议进行因素分析之样本数宜大于 330 份 论文 A first course in factor analysis 出处 New York Academic Press 1973 作者 Comrey A L 在因素分析前先以 KMO 抽样适合性衡量 Kaiser Meyer Olkin 和 巴列特球型检定 Bartlett s Test of Sphericity 当 KMO 值愈大 时 表示变项间的共同因素愈多 愈适合进行因素分析 根据学者 Kaiser 1974 观点 如果 KMO 的值小于 0 5 时 较不宜进行因素分 析 Kaiser H F An Index of Factorial Simplicity Psychometrika 39 1974 pp 31 36 KMO 是做主成分分析的效度检验指标之一 以前的文献中写说 KMO 在 0 9 以上 非常适合做因子分析 在 0 8 0 9 之间 很适合 在 0 7 0 8 之间 适合 在 0 6 0 7 之间 尚可 在 0 5 0 6 之间 表示 很差 在 0 5 以下应该放弃 量表题之处理 量表题的运用 通常是因为用一题无法完整测量某一个变量 因而 需要使用数道题目来表示一个变量 然而这些题目真的能有效并一 致地指涉同一个变项吗 这时我们便需要透过因素分析与信度分析 来检视量表的信 效度 因素分析 量表题组是否具有效度 这组题目是否测量同一面向 或同一因素 其能解释的变异量又有多高 便需要靠因素分析来检验 1 选择分析 数据缩减下之因子 2 将量表题组 请注意 只能同时放一组量表 如同侪关系量表 切勿将多组量表或所有的题目一起点选进去 点选至右边之窗格 3 按下描述性统计量 勾选 KMO 与 Bartlett 球形检定 4 萃取选择 主成分 分析 并选择 陡坡图 5 至选项内勾选 依据因素负荷排序 全都选完后 即可按下确 定 1 KMO 与 Bartlett 检定 是在检定量表题组之间的相关 1 Bartlett 量表题组是用来测量一个变项 因此应具有一定的相 关程度 当 Bartlett 检定达显著 显著性 000 即表示此题 组具有共同之因素 一或数个因素 2 KMO 然而题组间的相关程度若太高 则会造成多重共线性 的问题 也就是说相关程度特别高的题目 事实上就是同一题 拆成数题 如此便不符合设计量表题的原意 也会造成重复解 释 过度膨胀解释力的后果 因此接着要看 KMO 取样适切性 量数 KMO 必须要在 0 6 以上 KMO 越接近 1 表示量表题 目间的相关情形良好 越适合进行因素分析 2 解说总变异量 在此会从题组中采用主成分分析法选择出数个成 分 并指出成分中的数个题目共同解释的总变异量 通常以第 一个成分之解释变异量最高 如自右图中所选出之第一个成分的 题组 此一成分所能解释的变异量为 46 53 而本次研究法报 告亦以选取第一个成分之题组即可 3 因素陡坡图 亦即解说总变异量中每一成分之总和的图示 如第 1 到第 2 成分间之落差特别大 则表示第 1 成分内有重要的因素 而第 2 至第 3 第 4 成分间之坡度十分平缓 表示第 2 第 6 成 份并未出现重要的因素 则不采用第 2 第 6 成份之题目 4 从最后的成分矩阵中 SPSS 只抽选出一个成分 以及每一道题 目在此成分中的因素负荷量 因素负荷量越高 表示该题在此成 分中的重要性越高若因素负荷量低于 0 6 则此题 如 V47 6 1 不被列入该成分中 因此 在做下一阶段的信度分析时 此题亦 需被剔除 但下面仍将此题放入 看看该题信度分析之结果 信度分析 具有信度 Reliability 的题目 必须具有稳定性 一致性与精确性 至于量表是由 题组 所构成 这些题目间的稳定性 一致性与精 确性 就必须用信度分析来检测 1 自 分析 下的 量尺法 进入信度分析的对话框 2 将一组量表题 请注意 只能同时放一组量表 如同侪关系 量表 切勿将多组量表或所有的题目一起点选进去 的题目 自左边点选至右边的 项目 框内 3 按下 统计量 进入另一个窗口 将左上角的描述性统计量 对象的三个选项勾选起来 4 模式部分 请选取 Alpha 值 即 值 即可按确定 让 SPSS 自动执行信度分析 1 接下来出现的信度分析输出档 首先可以看到最下面出现的 Alpha 值 值越高 表示此组量表的信度越高 各题之间也具 有更高的一致性 值若低于 0 6 则此量表信度太低 不宜采 用 2 若 值低时 首先可以看 Alpha if Item Deleted 这部分是指在 这个量表题组中 若删掉 V47 1 1 题 则此量表的 值将由 0 7314 降到 0 6733 删掉 V47 6 1 题 亦即作因素分析后 被 剔除的无效的题目 则量表的 值会提升至 0 7946 因此 此 一量表题组便 需删去 V47 6 1 题以提升信度 其它题目则要保 留 若整体的 值都低于 0 6 时 此时只能藉由修改题目内容来 提升其信度 3 在 Corrected Item Total Correlation 的部分看到的是这些题目之间 的相关程度 其相关系数越高 表示该题和其它题目间的一致性 越高 像 V47 6 1 和其它题目间的相关系数低 因此和其它题 目较不一致 总而言之 一组量表的信度 值 不得低于 0 5 若太低则可藉 由