开放教育毕业生追踪调查问卷结构设计的信度效度分析

1、 收稿日期 :20050620作者简介 :朱祖林 (1966 , 男 , 安徽潜山人 , 副教授 。基金项目 :安徽电大开放教育试点毕业生追踪调查研究 (项目编号 :20042030 。开放教育毕业生追踪调查问卷 结构设计的信度效度分析朱祖林(安徽广播电视大学 , 安徽 合肥 230022摘 要 :从问卷项目内部一致性信度系数 、 内容效度 、 构想效度等方面 , 对开放教育毕业生追踪调查问卷的结构设计进行了信度分析和效度分析 。认为三份问卷都有较好的信度 , 毕业生质量评价 和 学习效 果评价 问卷的结构设计合理有效 , 电大人才培养方式 问卷的结构设计比较特殊 , 需要作一些改进 。关键词

2、 :开放教育 ; 毕业生追踪调查 ; 信度 ; 效度中图分类号 :G728 文献标识码 :B 文章编号 :10086021(2005 03005004 2004年开展的远程开放教育毕业生追踪调查 , 采用 电大毕业生质量评价 (用人单位用 、 电大人才培养方式评价 (毕业生用 和 电大学习效果评价(毕业生用 3份问卷 , 收集到大量数据 。对这些数据 进行科学的分析 , , 在很大 程度上更依赖于问卷设计的科学性 、 合理性 , 即问卷 要有较好的信度和效度 。因此 , 在数据分析之前 , 有必要对调查问卷的结构设计进行信度分析和效度 分析 。一 、 (精确性和可靠性 。通过 , 可以反映被测

3、特征的真实程度 。 我们主要 在 SPSS12. 0中采用 Alp ha 值测量问卷项目内部一 致性信度系数 (信度系数的取值范围为 0,1 , 分别 计算三份问卷各维度和各问卷总体的 Alp ha 信度系 数 。 主要数据详见表 1表 3。表 1 电大毕业生质量评价 问卷 A 项目内部一致性信度系数 维度 题号题号题号题号题号题号题号题号数量Alpha 思想品德 1234550. 859知识 678940. 800能力 101112131415161780. 889业绩18192030. 834 问卷总的内部一致性信度系数 :Alpha=0. 945表 2 电大人才培养方式评价 问卷 B 项

4、目内部一致性信度系数维度 题号 题号 题号 题号 题号 题号 题号 题号题号 题号 题号 题号 题号 题号 数量Alpha 课程设置 12330. 704课程资源 4563171819202122232425262728140. 887教学效果291 问卷总的内部一致性信度系数 :Alpha=0. 9335安徽广播电视大学学报 2005年第 3期 表 3 电大学习效果评价 问卷 C 项目内部一致性信度系数维度 题号 题号 题号 题号 题号 题号 题号 题号 数量 Alpha知识 123440. 706能力 5678910111280. 837业绩 13141530. 790 问卷总的内部一致性

5、信度系数 :Alpha=0. 903 上述结果显示 , 三份问卷总的内部一致性信度系数分别为 0. 945、 0. 933、 0. 903, 均大于 0. 9, 说明问卷有很好的内部一致性信度 , 评价指标体系很好 , 问卷整体设计的可信度较高 , 获得的数据有较强的稳定性 , 能比较真实地反映被测特征 。除课程设置 (B1B3项目 、 课程资源 (B4B6项目 和知识 (C1C4项目 维度具有一般的内部一致性信度系数 , 其余各维度的信度系数值均在 0. 80. 9之间或接近 0. 8,说明各项目之间具有较好的一致性 , 基本上能较好地反映所在维度 , 评价指标体系可以接受 。由此我们认为

6、, 这三份问卷都有较好的信度 , 依此调查得到的数据是可信的 , 对问卷进行的数据分析也是比较可靠的。二 、 效度分析效度表明一个研究设计或测试工具实际能测出其所要测的特征的程度 (有效性 。 ,。(一 内容效度内容效度是一个测验实际测到的内容对所要测量内容取样的代表程度 , 它侧重于测验题目取样的代表性 , 考查这些题目对所要测量的内容和行为反应测量的有效程度 。本次调查所采用的测量工具是由中央电大与北京师大心理学院有关专家根据电大培养目标和建构主义 、 人本主义理论进行设计的 , 并于 2004年 3月至5月在北京 、 天津 、 河北 、 陕西 、 福建和云南电大进行了试调查 。 专家们运

7、用科学的统计方法对数据进行统计分析和调查结果的讨论 , 在此基础上对指标体系和调查表的项目进行修改 , 最终通过专家组鉴定 , 形成了正式的 、 全国电大统一使用的毕业生追踪调查问卷 。 这表明 , 通过科学的问卷编制过程 , 研究设计中的系统误差和随机误差都应该得到较好的控制 , 在一定程度上保证了调查目的与调查内容的一致性 。因此 , 可以认为问卷有较好的内容效度 。(二 构想效度构想效度是指一个研究对其测定的结果能用它所依据的理论结构予以解释的程度 , 侧重于一个测验 能够准确测量到心理学和教学理论上的某种抽象概 念 (或理论结构 和特质的程度 。 在本项研究中 , 我们 主要 利 用

8、AMOS4. 0(Analysis of Moment St ruc 2 t ures , 矩结构模型 软件对三份问卷进行验证性因素 分析 (Confirmatory Factor Analysis , CFA , 来考察 每个项目是否测量了某个纬度的特质 , 检验它与设计 的理论模型的拟合程度 , 以观察该问卷能够准确测量 某种抽象概念 (或理论结构 和特质的程度 。1. 电大毕业生质量评价首先 , 设定其理论模型 (见模型图 1 。模型中潜 变量为品德 、 知识 、 业绩 、 假设这几个潜变量都 。图 1 电大毕业生质量评价理论模型表 4 问卷 A 因素载荷系数矩阵品德 能力项目 因素载荷

9、 项目 因素载荷 a10. 748a100. 670a20. 764a110. 667a30. 775a120. 729a40. 769a130. 737a50. 672a140. 771a150. 697a160. 666知识 a170. 723项目 因素载荷 业绩a60. 723项目 因素载荷 a70. 677a180. 838a80. 718a190. 812a90. 720a200. 730 运行 Calculate estimates 命令 , 计算出 a1a20 15朱祖林 :开放教育毕业生追踪调查问卷结构设计的信度效度分析项 目 的 因 素 载 荷 系 数 (Standardiz

10、ed Regression Weight s , 各个维度之间的相关 (Correlations 和验 证性因素分析拟合结果 。 具体数据见表 4。从表 4看出 , 品德 、 知识 、 能力和业绩上的项目因 素载荷系数均在 0. 66以上 (>0. 4 , 这说明这些项目 能较好地测量它所在的维度 。各个维度之间的相关见表 5。数据显示 , 各维度 之间的相关大部分在 0. 80以上 , 相关程度高 。 表 5 问卷 A 各维度相关矩阵业绩 能力 知识 能力 0. 834知识 0. 8110. 908品德 0. 7870. 8010. 749 验证性因素分析拟合结果见表 6。表 6 问卷

11、 A 验证性因素模型拟合结果Model CMIN DF P CMIN/DF TL I CFI RMSEA 研究模型 526. 7261640. 0003. 2120. 9230. 9330. 067饱和模型 0. 00001. 000独立模型 5613. 7321900. 00029. 5460. 0000. 0000. 241 以上模型拟合指数显示 , 比较拟合指数 (CFI 和 非赋范拟合指数 (TL I 值分别为 0. 933、 0. 923, 均大 于 0. 90, 这表明整体模型拟合还可以 。近似误差均 方根 (RMSEA 的值为 0. 067, 小于 0. 08, 也是可以接 受的

12、 。 卡方与自由度的比值 (CM IN/DF 介于 2. 0 5. 0之间 , 表示模型可以接受 。以上结果表明 , 模型拟合较好 , 电大毕业生质量 评价 问卷 (用人单位用 具有较好的构想效度 。 2. 采用上述方法 , 对(毕业生用 ,b1b28 (用 ,c1c15 , 结果如下 (限 于篇幅 , 图表从略 :电大人才培养方式评价问卷 B 因素载荷系数矩阵显示 , (1 “教学组织 形式” 的 B15、 B16、 B17和 “支持服务” 的 B15项目的 因素载荷系数均低于 0. 4。 这是由于根据 “人才培养 方式” 评价指标体系的特殊设计 ,B15、 B16、 B17数据 在 “ 教

13、学组织形式” 和 “学习支持服务” 维度上重复使 用造成的 。 这可能是问卷设计上存在的缺陷 。 (2 其 余项目的因素载荷系数 0. 426,0. 901, 均大于 0. 4, 这说明该问卷绝大多数项目能较好地测量它所在的 维度 。问卷 B 各维度相关矩阵 (见表 7 数据显示 , 各维 度之间的相关程度比较高 。表 7 问卷 B 各维度相关矩阵教学组织形式 支持服务 课程设置 支持服务 0. 871课程设置 0. 8250. 686课程资源 0. 7900. 8520. 735 问卷 B 验证性因素模型拟合结果显示 , CFI 和 TL I 值分别为 0. 846、 0. 830, 均小于

14、 0. 90,CM IN/DF 大于 5. 0, 这表明整体模型拟合不是很好 。 RMSEA 的值为 0. 070, 小于 0. 08, 是可以接受的 。以上结果表明 , 模型拟合不是很好 。 电大人才 培养方式评价 问卷 , 虽在试调查的基础上作了修改 , 但问卷结构仍不是很理想 , 需要在今后的研究中进一 步修订 。C , 知识 、 能力和业 0. 533,0. 779, 均在 0. 40以上 , 这说明这些项目能较好地测量它所在的 维度 。问卷 C 各维度相关矩阵 (见表 8 表明 , 各维度之 间的相关在 0. 80以上 , 相关程度高 。表 8 问卷 C 各维度相关矩阵业绩 能力能力

15、 0. 859知识 0. 8480. 889 问卷 C 验证性因素模型拟合结果显示 , CFI 和 TL I 值分别为 0. 952、 0. 942, 均大于 0. 90, 这表明整 体模型拟合还可以 。 RMSEA 的值为 0. 055, 小于 0. 08, 也是可以接受的 。 CM IN/DF 介于 2. 05. 0之间 , 表示模型可以接受 。以上结果表明 , 模型拟合较好 , 这说明 电大学习 效果评价 问卷 (毕业生用 具有较好的构想效度 。 三 、 结论与讨论根据总的内部一致性信度系数 , 三份问卷都有较 好的信度 , 问卷可以接受 , 依此调查得到的数据是可 信的 , 对问卷进行

16、的数据统计分析也是比较可靠的 。 从各维度的内部一致性信度系数看 , 课程设置 (B1 B3项目 、 课程资源 (B4B6项目 、 知识 (C1C4项25安徽广播电视大学学报 2005年第 3期 目 等三个维度的 Alp ha 值较低 , 这主要有两个方面 的原因 , 其一 , 题目设置和选项上有不一致的地方 , 其 二 , 学生填表时出现不一致现象 , 应从题目设置和选 项上作进一步的修改 。效度分析结果表明 , 毕业生质量评价 和 学习 效果评价 两份问卷的理论模型对安徽电大的抽样数 据拟合效果较好 , 说明这两份问卷的结构设计合理有 效 , 问卷可以接受 。 所获得的调查数据能够较好地反

17、 映调查的目的和要求 , 数据的统计分析结果是有效 的 、 可靠的 。电大人才培养方式 问卷的结构设计比较特殊 。 设计者根据试调查的分析结果 , 删除了试调查问卷中 的 9个项目 , 并将 B15、 B16、 B17三个项目在 “教学组 织形式” 和 “ 学习支持服务” 维度上重复使用 , 造成这 三个项目的因素载荷系数较低 , 整体模型拟合不好 。 怎样对这种特殊的结构设计进行验证性因素分析和 项目修订 , 还需要在今后作进一步的研究 。三份问卷各维度相关矩阵表明 , 多数维度之间的 相关程度过高 , 这有可能是存在一个高阶的因素 , 也 有可能是因为问卷的维度设置不是很合理 , 一些维度

18、 间相互独立的构想不能成立 , 需要对问卷的维度进行 调整 。 这需要在以后的研究中进一步探讨 。信度和效度是评价一个研究设计好不好的两个 指标 。 本次调查问卷是在试调查基础上进行修改的 , 但修改后的问卷 , 其结构设计的信度效度如何 、 各地 区适用问卷的可靠性怎样 ? 调查问卷的设计者可以 通过本次全国范围的调查作进一步的检验和完善 。参考文献 :1 杨晓明 . SPSS 在教育统计中的应用 M .北京 :高等教育出版社2 侯杰泰 , 温忠麟 , 成子娟 . 结构方程模型及其应用 M .3 张厚粲 . 现代心理与教育统计学 :4 朱祖林 . J.中国远程教育 ,2005, (7 :4447.R eliability and V alidity Analysis about the Structural Designof Q uestionnaire of Open Education G raduate InvestigationZHU Zu 2lin(Anhui Radio &TV U niversity , Hefei 230022, China Abstract :The article analyzes t he reliability and validity about t he struct ural design of questionnair