基于顺序数据的测验信度和效度分析方法.pdf

基于顺序数据的测验信度和效度分析方法4 吴瑞林1 K e H a iY u a n 2 7 7 3 提要 目的介绍基于顺序数据的信度和效度分析方法 并采用该方法对S C L 9 0 量表进行检验 方法利用 仿真实验展示了顺序数据方法的优势 同时选取S C L 9 0 在大学生中施测的样本 n 3 0 1 3 分别使用传统信 效度分析方 法和基于顺序数据的方法进行统计 结果基于顺序数据方法在内部一致性系数o t 组合信度系数 因子解释率和验证 性因素分析拟合指标上所获结果都好于传统方法的结果 结论对于S C L 一9 0 这样数据呈偏态分布的量表 检验其信 效 度时可以考虑选用基于顺序数据的方法 关键词 信度效度顺序数据多分格相关系数S C L 9 0 李克特式 L i k e r t t y p e 量表是心理卫生测验的主 要形式 传统分析过程中 被试对题目的选择 使用整 数作为测量值进行记录 然后直接对赋予的整数值加 以计算和统计 该方法易于理解 操作简单 长期被研 究者普遍使用 这种方法隐含着一种假设 即认为测 量所获数据为等距数据 但心理测量的数据往往只能 达到顺序数据的水平 很难达到连续数据或者等距数 据 当我们赋给选项从1 至5 的整数时 选项间的 距离被人为定义为l 近年来 将此类测量数据当作连续数据或等距数 据处理的方式受到了越来越多的怀疑 基于顺序数据 的方法被心理测量学家们推荐使用心 3J 有学者开始 使用基于顺序数据的信 效度分析方法来开发新量表 或问卷 H 或者对原有量表进行修订和检验 J 本文将介绍基于顺序数据的信度和效度分析方 法 然后使用S C L 9 0 量表在大学生中的实测数据展 示基于顺序数据的分析方法 同时将其结果与传统方 法相比较 基于顺序数据的信度和效度分析方法 1 使用基于顺序数据的信度和效度分析的原因 心理测量中 被测量的某个构念 或称为潜变量 通常被认为是服从正态分布的连续变量 众多量表 问卷 均采取离散的李克特式选项设计 被试在做 出选择时 原本连续的潜变量会被切分成为离散的某 个选项 下面用数学模型来描述这一关系 假设题目i 有 个选项 被试的选择用变量墨表示 为被试对 题目f 的真实感觉 这是一个潜在的 不能被直接观察 到的变量 那么x 和 的关系如公式 1 所示 X f 1 当a o f f a l X i 2 当a l f i a 2 国家自然科学基金项目 1 1 1 2 6 0 3 4 1 北京航空航天大学心理与行为研究所 1 0 0 1 9 1 2 美国圣母大学心理学系 4 6 5 5 6 X 当a 一l 亭i a 1 其中a 一 a 当被试对题目的感觉亭 落 在临界值 t h r e s h o l d a t k 1 or 限定的范围内 就 会观察到被试做出相应的反应 即选择与其感觉所在 区域对应的选项 比如 当参处于a 和a 之间的某 个位置时 就会观察到被试选择了选项2 等距数据一般使用皮尔逊相关系数来计算变量间 线性依存关系 但如果将其用于不等距的顺序数据 会 出现比较大的系统误差 调查发现 对于少于1 0 个选 项的顺序数据 皮尔逊相关系数的估计误差都比较明 显 o 而多分格相关系数 p o l y c h o r i cc o r r e l a t i o nc o e f f i c i e n t 能够为顺序数据提供更为准确的估计 多分 格相关系数的估计原理和方法已经被其他论文所介 绍 书J 这里不再赘述 仿真研究 8q 表明 对于顺序数据 多分格相关 的估计值要比皮尔逊相关更为准确 尤其是当数据呈 现明显的偏态分布时 皮尔逊相关系数的估计值被扭 曲的十分严重 而多分格相关系数却表现稳健 给出的 估计值依旧比较精确 心理卫生方面量表的测量结果 往往具有偏态分布的特征 内部一致性系数n 和组合信度 c o m p o s i t er e l i a b i l i t y 以及因素分析的结果都与相关系数有着直接 的联系 所以 相关系数估计的精确程度将会直接影 响到这些指标的准确性 2 基于顺序数据的信度 在经典测验理论中 信度和效度是评价一个测验 好坏最为重要的两个方面 信度指测量到的变量中真 实值所占的比例 根据该定义 信度可以表示为真实 值方差与观察值方差之比 其公式如下 一舸2 10 T 塑躲 一2 丁 XiP 2 x 7 一O 2 一 一 11 厶7 y V a rX p 这里 盯 表示总分的方差 盯 表示要测量的真实值的 方差 万方数据 传统方法中 很难直接计算p 因为V a r T 是不 可获取的 而公式 2 中T l 与 墨间的相关系数也 同样无法直接获得 R a y k o v 提出 可以利用结构方程 模型估计相关系数p L X 从而获得组合信度 系数 1 0 1 1 1 C r o n b a c h S 仅系数是使用最为广泛的一种估计 真实信度的替代方法 通过它获取的仅为信度的下限 对于一个由k 道题目组成的测验 X X 墨 C r o n b a c h 定义a 系数为 a 占 l 一年l 3 O r x 这里o r 指第i 道题目得分x i 的方差 对公式 3 进一 步推导可得 1 2 一p u o t o r j a2 占 等i 耘广 4 a2I 西厂萌而 显然 C r o n b a c h SO t 系数的估计和变量间的相关系数 P 间存在着函数关系 那么 相关系数估计的准确性 也将影响C r o n b a c h Sa 系数的准确程度 3 基于顺序数据的构想效度 构想效度指测验的结构是否与测验编制的设想相 一致 常用的检测方法是因素分析 而因素分析是结构 方程模型的一种具体应用 结构方程模型的估计原理 是使得包含各参数的模型协方差矩阵 m o d e l i m p l i e d c o v a r i a n c em a t r i x 与样本协方差矩阵 s a m p l e c o v a r i a n c em a t r i x 或样本相关矩阵最为接近 如果用 极大似然法来估计模型参数的话 就是使公式 5 的 取值最小 F 肌 t r a c e s 一l o gl s I k 5 公式 5 中 表示模型协方差矩阵 s 为样本相关系 数矩阵 k 是一个常数 表示观察变量的个数 结构方 程模型中所有的估计参数都是通过解方程 5 获得 的 或者说估计参数的表达式都是关于s 的函数 所以 变量问的相关系数将直接影响到结构方程模 型中参数估计的结果 研究结构方程模型的学者很早就 开始考虑如何使用结构方程模型对顺序数据进行分析 C h i n e s eJ o u r n a lo fH e a l t hS t a t i s t i c s O c t2 0 1 3 V 0 1 3 0 N o 5 并已经给出了基于多分格相关系数的解决方案 1 23 数值仿真实验 为了展现和验证偏态分布条件下 传统方法和顺 序数据分析法之间的区别 这里设计了一个蒙特卡洛 仿真实验 实验设计和结果如下 1 实验设计 实验选取一个包含4 道题目的单维测验 四个题 目的因素载荷分别设为0 8 0 8 0 6 0 6 因子F 的 方差设为1 该测验的理论信度值为0 7 9 7 变量x 的分布设置为四种 正态分布 偏度为0 5 左右的轻度 偏态分布 偏度为1 2 左右的中度偏态分布 偏度为2 左右的重度偏态分布 题目连续变量x 随后被临界 值切分为5 个分类 生成顺序数据的样本量为2 0 0 为了消除随机数的影响 每种条件重复1 0 0 次 最后 分别用传统方法和顺序数据的方法计算信度系数以及 题目的因素载荷 模型的拟合指标 并取1 0 0 次的平均 值为最终统计指标 结构方程模型的估计方法选用极 大似然法 实验数据的生成和信效度的估计均使用结 构方程模型软件E Q S6 1 完成 2 实验结果与分析 信度计算的结果表明 顺序数据方法所获信度估 计值距离理论值更为接近 传统方法的估计值相对较 低 同时 无论哪种方法 随着分偏斜程度的增加 估 计值的误差变大 特别是在重度偏态时 传统方法所获 信度出现了较大程度的下滑 前述趋势 在O t 系数和 合成信度P 两者上都有一致的表现 仿真实验的验证性因素分析结果被汇总于表1 中 首先分析模型参数估计值的偏差 在该模型中即 为各题目因素载荷的偏差 这里使用偏差平方表示 表1 中的B i a s 2 1 0 3 从中可以发现 顺序数据方 法的参数估计偏差很小 传统方法所获参数估计值的 偏差远大于顺序数据 另外 两种方法的参数估计偏差 都会随偏斜程度的增加而变大 从拟合指标来看 基 于顺序数据方法的模型拟合指标都好于传统方法 有 更小的 R M S E A W R M R 以及更大的C F I 和T L I 但 由于模型简单且指定正确 这种指标上的差异很小 表1仿真数据的参数估计偏差和模型拟合指标 万方数据 主国里生箕盐 生 Q 旦筮 Q 鲞筮i 翦 数值仿真实验的结果表明 使用顺序数据方法获 得的参数估计值和信度估计值比传统方法更为准确 模型的拟合指标也略好于传统方法 以S C L 9 0 为例 S C L 9 0 是一个被广泛使用的心理症状类量表 在我国 S C L 一9 0 被用于不同人群心理健康状况测查和 治疗效果的评定 3 它同时是典型的李克特式量表 共有9 0 道题目 每题有5 个选项 1 从无 2 轻度 3 中度 4 偏重 5 严重 下面使用结构方程模型 软件E Q S6 1 进行信度和效度分析 1 样本情况 研究样本来自北京一所高校2 0 1 1 年对大学一年 级新生进行的普查性测试 样本量为3 0 1 3 人 其中 男生2 2 9 8 人 7 6 2 7 被试平均年龄 1 8 8 4 0 8 4 岁 3 0 1 3 名新生中 独生子女1 2 8 0 人 4 2 4 8 对样本分布进行描述性统计后 9 0 道题的均分都 不超过2 5 有8 6 道在2 以下 距离中位数3 较远 多 数题目的偏度大于1 处于1 到5 之间 峰度值普遍为 正数 还有不少大于1 0 在高峰度范围 可以判定 这 3 0 1 3 名被试在S C L 9 0 的绝大多数题目上表现出明显 的正偏态分布 2 题目间的相关系数分析 由于测验的信 效度分析实际上都与题目间的相 关程度有联系 这里先对皮尔逊相关和多分格相关的 差异进行考察 十个因子所属题目间的相关系数被分 别计算 因子内的题目相关共有3 8 7 组 限于篇幅无法 全部列出 此处只选择题目数最少的敌对因子 含有 6 道题目 展示两种相关系数的差异 敌对因子题目问的1 5 组相关系数见表2 对角线 的下方是1 5 个皮尔逊相关系数 对角线上方为对应的 多分格相关系数 多分格相关系数均高于对应的皮尔 逊相关系数 其他3 7 2 组对应的相关系数也表现出该 趋势 这说明 如果将测试数据当作等距数据来处理 相比于顺序数据 题目问的相关程度会被低估 表2 敌对因子题目间相关系数的比较 3 S C L 9 0 的信度系数 接下来 分别使用皮尔逊相关系数矩阵和多分格 相关系数矩阵 计算各因子的内部一致性系数a 和组 合信度系数J 口知 结果见表3 使用传统方法时 敌对 7 7 5 因子的o t 系数为0 7 3 4 而当作顺序数据时 O t 系数为 0 8 6 2 两者相差0 1 2 8 两种方法下 敌对因子的组 合信度系数p 玉之差为0 1 2 2 其他9 个因子上 也出 现了类似的情况 采用基于顺序数据的方法获取的 C r o n b a c h SO 和组合信度系数高于传统方法 而且两 种假设下的差异明显 不可被轻易忽略 表1比较C r o n b a c h Sd 和组合信度系数 内部一致性系数C r o n b a c h S 组合信度系数 因子名称 传统方法顺序数据两者之差传统方法顺序数据两者之差 躯体化0 8 1 0 0 9 1 9 0 1 0 90 8 1 40 9 2 0 0 1 0 6 强迫0 8 1 6 0 8 6 4 0 0 4 80 8 2 1 0 8 6 6 0 0 4 5 人际敏感0 8 1 4 0 8 7 4 0 0 6 00 8 1 50 8 7 6 0 0 6 1 抑郁0 8 5 9 0 9 1 8 0 0 5 90 8 7 10 9 1 8 0 0 4 7 焦虑0 7 8 8 0 9 0 8 0 1 2 0 0 7 9 2 0 9 1 1 0 1 1 9 敌对0 7 3 4 0 8 6 2 0 1 2 80 7 4 10 8 6 3 0 1 2 2 恐怖0 6 6 1 0 8 3 8 0 1 7 70 6 8 2 0 8 3 9 0 1 5 7 偏执0 6 8 3 0 8 1 7 0 1 3 40 6 9 10 8 1 9 0 1 2 8 精神病性0 7 2 2 0 8 4 3 0 1 2 10 7 3 10 8 4 5 0 1 1 4 其他0 6 2 8 0 7 7 2 0 1 4 40 6 3 80 7 7 6 0 1 3 8 4 S C L 一9 0 的构想效度 使用验证性因素分析对S C L 一9 0 量表的整体结构 进行检验 这里分别构建了一阶模型和二阶模型 一 阶模型指9 0 道题目属于各自划定的因子 1 0 个因子 间为相关关系 二阶模型在1 0 个因子之上构建1 个总 症状因子作为二阶因子 传统方法和顺序数据的方法 同时被用于2 个模型 拟合指标见表4 由于当数据 呈偏态分布时 普通z 2 并不可信 4 1 这里选用由s a t o r r a 和B e n d e r 提出的R o b u s t 指数 该统计比普通 z 2 更接近于卡方分布 5 1 表4 中C F I 和脚 W R M R 三个拟合指标上 顺序数据方法所获指标优于 传统方法 且传统方法在相对拟合指标C F I 和胴 上拟合程度未满足大于0 9 的要求 而在R M S E A 和 R o b u s t Y 2 上 传统方法的指标好于顺序数据方法 需 要指出的是 顺序数据方法所获R M S E A 也较小 达到 拟合良好的范围 表4S C L 9 0 验证性因素分析的拟和指标 表5 同时给出了1 0 个因子的因素载荷范围和解 释率 在顺序数据情况下 各因子的因素载荷都获得了 一定程度的提高 同时 各因子的解释率也有着不同 程度的提高 其中变化最大的是躯体化因子 变化最 万方数据 7 7 6 少的是强迫因子 表5 各因子的因素载荷和解释率 讨论 综合上而的结果 如果采用基于顺序数据的信度 和效度分析方法 S C L 一9 0 量表的内部一致性系数 C r o n b a c h Sd 组合信度系数 因子解释率等信效度指 标都要比使用传统方法时提高很多 整个量表的验证 性因素分析结果也相对较好 传统方法使用皮尔逊相 关计算顺序数据间的相关系数 产生了一定的估计误 差 而这种误差又被引入到测验的信 效度指标中 最 终 使得传统方法下的信 效度指标低于顺序数据的方 法 而S C L 一9 0 量表的数据 由于处于明显的偏态分 布 传统方法的误差显得更为突出 通过本研究可以看到 将量表测量到的数据看作 是等距离的数据还是顺序数据 会导致我们选择不同 的测验信度和效度分析方法 选项的数目比较多 且 数据分布又接近正态时 可以直接使用传统统计方法 否则 基于顺序数据的方法更加合理 准确 值得被推 荐使用 目前为国内研究者所常用的统计软件S P S S 及其 相应的结构方程模型软件A M O S 还不支持顺序数据 的信 效度分析方法 而国际上流行的结构方程模型 软件L I S R E L E Q S 和M p l u s 都已提供了基于多分格 相关系数的估计方法和R o b u s t 的拟合指标 适合作为 基于顺序数据的信度和效度分析的工具 C h i n e s e J o u r n a 1 o f H e a 1 t h S t a t i s t i c s O c t2 0 1 3 V 0 1 3 0 N o 5 参考文献 1 戴海琦 张锋 陈雪枫 心理与教育测量 修订本 广州 暨南大学出 版社 2 0 0 7 2 W i r t hR J E d w a r d sM C I t e mf a c t o ra n a l y s i s c u r r e n ta p p r o a c h e sa n df u t a r ed i r e c t i o n s P s y c h o l o g i c a lM e t h o d s 2 0 0 7 1 2 1 5 8 7 9 3 F l o r aD B C u r r a nP J A ne m p i r i c a le v a l u a t i o no fa l t e r n a t i v em e t h o d so f e s t i m a t i o nf o rc o n f n n a a t o r yf a c t o ra n a l y s i sw i t ho r d i n a ld a t a P s y c h o l o g i c a lM e t h o d s 2 0 0 4 9 4 4 6 6 4 9 1 4 H o l g a d o T e l l oF P M o s c o s oS C G a r c f aI B e ta 1 T r a i n i n gs a t i s f a c t i o n r a t i n gs c a l e d e v e l o p m e n to fa m e a s u r e m e n tm o d e lu s i n gp o l y c h o r i cc o r r e l a t i o n s E u r o p e a nJ o u r n a lo fP s y c h o l o g i c a lA s s e s s m e n t 2 0 0 6 2 2 4 2 6 8 2 7 9 5 A b b o t tR A P l o u b i d i sG B H u p p e r tF A e ta 1 P s y c h o m e t r i ce v a l u a t i o n a n dp r e d i c t i v ev a l i d i t yo fR y f f p s y c h o l o g i c a lw e l l b e i n gi t e m si naU K b i r t hc o h o r ts a m p l eo fw o m e n H e a l t ha n dQ u a l i t yo fL i f eO u t c o m e s 2 0 0 6 4 1 7 6 6 B o l l e nK A B a r bK H P e a r s o nra n dc o a r s e l yc a t e g o r i z e dm e a s u r e s A m e r i c a nS o c i o l o g i c a lR e v i e w 1 9 8 l 4 6 2 2 3 2 2 3 9 7 吴瑞林 祖霁云 多分格相关系数的估计与应用 统计与决策 2 0 1 0 3 2 5 2 8 8 O l s s o nU M a x i m u ml i k e l i h o o de s t i m a t i o no ft h ep o l y c h o r i cc o r r e l a t i o n c o e f f i c i e n t P s y c h o m e t f i k a 1 9 7 9 4 4 4 4 4 3 4 6 0 9 吴瑞林 王建中 袁克海 多分格相关与皮尔逊相关的蒙特卡罗仿 真 北京航空航天大学学报 2 0 0 9 3 5 1 2 1 5 0 7 1 5 1 0 1 5 1 5 1 0 R a y k o vT E s t i m a t i o no fc o m p o s i t er e l i a b i l i t yf o rc o n g e n e r i cm e a s u r e s A p p l i e dP s y c h o l