如何进行内容效度的检验VIP

护士进修杂志 2 O 1 O年 1 月第 2 5卷第 1 期 如何进行内容效度的检验 刘 可 ( 中山大学护理学院 ， 广东 广州 5 1 0 0 8 9 ) 关键词 内容效度 测量方法 测量工具 Ke y w o r d s C o n t e n t v a l i d i t y Te s t i n g me t h o d s M e a s u r e me n t t o o l s 中图分类号： R 4 7 1 文献标识码 ： A 文章编号 ： 1 0 0 2 6 9 7 5 ( 2 0 1 0 ) 0 1 0 0 3 7 0 3 我 国的护理研 究正 处在 迅速 发展 的 阶段 。由于 研 究工 具会 直接影 响研 究 的结果 ， 因此 ， 研究 者越 来 越 重视 测量工 具 的 质 量 。许 多 情况 下 ， 研 究 者 会 发 现现有 的测量 工具 不能 满足研 究 的需要 ， 因此 ， 研 究 者必须 自行设计测量工具。我国的很多研究都使用 了自行设计的测量工具 ， 但是 ， 某些工具并没有经过 系统科 学的心 理 测 量学 的检 验 。评 价 测 量 工具 ， 尤 其是心理社会学测量工具 的标准之一就是效度的检 验 。 目前 ， 最 为护理 界 接 受 和 最 常使 用 的方 法 是 检 验工 具 的 内容 效 度 。虽 然 ， 有 部 分研 究 者 也 进 行 了 内容效度的检验， 但在检验过程中仍有一些不规 范 的做法。本文详细介绍如何进行 内容效度的检验 ， 重点 是 内容效度 指数 的计 算方 法 。 内容 效度 ( c o n t e n t v a l i d i t y ) 是指 测 量 工 具 中 的 条 目样 本 能恰 当地 反 映所 要 测量 的概 念 的程 度 1 。 测量 工具 的效化 主要 包括 两个 阶段 l 2 。 1发展 阶段 主要 通 过研 究 变量 的概 念 化 、 维度 分 析 和条 目 的发 展来保 证效 度 。 1 1 确定 维度 概念化 和维度 分析 阶段 。也 就是 根 据研究概念 的理论 定义 ， 根据充分 的理论 回顾 和相关 研究 的回顾 ， 确定该研 究概念应包 括哪几个维 度 。 1 2 发展条 目 产生 条 目阶段 。同样 ， 根 据充分 的 理论 回顾和 相关研 究 的 回顾 ( 尤 其 是 该 概念 的质 性 研 究 ) ， 以及 个人 的实践 经验 等 ， 确 定 每个 维 度包 括 哪些条 目。这些适 合 于测量 该维 度 的条 目组 成 了条 目池 。最终 测量工 具 的条 目确定 还要通 过一 系列 的 统 计分 析方 法 、 随机选 择 、 专 家评 定等过 程 。所 以一 般 在发 展阶 段要设 计 比较多一 些 的条 目以供 筛选 。 1 3 架 构工 具在此 阶段 主要 是 进 行语 言 文 字 的 作者简介： 刘 可( 1 9 7 2 一) ， 女 ， 硕 士， 副教授 ， 护理 学博 士 在 读 ， 研 究 方 向 ： 社 区护 理 ， 儿 科 疾 病 护 理 37 斟酌 ， 顺序的排列 ， 格式的设计等。工具 的使用说明 ( 指导 语) 也 应仔 细设 计 。 2 评 判 阶段 通 常采 用专 家评定 的方 法来说 明内容效 度 。 2 1 选择专家 评判专 家必 须具备一定 的条件。 根据这些专家有什 么特征 ， 具备怎样的素质进行仔 细 的挑选 。专家 的选择 直接影 响内容效 度 的评 定结 果 ， 所 以要十 分慎重 。 首 先 ， 这些 专 家 必须 是 具 备 了该 研究 领 域 的丰 富经验 ， 可以是临床或理论方 面的专家。可以通过 看 这些专 家在 相关 领 域 发 表 了专 业 论 文 ， 参加 了高 等 级的专业 学 术会 议 ， 进 行 过 该领 域 开 创性 研 究 等 来 反映他 们所 具备 的经验 和素 质 。研 究概 念涉及 不 同学 科时 ， 还需 要不 同学 科 的专 家进 行评 判 。D a v i s 提 出专家组 不仅 需 要 研 究 概念 的 内容 方 面 的专 家 ， 还需要有工具结构形式方面的专家帮助进行工具设 计 构 建方 面 的评 判 ， 从 而指 导用 什么测 量指 标 、 测 量 水平 、 统计方法等方面的问题l_ 3 。例如 ， 在设计脑卒 中病人 的 自我 护理 能 力 的测 量 工 具 时 ， 就需 要 有 自 我护 理概念 理论 方 面 的专 家 ， 脑 卒 中病人 护 理 方 面 的专 家 以及 工具 构 建 专 家等 来 进 行评 判 ； 在 设 计住 院患儿 的焦 虑 的测 量 工具 时 ， 就 需 要 有焦 虑 概 念 理 论方面的专家 ， 儿童心理问题专家， 儿童护理方面的 专 家 等 以及 工具 构建 专家来 进行 评判 。 那么 ， 需要多少专家才 足够呢?D a v i s认 为专 家组应至少 2名 内容专家 ， 1名工具构建专家 。专 家总数不能少于 3人。最好 5人以上 3 。专家数 目 超 过 1 0人则 意义 不大 _ 4 。有 时 ， 目标 研究 人群 的 临 床经验也很重要 ， 例如在设计脑卒 中病人的照顾者 的照顾 负担 的研究 工具 时 ，这些 照 顾者 的意见 和建 议也非常重要。因此 ， Gr a n t和 Da v i s 建议测量工 具 还必须 经 过 目标 研究 人群 的检验 3 。 2 2 专家评判评判的过程必须按照标准的形式 3 8 和过 程严格执 行 。 2 2 1 专家所需的资料标准 的 内容效度 评价应发 给每个专家介绍信， 研究介绍， 以及内容评定问卷_ 5 。 介绍信说明为什么会被选为专家， 设计这份测 量工具的目的和意义， 需要专家做些什么。 研 究介绍 部 分应 提供 给 专家 研究 的 主要 内容 ， 包括有关研究 概念 的定义 ， 研 究概念 包含 的维 度 ， 研 究 假设 以及 测量 目的l 3 ， 从 而让 专 家 了解必 要 的理 论背景以提供全面的评价。还应告知测量的模式是 常模 参照测量 还是标 准参照测 量 。可 以先告知 专家 条 目的组织构建 ， 即哪些条 目是测量哪个概念的， 也 可以请专家来选择哪些条 目是测量哪个概念 ， 从而 检验这样的组织构建是否合理。工具如何计分也应 给予解释说 明 ， 结 构专家 才能判 定是 否格 式适 合于 测量 的水平 。例如 ， 相 关性 检 验 的研 究工 具 就不 能 用两 分制 的格 式 。 内容评定 问卷包 括评价表 的填写说 明和各 条 目 评价表。条 目评价表常用的是 4分制的相关性评 定 。专 家组成员根 据每个 条 目与研 究概念 的关联性 分别评分 ： 1代 表 “ 无 相 关 ” ， 2代 表 “ 弱相 关 ” ， 3代 表 “ 较强 相关” ， 4代 表“ 强相关 朝( 例 1 ) 。 2 2 2 评判 的 内容 即评 价 内容效 度 。专 家评 价 该 工具是否包 含 了恰 当 的条 目和 维度 来 反 映概 念 ， 包括 维度是否全 面 、 准确 ， 条 目的内容是 否与研究 概 念相符 ， 条 目的形式是否合适 ， 语言是否清晰等， 以 及 条 目的数 目是否 能完整 、 全 面地反 映 研究 概 念 的 内涵 ( 即条 目数是 否足够) 。如果专 家认为某 条 目与 测 量概念不 符或不 能 反映 测 量概 念 的 内容 ， 还应 该 就此给出修改意见( 例 1 ) 。除了对各条 目进行评价 之外 ， 还应对整个 工具 的全面性进 行评价 ， 对是否 应 增加条 目或删除 条 目提 出意见和 建议 。除 了评价 问 卷， 必要时， 工具设计者还应和专家进行直接交流 ， 探讨有关 的问题【 4 。 例 1 ： C VI 评 价表 研 究 目的 ： ( 略 ) 概 念 定 义 ： 中 国护 士 “ 工 作 满 意 度 ” 是 指 X X X ( 略 ) 量表的说明： 中国护士“ 工作满意度” 共有 4 O个 条 目， 3个 维度 ， 分 别是 X X X 其 中， 条 目 1 1 5是询 问护士 对于 X X维度 的 满 意程 度 ， 1 6 2 5是 询 问护 士对 于 x x维度 的 满意程 度 。( 略 ) 评价 问卷的填 写说 明： 请 用 以下的 1 4级 评 分 方 法评 价这 份 量表 的 各个条 目与中国护士的“ 工作满意度” 概念的相关 性， 并在意见栏 中给出宝贵意见和建议 。 1=无相 关； 2：弱相 关 ； 3一较 强相 关 ； 4一 强 相 关 护士进 修杂 志 2 0 1 0年 1月第 2 5卷第 1 期 2 3内容效 度 的计 算 2 3 1 评定者间一致度 评定者间一致性( I n t e r - a t e r a g r e e me n t ) 专家评分一致的条 目数( 都评为 1或 2的条 目加 上 都 评 为 3或 4的 条 目) 除 以条 目 总数 。评 定者 间一致 性 不应低 于 0 7 。发 生这 样 的 情况时 ， 应和专家一起回顾研究概念的定义， 如果认 为定义不够准确 ， 应修改。如果还低， 就应和专家检 查评 定量表 的使用 ， 确保量 表的使用 是正确 的 3 。 2 3 2 内 容 效 度 指 数 ( c o n t e n t v a l i d i t y i n d e x ， C VI ) 内容 效度指数是最常用的方法 ， 包括条 目 水平 的 C VI ( i t e m l e v e l C VI ，I C VI ) 和量 表水 平 的 C VI ( s c a l e l e v e l CVI ，S CVI ) 。 I - C VI ： 专 家组 成 员 根 据 每个 条 目与 研 究 概 念 的关 联 性 分 别 评 分 。评 分 为 3或 4的 专 家 数 除 以专家总数即是 I c VI ( 例 2 ) 。然而 ， I C VI 反 映 的 是 评定 者 间一 致 程 度 ， 会 受 到 机 会 的影 响 。 当 两名 专家 对 某 一 条 目评定 时 ， 会 有 2 5 的机 会 评 定结 果 一 致 ， 即 机 会 一 致 率 ( C h a n c e a g r e e me n t ) 。 因此 ， L y n n提 出， 当专 家 数 目少 于或 等 于 5名 时 ， 必 须所有 专家 的意见都 一致 ， 才 能保证 内容 效 度 。也 就是 说 ， F C VI 必 须 是 1 0 0 。 当 专 家 人 数 增 加 时 ， 此 标 准 可 以 减 低 ， 但 1 一 C VI 必 须 达 到 0 7 8以上 。根据 每个条 目的 I C VI 就可 以决定 是保 留、 修改还是舍弃该条 目_ 2 。 S C VI ： 所 有 专 家 评 为 3或 4的条 目的 比例 ， 即被 所 有 专 家 都 评 为 3或 4的 条 目除 以 条 目总 数 I s ( 例 2 ) ， S - C VI 至 少 应 达 到 0 8 0 。这 种 方 法 计算的 C VI 实 际上是全体专 家意见一致的情况 ， 全 体 一致 率 ( S C VI UA ，Un i v e r s a l a g r e e me n t ) 。 在 这种 定 义 下 ， 显 而 易 见 ， 专 家 的 数 目越 多 ， 所 有 专 家 一 致 同 意 的 条 目 就 会 越 少 ， 也 就 是 说 ， S c vi uA会 越 低 。 同 样 ， 由 于 机 会 导 致 的 不 一 致 的评定结果的机率会增加 。因此 ， P o l i t & B e c k 提 出了 S - C VI Av e ( a v e r a g e ， 均 值 S - C VI ) ， 的计 算 方 法 ： S - C VI Av e即评 定 为 3或 4的 条 目的 比例 的平均值 。可以有三种计算 方法 ( 例 2 ) ： 每个专 家评定为 3或 4的条 目的 比例 的平均值 ； 所 有 I C VI 的平均值 ； 所有被评定 为 3或 4的条 目数除 以评定次数 。三种方 法计 算 出来 的结果 是一 致 的， 由于第二种方法针对 的是条 目的情况而不是 专家的情 况 ， 所 以 建 议 使 用 这 种 方 法 计算 。S - C VI Av e应 达 到0 9 0以上 _ 1 j 。 护士进 修杂 志 2 0 1 0年 1月第 2 5 卷第 1 期 例 2 ： 评分 情况 以及 C VI 计 算方 法 3 9 条 目 专家 1 专家 2 专家 3 专家 4 专 家 5 专家 6 一致同意的人数 0 8 3 0 8 3 0 8 3 0 8 3 0 8 3 0 8 3 1 0 0 1 0 O 1 0 0 1 0 0 是 ： 专家评定为“ 相关” ( 3或 4 ) 否 ： 专家评定 为“ 无相关” ( 1 或 2 ) S - CVI UA： 4 1 0 0 4 0 ( 只有条 目 7 ， 8 ， 9 ， 1 0被所有 的专家评定为“ 相关” ( 3或 4 ) c V1 Av e的三种计算方法 ： ( 1 ) 每个专家评定为 3或 4的条 目的比例 的平均值 ： 平 均 I C VI (0 8 3 + 0 8 3 + 0 8 3 + 0 8 3 + 0 8 3 + 0 8 3 + 1 O O + l _ O 0 +1 0 0 +1 o o ) l O o 9 o ( 2 ) 所有 I - C VI 的平均值 ： ( 0 9 O +0 9 0 +0 9 0 +0 9 O +0 9 0 +0 9 0 ) 6 0 9 0 ( 3 ) 所 有被评定为 3或 4的条 目数 除以评定次数 ：5 4 6 0 0 9 0 ( 表格 中 6名专家分别评判 1 o个条 目， 共评定 6 O次 ， 其中评定为“ 是” 的有 5 4次) 2 3 3 Ka p p a Ka p p a也 可 以用来 计 算 内容 效 度 ， 并 且 Ka p p a考 虑 了 机 会 一 致 率 ( C h a n c e a g r e e me n t ) ， P o l i t 因此 提 出 了用 修 订 的 Ka p p a统 计方 法 来计 算 I - C VI 。有兴 趣者 可参 考相应 文献 嘲 。 3修改 、 再 测试 和预 试验 根据 C VI 的得分情 况 ， 再 比较 专 家 的意 见来 决 定是保 留、 修 改 还是 舍 弃 条 目。尤 其 要 注 意 专家 意 见特 别相悖 的条 目。有 时 ， 可 以在 工 具 中掺 杂个 别 不是 测量该 概念 的 条 目， 测试 一 下 专 家 是 否 排 除 了 这些“ 无 相 关 的条 目” 。如 果 专 家 没 有 鉴 别 出这 些 “ 无相 关 的 条 目” ， 这 位 专 家 的 评 价 就 不 应 该 采 纳 。 除非仅有个别条 目做 了不大的改动， 否则根据专家 意见修 改过 的工具 还应 该按 照此 程序 进行评 定 。两 轮测试 ， 第二 轮 的测试 可 以选择少 一些 的专 家 ( 3 5 人) ， 可 以是 原来 专 家 组 的人 ， 也 可 以是 另 外 选 择 。 根据第 二轮 的测试 结果 计算 S ： C V I 。经过 两 轮测 试 和修改的工具如果达到了 C VI 的要求 ， 就可以在 目 标人群进行预实验 ， 进行信度或其他效度的检验 。 内容 效度 的专 家评 价 是测 量 工 具 内容 的保 证 ， 所以要求有严谨的对概念 的分析理解 ， 选择好 的条 目， 选 择好 的专 家， 给 专家 清 晰 的介绍 等 才 能做 到 。研究结束后 ， 还应告知这些专家工具 的使用 结果 和研 究 结果 以促进 该领 域 的研 究 进展 。 内容效度 的检验是护理 界常用的工具检验方 法， 以上主要介绍了专家评定内容效度的方法， 其他 评 定工具 效度 的方 法 还 包 括结 构效 度 、 效 标 关 联 效 度 等 ， 以及 目标 人 群 的 C VI 测 试 等 。总 之 ， 科 学 研 究 的结 果 的真实 性 和科 学 性 来 自严 谨 的测 量 ， 而测 量工具 的好 坏直 接影 响研究 资料 的真 实和准 确 。科 研论文 应 报告研 究 测量 工 具 的 信度 效 度 情 况 ， 在 自 行设计 测量 工 具 ， 并 用 C VI 方 法 的科 研 论 文 中 ， 还 应详细报告测量工具的内容效度评价过程 ， 包括介 绍专家的选择情况( 专家的专业素质、 数量等) ， 并说 明是 I C VI 还 是 s - C VI ， 所有 1 一 C VI的得分 范 围 ， 以 及 S C VI 的 计算方 法 等 。这样 ， 才 是 我们 进 行护 理 研 究 的科学 的态 度和方 法 。 参 考 文 献 1 P o l i t ， DF ，B e c k ，C Tt h e c o n t e n t v a l i d i t y i n d e x ：a r e y o u s u r e y o u k n o w wh a t S b e i n g r e p o r t e d ? c r i t i q u e a n d r e c o mme n da t i o n s J Re s e a r c h i n N u r s i n g He a l t h ，2 0 0 6 。 2 9 ， 4 8 9 4 9 7 E 2 L y n n MR D e t e r mi n a f i o n a n d q u a n t i f ic a t i o n o f c o n t e n t v a l i d i f y J Nu r s i n g Re s e a r c h ， 1 9 8 6 ， 3 5 ( 6 ) ： 3 8 2 3 8 5 I- 3 Da v i s ，L L 1 9 9 2 I n s t r u me n t r e v i e w： g e t t i n g t h e mo s t f r o m a p a n e l o f e x p e r t s J Ap p l i e d Nu r s i n g R e s e a r c h 。1 9 9 2 ，5 ( 4 ) ： 1 9 4 一 l 9