测量工具的信度和效度分析.

1、测量工具的信度和效度分析授课章节测量工具的信度和效度分析授课时数 6学时课型理论课+操作课授课地点教室、示教室、教学方法讲授法、多媒体教学、示教、练习教学目标1 能说出信度、效度的概念2.能描述信度的三个特征3.能进行重测信度、内部一致性信度的计算4.能说出效度的类别5.能进行内容效度的计算6.能描述信度与效度的关系德育目标培养科学、严谨、求实的科研精神重点1、效度、信度的概念2、如何提高效度和信度的方法3、信度和效度的关系难点1、效度和信度的评价方法课程内容及环节【组织教学】【复习旧课】【导入新课】【讲解新课】第一节信度分析概述一信度概念二信度评价方法三信度分析方法四提高信度的方法第二节效度

2、分析概述一效度概念二效度评价方法三 提咼效度的方法四效度和信度的关系第三节效度和信度分析应用实例一信度分析应用实例二效度分析应用实例【课堂小结】【课后作业】测量工具的信度和效度分析常用的测量工具主要有调查问卷和量表， 它们都是对个人行为和态度的一种 测量技术， 是测量答卷者对问卷题目主观认识的个体差异的工具， 也是研究者用 来搜集资料的一种技术。 一般情况下， 编制一份量表必须做效度和信度评价， 而 调查问卷则不是必须的。 对于有些调查问卷， 其包含了类似量表性质对答卷者客 观指标测量的题目，对这部分题目需要进行效度和信度的评价。第一节 信度分析概述一、信度的概念信度是指测量工具的可靠性和稳定

3、性的程度， 或是指使用某测量工具所获得 结果的一致程度或准确程度。测量工具的信度包含 2 层含义：一是相同的个体在不同时间， 以相同的测量 工具测验或以复本测验， 或在不同的情景下测验， 是否能得到相同的结果， 即测 量工具的测验结果是否随时间和地点等因素而变化； 二是能否减少随机误差对测 量工具测验结果的影响， 从而反映测量工具所要测量的真实情况， 即测量工具是 否具有稳定性、可靠性和可预测性。信度的三个特征是： 稳定性、 内部一致性和等同性。 一个好的测量工具必须 是稳定可靠，且多次测验结果应前后一致。信度本质上是一个统计学概念， 是用于估计测量误差大小的尺度， 主要说明 测量工具测验结果

4、中测量误差所占的比例。 实际应用中主要通过构建平行测验来 计算测量工具的信度。二、信度的评价方法 信度研究的是测量工具测验结果的可靠性与稳定性， 这种可靠性与稳定性可 以从4个不同的角度来评价：在相同条件下所得测量工具测验结果一致程度； 不同研究者用同一种测量工具同时测验所得结果的一致程度； 同一研究者用 同一种测量工具在不同时间内测验所得结果的一致程度； 同一答卷者在不同时 间内对同一种测量工具测验的稳定程度。根据研究角度不同，信度分为外在信度( external reliability )与内在信 度(in ternal reliability )两大类。外在信度是指不同时间测量时测量工具

5、测 量的一致性程度。 内在信度是指测量工具是否测量的是单一概念， 同时也表明测 量工具各项目之间的内在一致性程度。衡量信度高低的统计指标是信度系数（r ）来表示，r0.75表明信度水平 较高；r= 0.5-0.75 表示信度处于中等水平低水平；r 0.5表示信度处于较低 水平。常见的信度系数有重测信度、复本信度、分半信度和Cron bach's系数等。 重测信度是最常用的外在信度，Cron bach's系数是最常用的内在信度。三、信度的分析方法1 重测信度(test-retest reliability)1.1定义：用同一工具两次或多次测疋同一研究对象，所得结果的一致程度。1.

6、2指标：重测相关系数（r） r =0- 1 ； r越接近1，重测信度越高计算公式：r=-甜 1刀X:第一次测试研究对象各得分之和刀丫：第二次测试研究对象各得分之和刀X2：第一次测试研究对象各得分平方之和刀丫2：第二次测试研究对象各得分平方之和1.3在SPSS计算重测信度的步骤：在任务栏中选 An alyze correlate bivaviate varables pears on1.4使用重测信度需考虑的问题 两次测量间隔时间 研究工具所测量的变量性质：适用较稳定的变量：人格特征、能力、生活质量、 某些生理指标 测量环境的一致，包括：物理环境、时间、测量程序与测试者等 样本量：预计样本的10

7、% （10-20例1.5重测信度结果的影响原因：变量随时间推移而发生改变；第一次测量结果的 记忆效应；被调查者对第二次测评的不认真； 条目设置问题；答案的评分等级问 题研究表明：采用同一份由204个问题组成的自填式医学问卷，对 2352名病人进 行两次调查，间隔30分钟，发现仅20%的人对所有问题两次回答一致，有 5% 的人对13个及以上的问题两次回答不一致。2 复本信度(alternative form reliability ):也叫等值性系数(coefficient Of equivalence) 。指两个大致相似的研究工具同时被用于研究对象，即题目不 同但内容相似的两份测量工具。 复本

8、信度越高， 测量工具越可靠， 越能代表所欲 测量的内容。计算方法是用两个复本间隔一定时间或同时施于同一答卷者所得分 数的相关系数。3 分析测量工具内部一致性( internal consistency) 的信度系数： 适用于由多 个条目组成的问卷或量表， 是护理研究中最常用的信度测量方法。 种类包括： 折 半信度( split-half reliability )、Cronbach's a 系数以及适用于计算二分类 是非题同质性信度的库德 -理查森 20号公式( KR20)。3.1 折半系数 ：将测量工具(量表)的各项目分成两部分，分别加以计分，对这 两个部分的数值进行相关分析，然后采

9、用Spearma n-Brow n公式计算信度。折半方法：奇偶折半法、前后折半法计算方法：先根据重测信度公式计算出相关系数r，再使用Spearman-Brown公式计算折半信度。折半系数测定的缺点是：不同的折半方法会导致不同的结果，而Cronbach'a系数与KR-20值所计算的是工具中所有项目的平均相关程度。3.2 Cron bach ' a系数：该系数是Cron bach于1951年创立的，取值范围在 0-1 之间， a 系数越高，信度越高，测量工具内部一致性越好。计算公式：a =N/1 + P(N-1)在SPSS中计算重测信度的步骤：在任务栏中选 Analyze scal

10、e reliability item alpha3.3 KR-20 :是Cron bach' a的一种特殊形式，适用于二分制的测量工具，例如回答“是”或“否”、“正确”或“错误”的测量工具。计算公式：a = k/(k-1) . ( S 2 -艺 piqi )/ S 24 评分者信度： 不同评定者使用相同的工具， 同时测量相同的对象时， 需计算评 定者间一致程度。检验方法：相关系数。信度系数的计算有多种方法， 各种方法所适用的信度类型也不同， 因此在计算信 度系数时必须认真考虑实际所求信度的类型， 然后选择恰当的信度系数公式。 由 于误差来源不同，即使同一个测量工具用不同方法所计算的信度

11、系数也会不同， 所以各信度系数间也不具有可比性。 一般在信度分析中， 要分别报告不同方法计 算出的信度值。各种信度及其误差来源： 重测信度：检验量表的稳定性，考虑的误差来源是时间取样。 分半信度：检验量表的一致性，它考虑的误差来源是内容取样。 内部一致性系数：检验量表的一致性，考虑的是测验内容是否异质。 评分者信度：检验量表的等同性，考虑的误差来源是评分者间的差别。 复本信度：检验量表的等同性，考虑的误差来源是内容取样。四 提高测量工具信度的方法1 适当延长测量工具的长度。 测量工具的题目越少， 得分越容易受偶然因素的影 响，测量工具的信度就越低；反之，测量工具题目越多，扩大了被测量者得分范

12、围，在一定程度上排除了偶然因素的影响， 提高了测量工具的信度。 但是测量工 具长度的增加与测量工具信度的提高并不总成正比， 当信度系数较小时， 延长测 量工具的题目， 信度系数增加较大； 而当信度系数较大时， 延长测量工具的长度 对信度系数的影响就较小。2测量工具难度适中。测量工具题目太难或太易都会使测量工具得分差异减小， 从而降低了测量工具的信度。3测量工具的内容尽可能同质。4测验时间要充分，测验程序要统一，测量工具的评分要客观。第二节 效度分析概述一、效度的概念1 效度的定义： 效度通常是指测量工具的有效性和正确性， 即所用的测量工具能 够测量出研究者所欲测量特性的程度。 效度是测量工具最

13、重要的特征， 效度越高 表示该测量工具测验的结果所能代表要测验行为的真实度越高， 越能够达到测验 目的，该测量工具才越正确越有效。 对于一个标准测验来说， 效度比信度更为重 要，效度的大小由效度系数来表示。效度包括了两方面的含义： 其一是测量工具的测验目的； 其二是测量工具对测量 目标测量的精确度和真实性。2 效度的性质 效度是指测验结果的正确性或可靠性，而不是指测验工具本身； 效度并非全有或全无， 只是在程度上有高低不同的差别； 效度是针对某一特殊功 能或者某种特殊用途而言， 不具有普遍性； 效度无法实际测量， 只能从现有信息 作逻辑推断或对实证资料作统计检验分析。3 效度的分类 内在效度(

14、 internal validity )是指某特定测量工具中自变量与因变量之间 存在因果关系的程度， 反应测量工具的内容的正确性与真实性。 内在效度是测量 研究工具中应具备的最基本的效度，测量工具的内在效度越高，其价值也越高。外在效度(external validity )是指研究结果的概括性和代表性，即研究结 果可否推论到研究对象以外的其它受试者， 或研究情景以外的其它情境。 一项研 究越能实现以上目标，就表示该研究的外部效度越好。二、效度的评价方法评价效度的指标有：表面效度(face validity )、内容效度(content validity )、 效标关 联效度(criterio

15、n relatedvalidity)、结 构效度(con structvalidity )、判 别效度 (discrim inantvalidity)、聚 合效度 (coverge ntvalidity )、因子效度( factorial validity )等。1 表面效度( Face validity) ： 定义：指通过粗略观察判断研究工具是否能测出所期望的概念。 表面效度属于一 种直觉判断 用“有”或“无”来评价，在阐述表面效度时，应详细报告评价者 的特点及其评价的可信度。缺点：缺乏科学性，不能体现效度在程度上差异2内容效度( content validity )：2.1 定义：指量表中

16、条目反映所测量内容的程度。即每个条目与所测内容的相关 性，以及量表中条目是否充分地反映了测量工具所测的领域。 适用范围： 问卷或 量表形式的研究工具。建立在大量查阅文献、工作经验、 综合分析、判断的基 础上。2.2 评价方法：专家组( expert panel )以文字形式评价评定，由专家对工具 内容的合适性进行判断， 一般需 3个以上专家。 应包括社会心理学领域、 相关领 域的临床护理专家、 护理教育专家。 专家资质要求： 在本领域具有较高的学术水 平；具有较高的教育背景； 具有丰富的社会心理学知识； 熟悉测量工具的发展与 心理学特征测定的方法；严谨求实的科学态度。2.3 实施步骤：内容效度

17、指数 CVI 公式( content validity index) 专家两两配对成组， 分别计算各组中两个专家都认为相关的条目数占总条目数的百分比。如:AB-0.8 AC-0.9 AD-0.85、AE-0.9、BC-0.7、BD-0.8、BE-0.85、CD-0.7、CE-0.75、DE-0.75。 计算所有组的平均值，得到 CVI为0.83、效标效度( criterion-related validity)定义： 以一个公认有效的研究工具作为标准，检验新工具与标准工具测定结果 的相关性。可分为同时效度( concurrent validity) 研究工具与现有标准之间 的相关性和 预测效度

18、 (predictive validity) 测量工具作为未来情况预测指标 的有效程度。估计方法： 相关法， 即计算某测量工具得分与效标间的相关性性， 其结果即为 效标效度。 当测验分数与效标测量分数都是连续变量时， 用积差相关公式求相关 系数；当测量工具分数是连续变量而效标分数是二分变量时， 可用二列相关公式 计算效标效度。 区分法： 即看测量工具测量分数是否可以区分由效标所划分的 团体，可以用 t 检验进行差异性检验。4、结构效度( constructive validity) 定义：反映研究工具所依据理论的程度， 与理论框架相符合与否。 用已知的具体 的概念反映抽象的概念。检验方法： 因子分析，其主要功能是从量表全部变量 (题项)中提取一些公因子， 各公因子分别与某一群特定变量高度关联，这些公因子即代表了量表的基本结 构。通过因子分析可以考察问卷是否能够测量出研究者设计问卷时假设的某种结 构。在因子分析的结果中， 用于评价结构效度的主要指标有累积贡献率、 共同度 和因子负荷。 累积贡献率反映公因子对量表或问卷的累积有效程度， 共同度反映 由公因子解释原变量的有效程度，因子负荷反映原变量与某个公因子的相关程 度。评价测量工具的效度较为复杂，实际应用时可以结合各种情况进行评价。