版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第2讲信度与效度分析方法
根据调查目的设计的调查问卷是一种测量工具。其质量高低对调查结果的真实性、适用性等具有决定性的作用。为了保证问卷具有较高的可靠性和有效性。在形成正式问卷之前,应当对问卷进行试测,并对试测结果进行信度和效度分析,根据分析结果筛选问卷题项,调整问卷结构,从而提高问卷的信度和效度。调查问卷的信度和效度分析绝非赘疣蛇足,而是研究过程中必不可少的重要环节。信度和效度分析的方法包括逻辑分析和统计分析。
第一节
信度分析方法
一、信度的概念
信度(Reliability)即可靠性,是指根据测量工具所得到的测量结果的一致性或稳定性,反映客观事物被测特征真实程度的度量指标。一般而言,两次或两个测量的结果愈是一致,则误差愈小,所得的信度愈高。
信度(reliability)又称稳定性或精确度。用以反映在相同条件下,对同一客观事物测量若干次,测量结果的相互符合程度或一致程度,说明数据的可靠性。当使用同一测量工具重复测量某一客观事物时所得结果的一致程度越高,则该测量工具的信度就越高。
误差(error)是指对事物某一特征的度量值偏离真实值的部分,即测定值与真实值之差,样本统计量与总体参数之差。二误差的分类实测值真实值系统误差测量误差
1.
抽样误差
二误差的分类抽样误差(sampleerror):由于抽样造成的样本指标与总体指标之间及各样本指标之间的差异。与测量的优劣没有必然的联系,进行信度和效度分析时,可以忽略抽样误差。
2.系统误差(systematicerror)
系统误差是指由于偏倚(使测量结果系统地偏离真值,bias)产生的错误结果,与随机误差不同,可校正和消除。
3.随机测量误差
随机测量误差(randommeasurementerror)是指在测量过程中,即使消除了系统误差,但由于各种偶然因素的影响也会造成对同一个体的多次测量结果的不一致,测量结果发生的偏差往往不具有方向性。信度主要受随机测量误差的影响,
问卷(量表)测量中的测量误差通常来源于两个方面:一是产生于问卷(量表)测量过程中的误差,称为测量误差(measurementError),也称为随机误差(randomerror);二是由问卷(量表)的结构质量造成的误差,称为系统误差(systemError)。
measurementErrorreliabilitysystemErrorvalidity
信度是用估计测量误差大小的尺度,来说明测量结果中测量误差所占的比例。信度可定义为真实分数(truescore)的方差与测量实得分数(observedscore)的方差之比,当实得分数变异可以全部由真实分数的变异解释时,测量误差就是0,这时测量结果的信度为1。实测值真实值系统误差测量误差若用变异表示测量结果的信度,理论上应有
或式中表示真实分数的方差;表示实得分数的方差;表示误差的方差。信度包含两层含义:
一是相同的个体在不同时间,以相同的测量工具测量,或以复本测量,或在不同的情景下测量,是否能得到相同的结果,即测量结果是否随时间和地点等因素而变化;二是能否减少随机误差对测验结果的影响,从而能够反映测量工具所要测量的真实情况,即测量结果是否具有稳定性、可靠性和可预测性。一个好的测量工具必须是稳定可靠的,且多次测量结果应前后一致。信度指标多以相关系数表示,大致可分为三类:稳定系数(跨时间的一致性),等值系数(跨形式的一致性)和内在一致性系数(跨项目的一性)。
三、信度的种类及计算方法与评价
信度主要是指测量工具是否精准(precision)。信度分析涉及了问卷测量结果的一致性和稳定性,其目的是如何控制和减少随机误差。三、信度的种类及计算信度主要分为四大类:重测信度(Test-retestReliability)复本信度(Alternate-formReliability)内部一致性信度(InternalConsistencyReliability)评分者信度(ScorerReliability)重测信度是指用同样的测量工具,对同一组被调查者间隔一定时间重复测试,两次测试结果的相关程度。重测信度可以通过两种途径进行考察:1.重测信度(1)计算两次测试结果的相关系数,如果经过统计检验,相关关系有统计学意义,则认为测量工具的信度高,否则信度低。也有人提出,测量工具的重测信度可以接受的标准是两次测试的相关系数在0.7以上。
重测信度的计算方法1.重测信度(2)对两次重复测试结果进行两个相关样本差异的统计检验,如果差异有统计学意义,则认为测量工具的信度低,否则,信度高。重测信度法特别适用于事实式问卷,如性别、出生年月等在两次施测中不应有任何差异,大多数被调查者的兴趣、爱好、习惯等在短时间内也不会有十分明显的变化。如果没有突发事件导致被调查者的态度、意见突变,这种方法也适用于态度、意见式问卷。由于重测信度法需要对同一样本试测两次,被调查者容易受到各种事件、活动和他人的影响,而且间隔时间长短也有一定限制,因此在实施中有一定困难。1.重测信度
复本信度法是让同一组被调查者一次填答两份问卷复本,计算两个复本的相关系数。复本信度法要求两个复本除表述方式不同外,在内容、格式、难度和对应题项的提问方向等方面要完全一致,而在实际调查中,很难使调查问卷达到这种要求,因此采用这种方法者较少。2.复本信度2.复本信度(alternateformreliability)
复本通常是根据相同的设计说明分别独立编制的两个平行问卷,即题目不同但是内容相似的两份问卷。复本信度也叫等值性系数(coefficientofequivalence)。两个复本间隔一定时间或同时施于同一答卷者所得分数的相关系数就是复本信度。
缺点:
如复本编制不容易,易出现顺序效应,受练习的影响;复本信度只能反应问卷内容所造成的误差,无法反应答卷者本身所造成的误差等。3.分半信度(split-half
reliability)
分半信度常用在不可能进行重复调查的情况下。其计算方法是将调查的条目分成两半,计算这两半测量结果的相关系数r,又称分半信度系数,以此为标准来衡量整个量表的信度。3.分半信度
分半信度是将调查项目分为两半,计算两半得分的相关系数,进而估计整个量表的信度。分半信度属于内在一致性信度,测量的是两半题项得分间的一致性。这种方法一般不适用于事实式问卷(如年龄与性别无法相比),常用于态度、意见式问卷的信度分析。在问卷调查中,态度测量最常见的形式是5级李克特(Likert)量表。3.分半信度
使用分半信度评价信度时,应注意:一是问卷题项所测的应是同一种特质;二是如果量表中含有反意题项,应先将反意题项的得分作逆向处理,以保证各题项得分方向的一致性。三是然后将全部题项按奇偶或前后分为尽可能相等的两半,计算二者的相关系数(rhh,即半个量表的信度系数),最后用斯皮尔曼-布朗(Spearman-Brown)公式:求出整个量表的信度系数(ru)。
为问卷测验总得分的方差,pi表示答对该题的人数占总答卷人数的比例,pi可视为该题的难度,qi=1-pi
。式中n为问卷包含的题项总数.
4.库得─理查森信度(Kuder─Richardson)库德-理查森信度适用于计算“对或错”的是非题的同质性信度,其是计算所有可能的分半信度的平均数。最有代表性的计算公式是库德-理查森公式:
Cronbach’sα系数是Cronbach于1951年创立的,用于评价问卷的内部一致性。α系数取值在0到1之间,α系数越高,信度越高,问卷的内部一致性越好。Cronbach’sα系数不仅适用于两级记分的问卷,还适用于多级计分的问卷。5.Cronbach’sα信度系数
Cronbachα信度系数是目前最常用的信度系数,其计算公式为:
其中,K为量表中题项的总数,为第i题得分的题内方差,为全部题项总得分的方差。5.Cronbach’sα信度系数
从公式中可以看出,α系数评价的是量表中各题项得分间的一致性,属于内在一致性x信度系数。这种方法适用于态度、意见式问卷(量表)的信度分析。5.Cronbach’sα信度系数
α系数有以下性质:(1)α系数是所有可能的分半信度的平均值;(2)α系数是估计信度的最低限度;(3)当问卷计分为二分名义变量时,即答案为0或1,α系数与KR20值相同,即库德-理查森信度公式是克隆巴赫的α系数的一个特例。低信度:α<0.35,中信度:0.35<α<0.70,高信度:0.70<α一般地,问卷的α系数在0.8以上该问卷才具有使用价值。Cronbach‘sα值皆达0.85以上,表明问卷信度良好。6.评分者信度(inter-scorerreliability)
考察评分者信度的方法为,随机抽取相当份数的问卷,由两位评分者按记分规则分别给分;然后根据每份问卷的分数计算相关系数,就得到评分者信度。评分者信度也可以是一位评分者两次评分的相关系数。如果是多个评分者或一位评分者两次以上的评分,可采用肯德尔和谐系数和Kappa系数。肯德尔和谐系数用于等级资料,Kappa系数用于定性资料。四、影响信度的因素
被试方面主试方面施测情景方面测量工具方面两次施测的时间间隔提高信度的方法
问卷的信度越高,受到人、时、地、物的干扰就越低,其所能反应事实或让人相信的程度越高,因此在问卷实施前如何有效提高信度是问卷测验成败的关键。通常提高问卷信度的方法为:(1)适当延长问卷的长度
问卷题目较多,其在一定程度上排除了偶然因素的影响,从而提高了问卷的信度。但是问卷长度的增加与问卷的信度的增加并不总是成正比的,当信度系数较小时,延长问卷长度,问卷的信度系数增加较大;而当信度系数较大时,延长问卷长度对信度系数的影响就较小。(2)问卷的难度适中
当问卷题目难度太大时,问卷得分普遍过低;当问卷题目难度太小时,问卷得分普遍较高。问卷题目太难或太易都会使问卷得分差异减小,使实得分数方差减小,从而降低了问卷的信度。(3)问卷的内容尽量同质
内容同质的问卷,要求答卷者具有相同的能力、知识和技能。因而为了提高问卷的信度,问卷的内容应尽量保持同质。(4)测验的时间要充分
一份问卷应保证绝大多数答卷者在规定的时间内能完成测验。当答卷者不能从容地回答所有题目时,问卷的得分就不能反映答卷者的真实情况。(5)测验的程序要统一
问卷题目要统一,指导语、回答问题的方式、分收试卷的方法和问卷测验的时间等都要统一,这些是问卷有较高信度的基本保证。例1
世界卫生组织生存质量测定量表简表(WHOQOL-BREF)包含24个问题条目,从生理、心理、社会关系和环境领域考察个人的生存质量。量表的结构见表1。使用量表对47名患者进行调查,试对环境领域进行信度分析。环境领域包含8个条目,各个条目的内容,平均得分和方差等列于表2.Ⅰ.生理健康领域Ⅲ.社会关系领域
1.疼痛与不适
14.个人关系
2.精力与疲倦
15.所需社会支持的满足程度
3.睡眠与休息
16.性生活
4.行动能力Ⅳ.环境领域
5.日常生活能力
17.自由、人身安全和社会安全保障
6.对药物及医疗手段的依赖性
18.住房环境
7.工作能力
19.经济来源Ⅱ.心理领域
20.医疗服务与社会保障:享有程度与质量
8.积极感受
21.获取新信息、知识、技能的机会
9.思想、学习记忆和注意力
22.休闲娱乐活动的参与机会与参与程度
10.自尊
23.环境条件(污染、噪声、交通、气候)
11.身材与相貌
24.交通条件
12.消极感受总的健康状况与生存质量
13.精神依托、宗教、个人信仰表1WHOQOL-BREF量表的结构表2环境领域各条目得分情况及领域总分的相关分析环境领域条目平均得分方差相关系数1.日常生活中您感觉安全吗?3.42550.3800.565**2.您生活的环境对健康好吗?3.34040.5340.488**3.您的钱够用吗?3.06380.8870.697**4.在日常生活中您需要的信息都齐备吗?3.02130.5430.546**5.您有机会进行休闲活动吗?3.57450.8580.630**6.您对自己居住地的条件满意吗?3.57450.5980.528**7.您对得到卫生健康服务的方便程度满意吗?3.42550.6850.6
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 高一信息技术《递推策略:从“李白沽酒”到算法建模》教学设计
- 高三英语读后续写教学设计与评析深度讲义
- 初中七年级数学《有理数的乘除运算》教学设计
- 九年级语文中考文言文复习教学设计:邹忌讽齐王纳谏课标考点精讲
- 小学一年级心理健康《我上学我骄傲》教学设计
- 2027年高三生物遗传实验设计教案
- 初中八年级数学《两条平行线之间的距离》教学设计
- 2026事业单位工勤技能-新疆-新疆垃圾清扫与处理工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-新疆-新疆保健按摩师一级(高级技师)历年参考题库含答案详解
- 大学管理学市场营销策略原理应用测试试卷及答案
- 老年髋部骨折患者围手术期管理专家共识
- 电缆防火封堵施工安全交底
- 两品一械不良反应培训
- 加油站企业内部举报奖励制度
- 针织厂大圆机织造实施细则
- 食品厂GMP培训教学课件
- 2026年食品质量与安全基础知识解析题库
- GB/T 46918.2-2025微细气泡技术水中微细气泡分散体系气体含量的测量方法第2部分:氢气含量
- 国家事业单位招聘2024中国人民银行数字货币研究所招聘6人笔试历年参考题库典型考点附带答案详解(3卷合一)
- 心肺功能评定课件
- 中建三局项目样板引路(样板间)专项施工方案图文完整版
评论
0/150
提交评论