量表的信度与效度分析计算.ppt

一 信度 reliability 定义若重复进行测量 产生相同结果的准确程度测量的可靠性 稳定性和预测性测量的精确度反复测量结果的稳定性或一致性可能很高但却可能是不准确的用零点没有调整在中心的秤来测量重量采用有明显导向性的问答题组成的量表测量态度 二 效度 validity 定义所测量的是不是研究者所想要的在多大程度上给出了他 她所想要的例如 研究者希望测量电视广告的传播效果目的 了解广告能否引起目标消费群的购买欲望消费者的购物决策是否与观看的电视广告相关如果 最终测得的不是广告对消费者购物决策的影响而主要是消费者对广告艺术感染力的评价结论 所用量表是无效的或是效度很低的 信度高时效度不一定高但效度高时信度一定高 从三个方面来分析测量的信度稳定性 stability 内在一致性 internalconsistency 等价性 equivalency 三 信度评价 1 稳定性分析也叫做测验 再测验法目的 考察对于同样的问答题 或测试 对同一组被访者或受测试者前后两次测量的结果是否基本一致 1 稳定性分析方法 用 再测信度 来测量稳定性再测信度 两次测量结果间的相关系数相关系数越接近1 表示稳定性越好 1 稳定性分析缺点 一般应用中很难真正实现 人力 财力 时间 再测信度的应用有局限性第一次的测量可能会影响到第二次 信度偏高 两次测量间客观的情况可能有变化 信度偏低 2 内在一致性分析目的 检验多项目量表中各个项目的一致性可信的量表的项目必须具有内在一致性 2 内在一致性分析方法之一 折半法 split halftechnique 将量表中的项目分成两半计算这两部分的总得分的相关系数rh如果量表具有较高的内在一致性那么这两部分应该是高度相关的 2 内在一致性分析方法之一 折半法 split halftechnique 优点 不需要重复的测量常用分法 按项目号的前后顺序分或按项目号的奇偶性分计算公式 ru 2rh 1 rh 2 内在一致性分析方法之一 折半法 split halftechnique 注意 需先将量表中的反意题作逆向处理再分别计算两部分的总得分前提假设 两半题项得分方差大致相等否则可能会低估信度系数 2 内在一致性分析方法之二 alpha信度系数法克朗巴哈提出用 系数来测量累加量表的信度 K 1 i2 T2 K 1 K量表中题 项目 的总数 i2第i个题 项目 得分的题内方差 i2K个题项的方差之和 T2总得分 所有题项得分之和 的方差 信度系数是评估量表内部一致性的比较常用系数 2 内在一致性分析方法之三 平均相关系数法缺点 偏重于项目之间的相关而不是整个量表的信度项目越多 平均相关系数就可能越高提高信度的方法之一 增加量表中的测量项目因为各个项目的随机误差可能会相互抵消 2 内在一致性分析小结 信度的高低既依赖于项目的内在一致性也依赖于量表的长度因此 一方面尽量设计内在相关性更高的项目另一方面也可以考虑适当增加项目的数量 3 等价性分析A当使用两种不同的量表去测量同一概念时 这两种量表是否等价 方法 在同一时段中 让同一组被访者接受两种量表的测试 计算两组得分之间的相关 用于评价信度B当两个评分者 或编码员 判断同一现象时 评价结果是否一致 方法 计算两个评分者评分之间的相关 或计算两个编码员编码结果一致的比例 用于评价信度 3 等价性分析前一种应用A比较少见 构造等价的量表非常困难 后一种应用B比较常见 也称为评分者内在信度 inter raterreliability 编码员间信度 inter coderreliability 3 等价性分析在内容分析中 要评价编码员间信度编码 将分析单位 如单词 符号 主题等 置于各种内容类别中不同的编码者独立地编码如果能得到比较一致的结果则信度较高 3 等价性分析 编码者间信度的计算公式霍斯提 Holsti 公式假定两个编码员分别同时做了m1和m2个单位的编码 其中一致的编码数为m 则编码者间信度 2m m1 m2 3 等价性分析 编码者间信度的计算公式霍斯提 Holsti 公式优点 计算简单 易于操作缺点 信度的大小可能与编码时所用的类别的数目有关类别的数目越少 由于偶然性而造成一致的可能性就越大编码问题都是两个类别时 随机的编码也可能有50 的信度在五个类别的情况 随机的编码就只可能有20 左右的信度 3 等价性分析 编码者间信度的计算公式史考特 Scott 指数编码员间信度 o e 1 e o 观测到的一致性或叫实际一致性 用霍斯提公式计算 e 纯粹由于偶然性而造成的一致性或叫期望一致性 等于每个类别出现的相对频率的平方和 3 等价性分析 编码者间信度的计算公式利用霍斯特公式计算时 一般信度在90 或以上利用史考特公式计算时 信度大都是75 或以上考察编码员内 intra coder 信度时让同一个编码员在不同的时间内对同一个资料编码两次然后借助以上公式计算编码 再编码信度将上式中对应两个编码员的数据 改为同一编码员的两次数据 例在一项少儿电视节目内容分析的编码表中 两个编码员分别同时独立地将100个少儿节目分配到如下三个类别中 1 单本剧2 连续剧3 系列剧 已知编码不一致的节目共计8个 这三个类别的节目数分别占30 45 和25 试分别利用霍斯提和史考特公式 评价这两个编码员编码的等价性 解 m1 m2 100 m 100 8 92霍斯提信度 2m m1 m2 2 92 100 100 0 92 o 0 92 e 0 30 2 0 45 2 0 25 2 0 355史考特信度 o e 1 e 0 92 0 355 1 0 355 0 876 效度主要有三种类型 内容效度 contentvalidity 效标效度 criterionvalidity 结构效度 constructvalidity 四 效度评价 1 内容效度也叫做表面效度 facevalidity 用最简单的也是最基本的主观判断的方法一般根据测量量表所选的题项来判断仅从表面上来观察判断其是否能够代表想要测量的内容或主题 1 内容效度尽量收集和阅读与测量内容有关的资料除了研究人员的主观判断之外最好再请一些专家来帮助判断 1 内容效度单项与总和相关效度分析法确定各个具体的题项对整个量表的效度是否都有足够的贡献或考察量表内的题项是否具有同质性计算每个题项的得分与总分的相关系数如果相关不显著 表示该题项的鉴别力低 最好剔除题项与总和的相关关系越显著 量表的内容效度也越高 1 内容效度例如 1993年卜卫等在厦门受众调查问卷中 见 媒介 人 现代化 设计了一个四级李克动机量表 以测试厦门受众的媒介使用动机 表中的受众媒介动机量表就是剔除了不合格题项后的量表 表中的各个题项的得分与总分都是显著相关的 概值P 0 001 说明量表内的各个题项之间具有较好的同质性 2 效标效度也叫做效标关联效度或独立标准效度效标是一个与量表有密切关联的独立标准将量表所测特性看成因变量将效标看成自变量所测特性与效标密切相关的量表才是有效的量表 2 效标效度的分析方法考察所测特性 因变量 与效标 自变量 是否有显著的相关 相关分析 或是对效标的不同取值 特性的值是否表现出显著的差异 t检验 F检验 效标的确定并不是一件容易的事选择效标一般要根据某种已知的理论 或某种已经得到肯定的结论 2 效标效度的举例用高考的成绩 作为预测学生大学期间学业成绩的效标 是否有研究结果表明 这两者之间是有密切相关关系的 设计测量人们现代化观念的量表时 媒介接触行为可能是主要的效标之一 很难设想不看报 不听广播的人会具有现代化的观念 可考虑以媒介接触频度 时间 内容等为具体的效标 2 效标效度的举例台湾的 兰屿民众传播行为与现代化程度之研究 用离岛经验作为测量雅美族人现代化程度的效标有 无离岛经验的雅美族人之间现代化程度有明显差异的量表才有可能是高效度的量表要剔除那些没有显著差异的低效度的题项 3 结构效度评价量表测量的结果是否与理论假设或框架相关称能测出结构的量表为具有高的结构效度的量表因子分析法 factoranalysis 评价量表中的各个题项能否有效地区分研究对象各题项能否有效地鉴别态度不同的被访者 题项内容的难易度是否合适 项目分析法 itemanalysis 3 结构效度 因子分析法因子分析法是一种高级的统计分析法将量表中的题项集合成不同的群使每一个群的变量 题项 共享一个公共因子这些公共因子就代表了量表的基本结构考察这些公共因子的意义比较量表的实际结构与理论框架之间的异同若两者相吻合 且提取的公共因子有足够的代表性则说明该测量量表具有令人满意的结构效度 3 结构效度 因子分析法举例对测量动机的量表进行了因子分析 参考 媒介 人 现代化 结果将受众使用媒介动机分成了三类信息寻求动机 娱乐消遣动机 社会功利动机与研究者设计量表时假设的结构一致说明这一动机量表具有很好的结构效度 3 结构效度 项目分析法 难易度 量表中各个题项的 难易度 和 鉴别度 难易度 PH PL 2PH和PL分别表示高分组和低分组的通过率 3 结构效度 项目分析法 难易度 通过率的计算方法 将反向题作逆向处理后 计算累加量表的总分总分按由小到大的顺序排列 划分成人数相等的四个组分数最高和最低的两个组分别为 高分组 和 低分组 计算这两组的被访者在每个题项上的 通过率 PH和PL正向题的通过率 非常同意 比较同意 的比例逆向题的通过率 很不同意 不太同意 的比例 3 结构效度 项目分析法 难易度 通过率的意义对于正向题 表示持肯定 积极态度的比例对于反向题 表示持否定 消极态度的比例某题项的难易度 高分组和低分组通过率的均值难易度越大 表示该题项越 容