信效度分析-程萌PPT课件.ppt

程萌2016级护理研究生 信效度分析 1 目录 1 信度分析2 效度分析 2 信度的分类 1 重测信度 2 复本信度 3 内部一致性信度 4 分半信度 5 评分者信度 3 信度信度 1 信度的概念信度又叫可靠性 是指测验的可靠程度 一个新编测验很重要的是确定其否有很好的信度 即能否可靠地测到想要的内容 信度一般是以相关系数表示的 信度系数用r表示 信度只受随机误差影响 随机误差越大 测验的信度越低 因此 信度可以视为测量结果受随机误差的影响的程度 4 重测信度 定义 用同样的测量工具 对同一组研究对象间隔一定时间重复测试 两次测试结果的一致性 重测信度表示两次测验结果有无变动 反映测验分数的稳定程度 故又称为稳定系数 由于重测中第二次测验与第一次测试使用的是完全相同的测试项目 因此无法避免诸如学习 记忆 动机方面的问题 5 分析方法及相关系数 相关分析 1 Pearson相关系数 2 Speasman相关系数 kappa一致性检验 组内相关系数法 6 复本信度 定义 两个平行量表或问卷测试同一批被试对象所得结果的一致性程度 复本信度反映的是测验在内容上得分的等值性 复本信度可以在一定程度上避免重测信度的缺点 减少由于被试记忆和练习所带来的误差 注 平行测量是两个或两个以上的等值测量 同一特质的两个测量在题目 数量 形式 难度 时限及所用例题 公式等其他内容相同或相似 7 前提条件 计算复本信度要构建两份或两份以上真正平行的测验 计算复本信度时被试要具有接受两个测试的条件 这种条件取决于时间 经费等几个方面 注 复本测验是用不同的题目测量同样的内容 并且其测验结果的平均值和标准差都相同的两个测验 8 分析方法及相关系数 相关分析 1 Pearson相关系数 2 Speasman相关系数 kappa一致性检验 9 各系数的应用 相关分析 1 Pearson相关系数 适用于变量为连续性变量的资料 2 Speasman相关系数 适用于两个变量都是分类变量或者一个是分类变量资料 kappa一致性检验 适用于无序分类变量资料 包括两项分类或多项分类资料 10 内部一致性信度 内在信度 定义 问卷 量表 中的一组问题 或题项 是否在测量同一个概念 即这些问题 题项 的内在一致性如何 能否稳定地衡量这一概念 一致性程度越高 评价项目就越有意义 其评价结果的可信度就越强 11 分析方法及相关系数 内部一致性法包括 斯皮尔曼分半法 库尔德 理查逊公式 克伦巴赫系数 注意 如果测试题目间不具有较高的正相关 那么即使一些表面看起来是测量同一种心理特质的题目 也不能认为它们具有同质性 12 各系数的应用 内部一致性法包括 斯皮尔曼分半法 库尔德 理查逊公式 适用于两级计分的测验 例如是非题 克伦巴赫系数 适用于非二级计分的测验 13 分半信度 定义 在测验没有复本且只能实施一次的情况下 我们将测验项目分成对等的两半 对同一批被试施测 根据这两半测验中所得分数 计算相关系数 可以把分半信度中两半测验看成是在最短时距内施策的两个平行实验 分半信度实际上只是半个测验的信度 而测验越长 项目越多 因此要对用两半测验求得的相关系数进行校正 1 两半测验结果满足方差齐性 则用斯皮尔曼 布朗公式校正 2 方差不同则用弗朗那根公式或卢伦公式校正 14 信度分析 15 分半信度的适用条件 1 分半信度只能在施测一次或没有复本的情况下使用 2 使用斯皮尔曼 布朗公式时 要求方差齐性 3 当一个测验无法分成对等的两半时 不宜使用分半信度 4 将一个测验分成两半的方法很多 如题号的奇偶分半 按题目的内容分半等 所以同一个测验会有多个分半信度值 16 信度分析 17 评分者信度 定义 有些心理测验的得分不是根据客观的计分系统 而是由评分者来打分 此时测验的可靠性程度取决于评分者评分的一致性和稳定性 评分者信度由于评分者人数不同 其估计方法也不同 18 评分者信度的分类 1 评分者间信度 检测的两位以上的评分者测试结果的一致性 2 评分者内信度 检测同一位评分者重复测试的结果是否稳定 19 分析方法及相关系数 相关分析 肯德尔系数 kappa一致性检验 组内相关系数 20 各系数的应用 相关分析 适用于两个评分者或者一个评分者重复两次的评估 肯德尔系数 Kendall 适用于三个以上评分者 要求结果为等级变量 kappa一致性检验 结果变量为分类变量 组内相关系数 ICC 是衡量和评价评分者信度和重测信度的信度系数指标之一 既可用于计数资料又可用于分类 多组资料的一致性 21 评分者信度 22 效度分析 效度 validity 主要评价量表的准确度 有效性和正确性 即测定值与目标真实值的偏差大小 效度意在反映某测量工具是否有效地测定到了它打算测定的内容 即实际测定结果与预想结果的符合程度 23 效度分析 内容效度 contentvalidity 量表测量的内容与所要测量的内容之间的符合情况 即测定对象对问题的理解和回答是否与条目设计者希望询问的内容一致 内容效度的评价主要通过主观经验判断 一般通过专家评议打分 24 效度分析 25 效度分析 26 效度分析 结构效度 constructvalidity 结构效度是指研究者所构想的量表结构与观察结果的吻合程度 主要通过考察量表结构内部一致性和结构模型的拟合程度进行检验 本研究将评估问卷的项目作为主成分分析和因子分析 检验问卷的结构效度 27 效度分析 主成分分析与因子分析 28 效度分析 步骤 1 进行KMO检验及球形检验 判断数据是否适于因子分析 2 确定因子数目 经主成分分析累计贡献率大于70 特征值大于1 根据研究内容确定 如以量表维数为因子数目 3 进行旋转变换 寻求最佳分析结果 此过程可反复尝试 4 计算因子得分 以备进一步分析用 29 效度分析 30 效度分析 主成分分析 principalcomponentsanalysis 通过对原始指标相互关系的研究 找出少数几个综合指标 这些综合指标是原始指标的线性组合 既保留了原始指标的主要信息 又互不相关 31 效度分析 主成分分析目的 用较少个数的综合指标来反映全部原始指标中的主要信息 因此主成分的个数总是小于原始指标的个数 主成分个数选取的原则 以累计贡献率来确定 当前k个主成分的累积贡献率达到某一特定值时 一般大于70 为宜 则保留前k个主成分 32 效度分析 33 效度分析 因子旋转建立因子分析模型的目的 不仅是找出公因子 更重要的是弄清楚各公因子的专业意义 因子旋转的作用 通过旋转使每一公因子上因子载荷向0和1两极分化 造成尽可能大差别 以使各公因子尽可能支配不同的原始指标 从而使各公因子具有较为清晰的专业意义 方法 1