心理测验的编制.ppt

第一节心理测验编制的一般程序 一 确定测验目的二 拟订编制计划三 设计测验试题四 项目的测试和分析五 合成测验六 测验的标准化七 搜集信度 效度资料八 编写测验手册 一 确定测验目的 1 明确测验对象心理结构或者心理特质由于年龄 教育水平和文化背景等的异质性而呈现出较大的差异 从而引起测验的误差 年龄 不同的年龄阶段的人的心理结构或者心理特质是不相同的 即便是测查同样的心理特质 如智力 也要使用不同的材料加以呈现 教育水平 心理结果或者心理特质的差异还受制于社会经验与教育水平的制约 尤其是在教育测验中 教育水平要作为一个重要的维度加以考量 文化背景 大到不同的文化传统与文化思维模式 小到不同的成长社区 如城市和农村 汉族和少数民族等 2 测量目标 确定能表征所要测量的心理结构的行为 即选取行为组样 回顾已有成果 看哪些行为经常被人们用来界定该心理结构或者心理特质并且效果较为理想 考虑时代的特征 如算术能力随着计算机的迅速普及 其作用逐渐减小 了解被试群体的实际情况 理论与前人的实践都可能随着时间的推移而成为谬误 通过实际情况的考察发现理论是否可行 以及是否存在理论所没有涵盖的具体问题和具体方面 确定每一类行为的项目比例 其实质是确定每一类行为在心理结构或者心理特质中的比重 确定项目比例的目的在于确保测验结构中各行为比例与测验者所假设的心理结构中各特质的比例相当 如16PF中各种因素所占的基本相等 3 明确测验用途通常心理测验的用途有 描述 诊断 选拔和预测 不同的用途则测验项目的取材范围和试题的难度等是不相同的 根据测验用途确定测验用来来测查什么心理特质 智力的或者是人格的 根据什么理论测查智力或者人格的哪一方面特质量 根据用途确定使用标准参照测验还是常模参照测验 如果是前者 则被试的原始分数具有意义 如果是后者 则被试的原始分数就几乎没有什么意义 二 拟订编制计划 三 产生测验试题 一 收集相关资料 1 资料的丰富性 资料也丰富 测验越全面 则越能提高行为样本的代表性 2 资料的普遍性 对不同测验对象的适切性与公平性问题 二 确定试题或项目的形式 有两种基本的项目形式 即客观项目和主观项目 前者提供备选答案 要求被试选择 如判断 选择 句子匹配等 后者要求被试自己回答 如简答 论述或者描述情景等 客观性试题 适于测量知识 理解 应用 分析几个层次的认知目标 而不适于测量综合 评价知识目标 优点 答案明确 回答简便 因此在限定的测验时间内可以包含足够多的试题数量 保证对知识内容的覆盖率 因为备有明确的标准答案 评分准确 简单 可靠 若采用计算机阅卷则可省下大量人力 物力 财力 缺点 编制困难 且花费时间较多 客观性试题容易受到考生阅读能力的影响 而且难以排除学生对试题的随机猜测 非客观性试题 作文 论述题 自由反应性试题 优点 适合于测量综合 评价认知目标 较客观性试题更容易编制 比较省时 省力 鼓励考生组织所学所学材料 表达自己的观点 缺点 没有明确答案 评分困难 且不可靠 试题不容易回答 耗费时间长 精力多 在限定的测验时间内 试题数量不能太多 对知识的覆盖率小 无法保证内容效度 容易使学生以模棱两可的叙述来掩盖其知识缺陷 测验成绩容易受学生写作能力的影响 试题选择的原则 根据测验目的选择在同一测验中 试题类型不宜太多选择题型应考虑经济性原则 尤其是在大规模测试中 1 各类题型的特点 1 判断题 对错 同意或不同意 在两个极端之间增加不同程度的中间选项 优点 命题容易 评分简单 回答方便 取样广泛 有同样答案缺点 只适合对简单知识的考察 分数受机遇的影响大 猜测 注意事项 A 测查的应该是重要的原理或概念 而不是无关或琐碎的细节 B 每个项目中只包含一个重要的观念 两个以上的观念应分别测查 C 在人格或态度的测验中 避免使用事实的或者能作为解释的陈述句 D 不要用所有人都同意或者不同意的句子要求被试做判断 E 句子不要太长 F 避免使用具有暗示作用的词语 如 总是 都 没有一个 决不 等 G 避免使用未经过界定的词语 如 只有 仅仅 许多 一些 很少 等 H 在全部是非题中 答案为对和错的比例应大体相等 并应无规则地排列在试卷中 I 是非题不要直录教材原文 要重新组织措辞 尽量不使教材中的语句在试题中的出现 J 应避免使用否定词 2 选择题 两个部分组成 题干和选项 题干提供刺激情境或刺激源 由疑问句或者不完全的叙述句组成 选项提供备选答案 优点 应用范围广泛 适合于不同层次的认知目标 可用于文字 数字和图形 评分简单客观 比判断题更少受猜测等机遇因素的影响 缺点 编制具有迷惑性的答案比较困难 无法测查出被试的言语表达能力和概括 组织能力 这是主观项目的优势 没有完全排除机遇因素的影响 注意事项 A 题干意义完整 简单明确 避免出现不切题内容 B 选项通常为4 5个 C 同一测验中每个项目的选项一致 D 只有一个正确答案 且错误不能太明显 要和题干有相应的逻辑联系 E 答案长度大致相等 要么都简单 要么都详细 F 答案以简短为宜 必要的叙述和相同的文字置于题干中 G 尽量少用 以上都是 以下都不是 等答案 H 正确答案排列避免规律性 3 匹配题 由选择题变化而来 适用于测量概念与事实之间的关系 由两部分组成 问句 刺激 项目与反应项目 有两种形式 完全匹配 两部分的项目数量相等 和非完全匹配 两部分项目数量不等 为避免机遇增加可靠性 一般采用非完全匹配形式 优点 具备选择题的优点 可以考察相互关联的材料 覆盖面广 编制容易 缺点 对选项的同质性要求高 注意事项 A 问句项目和反应项目在性质上力求相近 并按左右顺序排列 B 项目通常为6 15个 非完全匹配中项目数量差一般在2 3个 C 做答的方法给予明确的说明 D 同一组项目印在同一页上 E 匹配的方法给予明确的说明 如匹配的依据 选项是否可以重复被选等 4 简答题 两种陈述方式 直接疑问句 谁是红楼梦的作者 和不完全陈述句 红楼梦的作者是 优点 编写简单灵活 避免机遇因素 应用广泛 可以测查各种认知目标与知识和能力 在各种项目中 简答最容易编制 缺点 不能测量复杂的知识和能力 注意事项 A 只能有一个答案 如果是填充则必须能用词 词组和短语回答 B 测量的是重要的概念 而不是细节与零散的知识 C 除非语法测验或者为某种目的而进行的语文测验 否则不能用省略连词 介词 冠词让被试填写 填写的必须是具有重要意义的词语 D 填充的空格不能太多以至于影响到题意的完整性 E 试题中避免提供正确答案的线索 F 如果答案是数字 则最好应指明要求的精确度以及单位名称 5 论文式试题优点 可以测量综合 评价等高级认知目标 缺点 评分标准的不一致注意 A 应限定论述题所包含的范围 B 论述题的数量要尽可能的多些 C 不应给学生提供选择试题作答的机会 D 要尽量选用适当的行为动词来陈述试题内容 以保证对复杂的认知目标的测量 用行为动词编制论述题举例 1 比较 说明甲乙的异同点 比较两种方法在某方面的优劣 2 因果关系 导致某事物的原因是什么 最可能影响某事物的因素是什么 3 辩护 下列各项你最喜欢哪一个 为什么 说明你同意或者不同意某一观点的理由 4 摘要 说明某个理论的主要观点 为某篇文章作要点摘要 5 概括 从下述材料中概括出某项原则举出解释下述事件的一些原则 6 推论 就提供的资料 预料到某时间可能发生什么 某类气质类型的人对下述事件可能作出什么反应 7 分类 以某原则将下列事物分类下列各事物的共同点是什么 8 创造 列出所有你能想到的 编写一个故事 说明在某种情况下将发生什么 9 应用 按照某项原理 说明你将如何解决下述问题 举出能用来说明某项原则的实例 10 分析 说出下述短文推理错误之处列出并说明某项原则的实例 11 综合 写一篇完整的报告来说明 写一份制造某事物的详细说明书 12 评价 评价下述事物的优缺点 批判下面的各种观点 除上述项目之外 还有排列 改错 图解 类推以及操作测验 2 确定项目形式的总体注意事项 1 与测验目的和材料性质的匹配 考察被试对重要概念和原理的记忆 多用简答 考察被试对事物的辨别和判断能力 多用选择 考察综合知识与能力 多用操作与论文 2 被试团体的特点 如文盲 盲人 聋人对项目的特殊要求 3 实际因素 被试人数 经费 时间 仪器设备与条件等 3 测验试题的检查 分析与修改试题的来源 直接选自国内外相关的优秀测验试题 修改前人测验中的相关试题 自己编写 试题检查 编制的技术问题 如用词的恰当性 语法问题 句子是否明确 没有歧义 是否有年龄和文化偏见等 进行预测和项目分析 并根据分析的结果进行题目修改 试题的选择 编排和最后确定试题 三 编写和修订项目1 项目的范围要与测验计划相一致 2 项目的数量要比最后所需要的数目多一倍或者几倍 以备筛选和编制复本 3 项目的难度必须符合测验目的的需要 4 项目的说明必须清楚 四 项目的试测和分析 一 试测 1 预测对象应取自将来正式测验准备应用的群体 2 预测的实施过程与情境应力求与将来正式测试时的情况相近似 3 预测的时限可以稍宽一些 最好使每个被试都能将项目做完 以搜集较充分的反应资料 使统计分析的结果更为可靠 4 在预测过程中 应随时记录被试的反应资料 以提供重要的信息 二 项目分析 定性分析 从内容的取样的适当性 题目的思想性以及表达是否清楚等方面加以分析 定量分析 是对预测结果进行统计分析 确定项目的难度 区分度 备选答案的适宜性等 五 合成测验 一 项目的选择 根据不同测验 智力 人格 态度和心理健康等 对难度 区分度等方面的要求 选择合适的项目 二 项目编排 根据测验目的与性质 考虑到被试的答题心理反应方式 以及测验项目的形式和试题的难度 进行试题的编排 三种编排形式 A 并列直进式 分为若干个测验 每一个分测验由易到难排列 如韦氏量表 B 螺旋式 将试题按照难度或年龄分层 在将不同性质试题组合交叉排列 难度螺旋上升 比西量表 C 混合式 将所有试题依难度并列 不考虑试题性质 如态度 人格 心理健康 并列直进式A1A2AA3A4A5B1B2B3BB4B5B6C1C2C3CC4C5C6 螺旋式A1A2B1B2C1C2A3A4B3B4C3C4A5B5B6C5C6 混合式B2A1A2C1B1C2C4A3B3B4A4C3A5C5C6B5B6 三 编制复本 内容本质 数量 难度 区分度 排列方式 评分标准等都要求尽量一一对应 六 测验的标准化 一 标准化 测验的编制 实施 记分以及测验分数的解释的程序的一致性 二 内容标准化 所有被试实施相同的测验内容 且项目经过严格的选择 有良好的难度 区分度 三 测验实施标准化 1 指导语 1 对被试的指导语 清晰 简单地解释如何对测验项目进行反应 消除被试紧张 焦虑的情绪 通过说明测验目的消除对被试的威胁暗示 2 对主试的指导语 对测验细节的进一步解释 交代其他的相关事情 如熟悉测验 测验场所安排 测验材料的分配 计时和记分 测验过程中意外事件的处理等 2 时间限制 不能太短也不能太长 由测验本身的目标所确定 在时间限制方面 能力和人格 态度 心理健康等测验要求不完全一致 四 评分 记分标准化 只有当记分完全是客观的时候 才能够把分数的差异完全归结为被试本身心理结构的差异 分数标准化包括评分的标准化和分数解释的标准化两部分 评分标准化 客观 准确 经济 实用 1 及时清楚地记录反应情况 2 要有一张标准答案或者正确反应的表格 3 将被试的反应和记分键比较 对反应进行分类 五 分数的解释标准化 常模 七 搜查信度 效度资料 一 信度 二 效度 八 编写测验指导书 测验指导书也称测验手册 其基本内容包括 1 测验的目的与功用 可以测查哪些心理特质 目的是筛选还是诊断等 2 测验编制的理论背景以及测验中材料是根据什么原则和什么方法选择得来的 3 关于如何实施测验的说明 基本要求 文字简单明了 不可太长 内容 1 测验分几部分 每部分有多少题目 2 如何做答 3 警告被试不要在每个题目上停留太久 不许先看内容 4 做例题的方法 5 对主试的训练要求 6 时间限制 4 测验的标准或参考答案与记分标准的说明 5 常模表 如何应用常模表以及结果解释的说明 6 测验基本特征 难度 区分度 信度 效度以及因素分析的结果等 九 编制测验的四步失真问题 1 心理理论的失真 任何理论都只是从一个角度 一个侧面反应了某种心理结构或心理特质 而不是全部 甚至有些理论本身就是错误的 2 行为样组的失真 再全面的行为样组也不能全面地反映心理结构本身 3 编写反映行为的试题项目失真 4 测验实施过程的失真 结论 心理测验绝非无能 但非万能 第二节测验的项目分析 测验的编制过程中 为了有效地改善和提高测验的信度和效度 要对每个测验题目进行分析 这就是项目分析 因此 项目分析在本质上是对测验题目进行分析 项目分析包括定量分析和定性分析两种方式 定性分析主要是依靠测验编制者丰富的经验和所受的训练 对项目的内容和形式是否得当进行分析 定量分析主要是对项目难度和区分度进行分析 一 项目的难度分析二 项目的区分度分析三 难度和区分度的关系四 项目分析的特殊问题五 项目分析的基本步骤六 项目反应理论 一 难度分析难度是指试题的难易程度 在最高作为测验中 称为 难度 而在典型作为测验中 则指 通俗性 两者都是指在总体中 能够正确或确切回答某项目的人数 决定难度的因素 测验内容本身 测验的编制技术 如表述的清晰度 和被试知识经验 一 难度的计算1 客观性试题计算难度的方法 二分法记分项目的难度 1 通过率P R N P为难度 R为答对的人数 N为全体被试 P值越大 其难度越小 易度例如 80人参加某个测验 其中一个题目答对的人数有32人 则该题的难度是多少 为了避免猜测等机遇因素对试题难度的影响 可以采用矫正公式 CP KP 1 K 1 CP 为矫正后的难度P 为矫正前的难度K 为选项数目例如 一个五选一的试题难度为0 50 另一个四选一的试题的难度是0 53 哪一个题目的难度大 2 极端分组法 当被试人数很多时 首先 将被试的分数按照高低排列 其次 取得分高的27 作为高分组 得分低的27 作为低分组 然后计算出高分组答对该题的百分比PH和低分组答对该题的百分比PL 利用公式计算 如果测验分数的分布符合正态分布 则最恰当的高低分组人数占总人数的27 如果分布较平坦 则该比例为33 一般测验的取值比例在25 33 P PH PL 2例如 假设370人参加某一测验 成绩高的27 100 人定为高分组 成绩低的27 100 人定为低分组 对某一题 高分组有60人答对 低分组有30人答对 则该题的难度为多少 2 主观性试题难度计算的方法 平均分数法P X XmaxX 为所有被试在该项目上的平均得分 Xmax 为该项目的满分 例如 某题满分为20分 全体被试的平均分为12分 则该试题的难度为12 20 0 6 极端分组法 XH XL 2NL 2N H L XH 为高分组所得总分XL 为低分组所得总分H 为该题的最高分L 为该题的最低分N 为考生总人数的25 P 例 有100名学生参加论文式测验 按高 低分各占总人数的 分组 其中第六题的得分统计如下表所示 求该题的难度 X 该题得到的各种分数F 各种分数的人数FX 各种分数与各种分数的人数之乘积 二 测验难度水平的确定效标参照测验 掌握测验 不考虑难度 选拔测验 难度 录取率 对于选择题来说 难度一般应大于猜测概率 无论是速度测验 还是难度测验 一般都应防止被试得满分 因为满分的意义是不明确的 一般来说 速度测验的难度不宜太难 而且每个项目的难度值应该接近相等 难度测验则要求难度值应在0 5左右 大体而言 难度为0 50时最理想 此时项目具有最大的鉴别力 但在实际操作中 让所有项目难度都到达0 50困难很大 而且也不必要 一般只需使项目的平均难度接近0 50 而各个项目的难度在0 50 0 20之间变化 三 难度对测验的影响 测验难度影响测验分数的分布形态 测验难度影响测验分数的离散程度 测验过难或过易 分数全距缩小 信度降低 难度大 正偏态难度低 负偏态 二 项目的区分度分析 区分度是指测验题目对被试心理特性的区分能力 区分度高的试题能把不同水平的被试区分开来 区分度低的试题则不能很好地区分不同水平的被试 一 区分度的计算方法1 项目鉴别指数法 D PH PLPH 为测验高分组在某个试题上的通过率 PL 为测验低