测量学原理及命题技术.ppt

测量学基本原理与命题技术,谢 晶 博士,内容简介,一、测量学的重要概念,测量：根据一定法则使用数字对事物或事物的属性进行区分和描述的过程。,测量学,测验：用于考查行为或者旨在理解和预测行为的测量工具或手段。,测量的基本要素： 1、测量的对象是人的行为 2、选取的是行为样本 3、测量要标准化 4、测量要有常模,一、测量学的重要概念,测量的特点 间接性 有误差 数据需要进行统计处理，最低要求p.05 结果的应用 直接应用于了解现状与预测未来,一、测量学的重要概念,纠正错误的测验观，培养正确的测验观 错误的测验观 测验万能论 测验无用论 正确的测验观 心理测验是重要的心理学研究方法之一，是决策的辅助工具 心理测验作为研究方法和测量工具尚不完善,一、测量学的重要概念,二、测量与考试,测验分类 根据测量内容: 智力测验，人格测验，技能测验，成就测验 根据应用领域: 教育测验，人事测验，心理健康测验 根据测量目的: 诊断性测验，选拔性测验，教育评估测验 根据分数解释: 常模参照测验与标准参照测验 根据施测方式: 团体测验与个体测验,二、测量与考试,考试 性质：测量评价 目的：测查、诊断、改进与提高 测查对象：考生，教师，教材 意义：教学培训过程中必不可少的重要环节 分类：选拔性测验与标准化测验的区别 （常模参照）（标准参照）,试卷的组成 试卷、答题纸 参考答案与评分标准 双向细目表 命题说明,三、命题方法,三、命题方法,命题原则： 适纲性原则 适度性原则 整体性原则 规范性原则,三、命题方法,编制命题方案包括: 测评目的明确为谁选拔人才。 测评要素一明确测评哪些素质。 测评对象明确考生总体情况。 测评模式明确测评方法特点。 试题类型明确采用哪些题型。 取材范围明确选择哪些素材。 质量数量明确质量数量要求。 工作程序明确命题方法步骤。 命题人员明确命题人员分工。 保密要求明确各种保密措施。,三、命题方法,题目内容 从工作分析开始，明确题目内容,三、命题方法,双向细目表 双向细目表是一种反映考查内容和考查要求的横竖两向的表格，其中一向是试题的考查内容，考查内容可分若干级列项，分级可粗可细，应结合学科的特点和测试的目的，做出科学合理的划分命题的双向细目表一目了然地显示了试卷的整体结构，同时，各道试题的考查内容、考查要求以及在试卷中的位置（题号）也都记录在案,三、命题方法,双向细目表 双向细目表是一种反映考查内容和考查要求的横竖两向的表格，其中一向是试题的考查内容，考查内容可分若干级列项，分级可粗可细，应结合学科的特点和测试的目的，做出科学合理的划分命题的双向细目表一目了然地显示了试卷的整体结构，同时，各道试题的考查内容、考查要求以及在试卷中的位置（题号）也都记录在案,三、命题方法,双向细目表的作用 方便命题人员编题的操作，保证命题的质 量 方便审题人员审核试题和试卷 方便测试后对试题和试卷使用效果的评价 方便主管部门对教学效果的评估,三、命题方法,反映测验内容与测验目标关系的双向细目表。,1、反映测验内容与测验目标关系的双向细目表,四种常见的双向细目表,2、反映测验内容与测验目标、题型之间关系的双向细目表,该表是上一个表的改进，增加了题型。,3、反映题型与难度、测验内容之间关系的双向细目表,三、命题方法,4、反映题型与难度、测验目标之间关系的双向细目表,三、命题方法,难易度：A.较易 B.中等 C.较难 D.难度较大 认知度：识记 理解 简单应用 综合运用,试题 也称项目，是考试的基本单元 题型 纸笔型 客观题:简答题，是非题，匹配题，选择题 论述题：能显示组织能力和创新能力 操作型实验操作，表现型测验 评价中心技术,三、命题方法,命题原则 内容方面:符合测验目的；取样有代表性；题目间相互独立 文字方面:准确；简明；一句话说明一个概念；尽量少用双重否定句 理解方面:应有确切答案；题目内容不超出受测团体的知识水平和理解力；题目格式不会被人误解,三、命题方法,客观性试题及其编写技巧 客观性试题主要是因为评分客观而得名，它的正确答案在测验前就已准备好，不同评分者各自独立评分，所得结果基本上是相同的。客观性试题一般适用于测量知识的掌握、理解、应用、分析几个层次的教学目标。客观性试题的答案明确，作答简便，因而在限定的时间内测验可以包含足够数量的试题，易保证对知识内容的覆盖。 主要题型包括： 选择题 是非题 填空题 简答题,三、命题方法,选择题编写原则： 试题的题干本身意义完整并能表达一个确定的问题。 题干要尽可能简明，尽量不要使用过于复杂的语句结构，也不要使用过长的语句。 题干中不要滥用否定结构，要尽可能采用正面陈述。 所有选项都应与题干有一定的逻辑联系，选项中的干扰答案(诱答项)应具有较高的似真性或似乎合理性，不能错得太明显。 不能对正确答案有暗示。 同一测验中每一个测验试题之间应相互独立避免牵连。 选项的文字表述，力求简短精炼，尽可能将各项中共同的用词(字)放在题干中，在每个选项中要避免重复的材料。 应尽量避免“以上皆是”、“以上皆非”的选项。,三、命题方法,是非题编写原则： 考核的内容应是重要的知识，应有考核价值。 题目应多是测量理解能力，而不应测验记忆性的知识，更不要直接抄录教科书中的句子，以免引导被试死记硬背而不求理解。 一个题目中只能有一个中心问题，或一个重要概念，避免两个以上的概念在同一题中出现。否则将会导致“半对半错”或“似是而非”的情形。 试题应做到是非界限分明,用词准确，避免模棱两可的语句，不致引起对正确答案的争议。 题目陈述应简单明了，避免使用复杂的句子结构，以减少因被试的阅读能力而对测量产生的不良影响，应尽量采用正面叙述，避免用否定和双重否定的语句。 正句和误句的排列要随机化，且数量应大致相等。,三、命题方法,填空题编写原则： 题意明确、限定严密，使空白处应填的答案是惟一的。 空白中所填写的应是关键的词语，并且要和上下文有密切的关系，使被试不至于填写困难。 题目中空白地方不能太多，以免句子变得支离破碎，不利于被试理解题意。 尽量将空白放在句子的后面或中间，而不要放在句子开头。因为按照人们的思维过程，应该是先提供充分的证据，然后再要求被试做什么或怎么做。 所有空白处的线段长度应当一致，不能随正确答案文字的多少而长短不一，以免产生暗示作用。 若答案是数字，应指明单位和数字的精确程度。,三、命题方法,简答题编写原则： 问题的叙述要明确，要确实能使被试用简单的言语来回答。 问题的答案应该只有一个，并且答案要简短具体。 避免出只考机械记忆的题，应注重知识的应用。 在考查某公式的应用时，不要给太复杂的数字，以免给计算带来麻烦。 尽可能使用“直接问句”来提出问题。,三、命题方法,三、命题方法,主观性试题及其编写技巧 主观性试题主要包括论述题、操作题和作文题等。它们适合于测量较高层次的教学目标，尤其是适合于测量综合和评价等目标层次。主观性试题鼓励被试积极地组织所学的资料，表达自己的观点。被试在作答时，耗费的时间较长,在限定的时间内，试题数量不可能太多，对知识的覆盖面较小。由于没有明确统一的标准答案，评分易受评阅者的主观因素影响，因而误差较大。 主要题型包括： 论述题 作文题 操作题,论述题编写原则： 试题应该用来测量较高层次的教学目标,象综合、评价等目标层次,限于那些客观题不能测量的学习成就。 要明确而系统地陈述问题， 使被试能清楚地了解题目的要求。 应采用答案具有统一定论的试题。 一般不允许被试选择问题回答。 为避免被试将时间集 中在某一个他所不会做的题目上而影响对其他题目的回答，因此而影响考试成绩的真实性，最好在题目中能给出回答本题所需的参考时间。,三、命题方法,作文题编写原则： 根据考试的目的和需要确定考试作文的文体要求。 根据社会的需要、现实生活和学生的实际设计命题。 要根据被试的特点确定选材范围与写作意图,在确定选材和写作意图时，要考虑对所有被试都是公平的，并且试题应符合被试的心理特征。 要给被试以发挥的余地。,三、命题方法,操作题编写原则： 明确所要测量的教学目标和学习结果,并将其操作化。 选择合适的真实性程度。 指导语简单清晰,向被试明确说明实际的情境、任务以及评价的标准。 确定科学合理的计分方法,三、命题方法,四、题目分析：难度与区分度,难度 以标准化样本的通过率表示。 通过的百分率越高，题目的难度越低。 区分度 试题能够有效区分被试的程度，是试题的有效性指标。 简单计算：试卷总分最高1/3和最低1/3的人在这道题目上的通过率之差。 区分度的最低要求0.25。,五、题目质量分析：信度与效度,信度 测量结果的稳定性同一测验在不同时间或在同一时间用等值测验所得结果的一致性程度。即测量的可靠性。 信度系数 用相关