大规模教育考试命题——理论和实践问题

1、大规模教育考试命题理论和实践问题 大规模教育考试理论和实践问题雷 新 勇上海市教育考试院大规模教育考试命题理论和实践问题考试考学生什么？考试考学生什么？考试分数准确、可靠吗？考试分数准确、可靠吗？考试对所有的考生公平、公正吗？考试对所有的考生公平、公正吗？考试的价值观与社会的公认价值观一致吗？考试的价值观与社会的公认价值观一致吗？考试对学校的教育、教学有正面的作用吗？考试对学校的教育、教学有正面的作用吗？大规模教育考试关注的基本问题大规模教育考试命题理论和实践问题抽象出的考试理论和实践问题考试的信度考试的信度可靠性或分数的误差可靠性或分数的误差考试的效度考试的效度考试的有效性或对考试结果的解考

2、试的有效性或对考试结果的解 释和适用是否适当、有释和适用是否适当、有效。效。考试的公平、公正性考试的公平、公正性考试平等对待所有考生考试平等对待所有考生考试的后效影响考试的后效影响考试对社会价值观、对学校考试对社会价值观、对学校 教育教学有何影教育教学有何影响响大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设假设假设1 1：人的心理特质是存在的：人的心理特质是存在的 心理特质：一个个体与其他个体不同的、可以识别的、心理特质：一个个体与其他个体不同的、可以识别的、相对稳定的特征（相对稳定的特征（Any distinguished, relatively Any distinguish

3、ed, relatively enduring way in which one individual varies from enduring way in which one individual varies from anotheranother） 。例如，人的智力、认知方式、适应性、兴。例如，人的智力、认知方式、适应性、兴趣、态度、价值观、一般个性、特殊个性等趣、态度、价值观、一般个性、特殊个性等根据对人的行为样本的观察可以确定心理特质及其强度。根据对人的行为样本的观察可以确定心理特质及其强度。 观察方式：观察方式：direction observationdirection obs

4、ervation analysis of self-report statements analysis of self-report statements testing testing大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设假设假设1 1：人的心理特质是存在的：人的心理特质是存在的 心理结构（心理结构（constructconstruct）：）：an informed, scientifican informed, scientific concept to explain behavior. concept to explain behavior. 知识与技能、过程与

5、方法、情感、态度和价值观知识与技能、过程与方法、情感、态度和价值观 相对稳定相对稳定(relatively enduring):(relatively enduring):个体在某种程度上表现出个体在某种程度上表现出某一特质是具有环境依赖性的某一特质是具有环境依赖性的. 一个个体与其他个体不同的特征（一个个体与其他个体不同的特征（one individual varies one individual varies from anotherfrom another）：心理特质的这个属性说明心理特征是一个）：心理特质的这个属性说明心理特征是一个相对现象，在教育和心理测试与评价中，评价者也要将对象

6、相对现象，在教育和心理测试与评价中，评价者也要将对象的评价情况与假设的一般人，做出比较，或者直接将同一评的评价情况与假设的一般人，做出比较，或者直接将同一评价群体中的不同个体作比较。价群体中的不同个体作比较。大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设假设假设2 2：心理特质或心理结构是可以量化并且测量的：心理特质或心理结构是可以量化并且测量的 定义心理结构定义心理结构 行为目标：根据什么样的行为来判断对象具备的心理结构的行为目标：根据什么样的行为来判断对象具备的心理结构的强度。强度。 如何使考生表现出要观察的行为：用何内容的试题如何使考生表现出要观察的行为：用何内容的试题 如

7、何对行为进行量化：赋分如何对行为进行量化：赋分 如何用数学模型进行处理如何用数学模型进行处理大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设 假设3：与考试相关的行为可以预测非考试相关的行为 预测什么非考试环境下的行为？ 高考：高等教育条件下的行为 考试中，创造哪种测试环境 英语：真实的交际语言环境 数学：抽象的、academic circumstances 物理：真实的、抽象的、academic、experimental 化学：真实的、抽象的、academic、experimental 地理：真实的、earth-related大规模教育考试命题理论和实践问题教育考试的心理学基础基

8、本假设 假设4：每种测试方法或技术都有其优势和弱势 Paper and pencil Testing Oral Test Interview Class Observation School Observation 常模参照和标准参照考试大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设 假设5：测量过程中必然会产生误差。 误差是指测量心理结构以外的因素所产生的效应。 教育考试中考生的行为表现除受到测量的心理结构影响外，还会受到其他因素的影响，这些因素所产生的效应就是误差。 误差是所有测量过程一定存在的。 误差是测量过程必须要考虑的一个变量，由该变量产生的分数变化称为误差方差。 经典

9、的真分数理论、概化理论、项目反应理论大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设 假设6：测试和评价可以是公平的、无偏的 这是心理测量领域争议最大的一个假设 公平、无偏就是要平等地对待每一个考生，无论其性别、民族、居住地如何；考生的与测量的心理结构无关的个性特征对考试结果以及结果的解释没有明显的影响。 公平、无偏的关键是所有考生对测试、评价有足够的了解大规模教育考试命题理论和实践问题教育考试的心理学基础基本假设 假设7：测试和评价可以造福社会 没有测试和评价就没有甑别，就会出现社会混乱。 学校教师无法诊断、无法因材施教 社会无法选择适合各行各业的人才 测试和评价可以对社会的价值

10、观产生影响 测试和评价可以对学校的教育、教学产生积极影响。大规模教育考试命题理论和实践问题考试的效度有效性效度是指各种证据和理论对考试结果的解释和使用的支效度是指各种证据和理论对考试结果的解释和使用的支持程度。持程度。 有效性是一种价值判断有效性是一种价值判断 建立价值判断的标准建立价值判断的标准 收集支持价值判断的证据收集支持价值判断的证据标准标准测量目标测量目标证据来源证据来源考试大纲、试题、试卷、考试考试大纲、试题、试卷、考试 结果数据等。结果数据等。证据类型证据类型内容、应答过程、内部结构、与其它变量的关系、内容、应答过程、内部结构、与其它变量的关系、考试的后果。考试的后果。大规模教育

11、考试命题理论和实践问题课程标准课程标准课程标准中学习目标的基本要求课程标准中学习目标的基本要求 可评估性可评估性 可理解性可理解性 可执行性可执行性 可完成性可完成性教育考试的测量目标来源大规模教育考试命题理论和实践问题中外课程标准学习目标的对比美国课标中国课标注重目标好内容规定较笼统教学建议较笼统无教材编写建议目标规定较笼统内容规定很细有教学建议有教材编写建议教材编写目标明确教学目标明确需要选择教材或内容课难上好评价教材与目标不完全一致不太关注总的教学目标不需要选择教材或内容课好上不太好评价三个层次的目标体系目标层次混乱大规模教育考试命题理论和实践问题考试的测量目标构成测量目标测量目标Goa

12、lsGoals are broad statements which specify what the students are supposed to be able to know and to do.具体目标具体目标ObjectivesObjectives are specific statements which specify what behaviors the students are supposed to show to demonstrate their knowledge and abilities.表现水平标准表现水平标准Performance StandardsPer

13、formance Standards specify how good of the students behaviors is good.大规模教育考试命题理论和实践问题考试的效度证据类型考试或试卷的内容考试或试卷的内容应答过程应答过程内部结构内部结构与其它变量的关系与其它变量的关系考试的后果考试的后果大规模教育考试命题理论和实践问题考试的效度内容方面的证据 试卷覆盖的学科知识、学科的思维方法（过程）、学科的（实验）技能的主要行为；这些行为是否进行了适当的描述； 这些需要由学科专家和测量专家共同做出的判断。 试题样本是否适当地代表一定的内容领域。 这一证据主要关注的是试题内容的代表性，即试题

14、覆盖的学科知识、学科的思维方法（过程）、学科的（实验）技能等，是否足以反映学科知识、思维方法和（实验）技能。大规模教育考试命题理论和实践问题考试的效度应答过程方面的证据 考生的应答或在考试中的表现与考试欲测量的心理结构的一致程度 这一证据主要通过观察、交流以及应答结果分析获得。 考生应答过程的理论和经验分析 这个证据需要既有学科背景，又有测量学背景的专家来分析 考生应答过程的观察记录 大规模教育考试命题理论和实践问题考试的效度应答过程方面的证据 试题及试题包测量的行为与考试欲测量的心理结构的一致程度 试题要有明确的测量具体目标 命题要按照确定的具体目标命题 要对命题教师命制的试题，尤其是设问进

15、行检查 要对试题的具体目标与总的测量目标的一致性进行评价 内部结构统计结果 试题包之间的相关关系 因子分析结果。 大规模教育考试命题理论和实践问题考试的效度与外部变量关系的证据 考试分数与外部变量之间的关系所揭示出的与考试欲测量的心理结构之间的关系，对大规模教育考试而言，外部变量主要是指与考试测量的心理结构相关或不同的变量。 一致性关系（convergent evidence） 不一致性（discriminant evidence） 心理结构A成绩心理结构A成绩心理结构B成绩心理结构A成绩大规模教育考试命题理论和实践问题考试的效度与外部变量关系的证据 考试与标准测试之间的关系，关注考试结果可以

16、多大程度上准确地预测考生在标准测试中的行为。预测有效性同期有效性 现在的考试成绩未来考试成绩现在的考试成绩同期考试成绩大规模教育考试命题理论和实践问题考试的信度传统的认识 信度信度不同测量的一致性不同测量的一致性 Temporal stability 相关系数相关系数r Form equivalence 相关系数相关系数r Internal consistencyalpha信度系数信度系数 内部一致性信度内部一致性信度 内部一致性系数一般是指内部一致性系数一般是指Cronbach系数、系数、KR-20系数或系数或分半系数，最广泛使用的是分半系数，最广泛使用的是Cronbach系数系数 Cron

17、bach系数系数 信度是效度的前提条件信度是效度的前提条件 没有高的信度就没有高的效度没有高的信度就没有高的效度j2Yjj/1)1m/(m大规模教育考试命题理论和实践问题考试分数的信度 经典的真分数理论 基本方程观察分数方差真分数方差信度 误差分数方差真分数方差真分数方差信度ETx 观察分数 真分数 误差分数xTE大规模教育考试命题理论和实践问题考试分数的信度 经典的真分数理论 信度系数的解释（Nunaally 1967） 信度系数信度系数解解 释释0.900.90或以上或以上信度很好，达到了最好的标准化测试的水平。信度很好，达到了最好的标准化测试的水平。0.800.80到到0.900.90对

18、学校测试而言，已经是非常好了。对学校测试而言，已经是非常好了。0.700.70到到0.800.80对学校测试而言，大部分试题都很好；可能有对学校测试而言，大部分试题都很好；可能有少数试题需要改进。少数试题需要改进。0.600.60到到0.700.70信度偏低，需要补充其他测试以确定分数或等信度偏低，需要补充其他测试以确定分数或等第。部分试题可能需要改进。第。部分试题可能需要改进。0.500.50到到0.600.60信度低。建议对试卷进行修改，除非试卷的试信度低。建议对试卷进行修改，除非试卷的试题量很少（题量很少（1010题或少于题或少于1010题）。需要补充其他题）。需要补充其他考试来可靠地确

19、定分数或等第考试来可靠地确定分数或等第小于小于0.500.50信度有问题。考试基本无效，需要修改。信度有问题。考试基本无效，需要修改。大规模教育考试命题理论和实践问题考试的信度新的认识 不能再将不能再将CronbachCronbach系数公式看作是检查大部分考试数据系数公式看作是检查大部分考试数据可靠性的最适宜方法可靠性的最适宜方法 。 标准测量误差标准测量误差 是衡量考试结果可靠性的唯一指标。是衡量考试结果可靠性的唯一指标。 根据考试结果使用的目的设置可以接受的最低测量误差根据考试结果使用的目的设置可以接受的最低测量误差最低测量误差决定了试卷的结构，如试题的数量、试题的最低测量误差决定了试卷

20、的结构，如试题的数量、试题的题型及其比例等等。题型及其比例等等。 试题样本采集的独立性试题样本采集的独立性 局部独立局部独立 测试内容的不均匀性测试内容的不均匀性 单维单维/ /多维多维评价结果可靠性的方法不一样评价结果可靠性的方法不一样 如何使用测试结果如何使用测试结果 绝对决策绝对决策/ /相对决策相对决策大规模教育考试命题理论和实践问题考试的信度新的实践 首先根据考试结果使用的目的确定可以接受的测量误差 正式考试推出前，要试测，抽出代表性样本，检查试测卷的测量误差，以便对试卷结构进行修改。 命题之前要根据分数合成的要求，确定试卷的维度。 单一合成分数单维试卷 多维试卷根据测量的能力目标、

21、内容领域分别报道分数。试题难度、区分度、测量误差的评价方法不一样。 命题中要避免局部依赖性 相当部分试卷都存在这种情况 常模参照考试与标准参照考试测量误差评价方法不一样。1SSE大规模教育考试命题理论和实践问题经典的真分数理论中 测量的标准误差与信度的关系CTT中考试的标准差与信度、测量的标准误差关系012345678123456789考试的标准差测量的标准误差r=0.85r=0.90r=0.95大规模教育考试命题理论和实践问题考试的信度概化理论 误差方差是多来源的误差分数方差真分数方差真分数方差信度评分者试题其它概化理论的重要贡献之一 就是研究不同来源的误差大规模教育考试命题理论和实践问题典

22、型的考生分数变化可以归结为以下因素：概化理论通过估计出这些来源的方差，就可以对这些方差作出比较，确定不同来源的方差对考生分数方差的贡献。对一个信度较高的考试，其全域分数方差要大，其他来源的方差（潜在的误差方差）要小。2（Xpir）=2（p）+2(i)+2(r)+2(pi) +2(pr)+2(ir)+2(pir)考生方差试题方差评分者方差交互作用方差考试的信度概化理论 大规模教育考试命题理论和实践问题相对误差方差考试的信度概化理论 2222relppERel概化系数222abspp可靠性指数绝对误差方差大规模教育考试命题理论和实践问题这些系数和误差方差是我们研究考试分数可靠性、控制测量误差、对考

23、试作出改进的主要依据。相对误差方差irelnpi/)(22)/()(/ )(/ )(2222ririrelnnpirnprnpi考试的信度概化理论 绝对误差方差rirelnipi/)()(222)/()()(/)()(22222riirelnnpirirnipi大规模教育考试命题理论和实践问题考试的信度项目反应理论 可以估计每个考生的能力水平能力分数 真分数理论和概化理论均不能估计被试个体的能力水平。两种方法都是围绕观察分数，确定一个置信区间内，合理的推测被试个体的能力水平真分数或全域分数位于该区间之内，区间的大小是由置信度和测量误差共同确定的。 确定置信区间时，是以被试群体的表现为基础的，因

24、此无论被试个体的能力是高，还是低，或是中等，置信区间对每个被试是相同的。 如果测量同一特质的试题数达到一定的数量，则被试的能力估计就与考试采用的试题无关。 如果用来进行参数估计的样本达到一定的数量，则估计出的试题参数就与估计采用的样本无关。 试题和考试提供的信息量或试题和考试的测量精度与考生群体无关。 大规模教育考试命题理论和实践问题考试的信度项目反应理论考试信息函数：niiII1)()(2)(7 . 1)(7 . 12)1 (*)()189. 2)(iiiibabaiiiieeccaI（试题信息函数： 2)(7.1)(7.12)1(*)(89.2)(iiiibabaiieeaI)(1)()(

25、)(2iiiiPPPI两参数模型： 三参数模型： 大规模教育考试命题理论和实践问题考生能力估计值的标准误差)(1)(ISE确定能力分数的测量误差)(/96. 1)(/96. 1II考试的信度项目反应理论大规模教育考试命题理论和实践问题大规模教育考试命题理论和实践问题考试的公平性考生的与测量的心理结构无关的个性特征对考试结考生的与测量的心理结构无关的个性特征对考试结果以及结果的解释没有明显的影响果以及结果的解释没有明显的影响不同的考生群体，如男、女考生，城市与农村或郊不同的考生群体，如男、女考生，城市与农村或郊区的考生，不同省市的考生之间考试结果的统计差区的考生，不同省市的考生之间考试结果的统计

26、差异只能是由考试要测量的心理结构的差异引起的，异只能是由考试要测量的心理结构的差异引起的，其他因素对其没有明显的可以探测出的影响。其他因素对其没有明显的可以探测出的影响。试题的情景材料，包括有声、图像材料，对所有的试题的情景材料，包括有声、图像材料，对所有的考生群体都是公平的。考生群体都是公平的。 所有考生都能同等地获取考试的信息，考生不会因所有考生都能同等地获取考试的信息，考生不会因为其所就读的地区、学校的差异，生活的家庭的差为其所就读的地区、学校的差异，生活的家庭的差异，不能同等地获得考试的相关信息。异，不能同等地获得考试的相关信息。 大规模教育考试命题理论和实践问题试题功能偏差（DIF

27、& DTF）不同子群体分数有明显差异，或者分数相近但能不同子群体分数有明显差异，或者分数相近但能力测度有明显差异力测度有明显差异差异来源差异来源能力上的差异能力上的差异两个群体的确有差异两个群体的确有差异试题功能偏差试题功能偏差试题或试卷对不同子群体不公平试题或试卷对不同子群体不公平试题或试卷功能偏差试题或试卷功能偏差试题或试卷的多维性试题或试卷的多维性对试题或试卷进行多维性分析对试题或试卷进行多维性分析影响维度影响维度与测量的心理结构相关的维度与测量的心理结构相关的维度干扰维度干扰维度与测量的心理结构无关的维度与测量的心理结构无关的维度大规模教育考试命题理论和实践问题Item Dif

28、ficulty Difference, Grade 7-1.5-1-0.500.511.501020304050ItemsDifficulty DifferencePudong-DalianFemale-male考试的公平性试题功能差异大规模教育考试命题理论和实践问题考试的公平性试题功能差异PDDL大规模教育考试命题理论和实践问题考试对社会、学校教育教学的影响 大规模教育考试结果的使用会对社会、对学校的教育、教大规模教育考试结果的使用会对社会、对学校的教育、教学产生深刻的影响。学产生深刻的影响。 大规模教育考试本身的情景材料、内容、题型、难度以及大规模教育考试本身的情景材料、内容、题型、难度以

29、及蕴含在其内容、材料以及考查目标中的价值观，对社会、蕴含在其内容、材料以及考查目标中的价值观，对社会、对学校教育、教学也会产生巨大影响。对学校教育、教学也会产生巨大影响。 考试目标的设计、试题情景材料的选择、试题的设问等不考试目标的设计、试题情景材料的选择、试题的设问等不但要考虑其测量学要求，也要考虑其蕴含的价值观是否与但要考虑其测量学要求，也要考虑其蕴含的价值观是否与社会的主流价值观相一致，从教育的角度看是否有积极意社会的主流价值观相一致，从教育的角度看是否有积极意义。义。 考试的学科内容、题型、难度既要符合测量学要求，又要考试的学科内容、题型、难度既要符合测量学要求，又要考虑有利于学校按照

30、课程标准要求组织教育和教学，有利考虑有利于学校按照课程标准要求组织教育和教学，有利教师改进教学策略和教学方式，提高教育和教学质量；有教师改进教学策略和教学方式，提高教育和教学质量；有利于学生改进学习方式，提高学习效果。利于学生改进学习方式，提高学习效果。大规模教育考试命题理论和实践问题理论问题引发的实践思考 命题的问题效度题 型题 量 内 容（知识技能，过程方法）目标和行为标准 难度和区分度及格和等第标准情 景 材 料 选 择公平公正信度后效影响试卷结构评分标准和评分操作大规模教育考试命题理论和实践问题试卷结构 测量目标和内容领域问题 试卷层面的问题试卷层面的问题试卷要测量哪些目标、覆盖哪些行

31、为标准？试卷要测量哪些目标、覆盖哪些行为标准？在哪些知识内容领域测量该目标？在哪些知识内容领域测量该目标？每一测量目标、行为标准和内容领域的题量？每一测量目标、行为标准和内容领域的题量？ 试题层面试题层面试题要测量何具体目标？试题要测量何具体目标？在哪个知识内容领域测量该目标？在哪个知识内容领域测量该目标？如何设问才能引导学生表现出期望表现的行为？如何设问才能引导学生表现出期望表现的行为？（排除法只是考试技巧，不是测量的目标或行为标准）（排除法只是考试技巧，不是测量的目标或行为标准）大规模教育考试命题理论和实践问题试卷结构难度问题 考试的难度问题是科学问题，也是社会问题。考试的难度问题是科学问

32、题，也是社会问题。难度影响到考生分数分布，因此影响到招生录取决难度影响到考生分数分布，因此影响到招生录取决策误差。策误差。难度影响学生和家长的应试心理，因此影响社会稳难度影响学生和家长的应试心理，因此影响社会稳定定难度影响学校教学深度和广度，影响学生学习的深难度影响学校教学深度和广度，影响学生学习的深度和广度。度和广度。 难度涉及到两个层面难度涉及到两个层面试卷层面试卷层面试题层面试题层面大规模教育考试命题理论和实践问题难度科学问题 难度对考生成绩分布的影响难度对考生成绩分布的影响难度系数为难度系数为0.5时，考生成绩大致呈正态分布，时，考生成绩大致呈正态分布，试卷的标准差也相应大致达到最大，

33、此时，考生试卷的标准差也相应大致达到最大，此时，考生成绩在平均分两侧的分布最分散。因此，依据考成绩在平均分两侧的分布最分散。因此，依据考试成绩对考生进行选择决策时，发生决策误差的试成绩对考生进行选择决策时，发生决策误差的人数也会最少。人数也会最少。难度系数越高，考生成绩越向高分一端集中，分难度系数越高，考生成绩越向高分一端集中，分布范围变小，因此，依据考试成绩对考生进行选布范围变小，因此，依据考试成绩对考生进行选择决策时，发生决策误差的人数也会增多。择决策时，发生决策误差的人数也会增多。大规模教育考试命题理论和实践问题难度科学问题05001000150020000204060801001101

34、30150考试分数人数图11.3 考试分数概率分布（平均分105，标准差17）图11.1 考试分数概率分布（平均分75，标准差20）050010001500200002040607590110130150考试分数人数大规模教育考试命题理论和实践问题难度科学问题曲线1：均分423，难度系数0.67；曲线2：均分378，难度系数0.60；曲线3：均分315，难度系数0.50；实线相当于第一批分数线位置；虚线相当于第二批分数线位置。曲线1曲线3曲线2图4 选择决策卡帕指数与考试平均分、录取分数线的关系0.800.850.900.951.00270290310330350370390410430450

35、470490510530分数卡帕指数大规模教育考试命题理论和实践问题试卷结构试题难度4.003.503.002.502.001.501.00.500.00-.50-1.00-1.50-2.00-2.5020100试题难度参数分布图11.5 样本考生能力参数分布频数2.001.501.00.500.00-.50-1.00-1.50-2.00-2.50-3.00频数3002001000考生能力参数分布大规模教育考试命题理论和实践问题Theta-4-20246,0978,5798994,68311,7255,6798,59912,1532,61751414510,83712,49311,9919,9

36、7297797,2563,4308,3843,43291682811,0496505,095b1-4-2024试卷结构试题难度大规模教育考试命题理论和实践问题204060801001200.20.40.60.81.0试卷长度（题数）信度图1 试卷长度与信度关系（据谢小庆 1999）试卷结构题量大规模教育考试命题理论和实践问题 mmrrmr11 2Y12)1 (1cjjXjStrat平行试题模型法真分数等值试题模型试卷结构题量的计算)1 (1212Xmiimmm大规模教育考试命题理论和实践问题 多元概化理论模型多元概化理论模型试卷结构题量的计算全卷最佳题量部分最佳题量常模参照考试标准参照考试全卷

37、最佳题量部分最佳题量nnnnnn)()(22piwpiwnniinnnnnn)(96. 1222piwnnNinnnnnnn)()(96. 12222piiwnnNinnnnnnnn)()()()(2222piiwpiiwnnii大规模教育考试命题理论和实践问题试卷结构题量的计算大大 题题听力听力语法语法词汇词汇CLOCLOZEZE阅读阅读翻译翻译过过 去去202010355理论理论情况情况常模常模参照参照条件条件212110105 53939101085+1标准标准参照参照条件条件262611115 5404013139595现现在在常模常模参照参照2424202040406 690+190

38、+1大规模教育考试命题理论和实践问题大规模教育考试：命题与评价（大规模教育考试：命题与评价（2006）考试数据的统计分析和解释考试数据的统计分析和解释(2007)雷新勇雷新勇 华东师大出版社华东师大出版社大规模教育考试命题理论和实践问题试卷结构题型 题型代表了测量方法，它与教育考试关注的核心问题型代表了测量方法，它与教育考试关注的核心问题密切相关。题密切相关。 题型与考试的效度和信度有相当强的关系。题型与考试的效度和信度有相当强的关系。 大规模教育考试的题型对学校的教学方式和教学训大规模教育考试的题型对学校的教学方式和教学训练方式有明显的影响。练方式有明显的影响。 从经济的角度看，大规模教育考

39、试题型对评分的成从经济的角度看，大规模教育考试题型对评分的成本也有很大的影响。本也有很大的影响。 最常见的题型分类：客观题、主观题最常见的题型分类：客观题、主观题大规模教育考试命题理论和实践问题 试卷结构客观题与主观题的比较 客 观 型 主 观 型 测量的学 能有效地测量事实性知识。某些 能够测量理解、思维技能和其他复杂 习成果 题型也能测量理解、思维技能和 的行为目标。测量与现实贴近的行为 其他复杂的行为目标。但是不适 目标比较有效，但不适合用来测量事合测量选择和组织观点的技能、 实性知识。 写作能力或某些问题解决技能。 命题的 考试所需的试题量较大，命题时 考试要求的题量少，命题相对比较容

40、 准备 间长，难度比较大。 易 内容领 由于试题量较大，内容覆盖面较 由于考试的试题量较少，内容覆盖面 域样本 广，考试内容领域样本代表性较 较小，考试内容领域样本的代表性有 好。 限。 对学生应 完全结构化的试题限制了考生的 考生可以按照自己的理解进 行自由应 答的控制 应答类型，能够防止许多非测量 答，可以使考生表现自己的创造力， 目标因素，如写作能力的影响， 有效地减少猜测的概率。 但选择题有一定的猜测概率。 大规模教育考试命题理论和实践问题试卷结构客观题与主观题的比较评分 客观，信度高，试题越严谨， 主观评分，多人评分的不一 误差越小。 致，降低了评分结果的信 度，增加了误差。 对学习

41、 通常鼓励考生掌握具体的 鼓励学生关注大的内容单元，的影响 细节内容，注重对具体概 注重对所学内容的整合和建构。 念、原理的区分。如果试 强调组织、整合和有效表达思 题设计的好，也可以促进 想的能力。 学生发展理解力，思维能 力以及其他的高级认知能 力。信度 考试设计的越严谨，结果 信度通常低于客观题型，主要 信度越高。 是因为评分信度较低以及试题 数量有限。大规模教育考试命题理论和实践问题试卷结构题型选择的原则 从认知特征、试题和考试的特征以及考试的经济性来看，每从认知特征、试题和考试的特征以及考试的经济性来看，每种题型都有其优势，也有其缺点，任何一种题型都不能独自种题型都有其优势，也有其缺

42、点，任何一种题型都不能独自完成所有的教育测量目标。因此，考试中应该采用多种题型，完成所有的教育测量目标。因此，考试中应该采用多种题型，发挥每种题型的优势，减少其劣势。发挥每种题型的优势，减少其劣势。 如果两种题型的测量结果有很强的类似性时，选择测量效率如果两种题型的测量结果有很强的类似性时，选择测量效率高的题型（通常是选择型题型）是合理的；如果两种题型的高的题型（通常是选择型题型）是合理的；如果两种题型的测量结果类似性比较低时，应该考虑试题的在认知过程、内测量结果类似性比较低时，应该考虑试题的在认知过程、内容等方面与测量目标的一致程度，通常选择一致程度高的题容等方面与测量目标的一致程度，通常选

43、择一致程度高的题型型建构型题型。建构型题型。大规模教育考试命题理论和实践问题 题型的选择要考虑试题测量的行为或者认知过程、涉题型的选择要考虑试题测量的行为或者认知过程、涉及到的内容以及需要的条件，即题型应该与测量目标及到的内容以及需要的条件，即题型应该与测量目标的行为要求一致。这反映了考试的效度为第一考虑的的行为要求一致。这反映了考试的效度为第一考虑的观点。观点。 题型的选择要保证考试结果达到预先设定的信度要求，题型的选择要保证考试结果达到预先设定的信度要求，即必须考虑不同题型试题的比例。这反映了考试结果即必须考虑不同题型试题的比例。这反映了考试结果的高信度是考试高效度前提的认识。的高信度是考

44、试高效度前提的认识。 题型的选择要考虑学校课堂教学方式和学生学习方式题型的选择要考虑学校课堂教学方式和学生学习方式的转变，题型要考虑反映高质量的教学活动和学习活的转变，题型要考虑反映高质量的教学活动和学习活动。动。试卷结构题型选择的原则大规模教育考试命题理论和实践问题试卷结构材料选择 考试考试学校学习结果的迁移。学校学习结果的迁移。学科性的考试学科性的考试主要是专门迁移。主要是专门迁移。 专门迁移成功与否取决于两个条件：专门迁移成功与否取决于两个条件： 考生对相关知识，如概念、原理的理解及其本身的思维考生对相关知识，如概念、原理的理解及其本身的思维 能力；能力；考生对迁移的新情景的熟悉程度。考

45、生对迁移的新情景的熟悉程度。 试题背景材料选择不当，易于导致出现试题的功能偏差，试题背景材料选择不当，易于导致出现试题的功能偏差，降低考试的效度和信度。降低考试的效度和信度。大规模教育考试命题理论和实践问题 材料应该与考试的测量目标以及试题欲测量的行为目标相关材料应该与考试的测量目标以及试题欲测量的行为目标相关 材料应该与考生的学习经历和生活经历相适应材料应该与考生的学习经历和生活经历相适应 材料提供的信息类型材料提供的信息类型有新知识信息有新知识信息无新知识信息无新知识信息 材料的信息量材料的信息量 材料提供的信息与应答间的关系材料提供的信息与应答间的关系 关系的范围指的是完成试题的应答，必

46、须加工、处理的信关系的范围指的是完成试题的应答，必须加工、处理的信息的数量，包括宽泛范围和狭窄范围。息的数量，包括宽泛范围和狭窄范围。关系的直接性是指期望的应答对所提供的信息的依赖程度。关系的直接性是指期望的应答对所提供的信息的依赖程度。 试卷结构材料选择的基本原则大规模教育考试命题理论和实践问题主观题评分标准的制定 赋分赋分 赋分值与等第赋分值与等第 选择最合适于试题和评价目的的评分方法选择最合适于试题和评价目的的评分方法 总体评分法总体评分法分值稍低的、测量目标较单一的试题分值稍低的、测量目标较单一的试题 分析评分法分析评分法高分值的、测量目标非单一的试题高分值的、测量目标非单一的试题 评

47、价的行为特征应该与测量的行为目标相一致评价的行为特征应该与测量的行为目标相一致 在分析评分法中，每个评分项目一般应只包含一个独立的行为在分析评分法中，每个评分项目一般应只包含一个独立的行为特征特征 要明确评价的行为特征等级数要明确评价的行为特征等级数 对评价的行为特征和标准中的每个等级应该进行清楚的定义对评价的行为特征和标准中的每个等级应该进行清楚的定义大规模教育考试命题理论和实践问题大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够运用适当的技术，参与到解决问题、推理、估能够运用适当的技术，参与到解决问题、推理、估算、交流、联系和应用的数学过程中。算、交流、联系和应用的数学过程中。

48、能够理解和运用各类数和各类数的运算。能够理解和运用各类数和各类数的运算。 能够运用各种代数的概念、过程和语言来模拟和解能够运用各种代数的概念、过程和语言来模拟和解决真实问题和数学问题。决真实问题和数学问题。 能够理解几何图形，运用几何学原理。能够理解几何图形，运用几何学原理。 理解可测的特质，并能够运用测量过程解决问题理解可测的特质，并能够运用测量过程解决问题. 能够理解和运用数据分析、概率和统计原理解决问能够理解和运用数据分析、概率和统计原理解决问题。题。 能够理解、运用各类模型、关系和函数。能够理解、运用各类模型、关系和函数。大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够运用适

49、当的技术，参与到解决问题、推理、估能够运用适当的技术，参与到解决问题、推理、估算、交流、联系和应用的数学过程中。算、交流、联系和应用的数学过程中。 根据数学或非数学情景，确认和形成问题；并运用解决问根据数学或非数学情景，确认和形成问题；并运用解决问题策略来解决这些问题。题策略来解决这些问题。 在问题解决过程中，选择、应用和评价适当的估算策略。在问题解决过程中，选择、应用和评价适当的估算策略。 形成定义，做出推断并对推断的合理性进行判别，表达各形成定义，做出推断并对推断的合理性进行判别，表达各类概括和推广，交流各类数学思想和关系。类概括和推广，交流各类数学思想和关系。 对同一问题情景或同一数学概

50、念的不同表达方式进行转换对同一问题情景或同一数学概念的不同表达方式进行转换和应用；对非数学学科的问题情景建立数学模型。和应用；对非数学学科的问题情景建立数学模型。 选择和运用适当的数学技术来加强数学理解。适当的技选择和运用适当的数学技术来加强数学理解。适当的技 术术可以包括，但不仅限于，纸、笔、计算器、计算机和数据可以包括，但不仅限于，纸、笔、计算器、计算机和数据收集装置。收集装置。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够理解和运用各类数和各类数的运算。能够理解和运用各类数和各类数的运算。理解和运用实数，及其运算、符号、和实数范围的理解和运用实数，及其运算、符号、和实数范围

51、的其他数。其他数。运用复数的定义和基本运算。运用复数的定义和基本运算。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够运用各种代数的概念、过程和语言来模拟和解能够运用各种代数的概念、过程和语言来模拟和解决真实问题和数学问题。决真实问题和数学问题。运用代数表示各种模型变化。运用代数表示各种模型变化。运用代数表达式的基本运算。运用代数表达式的基本运算。解代数方程和不等式：线形方程、四次方程、指数方解代数方程和不等式：线形方程、四次方程、指数方程、程、对数方程和幂函数方程。对数方程和幂函数方程。解代数方程组、不等式组，包括运用矩阵。解代数方程组、不等式组，包括运用矩阵。运用代数模型来解数

52、学问题和真实问题。运用代数模型来解数学问题和真实问题。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够理解几何图形，运用几何学原理。能够理解几何图形，运用几何学原理。构筑和解释三维物体，绘制三维物体图形。构筑和解释三维物体，绘制三维物体图形。根据全等、相似对图形进行分类，并运用这些关系。根据全等、相似对图形进行分类，并运用这些关系。能够进行综合法和坐标法之间的转换。能够进行综合法和坐标法之间的转换。在问题解决中，运用转换、坐标和矢量来推导图形的在问题解决中，运用转换、坐标和矢量来推导图形的性质。性质。运用三角函数（正弦、余弦、正切）解与三角有关的运用三角函数（正弦、余弦、正切）解与

53、三角有关的问题。问题。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 理解可测的特质，并能够运用测量过程解决问题理解可测的特质，并能够运用测量过程解决问题.运用间接测量的概念。运用间接测量的概念。运用维度分析检查过程的合理性。运用维度分析检查过程的合理性。研究导出的测量单位系统。研究导出的测量单位系统。适当地运用测量中估计、误差、容忍度和精确度的适当地运用测量中估计、误差、容忍度和精确度的概念。概念。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够理解和运用数据分析、概率和统计原理解决问能够理解和运用数据分析、概率和统计原理解决问题。题。根据数据运用曲线拟合方法进行预测。根

54、据数据运用曲线拟合方法进行预测。运用趋中测量参数，理解变化和相关的概念。运用趋中测量参数，理解变化和相关的概念。对一定统计分析选择适当的采样方法。对一定统计分析选择适当的采样方法。运用实验概率、理论概率和模拟方法表示和解决问题，运用实验概率、理论概率和模拟方法表示和解决问题，包包括期望值问题。括期望值问题。设计统计实验来研究问题，交流成果。设计统计实验来研究问题，交流成果。用一般的术语描述正态曲线，用正态曲线的性质回答用一般的术语描述正态曲线，用正态曲线的性质回答有关假定是正态分布的各类数据的问题。有关假定是正态分布的各类数据的问题。 大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 能够

55、理解、运用各类模型、关系和函数。能够理解、运用各类模型、关系和函数。 运用图形、数字、物理的、代数的和语言的数学模型运用图形、数字、物理的、代数的和语言的数学模型和表示方法，来描述函数和反函数。和表示方法，来描述函数和反函数。分析多项式函数、有理函数、幂函数、指数函数、对分析多项式函数、有理函数、幂函数、指数函数、对数函数函数和周期函数图形。数和周期函数图形。分析参数变化对函数图形的影响。分析参数变化对函数图形的影响。用各种函数来建立真实问题模型。用各种函数来建立真实问题模型。将作图技术应用于参数方程、三维方程和递归关系。将作图技术应用于参数方程、三维方程和递归关系。 大规模教育考试命题理论和

56、实践问题蒙大拿州数学课程标准 -表现水平标准 高级水平：在数学领域达到高级水平的毕业生应该能够高级水平：在数学领域达到高级水平的毕业生应该能够展示：展示：能够自我激励，独立学习；能够拓展和联系各种思想。能够自我激励，独立学习；能够拓展和联系各种思想。能够准确、清晰和有效地应用所有数学过程。能够准确、清晰和有效地应用所有数学过程。有效地运用多种策略，将各种概念拓展到新的情境中，并且有效地运用多种策略，将各种概念拓展到新的情境中，并且熟练地交流成果。熟练地交流成果。探索假定的问题，使用复杂的推理操作各种有效论证，形成探索假定的问题，使用复杂的推理操作各种有效论证，形成各种证据。各种证据。运用适当的

57、技术、应用函数、图形和代数的概念解决真实和运用适当的技术、应用函数、图形和代数的概念解决真实和理论问题。理论问题。应用复杂的测量以及几何、代数关系模拟各种问题和情境。应用复杂的测量以及几何、代数关系模拟各种问题和情境。根据数据、概率和统计一致性地做出准确、合理的预测和决根据数据、概率和统计一致性地做出准确、合理的预测和决策。策。能够确认数学学科内以及学科外各种问题的相互联系。能够确认数学学科内以及学科外各种问题的相互联系。大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 -表现水平标准熟练水平：在数学领域达到熟练水平的毕业生应该熟练水平：在数学领域达到熟练水平的毕业生应该 能够展示：能够展

58、示：一致性地、正确地应用各种数学过程，解决各种问一致性地、正确地应用各种数学过程，解决各种问题，交流各种成果。题，交流各种成果。在各种情境下应用数学过程。在各种情境下应用数学过程。一致性地使用各种技术，应用函数、图形和代数概一致性地使用各种技术，应用函数、图形和代数概念解决真实和理论问题。念解决真实和理论问题。运用复杂的推理，使用适当的数学思想，形成各种运用复杂的推理，使用适当的数学思想，形成各种逻辑论证和证据。逻辑论证和证据。一致性地应用复杂的测量和几何、代数关系模拟各一致性地应用复杂的测量和几何、代数关系模拟各种问题和情境。种问题和情境。根据数据、概率和统计做出合理的预测和决策。根据数据、

59、概率和统计做出合理的预测和决策。能够确认数学学科内以及学科外各种问题的相互联能够确认数学学科内以及学科外各种问题的相互联系。系。大规模教育考试命题理论和实践问题蒙大拿州数学课程标准 -表现水平标准 准熟练水平：在数学领域达到准熟练水平的毕业生应准熟练水平：在数学领域达到准熟练水平的毕业生应该部分掌握了熟练水平必须的预备知识和基本技能。该部分掌握了熟练水平必须的预备知识和基本技能。应用不完全或不正确的数学过程解决问题，且常常是不应用不完全或不正确的数学过程解决问题，且常常是不准确的。准确的。能够交流数学思想，有时能够拓展数学思想，但常常不能够交流数学思想，有时能够拓展数学思想，但常常不准确。准确

60、。有时能够理解和使用适当的技术，运用函数、图形和代有时能够理解和使用适当的技术，运用函数、图形和代数概念解决真实问题和数学问题。数概念解决真实问题和数学问题。在确认复杂的测量以及几何、代数关系方面有时会有困在确认复杂的测量以及几何、代数关系方面有时会有困难，导致产生不准确性。难，导致产生不准确性。有时能够根据数据、概率和统计做出预测和决策，但常有时能够根据数据、概率和统计做出预测和决策，但常常不准确。常不准确。能够做出各种联系，但不能拓展或证明这些联系，论证能够做出各种联系，但不能拓展或证明这些联系，论证常常缺乏适当的数学思想的支持和严格的推理。常常缺乏适当的数学思想的支持和严格的推理。大规模教育考试