自适应考试的具体实现

1、自适应考试的具体实现Implement of Adaptive Testing张玉玲华东师范大学教育信息技术系200062近年来，随着教育测量理论和计算机网络技术的发展，中国的教育考试系统也正在发生着悄 悄的变化，由传统的基于经典测验理论的固定题目、同一试卷的考试向自适应考试的方向转 轨。本文具体阐述了自适应考试的具体流程及算法实现。关键词：考试 项目反应理论 自适应 题库1弓1言当前考试的指导理论主要有两种：以真分数理论为代表的经典测试理论(CCT )；项目反应理论(IRTItems Response Theory )。2经典测试理论的局限经典测试理论亦称真分数理论，它对测验分数的意义和性质

2、所作的解释建立在三个基本假设之上： 测验的观察分数X，可看作真分数T和测验误差分数E的线性组合，即:X=T+E.误差分数的数学期望为 零。任何两次测验所产生的误差相互独立。在这些假设基础上，经过了近百年的发展，经典测试理论 建立了一系列题目分析的公式，如表示难度的p值，表示区分度的题目与测试相关系数，估计分数真值 的标准误差及由此推算出来的信度公式等。经典测试理论对建立试卷、考分转换与等值等均有一套较为完整的方法。但随着测验实践的深入，此 理论暴露了难以克服的弱点：题目难度、区分度等严重依赖于被试对象，即同一道题目，若考生平均 水平较高，则求出的题目难度就偏大；反之，则偏小。对被试的某项能力或

3、特质水平的估计值，只有 当所有被试使用的都是同一个或并行测验时才是可以比较的；而对于同一能力或特质的不同测验的测量 效果则无法进行直接比较。在应用方面，经典测验理论也表现出许多不足。如何克服经典测验理论的 这些不足，项目反应理论正是在这种背景下出现的。3项目反应理论项目反应理论是以受测者回答问题的情况，经题目特征函数的运算，推测受测者的能力。根据参数的不同，特征函数可分为单参数、双参数和三参数三种模式，单参数模式：P( )=11 + / - D (0-b)双参数模式：P(0)=11 + / - Da (0-b)三参数模式: 1P (0 ) = c + (1 - c)1 + / - Da (0-

4、b)公式如下：(1)(2)(3)其中：D = 1.7020:受测者能力值2：题目的区分度b：题目的难度3题目的猜测系数P （0 ）:能力为0的人答对此题目的概率根据特征函数可画出题目的特征曲线，图1为典型的三参数模式的特征曲线:图1从图1中可以看出：（1）a参数，题目的区分度，即特征曲线的斜率，它的值越大说明题目对受测者的区分程度越高。（2）b参数，题目的难度，即特征曲线在横坐标上的投影。（3）c参数，题目的猜测系数，即特征曲线的截距。它的值越大，说明不论受测者能力高低，都容 易猜对本道题目。项目反应理论同经典测试理论相比，具有以下优点：（1）题目参数估计更为准确。（2）全面解决考试等值问题。

5、（3）定义了信息函数这一综合质量指标，作为更科学地挑选题目的标准。（4）适合编制自适应考试系统。4 自适应测验(CAT,Computerized Adaptive Test)CAT是指在以IRT理论为基础建立的题库之上，不断地根据题目的各方面信息和受测者的答题情况 估计受测者的能力，然后从题库中选取符合受测者能力的题目进行测试，直到达到预定的测试精度要求， 即可结束考试。整个测试过程如图2所示。图2下面对CAT系统进行测试的各个环节加以详细描述。4.1建立题库CAT题库的建立有以下几个步骤：（1）选择模型，首先应选择适应的IRT模型，如常用的三参数logistic模型。在此模型的基础上上， 建

6、立题库中题目的规格标准。（2）题目的开发，开发应按题库命题的规格标准进行，应注重不同知识内容与能力层次、不同难度 和不同题型的结合，对开发的试题应组织审查，确保题目的质量。（3）题目参数的确定，主要是对题目IRT各参数值的确定，一般有两种途径：一是经试测后统计分 析，另一种是由专家进行评估后，再采用统计方法确定参数。（4）题库的动态维护，基于CTT的题库在建库完成后，一般无法再进行题库的扩充，而基于IRT 的题库却由于IRT理论具有参数不变性等优点，题库的扩充变的更为容易，只需安排一些连接题目与新 题目相混合进行试测，就可以将新题目的参数值与旧题目的参数值统一到一张量表中来。4.2参数初始化参

7、数的初始化是指在受测者在进行测试之前，对受测者的能力值进行初始估计，一般有以下几种方法：（1）选择中等难度的试题，即假定受测者的能力为中等，在题库中随机抽取难度为中等的题目，作 为测试的开始点。（2）根据历史记录确定受测者的初始能力值，受测者可能参加过测试，可以根据以前的测试记录决 定此次的开始题目，或根据以前其他受测者的测试记录决定开始题目。（3）受测者自行选择，由受测者自行决定自己的能力程度，选择测试起始题目。4.3能力估计正确估计受测者的能力是CAT顺利进行的前提，最常用的方法是极大似然估计法。若以L（u 19 ）表 j示能力为9的受测者对题目j的反应为七（若答对，七=1；答错，七=0）

8、的概率。则L(u ,u ,.,u ) =rf PuiQu12ni ii=1 其中： 山题目数P：i:受测者答对第i题的概率Qui:受测者答错第i题的概率公式4通常称为似然函数，我们要对每一个反应向量（七,u2,气）求出相应的9值 数的值为最大。我们以Newton-Raphson法（公式5）逐次迭代,求出能力的极大似然估计值（9 ）。9 =9 -h其中：9 9为第t+1、t次迭代的能力估计值。Ma （u - P）（P - c ）ii i i ii=1Pj （1 - Ci）使似然函(5)t+1, thf，(9)h =;tf (9)D2a2(u c -P2)(P -c )Qi i i i i i i

9、f(9) = f(9)=P 2(1 - C 2)iiD： 1.702题目编号猜测系数a ,b ,c :第i题的区分度、难度、i i iP:受测者答对第i题的概率 iQ.:受测者答错第i题的概率U,:受测者的反应（答对为1,答错为0）采用极大似然估计法估计受测者能力值的最大好处是简便实用，它比较适合于题目较多的情况，在其 他情况下，我们可以采取Bayes方法，或采取将两种方法相结合的途径估计受测者能力。4.4选择题目不断抽取和受测者能力相适应的题目是CAT的基本原则。通常，我们利用IRT题库中题目的最大信息函数来确定所选择的题目。IRT用题目的信息函数I（9 ）来表示题目参数与受测者能力的关系。

10、I (0) = P2(0)/P&). Q=iiiiD 2 a 2 (1 - c )c + / Da, (0-b ) 1 + -Da, (0-b,) 20 :受测者能力估计值a ,b ,c :第i题的区分度、难度、猜测系数i i i信息量具有可加性，可以随时估计一组试题施测的信息量的总和。对于不同能力的受测者，题目有不同的信息量，信息量取最大值时，它所对应的能力值即是最适合于 采用此题目测试的人员的能力值。因此，在CAT系统中，根据前面推测的能力值，系统搜寻相应信息量 最大的题目进行测试。另外，还可以采用Bayes方法选取试题。它是以能力估计值在测试之后的改变作 为选择标准，即选择使得能力估计值

11、在测试之后改变最小的题目进行测试。4.5终止条件终止自适应测试的策略主要有三种：（1）固定测验长度，即当测验项目达到一定的数量之后，测验就自动终止，这种方法的优点是易于 实现，且可对每个测验项目的使用率作较精确的统计；缺点是对不同被试的特质参数的估计精度不同， 而且要确定一个合适的长度一般来说并不容易。（2）当特质参数估计的标准差小于某一预先确定的值E时，测验自动终止，即当SE （。）二 二 W h（9）切/9）时，整个测验过程就可结束。这种方法一般能克服固定长度法的缺点，但终止条件定的过严往往会 使测验过长，降低测量效率。（3）比较被试特质参数最后两次的估计值，当这两个值之差小于某一预先给定

12、的数值时，测验自动 终止。46自适应考试的算法流程（图3）e 严12 a(m) 。从 e JSEBaDQAE q D面面氏A I( e )0 e (m+1)= e (m) ? R1/R2- & M e。从nqa。有宙A& S-DBffigE L- 5 R1,R2fbaia3aa见 0 & e 0End图3According to the development of educational measurement theory and computer network technology, there are some underlying changes in educational examination system in China, from traditional fixed testing based classical test theory to adaptive