基于项目反应理论的试题参数估计方法

1、第5卷第1期贵阳学院学报(自然科学版(季刊Vol .5No .1JOURNAL OF G U I Y ANG COLLEGE2010年3月Natural Sciences (Quarterly Mar .2010基于项目反应理论的试题参数估计方法薛宝山(山东胜利职业学院,山东东营257097摘要:探讨了几种常用的基于项目反应理论(I RT 的试题参数估计方法,并分析了每一种估计方法的优缺点及各自的适用领域,为构建基于I RT 的试题库系统提供理论参考。关键词:项目反应理论;试题库;参数估计;遗传算法中图分类号:TP3111131文献标识码:A 文章编号:1673-6125(201001-007

2、8-03I RT 2ba sed Param eter Eva lua ti on M ethods of Test Questi on sXUE Bao 2shan(Shengli Vocati onal College,Dongying Shandong 257097,China Abstract:The p resent article exp l ores several common I RT -based evaluati on methods of test questi ons and analyses ad 2vantages and disadvantages of eac

3、h method and its suitable app licati on range,which p r ovides the theoretical reference t o constructing I RT -based test questi on bank syste m.Key words:I RT;test questi on bank;para meter evaluati on;genetic algorith m;1引言在互联网技术迅速发展的今天,基于网络技术的考试系统得到了广泛的应用,网络考试系统拓展了考试的灵活性,显著降低了教育成本。作为网络考试系统中的重要环节

4、,试题库及其理论的研究和应用也越来越广泛。试题库是严格遵循教育测量理论,在计算机系统中实现的某个学科题目的集合,是在精确的数学模型基础上建立起来的教育测量工具。试题库系统是进行计算机辅助教学的一种有利工具,是计算机科学、教育测量理论相结合的产物,是未来计算机辅助教学系统的一个重要的发展方向。2理论基础211项目反应理论(I RT 项目反应理论是一种以试题参数为前提的理论,它以被试个体潜能通过试题作答反应的可测性,被试个体潜能与其试题上可见反应函数关系的基本一致性,以及试题参数线性变换下的不变性为理论假设,进而建立种种以被试个体在既定试题上的作答反应参数来推断其潜在特性的数学模型,以一定的数学模

5、型来确定被试个体试题反应概率与其潜在能力之间的函数关系。项目反应理论的质量指标即项目参数的估计值与样本选择无关,对被试者能力水平的估计值与测试试题无关,是一种建立于一套假定之上的能力测量理论。考生的能力估计值除了测量误差外,不会受所使用的测试种类的影响,它是试题独立(I 2te m -independent 的能力估计值,其次,从不同群体的考生估计得到的试题参数估计值,不受参与测试的考生群体的影响,也就是说它是样本独立873收稿日期:2009-12-30作者简介:薛宝山(19-,男,山东胜利职业学院,讲师,本科,研究方向:软件工程。(Sa mp le-independent的试题参数估计值。项

6、目反应理论还提供其测量的估计标准差(Standard err ors和试题的信息函数(Ite m inf or mati on func2 ti on,它可以用来作为评价能力估计值之精确度的指标,优于经典测试理论中的“信度”(Reliability。212试题参数的估计任何项目反应模型都可以统一描述成Pj(Q =F(Q,a,b,c的形式。公式中中包含两类参数,一类是被试者的能力参数,用Q来表示,只与被试者有关,与题目参数无关;另一类是项目的质量参数,用a、b、c标识,分别称为区分度参数、难度参数和猜测参数,这些参数值都不能由直接测量得到,而必须通过被试者的反应数据进行估计来求出。在项目反应理论

7、模型的研究过程中,人们提出了多种理论模型,可以分为两大类:静态模型与动态模型。静态模型描述被测试者某一时刻的素质、能力水平不随时间变化;动态模型则用来描述被试者的内在素质、能力水平随时间变化的情况。目前比较成熟的是静态模型,静态模型还可以根据测试能力的维度分为单维、多维,根据测验的评分方式分为二值记分和多值记分,根据项目特性曲线的形状分为正态卵型和逻辑斯蒂型等多种。213逻辑斯蒂克模型(Logistic Model目前应用较广的是逻辑斯蒂克模型(Logistic Model。在逻辑斯蒂克模型中,根据参数的不同,特征函数可分为单参数、双参数和三参数三种模式:单参数模式:p(=11+e-D(-b双

8、参数模式:p(=11+e-D a(-b三参数模式:p(=c+(1-c11+e-D d(-b其中,D=11702为量表因子常数;为受测者能力值。P(表示能力为的人答对此题目的概率;a为题目的区分度,即特征曲线的斜率,它的值越大说明题目对受测者的区分程度越高;b表示题目的难度,即特征曲线在横坐标上的投影;c表示题目的猜测系数,即特征曲线的截距,c的值越大,说明不论受测者能力高低,都容易猜对本道题目。当c=0为双参数模式,当c=0且a=1时为单参数模式。通常、a、b、c都是未知的,要根据被试对项目的作答反应对、a、b、c进行估计,一般采用双参数Logistic的0-1评分模型进行比较。根据具体问题,

9、可出现几种情况:第一是各项目参数已知,估计被试能力;第二是被试能力已知,估计项目参数;第三是同时估计被试能力和项目参数。3试题参数的估计方法311极大似然估计法在测试过程中,对测试样本进行如下统计:假设第j道试题的区分度为a(j,难度系数为b(j,猜测系数为c(j,应试者在该试题的反应函数:U j =1:答对情况;0:答错情况。该应试者参与了n道测试后,其能力计算的极大似然方程为: L(=L(U,a,b,c=nj=1exp(uj31n p j 3exp(1-u j31n(1-p j其中为应试者的能力值,Pj为该应试者对第j道题目的三参数Logistic函数值,Pj为在该应试者能力下的反应函数的

10、值。对上面的极大似然方程L(两边求对数有:1n L(=nj=1(uj31n p j+nj=1(1-uj31n(1-pj令F(=ln L(,则:dd1n L(=F(=D3nj=1a j3(u j-p j(p j-c j/p j3(1-c j通过解方程F(=0可求得能力参数的极大似然估计值。根据此模型计算可以得知,如果受测者答错了,能力的估计值就会降低;如果受测者答对了,能力的估计值就会提高。为了避免出现能力测试失败,提高计算方法的收敛速度,使能力估计值快速趋于稳定,可以通过两种算法对此极大似然方程进行求解。一种是常用Ne wt on-Raphs on迭代法,又称切线法,切线法存在如下不足:(1方

11、程的可行解中不能出现导数为零的点(不收敛点;(2方程的收敛速度较慢,特别是当(t+1值趋近于方程的解时,收敛明显减慢;(3方程的解法中当不存在解时,缺少对实际能力值的调整;(4当方程出现多解时,缺少相应的处理。第二种方法是中值法,可以解决切线法中存在的收敛问题,中值法满足条件的可能性相对切线法来说是较为容易,采用中值计算法,收敛速度快,出现特殊情况时进行简单的调整,这在一定程度上保证了最终的能力估计值曲线的平衡性。97312基于神经网络的参数估计方法运用神经网络进行参数估计的方法,通过将所有考生在项目上的反应作为网络输入,将项目的I RT参数值作为网络输出,进行网络建模,并通过锚题测验设计,提

12、供训练样本以及训练网络;训练好的网络就可以对小样本和连续记分的I RT参数进行估计,该方法可以得到较好的估计精度。在基于I RT的题库建设中,连续记分模型已经不再采用,取而代之的是更为实用的基于二值记分的三参数Logistic模型(3P L M。所谓二值记分,即指考生在项目上的作答要么正确,基于神经网络项目参数估计方法也适用于二值记分方式。GRNN是由Specht提出的一种前馈式监督型神经网络。该网络的结构设计比较简单,它具有一个径向基隐层和一个线性输出层,只有一个网络参数需要调节,具有学习速度快、拟合能力强等优点,常用于解决回归问题,尤其非常成功地应用在函数拟合中。Matlab神经网络工具箱

13、提供的广义回归网络设计函数为ne wgrnn(P,T,SP,其中P为输入样本,T为输出期望,SP为径向基隐层神经元的宽度。其中,网络的隐层和线性层神经元数均等于训练样本数,隐层权值为训练样本输入的转置,且该层网络输入函数和传递函数分别为Euclidean距离函数和Gaussian函数。线性层权值为训练样本的输出期望值,该层的网络输入函数和传递函数分别规则化为点积函数和线性函数。在区分度和猜测系数上,神经网络方法比数理统计方法的估计误差要小,但在难度上,神经网络方法的误差较大;在一些情况下,神经网络方法的优势并不明显,但是当去掉对项目参数的先验概率分布的限制后,基于神经网络的参数方法才体现出一定

14、的优势。特别是在小样本测验情况下,去掉对项目参数的先验概率分布的限制后,神经网络方法的优势更加明显。313基于遗传算法的参数估计方法遗传算法(Genetic A lgorithm,G A是近些年发展起来的基于生物自然选择和自然遗传理论的随机化全局优化算法。与其它方法相比,遗传算法具有其它算法所没有的自适应性、全局优化性和隐含并行性,在解决问题时具有很强的稳健性。遗传算法通过“优胜劣汰”选择个体,通过遗传算子操作可产生新的优良结构的个体,采用与适应值成比例的选择策略,可以使适应值高的个体具有更多的生存机会,但也因此可能导致算法过早的不成熟收敛等。为了实现算法的自适应性与避免早熟现象,可以用自适应

15、的惩罚函数的方式调整适应度函数。根据连续k代具有高适应度的个体满足约束条件的情况调整惩罚因子,进而调整适应函数为:=3(1-3(1+传统遗传算法采用的是二进制编码,现在应用较多的是基于实数编码的遗传算法(Real cod2 ing Genetic A lgorithm,RG A。这种遗传算法的过程为:在种群规模为L的父代种群基础上分别通过选择、交叉和变异得到3个不同的子代种群,再从中选择L个互不相同的优秀个体作为新的父代种群;然后重新对父代种群进行评价、选择、杂交和变异,如此反复,直到满足条件为止。显然,改进后的RG A实际搜索范围广,得到全局最优点的机会也大。采用实数编码进行I RT的3P LM参数估计,是连续参数优化问题的自然描述,取消了编码、解码的过程,提高了算法的速度和精度