项目反应理论在试题库系统中的应用.pdf

1 5 2 福建电脑2 0 1 0 年第1 期 项目反应理论在试题库系统中的应用 薛宝山 山东胜利职业学院山东东营2 5 7 0 9 7 摘要 本文针对传统试题库系统的不足 引入了项目反应理论 分析了项目反应理论在试题库系统中的应用 并介 绍了试题库系统整体架构的设计 关键词 项目反应理论 试题库 考试系统 计算机辅助教学 l 引言 试题库系统是进行计算机辅助教学的一种重要的工具 在 远程教育 高等学校 教育培训等诸多方面有着广泛的应用 试 题库是严格遵循教育测量理论 在计苒机系统中实现的某个学 科题目的集合 是在精确的数学模型基础上建立起来的教育测 量工具 是计算机科学和教育测量理论相结合的产物 近年来 随着教育测量理论的发展 基于项目反应理论的试 题库系统逐渐得到了越来越广泛的的应用 这种系统可以根据 测试者的实际情况 从题库中选出难度水平适合他们的试题 从 而可以解决测量精确度和能力跨度不能兼顾的问题 2 试题库中的参数设计 在试题库中应用项目反映理论时 需要对每个题目进行分 析与设计 考察一个各道题日的设计是否合理和选用是 否得当 主要包括难度 区分度 效度和信度等几个参数 难度是指试题的难易程度 它是衡量试题质量的一个重要 指标参数 它和区分度共同影响并决定考生答题的正确性 难度 一般用以下公式计算 P R N P 代表试题的难度系数 R 代表试 题的答对人数 N 代表考生人数 区分度是区分考生能力水平高低的重要指标 试题区分度 高 可以有效拉开不同水平应试者分数的距离 使水平高的考生 得高分 水平低的考生得低分 而区分度低则反映不出不同考生 的水平差异 区分度可用以下公式计算 D H L N D 代表区 分度系数 H 代表水平高考生答对题的人数 L 代表水平低考生 答对题的人数 N 代表二者人数之和 信度是指测试所测得的结果的一致性或稳定性 稳定性越 大 一致的程度越高 就意味着测评结果越可靠 一般来说 测试 要求的信度应该在O 7 以上 信度可以用再测信度 复本信度和 内部一致信度三种方法来进行评估 效度是指测试的有效性和正确性 即测试是否达到它所预 定的测评目标 效度是一个相对概念 而不是一个绝对概念 即 效度只有高低之分 而没有全部有效和全部无效之分 效度从种 类上可分为卷面效度 内容效度 预测效度等 3 项目反应理论 I R T 项目反应理论 I t e mR e s p o n s eT h e o r y 是一种教育测量理 论 是针对经典测量理论c Y r 的局限性提出来的一种新兴的教 育测量理论 项目反应理论构建于复杂的数学模型之上 将被试 者的能力水平与其在项目上的行为关联起来 并将其参数化 模 型化 项目反应理论研究中的一项重要工作就是要确定项目特 征曲线的形态 然后写出这条特征曲线的解析式 即项目特征函 数 I t e mC h a r a c t e r i s t i cF u n c t i o n 简称I C F 在项目反应理论模型的研究过程中 人们提出了多种理论 模型 可以分为两大类 静态模型与动态模型 目前比较成熟的 是静态模型 根据项目特性曲线的形状可以分为正态卵型和逻 辑斯蒂型等多种 应用较广的是逻辑斯蒂克模型 1 0 9 i s t i cM o d e 1 在逻辑斯蒂克模型中 根据参数的不同 特征函数可分为三 种模式 l l 单参数模式 p 2 石j 莉双参数模式 烈叨2 i 孑瓦两 三参数模式 p 口 c 1 一c r 忑 其中 D 1 7 0 2 为量表因子常数 O 为受测者能力值 P 0 表 示能力为0 的人答对此题目的概率 a 为题目的区分度 即特征 曲线的斜率 它的值越大说明题目对受测者的区分程度越高 b 表示题日的难度 即特征曲线在横坐标上的投影 c 表示题目的 猜测系数 即特征曲线的截距 c 的值越大 说明不论受测者能 力高低 都容易猜对本道题目 在测试过程中 题目的选取是根据考生先前的答题情况而 采用某种选择策略进行的 也就是根据考生的能力进行估计 在 估计考生能力参数0 的方法中 应用最普遍的是最大似然估计 法 在项目参数已知的情况下 能力参数0 的最大似然估计是通 过被测试者的似然函数区的最大值来求0 的估计方法 L X 墨 以I p 兀e 口 O 口 1 1 月 兮I n L X l x 2 x x I o x j l n 弓 p 1 一x y i n Q j p j l l n 眈 m a x I n 口 其中L 表示概率 e 为能力估计值 x j 为第j 题的项目反应 如果回答正确则为1 否则为0 n 为估计题目的数目 然后分别 对参数a b c 0 采用N e w t o n R a p s o n 法求偏导 a b c 这三个参 数的估计值在建立题库之初已经得到了 因此在用迭代法处理 时 先把a b c 的初始值当成已知 代人方程式估计能力参数0 再将0 作为已知去估计项目参数 直到迭代程序完成 4 试题库系统的设计 建立试题库是一个复杂的系统工程 首先要根据功能需求 确定试题的属性指标 建立题库的数学模型 接下来组织大量优 秀的在该领域有特长的专家编写试题 为了保证试题的科学性 和有效性 还要组织大量的被试样本 进行抽样测试 对试题参 数进行校正 使试题系数更加规范 在传统的是试题库产品中 对于每个受测者而言 题库中的 题目只有一部分是符合受测者真正能力的 其余的题目要么简 单 要么过难 这样对于受测者的真正能力的评估也就不够准 确 这样的试题库产品是不完善的 建立在项目反映理论基础上 的试题库系统 能够不断地根据题目各方面的信息和受测者的 答题情况估计受测者的能力 从题库中动态的抽取符合受测者 能力的题目进行测试 直到能够达到预定的测试精度要求 即可 结束考试 在实际应用中 可以分为两个阶段 第一阶段是受测者能力 水平的探索阶段 求取受测者的能力初值 先从题库中随机调取 中等难度的题目 若受测者答对的题目多于答错的题目时 则用 难度更高的题目继续测试 反之 则用稍易的题目继续测试 当 受测者答对题目和答错题目的个数基本相同时 这时就可以初 步估计出该受测者的能力初值 第二阶段是对受测者能力值的 不断修正 在第一阶段估计出受测者的能力初值后 继续从题库 中挑出难度和受测者能力初值最适当 信息量更大的题目继续 万方数据 2 0 1 0 年第1 期福建电脑 1 5 3 测试 并不断地估计出受测者的能力值 逐步向受测者的能力真 值逼近 重复以上步骤 直到满足规定的测量精度要求为止 为 了能够精确评估受测者的能力水平 要求试题库产品具有丰富 的试题量 准确和精细划分试题的参数级别 5 系统总体架构设计 基于项目反应理论的试题库系统核心是一个智能化考试和 自适应的学习系统 系统能根据登录用户身份 类别和学习的历 史记录 运用合适的策略从试题库中抽取试题进行组卷 并能够 根据测试者在测试过程的反应及时调整试题的各项系数 系统总体架构分为题库子系统和考试子系统两部分 题库 子系统主要是基于I R T 的题库的建立与维护工作 由于题库子 系统的用户少 出于简便 安全等方面的考虑 可以采用C S 结 构实现 考试子系统完成在线测试工作 采用基于I n t e n e t 的三 层模型实现 在考试过程中 客户端的任务是与用户交互 题目 的呈现 估计用户能力值 服务器端负责处理用户的登录请求和 对用户考试记录的更新 同时接受客户端的请求 在I R T 题库中 选择与用户能力估计值相应的题目 整个系统工作流程如下 用户登录客户端向测试服务器发 出请求 服务器端接收到用户请求后 根据用户的记录确定考试 的初始题目 返回给客户端 经过第一阶段的测试 可以估计用 户的能力初值 再向服务器端请求与该考生能力估计初值相适 应的题目 再从I R T 题库中选择更加适合该用户测试的题目 即相对该能力估计初值的题目信息量更大的题目 考试系统再 将题目返回给客户端 重复以上步骤 直到达到需要精度的能力 值为止 考试结束后 用户可通过客户端的统计得知自己的考试 数据 进行分析总结 便于用户改进日后的学习 不断抽取和测试者能力相适应的题目是I R T 题库的基本原 则 通常利用I R T 题库中题目的最大信息函数来确定所选择的 题目 对于不同能力的受测者 题目有不同的信息量 信息量取 最大值时 它所对应的能力值即是最适合于采用此题目测试的 人员的能力值 另外 还可以采用B a y e s 方法选取试题 它是以 能力估计值在测试之后的改变作为选择标准 即选择使得能力 估计值在测试之后改变最小的题目进行测试 对试题库题目 I R T 各项参数值的确定 一般采用同时进行能力值估计与试题 参数最大近似值估计的方法 也称为联合最大近似值估计法 由 于详细的计算过程非常繁琐 手工编程难度较大 所以一般采用 国际上比较成熟的项目反应参数计算软件B I L O G M G 3 来进行 题库参数的估算 6 结束语 本文探讨了项目反应理论在试题库系统中的应用 基于项 目反应理论的的试题库系统具有科学规范 便于因材施教等优 点 随着项目反应理论和计算机自适应考试的研究的不断深入 基于项目反应理论的试题库系统必将得到更多的发展和应用 参考文献 1 戴海崎 国内项目反应理论 I R 应用研究述评 考试研究 2 0 0 5 1 2 余胜泉 何克抗 网络题库系统设计与实现 教育技术通讯应用开发 2 0 0 4 7 f 3 1 习胜丰 何志国 基于W E B 的自适应考试系统的研究与设计 计算技 术与自动化 2 0 0 8 3 上接第1 6 3 页 I R PM JC U e A N U P 用在如下的几个方面 I R PwC L O S E 1 防病毒引掣 然后处理F a s t l o F a s t I o F a s t l O 是没有空间的 所以为了保2 用于文件系统的透明附加功能 存这组指针 必须自己为其分配空间 用E x A l l o e a t e P o o l 函数来3 作为防信息泄漏软件的基础 实现 然后再对里面所有的函数进行过滤 具有广阔的市场前景 3 3 绑定设备 用来绑定设备的系统调用有两个 I o A t t a c h D e v i c e T o D e 参考文献 v i c e S t a e k 和I o A t t a c h D e v i c e T o D e v i c e S t a c k S a f e 但是后面一个函 李民 方勇 刘林超 熊帆 文件过滤驱动及应用第3 卷第4 期信息与 数在W m d o w s 2 0 0 0 上是无法使用的 如果绑定用的是I o A t 电子工程 t a c h D e v i c e T O D e v i e e S t a c k S a f e 那么会导致驱动在W i n 2 0 0 0 下不 2 H i p s 之F D F i l e D e f n d 文件防御体系的规则编制h t t p b b s k a f a n c n 起作用 3 G r e gH o g t u n d J m 6B u d e rK O O T K I T S 一一W i n d o w s 内拔的安全防护 烹孽三冀竺乎篓编写一个回调函数 踟e s y s t e m N t i 妖高耋耋荠羔詈每翟乙i d 们文件系统过滤驱动开发教程 第二版 1 1 2 E V I c E 0 B J E C TD e v i c e O b j e c t I NB O O L E A N f A c t i v e 尚守住 二一童防矗 二 再过滤驱动程序在系统安全辜 的研主与应 在其中绑定F sC D O 胃华中科技大学系统工程研究所周剑岚冯珊S t a t 军 最后利用系统调用I o R e g i s t e r F s R e g i s t r a f i o n C h a n g e 注册刚 6 l R a j c N a g a r W i n d o w sN TF i l eS y s t e mI n t e r n a l s AD e v e l o p c r sG u i d e 刚的回调函数 这样当系统中有任务文件系统被激活或者是被 o R c m v 然后 给出了模块的组织结构和各子模块的功能 最后介绍了实现的基本思路 10 学位论文 徐江涛 基于遗传算法的试题库智能组卷研究 2007 试题库智能组卷问题是一个在一定的约束条件下的多目标参数优化问题 采用传统的数学方法求解相当困难 自动组卷的效率和质量完全取决于试 题库设计以及抽题算法的设计 随着计算技术和人工智能的快速发展 以及教育测量理论研究的不断深入 基于教育测量理论的有关计算机辅助设计得 到了广泛的应用 其中智能组卷系统的研究与开发得到了越来越多的专家学者的关注 教育测量理论中无论是经典测量理论还是项目反应理论都为智能组卷提供了坚实的理论基础 本文通过对经典测量理论和项目反应理论两种教育测 量理论的对比研究 详细地探讨了这两种理论在教学测验中的优缺点 从教学要求出发 结合经典测量理论 项目反应理论 参阅和分析了大量的国内 外相关文献 以遗传算法为基础 提出了基于项目反应理论的数学模型和基于经典测量理论的多目标函数优化数学模型 并对两种模型下相应的遗传算 法进行了较为详细的描述 对其中的基于经典测量理论的遗传算法在文中做了相应的改进 引进了小生境技术 本文提出了三种利用遗传算法智能组卷的方法 第一种方法是基于项目反应理论IRT的 采用此法进行组卷最大的优点就是试题本身的参数与考生样本无关