试卷评价软件系统的设计.pdf

第28卷 第2期 2004年2月 信 息 技 术 INFORMATION TECHNOLOGY VOL 28 NO 2 Feb 2004 试卷评价软件系统的设计 程万君 邢传军 董 刚 王 丽 左晓英 黑龙江信息技术职业学院 哈尔滨150086 摘 要 试卷评价软件系统根据教育测量学原理 以考试数据为样本 采用相应的计算公式对试 卷的信度 效度 难度 区分度进行评价 生成试卷质量的评价报告 为教育教学工作者提供有效 的评价工具 对于提高教育教学质量 改进教学过程 提高人才培养的质量有很大的益处 关键词 试卷评价 分析 质量 中图分类号 TP311 52 文献标识码 B 文章编号 1009 2552 2004 02 0085 03 The design of paper appraisal software system CHENGWan2jun XING Chuan2jun DONG Gang WANGLi ZUO Xiao2ying Heilongjiang Information Technology Profession Institute H arbin 150086 China Abstract According to the principle of education measurement the paper appraisal software system takes samples from test data appraises trust degree efficiency degree difficulty degree and distinguish degree of the paper adopting corresponding calculation formula produces the appraisal report of the paper quality offers effective appraisal tool to educationalists and benefits the enhance ment of teaching quality improving of teaching course and the quality of trainee Key words paper appraisal analysis quality 0 引言 随着社会的进步 对人才的要求越来越高 为 了科学地选拔和培养人才 各种门类的考试愈加细 化 考试为选拔和衡量人才的实际水平提供了重要 的依据 考试自身的质量高低 对考试的效果有着重 要的影响 科学评价考试自身质量对改进考试过 程 提高考试质量有极大的意义 1 系统的设计思想 试卷评价软件的设计思想是根据教育测量学的 原理 以考试数据为样本 通过所选预定的目标 大 纲 为参照标准来衡量测验成绩的测验 其评价基准 是在测验之前 建立在被测团体之外 个体的成绩 只需与既定的目标相比较 不必与团体中其他人相 比较就可以确定其优劣 计算机考试评价软件采用 Sybase公司开发的关系型DBMS Adaptive Seryer En2 terprise 数据库的操作与维护采用SY BASE开发的 集成与Power Builder中的数据库操作接口 应用程 序中前端的开发采用Power Builder8 0 应用程序中 的数据库连接采用ODBC接口 根据有关的理论书籍的论述和考试评测的实际 过程的分析 形成试卷评价软件的逻辑流程图如图 1所示 由系统逻辑流程图并根据对评价过程的分析可 获得系统的功能模型如图2所示 1 考试处理模块 实现考试基本情况数据的添 加 修改 查询 打印报表等功能 2 试卷处理模块 实现与某一考试相应的试卷 情况数据的添加 修改 查询 打印报表等功能 3 样本数据处理模块 实现某一考试的某一试 卷考试后 为对试卷的质量情况和将考试情况进行 评价所采集的样本数据进行处理 处理包括添加 收稿日期 2004 01 09 作者简介 程万君 1961 男 1984年毕业于黑龙江大学物理系 研 究员级高工 现任黑龙江信息技术职业学院党委书记 58 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 图1 试卷评价软件的逻辑流程图 图2 系统的功能模型 修改 查询 打印报表等功能 4 评价模块 实现某一考试某一试卷的相应的 质量系数的评价 查询 打印报表等功能 5 系统模块 实现应用系统的使用者的用户名 与相应的口令的管理功能 并实现数据的备份 恢 复 传递 接受功能 6 帮助模块 实现系统的使用帮助以及有关的 评测知识的帮助功能 2 评价系统的设计 在试卷评价软件中对考试试卷进行如下内容的 鉴定 2 1 信度 整个测验 所谓信度就是同一个测验对同一组被试先后实 施两次 其测验结果的一致性的程度 也即测验的 可靠性 信度的估计 评价 有很多的方法 再测信度 以同一个测验对同一组被试先后施 测两次 所得结果的相关系数 复本信度 同一组被试在复本测验上所得结果 的相关系数就是复本信度 所谓复本测验是指在性 质 内容 题型 题数 难度等方面都一致 相等 的两 份或多份测验 内在一致性信度 测验内部 即测题之间 的一 致性型度 也称内在一致性系数 区别于前两种信 度 再测信度是一个测验在不同时间的一致性 复本 信度是测验的两种不同形式的一致性 评分者的信度 测题的信度以评分者所评分数 的相关系数 目标参考性测验信度的估计 目标参考性试验 有许多所要考查的目标组成 而每个目标又由许多 测题组成 在估计这种测验的信度时 可将每个目 标的测题视为一个测题组 用常模参考型测验信度 的估计方法 如再测 复本 折半 K R公式等来估 计每个测题组的信度 然后用各测题组的复本信度 系数来表示整个测验的信度 在本系统中考试的性 质是目标参考性测验 所以在评定测题的信度采用 目标参考性测验信度的估计方法 在估计测题的信 度时根据上述常模考试的信度的估计方法的优缺 点 在估计测题的信度时采用内在一致性信度 具体 公式的选择 对于主观性试题 非0 1记分测验 采 用为估计连续记分法和一切非0 1记分法的信度 采用该方法估计值是信度的最低值 客观性试题采 用K R公式 1 非0 1记分法信度的估计公式 rtt k k 1 1 2 i 2 t 在这里 2 i表示每个测题分数的方差 2 t表示 测验总分的方差 K表示测题的数目 2 K R21 公式 0 1记分测题 rtt 1 0 8 K Xt Xt K 2 t K表示测题的数目 或称测验长度 Xt表示测验总分的平均数 2 t表示测验总分的方差 2 2 效度 整个测验 所谓效度就是一个测验它所欲测量的属性 能 够确实测到的程度 即测试的正确性 也就是测验 功能的有效性 测验的效度分为以下的三大类 效度关联效度 内容效度和结构效度 效度关联效度是以某一种测验分数与其效标分 数之间的相关来表示的效度 又称为统计效度 两 个分数之间的相关系数就是效标关联效度系数 测 68 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 验分数和效标分数应为同一组被试 内容效度是指测验内容对所要测量的内容的代 表性程度 也就是说 测验的内容范围 材料 与索 要测量的内容范围 教育目标是否符合 测验中测题 所引起的行为是不是所要测量的属性的明确反映 测验的结果是不是一个具有代表性的行为样本 对 于测验内容效度的检定 是要以对所要测量的内容 范围和教育目标系统的逻辑分析为基础 要以这些 内容范围和教育目标层次所占的比重为根据 来考 察测验是否按比重覆盖了那么多内容 结构效度是指测验对于人的假设属性或理论概 念测量的程度 这些假设属性或理论概念是决定人 们外部行为的内隐或潜在的特性 但是这种特性不 能予以操作性的定义 它所支配的行为也不能直接 观察到 2 3 难度 测题 所谓难度就是测题的难易程度 表示测题难易 程度的数 称为测题的难度系数 1 0 1记分测题难度估计 P Ph Pl 2 Ph表示高分组某题答对的人数比率 Pl表示低分组某题答对的人数比率 在上述的公式的使用过程中 将样本分成由高 到低的顺序分成高中低的三组 分别从高分和低分 分别取27 计算Ph和Pl进而求P 2 0 1记分多重选择题难度 CP kP 1 k 1 CP表示校正猜测机遇之后的测题难度指数 P表示未校正猜测机遇的测题难度指数 K表示每个测题中供选择的答案数目 3 非0 1记分测题难度估计 CP 所有被试的该题平均分 该题满分分数 2 4 区分度 测题 所谓区分度就是测题对于被试反应的区分程度 和鉴别程度 用一般测题的得分与测验总分之间的 相关系数来表示 1 0 1记分测题区分度的估计 Rb xp xt t P Y 其中 XP表示该题答对的那些被试测验总分的 平均分 XT表示所有被试测验总分的平均分 T表示所有被试测验总分的标准差 P表示某题答对的人数比率 Y表示正态曲线下P值总线的高度 2 非0 1记分测题区分度的估计 R XY X Y N X 2 X 2 N Y 2 Y 2 N 其中 X表示所有被试在某一测题上的得分 Y表示所有被试的测验总分 N表示被试的总人数 2 5 效度 测题 测题的效度是指测题分数与外部效标分数的相 关程度 可以用来估计测题区分度的任何一种方 法 都可以用来估计测题的效度 3 结束语 本软件既可用于标准参照型考试 又可以用于 统计分析型考试 试卷质量的评价若采用人工进行 由于评价公 式较复杂 样本数据量较大 评价过程长 且评价准 确性不高 根据教育测量学原理开发试卷评价软 件 将有关的评价公式自动提供给用户 并提供相应 的数据管理功能 将为教育教学工作提供有效的工 具 对提高教育教学质量 改进教学过程 提高人才 培养的质量有重要意义 参 考 文 献 1 王孝玲 教育测量 M 华东师范大学出版社 2001 3 2 张敏强 教育测量学 M 人民教育出版社 1998 7 责任编辑 张棣 上接第74页 2 结束语 在开发网络数据库应用时 使用ODBC数据源 可以防止由于ASP程序源代码的泄露而导致数据 库名将随ASP源代码的失密而一同失密 此外 由 于ODBC数据源是与网络操作系统捆绑在一起 从 而大大提高了数据库对多个用户任务的支持和响应 能力 参 考 文 献 1 黄立伟 Visual C 中的ODBC编程实例 N 电脑报 2000 43 2 Ilamei 动态配置ODBC数据源 DB OL http www chinabyte com 20001130 140208 shtml 2000 11 30 3 曹琳 在PowerBu