以多点计分试题结构为基础的计算机适性测验算法.ppt

硕士论文计划以多点计分试题结构为基础的计算机适性测验算法 Jan 17 2005 研究动机 国科会计划 国小数学科计算机化适性诊断测验 I II III 是以数学科 单元 为测验单位之计算机测验 其选题策略主要是以二元计分试题结构为基础 郭伯臣 2003 2004 本研究拟将原适用于二元计分适性测验选题模式扩展为多点计分的适性测验选题模式 并应用于开发可诊断 能力指针 学习情形的计算机适性诊断评量 郭伯臣 刘湘川 2003 2004 计算机化适性诊断测验及补救教学系统进行流程 以试题阶层性结构为基础的适性测验如何节省施测题数 0 0 1 1 1 1 1 待测 待测 待测 待测 待测 待测 待测 待测 待测 0 1 1 1 1 0 知识 试题结构产生的方式 专家结构由学科专家与现职教师共同参考相关研究文献及不同版本教材后分析讨论建立 二元计分试题结构估计方法DiagnosysOrderingTheory OT ItemRelationalStructureAnalysis IRS 研究目的 开发以多点计分试题结构为基础之适性测验选题策略探讨以不同多点计分试题结构为基础及以专家结构为基础之适性测验选题策略成效探讨如何结合二元计分与多点计分试题结构之适性测验选题策略 研究步骤与目前进度 配合相关能力指标研究 建立专家能力指针间结构及专家能力指针内结构 发展适用于计算机适性测验之多点计分试题顺序结构系数 研究目的一 编制纸笔测验 并进行施测 收集仿真计算机适性测验所需数据以实际测验数据进行仿真计算机适性测验 评估不同多点计分试题结构及专家结构之适性测验选题策略成效 研究目的二 以实际测验数据进行仿真计算机适性测验 评估结合二元计分与多点计分试题结构之适性测验选题策略成效 研究目的三 目前进度已完成步骤1 3 现正进行步骤4 以二元计分试题结构为基础之适性测验选题策略 Diagnosys Appleby Samuels Treasure Jones 1997 Diagnosys Thejointandmarginalprobabilitiesofitemjandk OrderingTheory OT Airasian Bart 1973 ItemRelationalStructureAnalysis IRS Takeya 1978 扩分 约分 单元OT sStructure threshold 0 04 扩分 约分 单元OT sStructure threshold 0 02 二元计分试题结构的应用 早期这些方法主要是用以估计纸笔测验之试题结构 强调可提供除了试题通过率与鉴别度外的学生学习讯息 也常用于比较使用不同教学法或教材版本时 是否造成学生试题结构不同 本研究则将二元计分试题结构应用于计算机适性测验选题策略中 二元计分试题结构研究结果 郭伯臣 何政翰 2004 郭伯臣 2004 2003 Kuo Liu Sheu Pai Ko Yang Lin 2004 的研究中使用四种方法 专家知识结构 Diagnosys OT与IRS 来建立结构 并评估所建立结构之计算机适性测验算法成效 结论为 OT的算法与其他算法比起来 其对样本大小较不敏感 因此就以试题顺序结构为基础适性测验的来说 OT为一个较好的选择 以多元计分试题结构为基础之适性测验选题策略 多点计分试题顺序结构理论 1 多点计分试题顺序结构理论 2 多点计分试题顺序结构理论 3 多点计分试题结构的应用 如同二元计分试题结构 目前这些多点计分试题结构估计方法主要是用以估计纸笔测验或问卷之试 问 题结构 强调可提供除了试题通过率与鉴别度外的学生学习讯息 常用于比较使用不同教学法或教材版本 是否造成学生试题结构不同 本研究则将结合多点计分与二元计分试题结构应用于计算机适性测验选题策略中 研究步骤与目前进度 配合相关能力指标研究 建立专家能力指针间结构及专家能力指针内结构 发展适用于计算机适性测验之多点计分试题顺序结构系数 研究目的一 编制纸笔测验 并进行施测 收集仿真计算机适性测验所需数据以实际测验数据进行仿真计算机适性测验 评估不同多点计分试题结构及专家结构之适性测验选题策略成效 研究目的二 以实际测验数据进行仿真计算机适性测验 评估结合二元计分与多点计分试题结构之适性测验选题策略成效 研究目的三 目前进度已完成步骤1 3 现正进行步骤4 模拟实验一 目的 于训练样本数固定的情况下 探讨不同threshold与对不同多点计分试题结构在预测精确度与施测题数的影响 方法 设定threshold为0 1之间 样本数10 50 100与200人四种情况所获得结构 对预测精确度与施测题数的影响 PredictionAccuracyv s Thresholds Diagnosys 扩分约分 0 04 0 02 TestSpeedv s Thresholds Diagnosys 扩分约分 0 04 0 02 22 6 21 0 PredictionAccuracyv s Thresholds OT 扩分约分 0 06 0 04 0 02 TestSpeedv s Thresholds OT 扩分约分 0 06 0 04 0 02 10 8 11 7 12 5 模拟实验二 目的 在threshold固定的情况下 探讨训练样本数对不同多点计分试题结构在预测精准度与施测题数上之影响 方法 本实验由总样本中随机选取1 2 3 200个样本做为训练样本 threshold设定由实验一之结果决定 PredictionAccuracyv s SampleSize 扩分约分 研究步骤与目前进度 配合相关能力指标研究 建立专家能力指针间结构及专家能力指针内结构 发展适用于计算机适性测验之多点计分试题顺序结构系数 研究目的一 编制纸笔测验 并进行施测 收集仿真计算机适性测验所需数据以实际测验数据进行仿真计算机适性测验 评估不同多点计分试题结构及专家结构之适性测验选题策略成效 研究目的二 以实际测验数据进行仿真计算机适性测验 评估