IRT在量表编制上的应用83.ppt

1、IRT在量表(測驗)編製上的應用,陳柏熹 台灣師大心輔系,大綱,IRT的概念與發展 IRT在測驗編製上的應用 IRT在電腦化適性測驗上的應用 MIRT在多向度測驗上的應用,一、IRT的概念與發展,j 為考生 j 的能力， bi 是試題 i 的難度， Pij是受測者答對某個題目的機率,試題反應理論(item response theory; IRT)的基本概念,試題反應理論(IRT)與古典測驗理論(CTT)比較,試題反應理論(IRT)與古典測驗理論(CTT)比較(續),二元計分模式 Rasch模式,常見的IRT模式,二元計分模式 二參數模式,二元計分模式 三參數模式,多元計分模式 部份給分模式,

2、多元計分模式 評定量尺模式,單向度 測驗中的所有題目主要都是測量相同的某一項特質，或是受試者在測驗題目上的答題反應主要是受到單一項特質所影響 。 局部獨立性 相同能力水準的受試者，在各個題目上的答對機率是互相獨立的。,IRT的基本假設,評量系統公司assess,當代IRT的發展,編製測驗(量表) 測驗等化 建立題庫 組合測驗 電腦化適性測驗,IRT的應用,二、IRT在測驗編製上的應用,測驗(量表)設計原理 優良測驗設計(Best Test Design)(Wright ML) 貝氏最大後驗法(maximum a posteriori, MAP) 貝氏期望後驗法(expected a poste

3、riori, EAP),尋找概似函數最佳解的方法： 1.最大概似法(Maximum Likelihood; ML) 找出能使受試者的反應概似函數最佳化的能力值，為了 加速找到最佳解，通常使用牛頓-約佛森(Newton-Raphson)法進行疊代： 2.貝氏最大後驗法(maximum a posteriori, MAP) 以受試者的事前能力分布作為加權值，形成事後機率密度函數，並找出能使此事後機率密度函數最大化的能力值。 3.貝氏期望後驗法(expected a posteriori, EAP) 與2.類似，但所尋找的能力值是事後機率密度函數的期望值(相當於平均數)，而不是最大值(相當於眾數)

4、。,試題分析 反應概似函數（likelihood function） 常見的試題參數估計法 聯合最大概似法(joint maximum likelihood; JML) 先假設試題參數已知 (設定所有題目的難度為0)，估計受試者的暫時程度值；再把題目難度設定為未知，利用暫時的能力估計值來估計題目參數 邊際最大概似法(marginal maximum likelihood; MML) 估計題目參數時，考慮受試者背後常模的分布型態 條件最大概似法(conditional maximum likelihood; CML) 用答對題數來估計受試者能力值，接著再用受試者能力值來估計試題參數,測驗訊息量與

5、測量誤差 題目訊息量(item information)： 測驗訊息量為題目訊息量總和。 測量誤差：,檢視資料的符合性 一、基本假設的檢定 單向度：1.受試者反應型態的合理性 2.計算內部一致性信度 3.進行主成分分析 4.使用線性或非線性的因素分析 5.殘差值分析 局部獨立性：依能力高低分成若干組別，分別在每個組別中算出各題得分的相關矩陣，看各題目得分是否有顯著相關 二、模式符合度的檢驗 題目符合度：ICC曲線、Bock(1972)的2值、多模式的概率比 受試者符合度：能力估計誤差、受試者符合度指標,以IRT編製測驗的範例 (1),、能力測驗的編製 九十四年第一次國中基測驗數學科，共有33題

6、。資料來源為作者向國中基本學力測驗推動工作委員會申請，該單位僅提供5000筆供研究用。此處僅使用其中500筆。,ConQuest程式寫法： datafile math941a.prn; format response 1-33; codes A B C D ; key DDABCBCBBACDBBADCDBACDCCAABCADBAB !1; set constraints=cases; model item; estimate ! converge=0.01; itanal math941.itn; show math941.shw; show cases ! estimates=mle m

7、ath941.mle; show cases ! estimates=eap math941.eap; reset;,以IRT編製測驗的範例(2),二、人格與態度量表的編製 作者自行發展的生活品質量表(陳柏熹，2019)。該量表主要測量受試者在身體、心理、獨立性、社交、環境、心靈等層面的生活品質感受，以及整體生活品質感受。每個題目都是以非常像我、大致像我、不太像我、非常不像我等四點計分。本節僅使用身體層面的生活品質感受題目為例進行分析。,ConQuest程式寫法： datafile whodata.dat; format id 1-11 response 12-23; score (1,2,3,4)(0,1,2,3);