IRT在量表编制上的应用83.ppt

IRT在量表(測驗)編製上的應用,陳柏熹台灣師大心輔系,大綱,IRT的概念與發展IRT在測驗編製上的應用IRT在電腦化適性測驗上的應用MIRT在多向度測驗上的應用,一、IRT的概念與發展,j為考生j的能力，bi是試題i的難度，Pij是受測者答對某個題目的機率,試題反應理論(itemresponsetheory;IRT)的基本概念,試題反應理論(IRT)與古典測驗理論(CTT)比較,試題反應理論(IRT)與古典測驗理論(CTT)比較(續),二元計分模式Rasch模式,常見的IRT模式,二元計分模式二參數模式,二元計分模式三參數模式,多元計分模式部份給分模式,多元計分模式評定量尺模式,單向度測驗中的所有題目主要都是測量相同的某一項特質，或是受試者在測驗題目上的答題反應主要是受到單一項特質所影響。局部獨立性相同能力水準的受試者，在各個題目上的答對機率是互相獨立的。,IRT的基本假設,評量系統公司assess,當代IRT的發展,編製測驗(量表)測驗等化建立題庫組合測驗電腦化適性測驗,IRT的應用,二、IRT在測驗編製上的應用,測驗(量表)設計原理優良測驗設計(BestTestDesign)(WrightML)貝氏最大後驗法(maximumaposteriori,MAP)貝氏期望後驗法(expectedaposteriori,EAP),尋找概似函數最佳解的方法：1.最大概似法(MaximumLikelihood;ML)找出能使受試者的反應概似函數最佳化的能力值，為了加速找到最佳解，通常使用牛頓-約佛森(Newton-Raphson)法進行疊代：2.貝氏最大後驗法(maximumaposteriori,MAP)以受試者的事前能力分布作為加權值，形成事後機率密度函數，並找出能使此事後機率密度函數最大化的能力值。3.貝氏期望後驗法(expectedaposteriori,EAP)與2.類似，但所尋找的能力值是事後機率密度函數的期望值(相當於平均數)，而不是最大值(相當於眾數)。,試題分析反應概似函數（likelihoodfunction）常見的試題參數估計法聯合最大概似法(jointmaximumlikelihood;JML)先假設試題參數已知(設定所有題目的難度為0)，估計受試者的暫時程度值；再把題目難度設定為未知，利用暫時的能力估計值來估計題目參數邊際最大概似法(marginalmaximumlikelihood;MML)估計題目參數時，考慮受試者背後常模的分布型態條件最大概似法(conditionalmaximumlikelihood;CML)用答對題數來估計受試者能力值，接著再用受試者能力值來估計試題參數,測驗訊息量與測量誤差題目訊息量(iteminformation)：測驗訊息量為題目訊息量總和。測量誤差：,檢視資料的符合性一、基本假設的檢定單向度：1.受試者反應型態的合理性2.計算內部一致性信度3.進行主成分分析4.使用線性或非線性的因素分析5.殘差值分析局部獨立性：依能力高低分成若干組別，分別在每個組別中算出各題得分的相關矩陣，看各題目得分是否有顯著相關二、模式符合度的檢驗題目符合度：ICC曲線、Bock(1972)的2值、多模式的概率比受試者符合度：能力估計誤差、受試者符合度指標,以IRT編製測驗的範例(1),、能力測驗的編製九十四年第一次國中基測驗數學科，共有33題。資料來源為作者向國中基本學力測驗推動工作委員會申請，該單位僅提供5000筆供研究用。此處僅使用其中500筆。,ConQuest程式寫法：datafilemath941a.prn;formatresponse1-33;codesABCD;keyDDABCBCBBACDBBADCDBACDCCAABCADBAB!1;setconstraints=cases;modelitem;estimate!converge=0.01;itanalmath941.itn;showmath941.shw;showcases!estimates=mlemath941.mle;showcases!estimates=eapmath941.eap;reset;,以IRT編製測驗的範例(2),二、人格與態度量表的編製作者自行發展的生活品質量表(陳柏熹，2019)。該量表主要測量受試者在身體、心理、獨立性、社交、環境、心靈等層面的生活品質感受，以及整體生活品質感受。每個題目都是以非常像我、大致像我、不太像我、非常不像我等四點計分。本節僅使用身體層面的生活品質感受題目為例進行分析。,ConQuest程式寫法：datafilewhodata.dat;formatid1-11response12-23;score(1,2,3,4)(0,1,2,