电脑化适性测验的演进与应用.ppt

李茂能2004,電腦化適性測驗的演進與應用,主題大綱,測驗的演進IQ測量:生理與心理觀點電腦化適性測驗的起源與意義適性測驗發展階段電腦化適性測驗的理論基礎連續性機率比考驗理論IRT理論IRT理論具有兩大特色訊息函數與估計標準誤ICC與TCC電腦化適性測驗的流程電腦化適性測驗的應用實例電腦化適性測驗之優缺點中文電腦化適性測驗系統簡介,測驗的演進,起源於中國文官考試(2200BC清末的科舉制度)八股濫觴於北宋(1313)，盛行於元明清，清光緒三十一年(1906)“諭停科舉”。漫長的六百年間，八股文是中國文官考試的“托福測驗”，是一代一代中國青年十年寒窗孜孜研求的“登龍考。蘊釀於歐洲初期IQ測量(生理觀點)心理測驗之父:FrancisGalton,1822-1911後期IQ轉向心理測量AlfredBinet,1857-1911發揚於美國IQ測量持續心智觀點LewisTerman,1877-1956創用“IntelligenceQuotient.”,八股是把文章分為八個段落：破題、承題、起講、提、起股、中股、後股、束股。,首次writtenexaminations可以追述到漢代(202BC200AD).考試主題:civillaw,militaryaffairs,agriculture,revenue,andgeography.,GaltonsIQ測量,生理上:HeightWeightHeadMeasurementsLengthofMiddlefingerArmSpan,行為上:HandStrengthRespiratoryVitalCapacityVisualAcuityReactiontimestovariousstimuli,Galtons視力測量,AlfredBinet1857-1911,從心理觀點編製第一套正式之智力測驗(1905),ClarkWissler:1870-1947研究發現生理上的優勢與學習成就關係很低?,BinetsTest,主張IQ的測量,應揚棄感官方面的測量,轉向高級心智歷程(reasoning,problem-solving)的測量(1896),BinetsTest特色,主在測一般性心智能力簡短而實用不需使用儀器設備題目依難度排列測驗標準化全部文字題旨在診斷出mental-retardedchildren:魯鈍:Moron(MA=12yrs),痴呆:Imbecile(MA=7years),白痴:Idiot(MA=3yrs),WilhelmStern(1871-1938),1912年,建議使用心智商數:MentalQuotient=MA/CA理由:A5yearoldwhofunctionsasa2yearoldismoreimpairedthana13yearoldwhofunctionsasa10yearold.,LewisTerman(1877-1956),1916年,主張將心智商數乘以100已去除小數因此,AverageIQ=100,適性測驗的鼻祖:A.Binet,人工化的適性測驗始於Binet與Simon(1905)的比西智力量表，他們首先運用起始年齡組(主試者認定之適齡測驗起點)、基本年齡組(各題均通過)、與最高年齡組(各題均未通過)之概念，讓主試者能在基本年齡組與最高年齡組間適才、適能選題施測去進行智力之評估，當主試者找到受試者之基本年齡組與最高年齡組時，測驗即告終止。因此，比西智力測驗開啟了人工化紙筆式適性測驗之先河。,電腦化適性測驗,適性測驗乃是一種為每一考生量身打造的個別化測驗，符合因才施測、經濟有效、誤差最小之原則。惟早期人工式適性測驗之實行是無法有效快速達成的，二十世紀後半期個人電腦逐漸普及，適性測驗方能變得具體易行。此種運用電腦實行適性測驗，即稱為電腦化適性測驗(CAT)。Wainer(1983)稱此CAT為心理測驗界的工業革命。,適性測驗發展階段,適性測驗(AdaptiveTesting)之發展可簡單依施測方式分為四階段：人工化(19051950年代後期)、結構式電腦化(1950後期1970年代前期)模式導向電腦化(1970前期1990年代前期)智慧化、診斷化(1990前期1990年代後期)遠距化(1990年代後期迄今)。例如:QuestionMarkWeb,WebTutor,MultipleChoiceGrader,QuizPlease.,CATGlobal的全球測驗網路,電腦化適性測驗的理論基礎,(一)連續性機率比考驗理論(Sequentialprobabilityratiotest，簡稱SPRT)與(二)項目反應理論(Itemresponsetheory，簡稱IRT)。,當代測驗之父：FredericLord(19132000),連續性機率比考驗理論(一),SPRT理論係由Wald(1947)所發展之連續性分析，Ferguson(1969)首次運用它於精熟或不精熟判定的電腦化測驗中。施測過程當中，係隨機選題施測，並需進行一連續性機率比(PR)考驗，以裁定是否接受精熟或不精熟之假設，如能判定精熟或不精熟則停止施測，否則繼續選題施測下去。,連續性機率比考驗理論(二),應用SPRT模式之適性測驗，必須先根據先前經驗或理論，設定四種機率：1、精熟者的先驗機率(priorprobabilityofmastery)，2、非精熟者的先驗機率(priorprobabilityofnon-mastery)，3、精熟者的答對機率(Pm，probabilityofacorrectresponseforamastery)，4、非精熟者的答對機率(Pn，probabilityofacorrectresponseforanon-mastery)。,連續性機率比考驗理論(三),前述第一種機率係指研究者甘冒犯第一類型錯誤(把非精熟者誤判為精熟者)之機率()。第二種機率係指研究者甘冒犯第二類型錯誤(把精熟者誤判為非精熟者)之機率()。Wald氏之連續性機率比(PR)的計算公式為：上列公式中，r係考生到目前為止答對之題數，w係考生到目前為止答錯之題數。,連續性機率比考驗理論(四),接著根據下列三個規則，裁定是否接受考生精熟或不精熟之假設。1、假如PR值大於或等於(1-/)，則接受精熟之假設，測驗終止，2、假如PR值小於或等於/(1-)，則接受非精熟之假設，測驗終止，3、假如PR值小於(1-/)但大於/(1-)，則隨機選題繼續施測。,項目反應理論,IRT的特色是以機率之概念來解釋考生能力或心理特質與題目反應間之非線性關係。三參數IRT模式之試題特徵函數(itemcharacteristicfunction)表示如下：式中D=1.702;e為自然對數;Pij(j)表受試者能力為j時，答對題目i的機率;i,i,ci分別表示第i題目的鑑別度參數、難度參數、猜測參數。,鑑別度參數,難度參數,猜測度參數,三個試題特徵曲線,IRT理論具有兩大特色,(1)在不同之能力上，使用不同之估計標準誤，(2)能力與難度估計值使用共同量尺。這兩大特色使得適性測驗更精確與容易實施。但IRT理論涉及較深奧之數學運算,其實際之應用，一直到又便宜且高效率之個人電腦普及的九0年代，才變得具體可行。,項目反應理論主要概念,題目訊息函數(ItemInformationFunction)估計標準誤(StandardErrorofEstimation)這兩個基本概念。前者可作為選題之依據，後者可作為作答終止之標準。,題目與測驗訊息函數,以Rasch模式為例，假設能力為時，其在第i題之題目訊息函數可以下式表示(Suen,1990)：I(,ui)=D2Pi()Qi()把各題之題目訊息加起來即全測驗之訊息量(TestInformation)。測驗訊息函數可以下式表示：,BilogMGPlot:ICC曲線與訊息量,估計標準誤,根據上述全測驗之訊息量即可計算出在每一能力水平()之估計標準誤SE():,測驗訊息曲線,電腦化適性測驗的流程,電腦化適性測驗的應用實例,1994年春季以前，考生參加美國護士證照考試(NCLEX-RN/PN)需費時兩天之煎熬；如今使用電腦化適性測驗(NCLEX/CAT)最多只需五個小時(Martinez,1995;Wilson,1994)。由美國海軍人事研究與發展中心主導的美國三軍職業性向測驗CAT版(ArmedServiceVocationalAptitudeBattery，簡稱ASVAB)，只需花紙筆式ASVAB測驗時間的一半，90分鐘即可完成整個測驗。大規模的測驗情境，例如軍中之ASVAB,研究生之GRE,外國考生之TOFEL等考試，CAT之實用性與效率更是顯著。難怪Wainer(1983)會說電腦化適性測驗是心理測驗界之工業革命,因為電腦在測驗編製、施測、計分與報告等整個過程中均產生重大影響。,電腦化適性測驗之優點,測驗的方式深具彈性,施測時間與地點之安排可個別化與彈性化測驗的過程深具效率,不僅不會降低測驗品質，而且可以節省考試所需時間約1/4至3/4，並可獲得相同程度之信、效度。提高測驗品質,對於各能力水準均能提供相同精確度之評量，對於低能力者，可以減少猜答之機率與氣餒，對於高能力者，可以減少無謂浪費時間作答過於簡單的題目測驗的結果可立即回饋。測驗的情境、施測與計分過程更容易標準化。受試者可依自己之作答速度考試,較無時間壓力與考試焦慮。試題容易修訂與等化。減少紙張用量或不必用到答案紙，具環保概念。題本被偷或被畫記之現象不會發生，因而提高測驗之保密與安全性。減低測驗費用可以蒐集到作答過程、時間與反應型態。,電腦化適性測驗之缺點,(1)有些涵蓋多重能力與技巧之測驗題材，不適用於CAT測驗，且作答題型與測驗內容亦受到限制，譬如不適用於論文申論式的考題,(2)不適用於含有大量文字與需精緻圖案之題目,(3)大規模同時施測，需要有足夠數量的電腦硬體設備，(4)CAT題庫之建立、連結、等化與使用，不只需一些專業知識，也常需大量題目與受試者，費時且費力，(5)更精緻的IRT模式常不適用於小規模的測驗。,中文電腦化適性測驗系統簡介,李茂能(民88)為改善各類教學評量(含成就測驗、診斷測驗、等第分派、精熟評量)之品質與效率，發展出一套適合於中文環境且能圖文整合之電腦化適性測驗系統(簡稱CCAT)，系統中包含四個子系統：電腦化適性成就測驗(CAAT)、電腦化適性精熟測驗(CAMT)、電腦化適性等第評量測驗(CAGT)與電腦化紙筆式測驗(CPPT)，適合於學校中各種形成性或總結性評量與證照考試。,中文電腦化適性測驗系統特色,中文電腦化適性測驗系統係根據Rasch測驗模式，並利用MicrosoftVi