连续机率比检定模式在国民小学教学评量上之应用.doc

連續機率比檢定模式在國民小學教學評量上之應用(本文發表於2003國際資訊教育研討會)丁子評台中縣立益民國民小學 .tw7論文摘要本研究主要是結合線上測驗技術、連續機率比檢定模式 (Sequential Probability Ratio Test，簡稱SPRT) 及傳統電腦化測驗(conditional computerize test，簡稱CCT)，以建構一個線上精熟判定測驗系統，並以此系統實際應用於國民小學班級教學評量的實務工作。研究結果顯示：一、SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(Pa)來看，達0.86。若排除機遇因素，以係數來考驗，值為0.72，達到.01顯著水準。由此可知兩模式對精熟判定具有高度的一致性。二、就兩模式的答題數來比較，整體而言，SPRT模式在答題數的效率上，比CCT模式高出約34%。三、再從兩模式的使用時間來比較，整體而言，SPRT模式在省時的效率上，比CCT模式節省約25%。四、SPRT的施測程序裡，伺服器所耗用的時間，僅占整個測驗時間的0.87%，施測過程十分流暢。因此，SPRT模式一個施測效率高、測驗結果可信的系統，很適合運用於國民小學班級實務的教學評量中。關鍵字：線上測驗、連續機率比檢定(SPRT)、電腦化測驗(CCT)、教學評量。前言一、研究背景及動機近年來，由於電腦科技的進步，以及適性化測驗理論的發展，使得電腦化適性測驗的理念得以落實到現行的教育環境。再加上民國八十八年，教育部推動資訊教育擴大內需方案，全面普及了國民小學的電腦教學設備，各學校的資訊設備已能符合一般需求。然而在目前而言，電腦化的施測模式，大多數屬於傳統電腦化測驗(conditional computerize test，簡稱CCT)，也就是紙筆測驗的電腦化。測驗介面雖然換成了電腦，但測驗的作答及計分方式仍不脫傳統紙筆測驗的範疇，頂多增加了多媒體的呈現效果。此外，某些以研究為目的，發展出來的電腦化適性測驗系統，則大多採用現代測驗的理論中的試題反應理論(Item Response Theory，簡稱IRT)，做為測驗模式的設計。不過以IRT為基礎的適性測驗，有其理論假定上的限制。例如，參數模式運算的繁複及大量的樣本需求等。這樣的限制，在國民小學實際的班級教學評量上，有其運用上的困難。另外還有一種連續機率比檢定 (Sequential Probability Ratio Test，簡稱SPRT)的測驗模式，SPRT模式只適於精熟判定的測驗，測驗結果僅區分精熟與未精熟兩個結果。其理論淺顯易懂，使用上限制較少，且不需繁複的計算過程，適合用在一般的班級教學評量上。且以班級教學情境而言，教師能了解學生是否達到預定的學習成效，比估算學生之間的成績高低來得重要。職是之故，本研究準備利用連續機率比檢定模式，來建置一個可以在校園網路線上施測的測驗環境，並與傳統電腦化測驗模式比較，分析兩者在精熟判定上之一致性及施測效率。以期能建置一個節省時間與人力，且具測驗效率測驗環境。二、研究目的本研究將建置一個可以在網際網路上施測的精熟判定測驗系統，以期用省時、便利又兼顧個別化的測驗方式，達到診斷學生學習成效及評定學生學習成就的目的。並且從中探究，SPRT模式與CCT模式在精熟判定上之一致性及SPRT模式之使用效率為何？文獻探討一、連續機率比檢定模式連續機率比檢定(Sequential Probability Ratio Test；簡稱SPRT)，是於1947年由Wald所發展出來的一種連續性分析的決策模式。早期是用於第二次世界大戰時，美國軍備製造之品質管制上。1969年時，Ferguson首次將其應用於教育測驗的領域，用來判定學生在電腦化精熟測驗(mastery testing)上，精熟或未精熟(mastery or non-mastery)的決策模式。(一)SPRT模式原理SPRT模式的運作原理，是基於對受試者答題能力可能性(likelihood)的一種估計，且這個估計值，要拿來與兩個假設比較。這兩個假設，一個是精熟者的最低能力值，另一則是未精熟者的最高能力值。如果這兩個能力值的可能性估計，有其中一個的可能性機率很明顯的大於另一個，則受試者的能力將被判定。若能力估計值落於兩者之間，則能力估計將繼續進行下去。整個模式其假設及決策過程如下(莊智陵，民89)：SPRT模式的兩大假設 其中Hm:受試者精熟的假設；Hnm:受試者未精熟的假設；P：受試者答對題目的機率；Pm：精熟標準；Pnm：未精熟標準。當Hm假設成立時，即表示達到精熟的標準；反之，Hnm假設成立時，表示未達到精熟的標準。以上任何一種假設成立時，測驗隨即終止。而實際上，SPRT的檢定，是採用受試者連續答對題目的機率與連續答錯題目的機率之比值，來與依據事先設定之第一類型錯誤(Type I error)及第二類型錯誤(Type II error)，所計算出來之精熟、未精熟決斷點作比較。上述的各項機率及計算方法，可用下列公式來說明(李源煌，民84)：L(X1,X2,X3,Xn|1)=P(Xi|1) 公式(1)L(X1,X2,X3,Xn|0)=P(Xi|0) 公式(2)L(X1,X2,X3,Xn|1)=P(Xi|1)L(X1,X2,X3,Xn|0)=P(Xi|0)=公式(3) 公式(3)upper decision point= A = 公式(4)lower decision point= B = 公式(5)上述公式中：(1)為具備精熟能力(1)者，連續答對題目之機率、(2)為能力未精熟()者，連續答錯題目之機率、(3)為受試者連續答對與答錯題目之機率比值、(4)為判定受試者為精熟者之決斷點、(5)為判定受試者為未精熟者之決斷點。:Type I error，表示受試者雖被判定為精熟，但實際上為不精熟的可能性。: Type II error，表示受試者雖被判定為不精熟，但實際上為精熟的可能性。若值明顯大於，則受試者將被判定為精熟者；若值明顯小於，則受試者將被判定為未精熟者從上述的公式可看出，SPRT模式運作的原理是要估計受試者連續答題的答對與答錯機率，並且與兩個相互對立的假設做比較。在實際計算時，由於在施測第一題前，對受試者的精熟估計並無任何依據，因此其先前精熟與不精熟的估計均設為0.5，且當試題的反應結果符合二項式分配(每題只有答對及答錯兩種結果)時，則計算程序可簡化如下式(修改自Reckase,1981,1983)：公式(6) LR：受試者連續答對與答錯題目的機率比值Pm：精熟者答對題目的可能性Pnm：未精熟者答對題目的可能性r :受試者目前答題情形，答對則r=1，否則r=0。w:受試者目前答題情形，答錯則w=1，否則w=0。當LR值夠大時，就接受Hm；若夠小，則接受Hnm。而決定LR值是否夠大或夠小，就取決於、的設定。當、確定之後，便可訂出精熟決斷點(upper decision point for mastery; UDP)及未精熟決斷點(lower decision point for nonmastery; LDP)。(三)SPRT模式的特性與限制SPRT模式具有下列兩項特點：1.不考慮試題的特徵參數，例如：難度、鑑別度、猜測度等。2.不需依據受試者的成就水準選擇試題，而採用隨機選題。(Frick,1989;Plew,1989)而根據模擬研究的結果顯示(李源煌，民84)：1. 即使題目難度同質，但當難度均偏向太難或太容易時，SPRT模式就不能作出正確決策。2. 排除上述一之因素，當題目的難度增加時，SPRT愈具決策效率。3. 當測驗題目不是同質時，設定=.05 =.20且未決策區(Pm-Pnm)=.20時，SPRT仍可作出正確決策。 因此，SPRT可以說是一種有效的決策理論，僅需以較少的題目即可判定受試者是否達到精熟。對精熟受試者而言，總答題數將會比答完全部試題少得多；而對未精熟者而言，更不用浪費時間在盲目的猜測上。因此僅需以較少的題目即可判定學生學習是否精熟。不過，SPRT模式仍有其先天上的限制：1. 只適用於精熟與未精熟的判定，無法具體估計每一位受試者的成就等級。2. 當受試者能力不呈常態分佈時，SPRT會出現較大的測量誤差(莊智陵，民89)。然而SPRT模式，雖只將受試者能力分為精熟與未精熟兩個區段，測驗結果僅決定受試者的能力位於哪一個區間(莊智陵，民89)。但若只是要驗證單元教學成果，或評定學生學習成效，作為是否進行下一單元教學或實施補救教學的參考時，SPRT模式是一套簡易、經濟且有效的測驗模式。二、電腦化線上測驗(一)線上測驗的發展現況目前國內建置在網際網路上，有關學生學習評量之線上測驗系統或網站，數量非常的多。研究者以線上測驗為關鍵字，利用Google蒐尋引擎(民91年11月2日)查詢國內網站的相關資訊，針對線上測驗的實施方式來分析，可整理如表1。表1 國內線上測驗網站採用之測驗模式概況表測驗模式網站名稱模式模式模式智慧型線上適性測驗系統OO多媒體線上測系統OO線上適性測驗系統OO線上測驗服務中心OO實踐國小線上測驗OO國小音樂科教學資源中心測驗題庫OO士林高商線上測驗OO從表2-2的分析可以看出，目前國內線上測驗的模式，屬於傳統紙筆測驗的電腦化的模式居多，這部分大都開放給一般使用者試用；採用IRT模式者較少，且未普遍開放給一般使用者試用，多屬研究者之研究工具；採用SPRT模式者，在筆者整理時，尚未發現。(二)線上測驗的開發技術1.全球資訊網由於現代網際網路技術的成熟，電腦強大的運算能力與網路無遠費屆的特性，大大提供了線上測驗的可行性。其中全球資訊網(World Wide Web，簡稱WWW)的功能，為線上測驗提供了一個完善的介面。瀏覽器與Web伺服器之間的基本運作結構，可用圖1來表示。Web伺服器瀏覽器發出請求Web伺服器傳遞資料瀏覽器 圖1 瀏覽器與Web伺服器運作圖不過原始的HTML文件，只是單向的傳送資訊，並無法與使用者產生互動。 2.動態伺服器網頁然而自從Microsoft發展出動態伺服器網頁(Active Serve Page，簡稱ASP)的技術後，使得網頁不僅可以俱備互動式的功能，且可以依使用者的需求產生動態網頁，大幅提高WWW網頁系統開發之效率(李連順，民89)。ASP是一種執行於伺服器端的指令，並不能夠單獨存在，它必須要配合Web伺服器來運作，通常均與Microsoft Windows NT/2000的Internet Information Server(IIS)搭配使用。當Web伺服器接到來自用戶端的檔案要求時，它便會先處理檔案中的ASP指令，然後建構出一個HTML檔案送回用戶端。ASP指令除了可以讓網頁具有互動的功能外，它也允許使用Active Data Object(簡稱ADO物件)的技術，透過ADO物件的功能，便能很方便的來存取符合ODBC或OLE DB標準的資料庫。綜合以上，ASP的功能有下列幾點：(1)ASP指令可以在伺服器內部處理後，再送到用戶端，可以使程式碼具有保密性。(2)ASP提供內建物件，有五大物件可供使用，並可以與IIS緊密結合，使系統開發更容易(陳宗興，民86)。(3)使用戶端的平台相容單純化，具有跨平台、跨瀏覽器的好處。(4)具有良好的安全性與執行效率(李連順，民89)。(5)讓使用者更方便使用資料庫。研究設計一、系統架構本測驗系統分為系統管理、題庫預試、學生受測三個主要部分。各部分之功能架構可用圖2來表示。圖2 SPRT & CCT施測系統架構圖二、研究工具(一)電腦硬體設備需求：本系統實際運作執行之Web伺服器設備，規格如下：(1)CPU為Intel Pentium 350；(2)RAM為128MB；(3)Harddisk容量為10GB；(4)區域網路為100MB之Ethernet，對外為ADSL。(二)國小五年級上學期自然科學素養測驗題庫為配合實際教學情境，筆者依據康軒版國小自然科第九冊生活中的酸與鹼單元，依其教學目標編製小範圍之國小五年級上學期自然科學素養測驗題庫，以做為系統施測時之測驗題庫。試題主要以測量自然科學認知能力為主，每題均為四選一之單選題，原編擬43題，經預試後保留30題。三、資料處理(一)試題分析採用精熟組與未精熟組比較之鑑別度指標，其計算公式如下：其中為鑑別度指標，、分別為精熟組與未精熟組受試者的答對百分率(余民寧，民86)。本題庫經預試後，保留值在.20.80之間的試題，作為系統施測時之試題。 (二)正式施測1.精熟判定一致性分析:採用百分比一致性指標及係數來分析SPRT與CCT模式在判定上的一致性。2.效率分析：(1)比較受試者在SPRT與CCT的施測模式上之平均作答時間與答題數。(2)比較SPRT與CCT模式的電腦運作時間。施測結果與討論一、運作效能系統運作效能測試，是利用台中縣某國小的電腦教室實施，測驗系統伺服器亦架設在該國小內。施測時，同時有卅二卅四人上機受測，其系統運作效能分析如表2所示：表2 系統運作效能分析表施測模式比較項目SPRT模式CCT模式受試者平均總受測時間(秒)353.51467.73伺服器運作時間(秒)3.060.20伺服器運作時間占用之百分比0.87%0.04%受試者端接收延遲或等待情形無延遲無延遲從表2的運作結果可以看出，伺服器端在整個施測過程中，占用的時間非常少。在SPRT模式中，只占0.87%，在CCT模式中更僅占0.04%。加上由於是在區域網路內傳輸資料，對使用者而言，幾乎感覺不到網路傳輸延遲的情況，在系統的運作上可說是十分流暢。二、施測結果系統建置完成後，對台中縣某國小五年級327名學生進行施測。題庫總試題數為30題，施測後實際有效的登錄成績有307筆，其受測結果分述如下：(一)SPRT與CCT判定一致性之結果比較利用SPRT與CCT模式對受試者施測後，受試者在兩模式的測驗結果如表3所示。表3 SPRT與CCT模式之測驗結果SPRTCCT精熟未精熟合計精熟14037177未精熟6124130合計146161307Pa0.46+0.40=0.86從上表可得知，兩模式判定之百分比一致性指標(Pa)為0.86。若要排除機遇的成份，則以係數來考驗，結果如表4所示。表4 測驗結果之Kappa統計量數表Pc=0.27+0.22=0.49=0.72p.01從表4可知，排除機遇因素後，兩者判定結果達到百分之七十二的一致性；其一致性達到.01之顯著水準。(二)作答題數比較結果在SPRT模式中，大部分的受試者(占76.9%)並未答完所有試題，便已被判定為精熟或未精熟，不過仍有71位受試者(占23.1%)至答完全部試題後，才接受判定。SPRT與CCT模式受試者作答題數比較，整體而言，SPRT模式在答題數的效率上，比CCT模式高出約34%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數的效率上，更比CCT模式高出約44%。(三)作答時間比較結果SPRT與CCT模式受試者作答時間比較，整體而言，SPRT模式在省時的效率上，比CCT模式節省約25%。若扣除在SPRT中也同樣答完全部試題者，那麼SPRT模式在答題數的效率上，更比CCT模式節省約38%。結論與建議一、結論(一)系統效率據系統實際施測的結果，在整個SPRT的施測時間裡，伺服器所占用的時間僅有0.87%，施測過程十分流暢。(二)模式比較1.精熟判定一致性SPRT模式與CCT模式在判定的一致性上，以百分比一致性指標(Pa)來看，達0.86。若排除機遇因素，以係數來考驗，值為0.72，達到.01顯著水準。由此可知兩模式對精熟判定具有高度的一致性。2.答題數比較以SPRT模式施測時，有76.9%的受試者，不須答完全部試題，系統便能判定其精熟類別，整體而言，SPRT模式在答題數的效率上，比CCT模式高出約34%。3.使用時間比較整體而言，SPRT模式在省時的效率上，比CCT模式節省約25%。總而言之，從實際的施測結果來看，SPRT模式與CCT模式的判定結果一致性非常高，而在使用時間、作答題數上，SPRT模式的效率均優於CCT模式。二、建議(一)應用建議本研究所發展的線上精熟判定系統，經研究結果顯示，是一個施測效率高且測驗結果可信的系統，很適合用於國民小學班級實務的教學評量中。然因研究本身的限制，雖能在網際網路上運作，但是受限於網路傳輸的不穩定性，及受試者身份難以認證的問題，故目前僅適用於在區域網路的電腦教室內，在有教師監控的情況下實施。將來若能克服上述兩個問題，達到即時群測與隨時點測的雙重功能，則更能發揮線上測驗的功效。(二)未來研究方向本研究僅使用單一個題庫同時進行兩種模式的精熟判定測驗，雖在第一階段的測驗中並未公布答案，然對第二階段的答題時間而言，應會造成某一程度的影響，未來若能發展出複本題庫，利用複本題庫分別進行兩個模式的精熟判定測驗，當更能精確比較出兩模式的運作效率。參考文獻一、中文部分士林高商線上測驗網站(民91年)。民91年11月2日，取自.tw/bintest/古松民(民89)。線上適性測驗系統網站。民91年11月2日，取自93/cat/多媒體線上測系統網站(民91)。民91年11月2日，取自40/olt/余民寧(民86)。教育測驗與評量。臺北市：心理出版李連順(民89)。國中生活科技線上測驗系統發展研究。國立高雄師範大學工業科技教育學系碩士論文。李源煌(民84)。效標參照測驗之題目難度分配型態對循序漸進機率比率決策模式(SPRT)判別學生學習精熟或未精熟之影響。測驗年刊，42輯，415-430頁。國小音樂科教學資源中心測驗題庫網站(民91年)。民91年11月2日，取自.tw/music/test.htm國立台南師範學院資訊教育研究所(民89)。智慧型線上適性測驗系統網站。民91年9月15日，取自.tw/play/default.php3康軒文化有限公司(民90年)。國小自然第九冊課本、習作、教學指引。台北：康軒文化有限公司。莊智陵(民89)。SPRT電腦適性測驗對國中學生受測態度影響之研究以中山國中二年級為例。私立淡江大學教育科技學系碩士論文。陳宗興(民86)。Visual InterDev學習手冊。台北市：松崗電腦圖書公司。實踐國小(民91)。實踐國小線上測驗網站。民91年9月15日，取自.tw/linea.htm線上測驗服務中心網站(民91)。民91年11月2日，取自/二、英文部分Ferguson, R. (1969). Computer-assisted criterion-referenced measurement (Report WP-41).Pittsburgh: Pittsburgh University, Learning Research and Development Center.Frick, T. (1989). Bayesian adaptation during computer-based