师大生物系课件

1、Interpretation of Test Scores林陳涌師大生物系Interpretation of Test Scores林試題分析試題的品質除了發展前需注意事項外, 尚可在測試後藉由統計的方法來了解試題的品質.提高試題的品質以增進測驗的信度與效度試題分析試題的品質除了發展前需注意事項外, 尚可在測試後藉由試題分析可提供的資訊題目的功能是否如預期?NRT CRT題目的難度是否適當?題目是否有缺點?題目的誘答是否有效?試題分析可提供的資訊題目的功能是否如預期?試題分析的功能回饋給學生回饋給老師提供改進課程的依據增進教師命題的技巧試題分析的功能回饋給學生試題分析的步驟1. 根據總分的高低

2、依序排列試卷2. 從最高分部分向下取總人數的27%為高分組(higher group), 再從最低分部分向上取總人數的27%為低分組(lower group)*以27%所數據的可靠性最大, 一般合理的百分比在25%-33%之間.試題分析的步驟1. 根據總分的高低依序排列試卷試題分析的步驟3. 分別計算高低分組在每個試題答對人數的百分比 PH PL4. 計算每題難度指數P = (PH + PL)/25. 計算每題鑑別度指數D = PH-PL6. 檢查每一題所列選項的回答人數, 以確定誘答力試題分析的步驟3. 分別計算高低分組在每個試題答對人數的百分難度.難度.難度分析難度分析的主要目的在確定每一

3、個試題的難度.最簡單的是計算全體受試者答對每議題的人數的百分比.P=R/N(100)有分高低分組則P = (PH + PL)/2難度分析難度分析的主要目的在確定每一個試題的難度.難度指數的意義難度指數數值越大, 表示題目越簡單難度指數數值越小, 表示題目越難這種難度指數是一種順序量尺(ordinal scale), 無法說明各難度之間的差異大小.這種難度指數容易計算與使用, 若要發展較精確的工具, 可使用等距量尺(interval scale)分析. (P. 263)難度指數的意義難度指數數值越大, 表示題目越簡單試題難度與測驗分數的分配難度高的測驗, 如題目的難度均落在 P .25時, 其分

4、配型態是正偏題目難, 無法區別能力較低的學生難度低的測驗, 如題目的難度均落在 P.80時, 其分配型態是負偏題目簡單, 無法區別能力較高的學生現在高中聯考的觀點試題難度與測驗分數的分配難度高的測驗, 如題目的難度均落在 师大生物系课件試題難度與測驗分數的分佈範圍比較 三組的 變異數 (分布範圍) 信度難度集中在.5難度分散在 .1-.9之間難度分佈在兩端 .1-.3, .8左右試題難度與測驗分數的分佈範圍比較 三組的 變異數 (分布範圍师大生物系课件师大生物系课件师大生物系课件鑑別度鑑別度鑑別力的分析法 內部一致性分析旨在了解各個試題的功能是否和整個測驗的功能相符合一致.此分析的假設是:整個

5、測驗的分數具有某種程度的效度, 如果此假設成立,則個別的反應若和總分數之間具有一致性, 就表示題目有某種程度的效度. 鑑別度指數D = PH-PL鑑別力的分析法 內部一致性分析鑑別度指數鑑別度指數介於 -1.00-+1.00之間指數愈大, 鑑別度愈高指數愈小, 鑑別度愈低鑑別度為0的因素可能題目太難獲太容易題目不清楚鑑別度指數鑑別度指數介於 -1.00-+1.00之間 難度與鑑別度的關係 圖8-4 難度與鑑別度的關係 圖8-4师大生物系课件 試題選擇的標準 評鑑試題的優劣, 沒有一定的標準. 通常先選出鑑別度較高的題目在從中選出難度指數較適中的題目 試題選擇的標準 評鑑試題的優劣, 沒有一定的

6、標準. 通常 鑑別度的評鑑標準(Eble, 1979) 鑑別指數 試題評鑑0.40以上 非常優良0.30-0.39 優良, 可能需要修改0.20-0.29 尚可, 通常需要修改0. 19以下 劣, 淘汰或修改 鑑別度的評鑑標準(Eble, 1979) 鑑別指數 難度的評鑑標準 以接近 0.50的試題最為適宜很難全找到 接近0.50的試題選題仍需視測驗的目的 興趣 雙向細目表的分配, 但需力求全測驗的平均難度接近0.50 難度的評鑑標準 以接近 0.50的試題最為適宜 選目的有效性分析-1 組別 選目 A B* C D N D P高分組 2 16 1 1 0 0.4 0.6低分組 5 8 4 3

7、 0 選目的有效性分析-1 組別 選目 選目的有效性分析-2 組別 選目 A* B C D N D P高分組 14 0 0 6 0 0.1 0.65低分組 12 0 8 0 0 選目的有效性分析-2 組別 選目 選目的有效性分析-3 組別 選目 A B C* D N D P高分組 9 0 10 1 0 0.2 0.4低分組 5 4 6 5 0 選目的有效性分析-3 組別 選目 選目的有效性分析-4 組別 選目 A B* C D N D P高分組 5 6 4 5 0 0.05 0.28低分組 4 5 5 6 0 選目的有效性分析-4 組別 選目 選目的有效性分析-5 組別 選目 A B C D*

8、 N D P高分組 3 6 3 8 0 -0.2 0.50低分組 3 1 4 12 0 選目的有效性分析-5 組別 選目 選目的有效性分析-6 組別 選目 A B* C D N D P高分組 0 10 10 0 0 0.1 0.45低分組 2 8 8 2 0 選目的有效性分析-6 組別 選目 標準參照評量的試題分析標準參照評量的試題分析鑑別力分析教學前後的差異接受教學與未接受教學的差異精熟組與味精熟組的差異鑑別力分析教學前後的差異難度分析可用前述的方法但因標準參照評量所以選題不要只找難度0.5的難度分析可用前述的方法測驗詮釋測驗詮釋資料分析的階層及範圍1.試題表現 (Item Performa

9、nce):以學生在某一試題之表現代表該試題所評測之主概念或評測目標之學習表現。2.主題表現 (Task Performance):以學生在某些相關試題的表現代表這些試題所評測的主概念或主題之學習表現。3.分測驗表現 (Subtest Performance):以學生在一分測驗的表現來代表該分測驗所評測之概念次領域(Sub-domain)之學習表現。資料分析的階層及範圍1.試題表現 (Item Perform資料分析的階層及範圍4.測驗表現 (Test Performance):以學生在一測驗的表現來代表該測驗所評測之概念領域(Domain) 之學習表現。5.整體表現 (Total Perfor

10、mance):以學生在整體測驗組(Test battery)的表現來代表該整體測驗所評測之學科之學習表現。資料分析的階層及範圍4.測驗表現 (Test Perform詮釋類型敘述的解釋溯因的解釋預測的解釋評斷的解釋詮釋類型敘述的解釋詮釋注意原則解釋測驗者應了解測驗的性質與功能測驗分數應為學生保密解釋分數應參考其他有關資料解釋分數應避免只給數字詮釋注意原則解釋測驗者應了解測驗的性質與功能詮釋注意原則對低分者得解釋應更謹慎小心解釋分數時應設法了解學生的感受解釋分數只做建議, 而勿作決定應以一段可信賴範圍解釋標準誤 信賴水準詮釋注意原則對低分者得解釋應更謹慎小心The End!The End!生物學

11、習表現之認知精熟度階層3.應用基本科學資訊(Applies, A)分析及解釋資料。應用科學知識進行推理、推論、預測。分析資料並應用資料進行推理、推論、預測。4.統整科學資訊(Integrates, I)綜合各項資訊, 指出各變項之間的關係。統整實驗過程及數據, 指出擬驗證之假說及提出結論。統整科學概念, 提出結論。綜合各階層科學知識, 以解決問題。生物學習表現之認知精熟度階層3.應用基本科學資訊(Appli生物學習表現之認知精熟度階層(Cognitive Proficiency Levels)1.知曉科學知識(Knows, K)記憶在學校課程或日常生活經驗中所習得之科學事實或知識。區別或界定基

12、本科學名詞、術語或科學實驗器材。閱讀圖表。2.了解基本科學原理法則(Understands, U)了解基本科學概念、原理、法則(Principles)。了解科學學說和定律的內容。了解科學知識間的關係。生物學習表現之認知精熟度階層(Cognitive Profi測驗結果之解釋模式1. 試題中心(Item-centered):應用許多試題來評測及解釋某一內容領域的學習進展(Many test items are used to assess a large content domain.)。2. 目標中心(Objective-centered):每一項評測目標均有一定數目的試題來評測及解釋(Each objective is assessed by a number of test items.)。測驗結果之解釋模式1. 試題中心(Item-centered測驗結果之解釋模式3. 分測驗