测评质量检测课件

測評品質檢測第一節信度（reliability）一、定義1、信度是指測量的一致性程度，或者說是測驗分數的可靠性程度信度是指測評結果的穩定性，換句話說，即用同一測量工具反復測量某人的同一心理素質，多次測量結果應一致。系統誤差與信度無關，隨機誤差才影響信度2、統計定義：X=T+E（1）信度是觀測分數與真分數的相關（2）真分數的變異在觀測變異中所占的比例（3）平行測驗之間的相關第一節信度（reliability）二、信度的種類1、再測信度同一測驗對同一組被試的先後兩次測量之間的相關2、複本信度兩個內容、結構相同的測驗對同一組被試測量結果的相關3、分半信度4、克倫巴赫α係數（cronbach-α）和庫-理（Kuder-Richardson）信度5、評分者信度[例]一二三四五六A413526B234516C325416R961214418被評者評定者公式中K=3（評定者數）

N=6（被評者數）三、影響信度的因素1、測驗的長度2、測驗分數的分佈範圍3、測驗的難度4、測驗題目的客觀化程度四、信度係數與誤差來源信度係數類型誤差方差再測信度時間取樣複本信度（即時）內容取樣複本信度（延遲）時間取樣和內容取樣分半信度內容取樣庫-理信度和α係數內容取樣和內容異質性評分者信度評分者之間差異第二節效度（Validity）一、含義效度（Validity)是指一個測驗或量表實際能測出其所要測的心理特質的程度。二、內容效度1，含義內容效度（ContentValidity）是指一個測驗實際測到的內容與所要測量的內容之間的吻合程度。如高中物理包括力學、電學、光學、熱學以及原子物理學5個方面。2，應用範圍主要應用於成就測驗、職業測驗。不適合能力傾向測驗和人格測驗。3，確定方法藍圖對照分析法部分節考試內容試題形式試題量分值權重考試時間語法結構與辭彙A語法填空（單句）四選一1052020%35B語法辨錯（單句）四選一105C詞語填空（單句）四選一2010完形填空完形填空（1篇短文）四選一101010%15閱讀理解閱讀理解（5篇短文）四選一204040%60英譯漢正確理解英語原文並用漢語表達原文所述內容五段譯文51515%30短文寫作根據所給題目或素材寫出敘述、說明或議論性的短文一篇作文11515%40總計76100100%1801999年全國碩士研究生入學考試英語試卷結構基本框架文科考生試卷藍圖（滿分為100分）馬克思主義基本原理約36%中國革命史約18%中國社會主義建設約18%世界政治經濟與國際關係約18%時事政治約10%4，題型比例：選擇題約40%簡答題和辨析題約20%材料分析題和論述題約40%專家比較判斷法

C＝n－N÷2／N÷2（N為專家總數，n為肯定人數）三、結構效度1，含義結構效度（ConstructValidity）是指一個測驗實際測到所要測量的理論結構和特質的程度。它與人們的理解直接相關，如“能力”2，適用範圍適用於智力測驗、人格測驗等。3，確定方法⑴提出理論假設，並將其分解成細目⑵依據理論框架，推演出有關測驗成績的假設（操作化定義）⑶用邏輯的和實證的方法來驗證假設（排除法、諮詢法、相關法、邏輯分析法、多元分析法）

如，韋克斯勒首先假設“智力是一個人去理解和應付他周圍世界的總的才能”，然後，他依據這一定義，編制11個分測驗從十幾個方面來說明智力，編好測驗又從多個角度加以驗證，最後，用因素分析法驗證，該測驗實際測量了三類共同因素，即A因素（言語理解）、B因素（知覺組織）、C因素（記憶和注意集中）。四、關聯效度1，定義指測評結果與某種標準結果的一致性程度。根據效標結果與測評結果獲得的時間是否相同可分為同時效度和預測效度。2，公式：（見P191）被測123456789101112131415總計自編615370499045765662608868655063956XX37212809490024018100202563376卡測523889418561703776578547615260911YY27041444792116817225372159449XY3172307462306036515名被測評者兩種測驗分數

為研究某能力測驗的預測效度，在被錄取的高考考生中隨機抽取10人，測得他們的測驗分數X，對他們進行跟蹤研究，求得他們大學一、二年級有關科目平均分數為Y，其分數見下表，試求該測驗的效度。參考案例XYxyxxyyxyXXYYXY7482-1.6-1.72.562.892.725476672460687175-4.6-8.722.1675.6940.0250415625532580814.4-2.719.367.29-11.8864006561648085899.45.388.3628.0949.8272257921756576820.4-1.70.162.89-0.6857766724623277891.45.31.9628.097.4259297921685377881.44.31.9618.496.025929774467766884-7.60.357.760.09-2.284624705657127480-1.6-3.72.5613.695.925476640059207487-1.63.32.5610.89-5.28547675696438Σ75683700198.40188.0791.805735270245633693，行為效標：⑴學術成就⑵特殊訓練成績⑶實際工作表現⑷團體特徵⑸等級評定結果⑹前期測評結果五、專案分析效度即被試在某一專案上的得分與外部的某組效標分數的相關性。（見P194）公式：參考案例

下表為10名被試一次面試和一次知識考試的得分,試求該面試的專案分數效度考生ABCDEFGHIJ知識考試75577365675663616567面試7674744476n＝10S＝6.12p＝6/10＝0.6q＝4/10＝0.4Xp＝67.33Xq＝61.25六、影響效度的因素1、測驗本身的因素（題目、結構）2、實施3、信度七、提高測評效度的方法1，精心編制測驗量表，避免出現較大的系統誤差2，妥善組織測驗，控制隨機誤差3，創設標準的應試情景，讓被試正常發揮水準4，選好正確效標，正確使用有關公式第三節題目分析一、通過率（難度）1、公式

（1）二值計分P=m/n(m為答對該題的人數，n為總人數）（2）非二值計分

（為全體被試該題目的平均分，X為答對該題應得分數）第三節題目分析2、通過率多大是合適的題目（1）常模參照能力測驗：

A.一般P=0.50的題目為好，因為它使總體的變異最大。

B.當題目之間正相關時，題目難度值應分佈的廣些但平均難度應以0.50為好。

C.當題目有猜測可能時，題目的P值應適當加大。

D.選拔性測驗還要考慮錄取率。（2）標準參照能力測驗

P=1.0或P=0有可能也是好題（3）人格測驗

P≧0.95或P≦0.05的題目考慮刪除第三節題目分析二、區分度（discrimination）

測驗題目對所測量的心理特質的區分程度。1、高分組--低分組

根據測驗總分取兩端的人作為高分組低分組（一般取上下各占27%的人）

D=PH–PLPH為高分組該題通過率

PL為低分組該題通過率2、點二列相關係數（pointbiserialcorrelation)其中p為該題通過率

q為該題未通過率為通過該題的那部分人測驗總分的平均值