教育研究法信效度

1、教育研究法：信效度第三週 10/07/2006壹、信效度 一、效度效度 在社會科學研究中，研究者常需藉助一些測驗作為蒐集資料的工具。一份優良的測驗工具，至少必須具備高信度（reliability）與高效度（validity）二個特徵。效度係指一份測驗能正確測量到所要測量特質之程度，其可分為以下三種： （一）（一）內容效度內容效度：指測驗內容（題目）的代表性，乃在考驗測驗的題目能否適切地測量到測驗所要測驗的目的或行為層面。例如教師自編的成就測驗（透過雙向細目表檢定；考慮教材內容與教學目標）常採用內容效度作為考驗測驗結果效度的方法。係以題目之分佈來判斷，屬於命題之邏輯分析。壹、信效度 （續） (二

2、）二）效標關聯效度效標關聯效度：其目的在於預測樣本未來之表現或是估計目前在其它測驗上之表現。常用來做為外在效標的工具如學業成就、實際工作表現等。係以實際測驗分數去判斷，屬於實徵之統計分析。 （三）（三）建構效度建構效度：從理論的觀點去解釋測驗之效度，係指測驗能夠測量到理論上之建構或心理特質之程度。例如空間推理、數學焦慮等均是建構，這些心理特質實際上均無法觀察的到，若我們能在假設性之理論建構下編製一份測驗，而實際之測驗分數經考驗結果能有效解釋該心理特質，則此測驗即具有建構效度。建構效度考驗步驟包括：（1）建立假設性理論建構；（2）根據步驟（1）編製一份問卷，對受試者進行施測；（3）以實證方法檢定

3、該測驗是否能有效解釋所欲建構。最常用來考驗建構效度的方法為因素分析。壹、信效度 （續） 二、因素分析二、因素分析 （一）定義（一）定義：是一種利用相關係數找出一份測驗潛在共同建構（因素）之統計方法。其基本原理係藉助共同因素的發現，以驗證理論性心理因素特質建構的正確性。假定我們根據理論分析，界定某一行為特質包括三個層面（因素），並根據這三個因素各編製若干題目，以形成初步之測驗，然後選擇適當的樣本（題數與樣本數之比例通常至少需1：5），進行施測，而將施測後所得的資料，以因素分析加以考驗，實際也可得出三個因素，每一個因素所涵蓋的題目，恰與理論的三個層面相一致，使得實際因素的含義與編製測驗的理論相符合

4、，即表示該測驗在測量某一行為特質上，具有良好的建構效度。壹、信效度 （續） （二）因素分析的步驟（二）因素分析的步驟 求出一份測驗所有題目之相關係數矩陣，並根據相關矩陣估計每一題目的共同性（communalities），共同性愈高，表示該題目與其他題目所可測量的共同特質越多。 選擇適當方法，抽取出適當數目的共同因素（common factor），並據此得到每一題目未轉軸的因素負荷量（組型負荷量）。常用來抽取共同因素的方法有主成分分析法等。研究者在抽取共同因素時，需把握一個原則：能保留最少的因素，但可解釋最大的變異量。壹、信效度 （續） 根據未轉軸的因素負荷量，選擇適當的轉軸方法（如最大變異法等

5、），將上述共同因素進行轉軸，使因素間符合簡單結構原則，並根據轉軸後的結果，求出每一題目在各因素上轉軸後的負荷量（結構負荷量）。 若希望每一因素所能解釋變異量最大（因素間的重要性有高低之區別），應採取最大變異法（varimax method）；若希望找到一個最重要因素（即找出一個最重要的普通因素），可採四分變異法（quartimax）；若希望每一因素能解釋的變異量均等（即每一因素重要性相同），可採均等變異法（equimax） 檢驗所得的因素，是否與編製測驗的理論相符合，以確定測驗的效度。同時，並根據結構負荷量對因素進行命名的工作，以及計算每一個樣本在各因素上的因素分數。壹、信效度 （續） 【練習

6、練習1】（資料檔FACTOR.sav） 有一位研究者根據Osgood的語意區分量表的方式，編製一份國小教師任教承諾量表。根據Osgood等人的研究，一個概念根據語意區分的方式，經分素分析的結果，通常包括活動、力量、以及評鑑等三個向度。該研究乃根據此編製了19對的形容詞，採七點量表的方式，對100位國小教師施測。試問：該研究者所編製的任教承諾量表是否具有建構效度？ 壹、信效度 （續）壹、信效度 （續）【原始資料說明【原始資料說明】原始資料檔中共有19個變項，變項名稱依序為V1、V2、V3、.V19，代表樣本對19個問卷題目之填答情形。編碼值1代表接受問卷右邊之形容詞，編碼值7代表接受問卷左邊之形

7、容詞。【步驟【步驟】AnalyzeData reductionFactor（點選進行因素分析之變項【V1.V19】至目標變項清單中）Descriptive（單變量描述性統計量、未轉軸之統計量、KMO與Bartlett球形檢定）Continue壹、信效度 （續）若變項之間的相關係數大部分太低（在.30以下），要找出共同因素將相當困難。KMO（取樣適當性檢定）：代表所有變項整體的取樣適當性，可知整體資料是否適合進行因素分析。統計量值越接近1，進行因素分析抽取共同因素的效果越好。Bartletts test（球面性檢定）：若檢定結果不能拒絕虛無假設，表示資料不適合進行因素分析。共同性（初始與抽取因素

8、後）：共同性越高，表示該變項與其他變項可測量的共同特質越多；共同性越低，表示該變項不適合投入因素分析中。初步抽取共同因素的結果（Total Variance Explained）Initial eigenvalues: 第一縱行是每個因素的特徵值，特徵值越大，表示該因素在解釋變項的結構時越重要。第二縱行為每一因素可以解釋變項結構之變異量的百分比。第三縱行為解釋變異量的累積百分比。壹、信效度 （續）SPSS內會保留特徵值在1以上的因素為最後的共同因素。陡坡圖考驗（scree plot）：當線形趨於平緩時，表示無特殊因素值得抽取；急速上升的線形，表示有特殊因素的存在。組型負荷量：根據各變項在因素上

9、的組型負荷量值，可計算出最後共同性估計值（平方總和）。結構負荷量：會將各變項在同一因素上負荷量最高的歸類在一起，此對研究者解釋因素及對因素命名將相當便利。（.tw/cvm.htm；價值觀與人格特質之因素價值觀與人格特質之因素分析分析）一些變項同時在二個因素上的結構負荷量都很高，可行的作法是研究者根據當時編制測驗時，該一題目應該歸於哪一個因素，就將它歸於那一個因素。負向敘述題在結構負荷量值應該與正向敘述題相反。因素間相關係數矩陣：因素間的相關係數過高（.60以上），建議進行二階段因素分析。壹、信效度 （續）三、信度分析信度分析（reliabilit

10、y analysis） 1. 信度係指根據測驗工具所得到的結果之一致性或穩定性。 2. 信度問題指的是相同的量表，在不同時間，使用在相同人身上，是否會得到相同的結果。社會科學的量表如果能得到相似的結果，就認為可靠，無論是誰使用量表，也不論量表的型式。 3. Alpha（）係數：Chronbachs alpha是用來測量內部一致性，也就是量表內的所有項目測量相同的事嗎？ Alpha的值域從0變化到1，也有可能是負值，表示這些項目測量的與其他項目反方向。Alpha值愈接近1.00，表示量表內部愈一致。壹、信效度 （續） 【練習練習1】（資料檔RELIABILITY.sav） 1.樣本數N=517

11、2.變項中的empathy1到empathy14是測量樣本的同情傾向。 3.步驟：分析量尺法信度分析empathy1到empathy14移入項目model(Alpha)統計量（量尺法、刪除項目後之量尺摘要、平均數、相關、各分量表內項目之間相關）確定 【練習練習2】（資料檔RELIABILITY-1.sav） hsevere1、hsevere2、rsevere1、rsevere2：問題的嚴重性 sympathy14：同情心 anger14：幫助者的憤怒 hcope13、rcope3：應對技巧壹、信效度 （續） 【練習練習2】（資料檔FACTOR-1.sav） Effic1Effic15：幫助者自評效能（你相信你有對朋友表達同情、同感、或了解的能力嗎？） 六題是同感的幫助類型 四題是訊息的幫助類型 四題是手段的幫助類型 一題是開放型的問題 目的是透過因子分析上述十五個題目是否符合原先分成三種類型的假設。壹、信效度 （續）Extraction（界定抽取因素之方法；採主成份分析法抽取因素，保留特徵值大於1之因素，並界定最大疊代【iteration】次數為25次；點選相關矩陣、未旋轉因子解（組型負荷量【pattern loading】）與陡坡圖【scree