实验设计与统计分析

1、第五章 實驗設計與統計分析授課教師：鄭景峰1實驗設計內在效度與外在效度、實驗設計的類別統計分析基本觀念、統計方法2內在效度(Internal validity)內在效度：可界定為控制無關變數的程度。內在效度考慮的是，實驗處理(自變項)是否真正引起某特質(依變項)的變化？研究者必須控制所有可能影響依變項的變因。 威脅(threats)實驗內在效度的因素有下列八點：歷史(history)：是指實驗過程中所發生非預期的事件。時間的效應成熟(maturation)：因時間飛逝而加之於人體上的變化，如成長發育、老化、疲勞等因素。受試者身心發生變化的效應測試(testing)：經過一次測試後，即使中間沒有

2、任何介入，也會影響下一次相同測試的成績表現。做測驗的學習儀器的使用(instrumentation)：儀器是否經過校正，或不同實驗者對儀器操作，也都會引起測試結果的誤差。測量工具的變化3內在效度(Internal validity)威脅(threats)實驗內在效度的因素有下列八點：統計迴歸(statistical regression)：以表現在兩個極端的兩組做研究比較時，好的一組之表現會退步，而差的一組之表現會進步，即兩組的成績會往平均數迴歸。此現象在受試者沒有依隨機分組的研究中較為嚴重，也常發生在高低焦慮、高低體適能、高低技術等的比較研究。極端選樣取樣偏差(selection bias)

3、：如沒有以隨機方式抽樣，沒有以隨機的方式分派組別，或以不同的抽樣方式形成組別，以致在實驗之前組別之間已經有顯著的差異存在。實驗流失率(experimental mortality)：受試者因太累、沒時間、生病等因素，而在實驗過程中途流失，對內在效度也有某一程度的影響。取樣與成熟的交互作用(selection-maturation interaction)：因取樣的偏差和成熟因素所引起的交互作用，也會影響內在效度。研究者對受試者的預期(expectancy)，對內在效度也是一種威脅。 4如何掌控對內在效度的威脅？隨機分配受試者到各組別(random assignment)。依某一特質，將受試者配

4、對(matched-pair)後隨機分派到各組。在組內受試者設計，也就是重複量數設計(repeated-measures design)時，使用對抗平衡次序(counter-balanced order)給受試者施以自變項的處理，使研究的結果不會因處理的次序而引起偏差。給控制組/對照組使用安慰劑(placebo)。控制組接受一個假的實驗處理，而實驗組接受真的實驗處理。以單盲(single-blind)或雙盲(double-blind)的方式來實施實驗處理。單盲是指受試者對當次的處理，不知道是真處理(真藥)或假處理(安慰劑)；雙盲是指受試者和施測者均不知當次的處理是真或是假，以免引起心理上或預期

5、性的效果。艾維斯效果(Avis effect)：控制內在效度威脅的一種方法，受試者可能會因為身在控制組而特別努力。5外在效度(External validity)？生態效度(ecological validity)？ 外在效度：是指結果的可概括性，即指自變項與結果(依變項)之間的關係，可以普遍應用於其他不屬於此一實驗情境的程度。外在效度具有下列四個威脅：對測驗的反應或交互作用(reactive or interactive effects of testing)：前測可能使得受試者對後來的測驗更有知覺或更敏感。它的結果是，實驗在沒有前測的情況下就會變得比較沒有效果。取樣偏差和實驗處理的交互作用

6、(Interaction of selection biases and experimental treatment)：當某個群組是根據某個特質選出來的，實驗處理可能只對具有該特質的群組有效。實驗安排的反應(Reactive effects of experimental arrangements)：實驗處理在非常受限制的情境才有效(如實驗試中)，可能在較少受限制的情境(如真實世界)裡則未必有效。多重處理的干擾(Multiple-treatment interference)：當受試者接受一個以上的實驗處理，前一個處理可能會干擾到下一個。6如何掌控對外在效度的威脅？ 一般來說，以隨機的方法取

7、樣，或以夠好的取樣(good enough sampling)，取出有代表性的受試者或樣本，是掌控對外在效度威脅最主要的方法。研究結果的理想推論，也必須要有所謂的生態效度(ecological validity)。而生態效度所關心的是研究的情境是否接近實際的生態情境？或是否在實驗過程中能讓受試者充分且自然的自我表現？對實驗的反應和交互作用可以透過所羅門四組設計來評估；選擇樣本的誤差和實驗處理的交互作用可以隨機選取受試者來控制；對實驗的安排之反應效果只能由研究者來控制。多實驗處理所造成的影響，可經由平衡或隨機安排處理給受試者來達到部分的控制，但是只有研究者可以掌握實驗處理是否仍然會產生干擾，這個

8、決定大部分是根據對實驗處理的知識，而不是由實驗設計的種類來決定。7生態學效度(ecological validity)？ 研究模仿真實情境的程序。生態的效度涉及實驗的效果，概括於其他類似環境的條件和程度，所要問的問題是：在什麼條件(即情境、處理、實驗、依變項等)可期待得到相同的結果。為了使實驗具有生態的效度，研究設計需能確定實驗的效應，不受特定實驗環境的約制。8影響信度的因素 所謂信度(reliability)指測量結果的一致性或穩定性。亦即指對同一事物進行兩次獲兩次以上的測量，其結果的相似程度。其相似程度越高，即代表信度越高，測量的結果也就越可靠。信度與誤差之間有密切的關係。誤差變異愈大，信

9、度愈低；誤差變異愈小，信度愈高。探討影響信度的因素，基本上即是探討誤差的來源。 9影響信度的因素造成誤差的原因 受試者因素：如受測者的身心健康狀況、動機、注意力、持久性、作答態度等變動。主試者因素：如非標準化的測驗程序、主試者的偏頗與暗示、評分的主觀性等。測驗情境因素：測驗環境條件如通風、光線、聲音、桌面、空間因素等皆有影響的作用。測驗內容因素：試題取樣不當、內部一致性低、題數過少等。時間因素10實驗設計的類別 實驗設計是使研究者據以考驗假設，並就自變項與依變項間的關係獲致有效結論的程序藍圖。研究設計需處理如下的問題：如何選取實驗組與控制組的受試者？如何操縱與控制變項？如何控制無關變項？如何進

10、行觀察？解釋資料的關係時，應採用哪種統計分析方法？ 實驗設計的類別實驗前設計、真實驗設計、準實驗設計、事後回溯設計、運動流行病學設計、單一受試者設計 11代表符號說明R代表以隨機的方式，將受試者分派到各組O代表觀察或測試，以取得資料。其右下方的數字，代表觀察或測試的次序。T代表實驗處理或操弄，其右下方的數字，代表處理、操弄的次序。如果沒有T出現的組別，即為控制組。-出現在組別之間時，代表沒有以隨機方式來分派組別。12實驗前設計(Pre-experimental design) 此種設計因對效度的掌控很有限而得名，最主要是沒有以隨機的方式來分派受試者，也無法確定依變項的變化是因自變項而起。方法單

11、組測驗研究(one-shot study)單組前後測設計(one-group pretest-posttest)靜態組別比較(static group comparison)13實驗前設計(Pre-experimental design)單組測驗研究：此設計無法看出任何意義，更不用說探究因果關係了。單組前後測設計：可以觀察到處理(T)之後所引起的變化，但此變化無法確定是由T而來。14實驗前設計(Pre-experimental design)靜態組別比較：雖然此設計有兩組，但兩組並沒有用隨機分配而來，可能在實驗前兩組之間就已經有顯著的差異；還有所觀察到的改變也無法確定是由T而來。15真實驗設計

12、(True-experimental design) 因為有隨機分派組別，可以確定各組在實驗前是相似或等質的。但在實驗過程中，還是要看研究者本身如何掌控及如何努力去排除對效度的威脅。方法隨機分組設計(randomized-groups design)因子設計(factorial design)隨機分組前後測設計(pretest-posttest randomized-groups design)所羅門四組設計(Solomon four-group design)16真實驗設計(True-experimental design)隨機分組設計：因為以隨機分派組別，可以確定兩組間之差異是因處理(T)

13、引起，但處理之前沒有觀察(O)，所以無法知道處理引起的變化有多大。此種設計是自變項有兩個層級(two levels)，即控制組和實驗組，可以用獨立樣本t考驗(independent t-test)來考驗O1和O2之差異。17也可以將自變項增加到三個以上。需以單因子變異數分析（one-way ANOVA）進行統計分析。18真實驗設計(True-experimental design)因子設計：如果考慮到兩個或兩個以上的自變項時，則稱為因子設計。如下圖，此設計的資料分析可以3 2因子ANOVA (3 2 factorial ANOVA)來分析。分析因子A的主要效果(main effect)、因子B

14、的主要效果和因子A和B之間的交互作用(interaction)是否有統計上的顯著性。19真實驗設計(True-experimental design)隨機分組前後測設計：在隨機分組之外，本設計還加上前測和後測。此設計的主要目的在探究處理(T)所引起的變化有多大。或許因為有前測，內在效度會受到影響，但在此設計情況下，內在效度是在能掌控的範圍之下。 20隨機分組前後測設計此種2 2的ANOVA，經常在體育、運動訓練的研究中看到，而其統計分析的方法，可能可使用下列三種：重複量數的因素分析(factorial repeated measures ANOVA)：一個因子是有和沒有處理(處理類別)，另一個

15、因子是處理前和處理後(時間)，但此類設計比較重要的是要看二因子之間是否有交互作用，也就是兩組的變化速率是否有所不同？簡單的(simple)共變數分析(analysis of covariance, ANCOVA)：共變數分析是以前測的資料(O1和O3)為共變數，以調整後測的資料(O2和O4)。此法考慮到兩組前測資料的差異，使兩組前後測資料的比較能顯示出實際意義。以差值做簡單的ANOVA：以後測值減去前測值，求得每位受試者的差值(difference score)，再以差值做簡單的ANOVA。此方法初看之下不錯，但因差數的信度不高，且前測值低者改變或進步的幅度通常比前測值高者大，所以前測值通常與

16、差值呈負相關。21真實驗設計(True-experimental design)所羅門四組設計：此設計是隨機分組前後測設計和隨機分組設計的組合，這是一種強而有力的設計，不但能檢測處理的效果(看是否O2O4，或是否O5O6)，可知道處理效果的大小(看O2O1是否大於O4O3)，也可評估測試(testing)的效度(看是否O4O6)，更可查知前測與處理(T)的交互作用(看O2是否大於O5)。然而，此設計也是一種不經濟的設計，因為受試者必須多一倍，且目前仍沒有適當的統計分析方法，或許碩士或博士論文，最好不要使用此類設計。 22準實驗設計(Quasi-experimental design) 準實驗設

17、計的目的是使實驗情境盡可能的與實際情境接近，但也盡可能維持其內在效度(internal validity)。 方法時間系列設計(Time-series design) 倒轉設計(Reversal design) 不等質控制組設計(Nonequivalent control group design) 事後回溯設計(Ex post facto design) 運動流行病學設計(Exercise epidemiological design) 單一受試者設計(Single subject design) 23準實驗設計(Quasi-experimental design)時間系列設計：此設計只有一

18、組，旨在考驗O4和O5之間是否有明顯的變化，及O1O4的變化速率是否與O5O8的變化速率不同，試以發現處理(T)的真正效應。此類設計可以用重複量數的ANOVA來分析，也可考慮用迴歸來考驗其斜率(slope)和截距(intercept)。這類型的設計可以用在個案研究，也可用在有組別的研究上。24準實驗設計(Quasi-experimental design)倒轉設計：此種設計可評估基準線(O1和O2)的穩定性，處理的效果(O2與O3之間的變化)，和沒有處理的效果(O3和O4)。接著再次評估處理後的效果(O4和O5之間的變化)，最後再次評估沒有處理的效果(O5和O6)。所以，此類設計類似前面的時間

19、系列設計，只是倒回來再評估處理效果。此設計的資料分析可用迴歸來考驗其斜率和截距，還有此類設計也可用在個案研究或有組別的研究。25準實驗設計(Quasi-experimental design)不等質控制組設計：此設計與真實驗設計中的隨機分組前後測設計類似，只是沒有隨機分派組別。研究者常認為只要O1和O3沒有顯著差異，二組就可以認為是等質。這種做法是不正確的，因為還有很多沒有測量到的特質，都有可能影響到實驗的結果。在分析方法上，如果O1和O3有顯著差異，或許可用共變數分析(ANCOVA)來分析此設計的資料。雖然這類的設計常常看到，但這種設計是不值得使用的設計；在前面提到的兩種準實驗設計，都比這一

20、種強得多。26準實驗設計(Quasi-experimental design)事後回溯設計：此設計可借用前面提過的靜態組別比較設計來說明，但不同的是此設計的處理(T)並沒有或無法由研究者來掌控或操弄。這類的設計，研究者沒有操弄自變項，因為要引起變化的自變項都已經發生作用了。還有，研究者也無法隨機分派組別，研究者只能由觀測的結果，回溯到過去，嘗試去瞭解或發現區分或引發不同特質的原因，以幫助在真實實驗設計時，能進一步探討自變項可能有的影響。也因為如此，此設計的內在和外在效度都不是很好，甚至無法檢測其內在和外在效度。 27準實驗設計(Quasi-experimental design)運動流行病學設

21、計：流行病學旨在描述健康與醫療服務的需求層次。運動流行病學探討運動在疾病預防與復健上的價值，並且指出需要運動的族群。此類的設計可分成二大類：個案控制研究(Case-control studies)，也稱個案比較研究(Case-comparison studies)。族群研究(Cohort studies)。28個案控制研究：此種研究由門診或復健中心找尋得有病症的一群人當實驗組，然後再找一群背景類似但沒有病症的人當對照組來做研究。此設計的困擾是，研究者無法知道得病者或沒有得病者在該族群中的代表性。族群研究以暴露在病因中的一群與沒有或較少暴露在病因中的一群作比較。以一般的方法，由母群中取樣，再將得

22、病者與無病者分組作比較。29運動流行病學的研究也可以分成三類：回顧的(restrospective)：研究者由觀察到的結果，回追到以前，以查其原因。前瞻的(prospective)：在病人發病之前，研究者追蹤觀察病人一段時間。橫斷的(cross-sectional)：研究者在某一橫段時間評估發病可能的因果關係。30準實驗設計(Quasi-experimental design)單一受試者設計：此類的設計一般使用在特殊表現或臨床的研究上。此種設計可能要針對受試者的某些特質重複測量好幾次，才能評估處理的效果。 31統計分析的基本觀念統計(statistics)是一種作研究時用的工具，此工具讓研究者

23、能客觀的來解釋所觀察到或收集到的資料。 統計的兩大類別 描述統計(descriptive statistics)：描述由樣本(sample)所獲得的結果。推論性統計(inferential statistics)：使用由樣本所得之結果，推論到母群體。這兩者之間的主要區別，在於樣本是否能代表母群(population)，而樣本能否代表母群的關鍵在於是否使用隨機抽樣的方法。32抽樣的方法 隨機抽樣(random sampling)：是指母群體中的所有個體，有相等且獨立之機會被選取為樣本的取樣過程。易言之，每一個個體被選取為樣本的機率相同，而且某個人被選取為樣本，不致影響他人被選取為樣本的機率。分層

24、隨機抽樣(stratified random sampling)：以某一特質將受試者分層(例如年齡、級別等)，以隨機方式由各層次取得樣本，一般常模調查的抽樣常採用此方法。(須先認定各個子群在母群體中的比例，然後按照此比例隨機選取各子群在樣本中所佔有之成員的抽樣過程)33抽樣的方法系統性抽樣(systematic sampling)：是從一列名單中，每隔n個選出一個當樣本的抽樣。換句話說，該種抽樣須視n多少而定，如果n=10，則每隔10個選出一個。真正的n代表多少，端視所列出的名單大小，以及所需要的樣本的大小決定。此方法之母群體中的所有成員被選取樣本的機會並非獨立的，只要第一個樣本被選出，包括在

25、樣本之內的所有其他成員即告決定。事後檢驗說明(justifying post-hoc explanations)：研究中的樣本並非隨機選取，研究者是在事後嘗試證實樣本是代表著某個母群體，其目的是讓由所得到的發現概化至較大的母群體。34分派的方法 隨機分派(random assignment)：以隨機的方式將受試者/樣本分派到各個組別，如此的分組能確認在實驗之前，各組是等質的。配對分組(matched pair)：以某一特質將受試者配對後，再以隨機方式分派到各組，目的也是在實驗之前各組是等質的。事後檢驗說明(justifying post-hoc explanations)：在分組之後，以某些特

26、質來檢驗(年齡、身高等)二組是否在實驗前試等質的/沒有差異？35統計分析的認定 在統計分析上有三個認定(assumption)：母群的資料(data)是常態分配的(normal distribution)樣本資料的變異(variance)與母群資料的變異相同所有的觀察都是獨立的資料符合這三個認定的可用母數統計考驗法(parametric statistical test)來分析；如果不能符合這三個認定的，則要用非母數統計考驗法(non-parametric statistical test，也稱distribution-free statistics)來分析。一般在自然科學的研究中，大部分用的

27、是母數統計方法，而人文社會的研究，可能用到非母數統計方法會較多一點。 36統計相關名詞解說 或然率(probability)：即某種效果或相關發生機會之多寡。值(alpha value)：即事件自然發生的或然率(p)之值。研究者一般均在實驗前就設定值，以作為有無顯著性的依據。常見的p.05，意思是在此情況下的差異或相關，在100次中，自然發生的次數少於5次。此值可高可低，不可能設為0；但也不可能設得太高，以免犯第一類型錯誤(Type error)，所以值是接受第一類型錯誤大小的程度。值(beta value)：即接受第二類型錯誤(Type error)大小的程度。37統計相關名詞解說Type

28、I error：即虛無假設(H0)是正確的，但拒絕虛無假設所犯的錯誤。Type II error：即虛無假設(H0)是錯誤的，但接受虛無假設所犯的錯誤。統計考驗力(power)：拒絕錯誤虛無假設的概率之程度(是我們所希望獲得的)。統計考驗力1；如果power越低，犯Type error的可能性就越大。考驗力可藉由使用較多的受試者、有力的實驗處理、一致性的施予實驗處理或變換值等方式來獲得。38統計相關名詞解說2 (omega squared)：用以說明自變項與依變項間關係強度是否具有意義的方法之一；在全部變異數中可歸因於實驗處理的部分。2正確變異量/總變異量。效果大小(Effect Size,

29、ES)：是一個標準分數，等於二個平均數的差除以標準差。ES也是一個群組差異或實驗處理之強度的估計。ES(M1M2)/s。這樣可以將平均數的差異放在一個共同的尺度上，稱為標準差單位(standard deviation unit)。Cohen (1969)建議可以將這個標準差單位當作是行為研究的指標；0.2或更小的ES；大約0.5是一個中等的ES；而0.8或以上則是一個大的ES。39統計相關名詞解說球形效應(Sphericity)：是關於重複測量的一個假設，意指這些測量是互不相關且具有同樣的變異量。的範圍從1.0 (完整的球形符合假定)到0.00 (完全不符合假定)。在重複量數的實驗中，最好能達

30、到.75以上的。常態曲線：當資料的平均數、中位數與眾數都在同一個點(分布的中心點)時的資料分布狀態，並且由平均數計算的1s包括了68%的分數，2s包括了95%的分數，3s則包括了99%的分數。40虛無假設的真實表 值一般在研究計畫時就設定，而且只設一個值。值要設多大？一般研究設在.05或.01，但研究者可依研究的內容性質將值設大一點或小一點。與的最佳比率是在1：4左右，如.05，就是.20。不能盲信統計的p值對資料的解釋，有時也必須考慮理論的依據、數字的實際意義和其他的因素等。41虛無假設的真實表42統計方法：相關相關(correlation)是用來考驗兩個不同的變項(variable)之間的

31、關係。相關係數(r值)是否達到顯著水準，受到樣本數(N)的影響很大；即N越大者越容易達顯著水準，但達顯著的實質意義也許不大，研究者在解釋時必須特別小心。研究者也常使用決定係數(coefficient of determination, r2)來解釋相關。決定係數可指出一個測量中的所有變異數，可由另一個測量解釋，或計算出分配情形。當兩個r值必須比較時，可用費雪爾Z轉換(Fisher Z transformation)的方式來比較是將相關係數轉換成Z值以接近常態樣本分配之線性關係的最佳方法。 43統計方法：相關淨相關：其符號為r12.3，它的意思是將變項3設為不變時，變項1與變項2之間的相關。變項

32、之間有相關，即可用相關來預測或預估某一變項，這就是所謂的迴歸公式(regression equation)。例如Yabx，也就是用X變項來預估Y變項的值。44統計方法：相關迴歸公式也可發展成多元迴歸，即用許多變項來預估一個變項。發展多元迴歸的方法有：逐步(Stepwise)、順向選擇(Forward selection)、逆向選擇(Backward selection)和最大R平方法(Maximum R-square)等方法。但發展多元迴歸公式時必須注意：樣本要夠大，特別是樣本數和變項之比率，不得小於10：1。多元迴歸公式特別注重母群特殊化(population specific)的觀念，也就

33、是由A母群發展出來的公式，可能不適用於對B母群的推估。 45統計方法：組間差異的考驗單一依變項的組間差異考量二組之間的差異考量：可用t-test，其中又分獨立樣本t考驗和相依樣本t考驗。三組或三組以上之組間差異考量：可用變異數分析(analysis of variance, ANOVA)，即F考驗，單因子變異數分析(one-way ANOVA)：只有分析一個自變項(一個因子)，但自變項內還分成幾個層級或組別的設計。分析結果可知道三組、四組或更多組之間是否有差異存在。這種資料不應該以3個或3個以上的t考驗來分析，因為每作一次t考驗時的p值，是會累積的，使p值在不知不覺中變大。多因子變異數分析(f

34、actorial ANOVA)：分析二個或二個以上的自變項(因子)的設計；兩個因子的叫two-way ANOVA，分析出來會得知兩個主要效果(main effects)和一個交互作用(interaction)是否達到顯著。如果是三個因子的，稱為three way ANOVA，分析出來得知3個主要效果和交互作用是否達到顯著性。46統計方法：組間差異的考驗單一依變項的組間差異考量重複量數的變異數分析(repeated measures ANOVA)：在實驗設計中，受試者是相同的一批人，但必須重複接受兩種或兩種以上的處理(two or more treatments)時，得以此方法分析資料。此種設計的優點是受試者組間(即處理情況之間)的變異可降到最低，受試者人數可減少許多。但其缺點是內在效度可能會受到一點影響，例如處理效果的轉移、測試效應(練習效果)、處理敏感度的降低、疲勞等問題，都值得注意。47統計方法：組間差異的考驗在單因子ANOVA之後，如果發現組間有顯著的差異存在，則必須作事後多重比較(post-hoc multiple comparsions)，才能知道到底是哪一組和哪一組之間有差異。但如果是在多因