如何提高研究效度.ppt

如何提高研究效度,花蓮師院科教所 劉聖忠老師,如何提高研究效度,何謂信度效度？ 何謂工具效度？ 何謂研究效度？ 研究效度裡的 內在效度 和 外在效度 影響研究效度的一些因素,信度 v.s. 效度 之1,何謂信度？ 基本上，信度的定義不外乎穩定度(stability)、 一致性(consistency) 何謂效度？ 說白話一點，效度的定義就是測到你想測的東西的程度,信度 v.s. 效度 之2,信度高通常表示在研究的過程中所量得的data重複出現的機率高 效度高通常表示結果(=data+explanation)重複出現的機率高 所以 信度高的不一定效度高 效度高的一定信度高,信度 v.s. 效度 之3,信度高的不一定效度高 效度高的一定信度高 在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此 有信度不一定有效度 有效度一定有信度,以效度為例,前面所定義的信、效度通常指的是一般的定義。可是在研究的過程中，我們常常會碰到的效度問題卻有二個，一個稱之為工具效度，另外一個稱之為研究效度 因為它們所處理、所可能面對的問題是不同的。因此，它們就應該有所區隔,工具效度 之1,在談這個問題之前，我們必須先釐清什麼是工具？ 工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(智力、學習成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire) 通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人,工具效度 之2,工具效度= 工具+效度 一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度 例如要看一個國小五年級自然科學習成就問卷的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學習成就 工具效度高代表其測量結果和事實接近,研究效度 之1,前面提過所謂的工具效度是一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度 那所謂的研究效度就是一個研究中的研究結果可以被複製的程度 研究效度高代表研究的結果被複製的程度高，也就是說研究結果的可信度高,研究效度 之2,一個有研究效度的研究通常所使用的工具應該也是有效度的 上面這句話在量化的研究中一定是對的，但在質性的研究裡應該成立卻不必然就是如此。(why?),研究效度 之3,量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具 質的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應該只是研究效度成立的一個重要考量，不必然是全部 每一個同學請舉例或用你自己的話語解釋一遍給同組的同學聽,研究效度 之4,研究結果的可信度高具有二層的含意 第一層，可能只代表研究者自己或別人在完全相同的(exactly the same)研究過程中複製研究結果的程度 第二層，才代表別的研究者在類推的族群中(generalized population) 複製研究結果的程度,內部效度 v.s. 外部效度 之1,在完全相同的研究過程中複製研究結果的程度 指的是研究的內部效度(internal validity) 在類推的族群中複製研究結果的程度 指的是研究的外部效度(external validity),討論問題,請試著用自己的話語討論一下上面這二句話的含意 請以Effects of Integrated Video為例,內部效度 v.s. 外部效度 之2,在這裡所謂的內部和外部效度都是在談研究效度，只是我們談的更細一點而已 或者應該這麼說 如果我們想更進一步的了解研究效度，我們就不能不談內部效度和外部效度,內部效度,在教育的研究情境中，那來完全相同的研究過程！ 完全相同有那些要項是應該考量的 樣本相同，或除研究特質之外的特質均相同 相同的或相等的信效度的測量工具 研究情境相同或雷同 因果關係的成立,外部效度,外部效度求的不過就是本次研究結果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力 推論力有那些要項是應該考量的 樣本的代表性 潛藏的變因 高預測效度的測量工具,內部效度 v.s. 外部效度 之3,因此 如果一個研究要有高的外部效度的話，一定先要有高的內部效度 有內部效度的研究不一定有外部效度 有外部效度的研究一定有內部效度 說穿了，沒有人會去做一個沒有推論力的研究！,內部效度 v.s. 外部效度 之4,討論問題 在討論如何提高研究效度的議題上，有沒有必要區隔內部效度和外部效度？ 有，為什麼？ 沒有 ，為什麼？,如何提高研究效度,前面的上課中討論過 談如何提高研究效度就等同於討論 如何降低研究誤差,如何降低研究誤差,在此應該考量的是如何降低，不是消除研究誤差 有幾個重要的方向要考慮 在研究者方面(即variable control) 在研究對象方面(即sampling) 研究工具的選用(即instrumentation),如何提高研究效度,由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意 取樣(sampling) 研究工具(instrumentation) 變因控制(variable control) 多元資料檢證(triangulation),取樣 之1,主要的考量在於代表性(representativeness)和可行性(pratical)的問題 理想上，代表性是唯一在取樣的過程中需要考慮的事 但在現實中，可能可行性會折殺大部分的理想性 如何在研究設計中平衡理想與現實是一個挑戰,取樣 之2,取樣的過程中，有以下的幾個問題要回答 母群體為何(普查 v.s. 樣本) 取樣方法的簡介 (隨機取樣 v.s.方便取樣 v.s. 立意取樣) 樣本大小的決定(how big is enough?) 取樣誤差的控制(機誤 v.s. 常誤),取樣之3,樣本的代表性應該考量的要項 取樣的方法 取樣的誤差 樣本的數目 分層取樣的分層依據為何 自願樣本的問題,取樣 之4,隨機取樣方法的簡介 抽籤 亂數表的使用 等距取樣 分層取樣(stratified)(等量 v.s. 比率取樣) 叢集取樣(clustered) 多階段叢集取樣 隨機分派,討論問題,請以Effects of Integrated Video為例，說明它的選樣方法為何？又其代表性如何？,取樣 之5,樣本大小將影響研究結果的準確度 一般而言，樣本愈大準確度愈大，樣本愈小準確度愈小 根據統計學原理，準確度因樣本數的平方根而不同 例如原有25位樣本，若想使準確度增加一倍，必須增加樣本數為100。How?,取樣 之6,真正影響準確度的是樣本的實質大小，不是樣本佔族群的百分比 根據楊榮祥老師的文章，相關性研究通常至少要有30個樣本；在實驗研究裡，實驗組和控制組各至少需15個樣本；在調查研究中，則至少要有100個樣本 詳細決定樣本大小的方法與考量，請參見楊老師文章的19-24頁,取樣 之7,取樣誤差在此意指 History Maturation Memory effect Statistical regression Selection Experimental mortality Selection-maturation interaction,如何提高研究效度,由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意 取樣(sampling) 研究工具(instrumentation) 變因控制(variable control) 多元資料檢證(triangulation),研究工具之1,研究工具(instrumentation)在此應該考量的是 Use the right instrument! (check the manual) Use instrument right! (check the administration) 缺少信度的測量工具不可靠 缺少效度的測量工具測非所測 缺少常模(norm)的測量工具不易解釋 沒有標準施測流程的測量工具容易衍生常誤,討論問題,請以Effects of Integrated Video為例，討論常模參照(norm-reference)和 效標參照(criterion-reference) 之不同及其應用,研究工具之2,一般常用的信度(reliability)種類 重測信度(test-retest reliability) 複本信度(parallel-form reliability) 折半信度(split-half reliability) 內容一致性(即一般常用的 reliability) K-20信度 K-21信度,研究工具之3,一般常用的效度(validity)種類 內容效度(content validity)： 一般又稱為專家效度 效標效度(criterion validity)： concurrent validity pr