抽样调查回收率对推论可信度的影响

抽樣調查回收率對推論可信度的影響 分類：Statistics2007/11/11 14:18時間 Mon Apr 7 19:13:13 2003 時間 Wed Apr 9 18:39:28 2003所謂抽樣調查, 指的是以隨機抽樣程序從符合研究目的之特定群體 (抽樣群體) 抽取樣本。為簡單計, 這裡專指簡單隨機樣本, 並假設:(1) 群體相對於樣本很大, 例如 50 倍以上。因此可以當做無限群體看待, 而不需區分抽樣是採抽出後放還法(with replacement),或採抽出後不放還法 (withoutreplacement)。(2) 假設抽樣群體和目標群體一致。雖然實務上很難完全一致; 但一個嚴謹的調查計畫通常會儘力找到相當一致的抽樣群體。所謂(問卷) 回收率或( 問項)回覆率, 指原抽選樣本個案中, 有填寫可用資料, 且對所論問項有給出回答的個案所佔比例。有替代樣本的抽樣調查, 其替代樣本係事先與正選樣本同時抽出, 並在當時即訂定嚴格的替代程序。在此情況下, 回收率是以正選樣本數加上考慮過的替代樣本數 (不論是否有去訪, 是否有完訪 ) 為分母計算的。一般對調查資料之分析, 是以所獲得樣本結果直接當做群體的代表。這其實隱涵一個假設:樣本個案是否接受調查, 以及是否回答所論問項, 與個案本身的特質是無關的。以統計上的術語來說, 就是假設完全隨機遺失(missingcompletely at random)。 有許多關於遺失資料的統計校正方法, 則是假設樣本個案是否回答所論問項, 在控制某些基本特性之後, 與個案的其他特質 (尤其是反應本身) 是無關的。統計上的術語稱這種資料遺失是隨機遺失。然而, 事實上, 我們常缺乏足夠的知識來証實遺失是隨機的; 相反地, 許多情況遺失是不可忽略的 (non-ignorable)。若所論問項的回應屬計量資料, 假設問項回覆率 (回覆者佔全抽選樣本比例) 是 r。假設回覆者回覆的平均值是 m1,標準差 s1; 未回覆者若回覆 , 其平均值是 m0, 標準差 s0。因此, 若回覆率 100%, 則樣本平均值m = r*m1+(1-r)*m0樣本變異數 (假設樣本數夠大, 不需計較計算樣本變異數時分母是 n 或 n-1 的問題)s2 = r*s12+(1-r)*s02 + r(1-r)(m1-m0)2假設回覆樣本有完全的代表性, 即完全隨機遺失 (MCAR),則以 m1 估計群體平均, 其標準誤以 s1/sqrtnr 估計之,其中 n 是抽出樣本大小 , 而 nr 即是實際回覆所論問項之樣本大小。然而, 如前述, 假設 MCAR 並無充分証據; 因此事實上以 m1 估計群體平均(=Em) 有偏誤。在隨機抽樣的假設下 m 是不偏的 (但不可觀測), 故 m1 的偏誤可表現為bias m1-m = (1-r)(m1-m0)和回覆/未回覆差異 (m1-m0) 及未回覆率 (1-r) 都成正比。這樣講可能難以明白只看到一堆符號讓我們以數字來表現其差距。假設回覆率 r=90%, 回覆者的平均反應是未回覆者的 85%,即 m1=0.85*m0, 則偏誤大約是(1-0.90)*(0.85*m0-m0)= -0.015 m0而不偏樣本結果應是0.90*(0.85*m0) + 0.10*m0 = 0.865 m0因此相對偏誤為 1.7% (=0.015/0.865)。若回覆率沒那麼高, 例如 r=70%。不同回覆率我們不一定能假設回覆/不回覆的相對或絕對差距維持一樣。先假設m1=0.85*m0, 故偏誤(1-0.70)*(0.85*m0-m0)= -0.045 m0而不偏樣本平均應是0.70*0.85m0 + 0.30*m0 = 0.895 m0相對偏誤為 5.0%。在回覆者反應偏低的情況, 即反應值高者不回覆機會較大。高回覆率通常代表調查執行者努力爭取回覆。若反應值較低的回覆率已高, 而反應值高者回覆率較低, 那麼, 可能調查者的努力會縮減 m1 與 m0 間的差距。相對地, 在 90%回覆率兩者相對差 15%(=1-0.85), 表示回覆率 70% 時兩者之間的差異可能不只 15%。例如假設 m1=0.80*m0, 則偏誤(1-0.70)*(0.80m0-m0) = -0.06m0不偏樣本平均 = 0.70*0.80m0+0.30*m0 = 0.86m0故偏誤率為 7.0%。若回覆率甚至只有 r=50%。則在 m1=0.85*m0 的假設下偏誤(1-0.5)*(0.85*m0-m0)= -0.075m0不偏樣本平均 = 0.50*0.85m0+0.50*m0 = 0.925m0偏誤率 = 8.1%但若假設 m1 與 m0 差距同時因回覆率低而擴大, 如假設m1=0.75*m0 時:偏誤(1-0.5)*(0.75*m0-m0)= -0.125m0不偏樣本平均 = 0.50*0.75m0+0.50*m0 = 0.875m0偏誤率 = 14.3%。若反過來, 回覆者的反應值高於未回覆者, 其偏誤情形,除方向相反 (變成高估) 之外, 基本型態是類同的。一個回覆不足的調查, 即使是隨機樣本, 能有多少可信度? 若所論問項的回應屬計量資料, 假設問項回覆率 (回覆者 佔全抽選樣本比例 ) 是 r。假設回覆者回覆的平均值是 m1, 標準差 s1; 未回覆者若回覆, 其平均值是 m0, 標準差 s0。 因此, 若回覆率 100%, 則樣本平均值 m = r*m1+(1-r)*m0 樣本變異數 (假設樣本數夠大, 不需計較計算樣本變異數 時分母是 n 或 n-1 的問題) s2 = r*s12+(1-r)*s02 + r(1-r)(m1-m0)2我們可以從 “區間估計“( 信賴區間 ) 的觀點來看回覆率對調查結果的可信程度。雖然可以一般式來表示, 但那樣不容易理解; 因此我們只用數字例來觀察, 雖然這樣的觀察只是片面的、局部的, 但較易理解。假 n=1000, 設回覆率 r=90%, 回覆者的平均反應是 m1,而標準差 s1; 未回覆者平均反應 m0 最低可能 0.90*m1,最高可能 1.20*m1, 而標準差是 1.1*s1 (比回覆者高,意謂我們假設未回覆者反應較分歧)。那麼, 假設我們要 95%信賴水準的信賴區間, 用常態近似。若未回覆者 m0=0.90*m1, s0=1.20*s1。則不偏樣本平均 m = 0.90*m1+0.10*(0.90*m1)=0.99m1 (太好了 ! m1 幾乎不偏)全樣本變異數 s2 = 0.90*s12+0.10*(1.10*s1)2+0.90*0.10*(m1-0.90*m1)2= 1.021*s12+0.0009*m12為了得到更明確的結果, 再加個假設: 回覆樣本之變異係數 (CV, 即 coefficient of variation) 假設為 1(這是群體變異係數的粗估值; 而群體變異係數依群體特性或所論問項特性而定, 可能小於 1, 也可能遠大於 1)。則s1=m1, s2 = 1.0219*s12 = 1.0219*m12故全樣本標準差是 s=1.0109*s1 = 1.0109*m1。故群體平均數之 95%水準的信賴區間界限為0.99m1 1.96*1.0109m1/sqrt1000= 0.99m1 0.063 m1即 (0.927m1,1.053m1)。若 m0=1.20*m1, s0 如前, 則不偏樣本平均 m = 0.90*m1+0.10*(1.20*m1)=1.02m1 (看起來不錯 !)全樣本變異數 s2 = 0.90*s12+0.10*(1.10*s1)2+0.90*0.10*(m1-1.20*m1)2= 1.021*s12+0.0036*m12= 1.0246 s12 或 1.0246 m12全樣本標準差是 s=1.0122s1 或 1.0122m1。依此計算則群體平均數之 95%水準信賴區間界限是1.02m1 1.96*1.0122m1/sqrt1000= 1.02m1 0.063 m1即 (0.957m1,1.083m1)。因此, 依回覆率 r=90% 的結果推測, 在前述設定下, 若回覆率 100%, 可得到群體平均數之 95%水準信賴區間從 (0.927m1,1.053m1) 到 (0.957m1,1.083m1)。若回覆率只有 70% 呢? 仍假設 s1=m1, s0=1.1*s1, m0 可能範圍是 0.90*m11.20*m1 。當 m0=0.90*m1 時,不偏樣本平均 m = 0.70*m1+0.30*(0.90*m1)=0.97m1 (喔! 還好, 不算太差!)全樣本變異數 s2 = 0.70*s12+0.30*(1.10*s1)2+0.70*0.30*(m1-0.90*m1)2= 1.063*s12+0.0021*m12= 1.0651 s12 或 1.0651 m12當 m0=1.20*m1 時,不偏樣本平均 m = 0.70*m1+0.30*(1.20*m1)=1.06m1 (喔! 哦.不是很好!)全樣本變異數 s2 = 0.70*s12+0.30*(1.10*s1)2+0.70*0.30*(m1-1.20*m1)2= 1.063*s12+0.0084*m12= 1.0714 s12 或 1.0714 m12於是, 推測在回覆率 100%時 95%水準信賴區間低估計: 0.97m1 1.96*sqrt1.0651/1000*m1= (0.97 0.0640)m1 = (0.906m1,1.034m1)高估計: 1.06m1 1.96*sqrt1.0714/1000*m1= (1.06 0.0642)m1 = (0.996m1,1.124m1)因此, 事實上由這樣的樣本來推論群體, 95% 水準的信賴區間應該是 0.906m11.124m1。若因回收率只有 70%, 回覆者與未回覆者的差距不只如這裡假設的, 其真實信賴區間範圍更大!假設回覆率只有 50%呢? 同樣假設 s1=m1, s0=1.1*s1, m0可能範圍是 0.90*m11.20*m1。當 m0=0.90*m1 時,不偏樣本平均 m = 0.50*m1+0.50*(0.90*m1)=0.95m1 (嗯! 不是很好, 馬馬虎虎啦!)全樣本變異數 s2 = 0.50*s12+0.50*(1.10*s1)2+0.50*0.50*(m1-0.90*m1)2= 1.105*s12+0.0025*m12= 1.1075 s12 或 1.1075 m12當 m0=1.20*m1 時,不偏樣本平均 m = 0.50*m1+0.50*(1.20*m1)=1.10m1 (.)全樣本變異數 s2 = 0.50*s12+0.50*(1.10*s1)2+0.50*0.50*(m1-1.20*m1)2= 1.105*s12+0.010*m12= 1.115 s12 或 1.115 m12於是, 推測在回覆率 100%時 95%水準信賴區間低估計: 0.95m1 1.96*sqrt1.1075/1000*m1= (0.95 0.0652)m1 = (0.885m1,1.015m1)高估計: 1.10m1 1.96*sqrt1.115/1000*m1= (1.10 0.0654)m1 = (1.035m1,1.165m1)因此, 這樣的樣本在 95%信賴水準要求下, 我們只能推論群體平均數在 0.885m1 至 1.165m1 之間。實際上, 如前文, 在回覆率這麼低的情況, 相對於高回覆率, 我們有理由推測回覆者與未回覆者的反應差異要更大些。假設 m0 在 m1 的 0.81.5 倍之間, 並且 s0=1.2*s1。仍假設 n=1000, s1=m1。在 m0=0.8*m1 時,不偏樣本平均 m = 0.50*m1+0.50*(.80*m1)=.90m1全樣本變異數 s2 = 0.50*s12+0.50*(1.20*s1)2+0.50*0.50*(m1-.80*m1)2= 1.22*s12+0.01*m12= 1.23 s12 或 1.23 m12在 m0=1.5*m1 時,不偏樣本平均 m = 0.50*m1+0.50*(1.50*m1)=1.25m1全樣本變異數 s2 = 0.50*s12+0.50*(1.20*s1)2+0.50*0.50*(m1-1.50*m1)2= 1.22*s12+0.0625*m12= 1.282 s12 或 1.282 m12信賴區間之推估:低估計: 0.90m1 1.96*sqrt1.23/1000*m1= (0.90 0.0687)m1 = (0.831m1,0.969m1)高估計: 1.25m1 1.96*sqrt1.282/1000*m1= (1.25 0.0702)m1 = (1.180m1,1.320m1)單純以 50%回覆樣本計算的信賴區間是m1 1.96*s1/sqrt.5*1000 = m1 .0877 s1= (.912m1, 1.088m1)但除非 MCAR 假設成立, 否則它能涵蓋真實群體平均數的機率將遠低於要求的信賴水準; 而能保証 95% 信賴水準的,如果上述對未回覆者的假設不太離譜, 信賴區間應取(0.831m1, 1.310m1), 區間寬度遠大於不完整的、很可能有偏的樣本結果。而這樣的信賴區間, 實在是太寬了!以計量資料來觀察回覆率的影響太複雜, 有許多參數需要假設。如前面的例子, 我們需考慮兩組 (回覆 與 未回覆)平均數的關係、標準差的關係, 以及標準差與平均數的關係。若考慮屬質或二元變數, 即問項的反應只考慮( 是/ 否),問題就簡單很多。而且這樣的資料, 也是調查中常見的,例如民意調查中的支持與否, 流行病學調查的有病與否,臨床實驗的治療有效與否等等。對二元變數, 通常把我們想探討的一類以 “1“ 表示, 另一類就以 “0“ 表示。例如對疾病之危險因子的研究, “1“ 代表有該疾病, “0“ 代表沒有。臨床研究治療成效, “1“ 代表治癒或好轉, “0“ 代表未治癒或未好轉。當然實際上兩類何者視為 “1“, 何者視為 “0“, 並不是很重要, 只是研究者敘述的方便, 或給讀者或聽者的感覺比較自然。假設 n=1000, 回覆率 90%。令 p1 代表回覆者反應 “1“的樣本比例, p0 為未回覆者若回覆其反應 “1“ 的機率。如果 100%回覆, 在上列設定下全樣本反應 “1“ 的比例是:p = 0.9*p1 + 0.1*p0 = p1 + 0.1*(p0-p1)以 p1 估計與以 p 估計比較, 偏誤為 (假設全樣本不偏)bias = p1 - p = 0.1*(p1-p0)一般, 回覆率是 r 時,p = p1 + (1-r)*(p0-p1)而以回覆者實際反應 “1“ 比例 p1 估計的偏誤是bias = p1 - p = (1-r)*(p1-p0)回覆率達 90% 這樣高標準時, p1 與 p0 即使有 20 百分點的差距, 對總估計的影響也只有 2 個百分點。 但同樣假設回覆者與未回覆者反應 “1“ 比例差距 20 個百分點,當回覆率 70% 時, 偏誤達 6 個百分點, 這樣的偏誤已不算小! 而若回覆率僅 50% 時, 偏誤可達 10 個百分點!假設某問項 p1=.70 而 p0 在 .50 至 .80 之間, 則全樣本比例 p = p1 + (1-r)*(p0-p1), 當回覆率 r=90% 時,其值在 .68 至 .71 之間。當 n=1000 時, 計算群體比例 的 95% 近似信賴區間得(.68-1.96*sqrt.68*.32/1000,.71+1.96*sqrt.71*.29/1000)= (.68-.0289, .71+.0281) = (.651, .738)假設回覆率由 90% 降為 70%, 但反應差幅維持不變, 則全樣本比例 p 在 .64 到 .73 之間。故 95% 信賴水準之信賴區間為(.64-.0298, .73+.0285) = (.610, .758)若回覆率只有 50%, 同樣的反應差幅, 則全樣本比例 .60到 .75。故, 95% 水準之信賴區間為(.60-.0304, .75+.0268) = (.570, .777)這樣的區間是否可接受?(注意這個區間的寬度並不能以提高樣本數做有效縮減!)未回覆者與回覆者的反應差距可能比這裡假設的大或小?(我們無法獲得未回覆者的可能回應 ,能保証回覆者與未回覆者之間的反應差距夠小嗎?)有些問項可能是低比例反應 “1“ 的, 也就是說: 群體中反應“1“ 的比例 很小。如果反應 “1“ 和 “0“ 的回覆率有很大差異, 則低回覆率暗示調查結果將會有很大的相對偏誤。假設 =0.1(還不算太小), 則 n=1000 時,有大約 95%的機會樣本比例 p 介於 .081 到 .119 之間 (樣本中反應 “1“的人數 81 人至 119 人之間), 與真實比例 0.1 相差約 2個百分點, 相對誤差約 20%。假設 p=0.1, 也就是 1000 名樣本個案中反應為 “1“ 的人數是 100 人。當然實際上我們並沒看到這個結果, 因為回覆率不是 100%。設反應 “1“ 與 “0“ 的回覆率分別是 r1與 r0。當總回覆率大約 90% 時,0.1*r1 + 0.9*r0 = 0.9若 r1=100%, 則 r0=89%; 若 r1=0%, 則 r0 必須是 100%。當 r1=100% 時, 回覆者反應 “1“ 的比例是p1 = 0.1*1/(0.1*1+0.9*.89) = 0.1/.901 = .111當 r1=0% 時, 回覆者反應 “1“ 的比例是 p1=0。實務上大概不會如此極端。那麼, 何種假設比較能切合實際情形? 我們大概可以同意 : 在大多數情況, 多少有些回覆是容易的; 但要達到極高的回覆率卻很難。我們假設在任一子群 95% 的回覆率算是高限。則r0=95% 時 r1=45%, 總回覆率 r=90%,回覆者反應 “1“ 之比例 p1 = .1*.45/.90=.050r1=95% 時 r0=89.4%, 總回覆率 r 接近 90%回覆者反應 “1“ 之比例 p1 = .1*.95/.90=.106這意謂在回覆率很高而所論反應是稀有反應時, 回覆樣本之統計結果易低估但不易高估。在總回覆率 r 大約 70% 的情況 , r1 與 r0 的範圍是:r1 最低 0%, r0 最高 77.8%, 此時 p1=0r1 最高 100%, r0 最低 66.7%, 此時 p1=.143r1=95% 時 r0=66.1%, 此時 p1=.136r1=90% 時 r0=67.8%, 此時 p1=.129回覆樣本之統計結果比高回覆率時更容易低估真實比例;m而且存在嚴重高估 (.136 vs. .1 或 .129 vs. .1) 的可能性。若總回覆率 r 大約 50%, 則r1 最低 0%, r0 最高 55.6%, 得 p1=0r1 最高 100%, r0 最低 44.4%, 得 p1=.200r1=95% 時 r0=45%, 此時 p1=.190r1=90% 時 r0=45.6%, 此時 p1=.180r1=80% 時 r0=46.7%, 此時 p1=.160這些結果蘊涵的意義是: 低回覆率的情況, 僅根據回覆者的反應情況做推論, 有極高風險其結果幾乎可說完全乖離事實!回頭來看中等水準的 值, 假設 =0.4。則 n=1000 得到的 p 有大約 95% 的機會介於 0.370 和 0.430 之間。我們仍假設 p 等於中心值 0.4。則: r=.4*r1+.6*r0,總回覆率 90% 時,r1 最低 75%, r0 最高 100%, p1=.4*.75/.9=.333r1 最高 100%, r0 最低 83.3%, p1=.4/.9=.444r0=95% 時 r1=82.5%, 此時 p1=.33/.9 = .367r1=95% 時 r0=86.7%, 得 p1=.38/.9=.422此時根據回覆樣本的反應做推論, 偏誤大概可被容忍。若總回覆率是 70%, 則r1 最低 25%, r0 最高 100%, p1=.4*.25/.7=.143r1 最高 100%, r0 最低 50%, p1=.4/.7=.571r0=95% 時 r1=32.5%, 此時 p1=.13/.7 = .186r1=95% 時 r0=53.3%, 得 p1=.38/.7=.543r0=90% 時 r1=40%, p1=.16/.7=.229r1=90% 時 r0=56.7%, p1=.36/.7=.514即使限定兩種反應回覆率各不超過 90%, 回覆樣本與全樣本之反應 “1“ 的比例仍有極大的差距! 由此可以推知:若總回覆率降至 50%, 回覆樣本很容易就會發生高偏誤! 而這種高偏誤, 與前文直接假設回覆者與未回覆者之間的反應差距設定相比, 前文的假設顯然過於保守而致低估偏誤!花了很多時間寫這一個主題, 應該給一個結束了。統計人員很強調取得的樣本是否具代表性。立意選樣固然不被排斥, 但極少見到統計學者討論。蓋因既非隨機樣本,其樣本代表性缺乏理論論証基礎。至於非嚴謹立意或判斷的主觀樣本, 或隨意找人湊數而已的便利樣本, 學習統計的人大概沒有人可能接受!然而即使在抽樣時做得很好, 是完全符合代表性要求的隨機樣本; 若在執行調查階段不做好嚴格控管, 結果仍可能一塌糊塗, 完全不可信。統計分析上有所謂 Simpsons paradox; 此詭論在研究方法論上可能給予不同稱呼, 例如有一本書:“調查分析的邏輯“ (徐正光/黃正二譯, Rosenberg 原著, 黎明, 民 81),稱此現象為存在 “曲解變項“。一個實例如下:(取自 Agresti, A. 1996,An Introduction to Categorical Data Analysis,pp.54-57. Wiley.)美國 Florida 1976-1987 凶殺案判決資料死 刑 判 決被害者 被 告 是 否 死刑率(%)白人 白人 53 414 11.3黑人 11 37 22.9黑人 白人 0 16 0.0黑人 4