多元回归分析MultipleRegressionAnalysis

1、多元（複）迴歸分析Multiple Regression Analysis）1、利用 OLS(ordinary least square)s 來做多元迴歸可能是社會學研究中最常用 的統計分析方法。利用此法的基本條件是應變項為一個分數型的變項(等距 尺度測量的變項)，而自變項之測量尺度則無特別的限制。當自變項為類別變 項時，我們可依類別數( k)建構 k-1 個數值為 0 與 1 之虛擬變項( dummy variable)來代表不同之類別。因此，如果能適當的使用的話，多元迴歸分析 是一相當有力的工具。2、多元迴歸分析主要有三個步驟： 第一、利用單變項和雙變項分析來檢視各個準備納入複迴歸分析的變

2、項 是否符合 OLS 線性迴歸分析的基本假定。 選定迴歸模式 ，並評估所得到的參數估計和適合度檢定 ( goodness of fit)。 在我們認真考慮所得到的迴歸分析結果前，應做殘餘值 ( residuals)之診 斷分析( diagnosis)。但通常我們是先確定迴歸模式之設定( specification) 是否恰當後，才會做深入之殘餘值分析。3、迴歸分析的第一步是一一檢視每個即將納入迴歸分析模式的變項。首先，我 們必須先確定應變項有足夠的變異( variability )，而且是接近常態分配(迴 歸係數的估計並不要求應變項是常態分配，但對此估計做假設測定時，則是 要求殘餘值應為常態分

3、配。而應變項離開常態分配的狀態很遠時，殘餘值不 是常態分配的可能性增大) 。其次，各自變項也應該有適當的變異，並且要瞭 解其分配之形狀和異常的個案( outlying cases；outliers)。 我們可用直方圖( histogram)和 Normal P-P(probability plot )圖等來測定應 變項是否拒絕其為常態分配的假設，以及是否有異常之個案。同樣的，我們 可用直方圖和其他單變項之統計來檢視各個自變項之分配形狀、程度，以及 異常個案等。在 SPSS中，我們可用 Analyze 內的 Descriptive Statistics 中的 Explore 來得到 上述之統計和

4、圖。4、做雙變項相關之分析之主要目的是檢視變項間之關係是否為線性關係( linearity)和是否為共線性( collinearity )之情況。最基本的作法是看雙變 項之相關矩陣。如果應變項與自變項間之關係很弱或比自變項間之相關弱的 話，就應質疑所設定之多元迴歸模式是否適當。檢視自變項與應變項間是否為線性關係的基本作法是看雙變項間之散佈圖 ( scatter plot)。進階且比較好的作法是在控制其他自變項後，再看某一自變 項與應變項間之部分線性關係( partial linearity )。線性關係是迴歸分析重要 的假定，而且指的是自變項與應變項間之部份線性關係。我們並不用太關心 自變項間

5、是否為線性關係，但如對自變項間關係之設定有誤時，也會導致我 們對虛假關係不適當的控制和解釋上的錯誤。探索自變項與應變項間部分線性關係的方式是在控制其他自變項後，逐一檢 視某一自變項及進一步加入此自變項之平方後，看看兩個迴歸模式間是否達 顯著之差異。如果是的話，則此自變項與應變項間之關係並不是線性關係。 當發現自變項與應變項間並非線性關係時，除了將該自變項之平方加入迴歸 分析的方法外，也可將該自變項做對數轉換( log transformation)，例如我們 常將個人之收入做對數轉換之處理。究竟如何處理是適當的，是以理論為基 礎。在 SPSS中，我們可用 Analyze 內之 Correlat

6、e 中的 Bivariate 及 Graphs 中的 Scatter來得到雙變項之相關矩陣及散佈圖。部份線性相關之檢視則需用到 Transform內的 Compute來建構一個變項的平方，然後用 Analyze 內之 Regression中的 Linear 來檢視。5、在決定迴歸分析的模式後，我們應進一步檢視自變項間是否有多元共線性 (multicollinearity )的問題，也就是自變項間是否有高度相關的問題。如果 自變項間高度相關的話，會影響到對迴歸係數之假設測定。我們可以用因素 分析來檢查自變項間是否有多元共線性，或者是逐一將某一自變項(當成為 應變項)和所有其他自變項做多元迴歸分析

7、。在以 SPSS做迴歸分析時，我們也可在其 Statistic 之選項中選擇 partial correlation 與 collinearity 之統計。 SPSS所提供之 collinearity 的統計包括 Tolerance、 VIF (variance inflation factor)和 Condition Index等。這些統計是 有關連性的。如 Tolerance與 VIF 就是互為倒數，如果是 Tolerance越小，就 表示該自變項與其他自變項間之共線性越高或幾乎是其他自變項的線性組 合。6、如果自變項是類別的變項，我們可以將這些類別一一建構成為虛擬變項。依 照類別數目(

8、k)，我們只需建構 k-1 個虛擬變項即可。如性別有兩類，因此 我們只需建構一個男性的虛擬變項。如果受訪者為男性，則其男性 變項為 1，如為女性，則其男性變項為 0。同理，如果一個類別變項有四 類，如台灣地區別是分成北、中、南、東等四區，則我們可將此類別變項建 構成中部、南部及東部等三個虛擬變項。當受訪者是在北部時， 其在此三虛擬變項的值會都是 0。至於將那個類別做為參考類別( reference category)，也就是不建構為虛擬變項的類別，通常是次數最多的類別。我們 也可依理論或研究假設的需要，來考量是將那個類別做為參考類別。 當我們將這些虛擬變項納入迴歸模式後，個別虛擬變項的迴歸係數

9、(如果達 統計顯著的話)，就是此虛擬變項所代表之類別與參考類別間在截距上的差距。如果我們假設此類別變項對應變項的影響，不只是在截距上的不同，且 會有不同的斜率，也就是與另一自變項間有交互作用（ interaction），我們可 以進一步將虛擬變項與此另一自變項相乘而成另一新變項（如男性受教 育年數）。我們可將原來的兩個自變項及此新變項一起納入迴歸分析中。如 果此新變項之迴歸係數達顯著的話 ，則其意義是與虛擬變項相乘之自變項 （如 受教育年數）對應變項的影響會因虛擬變項所代表的類別不同（如性別）而 有不同的斜率 （即影響力）。例如當受教育年數對收入的影響，男性比女性來 得大時，則迴歸分析結果可能

10、一方面表現在男性此一虛擬變項的正向係 數達顯著，表示在受同樣教育年數的條件下，男性的起薪比女性高，另一方 面也表現在男性受教育年數之正向係數達顯著，表示男性每年受教育 對收入的回報大過女性。 此外，當我們假設自變項與應變項的關係為型時，或是應變項會隨自變項 之數值增大而變化趨緩時，我們就可建構一自變項的平方，將此自變項及其 平方一起納入，如果此平方的變項達顯著，則我們可知此自變項對應變項的 影響不是直線性的。7、在完成以上之基礎工作後，而且發現沒有問題或將問題做了適當的處理後， 我們就可開始做多元迴歸的分析。 檢視多元迴歸分析之結果的步驟是先檢視整體模式之適合度（ goodness of fi

11、t ）。這是看迴歸分析結果之 ANOVA 表中之 F test是否達到顯著。如果是的 話，我們可說此模式在母群體之 R2 不是 0，或自至少有一個自變項對應變項 有解釋力。 R2（或納入自變項數目做了調整後之 adjusted R2）的意義是所有 自變項解釋了多少比例之應變項的變異量。 在檢視完整體模式之解釋力後，下一步是逐一檢視各自變項之斜率 （slope）， 也就是迴歸係數是否達到顯著 （即測定其是否為 0 之虛無假設）。這是要看每 一自變項迴歸係數的 T-test及 p 值（通常應至少小於 0.05）。如果某一自變項 之係數達顯著水準的話，則其意義是在控制其他自變項的情況下，此一自變 項

12、對應變項之獨特影響力（ unique effect）為何。另一說法是，自變項每增加 一個測量時用的單位，會改變多少應變項測量時之單位。我們可代入此自變 項一個數值（如此變項之平均數） ，然後計算在此數值和 B（unstandardized coefficient）乘積，這乘積就是此自變項在此數值時，應變項的數值有多大。 如果我們要知道和其他自變項比較，那一個自變項對應變項之獨特影響力比 較大，則我們是要看 Beta（standardized coefficient）或部分相關係數（看此 比較好）。8、如果我們的迴歸分析是建立在一個因果模式上，那我們可進行階層式迴歸分 析（ hierarchic

13、al regression）。看我們研究的焦點為何，我們可逐一將自變項加 入迴歸模式中，然後看不同階段之迴歸模式的整體解釋力和各個自變項解釋力的變化9、嚴謹的迴歸分析是要進一步對 residuals 做檢視後，才報告分析所得到之結果。 殘餘值是指每個個案將其自變項之數值代入迴歸模式中計算在應變項之預測 值，然後將實際觀察到之值與此預測值相減後所得到之殘餘。對殘餘值之診 斷主要有兩項： Influence diagnosis：此診斷要看的是有無一些異常的個案可能對迴歸模式 的估計造成不當之的影響，並膨脹 standard errors。特別是當樣本數較小時， 我們要當心此可能性。在 SPSS的迴歸分析之 Save的選項中，可將標準化處 理後之殘餘值（ standardized residuals）儲存起來。 SPSS也會將標準化之殘餘 值大於 3 的個案之 ID 報告出來。如果此類個案數目不多的話 （依機率，每一 百個標準化之殘餘值中會有 5個殘餘值之 z值大於 2），那我們就可說是沒有 異常個案影響迴歸模式估計的問題。 Normality 與 hetroskedasticity： OLS 迴歸分析假定在 prediction function 之 不同 level 的殘餘值是常態分配，而且變異量是