成功大学的非常透彻的主成份分析含例子

第一章主成份分析

陳順宇教授成功大學統計系1主成份分析(PrincipalComponentAnalysis,PCA)主要目的是訂定指標它是對多個變數決定各變數權重而成加權平均，依此訂出總指標

2經由線性組合而得的主成份能保有原來變數最多的資訊即主成份有最大的變異數也就是使受測者在這些主成份上會顯出最大的個別差異

3主成份分析3個重要目標

代表性獨立性精簡性

4xi的線性組合

研究者常會找到很多項目(指示變數)，然後做加權平均，但問題就在於如何給定權重，

5一種是主觀的人為訂定(它是在資料收集前訂定)，一種是客觀的透過資料本身所傳達的訊息而訂定權重(它是資料收集分析後再訂定)6權重主成份分析就是要將重要變數適當的給予較大的權重不重要的變數給予較小的權重7矩陣的應用及特徵值、特徵向量

8特徵值的定義9例：求矩陣A的特徵值、

特徵向量1011特徵值為的根12解之得特徵值分別為13A為正定(positivedefinitep.d.)矩陣14定理

1516例1.1身高、體重的

主成份分析

17如何將身高與體重做一線性組合使y1更能代表一個人的體型呢？身高(x1)、體重(x2)的資料，都是用來代表一個人體型的一部份只用身高或只用體重都缺乏以說明體型18算出各種線性組合轉換後資料及平均數、變異數、標準差

19以上各種組合以W4的變異數最大下面討論如何找到此最正确解W420有分辨能力表示變異數大21變異數小表示內部有一致性，表示品質均勻對品管而言是好現象但是在評分或分辨能力等問題，如果變異數小，就表示分辨能力差。22線性組合的

變異數愈大愈好

在的限制下，找a1,a2使Var(y1)最大

2324特徵向量25但在實務上

通常是未知的，由抽樣資料可以求出樣本共變異矩陣S，然後以S代替

26樣本共變異矩陣S

27特徵值

1,

2

28特徵值29求最大特徵值98.9511

特徵向量a

30第一主成份

31求第二大特徵值3.0489

特徵向量b

32第二主成份

33第一主成份的係數向量與第二主成份的係數向量有直交的現象，即a

b=034主成份分析的特點

(1)第一主成份的係數向量a1與第二主成份的係數向量a2直交

(2)第一主成份y1與第二主成份y2也是直交(即相關係數為0)

35(3)主成份的幾何意義

36(a)照相角度的選取

對一群人照團體照就要選一角度，它能將每個人都照的很清楚，也就是要找一個角度，它能分辨出每個人

這種想法與主成份分析找主成份很類似，37圖1.2身高體重資料主成份分析

38(b)橢圓長軸的想法

從散佈圖上找最正确的方向，通常是利用畫橢圓(儘可能的扁)能將所有資料點包含橢圓長軸的方向即為第一主成份的方向。而短軸的方向即為第二主成份方向。39圖1.3身高體重資料橢圖長軸

40迴歸線比第一主成份線平坦

41(4)各個主成份的變異數等於其對應的特徵值

Var(yi)=

i

42(5)所有主成份的變異數的和與所有變數之變異數的和相等43(6)第一主成份y1解釋變異比例

44第一第二主成份解釋變異比例

45身高、體重的例題

46(7)主成份負荷

第j主成份yj與第i個變數xi的

相關係數(主成份負荷)

47如第一主成份y1與身高(x1)的

相關係數為

48第一主成份y1與體重(x2)的

相關係數

49(8)共通性

主成份解釋變數(xi)的變異數比例稱為的共通性(Communality)，寫成

50第1主成份解釋身高

第1主成份解釋體重

51(9)以共變異數矩陣S做

分析主成份得點

52如第一位學生的

第一主成份得點53(10)以相關矩陣做分析

54以相關矩陣做主成份分析則

第一主成份為

55(11)STATISTICA進行

主成份分析

Statistics

MultivariateExploratoryTechniques

PrincipalComponents&ClassificationAnalysis5657特徵值與解釋變異比例

58特徵向量(主成份權重)

59主成份與身高體重相關係數

60共通性

61主成份得點

62主成份得點散佈圖

63(13)主成份分析的SAS程式

64656667(14)先標準化再做主成份分析

68如以相關矩陣做主成份分析則第一主成份

69例1.3英文、國文、統計、

會計、經濟5科成績總指標

70算出五個變數的平均數、

標準差及相關矩陣R

71五個特徵值

72陡坡圖

7374表1.1例1.3主成份負荷

75主成份負荷(或相關係數)

76表1.2例1.3特徵值

77第一主成份解釋變數的

變異數比例(亦稱共通性)

78第一、第二主成份

解釋變異數比例

79表1.3例1.3取兩個主成份

各變數共通性

80主成份得點

81表1.4例1.3主成份得點

82圖1.8例1.3主成份得點散佈圖

83每位學生對每個

主成份貢獻百分比

84註85主成份選取原則如下

86(d)統計上正式的分析

87甲.巴雷(Bartlett)提出統計量

88乙.安德生(Anderson)統計量

894.注意事項：

90(3)各個主成份之間不相關，(4)假设各變數間都不相關時就不需要再做主成份分析。(5)變數間的相關係數皆相等時，第一主成份即為各變數的等加權平均9192R的特徵值分別

93特徵向量

94第一主成份是各變數的

等加權平均

95例1.4憂鬱問題的研究

(資料檔名為：EX1-4)

問卷有20個題目，每題有1~5五種選答1：「很少」2：「少」3：「有時候」4：「經常」5：「幾乎每天」9620個問題陳列在表1.5項目中。收集成功大學174位學生資料，試以標準化憂鬱資料做主成份分析

97特徵值

985個主成份權重(即特徵向量)

99第一主成份：每一問題的平均，y1值愈大表示有憂鬱程度高，命名：憂鬱指標。100第二主成份：17,18,19,20等4項權重較大(超過0.4)，y2大表示對未來充滿希望，命名：樂觀。101第三主成份：在第8,15等2項權重大，y3大表示提心吊膽，命名：恐懼。第四、第五主成份不易命名102共通性

103第2主成份對第1主成份

得點散佈圖

104例1.8烏龜體型指標(EX1-8)

105以相關矩陣做主成份分析

特徵值與解釋比例

106107共變異數矩陣做主成份分析

108表1.9例1.8烏龜體型

主成份權重

109結果：第一主成份為

110資料輸入可為原始資料，相關矩陣或共變異數矩陣，其輸出是特徵值、特徵向量、及主成份得點。