主成分分析PrincipalComponentAnalysisPCAPPT课件

1、主成分分析Principal Component AnalysisPCA0明治大学 理工学部 応用化学科化学工学研究室 金子 弘昌主成分分析 (PCA) ？主成分分析 (Principal Component Analysis, PCA) 見化 (可視化) 手法 多変量 (多次元) 低次元化方法 情報量失元次元 低次元表現 “低次元” 次元可視化達成 軸回転 (反転) 1PCA図解2X1: 身長例) 人身長体重 (多次元)X2: 体重PCA第主成分軸第主成分軸第主成分、人情報PCA 様子見 主成分同士見 主成分角度見、方向分布分除 第4成分以降、第1,2,3主成分使、中外探 PCA後主成分見、

2、他離、PCA前同士必離変数 (PCA後成分) 間相関 0 回帰分析回帰係数値安定3表方4(1)(1)(1)12(2)(2)(2)12( )( )( )12ddnnndxxxxxxxxx( )kix: k 個目、i 番目変数(記述子) 値dn: 変数(記述子) 数: 数変数(記述子)PCA前PCA前、必前処理行 分散 0、同値多変数削除 詳 52変数PCA (3変数以上拡張簡単)6(1)(1)12(2)(2)12( )( )12nnxxxxxx変数(記述子)12xx主成分7 12111211221222t = xxt = xxppppti: 第 i 主成分 jip: 第 i 主成分対応、j 番目

3、変数(記述子) 重 ()行列表8 (1)(1)(1)(1)121211(2)(2)(2)(2)1212122212( )( )( )( )1212nnnnttxxppttxxppttxx( )kix: k 個目、i 番目変数(記述子) 値 jip: 第 i 主成分対応、j 番目変数(記述子) 重 (): k 個目、第 i 主成分値( )kit第主成分考9 1211121t = xxpp制約条件(重)定数倍、主成分変二乗和 1 10 2212111pp主成分分散最大化 (分散) 最大方向第一主成分軸元、各変数平均 0p.7 変数線形結合表主成分平均 0分散最大化、主成分値二乗和最大化対応 最大化

4、！112( )11niiSt: i 個目、第主成分値( )1itS最大化求12 2112121121122221122111112121112niiniiinnniiiiiiiStx px ppxppx xpx 2212111pp 1211,pp規格化条件 満S 最大化Lagrange 未定乗数法Lagrange未定乗数法13 2212112222221122121111121211111121nnniiiiiiiGSpppxppx xpxpp 未知定数下 G 最大 , 求 1211,ppG 最大G 極大G , 偏微分 0 1211,ppG偏微分 014G 最大G 極大G , 偏微分 0 12

5、11,pp 2121112111212121211100nniiiiinniiiiixpx xpx xpxp 2111211122112211nniiiiinniiiiixx xppx xx0行列表現行列表15 2111211122112211nniiiiinniiiiixx xppx xx0T1X XE p0 (1)(1)121(2)(2)112121( )( )1210,01nnxxpxxpxx XEp、固有値問題16以外解、 12110ppTX XE行列式 0 必要 固有値、 p1 加 p2 固有固有値問題 p1, p2 求、対応主成分計算 2111211122112211nniiiiinniiiiixx xppx xx0T1X XE p0寄与率17第 i 主成分対応固有値 i 、主成分二乗和等、2( )1njiijt固有値 i 第 i 主成分情報量仮定全固有値中 i 割合寄与率 ci 、第 i 主成分情報量割合用1iimjjcm : 主成分数累積寄与率第 i 主成分寄与率和、第 i 主成分累積寄与率、可視化第主成分累積寄与率 0.75 累積寄与率 0.9 超最初主成分用用18逆写像PCA、低次元空間写像低次元空間写像点、元空間戻逆写