最小二乘法数学的性质

1、（参考資料）最小二乗法数学的性質経済統計分析（2013 年度秋学期）?回帰分析最小二乗法被説明変数 yt動説明変数 xt動説明回帰分析説明変数?単回帰説明変数以上?重回帰被説明変数係数説明変数残差（従属変数）（独立変数）定数項傾yt? ?xt?t . (1)xt 説明説明部分部分説明部分小回帰式係数（?, ?）推定有力方法 最小二乗法21?最小二乗法回帰考方y回帰直線回帰直線標本? ?x近通y近観測点y 軸方向距離（ = 残差）測全体垂直方向距離最小化？?(1)残差総和最小化yt残差ytyt正負相殺t(2)残差絶対値総和yt?最小化?T数学的扱2?RSSt 1?t最小化(3)残差乗総和（残?

2、定差平方和）最小化,? 最小二乗法xtx3?最小二乗法（単回帰）説明部分（残差）乗総和（残差平方和RSS）最小化係数（ ?, ? ）求Min?2残差乗総和t? ?,最小化一階条件?本方程式?t20?t20?本方程式、個未知数（ ?, ? ）?）求4? 方程式解（ ,2?最小二乗法（単回帰）残差 ?t yt ( ? xt ) 平方和（RSS）最小化Min RSS?t2( yt? xt )2?, ?最小化一階条件RSS? xt )( 1)2( yt?2ytT ? xt0.(2)RSS? xt )( xt )2( yt?2xt yt? xt ?xt20 .(3)(2), (3) 式（正規方程式）解、

3、RSS最小化?求,5正規方程式T ?xtyt .(2)?xt? xt2xt yt .(3)? 未知数方程式本： 解 ?, ? 得(1)?yt?xtTy?xT(2)代入Txy?Tx 2?xt2xt yt?xt ytTxy(xt x)(yty) Sxyxt2Tx2( xtx) 2Sx2最小二乗? y?x.(4)推定量Sxycov( xt , yt )?. (5)Sx2var(xt )S2( xt2tx)( yt?xxyx ) , S( xy)63?最小二乗法代数学的性質最小二乗法求 ?, ?, ?、以下性質持 推定回帰直線、標本平均点(x, y) 通y?x 残差平均?0?t0 残差説明変数xt 無

4、相関cov( xt , ?t)0( xtx) ?t0 残差、yt推定値 y?t?xt無相関?,?)0?y)?0cov( ytt( ytt注）定数項含推定成立7?最小二乗法代数学的性質（図示）（参考）?y残差)負相関?( xt , yt大負残差残差( xt , yt)出(xt , y?t )= 回帰直線偏分布y(x, y)残差総和 回帰直線標本平均点通x最小二乗法x84?最小二乗法代数学的性質（証明）証明 (4) 明証明 (2) ?tyt( ?xt )総和、?t( yt?xt)0 . . (6)証明?xt(3) xt ?txt( yt?)0. (7)、(6)(7)用、(xt?x?0x) txt

5、tt?(xt )( yty) tx) t?( xt?0x) t9?平方和分解y平均回変動（平方和 Sy2( yty)2）、説明変数 x 変t22t説明部分、説明残差平動 Sx( xt x)方和分解( yty)2?2( xtx) 2?t2（）8?y)2?2( yttTSSESSRSS総平方和説明平方和残差平方和(Total Sum of Squares)(Explained Sum of Squares)(Residual Sum of Squares)（証明）(ty)2( ? t?t )( ?2yxx) ?(xtx)2?t ?2tx)22?( t)?2tt( xxx0(6)(7) 右辺第項、

6、(8) 式導105?決定係数決定係数 R2 yt 総変動（TSS）説明部分（ESS）比率 R2 近、推定式説明力高2ESSRSS?2S2Sxy2R1x(9)TSSTSSSy2Sx2 Sy2x y 相関係数 r xyrxy( xtx)( yty)Sxy( xtx) 2( yty) 2SxSy 決定係数相関係数関係R2rxy2（決定係数相関係数二乗）?R2 、相関係数同、変数間直線的関係 強表11? 決定係数相関係数（図示）決定係数（相関係数二乗）、 直線的関係 強表。非線形関係検出力。 厳密正相関 厳密負相関 厳密次関係101530rxy = 1rxy= 1R2=1R2= 11055rxy =

7、0y = (x-5) 225R2=0201510? 0y = 2 + 0.7xy = 12 0.7x5?y 10000051005100510 強正相関 完全無相関1010rxy= 0.96r xy = 0R2 = 0.92R2=055? 0y = 2 + 0.7x +? y5. 00005100510? y 変動 92 x 変動説明（R2=0.92）? R2 = 0 、必(x, y) 間何関係示。厳密次関係 R2 = 0 。? R2 = 0 時、 ? 0, ? y。126?外値影響最小二乗法 ? 外値（異常値）影響大推定法最小二乗法残差平方和?2最小?求t, ? 著大残差影響受25大?7消?

8、上昇20(x7,y7)? 最小二乗法回帰線 標本平均点 (x , y) 通15外値?7 残差総和性質標本平均点移動? 著大残差、10(x , y)制約満、回帰線外値引50標本除平均024681013?外値影響（例） 問題推定 非線型関係12119865yt3.00.5x?y3.00.5x?ttttt3R20.6672R20.66736912153691215 外値影響 (1) 外値影響 (2)151212996yt3.00.5xt?6yt3.00.5xt?tt3R20.6673R20.66736912156101418右数値例、同最小二乗推定量生? 推定値見、誤結論出可能性外値影響関数形誤避、

9、残差調、特殊出来事生期間等外等大切147?最小二乗法（重回帰）重回帰説明変数以上回帰分析（説明変数場合）被説明変数説明変数残差定数項係数yt ?1 x1t?2 x2t?tx1, x2説明説明部分部分 yt推定値（ y?）t最小二乗法： 説明部分（残差）乗和（残差平方和 =RSS）最小係数（?, ?1, ?2）決定15? 最小二乗法考方（重回帰場合）回帰平面説明変数（ x1, x2 ）場合 基本的考方y?x?xy22t?t1 1tyt?tx2?yt?x2一定（例 x2 =0）平面1切場合傾x1単回帰場合同回帰平面標本近通近観測点y軸方向距離（ = 残差）測数学的扱残差乗和（残差平方和）最小? 最

10、小二乗法168?最小二乗法（重回帰）説明部分（残差）乗総和（残差平方和RSS）最小化係数（?, ? , ? ）求12Min?t2残差乗総和?, ?1, ?2最小化一階条件?本方程式222?t0,?t0,?t0?12?）本方程式、個未知数（ ,1 ,2?17? 方程式解（,1 ,2）求?最小二乗推定量導出（重回帰）説明変数場合推定回帰式yt?1 x1t?2 x2t?t残差?tyt( ?1x1t?2 x2t )残差平方和RSS?t2(yt ?1 x1t?2 x2t ) 2最小化Min?2(yt?2? RSSt1x1t2 x2t ), 1, 2最小化一階条件： RSS?微分=0置,1, 2? 正規方

11、程式ytT ?x1t?x2t12?2?x1t yt?x1tx1tx1t x2t12x2t yt? x2t?1x1t x2t?2x22t189?最小二乗推定量導出（重回帰）係数最小二乗推定量正規方程式解?y ?1x1?2 x2?S22S1yS12S2 y1S12S22S122?2S12S2 yS12S1yS12S22S122、22( x1tx1 ) S12( x1tx1 )( x2tx2 )S1S22( x2tx2 ) 2 S1 y( x1tx1 )( yty)2( yty)2S2 y( x2tx2 )( yty)Sy19?重回帰係数意味重回帰分析係数 ?他説明変数影響除上、当該説明変数被説明変

12、数及影響示他説明変数一定、説明変数変化場合影響示偏微分係数yt?1 x1t?2 x2t ?tx2 y与影響除x1一定 x2変化上 x1 y与影響場合 y影響 x2一定 x1変化場合 y影響2010? 最小二乗法代数学的性質（重回帰）最小二乗法重回帰yt ?1 x1t2 x2tk 1 xk 1tt、単回帰同様以下性質持（証明略） 推定回帰式、標本平均点(x1, x2 ,.,xk 1 , y)通y?1 x1?2 x2?k 1 xk 1 残差平均?0?t0 残差説明変数xit (i = 1, 2,k ,1) 無相関cov(xit , ?t ) 0( xitx) ?t0(i 1,.,k1) 残差、 y

13、t 推定値y?t ?1 x1t?k1xk 1t無相関?0?0cov( yt , t )( yty) t注）定数項 a 含推定成立21? 最小二乗法代数学的性質（図示）回帰平面?残差yyt1 x1t2 x2 t総和?tx2( x1 , x2, y)?残差、 x1t , x2t , yt（=回帰平面）対偏分布?回帰平面標本平均点通1x12211?平方和分解決定係数（重回帰）重回帰、単回帰同様、yt 平均回変動（総平方和( yt y) 2）、説明変数x 変動説明t (i = 1,., k1)部分、説明残差平方和分解( yt y)2?y)2?2t( ytTSSESSRSS総平方和説明平方和残差平方和(

14、Total Sum of Squares)(Explained Sum of Squares)(Residual Sum of Squares)、yt 総変動説明部分割合示決定係数同様定義2 ESSRSS?t2R112TSSTSS( yt y)23?自由度修正済決定係数決定係数 R2 、説明変数追加必増大（本来関係変数追加必増大）、説明変数数異説明力比較、自由度修正済決定係数 R2用R 21RSS/(Tk)TSS/(T1)RSS自由度TSS自由度? 説明変数数 k （定数項含）増、自由度低下補残差平方和 RSS減少、 R 2 低下 .、説明変数数異選択基準良用、赤池情報量基準（ AIC ）基準

15、（SC ）RSS2kRSSkAIC lnTSC lnln TTTT値小良、説明変数増加課2412? 自由度意味自由度全体標本数（ T）、標本課制約数除（自由標本数）単回帰自由度回帰直線決定、最低個標本必要? 自由動標本 T2個重回帰自由度（説明変数 3（定数項含）場合）回帰平面決定、最低個標本必要? 自由動標本 T3個（説明変数 k個（定数項含）場合）回帰式決定、 k本正規方程式必要最低 k個標本必要? 自由動標本 Tk個25?自由度意味（図示）標本数場合標本数場合標本数 10 場合4.04.04.03.03.03.02.02.02.01.01.01.00.00.00.0-4-20246-4-20246-6-4-20246-1.0-1.0-1.0-2.0-2.0-2.0直線決定最低個直線決定最低必要標直線決定最低必要標標本必要本数（個）個余分本数（個）個余分回帰直線必個標（自由）標本利用（自由）標本利用本上通決定? 標本個分直線自由? 標本個分直線自由? 直線自由動余地動余地動余地（自由度）（自由度）（自由度） 自由