新版课件七、正则化网络

1、第七章正则化网络7.1 引言(RegularizationTheory)(Regularization Networks)7.4 小结回忆最小平方误差准则的线性判别函数：训练样本：(x1, y1 ),(xn , yn )x (x , x ) , y ( y , ydT)T1iii1n目标函数：f (x) wT x b xT w b最小平方误差准则：ni1(w, b) minw ,b(x w b y )T2min Jw ,bMSEii7.1 引言n(w, b) 2x w b TJyMSEiii1JMSE (w, b) 2ny 0 x w b Tiibi1b 1 nx w y m w 1nny m

2、T w yTTiijni1j 1(w) xni1 mT w y y 2LMSEii7.1 引言7.1 引言去均值后可以表示为：n2(w) minw(xT w y )2 min Xw ymin LMSEiiwwi1 x1xd y1 11T y y , n1d nxxn nndnn xi i1 0, yi 0.i1如果矩阵XTX可逆，那么有最小二乘解：L(w) 2XT (Xw y) 0MSEXT Xw XT y w T y Xy1 XT7.1 引言7.1 引言如果矩阵XTX不可逆，梯度下降算法L(w) 2XT (Xw y)MSEw(t 1) w(t) (t)LMSE (w) w w (t ) w(

3、t) 2(t)XT (Xw(t) y) w(t) 2(t)(XT Xw(t) XT y)7.1 引言如果矩阵XTX不可逆，最小平方误差准则的解不是唯一的：矩阵X的零空间N(X)（Null Space）N (X) w | Xw 02 的解，显然，如果 w 是min y Xww则w0 0 N (X)，w w w0 也是解。7.1 引言如果已知 f ，那么给定一个xi，就有（正问题）：xii是，给定n个训练样本现在的 x , y f条件下，求解。称这样为逆问题（反问题）。7.1 引言逆问题的解是否存在？如果存在，是否唯一？是否稳定？解决的办法：剃刀（定性）正则化方法（定量）：对函数集施加约束条件。7

4、.1 引言一般的逆问题：,TYHibert空间。A :算子A已知 A和，求解。逆问题Well-ed与ill-ed：Hadamard关于well-ed问题的定义：存在性：对每个 y Y 方程都有解 f。y Y方程都有唯一解 f 。唯一性：保证对每个1稳定性： A是连续，保证了解的稳定性。y的小扰动，对应 f 的小扰动。不是适定的（well-ed）就称为不适定的（ill-ed）。正则化理论(Tikhonov 1943，1963)：有一大类问题，在Hadamard意义下是ill-ed问题，但可以找出一个稳定的近似解。Tikhonov的：T上求解，把解 f 限制在一个子不在整个空间集 H T 上求解，

5、可能得到稳定解。Af y,f H T , y YTHTikhonov意义下的well-ed问题：H T存在一个集合满足：，都存在属于 H 的解。对任意y A(H ) YH 中的解是唯一的。1H 中的解是稳定的：A限制在集合 A(H ) Y上是连续的。与Hadamard意义下well-二者等价如果：ed定义的联系：H TA(H ) Y什么样的 H可能满足有稳定解的条件？要求：A1限制在集合 A(H ) 上连续。定理（逆算子的稳定性）：A1AA(H )在紧集 H X如果连续，则在上也连续。怎样找 H？直接找几乎不可能。正则化方法：通过增加约束条件来找H ，称为假设空间(Hypothesis Spa

6、ce)。最小平方误差准则的线性判别函数：2min Lwmin XwyMSEww正则化方法：增加约束条件或先验知识，把解限制在某个假设空间H中。H 02 | (w正则化最小平方误差准则：22L w )L w ) Xw2 2X 0TXwwnw XT yXT X Iiii11 XTI令 X (I 1 XT y X yT X则假设空间举例参数形式m阶多项式截断H 系数f (x) axmfa10mH ff (x) 1 sin(x)b1 cos(x)0am sin(mx) bm cos(mx)mH f |(x x)线性基函数展开i1m(x i K x, wi )i1非线性基函数展开H f |假设空间举例非

7、参数形式 , 02H(x) dx1 (x) dx , 02H2正则化的一般形式nL( y , f (x ) ( f )minfiii1( f )是定义在假设空间H的一个函数。在很宽泛的条件下，正则化解是：存在的唯一的连续依赖于数据的正则化与剃刀原理：正则化通过假设空间提供了一种合理的剃刀方法。ni1L( y , f (x ) ( f )minfiin L( yi , f (xi )误差Trade off i1( f )约束条件正则化参数 0，表明问题不受约束。正则化参数 ，表明问题完全受约束控制，与样本无关，或者说样本完全不。逆问题的不适定性是问题本身所固有的，如果没有关于问题的先验信息，这一

8、困难是无法克服的。Lanczos “A lack of information cannot be remedied by any mathematical trickery!”一般的最小平方误差准则：训练样本：(n , yn )(x , x ) , y ( y , y1dT)Txiii1n目标函数：函数 f (x)最小平方误差准则：n( f ) min ( y f (x )2min JfMSEiifi17.1 引言7.1 引言7.1 引言希望解是“好的、光滑的” ： , 2H(x) dx01 (x) dx , 02H21的Fourier变换和逆变换：实值函数( x)edx12f)(edPar

9、seva定理：12d2f)(2 1 f (x) jf ()e2jxdf (x) jf ()12d2 f (x) 2 dx jf () ( f ) 12 f () 1 2 1 22 2) df (d1 22f () 1 2dK1 () 1 2 2 f ()e jx df (x) f (x) 2 f ()12d2 f (x) 2 dx 2 f ()( f ) 22 f () 1 2 1 22 4) df (d1 42f () 1 2dK 2 ()假设空间的频域表示：2f ()1 ( f ) d , 0H1 fK ()12f ()2 ( f ) d , 0H 2 fK ()2对称非负函数 K ()

10、的Fourier逆变换K (x) 称为核函数，如果 K () 0, 。如果K () 0 ，核函数称为正定核函K (x)数。如果 K () 0 ，核函数K (x) 称为条件正定核函数（半正定核函数）。核函数举例：K (x) K (x) ) 1/) 1/2/34/2222/ x2/ e K (K12xKx() U ( ) U ( )Kx对函数进行高通滤波。函数越光滑，高频成分越少，高通滤波所得到的能量就越小。2 f ()d( f ) 1 2K ()最小平方误差准则：n( f ) min ( f (x) y )2min JfMSEiifi12f ()H f ( f ) d , 012K ()定理：假

11、设 K () 是正定核函数 K (x)的Fourier变换。则最小化以下泛函2 f ()dnJ ( f , ) i1 1 2 K ()( f (x ) y )2iinf (i )有i1其中K Ic yK K K (x)xijijnnnnc c , c , y y , yTT1n1n正则化网络（Regularization Networks）：ocnc1c2K (x x n )K (x x1 )xdx1x2异或问题（XOR）: x (1,0)T , x (0,1)T1122: x 3 (0,0), x (1,1)TT4XOR的正则化网络（RNs）oc3c11c2c44z23zzz2x xexp

12、i 2 2x1x2解XOR问题x (1,0)T , x (0,1)T (1,1)T12x3 (0,0), xT4y1 1,y2 1, 1, 1y3y4)K (j44K Ic ynf()ii1正则化网络 2x xe 11 exp 1 2e 1 0 1 1 , e 1 / 2 0 e 1 / 212x x z1 exp 2 1 / 22e1 / 2e2 z z 3 2x x e 1 / 2 e 1 / 2exp 3 e e 4z21 / 21 / 2 1 0 , 0 1 e 112x x1 exp 4 e 12正则化网络的解是在样本点附近，通过核函数线性组合而成的。正则化网络可以在闭区间上一致意连

13、续函数。近任对x作线性变换：z Wx(Wx)2 F ()dnJ (F , ) 1 2 K ()(F (z ) y )2iii1nF (z) ci K (z z i )有i1nnf (x) F (z) ci K (z z i ) ci K (Wx Wxi )i1i1广义正则化网络（GeneralizedRegularization Networks）：f (x) ci K (Wx Wi )i1m, ci , W, i 为待定参数, m n。m广义正则化网络（GRN）：obcmc1c2K (Wx W i )xdx1x2选择不同的核函数，可以得到不同的广义正则化网络。径向基函数（Radial Bas

14、is Function）：2rGauss函数：)(exp(2 2 )对于径向基函数则有径向基函数网络：f (x) Gmx iiWi12W x W WxTTx径向基函数网络（RBF）：ob1 2 mx iG()Wxdx1x2对于Gauss函数，意味着用不同均值、相同协方差矩阵的Gauss函数的线性组合来近。m(x )WT W(xi )T ef (x) 2iii1m(x )1 (xi ) 2Teiii1 1 W WTXOR问题非常容易地被RBF网络解决。10(,1)T 2)T0,径向基函数网络（RBF）解XOR问题1 (0,1), 2 (1,0)TT22x x f (x) exp exp b121

15、2224, b) min f (x ) y2min J ( ,12ii1 , 2 ,b1 , 2 ,bi1(1 ,2 , b) (6.4592, 6.4592, 7.8354)径向基函数网络（RBF）ob1 2z1z 2exp 2x1x2径向基函数1 (0,1), T2(1,0)T 2x exp 1 2 z1 22zx exp 2 2 e 1 1 0 1 0, 11e1 e 1 / 2 0 1 e 1 / 2 , 1 / 21 / 2 0 e1e7.4 小结7.4 小结学习问题本质上是逆问题。正则化理论提供了求解逆问题的一般性框架。正则化方法在经验数据和外部约束之间进行折中。选择不同的约束条件下的假设空间，可以得到不同的正则化解。7.4 小结正则化网络的解是在样本点附近，通过核函数线性组合而成的。正则化网络等价于利用Parze