第8节特征提取与选择

1、电子科技大学电子科技大学师师 君君线性变换统计特征图像特征特征选择线性变换： 傅里叶变换、短时傅里叶变换、分数阶傅里叶变换、小波变换 连续变换： 离散变换： 基本过程：相参积累（内积），遍历参数（空间维数）。 适用对象：规律信号（连续性、带限信号、有限信号）1( )( ) ( ,)( )( )( ,)mny nx mn mx my nn m1( )( ) ( ; )( )( )( ; )y sx tt s dtx ty ss t ds变换：逆变换：有限长离散变换： 矩阵理解： 离散有限长度变换可表示为矩阵形式，利用矩阵理论可以很容易的讨论变换的性质。1yHxxH y变换：逆变换：有限长离散变换

2、： 信号逼近参数化表征： 将信号表示为一组基函数的线性组合。 离散变换：将信号变换到参数域，利用参数表征信号。 ( ;)( )( ), ( ;)( )( ), ( ;)( ;)nn my nx mn mx mx mn mn m，： 变换的基函数簇张成了线性空间： 施密特正交化可保证函数簇正交变换系数相当于其在线性空间的投影信号逼近：( )( , )mnx mam n有限长离散变换： 完全表征： 如果变换空间的维数大于等于信号空间维数，则完全表征。 如果变换后向量维数低于信号维数，投影空间为信号空间的子空间，存在信息（能量）的丢失， 丢失能量位于投影空间的正交子空间 中。 yV xdVx傅里叶变

3、换（略）0 0010 20 (1)1011121(1)(1) 0(1)1(122222222210222) 2(1) (1)2.( )( ).jjjjNNNNjjjjNNNNNjkiNijjNNjjNNNNNNNNNeeeeeeeey kex ieeee (0)(0)(1)(1) .(1)(2)(1)(1)xyxyx Ny Nx Ny N频谱特征02004006008001000-2-1.5-1-0.500.511.522.5302004006008001000-2-1.5-1-0.500.511.502004006008001000-3-2-1012302004006008001000020

4、0400600800100012000200400600800100001002003004005006007000200400600800100002004006008001000120014001600clear allclose alltt = 1 : 1000;tt = tt / 1000;y1 = randn(1) * exp(j * 2 * pi * 100 * tt) + randn(1) * exp(j * 2 * pi * 200 * tt);y1 = y1 + 0.3 * (randn(size(y1) + j * randn(size(y1);y2 = randn(1)

5、* exp(j * 2 * pi * 100 * tt) + randn(1) * exp(j * 2 * pi * 200 * tt);y2 = y2 + 0.3 * (randn(size(y1) + j * randn(size(y1);y3 = randn(1) * exp(j * 2 * pi * 350 * tt) + randn(1) * exp(j * 2 * pi * 250 * tt);y3 = y3 + 0.3 * (randn(size(y1) + j * randn(size(y1);figure; plot(real(y1), linewidth, 1);figur

6、e; plot(real(y2), linewidth, 1);figure; plot(real(y3), linewidth, 1);figure; plot(abs(fft(y1), linewidth, 1);figure; plot(abs(fft(y2), linewidth, 1);figure; plot(abs(fft(y3), linewidth, 1);小波变换小波变换*,( , )( )( )fsWsf tt dt,1( )sttss-505-0.4-0.200.20.40.60.81Mexican hat wavelet-8-6-4-202468-1-0.500.51

7、1.5Meyer wavelet-8-6-4-202468-0.500.511.5Meyer scaling function 21. 2. 03. 1t dtt dttdt 小波变换的计算小波变换的计算 给定s参数，小波变换属于卷积操作； 通过一系列FFT，可以实现小波变换；小波逆变换：小波逆变换： 小波变换可逆：小波变换可逆：201( )( , )ftdsf tKWsdtsss 奇异特征检测：奇异特征检测： n阶消失矩。02004006008001000-2-1.5-1-0.500.51x 10-34004505005506000.951400450500550600-101x 10-6d

8、1400450500550600-505x 10-6d2 load scddvbrk;x = scddvbrk;level = 2;c,l = wavedec(x,level,db4);d1 d2 = detcoef(c,l,1:level);subplot(311),plot(x),xlim(400 600)subplot(312),d1up(1:2:1008)=d1;plot(d1up);ylabel(d1),xlim(400 600)subplot(313),d2up(1:4:1020)=d2;plot(d2up);ylabel(d2),xlim(400 600) figure; plo

9、t(diff(x)成像系统的分辨率成像系统的分辨率 观测过程：观测过程： 模糊函数、点扩展函数：模糊函数、点扩展函数：( )( ) ( , )a nf tt n dt01002003004005006007008009001000-0.4-0.200.20.40.60.81多多分辨逼近分辨逼近 如果将小波母函数看作模糊函数如果将小波母函数看作模糊函数/ /点扩展函数，则相邻层间的小点扩展函数，则相邻层间的小波系数相当于对信号的不同分辨率逼近。波系数相当于对信号的不同分辨率逼近。 小波小波母函数母函数为为带通滤波器（带通滤波器（0 0频分量为频分量为0 0），不是低通滤波。），不是低通滤波。尺度

10、尺度-2-2关系关系 j j层小波函数可以表示为层小波函数可以表示为j+1j+1层小波的线性组合。层小波的线性组合。1( )( )()jjnth ntn1( )( ),()jjh nttn共轭镜像滤波器不同层小波系数的迭代关系：不同层小波系数的迭代关系：1111( )( ),()( ),()()()( ),()()()( )()jjjmjmjmjanf ttnf th mntmh mnf ttmh mn amh nam1( )( )( )jjanh nan多多分辨分解分解 g(n)为h(n)对应的高通滤波器 非基2多分辨率分解。 *( )()jgeh多尺度分解： 信号可以分解为不同尺度的细节矩

11、阵的组合。检测直线：检测直线：1020304050607080901001020304050607080901002040608010012014016018020406080100120140( , )( sincos ),(cossin)fRsftstsdtclear allclose allclc AA = zeros(100); for iii = 1 : 65 AA(iii, round(1.5 * iii) = 1;end figure; imagesc(AA) figure; imagesc(radon(AA)针对特定信号的变换：针对特定信号的变换： 线性调频信号检测线性调频信号

12、检测22200200(2)(2)(2)(2()2( , )( )jft ktjf t k tjft ktjf tkk tjftS f ks t edteedteedt020040060080010000204060801001201401002003004005006007008009001000102030405060708090100clear allclose all tt = 1 : 1000;tt = tt / 1000; y1 = 1 * exp(j * 2 * pi * 300 * (tt - 0.3) .2) + 1.5 * exp(j * 2 * pi * 600 * (tt

13、 - 0.6) .2); figure; plot(abs(fft(y1), linewidth, 1); S = zeros(100, 1000);for iii = 1 : 100 S(iii, :) = abs(fft(y1 .* exp(-j * 2 * pi * iii * 10 * tt .2);end figure; imagesc(S)线性变换统计特征图像特征特征选择系统识别：系统识别：随机变量的描述：随机变量的描述： 概率分布函数： 概率密度函数： 上述描述是对一元随机变量特征的完备描述。( )()f xP Xx( )( )dF xf xdx( )()F xP Xx-1.5-

14、1-0.500.511.501020304050607080-4-3-2-10123401020304050607080-0.500.505101520253035400123456020040060080010001200特征函数（矩生成函数）： 概率密度函数的傅里叶变换第二特征函数：( )( )j xf x edx( )ln( )统计特征：统计特征： 样本到实数的映射：样本到实数的映射：矩特征矩特征 各阶矩相当于对特征函数的泰勒展开。 所有阶矩可以完备表示无穷可导的PFD。0( )()( )nnnnndmE Xx f x dxdclear allclose allclc N = 10000

15、G = randn(N, 1);M1 = sum(G) / NG = G - M1; M2 = sum(G .* G) / NM3 = sum(G .3) / NM4 = sum(G .4) / NM5 = sum(G .5) / N :f 累积量特征累积量特征 对第二特征函数的泰勒展开，可以完备表示随机变量。0( )nnndd累积量特征累积量特征 零均值累积量的计算 一阶累积量：1=0 二阶累积量：2=2=m2 三阶累积量：3=m3 四阶累积量：4=Ex4-34 高阶累积量计算复杂； 高斯分布3、4、等于0clear allclose allclc% 产生随机样本N = 10000;samp

16、le(1, :) = 0.3 * randn(1, N) + 0;sample(2, :) = 0.3 * randn(1, N) + 00;sample(3, :) = 1 * randn(1, N) + 00;sample(4, :) = 1 * (rand(1, N) - 0.5) + 00;% 计算统计量for iii = 1 : 4 G = sample(iii, :); % 矩 M2(iii) = sum(G .* G) / N; M3(iii) = sum(G .3) / N; M4(iii) = sum(G .4) / N; M5(iii) = sum(G .5) / N; %

17、 累积量 K1(iii) = sum(G) / N;% G1 = G - K1(iii); K2(iii) = sum(G .* G) / N; K3(iii) = sum(G .3) / N; K4(iii) = sum(G .4) / N - 3 * K2(iii) * K2(iii); figure; hist(G, 500)endfigure; hold on;plot(M2 / M2(1), r-, linewidth, 3)plot(M3 / M3(1), g-., linewidth, 3)plot(M4 / M4(1), b, linewidth, 3)plot(M5 / M5

18、(1), k, linewidth, 3)figure; hold onplot(K1 / K1(1), r-, linewidth, 3)plot(K2 / K2(1), g-., linewidth, 3)plot(K3 / K3(1), b, linewidth, 3)plot(K4 / K4(1), k, linewidth, 3)11.522.533.54-100-5005010015020011.522.533.54-1000-800-600-400-2000200随机过程统计量（多元随机变量）： 均值： 自相关： 互相关： 高阶统计量：( )( )m nE X n( , )()(

19、 )R m nE X m X n( , )() ( )R m nE X m Y n()( )( ),()( ) ( ),() ( ) ( ),( () ( ) ( ).E X m X n X kE X m X n Y kE X m Y n Y kE Y m Y n Y k00.511.52x 104012345678x 10400.511.52x 10400.511.522.533.544.55x 104clear allclose allclc X = randn(1, 10000);figure; plot(abs(fft(xcorr(X) b = fir2(10,0 : 0.1 : 1,

20、 1 : -0.1 : 0); Y = filter(b,1, X);figure; plot(abs(fft(xcorr(Y)线性变换统计特征图像特征特征选择一阶图像特征（直方图）一阶图像特征（直方图）50100150200501001502005010015020050100150200020040060080005010015020025002004006008001000050100150200250二阶图像特征（共生矩阵）二阶图像特征（共生矩阵）5010015020025050100150200250线性变换统计特征图像特征特征选择特征选择的原则： 1、有效（显著）特征：特征能体现不

21、同类之间的差异 2、独立特征：多个特征之间应相互独立基于概率分布的显著性评判PDF 一维情况ROC曲线/AUC面积（虚警/检测概率曲线）显著性评判高维情况 特征分布函数： Kullback-Leibler距离： 散度： 当函数相等，散度为0，显著性最差，散度越大越容易分离。( /),1,2ipix( )( , )( )ln( )gL f gfdf xxxx11212( /)( /)ln( /)pDpdpxxxx012345670123456显著性评判高维情况 Chernoff界： 某特征贝叶斯分类误差的上界 Bhattacharyya距离： S=2，高斯分布。1122111212min( ()

22、 ( /),() ( /)()()( /)( /)essssCBPPP xPP xdxPPP xP xdx12112121212112()()ln()822TB min(ln ,ln )ln(1)lnmax(ln ,ln )absasbab基于样本的特征评估散布矩阵（scatter matrix） 类内散布矩阵： 类间散布矩阵： 混合散布矩阵：;wiiTiiiiSPSSExxx00TbiiiSP00TmSExxmwbSSS散布矩阵（scatter matrix） J3越大，特征越明显。Fisher判别率：1mwtrace SJtrace S12wmJS S13wmJtrace S S21222

23、12()FDR特征选择 从特征向量中选择特征明显的子向量 方法 遍历法，遍历所有自相量组合，计算对应的显著性，选择最明显的一个 次优搜索技术，每次剔除一个特征，选择子问题最优； 浮动搜索技术： 最优搜索；分类前，需要对特征向量进行预处理分类前，需要对特征向量进行预处理 数据归一化、消除冗余信息、降低处理维数数据归一化、消除冗余信息、降低处理维数数据规范化数据规范化 0 0均值化均值化减去均值减去均值 归一化归一化除以方差；除以方差；去去相关相关 主分量分析（主分量分析（PCAPCA） 独立分量分析（独立分量分析（ICAICA）KLKL变换变换 希望通过线性变换，使得特征向量的互相关矩阵为对角矩阵。 线性变换： A为Rx特征分解中的正交矩阵（酉阵）。1TTiiiRENxxxx xyAxTTTTREER yxyyAxxAAA主分量分析主分量分析 主分量分析（PCA）：选择m个大特征值对应的