机器学习matlab13降维与特征选择

第一 第二 第四 第五 第六 支持向量机（SupportVectorMachine,第七 极限学习机（ExtremeLearningMachine, 第九 遗传算法（GeneticAlgorithm,第十 粒子群优化（ParticleSwarmOptimization,PSO）算第十一 蚁群算法（AntColonyAlgorithm,第十二 模拟退火算法（SimulatedAnnealing,第十三 降维不特征选主成分分析（Principle ysis,

x

......x1k...... X

2kx ...... n2 nk

1Xt1

Var(P) 21t'X'Xt V1X'

n 1Lt'Vt 1 L2Vt2t

1

VtL(t't1)

1 1 111 1由此可知，t

是V的一个标准化特征向量

Var(Pt'Vtt'

t't

Pm前m个主成分携带的信息总和 Var(Pi) 偏最小二乘法（PartialLeastSquares,PCA方法提取出的前若干个主成分携带了原输入变量矩阵的大部分信息，消除了相互部分的信息。并没有考虑主成分

......x1k......

y1yX

2k

Y2 ......

...y n nk nt1u1

Xw1Yc1

w1c1t1应尽可能大地携带输入变量矩阵X②u1应尽可能大地携带输出变量矩阵 的信息t1和u1由主成分分析原理可知，条件（1）和条件（2）t1u1Var(t1)Var(u1)根据典型相关分析，条件（3）t1u1r(t1,u1)上述问题可以转化为计算t1和u1Cov(t,u)t'uw'X'Yc 1 st:w11

Lw'X'Yc(w'w1)(c'c 1

X'Yc2w 1 2 1 2

w'X'Y2c

X'Yc X'YY'Xw222w'X'YcCov(t,u

Y'Xwc

Y'XX'Yc''

L(c'c1)111c1t1

是对应于矩阵Y'XX'Y最大特征值的单位特征向Xtp'

X Ytr'Y 1若回归方程的精度已经满足要求，则停止；否则，利用残差矩阵X 和Y，计算第二主成分，并重新建立回归方程。以主成主成分回归分偏最小二乘pCOEFF=p(X)performsprincipalcomponents ysis(PCA)onthen-by-pdatamatrixX,andreturnstheprincipalcomponentcoefficients,alsoknownasloadings.b=regress(y,X)returnsap-by-1vectorbofcoefficientestimatesforamultilinearregressionoftheinyonthepredictorsin[XL,YL]=plsregress(p)computesapartialleast-squares(PLS)regressionofYonX,usingpPLScomponents,andreturnsthepredictorandresponseloadingsinXLandYL,respectively.Filtervs.搜索正则化方法（L1范数、… 前向选择后向选择广义方FSPPlotandSETFeatureSelectionPath

Sparsity-ErrorTrade-off65selectedgeneralisationselectedgeneralisation 2numberofselected

11

numberofselected Dataguru（炼数成金）是与业数据分析，提供教育，，内容，社区，，数据分析业务等服务。我们的课程采用新兴的互联网教育形式，独创地发展了逆向式网络培训课程模式。既继承传统教育重学习氛围，重竞