短期课程统计优化第45讲稿

1、2017统计优化短期课程统计优化明尼苏达大学： 邹交通大学：晖桂林科技大学May 12第十一届全国数学规划学术会议内容提纲第一讲第二讲第三讲第四讲第五讲概述统计学习基本 正则化统计学习矩阵回归总结与展望Sparse Penalization MethodsContentBackground LassoSCAD Penalty Adaptive Lasso Elastic NetAdaptive Elastic Net1.2.3.4.5.6.7.LLA Concave Penalized Estimators第一讲第二讲第三讲概述统计学习基本正则化统计学习第四讲矩阵回归第五讲总结与展望矩阵回归目

2、录一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2.非线性回归模型优化模型与算法矩阵回归目录一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2.非线性回归模型降维主成分分析矩阵回归1.线性矩阵回归模型1.1 引入多响应多变量的统计回归问题模型：b = X Ta + w其中，X Î Rm´q 未知的回归系数矩阵(决策变量),b Î Rqa Î Rmw Î Rq响应（观测）变量，（设计）变量，误差(噪声)变量。为了估计回归系数矩阵，需要多次收集数据，假设(ai , bi )

3、06; Rm ´ Rq 是第i次采样实验中响应变量组成的数据，n为采样量，即变量和b = X T a + w , i = 1, 2,L, niii7矩阵回归1.线性矩阵回归模型采用矩阵符号，得到矩阵回归模型：B = AX + W其中,B = (b , b)T)TÎ Rn´ qÎ Rn´ m,L , b响应矩阵12nA = (a , a,L , a矩阵m12W = (w , w)TÎ R n´ q误差矩阵,L , w12n当q=1时，变成经典的单响应变量多元线性回归。”是指采样量n小于或远远小于决策变量矩这里，“阵的行数和列数

4、，即n < min m, q 或 n << min m, q8矩阵回归1.线性矩阵回归模型1.2 矩阵回归概念矩阵回归的概念首次被提出是在2014年的2篇文章【1,2】中，分别发表在统计学顶级期刊Journal of the Royal StatisticalSociety(JRSS)和AnnualReviewofStatisticsanditsApplications（ARSA）上，实际上其模型在2011年统计学顶级期刊Annals of Statistics文章【3,4】中已经出现。1 H. Zhou and L. Li, Regularized matrix regre

5、ssion，Journal of the Royal Statistical Society, Series B, 2014, 76: 463-483.2 M. J. Wainwright, Structured regularizers for high- dimensional problems: Statistical and computational issues, Annual Review of Statistics and its Applications, 2014, 1: 233-253.3 G. Obozinski, M. J. Wainwright and M. I.

6、Jordan, Support union recovery in high- dimensional multivariate regression, Annals of Statistics, 2011, 39(1): 1-47.4 S. Negahban and M. J. Wainwright, Estimation of (near) low-rank matrices with noiseand high-dimensional scaling, Annals of Statistics, 2011, 39(2): 1069-1097.9矩阵回归1.线性矩阵回归模型1.3 代表人物

7、Ø MichaelI.Jordan：院士、和艺术和科学学院院士、获得2015年DavidE.Rumelhart奖和2009年Allen Newell奖（机器学习和人工智能方面）Ø MartinJ.Wainwright：加州大学伯克利分校教授，2014年COPSS奖（统计学“”奖）得主Ø Lexin Li：加州大学伯克利分校教授10矩阵回归1.线性矩阵回归模型1.4 研究意义Ø 随着科技发展和大数据需求，以矩阵形式收集的数据将普遍于科学研究和实际应用领域,例如机器学习与人工智能、脑神经网络、医学影像疾病诊疗、风险管理等。Ø 模型特征：2014年发

8、表在ARSA综述文章【2】和2015年发表在Science上的文章【5】指出，“与约束矩阵回归问题有数据类型复杂且含有多样性、假相关、内生性、测量误差非正态等多种大数据特征”。Ø 新的学、和机遇,需要新的思想、理论和算法，引起统计科学与生物医学等学科领域的和学者的关注。2 M. J. Wainwright, Structured regularizers for high- dimensional problems: Statistical and computational issues, ARSA, 2014, 1: 233-253.5M. I. Jordan and T. Mi

9、tchell, Machine learning: Trends, perspectives, and prospects, Science,2015, 349: 255-260.11矩阵回归目录一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2.非线性回归模型降维主成分分析矩阵回归2.优化模型与算法现有文献多数考虑情况带有低秩或稀疏约束的矩阵回归问题,思想是转化为矩阵的正则化最小二乘回归模型。min1 | B - AX |2 +lP( X )F2X| B - AX |2是矩阵最小二乘(Frobenius)，其中FRn´q® R 为凸惩罚（

10、正则化）函数，P :l > 0为正则化参数或惩罚参数。一种是将矩阵看成各个列/行一种是假设矩阵为低秩，通过核组，通过l1/lp正则化-I-1,2,3正则化-II-1,2,313矩阵回归2.优化模型与算法Multivariate group lasso 模型【6】2.1min 12F+ lB - AXX2la / lbX1/ aé mùúúûa / bæb ö÷øq:= êåç å Bij，X.×是矩阵的Frobenius其中l / lê&#

11、235; i =1j =1Fèab主要研究a=1, b=2 的模型，将回归系数矩阵看成多个分组列向量，并假设矩阵有较少的行是非零元素。在高的情况下，分别 给出了可以精确恢复真实解的非零行和不能恢复非零行的阈值。6 G. Obozinski, M. J. Wainwright and M. I. Jordan, Support union recovery in high-dimensional multivariate regression, Annals of Statistics 2011, 39(1): 1-47.14矩阵回归2.优化模型与算法2.2 正则化 l1 /l2Mul

12、tivariate group lasso模型【7】122F+ lB - AXminXX,l1 / l2可以解决 multivariate multi-response （MVMR）问题。对于MVMR问题，分别给出了可以精确恢复真实解的非零行和不 能恢复非零行的阈值。7 W. Wang and Y. Liang, Eric Xing, Block regularized lasso for multivariate multiresponse linear regression, JMLR Workshop and Conference Proceedings, 2013.15矩阵回归2.优化

13、模型与算法2.3 Multivariate sparse group lasso模型【8】q1mmin2B,2gi=1j =1gÎGX其中G = 1, 2,L, N, N 为正整数，X g , g Î G中含有至少一个X 的元素， U X g不一定是 X。将矩阵的列和行共同作为指标进行组间正则化，适合许多生物学研究以及在检测多个特征和多个效处理各种复杂群组层次结构。之间的关联，能有8 Y. Li, B. Nan and J. Zhu, Multivariate sparse group lasso for the multivariate multiple linear r

14、egression with an arbitrary group structure, Biometrics, 2015.16矩阵回归2.优化模型与算法正则化模型【9】2.4 矩阵核min 12F+ lB - AXX,2*XX其中是矩阵 X 的奇异值的和。*给出了X的标准M-估计，并分析其在情况下的有效性。通过限制强凸来建立关于回归系数矩阵估计量的Frobenius的非渐近边界。9 S. Negahban and M. J. Wainwright, Estimation of (near) low-rank matrices with noiseand high-dimensional sc

15、aling, Annals of Statistics, 2011, 39(2): 1069-1097.17矩阵回归2.优化模型与算法2.5 基于奇异值函数正则化矩阵回归模型【10】122FB - AX+ J ( X )minXf o s ( X ), s ( X )其中 J ( X ) =为 X 的非零奇异值，f ( w ) = å Ph ,l (| w j |)为实值函数。j对J ( X ) = | X |*, 给出解的度，并利用 fast iterativeshrinkage-thresholding algorithm（FISTA）【11】求解此问题。10 H. Zhou a

16、nd L. Li, Regularized matrix regression，Journal of the Royal Statistical Society,Series B, 2014, 76: 463-483.11 Beck, A. and Teboulle, M. (2009a) A fast iterative shrinkage-thresholding algorithm for linearinverse problems. SIAM J. Imgng Sci., 2, 183202.18矩阵回归2.优化模型与算法2.5 基于奇异值函数正则化矩阵回归模型【10】，Ph ,l

17、(t)除了核还可取为(Ph l, l )t l= hh1h, tÎ()a(0,2,hPl(=t lh2-ht0)-2+(Î,)(b)/t2)1,2,= lth ln( h + t,>()c(Ph)l,1 +( hl¶¶ t- t )+lh >)t=() dP(1,2hl,t £ lt > l( h-l 1)¶ætöl çèt=)-1÷ø +()e¶ t Ph(l,lhand L. Li, matrix 10 H. Zhou Regularized

18、regression，Journal of the Royal Statistical, Series BSociety, 2014, 76: 463-483.19矩阵回归2.优化模型与算法Elastic Net 正则化模型【12】2.6+ l2min 12F2F+ lB - AXXX,12*2XGroueffect 性质，即当 A 的两列高度相关讨论了模型的时，X模型。基于VNS【13】的相应两行可以同时加入或，给出了求解此模型的VNS-EN算法。12 Bingzhen Chen and Lingchen Kong, High-dimensional Least Square Matrix

19、Regression viaElastic Net Penalty, PJO, 2016.13 Lu, Zh. S., Renato D. C. Monteiro and Yuan,Convex optimization methods for dimensionreduction and coefficient estimation in multivariate linear regression. Math. Program.,2010.20矩阵回归2.优化模型与算法线性回归模型-泛化B = A ( X ) + W其中 A是一个线性变换。相应地，min 12FB - A ( X )+ l

20、 J ( X ).2X21矩阵回归目录一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2.非线性回归模型优化模型与算法矩阵回归1.非线性回归模型非线性矩阵回归模型(特别当g为二次函数时，它为二次矩阵回归模型，例如非负矩阵分解）：B = g( AX ,W )s.t.X ÎW1.h(B) = g( AX ) + Ws.t.X ÎW 2.Rn´q ® Rn´q为给定的变换, Wg , h :为对 X 的约束。23矩阵回归目录一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2.非线性回

21、归模型优化模型与算法矩阵回归2.优化模型与算法非线性矩阵优化模型：minl( AX ,W )s. t .c( AX ,W ) = 0, ( AX ,W ) Î KRn´q ´ Rn´q® R其中，l :为价值函数或损失函数，为给定的变换，n´ q´ R n´ q®Rlc : RW是误差矩阵-随机，K为某种非凸锥。25矩阵回归2.优化模型与算法2.1低秩约束回归系数矩阵的最小二乘模型【14】12B - AX2FminX ÎSm´ms.t. X f0, rank (X) £ R.

22、其中R>0为常数。通过将X 其进行低秩矩阵非凸分解X = FFT ,F Î Rm´r , r < m把问题转化为无约束优化问题，并建立投影梯度下降。文章提供了的理论框架，给出投影梯度下降可行的理论结果，并证明该梯度下降可以收敛到统计意义上有用的解。14 Y. Chen and M. J. Wainwright, Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees, arXiv:1509.03025, Septe

23、mber 2015.26矩阵回归2.优化模型与算法2.2极大似然LASSO模型选择问题【15】min L(AX , W)+ l W-1,( X ,W)1L( X , W) = 1 | W1/2 ( B - AX ) |2 - log det(W),其中正定矩阵FnW 是模型误差的协方差阵的逆矩阵，(X,W)未知。给出了具有一致性的模型选择标准，即当响应变量的维数大于采样量时他们可以渐近选出真实模型.将回归系数矩阵和多响应多元回归的误差之协方差矩阵同时作为决策变量考虑，其数学模型为非凸优化。15 S. Katayama and S. Imori, Lasso penalized mselecti

24、on criteria for high-dimensionalmultivariate linear regression analysis, Journal of Multivariate Analysis, 2014, 132: 138-150.27矩阵回归h(B) = g( AX ) + Ws.t.X ÎW 2.优化模型与算法泛化-非线性矩阵优化模型2.3122F+ l J ( X ),h(B) - g( AX )minXRn´q® Rn´q其中 h, g :为给定的变换，J(X) 是惩罚函数，l 为惩罚参数。16 Bühlmann,

25、Peter, van de Geer, Sara, Statistics for High-Dimensional Data: Methods, Theory and Applications, Springer, 2011.17 Trevor Hastie, Robert Tibshirani, Martin Wainwright, Statistical Learning with Sparsity: The Lasso and Generalizations, Chapman and Hall/CRC , 2015.28矩阵回归2.优化模型与算法函数= g (b T X , e )2.3

26、Y可取为(a) Y = (b X ) + e ,(b X ) + e ,22(b) Y = expTT12ì1b X > 2T()2，b Xe ,(c) Y = 0.2(d ) Y = íT3其他，1î0(5b X - 2)/()5b X - 3-1.5 + e ,(e) Y = exp1+ expTT4418 Sheng, W., & Yin, X. (2013). Direction estimation in single-index m covariance. Journal of Multivariate Analysis, 122(6),

27、 148-161.s via distance29矩阵回归2.优化模型与算法DC优化模型【18,19】2.4V(bX , Y )2Tm axbs.t. bSb= I d,0TX1 £ d 0 £ p .其中，SX 是 X 的协方差阵，Y = g(b T X , e ),V (·, ·) 是距离协方差（相数.采用距离协方差作为降维能保持无模型要求的优势，没有光滑条件要求，变量可以是离散或性。在正则条件下，其估计是 n 平方根一致相合和渐近正态的。18 Sheng, W., & Yin, X. (2013). Direction estimation

28、 in single-index m covariance. Journal of Multivariate Analysis, 122(6), 148-161.s via distance19 Sheng, W., & Yin, X. (2015). Sufficient dimension reduction via distance covariance. Journal of Computational & Graphical Statistics, 91-104.30第四讲小结矩阵回归一 线性矩阵回归优化1.2.线性回归模型 优化模型与算法二 非线性矩阵回归优化1.2

29、.非线性回归模型优化模型与算法第一讲第二讲第三讲第四讲概述统计学习基本 正则化统计学习矩阵回归第五讲总结与展望总结与展望目录一矩阵回归模型特点二 相关学科领域优势三 研究思路设想总结-模型特点34一矩阵回归模型特点Ø 且非正态性：采样量小于或远远小于决策变量矩阵的行数和列数，从而往往成为 问题，同时数据误差 不满足正态性。Ø 目标函数非凸性：目标函数往往非凸非光滑复合函数。Ø 约束复杂多变性：决策矩阵含有稀疏约束、低秩约束或者非负约束，等式约束，也可能是二次约束，还有误差项的多种可能和变化。总结-学科优势5二相关学科领域优势u 深度学习：侧重实用技术，编程或形成快速有效实现， 让实践来检验。优化模型可不具体，可实现。u 统计学习：侧重统计分析技术研究渐进性理论和算法试验， 以及解释实际现象，保证可信度，且计算快速收敛。优化模型多是无约束问题，有约束问题常采用正则化。有选择模型参数的理论和技术。u 统计优化：侧重利用优化技术研究解的唯一性质理论和算法快速收敛性理论，以及大规模问题有效求解，应用实践具体问题优化学习自助智能化提高完善。优化模型全面， 侧重于无约束