【《鲁棒Tensor-Train张量补全方法分析》4100字（论文）】

43737鲁棒Tensor-Train张量补全方法分析目录TOC\o"1-3"\h\u7363鲁棒Tensor-Train张量补全方法分析 185781.1前言 1234361.2鲁棒主成分分析Tensor-Train张量模型 2238181.3基于Tensor-Train的鲁棒张量补全方法 3287871.4仿真结果及分析 5149771.4.1数值仿真 6111781.4.2图像恢复应用 6前言随着数据逐渐向高维发展，在高阶数据处理中还有一种主成分分析（PCA）模型可以在将高阶数据降维处理过程中保证尽可能少的数据丢失。在PCA模型中，通常假定数据矩阵是低秩的，即给定的高维数据分布在一个线性低维子空间中，也可以理解为将线性空间分为一个低秩部分与一个高斯噪声部分。为了增强PCA对稀疏噪声的鲁棒性，Wright等人ADDINEN.CITE<EndNote><Cite><Author>Wright</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[51]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616313254">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Wright,John</author><author>Ganesh,Arvind</author><author>Rao,Shankar</author><author>Ma,Yi</author></authors></contributors><titles><title>Robustprincipalcomponentanalysis:Exactrecoveryofcorruptedlow-rankmatricesviaconvexoptimization</title><secondary-title>CoordinatedScienceLaboratoryReportno.UILU-ENG-09-,DC-243</secondary-title></titles><periodical><full-title>CoordinatedScienceLaboratoryReportno.UILU-ENG-09-,DC-243</full-title></periodical><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[51]提出了鲁棒主成分分析（RPCA），即将数据矩阵表示为低秩矩阵与稀疏矩阵之和,并对稀疏矩阵的非零个数进行了约束限制,再通过求解低秩矩阵的核范数等方法将低秩部分从稀疏噪声中分离。如果用RPCA模型处理高阶数据，必须首先将多维数据重组为矩阵，这样的预处理通常会导致信息丢失，并会导致性能下降。为了能够准确恢复因稀疏影响而损坏的低秩张量，考虑将RPCA扩展为高阶数据下的张量形式，从而得到鲁棒张量主成分分析形式，通过对低秩张量部分进行凸松弛，对稀疏部分进行范数正则化，求解其核范数得到低秩近似张量ADDINEN.CITE<EndNote><Cite><Author>Lu</Author><Year>2019</Year><RecNum>162</RecNum><DisplayText><styleface="superscript">[52]</style></DisplayText><record><rec-number>162</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616312558">162</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lu,Canyi</author><author>Feng,Jiashi</author><author>Chen,Yudong</author><author>Liu,Wei</author><author>Lin,Zhouchen</author><author>Yan,Shuicheng</author></authors></contributors><titles><title>Tensorrobustprincipalcomponentanalysiswithanewtensornuclearnorm</title><secondary-title>IEEEtransactionsonpatternanalysismachineintelligence</secondary-title></titles><periodical><full-title>IEEEtransactionsonpatternanalysismachineintelligence</full-title></periodical><pages>925-938</pages><volume>42</volume><number>4</number><dates><year>2019</year></dates><isbn>0162-8828</isbn><urls></urls></record></Cite></EndNote>[52]。在鲁棒张量主成分分析中，最大的难点是如何定义张量的秩才能得到更多的张量低秩结构信息，经典的张量秩的定义有第二章介绍的CANDECOMP/PARAFA（CP）秩和Tucker秩，近来还有一种基于t-SVD分解的tubal秩的张量鲁棒主成分分析模型ADDINEN.CITE<EndNote><Cite><Author>Lu</Author><Year>2019</Year><RecNum>162</RecNum><DisplayText><styleface="superscript">[52]</style></DisplayText><record><rec-number>162</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616312558">162</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lu,Canyi</author><author>Feng,Jiashi</author><author>Chen,Yudong</author><author>Liu,Wei</author><author>Lin,Zhouchen</author><author>Yan,Shuicheng</author></authors></contributors><titles><title>Tensorrobustprincipalcomponentanalysiswithanewtensornuclearnorm</title><secondary-title>IEEEtransactionsonpatternanalysismachineintelligence</secondary-title></titles><periodical><full-title>IEEEtransactionsonpatternanalysismachineintelligence</full-title></periodical><pages>925-938</pages><volume>42</volume><number>4</number><dates><year>2019</year></dates><isbn>0162-8828</isbn><urls></urls></record></Cite></EndNote>[52]。为了寻求基于更优的张量分解秩的模型，本章基于Tensor-train分解秩的特性，即Tensor-train的秩形式可以联合不同展开模矩阵，并非只是其中某单一模展开，这样可以得到张量数据中更多低秩本质特征。结合鲁棒张量主成分分析模型与Tensor-train秩，本章提出了基于Tensor-train的鲁棒张量补全模型，并通过ADMM求解建立了整个算法流程。鲁棒主成分分析Tensor-Train张量模型基于主成分分析的低秩线性子空间假设，首先可以给出鲁棒主成分分析的矩阵形式，即将矩阵分解成低秩矩阵与噪声矩阵的和，求解模型如式（4-1）所示：（4-1）其中为平衡张量中低秩部分与稀疏部分的参数，表示范数正则化。将NP难问题的秩最小化约束进行凸松驰，转换为低秩矩阵的核范数求解问题，可以得到如式（4-2）的模型：（4-2）推及到鲁棒主成分分析的张量模型中，是将一个张量数据分解为低秩张量与稀疏张量两部分，模型如式（4-3）：（4-3）其中为平衡张量中低秩部分与稀疏部分的参数。与矩阵秩最小化的处理类似，张量秩最小化通常转换成张量核范数进行求解，根据本文2.1节中对张量核范数的定义可知，张量的核范数可以由张量按各模展开得到的矩阵的核范数加权求和得到，即，然而由于直接按模展开的矩阵核范数计算需要耗费大量计算，因此根据不同的张量分解形式得到的不同张量秩的形式，已经有许多新型的核范数计算。根据2.2节中关于Tensor-train分解的介绍，可以了解到基于矩阵乘积状态（MPS）模型的Tensor-train（TT）分解[20]具有很高的数据压缩能力和计算效率，是一种将高阶张量降维分解成一组三阶张量处理的形式。根据这种分解形式，也提出了一种新的张量秩的表达，本文2.2节（4）中已经给出了Tensor-train秩表达的定义，即：对给定张量，先定义一种张量矩阵化形式为（，），即沿模-k矩阵化，Tensor-train秩（）分别是对应矩阵的秩，。这种Tensor-train秩的表达可以将不同展开模之间联系起来，从而得到张量数据中更多低秩特征，更好从噪声空间中将低秩部分分离出来。根据Tensor-train秩的特点，本章基于Tensor-train分解研究鲁棒主成分分析的张量补全问题，提出以下如式（4-4）形式的鲁棒主成分分析的Tensor-train张量补全模型：（4-4）其中，是各展开矩阵间的加权，并且，是对模型中低秩项与稀疏项进行平衡的参数。基于Tensor-Train的鲁棒张量补全方法首先引入辅助变量进行变量分离，将式（4-4）转为以下式（4-5）的问题模型：（4-5）其增广拉格朗日形式如式（4-6）所示：（4-6）其中，是拉格朗日乘子，，是惩罚项参数。将以上问题根据有关项可以分为几个拉格朗日对偶子问题分别按以下式（4-7）的形式迭代求解：（4-7）其中k是迭代索引，接下来依次求解子问题：更新：将无关项，固定，当作的函数求解，因此有式（4-8）形式的等式：（4-8）由于目前是子问题累加的形式ADDINEN.CITE<EndNote><Cite><Author>Yang</Author><Year>2020</Year><RecNum>170</RecNum><DisplayText><styleface="superscript">[53]</style></DisplayText><record><rec-number>170</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616919547">170</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Yang,J.H.</author><author>Zhao,X.L.</author><author>Ji,T.Y.</author><author>Ma,T.H.</author><author>Huang,T.Z.</author></authors></contributors><titles><title>Low-ranktensortrainfortensorrobustprincipalcomponentanalysis</title><secondary-title>AppliedMathematicsComputation</secondary-title></titles><periodical><full-title>AppliedMathematicsComputation</full-title></periodical><pages>124783</pages><volume>367</volume><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[53]，可以考虑分解成N个独立子问题解决，由此得到每个单独的子问题可以通过SVTADDINEN.CITE<EndNote><Cite><Author>Cai</Author><Year>2010</Year><RecNum>156</RecNum><DisplayText><styleface="superscript">[50]</style></DisplayText><record><rec-number>156</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1615982002">156</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Cai,Jian-Feng</author><author>Candès,EmmanuelJ</author><author>Shen,Zuowei</author></authors></contributors><titles><title>Asingularvaluethresholdingalgorithmformatrixcompletion</title><secondary-title>SIAMJournalonoptimization</secondary-title></titles><periodical><full-title>SIAMJournalonoptimization</full-title></periodical><pages>1956-1982</pages><volume>20</volume><number>4</number><dates><year>2010</year></dates><isbn>1052-6234</isbn><urls></urls></record></Cite></EndNote>[50]求得其闭式解如式（4-9）所示：（4-9）其中表示奇异值阈值算子，即，，是奇异值分解中的第i大奇异值。更新，可得式（4-10）：（4-10）可以对式（4-10）求解次微分得到式（4-11）解：（4-11）其中分别为单位张量和二元采样张量。更新：与更新类似，同样是固定无关项后求解，可以得到式（4-12）形式：（4-12）其中为软阈值算子（SoftThresholdingOperator）ADDINEN.CITE<EndNote><Cite><Author>Ma</Author><Year>2011</Year><RecNum>161</RecNum><DisplayText><styleface="superscript">[54]</style></DisplayText><record><rec-number>161</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616304721">161</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Ma,Shiqian</author><author>Goldfarb,Donald</author><author>Chen,Lifeng</author></authors></contributors><titles><title>FixedpointandBregmaniterativemethodsformatrixrankminimization</title><secondary-title>MathematicalProgramming</secondary-title></titles><periodical><full-title>MathematicalProgramming</full-title></periodical><pages>321-353</pages><volume>128</volume><number>1</number><dates><year>2011</year></dates><isbn>1436-4646</isbn><urls></urls></record></Cite></EndNote>[54]，表示对张量中的每一个元素都有如式（4-13）的操作：（4-13）最后对乘子和，有以下如式（4-14），式（4-15）更新方法：（4-14）（4-15）仿真结果及分析本节将对上述提出的鲁棒Tensor-train张量补全算法进行试验，验证其算法可行与效率。仿真实验主要分为两个部分：数值仿真（人工合成数据）和实际图像以及高光谱图像恢复效果。所有实验都是在MATLABR2018b版本，处理器InterCorei7上进行，张量相关的计算借助MATLABTensorToolboxversion2.2。性能对比实验主要是将本章提出的算法与另外两种基于不同张量分解的鲁棒张量补全算法进行对比，分别是基于Tucker分解的核范数求和（Sumofnuclearnorms,SNN）ADDINEN.CITE<EndNote><Cite><Author>Liu</Author><Year>2012</Year><RecNum>160</RecNum><DisplayText><styleface="superscript">[19]</style></DisplayText><record><rec-number>160</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616247283">160</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Liu,Ji</author><author>Musialski,Przemyslaw</author><author>Wonka,Peter</author><author>Ye,Jieping</author></authors></contributors><titles><title>Tensorcompletionforestimatingmissingvaluesinvisualdata</title><secondary-title>IEEEtransactionsonpatternanalysismachineintelligence</secondary-title></titles><periodical><full-title>IEEEtransactionsonpatternanalysismachineintelligence</full-title></periodical><pages>208-220</pages><volume>35</volume><number>1</number><dates><year>2012</year></dates><isbn>0162-8828</isbn><urls></urls></record></Cite></EndNote>[19]算法和基于t-SVD分解tubal秩的张量鲁棒主成分分析法（Tensorrobustprincipalcomponentanalysis,TRPCA）ADDINEN.CITE<EndNote><Cite><Author>Lu</Author><Year>2019</Year><RecNum>162</RecNum><DisplayText><styleface="superscript">[52]</style></DisplayText><record><rec-number>162</rec-number><foreign-keys><keyapp="EN"db-id="ep09pswxdx9eeoe9epe5srru9spet9w5ffea"timestamp="1616312558">162</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lu,Canyi</author><author>Feng,Jiashi</author><author>Chen,Yudong</author><author>Liu,Wei</author><author>Lin,Zhouchen</author><author>Yan,Shuicheng</author></authors></contributors><titles><title>Tensorrobustprincipalcomponentanalysiswithanewtensornuclearnorm</title><secondary-title>IEEEtransactionsonpatternanalysismachineintelligence</secondary-title></titles><periodical><full-title>IEEEtransactionsonpatternanalysismachineintelligence</full-title></periodical><pages>925-938</pages><volume>42</volume><number>4</number><dates><year>2019</year></dates><isbn>0162-8828</isbn><urls></urls></record></Cite></EndNote>[52]。对合成数据采用的评估标准是相对平方误差RSE，用来评估所有算法的补全精度，对实际图像与高光谱图像采用了三个评估标准来衡量结果优劣，分别是RSE，PSNR，SSIM，前两个评估标准在上一章已经给出定义，SSIM（结构相似性）是一种衡量两幅图像相似度的指标，最大值为1，数值越大表示结果越好，其计算方法为：（4-16）其中x，y分别代表两幅图像，分别表示两幅图像的平均值，分别表示标准差，代表x和y的协方差，均为常数。另外还设置了两个终止条件：停止误差设置如式（4-17）所示，最大迭代次数maxiter=500，一旦迭代过程中达到其中一个终止条件即停止迭代。（4-17）数值仿真本小节首先考虑用人工合成数据验证该算法三阶、四阶情况下的有效性，首先通过Tensor-train分解的方式生成一个四阶的实验张量，其中核心张量都独立服从标准正态高斯分布，通过对核心张量的运算得到实验张量。本章提出的算法根据经验参数设置如下：权重参数如式（4-18）所示，惩罚参数，取优。其他对比算法参数取程序默认值。（4-18）第一个实验结果见表4-1，该实验对四阶合成张量数据在不同噪声水平下三种不同算法的进行对比，评估标准为RSE。由图中可以看出在三种算法中RSE值随着噪声水平的加大都有一定程度的变大，但整体上在四阶情况下本章提出的算法性能明显比SNN和TRPCA鲁棒张量算法表现好。表4-1三种算法于不同噪声水平下在人工合成四阶张量上的RSE对比噪声水平10%20%30%40%50%60%70%80%90%Proposed算法0.99920.99860.99731.00301.00011.00221.00181.00221.0008SNN算法1.46421.51681.52161.59711.63151.66051.69141.70191.7341TRPCA算法1.23421.25171.26061.27511.29751.30471.32481.31171.3417图像恢复应用在实际图像实验中，测试的图像为RGB图像，大小均为256×256×3，具体见图4.1。图4.1实验使用的RGB图像首先选取图像作为实验对象，对比了三种算法在不同噪声水平影响下的RSE，PNSR，SSIM变化，实验结果见图4.2（a）（b）（c）。从图中三个评估指标值的变化情况可以看出本章提出的算法在实际图像上的恢复性能明显优于对比算法，由SSIM指标评估的图像相似度可以看出在图像恢复方面的效果较突出，并且随着噪声水平提高，本章提出的算法优势更加明显。为了进一步验证本章提出的算法在实际图像恢复上的有效性，消除上一个实验只在单一图像上进行的随机性，接下来对比了图4.1中的实验图像在噪声水平为50%的情况下三种算法的RSE，PSNR和SSIM。实验结果见表4-2，由表中数据对比可以看出，在不同图像上不同算法的性能评价结果与上一图像上的实验结果一致，本章提出的算法在三种算法中依旧性能突出，进一步验证了其有效性。（a）RSE（b）PSNR（c）SSIM图4.2以实际图像为实验对象，（a）（b）（c）分别为三种不同算法的RSE，PSNR，SSIM随噪声水平变化的情况表4-2三种不同算法在不同图像数据（添加50%噪声）上的恢复效果指标值LenaPeppersSailboatAirplaneBaboonBarbaraFacadeHousePSNRProposedSNNTRPCA23.2711.8017.5120.0310.9915.1920.2211.2216.2619.8910.1015.0219.5612.0616.7922.4911.9717.5421.6412.8321.6321.9311.8517.92RSEProposedSNNTRPCA0.13930.46220.26290.21680.51290.35430.18760.48160.28980.13740.44680.24760.21100.44790.28170.16200.47560.27960.16540.41810.16330.14090.43