任务无关的动态特征上采样-GPU 加速视觉稠密预测在线研讨会-动态上采样算子及在稠密预测任务中的通用性研究-华中科技大学副教授陆昊

1任务无关的动态特征上采样任务无关的动态特征上采样陆昊华中科技大学人工智能与自动化学院2023/6/7简介简介研究方向研究方向务的总称。目前在计算机视觉领域的顶刊IEEETPAMI、IJCV与顶会302IndexNet03A2U02IndexNet03A2UCONTENTS4上采样5什么是上采样?目标：提升空间分辨率6 A什么是特征上采样？-目标：提升特征图的空间分辨率H×W×CσH×σW×C7 为什么需要特征上采样？Upsamplers传统插值算法线性插值会平滑图像的边缘细节转置卷积上采样导致棋盘效应IndexNetICCV2019，TPAMI2022HaoLu,etal."Indicesmatter:Learningtoindexfordeepimagematting."ProceedingsoftheIEEE/CVFInternationalConferenceonComputerVision.2019.HaoLu,etal.”IndexNetworks.“IEEETransactionsonPatternAnalysisandMachineIntelligence.2022.不同网络模型的表现差异A不同模型有不同表现Indices很重要消融实验找到关键原因-indicesmatter不同上采样算子有不同特性A生成的特征图过于稀疏生成语义连续区域化的特征图擅长预测边缘擅长预测区域擅长预测区域目标：同时擅长预测区域和边缘的上采样算子A上采样算子可被形式化为索引函数索引是模型可被建模且可学习的索引引导的编码解码结构A可学习的索引:以特征图为基础动态生成A两种变体：HIN&DINA图像抠图中的表现学习到的索引图AA总结>将上采样以索引函数的形式归纳>提出IndexNet，动态生成可学习的indices>即插即用：适用于任何含有上采样环节的网络同期工作-CARAFE（ICCV2019)A为每个上采样后的点基于特征图生成一个上采样核，将上采样核与低分辨率特征图中的局部特征相乘得Wang,Jiaqi,etal."Carafe:Content-awarereassemblyoffeatures."ProceedingsoftheIEEE/CVFinternationalconferenceoncomputervision.2019.A2UDai,Yutong#,HaoLu#,andChunhuaShen."Learningaffinity-awareupsamplingfordeepimagematting."ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2021.研究动机A2UA2UAIndexNet参数量仍然过大二阶信息利用二阶信息利用二阶信息：AffinityA2UA2UA可学习的上采样算子在以往的工作中也有相应研究，但是都没有考虑到二阶特数学角度回顾上采样A2UA2UAg(w,z)=WTZ特征图中相关局部特征上采样后的点上采样核•距离引导上采样:w:点之间的相对距离关系：×1为高分辨率特征图中的向量化特征AA2U：Affinity-awareUpsampling低秩化通过双线性模型建模affinity用卷积简化实现沿用CARAFE生成上采样核的方式，但A2U使用高分辨率特征生成上采样核25在抠图中的表现A2UA2U参数量极少性能提升明显A总结>提出了基于二阶特征的上采样算子>通过双线性模型将affinity信息以上采样的方式引入到网络中>通过低秩化减少了计算量FADEECCV2022HaoLu,etal."FADE:FusingtheAssetsofDecoderandEncoderforTask-AgnosticUpsampling."EuropeanConferenceonComputerVision.Springer,Cham,2022.28不同上采样算子擅长任务不同A上采样算子适合的任务任务特点CARAFE目标检测、实例分割、语义分割IndexNet、A2U图像抠图、图像去噪、深度估计细节敏感能否构建一个任务自适应的上采样算子任务自适应的上采样算子特点A为什么不同算子有不同擅长领域A用什么特征来生成上采样核很重要（encoderfeature、decoderfeature、both)需要一同使用需要一同使用A用什么特征来生成上采样核很重要使用decoderfeature能帮助语义连续性使用encoderfeature能帮助恢复细节如何匹配encoder&decoder特征分辨率插值？连接？卷积？No!–感受野ASemi-shiftconvolution：让encoder和decoder特征一同控制整体核的生成用encoder特征确定四个点的偏差Gating机制-进一步补充细节AFADE-overview>用什么特征来生成上采样核>如何匹配编码器特征与解码器特征>如何进一步进行细节补充A在细节敏感任务和区域敏感任务中都取得了很好的效果FADE-可视化（语义分割）AFADE-可视化（图像抠图）AA总结>首个任务自适应上采样算子，能够同时在细节敏感任务和区域敏感任务都有很好的效果>从三个方面给出了如何设计自适应上采样算子的分析以及具体设计>即插即用，轻量化SAPANeurIPS2022HaoLu,etal."SAPA:Similarity-AwarePointAffiliationforFeatureUpsampling."NeurIPS,2022.40上采样的信息损失特性上采样易造成信息丢失易出错尤其出现在边缘区域分割中的信息损失-点归属（pointaffiliation)分割问题中的上采样信息损失->两个定义：语义簇：相似语义含义的解码器特征点形成的簇点归属：每个上采样后的点都归属于某一个语义簇（semanticcluster)正确点归属的作用正确点归属语义连贯、边缘清晰、接近输出的上采样特征得到正确点归属的困难性难以产生同时做到语义保护细节恢复的上采样核难以得到语义连贯边缘清晰的上采样特征缺乏细节产生很多不需要的噪声理想的上采样算子同时做到语义保护、细节恢复的上采样核只在需要细节的地方相应，在语义连贯的地方不响应细节信息来源编码器特征细节充足如何在过滤不需要噪声的情况下补充需要的边缘细节每一个高分辨率的特征点都与低分辨率特征中的一个语义簇相似基于相似性分配点归属对应高分辨率特征点与哪个语义簇更相似则指定上采样之后的点属于该语义簇为decoder中相应的语义簇在kernel中分配更大权重，则该上采样后的点会表现为该语义簇对应的语义值为decoder中相应的语义簇在kernel中分配更大权重，则该上采样后的点会表现为该语义簇对应的语义值SAPA上采样过程示意具体流程通过比较每个encoder特征点与decoder窗口中的相似性，确定点归属计算相似性->归一化形成上采样核公式化不同建模方式相似性建模：归一化方法：参数量比较甚至可以做到零参SAPA可视化结果