计算机视觉 课件 第13章计算机视觉前沿

1第十三章计算机视觉前沿§13.1背景知识§13.2代表性方法§13.3预训练方法§13.4应用举例2§13.1背景知识一、问题引入二、发展概况3问题引入深度学习模型发展趋势模型参数量逐渐增大：自然语言处理模型：MegatronTuningNLG530B计算机视觉模型：V-MoE14.7B模型复杂度逐渐增加：浮点运算数（模型计算量）FLOPs呈指数增长趋势4问题引入大模型优势数据整合训练稳定建模统一迁移便捷5发展概况大模型应用举例感知理解自监督学习下的注意力特征图结果：DINO目标检测与视频动作识别：PySlowFast艺术生成强化训练6发展概况大模型应用举例感知理解艺术生成基于文本描述的图像生成：DALL-E系列强化训练基于视频预训练的“我的世界”游戏强化学习：VPT7§13.2代表性方法一、语言大模型二、视觉大模型三、多模态大模型8语言大模型ELMo94MillionParam.2018.2GPT-21.5BillionParam.2019.32019.102018.102019.92020.22020.5T511BillionParam.GPT-3175BillionParam.BERT-Large340MillionParam.Megatron-LM8.3BillionParam.TuringNLG17.2BillionParam.2022.1MegatronTuringNLG530BillionParam.9语言大模型背景和发展由OpenAI提出的一系列强大的预训练语言模型，早期的预训练模型在NLP任务时取得了显著成果。不同版本的模型(GPT-1、GPT-2、GPT-3)逐步提高了模型容量和语料规模。这一系列的发展证明了通过预训练可以显著提升模型在各种自然语言处理任务中的表现。模型发布时间参数量预训练数据量GTP2018年6月1.17亿约5GBGTP-22019年2月15亿40GBGTP-32020年5月1,750亿45GB10语言大模型

11语言大模型

12语言大模型应用和挑战应用：文本生成、问答系统、语义理解等自然语言处理任务挑战：应用于CV的模型架构、信息密度的区别对于大规模数据的需求和对计算资源的高度依赖13视觉大模型ResNet152x4937MillionParam.2019.12EfficientNet-XL208MillionParam.2021.42021.62020.102021.62021.112022.1V-MoE14.7BillionParam.ConvNeXt-XL350MillionParam.ViT-G1.8BillionParam.CoAtNet-72.44BillionParam.Swin-G3.0BillionParam.14EfficientNet:RethinkingModelScalingforConvolutionalNeuralNetworks，谷歌大脑团队提出组合规模扩大(compoundscaling)方法，使网络更深、更宽、分辨率更高视觉大模型15EfficientNetV2:SmallerModelsandFasterTraining，谷歌大脑团队进一步提升了模型参数量和训练效率改进了网络模块设计、应用了网络架构搜索算法、采用了渐进式学习方式视觉大模型16ConvNeXt:AConvNetforthe2020s，FacebookAI研究团队从经典的基于卷积的ResNet出发，通过一系列模块改进，使得卷积网络能够具有基于注意力机制的网络(如SwinTransformer)的结构优势，从而提升卷积网络模型性能视觉大模型17

模块改进：采用反瓶颈(invertedbottleneck)模块，变换空间深度卷积(spatialdepthwiseconv)层的位置仿照SwinTransformer扩大第一层卷积的感受野、减小第二层卷积的感受野视觉大模型ConvNeXt:AConvNetforthe2020s，FacebookAI研究团队18ViT:An

ImageisWorth16x16Words:

TransformerforImageRecognitionatScale,谷歌大脑团队首次提出了将自然语言处理中非常成功的基于注意力机制的Transformer结构应用到计算机视觉的模型设计中视觉大模型19ViT:ScalingVisionTransformers,谷歌大脑团队进一步提升了ViT的模型规模改进了训练方法、增加了训练数据、采用了占用显存更少的优化器视觉大模型20SwinTransformer:HierarchicalVisionTransformerusingShiftedWindows，微软亚研院团队提出了滑动窗口的方法，计算局部自注意力，提高计算效率采用普通窗口与滑动窗口交替的方式，实现全空间注意力交互视觉大模型21SwinTransformer

v2:ScalingUpCapacityandResolution，微软亚研院团队改进了自注意力的计算、改进了归一化层(LayerNorm)的位置、改进了位置编码(对数刻度下的连续分布)视觉大模型22V-MoE:ScalingVisionwithSparseMixtureofExperts，谷歌大脑团队提出了稀疏版本的ViT，引入路由算法，让不同的专家处理不同的图像区域视觉大模型23V-MoE:ScalingVisionwithSparseMixtureofExperts，谷歌大脑团队能够更好地实现模型规模的扩大和参数量的提升，在更多数据集上预训练视觉大模型24多模态大模型多模态深度学习人脑是一个复杂的系统，能够处理多种感官模态例如视觉、听觉、嗅觉等的信息。这使得人们能够准确、有效地完成感知、理解和决策任务。多模态预训练方法是对人类认知能力的模仿。不同模态之间的关系为预训练提供了丰富、高效的监督信号，降低了预训练对大规模标注的依赖。“TheroadtoTianmenMountainisconsideredoneofthemostbeautifulintheworld—thewindingserpentineroadofabout11kmconsistsof99intricatelytwistingcurves,openingupstunningviewsofthepanoramaofthesacredmountain”25多模态大模型VideoBERT视频-文本联合学习2019.32019.92021.22019.82021.22021.22022.4DALL·E12B参数,

250M数据DALL·E

24B参数,

650M数据CLIP400M参数,

400M数据ALIGN820M参数,

1.8B数据ViLBERT图像-文本对齐UNITER图像区域-文本对齐26VideoBERT:AJointModelforVideoandLanguageRepresentationLearning，谷歌研究院团队提出文本-视频预测的预训练方法，实现语言和视频理解模型的联合训练多模态大模型27VideoBERT:AJointModelforVideoandLanguageRepresentationLearning，谷歌研究院团队模型在多个视频-文本任务上取得当时最先进的性能，极大提高了零样本视频描述生成任务的性能多模态大模型28ViLBERT:PretrainingTask-AgnosticVisiolinguisticRepresentationsforVision-and-LanguageTasks，乔治亚理工，FAIR团队提出了面向文本-图像的交叉注意力机制和图像文本联合掩码建模学习方法多模态大模型29ViLBERT:PretrainingTask-AgnosticVisiolinguisticRepresentationsforVision-and-LanguageTasks，乔治亚理工，FAIR团队模型在多个图像-文本数据集上取得最先进的性能，被广泛应用于多种任务多模态大模型30UNITER:UniversalImage-TextRepresentationLearning，微软研究院提出了基于掩码语言建模、图像区域掩码建模、图像-语言跨模态对齐的特征学习框架，使用单一模型统一图像和文本数据多模态大模型31UNITER:UniversalImage-TextRepresentationLearning，微软研究院在多种多模态理解任务上实现的新的最先进性能，大幅提高了模型的泛化能力多模态大模型32CLIP:LearningTransferableVisualModelsFromNaturalLanguageSupervision，OpenAI团队提出了大规模图像-文本对比学习方法，通过构建超过4亿多文本图像对，实现了大规模多模态模型的预训练多模态大模型33CLIP:LearningTransferableVisualModelsFromNaturalLanguageSupervision，OpenAI团队在多个主流图像识别数据集上实现了与主流监督学习、少样本学习模型可比拟的零样本的图像识别性能，引领了跨模态预训练的新范式多模态大模型34DALL·E:Zero-ShotText-to-ImageGeneration，OpenAI团队提出了大规模的文本控制图像生成模型，构建了基于离散变分编码的图像生成模型训练方法，实现了零样本文本到图像生成多模态大模型35DALL·E:Zero-ShotText-to-ImageGeneration，OpenAI团队多模态大模型36ALIGN:ScalingUpVisualandVision-LanguageRepresentationLearningWithNoisyTextSupervision，Google

Brain团队提出了基于噪声数据的文本-图像多模态预训练方法，进一步提高模型规模多模态大模型37DALL·E

2:HierarchicalText-ConditionalImageGenerationwithCLIPLatents，OpenAI团队提出了基于图像-文本关系的渐进式图像生成框架，结合了CLIP预训练模型和基于扩散模型的图像生成框架，实现了可编辑、具有艺术性的图像生成多模态大模型38DALL·E

2:HierarchicalText-ConditionalImageGenerationwithCLIPLatents，OpenAI团队多模态大模型39§13.3预训练方法一、双向编码视觉表示模型二、掩膜自编码器40双向编码视觉表示模型背景和发展双向编码视觉表示模型（BidirectionalEncoderRepresentationfromImageTransformers，BEiT）是微软提出的计算机视觉自监督学习方法，采用掩码图像建模（MIM）任务进行视觉Transformer的预训练相关方法：视觉Transformer，dVAE自编码方式，BERT，DALL-E41双向编码视觉表示模型主要架构使用dVAE自编码方式学习图像tokenizer，将图像离散化为视觉tokens。预训练输入是图像patches和视觉tokens，通过随机掩蔽图像patches，根据未受损图像patches预测原始图像的视觉tokens微调后，BEiT在图像分类和语义分割任务中取得显著效果42双向编码视觉表示模型

43双向编码视觉表示模型

44双向编码视觉表示模型应用和挑战应用：在图像分