汽车行业深度报告：AI系列深度14期深度学习如何开启AI第一次爆发

TOC\o"1-2"\h\z\u复盘AI第一次爆发：深度学习如何开启AI1.0时代 4AI第一次爆发是传统机器学习到深度学习的跨越 42012年AlexNet发布标志着深度学习第一次爆发 5AI1.0时代典型架构复盘 6CNN技术发展复盘 7RNN技术发展复盘 10AI第一次爆发的落地局限 13风险提示 13图1：深度学习通用学术成果时间轴 5图2：AlexNet诞生前算法、算力、数据三要素发展时间轴 6图3：CNN关键学术派系与技术演进时间轴 9图4：CNN重要论文——年份与引用量 10图5：RNN关键学术派系与技术演进时间轴 12图6：RNN重要论文——年份与引用量 13表1：传统机器学习与深度学习对比 4表2：深度学习架构发展七阶段与CNN示例 7表3：CNN重要节点论文梳理 8表4：RNN重要节点论文梳理 复盘AI第一次爆发：深度学习如何开启AI1.0时代AI第一次爆发是传统机器学习到深度学习的跨越AI表1：传统机器学习与深度学习对比对比维度传统机器学习深度学习特征获取人工设计特征自动学习特征模型结构通常较浅多层非线性结构依赖要素依赖领域专家更依赖数据、计算和通用学习算法训练范式特征提取与分类常分开端到端联合训练DeepLearning1974—2019LSTM门控机制、无监督预训练范式、ReLU激活函数、Xavier/He参数初始化方法、AdaGrad/Adam/AdamWDropoutBatch/Layer/RMSNormResNetTransformerMLPCNN、RNNTransformer2010图1：深度学习通用学术成果时间轴LearningRepresentationsbyBack-PropagatingErrorsAttentionIsAllNeed》等其他文献2012年AlexNet发布标志着深度学习第一次爆发2012AlexNet1001000ImageNetILSVRCtop-526%ReLUAlexNet2012（97418（199200RU201204年GU006年UN卷积运算与CAGPU2009GPUGPU-CNNImageNet的超大规模训练与评测基准。三项要素此前逐步汇聚，并最终共同促成AlexNet引爆深度学习。图2：AlexNet诞生前算法、算力、数据三要素发展时间轴ImageNet:ALarge-ScaleHierarchicalImageDatabaseImageNetClassificationwithDeepConvolutionalNeuralNetworks》等其他文献，NVIDIA官网，东吴证券研究所AI1.0时代典型架构复盘AI1.0ImageNetGPU以AI1.0时代基于对CNN与RNN论文的系统复盘，深度学习架构演进大体可划分为七个阶段：式提升。表2：深度学习架构发展七阶段与CNN示例大阶段 发展阶段 阶段说明 CNN发展过程举例范式立 1.思提出范式立 2.基架构成长与扩展能成长与扩展进成长扩展 5.任扩展成熟高峰 6.轻化部署成熟高峰 7.复性进

将思想转化为可计算、可训练的基础网络结构。在可训练基础上优化深度、连接方式与特征流动。从单一任务扩展到检测、分割等多种下游任务。面向移动端、嵌入式与实际部署，平衡精度—参数量—速度。在新一代架构冲击下，借鉴新方法重新现代化。

生物视觉启发（ubeee,962Neoognon198LNet（1989/1998）建立卷积—池化—反向传播原型。AeNe（012VGG/Inception/ResNet深度化；DenseNet/SENet/ResNeXt结构创新。FCN/U-Net语义分割；R-CNN/YOLO目标检测。eNe201EcnNet（201ConNX202ReG（202ReKe（20ImageNetClassificationwithDeepConvolutionalNeuralNetworksDeepResidualLearningforImageRecognition》等其他文献CNN技术发展复盘CNNTransformer1980—2022CNN30CNNNeocognitron→LeNet→ImageNet/AlexNet爆发→VGG/Inception/ResNet深度化→DenseNet/SENet/ResNeXtMobileNet/EfficientNetFCN/U-Net/R-CNN/YOLOConvNeXt等与新技术结合的现代CNNCNLNeLCu1989198AeNeG、GoogLeNet/Inception与ResNet五项成果，均为CNNLeNet积、权值共享、池化与反向传播工程化，并应用于字符识别；AlexNet以深层CNN+GPU+ReLU+DropoutImageNettop-526%VGG“GoogLeNetInception结构提升计算利用率；ResNet以残差连接破解深层退化难题，并成为后续视觉骨干乃至Transformer表3：CNN重要节点论文梳理发展节点 关键学术产物代表论文 核心贡献 在CNN发展中的位置提出视觉皮层中局部感受NeocognitronLeNetImageNet/AlexNet爆发NetesNeXttNet

Hubel&Wiesel,Receptivefields,binocularinteractionandfunctionalarchitectureinthecat'svisualcortex,1962Fukushima,Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,1980LeCunetal.,BackpropagationAppliedtoHandwrittenZipCodeRecognition,1989LeCunetal.,Gradient-BasedLearningAppliedtoDocumentRecognition,1998Russakovskyetal.,ImageNetLargeScaleRecognitionskever&Hinton,ImageNetClassificationwithDeepConvolutionalNeuralNetworks,2012Simonyan&Zisserman,VeryDeepConvolutionalyetal.,GoingDeeperwithConvolutions,2015Heetal.,DeepResidualLearningImageRecognition,2016Huangetal.,DenseNet,2017；Xieetal.,ResNeXt,2017；Huetal.,Squeeze-and-ExcitationNetworks,2018Howardetal.,MobileNets,2017；Tan&Le,EfficientNet,2019

野、简单细胞与复杂细胞等机制，为“局部连接、层级特征提取、位置不变性”提供神经科学启发。S-cells/C-cells的结1998LeNet-5成为早期CNNImageNet提供大规模视觉基准；AlexNet通过深层CNN、GPU训练、ReLU、Dropout与数据增强在ImageNet上取得突破。VGG用连续3×3卷积验证“加深网络”的有效性；Inception通过多尺度分支提高计算利用率；ResNet用残差连接解决深层退化，可训练百层以上网络。DenseNet强调特征复用与密集连接；ResNeXt引入cardinality；SENet引入通道注意力对特征通道自适应重标定。MobileNet使用深度可分离卷积降低计算量；EfficientNet提出复合缩放策略，平衡深度、宽度与输入分辨率。

CNN的思想源头：从生物CNN的直接前身，把生物视觉启发转化为可计算的层级网络结构。CNNCN深层CNNCNNeNet尤其CNN进入“结构精细化”阶段：不只是加深，而是优化连接方式、特征流动与注意力机制。CNN从高精度竞赛模型转向移动端、嵌入式与实际部署，关注精度—参数量—速度的平衡。FCN/U-Net/R- Longetal.,FCN,2015； FCN向素语分； CNN不只图分模CNN/YOLO任务扩展ConvNeXtCNN回潮

Ronnebergeretal.,U-Net,2015；Girshicketal.,R-CNN,2014；Redmonetal.,YOLO,2016Liuetal.,AConvNetforthe2020s,2022；Dingetal.,RepVGG,2021；Dingetal.,RepLKNet,2022

U-Net强化编码器—解码器与跳跃连接；R-CNN系列推动目标检测；YOLO将检测转化为单阶段实时回归。ConvNeXt借鉴Transformer时代训练策略与宏观结构重新现代化ResNet；RepVGG通过结构重参数化恢复简洁结构；RepLKNet探索大卷积核。

型，而成为检测、分割、医学图像、自动驾驶等视觉任务的通用骨干。Transformer兴起后CNN并未消失，而是通过大核卷积、结构重参数化、现代训练策略重新获得竞争力。Gradient-BasedLearningAppliedtoDocumentRecognitionImageNetClassificationwithDeepConvolutionalNeuralNetworks》等其他文献CNN19622022CNNCNNCNN图3：CNN关键学术派系与技术演进时间轴ImageNetClassificationwithDeepConvolutionalNeuralNetworksDeepResidualLearningforImageRecognition》等其他文献2012—20162017/CNN2016—20172017年Transformer图4：CNN重要论文——年份与引用量DeepResidualLearningforImageRecognitionDeepConvolutionalNetworksforLarge-ScaleImageRecognition》等其他文献RNN技术发展复盘RNN技术发展复盘的思路与CNNRNN从兴起到Transformer时1943—2023RNN30RNNSimpleRNNLSTM/GRU//Seq2Seq/Attention-RNNNLP爆发→Transformer我们梳理了RNN的核心发展节点及代表论文。其中，以红色加粗标注的JordanNetworkElmanNetworkBPTTLSTMSeq2SeqBahdanauAttentionGNMTRNNJordan/ElmanSimpleRNNBPTTBengioLSTMBahdanauAttentionRNN+AttentionTransformer表4：RNN重要节点论文梳理发展节点 关键学术产物代表论文 核心贡献

在RNN发展中的作用想记忆SimpleRNNLSTM/GRU门控//Seq2Seq/Attention-RNN推动NLP

McCulloch&Pitts,ALogicalCalculusoftheIdeasImmanentinNervousActivity,1943；Amari,LearningPatternsandPatternSequencesbySelf-OrganizingNetsofThresholdElements,1972Hopfield,NeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilities,1982；Ackley,Hinton&Sejnowski,BoltzmannMachines,1985MichaelI.Jordan,SerialOrder/JordanNetwork,1986JeffreyL.Elman,FindingStructureinTime/ElmanNetwork,1990Williams&Zipser,RTRL,1989Werbos,BackpropagationThroughningDependencieswithGradientDescentisDifficult,1994Hochreiter&Schmidhuber,LongMemory/LSTM,1997Gersetal.,LearningtoForget,2000；Choetal.,GRU,2014Schuster&Paliwal,BRNN,1997；Gravesetal.,CTC,2006；Graves,RNN-T,2012；Gravesetal.,DeepRNNforSpeech,2013Sutskever,Vinyals&Le,SequencetoSequenceLearning,2014Bahdanau,Cho&Bengio,NMTbyJointlyLearningtoAlignandTranslate,2014Luongetal.,2015；Wuetal.,GNMT,2016

将神经元抽象为含反馈回路的阈值逻辑单元，并研究阈值网络学习模式与模式序列，使网络能形成稳定状态与状态转移。提出具能量函数与吸引子动力学的循环网络，可用于内容寻址记忆、模式恢复与概率建模。通过输出/隐藏状态反馈形成上下文记忆，使网络能够表示序列顺序与时间结构。使RNN可系统训练，同时揭示梯度消失/爆炸与长程依赖难题。forgetgateGRURNN-TRNNencoder-decoder框架与注意力机制突破固定长度向量瓶颈，并构建工业级神经机器翻译系统。

为RNN的反馈连接、状态记忆与动态系统视角提供思想源头。RNN序列RNN的奠定RNN训可用。将RNN从一维时间序列扩展到端到端识别的实用化与高性能阶段。确立通用序列到序列范式，推动翻译/摘要/对话爆发，是Attention走向主流的关键起Transformer替代合

Vaswanietal.,AttentionIsAllYouNeed,2017；Daietal.,Transformer-XL,2019；Guetal.,S4,2021；Pengetal.,RWKV/Gu&Dao,Mamba,2023

Transformer以self-attention取代循环成为NLP主流；recurrence/状态记忆思想以segmentrecurrence、状态空间模型等形式延续。

点。标