神经网络理论及应用实践 课件 7.5 CNN 网络退化

卷积神经网络的性能分析

之网络退化问题主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE2本节概要深度神经网络的网络退化问题描述解决网络退化问题——ResNet2026/10/113神经网络的深度DeepLearningGetsWayDeeper*-----KaimingHe(何恺明)@FAIR,

CA*K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InCVPR,2016.

网络深度的作用和意义在何处？为了提取更强的特征，可否直接增加网络层数？2026/10/114神经网络的深度网络深度的作用？CNN能够提取low-level/mid-level/high-level的特征；网络的层数越多，意味着能够提取到不同level的特征越丰富；越深的网络提取的特征越抽象，越具有语义信息。为了提取更强的特征，为什么不能简单地增加网络层数？网络退化问题高层低层中层2026/10/115网络退化问题随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的(过拟合时训练集准确率很高)注：上图及后续多图引用自K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InCVPR,2016.

2026/10/116深度残差网络(ResNet)---解决网络退化什么是残差？映射：y

=

残差映射F(x)+恒等映射x残差学习模块Shortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射残差学习模块的作用：若网络已达最优，继续加深网络，residualmapping被学习为0，仅剩identitymapping。这样理论上网络一直处于最优状态，网络的性能不会随深度增加而降低。2026/10/117深度残差网络(ResNet)---解决网络退化冗余层

恒等映射

浅层网络目标：学习恒等映射函数y=xShortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射2026/10/118深度残差网络(ResNet)---解决网络退化问题:直接拟合潜在的恒等映射函数y=x较困难，这是深层网络难以训练的原因。解决方案：如果把网络设计为y=F(x)+x,可以转换为学习一个残差函数F(x)=y-x.只要F(x)=0，就构成了一个恒等映射y=x.拟合残差为0较拟合恒等映射更加容易。Shortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射2026/10/119深度残差网络(ResNet)---解决网络退化残差模块的种类整个残差模块结构称为一个“buildingblock”右图又称为”bottleneckdesign”降低维数，减少计算量常规Residual：用于浅层网络中(ResNet34)Bottleneckdesign:用于深层网络中(ResNet50/101/152)2026/10/1110深度残差网络(ResNet)---解决网络退化Bottleneckdesign降参作用分析第一个1x1的卷积把256维channel降到64维，在最后通过1x1卷积恢复;Bottleneckdesign参数数目：1x1x256x64+3x3x64x64+1x1x64x256=69632;不使用bottleneck即为两个3x3x256的卷积，参数数目:3x3x256x256x2=1179648，差16.94倍Bottleneckdesign:用于深层网络中(ResNet50/101/152)常规Residual：用于浅层网络中(ResNet34)256-d2562562026/10/1111深度残差网络(ResNet)---解决网络退化映射的维度相加问题：F(x)和x按照channel维度相加，若维度不同，如何相加？

两种情况：“实线”连接“虚线”连接实线Connection部分(“第一个粉色矩形和第三个粉色矩形”)都是执行3x3x64的卷积，他们的channel个数一致采用计算方式：y=F(x)+x2026/10/1112深度残差网络(ResNet)---解决网络退化两种情况：“实线”连接“虚线”连接虚线Connection部分(“第一个绿色矩形和第三个绿色矩形”)分别是3x3x64和3x3x128的卷积操作，他们的channel个数不同(64和128)采用计算方式：y=F(x)+Wx其中W是卷积操作，用来调整x的channel维度的；映射的维度相加问题：F(x)和x按照channel维度相加，若维度不同，如何相加？

2026/10/1113深度残差网络(ResNet)---解决网络退化增加层（可能有冗余层）2026/10/1114深度残差网络(ResNet)---解决网络退化18层神经网络

vs.34层神经网络

vs.34层残差神经网络性能表现：图细曲线表示训练误差，加粗曲线为验证误差2026/10/1115深度残差网络(ResNet)---解决网络退化各种DNN训练结果对比：4.4919.382026/10/1116小结加深网络，提取更深层的特征网络出现退化（训练误差增大）哪些层有用?哪些层冗余？所以什么结构可达最优网络？自动学习残差映射深度残差神经网络自动构建结构最优的神经网络排除冗余层的训练负担避免冗余层的训练误差不再惧怕网络深度的加深DeepResidualNetworks——DeepLearningGetsWayDeeper2026/10/11BTBU-CIE17小结深度神经网络的网络退化问题面向网络退化问题的DNN——深度残差网络ResNet致谢参考文献：[1]K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InCVPR,2016.[2]K.He,X.Zhan